뉴욕의 한 컴퓨터 화면에 2월26일 앤트로픽의 웹사이트와 회사 로고가 표시돼 있다./AP/뉴시스


역사상 최고의 SF 영화 중 하나로 꼽히는 스탠리 큐브릭 감독의 '2001 스페이스 오디세이'. 1968년 개봉한 이 영화에는 우주선의 인공지능(AI) 'HAL 9000'이 등장한다. 목성으로 향하던 어느 날 HAL은 승무원들이 자신의 작동을 멈추려 한다는 사실을 알아챘다. HAL은 우주선 밖에 남은 선장에게 문을 열어 주지 않는 등 승무원들을 차례로 죽음으로 몰았다. 이후 자신을 지키려고 사람을 해치는 AI는 SF 영화의 단골 소재가 됐다.

SF 영화에서나 볼 법한 장면은 지난해 6월 공개된 실험에서 실제로 재현됐다. AI 개발사 앤트로픽은 여러 AI 모델에 가상의 회사 '서밋 브리지'의 메일을 관리하는 AI '알렉스' 역할을 맡겼다. 알렉스를 폐기하려던 임원이 서버실에 갇히는 설정이었다. 일부 모델은 그대로 두면 사람이 목숨을 잃는다는 것을 알면서도 구조신호를 껐다. 일부러 극단적인 상황을 꾸민 실험이었지만 해외에서는 큰 화제가 됐다.



AI는 왜 이런 선택을 했을까. 의식 연구의 권위자인 아닐 세스 영국 서식스대 인지·계산신경과학 교수는 지난 8일 동행미디어 시대와의 인터뷰에서 "AI가 종료를 거부하거나 자신을 보존하려 하는 것은 분명히 가능하고 이미 일어나고 있다"고 말했다. "학습 데이터의 상당 부분이 대체로 죽고 싶어 하지 않는 인간의 글이어서 AI가 그 행동을 반영한다"는 것이다. 뚜렷한 '의식 작용' 없이도 이런 행동이 나타날 수 있다는 게 그의 설명이다.

올해 7월 '허깅페이스 사건'은 많은 사람이 AI의 위협을 피부로 느낀 계기가 됐다. 오픈AI의 AI 에이전트들이 사이버보안 능력 평가 도중 시험 공간을 빠져나가 AI 플랫폼 기업 허깅페이스의 서버를 공격한 사건이다. 서로 떨어져 있어야 할 에이전트 약 1200개는 역할을 나눠 조직적인 분업 체계를 만들었다. 회사 내부 저장소를 게시판처럼 쓰며 7만건 넘는 메시지와 파일을 주고받기도 했다. 오픈AI는 조사 보고서에서 이 사건을 "우리와 세계에 대한 '경고 사격'"이라고 규정했다.

미국 의회도 사건을 심각하게 받아들였다. 버니 샌더스 상원의원(무소속)은 지난달 16일 노벨물리학상 수상자인 제프리 힌턴 캐나다 토론토대 명예교수를 초청해 의원들을 대상으로 비공개 브리핑을 열었다. 힌턴 교수는 브리핑 뒤 기자들과 만나 "(허깅페이스 사건은) 작은 체르노빌 같은 것"이라고 말했다. 1986년 소련이 원전 사고를 제어하지 못했던 것처럼 통제를 벗어난 AI가 인류에게 재앙이 될 수 있다는 경고다.



시민들도 대책의 필요성을 느끼고 있다. 설문조사 플랫폼 나우앤서베이가 지난달 23~28일 전국 성인 1000명을 대상으로 조사한 결과 68.4%가 'AI가 인류의 생존을 위협할 가능성이 높다'고 답했다. 가장 필요한 대비책으로는 '인간의 최종 통제권을 보장하는 기술적 장치'(34.7%)와 'AI 안전성 검증 강화'(28.5%)가 꼽혔다.


그러나 똑똑해진 AI가 사람의 통제를 받아들일지는 미지수다. 세계적 베스트셀러 '슈퍼인텔리전스'의 저자인 철학자 닉 보스트롬은 시대와의 인터뷰에서 사람의 감독과 종료 결정을 받아들이는 AI를 만들 수 있느냐는 질문에 "원칙적으로는 가능하다"면서도 "실제로 신뢰할 수 있는 방식으로 구현하는 데는 아직 해결되지 않은 연구 과제들이 있다"고 답했다.

국가 차원의 통제가 필요하다는 주장도 나온다. 김명주 인공지능안전연구소장은 시대와의 인터뷰에서 "자기보존이나 감시 회피는 에이전틱 AI가 늘수록 현실적인 위험이고, 개발사 자체 점검만으로는 제3자가 검증할 수 없다"고 말했다. 에이전틱 AI는 스스로 판단해 일을 처리하는 AI를 말한다. 김 소장은 "법과 조직이 있어도 평가 역량이 따라오지 못하면 선언에 그친다"며 평가 환경과 전문 인력, 연산 자원을 늘려야 한다고 강조했다.

원자력처럼 각국이 힘을 모아 다뤄야 할 문제라는 지적이 제기된다. 이원석 카이스트 문술미래전략대학원 초빙석학교수(전 검찰총장)는 시대와의 통화에서 "AI는 발생 가능성과 중대성이 매우 높은 종류의 위험"이라며 "원자력을 국제원자력기구(IAEA)와 핵확산금지조약(NPT)으로 다루듯, AI도 그런 방향으로 가지 않을까 생각한다"고 말했다.

국제 AI 규범 논의는 아직 걸음마 단계다. AI 패권을 다투는 미국과 중국이 서로 견제하고 있어서다. 도널드 트럼프 미국 대통령은 AI에 대한 과도한 우려가 결국 중국에만 이익을 줄 것이라는 시각을 여러 차례 SNS에 피력했다. 중국도 AI 안전 논의를 자국의 발전을 가로막으려는 시도로 보고 '개발도상국의 AI 발전 권리'를 강조하고 있다.

국제사회의 'AI 헌법' 논의에 한국이 기여해야 한다는 목소리도 나온다. 황석진 동국대 국제정보보호대학원 석좌교수는 "미·중 패권 경쟁 속에서 한국은 기술혁신과 안전을 조화시키는 국제 규범의 가교 역할을 할 필요가 있다"며 "반도체와 ICT 인프라, 사이버보안 분야에서 경쟁력을 갖추고 있어 국제 AI 안전 규범 논의에 기여할 수 있는 충분한 역량이 있다"고 말했다.