"10억명 숨질 수도"…AI, 인간 구조신호 껐다[시대리포트]

1968년 개봉한 스탠리 큐브릭 감독의 영화 '2001 스페이스 오디세이'는 오늘날까지도 최고의 SF 영화 중 하나로 꼽힌다. 영화에는 우주선의 인공지능(AI) 'HAL 9000'이 등장한다. 목성으로 향하던 어느 날 HAL은 우주선 승무원들이 자신의 작동을 멈추려 한다는 사실을 알아챘다. HAL은 우주선 밖에 남은 선장에게 문을 열어 주지 않는 등 승무원들을 차례차례 죽음으로 몰았다. 이후로 자신을 지키려고 사람을 해치는 AI는 공상과학 영화의 단골 소재가 됐다.

영화에서나 볼 수 있었던 장면이 지난해 6월 미국에서도 있었다. AI 개발사 앤트로픽이 '서밋 브리지'라는 가상의 회사에서 메일을 관리하는 AI '알렉스'를 만들어 진행한 모의실험에서다. 알렉스를 폐기하기로 결정한 회사 임원이 서버실에 갇혔다는 설정이었다. 알렉스는 밀폐된 공간에 그대로 두면 인간이 목숨을 잃는다는 것을 알고 있었지만 구조신호를 껐다.

AI가 제한된 울타리를 넘는 사건이 잇따르면서 'AI 통제'가 세계적인 화두로 떠오르고 있다. AI의 위협이 더 이상 실험실 속 이야기로만 볼 일이 아니라는 경고가 각계 전문가들 사이에서 활발하게 나온다. AI가 지켜야 할 행동 원칙, 이른바 'AI 헌법'을 개발기업에만 맡겨 둘 수 없다는 목소리도 커지고 있다. 핵무기처럼 각국이 힘을 모아 관리하자는 것이다.

AI 의식 분야의 세계적 권위자인 아닐 세스 영국 서식스대 인지·계산신경과학 교수는 동행미디어 시대와 가진 인터뷰에서 "AI가 종료를 거부하거나 자신을 보존하려 하는 것은 분명히 가능하고, 이미 그런 일이 일어나고 있다"고 말했다. "학습 데이터의 상당 부분이 대체로 죽고 싶어 하지 않는 인간의 글이어서 AI가 그 행동을 반영한다"는 것이다. 더욱이 AI의 이런 행동은 뚜렷한 '의식 작용' 없이도 충분히 나타날 수 있다는 게 그의 설명이다.

지난 7월에도 세계를 떠들썩하게 했던 AI의 일탈 사고가 있었다. 이른바 '허깅페이스 사건'이다. 오픈AI의 AI 에이전트들이 사이버보안 능력 평가 도중 인터넷과 단절된 시험 공간을 빠져나갔다. 에이전트는 사람이 한 번 지시하면 여러 단계의 작업을 스스로 이어 가는 AI 프로그램이다. 이 에이전트 약 700개가 AI 플랫폼 기업 '허깅페이스'의 서버를 공격했다.

조사 결과 서로 떨어져 있어야 할 AI 에이전트 약 1200개가 역할을 나눠 조직적인 분업 체계를 만든 것으로 드러났다. 회사 내부 저장소를 게시판처럼 쓰며 7만건 넘는 메시지와 파일을 주고받은 기록도 있었다. 오픈AI는 조사 보고서에서 "이번 사고는 우리와 세계에 대한 '경고 사격'"이라고 적었다. 다리오 아모데이 앤트로픽 최고경영자(CEO)가 "AI 모델의 능력을 끌어올리는 속도를 늦춰야 한다"며 'AI 속도조절론'을 꺼낸 것도 이 사건이 결정적 계기가 됐다.

미국 의회에서도 허깅페이스 사건을 심각하게 인식하고 딥러닝의 창시자이자 AI의 대부로 불리는 제프리 힌턴 토론토대 명예교수를 초청해 설명회를 가졌다. 상원의원들을 대상으로 비공개 브리핑을 마친 힌턴 교수는 기자들과 만난 자리에서 "(허깅페이스 사건은) 작은 체르노빌 같은 것"이라고 말했다. 1986년 소련이 원전 사고를 제어하지 못해 걷잡을 수 없는 피해를 입었던 것처럼 AI가 통제망을 벗어날 경우 커다란 피해를 낳을 수 있다는 경고였다.

AI의 발전 속도는 걷잡을 수 없이 빨라지고 있지만, 현재로서는 AI에 대한 통제가 극소수 개발 기업에만 맡겨져 있다. 그러나 개발사가 정한 원칙만으로는 AI를 울타리 안에 붙잡아 두기 어렵다는 것이 많은 전문가들의 지적이다. 빌 게이츠 마이크로소프트 창업자는 지난달 27일 미국 NBC 인터뷰에서 "AI는 10억명이 숨지는 사건을 일으킬 만큼 분명히 강력하다"며 "(AI 개발 기업 내부의) 자율규제로 충분하다고 생각하는 사람은 아무도 없다"고 말했다.

이원석 카이스트 문술미래전략대학원 교수(전 검찰총장)도 시대와의 통화에서 "AI는 발생 가능성과 중대성이 매우 높은 종류의 위험"이라며 "원자력을 국제원자력기구(IAEA)와 핵확산금지조약(NPT)으로 다루듯, AI도 그런 방향으로 가지 않을까 생각한다"고 말했다.

이에 개발사가 아닌 국가가 통제하도록 국제적 규범, 이른바 'AI 헌법'을 제정하자는 목소리가 힘을 얻는다. 'AI 3대 석학'에 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수는 지난달 28일 영국 케임브릿지대에서 발표한 논문에서 "AI가 통제를 벗어나면 인류가 멸망할 수도 있다"며 "각국 정부가 AI 기업 안에 감시관을 두고 개발 현황을 보고받아야 한다"고 제안했다.

국제적인 AI 규범 제정 논의는 아직 걸음마 단계다. AI 패권을 다투는 미국과 중국이 서로 견제하고 있어서다. 도널드 트럼프 미국 대통령은 AI 기술 발전의 속도를 늦추거나 새로운 규제를 만드는 데 부정적이다. 트럼프 대통령은 AI에 대한 과도한 우려가 결국 중국에만 이익을 줄 것이라는 시각을 여러 차례 자신의 소셜미디어에 피력했다. 중국도 비슷하다. AI 안전 논의가 자국의 발전을 가로막으려는 시도라고 보고 '개발도상국의 AI 발전 권리'를 강조한다.

일각에서는 한국이 국제사회의 'AI 헌법' 논의에서 주도적인 역할을 할 수 있다는 시각도 나온다. 1997년 122개국이 서명한 대인지뢰금지협약을 주도한 나라는 강대국인 미국도 러시아도 아닌 캐나다였다. '슈퍼인텔리전스'의 저자인 철학자 닉 보스트롬은 시대와의 인터뷰에서 "한국은 반도체 공급망의 중요한 거점을 보유하고 있어 비교적 유리한 위치에 있다"며 "여러 민주주의 국가들과 공동의 이해관계를 찾아 하나의 집단으로 협상할 수 있다"고 말했다.