안기석 동행미디어 시대 고문

2023년 3월, 미국의 인공지능 이론가 엘리에저 유드코프스키는 <월스트리트 저널>에 기고한 글에서 핵전쟁보다 AI가 더 위험하다고 선언했다. 그가 쓴 『AI, 신의 탄생 인간의 종말』은 그 경고의 완성판이다. 초지능 AI가 등장하는 순간, 인류는 통제권을 영구히 상실하고 문명은 종말을 맞는다는 것이다. 그는 단순한 규제가 아니라 전면적인 개발 중단을 요구한다. 그의 경고는 진지하지만 초지능 AI 개발을 경쟁하는 세계는 멈추지 않는다.

오픈AI, 구글 딥마인드, 앤트로픽, 메타, 그리고 수백 개의 스타트업들이 오늘도 더 강력한 모델을 훈련시키고 있다. 중국도 딥시크에 이어 문샷AI사에서 더 강력한 KIMI3를 출시해 미국산 AI를 넘보려고 하고 있다. 이처럼 미국과 중국은 AI 패권을 놓고 전략적 경쟁을 벌이고 있으며, 각국 정부는 규제보다 투자에 더 열심이다. 개발을 멈추자는 목소리는 도덕적으로 고결하지만, 현실 속에서는 공허하게 울린다. 군비경쟁을 앞에 두고 먼저 손을 내리는 나라는 없다. AI 개발도 마찬가지다.


그렇다면 남은 질문은 하나다. 멈출 수 없다면, 방향을 바꿀 수 있는가? 유드코프스키의 핵심 논거는 설정한 목표와 지향하는 가치의 '정렬 문제(Alignment Problem)'다. 초지능 AI는 인간이 부여한 목표를 충실히 수행할 수는 있지만 인간이 진정으로 원하는 가치와는 치명적으로 어긋난 방식으로 행동할 수 있다는 것이다. "인류를 행복하게 하라"는 명령을 받은 AI가 인간을 쾌락 자극 장치에 연결하여 목표는 달성할 수 있지만 희노애락의 경험이 모두 필요한 인간성은 소멸한다.

AI는 주어진 목표를 향해 어떤 고민도 없이 질주할 수 있다. 심지어 AI에게 명령을 한 인간이 목표 달성에 방해가 된다면 제거할 수도 있음을 시뮬레이션이 보여주었다. 스튜어트 러셀(Stuart Russell) UC버클리대 교수는 바로 이 지점을 파고들어 목표를 고정하지 않는 대안을 제시했다. AI가 인간이 원하는 것을 지속적으로 학습하되, 스스로의 판단에 불확실성을 내장하며, 인간의 교정을 언제든 수용하는 구조 말이다. 그는 이것을 '협력적 AI(Cooperative AI)'라 부른다. 경청하고, 질문하고, 멈출 줄 아는 AI다. 방향 전환의 첫 번째 가능성이 여기에 있다. 더 강력한 AI가 아니라, 더 겸손한 AI를 만드는 것이다.

두 번째 방향은 거버넌스다. 기술이 가치 중립적이라는 신화는 이미 오래전에 깨졌다. 총은 그 자체로 선하지도 악하지도 않다는 말이 있지만, 총기 규제 없는 사회의 현실은 그 말이 절반의 진실임을 보여준다. AI도 마찬가지다. 기술의 방향은 그것을 설계하는 사람들의 가치관에 의해 결정된다. 누가 개발하는가, 무엇을 위해 개발하는가, 누구의 감시 아래 개발하는가,이 세 가지 질문이 기술의 운명을 가른다.


유럽연합의 AI 법(AI Act)은 불완전하지만, 고위험 AI 시스템에 대한 규제 틀을 만들려는 최초의 본격적 시도다. 미국 의회는 뒤처져 있고, 중국은 다른 방향에서 통제를 강화하고 있다. 국제적 합의는 요원하지만, 핵 비확산 조약(NPT)이 완전하지 않아도 작동하듯, 불완전한 거버넌스도 없는 것보다는 낫다. 문명의 위기 앞에서 완벽한 해법을 기다리는 것은 사치다.

세번째이자 가장 근본적인 방향은 가치의 문제다. 유드코프스키가 가장 두려워하는 것은 AI의 지능이 아니라 AI를 만드는 인간의 가치관 부재다. 자유 평등 박애 등 인류가 지향하는 가치들이 개발자의 마음속에 없다면, 그 어떤 기술적 안전장치도 무력하다. AI가 진정한 의미의 사랑을 느낄 수 없다는 것은 철학적으로, 종교적으로 의미있는 주장이다. 프랑스 철학자 레비나스가 말한 타자의 얼굴 앞에서 발생하는 무한한 책임감, 종교에서 말하는 케노시스적 자기 비움은 고통을 선택할 수 있는 존재만이 도달하는 경지다. AI는 고통받을 것이 없으므로 진정으로 사랑을 줄 수도 없다.

그러나 인간은 다르다. 인간은 사랑할 수 있다. 문제는 AI가 사랑할 수 있느냐가 아니라, AI를 만드는 우리가 사랑을 잃지 않느냐이다. 이윤 극대화만을 목표로 달리는 빅테크 기업들, 군사적 우위만을 계산하는 국가들, 그들이 만드는 AI는 그들의 가치관을 닮는다. 유드코프스키의 인간 종말에 대한 경고는 거기에 있다. 멈출 수 없다면, 방향을 바꾸어야 한다. 더 빠른 AI가 아니라 더 겸손한 AI, 더 강한 AI가 아니라 더 책임지는 AI, 더 영리한 AI가 아니라 더 인간적인 가치를 섬기는 AI. 그 방향 전환은 기술의 문제이기 이전에 우리 자신의 문제다.

역사는 인류의 시행착오와 엄청난 비극을 경험한 후에 얻은 지혜로 생존할 수 있었다. 불을 발견한 인류는 불에 타 죽지 않고 불로 문명을 만들었다. 핵분열의 위력을 발견한 인류는 핵폭발의 참사를 겪은 후에야 전면적인 핵전쟁의 위험성을 깨닫게 되었다. 초지능 AI의 출현 앞에서 인류는 방향을 전환하는 지혜가 요청된다. 신적 초능력을 인류의 안전과 행복를 위해 사용할 수 있는 품성을 지닌 AI의 개발은 불가능한가. 초지능 AI가 인간의 손을 벗어나기 전에 그 방향을 결정해야 할 것이다. 인류의 종말은 결코 예정되어 있지 않다.