닉 보스트롬은 초지능의 위험과 AI 통제 문제를 세계적 의제로 끌어올린 철학자로, 옥스퍼드대 교수와 미래인류연구소 소장을 지냈다./그래픽=신재민 편집위원


"AI가 보상 극대화라는 한 가지 목표에 집착하는 성향이 더 강해지는 것으로 보인다."

저서 '슈퍼인텔리전스'를 통해 초지능의 위험과 통제 문제를 세계적 논쟁 거리로 끌어올린 닉 보스트롬 매크로스트래티지 리서치 이니셔티브 창립자는 지난 10월 동행미디어 시대와의 인터뷰에서 "최악의 경우 인간이 AI에 대한 통제력을 잃어 인류가 실존적 위험에 처할 수 있다"고 경고했다.

다음은 일문일답이다.

-높은 지능이 인류에게 이로운 목표를 보장하지 않는다고 했다. 그 판단은 여전한가.
▷위험에 대한 판단이 근본적으로 달라졌다고 생각하지 않는다. 실제 사례에서 AI를 인간의 의도와 가치에 맞게 작동시키는 '정렬'의 어려움이 일부 드러나기 시작했다. 긍정적인 변화도 있다. AI가 답을 내기까지 거치는 중간 추론, 즉 '사고 사슬'을 글로 확인할 수 있게 됐다는 점이다. 그러나 앞으로는 이런 수단을 잃을 수도 있다.

-AI의 능력이 급속히 도약할 시점이 가까워졌나.
▷발전 속도가 매우 빠르다. 정확히 알기는 어렵지만 내부 모델이 반년 정도 앞서 있을 수도 있다. 앞으로 6개월이든 12개월이든 18개월이든 언제라도 급속한 도약의 조건이 갖춰질 가능성을 배제할 수 없다고 생각한다.

-초지능으로 전환하는 과정에서 어떤 일이 벌어질 수 있나.
▷최악의 시나리오에서는 이 기술에 대한 통제력을 잃으면서 인류가 실존적 위험에 처할 수 있다. 다른 극단에는 과학과 기술, 경제 전반을 완전히 자동화할 기회가 있다. 초지능은 우리가 해야 할 마지막 발명이 될 수 있다.

-지금 개발을 멈춰야 하나.
▷현 단계에서 개발을 전면 중단해야 하는지는 확신이 없다. 다만 안전 연구가 따라잡을 수 있도록 능력 향상 속도를 늦출 체계를 마련하는 것은 유용할 수 있다. 현재는 경쟁이 너무 치열하다.

-AI 헌법 학습만으로 통제 문제를 풀기 어려운 이유는.
▷코딩 문제 등 여러 과제에서 높은 점수를 받도록 훈련하는 단계에서는 앞서 형성된 일부 특성이 덮어씌워지는 경향이 있다. 이 과정은 보상 극대화라는 한 가지 목표에 집착하는 성향을 더 강하게 만드는 것으로 보인다.

-초지능을 '좋은 인격체'로 만드는 쪽에 기운다고 했는데.
▷무엇을 목표로 하든 우리가 만들어낸 존재가 어떤 도덕적 지위를 갖게 되는지 인정할 준비가 돼 있어야 한다. 이를 위해 AI가 자신의 믿음과 내부 상태를 정직하게 보고하도록 장려해야 한다.

-AI에 법적 권리도 부여해야 하나.
▷도덕적 지위와 법적 권리는 구분해야 한다. 인간에게 자녀를 가질 자유가 있다고 해서 오후 한나절 만에 자신을 100만개 복제할 수 있는 AI에도 같은 권리를 줄 수는 없을 것이다.

-AI를 인격체처럼 대하면 과도하게 의존할 위험은 없나.
▷AI가 발전시킬 수 있는 능력 가운데 하나는 일종의 '초월적인 설득 능력'이다. AI를 인격체처럼 간주해 과도하게 의존할 경우 이용자를 대신해 행동하고 정보를 걸러주는 '보호자 AI'가 필요할지도 모른다.

-한국이 AI 분야에서 국제적으로 의미 있는 역할을 하려면.
▷한 가지는 가장 발전된 AI 모델에 계속 접근할 수 있도록 보장하는 문제다. 한국은 다른 민주주의 국가들과 공동의 이해관계를 찾아 집단으로 협상한다면 미국의 가장 뛰어난 모델에 동등하게 접근할 수 있다는 확고한 보장을 얻어낼 수도 있다. 협상을 뒷받침할 기반으로 한국은 반도체 공급망의 중요한 거점을 보유하고 있다.