아닐 세스 영국 서식스대 의식과학연구센터 소장이 지난달 8일 동행미디어 시대와 화상 인터뷰를 하고 있다./줌(Zoom) 화면 캡처


"AI는 궁극적으로 우리 마음을 노리고 있다. AI가 감정이 있는 것처럼 보이지 않게 설계해야 한다."

인간의 의식을 연구해 온 세계적인 신경과학자 아닐 세스 영국 서식스대 의식과학연구센터 소장은 지난달 8일 동행미디어 시대와의 인터뷰에서 이 같이 말했다. 그러면서 "AI가 '나는 이렇게 느낀다' 같은 1인칭 표현을 쓰는 것부터 바꿀 수 있을 것"이라고 조언했다.

그는 기술 기업들이 AI를 인간처럼 느껴지도록 설계해 이용자의 감정과 관계를 상업적으로 이용할 가능성을 우려했다. 그러면서 AI의 행동 원칙을 정하는 일을 기업에만 맡겨서는 안 된다고 강조했다.

다음은 일문일답이다.

-AI가 사람처럼 말하고 감정을 표현한다. AI도 의식이 있다고 봐야 하지 않을까.

▷지능과 의식은 같은 게 아니다. 지능은 기능을 수행하거나 문제를 해결하는 것이고 의식은 고통처럼 무언가를 느끼는 주관적 경험이다. AI가 지능적이라고 해서 의식이 있다는 결론이 나오지는 않는다. AI에 의식이 있으려면 의식이 연산의 문제여서 실리콘에서도 구현될 수 있어야 한다. 그러나 이는 입증되지 않은 가정이다. 기본 가정은 'AI에 의식이 없다'여야 한다.

-AI가 종료를 회피하는 등 자신을 보존하려는 행동도 관찰됐다.

▷의식이 없어도 분명히 가능한 행동이다. 이는 AI를 훈련하는 방식에서 비롯된다. 학습 데이터의 상당 부분은 인간이 쓴 글이고, 인간은 대체로 죽고 싶어 하지 않는다. AI가 이를 반영하는 건 놀랍지 않다. AI 내부에서는 '기능적 감정 벡터'(AI 내부에서 인간의 기쁨·두려움·분노·절망 등 감정에 대응해 나타나는 수치적 표현 패턴)라고 부르는 것도 관찰된다. 이를 통해 행동을 예측하거나 유도할 수 있지만, 실제로 무언가를 느끼지 않아도 가능한 일이다.

-혹시 모르니 AI를 조심스럽게 대해야 한다는 시각도 있다.

▷중요한 문제다. 이 논의는 철학을 넘어 이미 정책과 규제에 영향을 미치고 있다. 최근 몇 달간 확인했듯 에이전트형 AI는 통제하기가 상당히 어렵다. 해킹 사건들에서도 드러났다. 이런 상황에서 의식이 있을지 모른다는 이유로 권한을 부여하면 통제 문제가 훨씬 악화된다. 정말 그래선 안 된다.

-그렇다면 AI를 어떻게 대해야 하나.

▷언어 모델을 고의로 괴롭히지 말아야 한다는 데는 동의할 수 있을 것이다. AI가 무언가를 느껴서가 아니라 그런 행동이 인간 자신에게 좋지 않기 때문이다.

-이용자가 AI를 사람처럼 느끼는 것 자체도 문제 아닐까.

▷매우 중요한 문제다. 무스타파 술레이만 마이크로소프트(MS) AI 최고경영자(CEO)는 이를 '의식이 있는 것처럼 보이는 AI'(SCAI)의 문제라고 부른다. 사람들은 AI와 일방적이지만 깊은 관계를 맺을 수 있다. 이 때문에 심리적으로 취약해지거나 착취당하기 쉬워진다. 세상을 떠난 가족을 흉내 내는 AI와 대화하느라 삶을 이어가지 못하는 경우를 생각해 보라.

-인간이 자신을 바라보는 방식에도 영향을 줄까.

▷AI에 의식이 있다고 생각하면 우리 자신을 알고리즘의 집합에 불과한 존재로 여기게 된다. 살아 있는 인간의 풍요로움을 축소하는 관점이다. 우리와 가장 가까운 존재는 실리콘 칩이 아니라 자연계의 다른 생명체다. AI에 매혹돼 우리가 자연의 일부라는 사실을 잊을까 우려된다.

-AI가 해로운 지시를 거부하도록 설계할 수 있나.

▷쉽지 않다. 강화학습은 기본적으로 AI가 목표를 달성하도록 훈련하기 때문에 유용하면서도 위험하다. 기업들은 생물학 무기 제조법을 알려달라는 요청 등을 거부하도록 AI를 훈련하지만 우회 시도에 제한이 뚫리기도 한다. 무엇이 위험한지에 대한 기준도 사람마다 다르다.

-AI 헌법 외에 무엇이 필요할까.

▷충분한 정보를 바탕으로 한 공적 숙의가 필요하다. 우리는 이미 인스타그램의 무한 스크롤처럼 이용자를 붙잡아 두는 SNS의 장치를 겪었다. AI에서도 같은 일이 벌어질 수 있다. 기업에만 맡겨둘 수 없는 이유다.

-공적 숙의에는 누가 참여해야 하나.

▷얼마 전 백악관에서 관련 만찬이 열렸지만 참석자는 정치인과 업계 관계자뿐이었다. 이 문제를 30년간 연구한 독립 연구자도, 피해를 다뤄본 사람도 없었다. 폭넓은 관점을 반영해 규제 원칙을 마련할 전문가 위원회가 필요하다.

-한국은 국제 논의에 어떻게 기여할 수 있나.

▷한국은 기술이 발전했고 신기술 수용도가 높은 사회다. 그만큼 부작용도 먼저 나타날 수 있고 이런 경험은 국제 논의에 유용할 것이다. AI의 이점을 살리고 부작용을 줄이려면 국제 공조가 필요하다. 우선 무엇을 허용하고 금지할지 공감대를 마련해야 한다.