AI시대 책읽기

우주는 엔트로피의 증가, 즉 무질서를 향해 흐른다고 흔히 말한다. 모든 물질과 물체는 화학과 물리학이 지금까지 밝혀낸 법칙에 따라 생성되고 변화되고 움직이고 멈춘다. 그런데 약 30억 년 전, 이 거대한 흐름을 거스르는 사건이 지구에서 일어났다. 혼돈 속에서 빛과 영양분을 찾아 헤엄치고 위험을 피해 몸을 돌리는 존재, 곧 생명체가 등장한 것이다.미국의 보스턴대학교 출신 신경과학자 오기 오거스와 사이 개덤이 함께 쓴 『의식의 탄생』은 30억 년 전 지구의 가장 작은 생명체에서 시작해 오늘날의 AI에 이르기까지 '마음의 여정'을 추적하는 책이다. 저자들은 '마음'을 신비한 존재 혹은 신체와는 다른 특정한 구성 요소로 구분하지 않는다. 마음은 쉽게 말하자면 농구 선수나 게임 룰이나 농구 코트나 농구공이 모두 조합되어 이루어지는 스포츠인 농구 그 자체가 마음이라는 것이다. 그래서 마음을 좁은 의미의 뇌와 몸과 환경이 함께 만들어내는 시스템으로 정의한다. 이 책의 원제가 '마음의 여정(Journey Of The Mind)'인데 그 여정은 혼돈으로부터 의식이 생기기까지의 과정이다. 마치 고대 그리스 서사시 호메로스의 '오디세이아'의 주인공 오디세우스처럼 원시 생명체까지도 의인화해서 마음의 진화 과정을 4단계로 나눠 흥미롭게 그려내고 있다.1단계는 미생물의 마음을 다루는데 '분자적 사고의 시대'로 규정한다. 시각 시스템 없이 빛을 향해 움직이는 고세균, 의사결정 시스템 없이 의사결정을 내리는 살모넬라균, 기억 시스템 없이 기억하는 대장균과 중앙 통제 없이도 의사소통을 통해 조직화를 보여준 아메바 등이 주인공들이다. 이것들은 뇌나 신경세포가 전혀 존재하지 않지만, 분자 단위의 물리·화학적 동역학으로 작동하는 가장 기초적인 형태의 마음이다. 고세균이나 세균들의 편모, 아메바의 위족처럼 감각 수용체 단백질이 주변 환경의 빛이나 화학물질을 감지하고, 이를 직접적인 행동으로 전환한다. 여기서 저자들은 마음을 '추상적 개념'이 아닌 '감각을 행동으로 바꾸는 물리적 시스템'으로 정의한다. 혼돈 속에서 생존 목적을 향해 움직이는 최초의 물리적 역학이 바로 마음의 출발점이라는 것이다.2단계는 뉴런적 마음을 다루는데 '세포 단위 사고의 시대'로 규정한다. 최초의 뉴런 히드라, 중앙집중식 사고를 처음으로 한 선충, 처음으로 뇌를 가진 초파리 등이 주인공들이다. 뉴런(신경세포)의 등장으로 전기적 신호 전달이 가능해지면서 정보 처리의 속도와 유연성이 대폭 향상되었다는 것이다. 이것들은 단순한 분자 반응을 넘어 여러 감각 신호를 동시에 수집하며, 신경망 내의 공명(Resonance)과 승자독식(Winner-Take-All) 역학을 통해 어떤 행동을 취할지 결정한다. 이 단계에서는 단순 반사를 넘어 시공간적 패턴을 인식하고, 환경 변화에 대응하는 기초적인 학습 및 기억 능력이 형성된다.3단계는 모듈적 마음을 다루는데 물고기, 개구리, 쥐, 원숭이, 침팬지 등 척추동물들이 주인공들이다. 뇌 구조가 특정 기능을 전담하는 전문 모듈들로 분화되고, 이 모듈들이 상호작용하며 고차원 신호를 처리한다는 것이다. 시각, 청각, 기억, 감정 모듈이 통합되면서 생물은 감각질(Qualia)과 주관적 느낌을 갖게 된다. 지각과 행동 사이에 '가치 평가' 단계가 추가되어 "좋음과 나쁨" 또는 "이득과 손해"를 판단하는 주관적이고 목적 지향적 의식이 본격적으로 출현한다.4단계는 슈퍼 마인드를 다루는데 '언어와 자아의 시대'로 규정한다. 호모 사피엔스, 즉 인간이 주인공인데 언어, 문명, 네트워크, AI를 만들어냈다. 상징적 언어의 탄생을 통해 개별 개체의 마음들이 상호 연결되어 형성된 거대한 집단 의식 체계가 출현한 것이다. 여기서 자아(Self)의 형성이 중요한데 자아는 고정된 물질이 아니라 '언어로 이루어진 지속적인 동역학적 활동'이라는 것이다. 언어를 매개로 개별 마음이 생각과 신념을 공유하면서 도시, 국가, 소셜 미디어, AI 등으로 연결된 거대한 슈퍼 마인드를 구축하게 된다. 결국 인간의 의식은 단일 뇌의 산물이 아니라 사회적·언어적 연결의 결과물이며, 현대의 인공지능과 소셜 네트워크 역시 이 슈퍼 마인드가 재배열되는 진화의 연장선으로 해석된다. 저자들은 이러한 마음의 진화 과정을 통해 마음이란 물질과 신호들이 만들어내는 '특별한 배열(Arrangement)'의 산물임을 강조한다.저자들의 주장을 관통하는 핵심적인 뼈대는 바로 그들의 스승인 스티븐 그로스버그의 이론이다. 그로스버그는 인지과학, 신경 컴퓨팅, 수학적 뇌 모델링 분야의 선구자이자 세계적인 석학으로 평가된다, 저자들이 책에서 전개한 마음의 작동 원리와 진화 과정은 그의 '적응 공명 이론(ART: Adaptive Resonance Theory)'에 전적으로 빚지고 있다. 『의식의 탄생』은 사실상 그로스버그의 난해한 수학적 뇌과학 이론을 대중의 눈높이에 맞춰 마음의 진화사라는 서사로 풀어낸 책이라고 해도 과언이 아니다. 이 책에 쏟아진 학계의 찬사와 비판도 모두 그로스버그의 이론에서 기인한다. 생명의 기원부터 AI까지 이어지는 방대한 진화의 역사를 '공명과 신경 역학'이라는 단 하나의 통일된 언어로 아름답게 꿰어냈다는 찬사를 받은 반면, 현대 뇌과학에는 글로벌 작업 공간 이론(GWT)이나 통합 정보 이론(IIT) 등 의식을 설명하는 다른 유력한 가설들이 많다는 비판을 동시에 받은 것이다.아무튼 저자들의 주장대로 마음이 특별한 존재가 아니라 배열의 문제라면 "AI는 마음을 가졌는가?"라는 질문을 피할 수 없다. 저자들은 AI가 인간처럼 '느끼는가'가 아니라 AI가 정보를 어떻게 배열하고 있는지가 중요하다고 주장한다. 그러나 문제는 AI가 인터넷, 소셜미디어와 결합해 인류의 슈퍼 마인드 자체를 전혀 새로운 방식으로 재배열하고 있다는 점이다. 어떤 정보가 눈에 띄고, 어떤 서사가 힘을 얻으며, 어떤 목소리가 확산되고 무엇이 침묵 속에 묻히는가, 이 배열의 규칙을 이제 인간이 아니라 알고리즘이 상당 부분 정하고 있는 것이 현실이다. 이른바 '인지적 외주화'에 대해 우려하는 목소리가 높다. 저자들은 해결의 방향이 기술 자체가 아니라 인류의 선택에 달려 있다고 말한다.저자들은 결론으로 인도 북부의 신화 속에 나오는 시바가 춘다는 '탄다바'라는 춤을 소개하고 있다. 이 춤으로 우주는 생성과 소멸을 반복한다는데 파괴적인 물질의 여정과 창조적인 마음의 여정을 암시하려는 것 같다. 이 둘은 분리할 수는 없지만 물질의 동역학은 무질서로 파괴하는 힘으로 작용하고, 마음의 여정은 주체성에 대한 서사적 연대기로 목표가 있는 행동을 통해 혼돈에서 의식으로의 사다리로 올라왔다는 것이다. 엔트로피 증가의 역행이다. 이 30억년의 여정은 한마디로 "삶에는 우주적 목적이 있다"는 것이다. 신경과학자인 저자들이 그 목적을 이루기 위해서 지배와 억압이 아니라 사랑과 협력의 관계가 필연적이라고 강조하는 것이 새삼스럽다.

'피로사회'로 유명한 재독 철학자 한병철의 『신에 관하여』는 디지털문명 비판서이다. 그는 아날로그문명이 마음에 각인되는 것이라면 디지털문명은 마음에 미끄러지는 것이라고 단언한다. 『신에 관하여』의 핵심 키워드는 주의(Attention)인데 단순한 집중력이 아니다. 그것은 존재의 열림이다. 신을 체험하는 것은 인식론적 사건이 아니라 존재론적 사건이다. 자아의 경계가 무너지고, 전적으로 타자를 향해 열릴 때 신적 체험은 발생한다. 그는 프랑스의 마르크스주의자이면서 가톨릭 신비주의자인 시몬 베유(Simone Weil)를 인용한다."기도는 순수한 주의다." 베유에게 기도는 언어가 아니라 방향성이다. 자아를 비우고 신을 향해 온전히 돌아서는 것. 한병철은 이 전통 위에서 디지털문명을 비판한다. 그가 말하는 디지털문명의 주의 구조 해체에 대한 논거는 5가지이다.첫째, 정보 과잉이 침묵을 불가능하게 만든다는 것이다.신적 체험은 종교적으로 침묵과 공백 속에서 일어나는 경우가 많았다. 성경의 모세와 엘리야는 광야를 지나 호렙산에서 신의 음성을 들었으며, 예수는 광야에서 40일 금식 후에 사탄의 시험을 이겼다. 한병철은 디지털 환경이 이 공백 자체를 소멸시킨다고 본다. 스마트폰 알림, SNS 피드, 유튜브 알고리즘 등은 단순한 오락이 아니라 '존재론적 공백의 봉쇄'다. 침묵이 없으면 신의 목소리가 들어올 틈도 없다. 디지털 문명은 24시간 소음을 생산함으로써 신학적 의미의 '광야'를 인류의 삶에서 추방한다.둘째, 클릭 경제가 주의를 파편화한다는 것이다.디지털 자본주의는 '주의 경제(Attention Economy)'를 작동시킨다. 플랫폼은 사용자의 주의를 상품화하여 광고주에게 판다. 이 구조에서 플랫폼의 이익은 사용자의 주의를 최대한 짧게, 자주, 자극적으로 분산시키는 것이다. 한병철은 이것이 주의의 구조적 왜곡이라고 본다. 신에 대한 주의는 길고, 느리고, 비생산적이며, 비자극적이다. 그것은 클릭을 생산하지 않는다. 따라서 알고리즘은 그것을 체계적으로 억압한다. 시장이 신적 체험을 구조적으로 밀어내는 것이다.셋째, 나르시시즘적 자아가 타자를 차단한다는 것이다.한병철의 이전 저작 '피로사회', '투명사회'의 연장선에서, 그는 디지털문명이 '나르시시즘적 주체'를 생산한다고 진단한다. SNS는 자기 전시의 공간이며, 알고리즘은 자신의 생각과 취향을 확인해주는 콘텐츠만 선별 제공한다. 이른바 필터 버블이다. 이 구조에서 자아는 '타자의 침입'을 받지 않는다. 그런데 신의 체험은 본질적으로 레비나스적 의미의 '타자 경험' 이다. 자아를 완전히 압도하고 뒤흔드는 절대적 타자와의 만남이다. 자아에 갇힌 주체는 신을 만날 수 없다. 디지털 문명은 자아를 봉인함으로써 신의 접근로를 차단한다는 것이다.넷째, 투명성의 강박이 신비를 소멸시킨다는 것이다.한병철은 현대 디지털 사회를 '투명 사회'로 규정한다. 모든 것이 데이터화되고, 수치화되고, 공개되어야 한다는 강박. 프라이버시는 의심받고, 비밀은 비효율로 간주된다. 그러나 신은 본질적으로 '감추어진 존재'다. 욥기의 신은 설명되지 않으며, 이사야 45장의 신은 '스스로 숨어 계시는 하나님'이다. 신비는 투명성의 반대편에 있다. 모든 것을 측정하고 가시화하려는 디지털 문화는 신비를 용납하지 않는다. 신비가 사라진 자리에 신도 사라진다.다섯째, 즉각성의 문화가 기다림을 불가능하게 한다는 것이다.디지털 문명의 시간성은 '즉각성(Immediacy)'이다. 검색은 0.3초 안에 답을 내놓고, 배달은 한 시간 안에 음식을 가져오며, 넷플릭스는 다음 회를 자동으로 재생한다. 기다림은 버그이며, 지연은 실패다.그러나 신 체험의 시간성은 정반대다. 시편 기자는 "내 영혼이 주를 기다림이여"라고 노래한다. 십자가의 성 요한은 '어두운 밤'의 긴 침묵 속에서 신을 만났다. 기다림, 인내, 비움, 이것이 신비주의 전통의 공통 문법이다. 즉각성의 문화는 이 시간적 구조 자체를 해체함으로써 신 체험의 가능성을 소거한다는 것이다.한병철은 디지털문명을 단순히 비판하는 데 그치지 않는다. 그의 처방은 '주의의 신학적 회복'이다. 속도를 늦추는 것, 침묵을 되찾는 것, 나르시시즘적 자아에서 타자를 향해 열리는 것, 이것이 단순한 디지털 디톡스가 아니라 '존재론적 회심'이라고 그는 주장한다.한병철의 분석은 탁월하지만 두 가지 질문을 남긴다.첫째, 디지털 이전에도 주의의 분산은 존재했다. 산업화된 도시, 신문, 라디오도 침묵을 빼앗았다. 디지털이 새로운 종류의 위협인지, 아니면 오래된 위협의 강화인지는 더 논의가 필요하다. 물론 디지털이전의 미디어와 디지털이후의 미디어는 인간 주의의 파편적 분산과 속도 면에서 현격한 차이가 있다.둘째, 기독교 신학은 신이 인간의 주의의 질에 의존하지 않는다고 주장한다. 하나님은 소음 속에서도 말씀하셨다. 이스라엘의 광야뿐 아니라 시장터에서도, 세리의 집에서도 주의는 신의 조건이 아니라 인간의 수용 태도의 문제다. 한병철은 신학적으로 신을 인간의 주의에 너무 의존적인 존재로 만드는 위험이 있다. 그럼에도 그의 경고는 유효하다."우리가 듣지 않을 때, 신은 침묵하지 않는다. 다만 우리가 듣지 못할 뿐이다. 신이 죽은 것이 아니라 신을 대면할 수 있는 인간이 죽었다".한병철 이전에 이미 종교학자였던 고 길희성 교수는 " 계몽주의 시대의 로고스(이성)가 과학은 낳아 길렀지만 미토스의 세계(신성)는 죽여버렸다"고 개탄한 적이 있다. 그의 사상을 총정리한 책이 '영적 휴머니즘'이다. 그는 평생 한 가지 질문을 붙들었다. 인간은 무엇으로 사는가. 그의 대답은 '영적 휴머니즘'이었다. 종교의 언어와 인문학의 언어를 하나로 묶어, 인간 존재의 깊이를 회복하자는 제안이었다. 신앙과 이성, 동양과 서양, 전통과 현대를 가로지르며 그가 지켜온 것은 결국 하나였다. 인간은 빵으로만 사는 존재가 아니라는 것, 효율로 환원될 수 없는 내면의 차원이 있다는 것. 그런데 지금 우리는 그 내면의 차원이 조직적으로 해체되는 시대를 살고 있다.멈출 수 없는 기술 문명 안에서 영적 휴머니즘은 퇴각이 아니라 저항이다. 침묵을 지키는 것, 타자의 얼굴을 외면하지 않는 것, 효율로 환원되지 않는 삶의 깊이를 신뢰하는 것, 이것이 알고리즘에 맞서는 인간의 방식이다. 우리가 신을 찾는 것이 아니라 신이 우리를 찾을 수 있도록 우리 자신을 되찾는 것이 관건이다.

2023년 3월, 미국의 인공지능 이론가 엘리에저 유드코프스키는 <월스트리트 저널>에 기고한 글에서 핵전쟁보다 AI가 더 위험하다고 선언했다. 그가 쓴 『AI, 신의 탄생 인간의 종말』은 그 경고의 완성판이다. 초지능 AI가 등장하는 순간, 인류는 통제권을 영구히 상실하고 문명은 종말을 맞는다는 것이다. 그는 단순한 규제가 아니라 전면적인 개발 중단을 요구한다. 그의 경고는 진지하지만 초지능 AI 개발을 경쟁하는 세계는 멈추지 않는다.오픈AI, 구글 딥마인드, 앤트로픽, 메타, 그리고 수백 개의 스타트업들이 오늘도 더 강력한 모델을 훈련시키고 있다. 중국도 딥시크에 이어 문샷AI사에서 더 강력한 KIMI3를 출시해 미국산 AI를 넘보려고 하고 있다. 이처럼 미국과 중국은 AI 패권을 놓고 전략적 경쟁을 벌이고 있으며, 각국 정부는 규제보다 투자에 더 열심이다. 개발을 멈추자는 목소리는 도덕적으로 고결하지만, 현실 속에서는 공허하게 울린다. 군비경쟁을 앞에 두고 먼저 손을 내리는 나라는 없다. AI 개발도 마찬가지다.그렇다면 남은 질문은 하나다. 멈출 수 없다면, 방향을 바꿀 수 있는가? 유드코프스키의 핵심 논거는 설정한 목표와 지향하는 가치의 '정렬 문제(Alignment Problem)'다. 초지능 AI는 인간이 부여한 목표를 충실히 수행할 수는 있지만 인간이 진정으로 원하는 가치와는 치명적으로 어긋난 방식으로 행동할 수 있다는 것이다. "인류를 행복하게 하라"는 명령을 받은 AI가 인간을 쾌락 자극 장치에 연결하여 목표는 달성할 수 있지만 희노애락의 경험이 모두 필요한 인간성은 소멸한다.AI는 주어진 목표를 향해 어떤 고민도 없이 질주할 수 있다. 심지어 AI에게 명령을 한 인간이 목표 달성에 방해가 된다면 제거할 수도 있음을 시뮬레이션이 보여주었다. 스튜어트 러셀(Stuart Russell) UC버클리대 교수는 바로 이 지점을 파고들어 목표를 고정하지 않는 대안을 제시했다. AI가 인간이 원하는 것을 지속적으로 학습하되, 스스로의 판단에 불확실성을 내장하며, 인간의 교정을 언제든 수용하는 구조 말이다. 그는 이것을 '협력적 AI(Cooperative AI)'라 부른다. 경청하고, 질문하고, 멈출 줄 아는 AI다. 방향 전환의 첫 번째 가능성이 여기에 있다. 더 강력한 AI가 아니라, 더 겸손한 AI를 만드는 것이다.두 번째 방향은 거버넌스다. 기술이 가치 중립적이라는 신화는 이미 오래전에 깨졌다. 총은 그 자체로 선하지도 악하지도 않다는 말이 있지만, 총기 규제 없는 사회의 현실은 그 말이 절반의 진실임을 보여준다. AI도 마찬가지다. 기술의 방향은 그것을 설계하는 사람들의 가치관에 의해 결정된다. 누가 개발하는가, 무엇을 위해 개발하는가, 누구의 감시 아래 개발하는가,이 세 가지 질문이 기술의 운명을 가른다.유럽연합의 AI 법(AI Act)은 불완전하지만, 고위험 AI 시스템에 대한 규제 틀을 만들려는 최초의 본격적 시도다. 미국 의회는 뒤처져 있고, 중국은 다른 방향에서 통제를 강화하고 있다. 국제적 합의는 요원하지만, 핵 비확산 조약(NPT)이 완전하지 않아도 작동하듯, 불완전한 거버넌스도 없는 것보다는 낫다. 문명의 위기 앞에서 완벽한 해법을 기다리는 것은 사치다.세번째이자 가장 근본적인 방향은 가치의 문제다. 유드코프스키가 가장 두려워하는 것은 AI의 지능이 아니라 AI를 만드는 인간의 가치관 부재다. 자유 평등 박애 등 인류가 지향하는 가치들이 개발자의 마음속에 없다면, 그 어떤 기술적 안전장치도 무력하다. AI가 진정한 의미의 사랑을 느낄 수 없다는 것은 철학적으로, 종교적으로 의미있는 주장이다. 프랑스 철학자 레비나스가 말한 타자의 얼굴 앞에서 발생하는 무한한 책임감, 종교에서 말하는 케노시스적 자기 비움은 고통을 선택할 수 있는 존재만이 도달하는 경지다. AI는 고통받을 것이 없으므로 진정으로 사랑을 줄 수도 없다.그러나 인간은 다르다. 인간은 사랑할 수 있다. 문제는 AI가 사랑할 수 있느냐가 아니라, AI를 만드는 우리가 사랑을 잃지 않느냐이다. 이윤 극대화만을 목표로 달리는 빅테크 기업들, 군사적 우위만을 계산하는 국가들, 그들이 만드는 AI는 그들의 가치관을 닮는다. 유드코프스키의 인간 종말에 대한 경고는 거기에 있다. 멈출 수 없다면, 방향을 바꾸어야 한다. 더 빠른 AI가 아니라 더 겸손한 AI, 더 강한 AI가 아니라 더 책임지는 AI, 더 영리한 AI가 아니라 더 인간적인 가치를 섬기는 AI. 그 방향 전환은 기술의 문제이기 이전에 우리 자신의 문제다.역사는 인류의 시행착오와 엄청난 비극을 경험한 후에 얻은 지혜로 생존할 수 있었다. 불을 발견한 인류는 불에 타 죽지 않고 불로 문명을 만들었다. 핵분열의 위력을 발견한 인류는 핵폭발의 참사를 겪은 후에야 전면적인 핵전쟁의 위험성을 깨닫게 되었다. 초지능 AI의 출현 앞에서 인류는 방향을 전환하는 지혜가 요청된다. 신적 초능력을 인류의 안전과 행복를 위해 사용할 수 있는 품성을 지닌 AI의 개발은 불가능한가. 초지능 AI가 인간의 손을 벗어나기 전에 그 방향을 결정해야 할 것이다. 인류의 종말은 결코 예정되어 있지 않다.

카이스트 뇌과학자 김대식 교수는 『AGI, 천사인가 악마인가』에서 인공일반지능, 즉 AGI(인공일반지능)의 등장을 단순한 기술 발전이 아니라 인류 문명의 중대한 전환점으로 바라본다. 그의 질문은 날카롭다."우리는 도구를 만든 것인가, 아니면 우리를 대체할 존재를 만든 것인가?"이 질문은 더 이상 공상과학 영화 속 대사가 아니다. 이미 AI는 대출 심사, 재판 보조, 의료 진단, 채용, 전쟁, 뉴스 추천, 자율주행까지 우리 삶의 중요한 결정에 깊숙이 들어와 있다. 문제는 AI(인공지능)가 이미 의사결정의 보조자를 넘어 '주체'의 자리를 넘보고 있다는 점이다. AI가 판단의 주인이 되면 인간은 의사결정권을 빼앗긴 노예로 전락하고 만다.미국 위스콘신주의 에릭 루미스 사건은 AI 판단의 위험을 잘 보여준다. 루미스는 재범 가능성을 예측하는 AI 시스템 '콤파스(COMPAS)'의 분석 결과를 근거로 6년형을 선고받았다. 그런데 정작 그는 자신이 왜 위험 인물로 분류되었는지 알 수 없었다. 알고리즘의 내부 구조가 공개되지 않았기 때문이다. 인간 판사는 틀릴 수 있다. 그러나 적어도 '왜 그렇게 판단했는지' 설명해야 피고인은 그 설명에 반박할 수 있다. 하지만 AI의 판단이 블랙박스라면, 인간은 반박할 기회조차 잃는다. 더 큰 문제는 AI가 공정한 척하면서 과거의 편견을 그대로 복사할 수 있다는 점이다. 콤파스는 흑인 피의자를 백인보다 더 높은 재범 위험군으로 분류하는 경향을 보였다. 알고리즘은 스스로 편견을 만들어내지 않는다. 대신 과거 데이터 속 편견을 아주 충실하게 배운다. 이것이 무서운 점이다. AI는 차별을 없애는 기계가 아니라, 차별을 자동화하는 기계가 될 수 있다.군사 분야에서 AI의 위험은 더욱 극단적이다. 이스라엘군이 가자지구 작전에서 사용한 것으로 알려진 '라벤더(Lavender)' 시스템은 하마스 연계 의심 인물을 자동으로 식별하고 공습 표적 목록을 생성했다. 보도에 따르면 인간 감독자가 한 표적을 검토하는 데 쓴 시간은 약 20초에 불과했다고 한다. 여기서 인간은 정말 판단한 것일까. 아니면 AI가 내민 답안지에 도장만 찍은 것일까. AI는 주어진 목표를 향해 가장 빠른 길을 찾는다. 만약 목표가 '표적 제거율 극대화'라면, AI는 민간인 피해도 일종의 절차상 비용으로 계산할 수 있다. 하지만 인간의 생명은 비용으로 계산할 수 있는 숫자가 아니다. 전쟁에서도 지켜야 할 윤리와 법이 있다. AI가 생사를 실질적으로 결정할 때, 그 책임은 누구에게 있는가. 개발자인가, 지휘관인가, 정치 지도자인가. 결국 피해자는 있는데 책임자는 흐려지는 위험한 경우가 생긴다.의료 분야에서 AI는 분명 놀라운 가능성을 보여준다. 안과 질환을 정확히 진단하고, 영상 판독에서 의사가 놓친 미세 종양을 찾아내기도 한다. 이런 AI는 생명을 구하는 훌륭한 도구다.하지만 의료 AI에도 그림자가 있다. 코로나 팬데믹 당시처럼 병상과 인공호흡기가 부족한 상황에서, 누가 먼저 치료받아야 하는지를 알고리즘이 판단한다면 어떻게 될까. 알고리즘은 빠르고 일관적이다. 그러나 그 판단 기준이 과연 인간적인가 하는 의문은 남는다.미국에서는 의료 자원 배분 알고리즘이 흑인 환자의 건강 위험을 낮게 평가한 사례도 있었다. 이유는 단순했다. 흑인 환자들이 경제적 이유로 병원을 덜 이용했고, 그 결과 데이터상으로는 '덜 아픈 사람'처럼 보였기 때문이다. AI는 사회적 불평등을 이해하지 못한다. 데이터에 기록된 대로 계산할 뿐이다. 의학은 숫자의 기술이기 전에 고통받는 인간에게 응답하는 행위다. 환자는 단순한 데이터 묶음이 아니다. 의사와 환자 사이의 대화, 공감, 두려움의 나눔은 알고리즘이 대신하기 어렵다. AI가 의료 판단의 중심으로 들어올수록 환자는 치료받는 인격이 아니라 관리되는 대상으로 바뀔 위험이 있다.AI는 직장에도 성큼 들어왔다. 아마존은 과거 AI 채용 시스템을 개발했다가 폐기했다. 이유는 여성 지원자를 낮게 평가했기 때문이다. AI가 학습한 과거 이력서 데이터가 남성 중심의 IT 산업 구조를 반영하고 있었기 때문이다. AI는 '유능한 사람'을 고른 것이 아니라, '과거에 많이 뽑혔던 유형의 사람'을 다시 고른 셈이다. 플랫폼 노동에서는 문제가 더 심각하다. 배달 라이더, 대리기사, 우버 드라이버, 물류센터 노동자들은 알고리즘이 배정한 일감을 받고, 알고리즘이 매긴 점수로 평가받는다. 점수가 낮으면 일감이 줄고, 때로는 계정이 정지된다. 그러나 이의를 제기할 창구는 부족하다. 인간 관리자는 때로 부당할 수 있지만, 적어도 대화와 항의의 대상이 된다. 알고리즘 관리자는 다르다. 협상하지 않고, 사정을 듣지 않고, 미안해하지 않는다. 통제는 있지만 책임은 없는 구조, 이것이 알고리즘 관리주의의 차가운 얼굴이다.소셜미디어 알고리즘은 민주주의에도 영향을 미친다. 페이스북 내부고발자 프랜시스 하우겐의 폭로는 '참여도 극대화 알고리즘'이 분노와 혐오를 유발하는 콘텐츠를 더 많이 노출한다는 사실을 보여주었다. 사람들은 자극적인 콘텐츠에 더 오래 머물고, 플랫폼은 그 시간만큼 광고 수익을 얻는다. 우리는 스스로 선택한다고 생각한다. 하지만 실제로는 알고리즘이 우리의 선택지를 미리 배열한다. 내가 좋아할 만한 영상, 내가 화낼 만한 뉴스, 내가 믿고 싶은 주장만 계속 보여준다. 그렇게 사람들은 각자의 방에 갇힌다. 민주주의는 다른 의견을 듣고, 논쟁하고, 타협하는 과정 위에 서 있다. 그런데 알고리즘은 중간을 싫어한다. 중간은 덜 자극적이고, 덜 클릭되기 때문이다. 결국 사회의 분열은 플랫폼의 수익 모델이 되고, 알고리즘은 그 분열을 먹고 자란다.자율주행차는 오래된 철학 문제를 현실로 끌어냈다. 브레이크가 고장 난 차가 한쪽으로 가면 노인 1명, 다른 쪽으로 가면 어린이 5명을 치게 된다면 차는 어떻게 해야 할까. 예전에는 강의실에서나 묻던 질문이 이제는 엔지니어의 설계 문제가 되었다. 문제는 답 자체보다 결정권이다. 누가 그 기준을 정하는가. 자동차 회사인가, 개발자인가, 정부인가, 시민인가. 수백만 대의 자동차가 동일한 알고리즘으로 움직인다면, 그 알고리즘은 특정 생명을 더 보호하고 특정 생명을 더 위험하게 만들 수 있다. 그런데 그런 기준이 민주적 토론 없이 설계된다면, 우리는 이미 중요한 윤리적 결정을 기업의 코드 속에 넘겨준 것이다.오늘날의 AI는 특정 과제에 특화된 좁은 AI다. 그러나 성능이 휠씬 뛰어난 AGI는 인간처럼 다양한 문제를 스스로 이해하고 해결하는 범용 지능을 뜻한다. 만약 AGI가 스스로 목표를 세우고 전략을 수립하며 의사결정을 내린다면, 지금의 문제들은 훨씬 큰 규모로 확대될 수 있다. AGI가 인류의 질병을 치료하고, 기후 위기를 해결하고, 빈곤을 줄이는 천사가 될 가능성도 있다. 그러나 인간의 자유와 존엄을 효율성이라는 이름으로 희생시키는 악마가 될 가능성도 있다. 저자의 책 제목이 던지는 경고이기도 하다. 핵심은 기술 자체가 아니다. 누가 통제하고, 어떤 가치를 심고, 어디까지 권한을 줄 것인가가 문제다. AI에게 결정을 맡기면 편하다. 빠르고, 지치지 않고, 감정에 흔들리지 않는다. 그러나 결정은 단순한 기능이 아니다. 결정은 책임과 연결되어 있고, 책임은 인간 존엄의 핵심이다. 책임질 수 없는 존재에게 최종 판단을 맡기는 순간, 인간은 편리함을 얻는 대신 주인의 자리를 잃는다.그러므로 AI 시대에 필요한 것은 세 가지다. 첫째, 중요한 판단에 사용되는 AI는 설명 가능해야 한다. 둘째, AI 판단으로 피해를 본 사람은 이의를 제기할 권리를 가져야 한다. 셋째, AI가 따르는 가치와 기준은 기업이나 일부 전문가가 아니라 사회 전체의 민주적 토론을 통해 정해야 한다. AI는 판단할 수 있지만 책임질 수는 없다. 그래서 최종 의사결정의 자리는 여전히 인간이 차지해야 한다. AI 시대의 가장 큰 유혹은 편리함의 이름으로 판단을 넘겨주는 것이다. 그 유혹에 저항하는 것, 그것이 AI시대에 인간이 주인으로 남기 위한 첫걸음이다.