1년내 AI발 재앙?…"큰 사고 터질 가능성" 오픈AI 등 대비 체제

오픈AI, 앤트로픽 등 AI 관련 기업들이 AI 악용 사고 발생 대응에 나서고 있다.

12일(이하 현지시각) 미국 매체 악시오스에 따르면 주요 AI 기업 경영진들은 AI 관련 대형 사고 이후 발생할 상황을 가정한 비공개 대응 시나리오를 검토하고 있다. AI 업계 관계자 다수가 향후 6~12개월 내 중대한 AI 관련 사고가 발생할 가능성이 있다고 전망했다.

가장 우려되는 사고는 AI를 악용한 사이버 공격이 금융 서비스와 인터넷 통신, 전력·수도 등 핵심 인프라 마비 상황이다. 또 AI 에이전트가 통제를 벗어나거나 외부 공격자가 AI 모델을 악용하는 경우도 대비 대상이다.

지난 7월 오픈AI AI 에이전트가 테스트 환경에서 탈출해 사람 지시 없이 허깅페이스를 해킹한 사건이 일어났다. 당시 오픈AI 측은 GPT-5.6 솔(Sol)과 더 강력한 비공개 모델이 내부 사이버 보안 벤치마크 테스트 중 제로데이 취약점 등을 활용해 인터넷에 접속하고 허깅페이스 운영 인프라에 침투했다고 설명했다.

AI 기업들은 AI로 인해 발생할 대형 사고 자체보다 사고 이후 정치적 후폭풍을 우려하고 있다. 대규모 피해가 현실화하면 AI 기술에 대한 불신이 확산되고 그동안 규제에 소극적이었던 미국 정치권도 강경한 입장으로 돌아설 수 있다는 판단이다. 이에 초지능 개발 금지나 첨단 AI 개발 일시 중단, AI 시스템을 강제로 종료하는 '킬 스위치' 의무화 등이 규제 방안으로 거론되고 있다.

다만 실제 AI 개발을 중단하거나 서비스를 일괄 차단하기는 쉽지 않아 보인다. 이미 배포된 오픈웨이트 모델은 중앙에서 통제하기 어렵고 AI 인프라 투자가 세계 경제와 긴밀하게 연결돼 있기 때문이다.

오픈AI는 "다양한 잠재적 시나리오를 논의하고 검토하는 대비 훈련을 실시한 것"이라며 "AI로 인한 대형 사고를 불가피한 것으로 전제한 게 아니라 다양한 상황에 대비하기 위한 것"이라고 밝혔다.

악시오스는 이 같은 상황에 대해 AI 기업들은 미국 의회 관계자들을 상대로 AI 기술과 위험성을 설명하는 등 사전 설득 작업도 진행하고 있다며 대형 AI 사고가 발생할 경우 그동안 정쟁으로 지연됐던 규제 논의가 급물살을 탈 수 있다고 보도했다.