AI 안경 쓰고 커닝하면 몇 점?…미 SAT 문제 80%이상 '정답'

스마트 안경을 쓰고 시험을 치르자 정답률이 약 80%에 달했다.

지난해 학술 출판사 사이티프레스를 통해 발표된 독일 마르틴 루터 대학 연구진의 '대면 시험의 공정성을 위협하는 대규모 언어모델·비전언어모델: 스마트안경과 컴퓨터 비전을 활용한 평가' 논문에 따르면 미국 대학입학자격시험(SAT) 문항을 토대로 AI 모델 문제 풀이 능력 시험 결과 전체 정답률은 82.78%였다. 실험에 사용된 문항은 독해 396개, 수학 324개 등 총 720개로 과거 공개된 SAT 시험 문항 기준이다.
연구진은 실제 스마트안경과 AI를 연결해 시험을 보게 하는 대신 스마트안경으로 시험지를 바라볼 때 나타날 수 있는 이미지 왜곡을 인위적으로 재현했다. 실제 시험 상황에 가깝도록 시험지 이미지에 약 75도 회전에 해당하는 원근 왜곡을 적용하고 3픽셀의 흐림 효과와 5% 노이즈를 더했다. 스마트안경으로 다소 떨어진 거리에서 시험지를 바라보는 상황을 모사했다.

가공한 문제를 구글 '제미나이 1.5 프로-002'에 풀도록 한 결과 전체 정답률은 82.78%였다. 수학 문제 87.96%, 독해 문제 78.54%를 맞혔다. 아울러 오픈AI 'GPT-4o'도 전체 문제의 75.69%를 맞혔다. 수학 정답률 74.69%, 독해 76.52%였다. 이미지 왜곡이 없는 깨끗한 문제만 제시했을 때는 정답률이 GPT-4o 87.22%, 제미나이 84.58%를 기록했다.

연구진은 이 같은 결과를 토대로 화질이 좋지 않은 상황에서도 상용 AI 모델이 시험 문제를 높은 정확도로 풀 수 있고 스마트안경이 대면 시험 공정성을 위협할 수 있다고 밝혔다. 연구진은 "스마트안경이 시험 문제를 AI에 전달하는 입력 수단으로 활용될 가능성이 있다. 화면 표시 기능이 없는 스마트안경은 익숙하지 않은 사람이 보기에는 일반 안경과 사실상 구별하기 어렵다"고 전했다.

해당 연구는 실제 작동하는 AI 커닝 안경을 만들어 시험장에서 검증한 것은 아니다. 또 시험 문제는 한 페이지에 한 문항만 보이도록 해 여러 문항 중 AI가 풀 문제를 찾아내야 하는 실제 시험 상황도 반영되진 않았다.

최근 시험장 내 AI 안경 착용은 전 세계적으로 문제가 되고 있다. 영국 매체 더 가디언은 영국 교육자격시험처 경고를 인용해 "AI 스마트안경, 초소형 이어폰이 시험 부정행위의 새로운 위협이 되고 있다"고 보도했다. 아울러 SAT를 주관하는 미 칼리지보드는 스마트안경을 통한 부정행위 우려가 제기되자 SAT 시험장에 스마트안경 반입을 전면 금지하는 규정을 도입했다. 특히 도수가 들어간 처방형 스마트안경도 예외 없이 금지돼 해당 안경을 착용하는 수험생은 일반 안경으로 교체하거나 시험을 재접수해야 하는 지침이 마련됐다.

미국 매체 CNN은 이 같은 상황에 대해 메타-레이밴 등 외관상 일반 안경과 전혀 구분되지 않는 초소형 카메라 탑재 웨어러블 기기가 대중화되면서 기존 오프라인 대면 시험 감독 체계가 한계에 직면했다고 짚었다. 그러면서 카메라로 시험지 문제를 촬영해 고성능 멀티모달 AI로 실시간 연동하는 방식이 표준화 시험 공정성을 직접적으로 무너뜨리는 전 세계적인 보안 위협으로 대두됐다고 전했다.

국내에서도 시험장에서 AI 안경은 논란이 되고 있다. 지난달 연세대학교, 서울시립대학교 등 주요 대학 논술 시험장에서 AI 스마트안경을 착용한 부정행위가 적발됐기 때문이다. 당시 수험생들은 시험이 시작되자 AI 기능을 지닌 스마트안경을 착용했고 안경테 두께, 렌즈 형태를 이상하게 여긴 현장 감독관에 의해 적발됐다. 해당 대학들은 적발된 수험생을 즉시 퇴실 조치했고 부정행위 인정 규정에 따라 향후 3년 동안 대입 응시 자격 정지 등 중징계를 내렸다.

교육부는 AI 스마트 안경 관련 시험 부정행위에 대한 우려 대응을 위해 전국 대학과 교육청에 '스마트안경 식별·검사 요령' 및 금지 물품 규정을 재차 배포했다. 일부 대학교, 시험장에서는 입실 시 처방 안경 실물 검사 도입, 전자기기 검출 장비 활용 검토 등 방지책을 마련했다.