日 의사시험 통과 'GPT-4', 부적절한 응답도 했다는데

미국 오픈AI가 개발한 생성형 인공지능(AI) '챗GPT'의 최신 버전이 일본 의사면허 시험에 합격했다는 연구 결과가 공개됐다.

지난 10일 요미우리신문 등 일본 매체는 미국 워싱턴대 가사이 준고 연구원이 챗GPT와 최신 AI인 GPT-4에 2018년부터 2022년까지 출제된 일본 의사면허 시험을 풀게 한 결과 GPT-4가 5개치 시험을 전부 합격했다고 보도했다. 챗GPT 기존 버전의 경우 모든 시험에서 불합격했다.


GPT-4는 합격선을 넘긴 했지만 인간 응시자의 평균 점수를 밑돌았다. 임신 중인 환자에게 투여할 수 없는 약을 고르거나 환자에게 안락사를 권유하는 등 부적절한 답을 고르기도 했다.

가사이 연구원은 "일본 의료법을 모르거나 임신부라는 사실을 간과했을 것"이라고 지적했다. 그러면서 "향후 챗GPT가 더 많은 일본어 데이터를 학습하게 될 경우 성능이 대폭 개선될 것으로 기대된다"고 덧붙였다.

GPT-4는 지난 3월 미국 모의 변호사 시험을 전체 상위 10% 성적으로 통과한 바 있다. 이전 버전인 GPT-3.5가 같은 시험에서 하위 10%를 기록한 것과 대조적이다. 지난 1월 미국 미네소타대에서는 챗GPT가 로스쿨에 합격하기도 했다. 당시 챗GPT 구형 버전은 미 헌법과 조세제도 등 광범위한 내용을 주제로 한 서술형 문항에 적절하게 답해 합격권에 들었다.


한편 국내에서도 생성형 AI 개발이 가속화되며 정보 유출 등의 문제가 일자 관련 규제를 강화하고 있다. 지난 8일 국정원은 정부부처와 지방자치단체에 공문을 보내 개인정보와 비공개 자료를 챗GPT에 입력하지 말고 사전 보안성 검토를 받아야 한다고 공지했다. 최근 사내 정보가 일부 유출된 삼성전자는 직원들의 챗GPT 사용을 금지하거나 제한했다.