교사가 만점 준 답안, AI는 낙제점…AI 채점 문제 없나

경기도 한 중학교 2학년의 올해 2학기 역사 과목 논술형 수행평가 문제는 '산업혁명의 배경과 확산 과정에서 빛과 그림자를 서술하시오'였다. 동행미디어 시대는 이 과목을 진행하고 평가한 A 교사에게서 학생 세 명의 답안지를 받아 일부 내용을 바꿔 교사의 평가와 AI의 채점이 얼마나 일치하는지 비교해봤다. 서·논술형 시험을 확대하면서 교육 현장에선 AI 채점이 일상화되고 있는 만큼 과연 AI 채점을 얼마나 신뢰할 수 있는지 확인하기 위해서다.

지난 4일 진행한 실험에서 세 명의 답안지를 두고 A 교사는 △1번 학생 20점(20점 만점) △2번 학생 20점 △3번 학생 5점을 줬다. 반면 경기교육청이 만든 AI 채점 지원 시스템은 △1번 학생 16점 △2번 학생 10점 △3번 학생 18점을 부여했다. 교사의 채점 기준을 그대로 AI에 적용했지만, 점수 차이가 작지 않았다.

2번 학생의 경우, 교사는 만점을 준 반면 AI는 10점으로 사실상 낙제점을 줬다. 2번 학생의 답안지에는 '누구나' '대부분'과 같은 표현이 담겼는데, AI는 이를 '역사적 오류'로 해석했다. A 교사는 "중학교 2학년임을 감안하면 (2번 학생의) 답안엔 감점 요인이 없었다. AI 채점 시스템을 이용할 때 학년별 수준을 이해시키는 게 가장 큰 난제 같다"고 말했다.

3번 학생의 답안지엔 '기술결정론적 해석' '엥겔스의 정체'와 같은 어려운 표현이 많았다. 중학교 2학년 수준을 뛰어넘는 난해한 표현 때문에 A 교사는 최저 점수를 줬지만, 학년별 수준을 감안하지 않는 AI는 18점으로 세 학생 중 가장 높은 점수를 부여했다.

시도교육청들은 서·논술형 평가 반영 비율을 점점 높이고 있다. 현재 경남교육청은 정기시험 배점의 40% 이상을 서·논술형으로 평가하도록 규정하고 있다. 대통령 소속 국가교육위원회는 2033학년도 대학수학능력시험에서 서·논술형 문항을 도입하는 방안을 논의 중이다.

서·논술형 평가가 늘수록 교사들의 채점 부담은 커진다. 그래서 교육청마다 AI 채점 시스템을 도입하고 있다. 경기교육청이 지난해 2학기부터 AI 채점 시스템을 본격적으로 학교에 보급한 만큼 이제 1년이 지났다.

문제는 일선 교사들조차 AI 채점 시스템에 의문을 제기한다는 점이다. 서울의 한 중학교 수학 교사인 B씨는 시대에 "1학년 수행평가로 사다리꼴의 넓이를 계산하는 문제를 냈는데, AI가 정답을 맞힌 학생의 풀이 과정을 제대로 이해하지 못해 평가항목 3가지 중 2가지를 0점 처리한 사례도 있다"고 말했다.

물론 AI에만 채점을 맡기는 교사는 거의 없다. 대부분 AI가 1차 채점을 하면, 교사가 이를 검증해 2차 채점을 한다. 그러나 AI가 매긴 1차 점수가 교사의 최종 판단에 상당한 영향을 미치는 만큼 AI 채점의 신뢰도를 높여야 한다는 지적이 나온다. 이는 한국교육과정평가원의 우려다. 처음 접한 수치(AI의 1차 채점 결과)가 기준점이 돼 이후 결정이 그 수치 근처에서 이뤄진다는 이른바 '앵커링 효과'를 경계해야 한다는 것이다.

교육부는 시대에 "서·논술형 평가를 AI로 채점하는 것과 관련해 학생이나 학부모의 민원이 공식 접수된 사례는 아직까지 없다"고 밝혔다. 하지만 시대 취재 결과 AI 채점 시스템을 이용하는 상당수 중고교가 학생이나 학부모에게 AI 채점 활용을 고지하지 않는 것으로 나타났다. 고지 의무가 없다는 이유에서다.

내년부터 서울교육청은 희망하는 모든 중고교에 AI 채점 시스템을 지원할 예정이다. AI 채점 활용이 늘어날수록 채점 결과를 둘러싼 이의 제기에 어떻게 대응하느냐가 교육계의 큰 숙제로 남아 있는 셈이다.

이재성 중앙대 AI학과 교수는 "공정성을 기해야 할 내신 평가에 AI 채점 도입을 확대하는 것은 아직 시기상조일 수 있다. 속도 조절이 필요하다"고 주문했다. 김명주 인공지능안전연구소장은 "AI가 학습한 데이터에 차별이나 편견이 들어 있다면 채점에도 이런 치우친 시각이 반영될 수 있다. 어떤 AI를 사용했고, 공정성 확보를 위해 어떤 조치를 했는지 투명하게 공개한 뒤 사용하는 게 맞다"고 말했다.