넷마블 관계자가 시그라프 2019에서 AI 그래픽기술을 발표하고 있다. /사진=넷마블
넷마블 관계자가 시그라프 2019에서 AI 그래픽기술을 발표하고 있다. /사진=넷마블
넷마블이 얼굴 애니메이션을 자동 생성하는 차세대 인공지능(AI)기술을 개발해 관심이 집중되고 있다.
5일 넷마블에 따르면 최근 미국 LA에서 개최된 컴퓨터 그래픽 분야 세계 최고 권위 행사 ‘시그라프 2019’에서 ‘다중작업 방식 음성 기반 얼굴 애니메이션’(MTADFA) 기술이 담긴 논문을 발표했다.

MTADFA는 음성에 맞춰 더 자연스러운 얼굴 애니메이션을 자동 생성하는 기술로 넷마블이 자체 개발에 성공했다.


행사에서 논문을 발표한 넷마블 AI센터 안수남 팀장은 “넷마블이 업계 최초로 MTADFA기술을 개발했다”고 밝혔다.

MTADFA는 넷마블이 자체 개발한 딥 뉴럴 네트워크 ‘멀티넷’을 활용한다. 실험데이터에서 제공하는 14명의 서로 다른 캐릭터의 음성·얼굴 애니메이션을 동시에 학습한다. 이를 활용해 더 많은 캐릭터의 얼굴 애니메이션을 확장 생성하는 것이 가장 큰 특징이다.

MTADFA기술. /사진=넷마블
MTADFA기술. /사진=넷마블
안수남 팀장은 “AI가 자동으로 얼굴 애니메이션을 생성하기 위해서는 음성과 애니메이션이 짝지어진 예시를 보며 학습하는 과정이 필요하다”며 “넷마블의 차세대 기술인 MTADFA는 AI가 더 다양한 예시를 학습할 수 있도록 해 기존 대비 자연스럽고 안정적인 애니메이션을 생성할 수 있다. 새로운 언어 음성 입력 시에도 입술 움직임을 동기화하는 능력이 우수해 다국어 지원 게임 개발에도 활용도가 높을 것”이라고 설명했다.
개별 캐릭터를 따로 학습시켜야만 하는 기존 방식은 AI에 충분한 데이터를 제공하지 못해 최종 생성된 애니메이션에서 떨림 현상이 발생하거나 새 언어에 대한 동기화가 맞지 않는 문제점이 있었다. 넷마블은 이를 해결하고 진화시키는 데 초점을 맞췄다.


오인수 넷마블 AI 센터 실장은 “음성 입력에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성해주는 기술을 개발해 이용자에게 더 높은 생동감과 몰입감을 제공하는 모바일게임을 개발할 것”이라며 “많은 시간과 노력이 필요한 애니메이션 등 아트 제작 과정도 자동화할 수 있어 개발 효율성이 더 향상될 것으로 전망한다”고 전했다.

한편 넷마블은 향후 자사 게임에 우선적으로 해당 기술을 적용할 계획이다. 넷마블의 AI 게임기술 연구 및 개발을 전담하는 AI센터는 콜럼버스 프로젝트, 마젤란 프로젝트 등 지능형 게임기술을 개발하고 있다.