500개 AI 모델 알아서 척척, KT 토큰 팩토리 출시

KT가 500개 이상의 국내외 인공지능(AI) 모델을 한 번에 묶은 AI 플랫폼 'KT 토큰팩토리'를 내놨다. 통신사업에서 쌓은 역량을 AI 서비스에 접목해 기업의 AI 전환(AX) 수요를 공략한다는 구상이다.

KT는 27일 서울 광화문 West 빌딩에서 토큰팩토리를 공개하고 30일 기업 고객 대상으로 출시한다고 밝혔다. 토큰은 AI가 질문과 문서를 이해하고 답변을 만드는 과정에서 처리하는 기본 단위다.

토큰팩토리는 업무에 맞는 AI 모델을 알아서 골라 준다. 요약이나 번역 같은 단순 업무에는 가벼운 모델을, 복잡한 분석 업무에는 고성능 모델을 연결해 불필요한 비용 지출을 줄인다. 이 기술에는 KT가 자체 개발한 AI 모델 라우팅 기술 '오토 모델 라우터'가 적용됐다.

한국어에 맞춘 프롬프트 압축 기술도 고도화했다. 질문의 의미와 응답 품질은 비슷하게 유지하면서 입력 토큰 수를 줄이고 처리 효율을 높였다. KT는 모델 라우팅과 프롬프트 압축을 합쳐 토큰 사용량을 최대 25% 줄일 수 있다고 밝혔다.

김준석 에이전틱 AI 랩장(상무)은 프롬프트에서 불필요한 표현을 덜어 입력 토큰을 줄이는 데서 약 20%, 문제를 처리할 수 있는 가장 저렴한 모델로 연결하는 라우팅에서 약 5%를 아낀다고 설명했다.

출시 시점 모델은 73종(KT 자체 7종, 글로벌 66종)이다. KT는 오픈라우터와 국내 최초로 공식 파트너십을 맺었고 11월에는 오픈라우터의 500종 이상 모델이 토큰팩토리에 입점한다. 12월 말에는 서비스를 고도화하고 내년 3월에는 개발자·개인에게도 문을 연다.

요금제는 후불형과 선불형을 모두 쓸 수 있는 '스탠다드'와 후불약정형 '엔터프라이즈'로 나뉜다. 사용료는 통신 요금과 통합 청구할 수 있다. KT는 12월까지 기업 대상 사업에 집중하고 향후 구독형 요금제를 내놓을 방침이다.

박상원 AX 사업부문장(전무)은 "KT 토큰팩토리는 비용 효율성과 신뢰라는 두 마리 토끼를 같이 잡기 위해 준비했다"며 "고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.