신성규 리벨리온 부사장이 30일 서울 여의도 한국경제인협회 컨퍼런스센터에서 'AI 대전환의 시대, AI 풀스택 대한민국의 도약'을 주제로 열린 시대포럼에서 'AI 인프라 시대, 한국의 기회와 과제' 전문가 발표를 하고 있다. /사진=조현호 기자


신성규 리벨리온 부사장은 "추론 시장은 이제 초입일 뿐"이라며 "추론 시장이 커질수록 반도체 기반을 갖춘 한국이 확보할 수 있는 기회도 상당할 것"이라고 밝혔다.

신 부사장은 30일 오전 서울 여의도 한국경제인협회 컨퍼런스센터 다이아몬드홀에서 열린 '시대포럼 - AI 대전환의 시대, AI 풀스택 대한민국의 도약' 포럼에서 이같이 말했다.



신 부사장은 AI 산업의 새로운 성장축으로 추론 시장을 주목했다. 블룸버그 자료에 따르면 추론 시장 규모는 2024년 390억달러에서 2030년 4750억달러 이상으로 성장할 전망이다. 약 6년 만에 12배 이상 확대되는 셈이다.

특히 에이전틱 AI 확산은 추론에 필요한 연산량을 더욱 끌어올릴 것으로 예상된다. 에이전틱 AI는 사용자의 요구를 수행하기 위해 여러 단계의 추론을 연속해서 처리하기 때문이다. 신 부사장은 "에이전틱 AI는 추론이 아주 연속적으로 일어나는 것"이라며 "반대로 생각하면 데이터센터에서 돌아가야 하는 연산이 엄청 많아진다는 것"이라고 말했다.

관건은 늘어나는 추론 수요를 얼마나 경제적으로 처리할 수 있느냐다. 연산량이 빠르게 증가할수록 이를 처리하기 위한 컴퓨팅 비용도 함께 늘어나서다. 이에 AI 서비스의 수익성을 확보하기 위해선 인프라 비용 효율을 높여야 한다는 설명이다.



실제 신 부사장은 AI 모델 기업의 대규모 손실을 언급하며 비용 절감의 중요성을 강조했다. 추론 과정에서도 연산 특성에 따라 서로 다른 반도체를 활용하는 방안이 논의되는 이유다. 신 부사장은 "이렇게 해야 비용을 절감하고 수익을 창출할 수 있다"고 했다.

동시에 AI 산업에 유입되는 막대한 자본은 하드웨어·인프라로 향하고 있다고 짚었다. 엔비디아의 올해 1분기 순이익은 583억달러(약 79조원)로 같은 기간 오픈AI와 앤스로픽의 매출인 57억달러(약 7.7조원), 48억달러(약 6.5조원)를 크게 웃돌았다. 신 부사장은 "현재 누가 수익을 내고 있고, 어느 분야에서 병목이 발생해 자본이 집중되는지를 보여주는 것"이라고 설명했다.

AI 시장이 커질수록 인프라를 둘러싼 병목도 확대될 것으로 전망했다. 반도체를 비롯한 연산 자원뿐 아니라 데이터센터를 가동할 전력과 서버·랙을 구성하는 각종 부품 등이 AI 인프라 경쟁력을 좌우할 수 있기 때문이다. 특히 신 부사장은 전력의 중요성을 강조했다. 그는 "데이터센터를 다 지어놨는데 전력이 공급되지 않으면 아무런 의미가 없다"며 "전력은 개별 기업이 해결할 수 없는 큰 아젠다"라고 말했다.

연산 자원의 안정적인 공급망 확보도 중요하다. 그는 "서버나 랙 등 더 큰 인프라 단위로 보면 그래픽카드 하나에만 5000개의 부품이 들어간다"며 "매년 새로운 쇼티지가 발생하고 있다"고 설명했다. "공급망을 어떻게 잘 준비하고 다스리는지가 결국 회사의 경쟁력인 만큼 병목을 잘 보는 기업이 돈을 번다고 생각한다"라고도 했다.

추론 과정에서 GPU와 NPU(신경망처리장치)를 함께 활용하는 이기종 컴퓨팅이 주목받고 있다고도 했다. 입력값을 처리하는 '프리필'과 답변을 생성하는 '디코드' 단계의 연산 특성이 다른 만큼 각각에 적합한 반도체를 활용해 비용 효율을 높이는 방식이다. 신 부사장은은 "데이터센터에서도 GPU와 NPU가 함께 있을 때 돈을 벌 수 있는 구조가 나온다는 트렌드가 확실히 나타나고 있다"고 했다.

AI 인프라 경쟁은 기업을 넘어 국가 단위로도 확산하고 있다. AI가 국가 경쟁력을 좌우할 핵심 기술로 떠오르면서 자체적인 컴퓨팅 인프라와 AI 생태계를 구축하려는 '소버린 AI' 경쟁이 본격화하는 모습이다. 신 부사장은 "AI에 대한 국가 프로젝트가 모든 나라에서 다양하게 펼쳐지고 있다"며 "우리나라뿐 아니라 프랑스와 중동, 영국 등에서도 이러한 움직임이 나타나고 있다"고 말했다.

한국 역시 AI 인프라 경쟁에서 활용할 수 있는 산업 기반을 갖췄다는 게 신 부사장의 진단이다. 신 부사장은 "미국이 아니면 AI 풀스택을 모두 갖추기가 어렵기 때문에 결국 병목을 잘 잡아야 한다"며 "삼성과 SK하이닉스가 고대역폭메모리(HBM)라는 엄청난 병목을 갖고 있기 때문에 수많은 빅테크 경영진이 한국을 찾아오고 있다"고 말했다.

이어 "그동안 메모리를 중심으로 큰 역할을 해왔다면 추론 시장이 커지는 현 시점에서는 AI 반도체를 통해 확보할 수 있는 레버리지도 상당하다고 생각한다"며 "이러한 경쟁력은 개별 기업을 넘어 우리나라가 소버린 AI 또는 풀스택 AI를 구축하는 데 기여할 수 있다"고 전했다.

이날 시대포럼은 AI 반도체와 데이터센터, 피지컬 AI 등 주요 분야 전문가들이 참여해 한국이 국가 차원의 AI 풀스택 경쟁력을 확보하기 위한 전략과 정책 방향을 논의하기 위해 마련됐다.

행사에는 황정아 더불어민주당 의원, 고동진 국민의힘 의원, 이준석 개혁신당 전 대표가 참석해 축사를 진행했다. 전문가 발표 세션에는 신성규 리벨리온 부사장, 최수환 리얼월드 전무, 이영탁 SK텔레콤 AI정책연구원 부사장, 전영순 삼성물산 데이터센터사업 그룹장이 참여했다.