별도 앱 넘어 기존 플랫폼 안에서도 AI 이용…‘이음인사이드’ 전략
공공·쇼핑·부동산 등 생활밀착형 서비스로 비교·추천·실행까지 연결
‘토큰팩토리’로 국산 AI·NPU 최적 조합…운영 효율 21% 개선

이진형 KT AX사업본부장 상무가 지난 11일 모두의AI 온라인 설명회에서 발언하고 있다. <출처=KT>

KT가 다음·무신사·직방·EBS 등과 국민들이 일상적으로 이용하는 서비스에 인공지능(AI)을 심어 대국민 AI 서비스를 확산한다. 

별도의 ‘모두의 AI’ 앱을 선보이는 동시에 기존 플랫폼 안에서도 같은 AI를 이용할 수 있도록 하는 ‘이음인사이드’ 전략이 핵심이다. 여기에 국산 AI 모델과 AI 반도체를 한데 묶은 ‘토큰팩토리’를 적용해 서비스 비용과 효율까지 잡겠다는 구상이다.

KT는 과학기술정보통신부가 추진하는 ‘모두의 AI’ 사업을 위해 공공·교육·금융·쇼핑 등 국민 생활과 밀접한 서비스를 하나의 AI 경험으로 연결하는 대국민 AI 서비스 전략을 공개했다.

KT 컨소시엄에는 업스테이지와 솔트룩스, 다음, 무신사, 직방, EBS, 매스프레소, BC카드 등이 대거 참여한다. 이들 참여 기업들이 보유한 서비스 이용자 접점을 합치면 6000만 이상이다. KT는 새로운 AI 서비스로 이용자를 끌어모으는 데 그치지 않고 이들 기존 서비스의 이용자 기반 자체를 AI 확산 통로로 활용한다는 계획이다.

이진형 KT AX사업본부장 상무는 지난 11일 온라인 설명회에서 “일반적인 정보를 알려주는 성능 좋은 글로벌 AI 서비스는 굉장히 많지만 우리 생활에 필요한 정확한 검색을 기반으로 비교·추천하고 실제 행동까지 이어주는 AI는 아직 부족하다”며 “쇼핑과 공교육, 부동산 등 국민에게 필요한 서비스에 AI가 빠르게 스며들도록 하는 것이 목표”라고 설명했다.

이를 구현하기 위한 핵심은 ‘이음인사이드’다. KT가 별도로 구축하는 ‘모두의 AI’ 앱에서 여러 서비스를 불러오는 데 그치지 않고 포털 ‘다음’과 직방, 무신사, 다나와 등 기존 서비스 안에도 동일한 AI 기능을 넣는 방식이다. 이용자는 모두의 AI 앱을 직접 사용할 수도 있고, 평소 사용하던 앱이나 웹·IPTV 등에서 별도의 서비스 이동 없이 AI를 이용할 수도 있다.

예컨대 직방에서 관심 있는 아파트를 살펴보던 이용자에게 새로운 실거래가가 등록됐다는 사실을 알려주고, 현재 나온 매물 가운데 시세보다 저렴한 물건까지 찾아주는 식이다. 쇼핑 서비스에서는 이용자가 보고 있는 상품을 기준으로 조건에 맞는 제품을 비교·추천하고 실제 구매 단계까지 연결하는 방식으로 발전시킨다.

이 상무는 “기존 AI 에이전트는 모든 서비스를 자기 쪽으로 연결하려는 단방향 구조”라며 “이음인사이드는 AI 에이전트에서 각 서비스를 검색할 뿐 아니라 기존 서비스에서도 AI를 사용할 수 있도록 양방향으로 연결하는 것이 특징”이라고 설명했다.

이음인사이드는 컨소시엄 참여 기업에만 한정하지 않는다. KT는 향후 외부 기업에도 개발도구(SDK)를 제공해 자사 서비스에 이음인사이드 기능을 적용할 수 있도록 할 방침이다. 자체 개발 역량이 부족한 중소 서비스에는 검색 엔진 등의 구축도 지원한다. 서비스 화면에 ‘버블 버튼’을 배치하고 이를 누르면 AI가 작동하도록 하는 방식 등이 검토되고 있다.

특히 공공 영역에서는 단순한 정보 제공을 넘어 이용자의 연령과 거주지역 등에 맞는 정부 지원 혜택을 안내하고 신청이나 증명서 발급까지 이어지는 AI 에이전트를 구현하는 것이 목표다.

다만 AI가 추천을 넘어 실제 ‘실행’ 단계까지 맡으려면 정부와 민간 서비스의 데이터·기능 개방이 필요하다. 현재 외부에 개방된 공공 서비스는 AI가 처리할 수 있지만 그렇지 않은 경우에는 이용자가 다시 정부24 등 별도 서비스로 이동해야 한다.

이 상무는 “공공 서비스 가운데 개방된 부분까지는 에이전트화가 가능하지만 개방되지 않은 기능은 중간에 멈춰 다른 앱으로 이동해야 한다”며 “최종 신청까지 이어질 수 있도록 정부와 서비스 개방 방안을 논의하고 있다”고 설명했다.

KT의 이음인사이드 연동 방식. <출처=KT>

이처럼 여러 서비스를 하나로 엮는 상단 구조를 ‘이음인사이드’가 담당한다면, 이를 실제로 구동하는 기술 기반은 KT의 AI 운영 플랫폼 ‘토큰팩토리’가 맡는다.

토큰팩토리는 업스테이지의 솔라, 모티프테크놀로지스의 모티프, 솔트룩스의 루시아, NC AI의 바르코, KT의 믿음 등 여러 국산 AI 모델을 하나의 플랫폼에서 운용한다. 특정 모델 하나에 의존하지 않고 이용자의 질문이나 작업 성격에 따라 가장 적합한 모델을 자동으로 골라주는 ‘모델 라우팅’ 구조다. 여기에 리벨리온의 국산 신경망처리장치(NPU)와 래블업·베슬AI의 AI 인프라 기술도 결합한다.

이 상무는 “추론이나 에이전트 툴 호출에는 솔라를 주력으로 쓰고 긴 문맥 처리가 중요한 경우에는 모티프, 3D나 사운드에는 NC AI, 멀티모달에는 KT 모델을 활용하는 식으로 최적의 모델을 라우팅한다”고 말했다.

KT가 멀티모델 구조를 택한 것은 성능뿐 아니라 AI 서비스 운영 비용을 낮추기 위해서다. 토큰팩토리는 AI가 입력 내용을 처리하는 ‘프리필’과 답변을 생성하는 ‘디코드’를 분리해 GPU와 국산 AI 반도체 등 각 단계에 적합한 자원을 할당한다. 이를 통해 분당 토큰 처리량(TPM)을 약 31% 높이고 프롬프트 압축 기술로 입력 토큰을 최대 80% 줄일 수 있다는 설명이다.

이 상무는 “정부로부터 100장의 자원을 지원받는다고 가정하면 토큰팩토리의 효율화를 통해 약 121장 수준의 효과를 낼 수 있다”며 “내부 운영비뿐 아니라 고객이 더 저렴하게 서비스를 쓸 수 있도록 하는 것이 토큰팩토리의 목적”이라고 말했다.

운영 비용을 낮춘 뒤에는 더 많은 사업자를 생태계로 끌어들이겠다는 구상이다. KT는 앞으로 금융과 호텔·음식점 예약, 콘텐츠 등으로 파트너사를 확대할 계획이다. 이미 컨소시엄 출범 이후 추가 참여를 희망하는 기업들도 나타나고 있다.

초기 사업의 방점도 이용자 과금보다는 생태계 확산에 찍혀 있다. 이 상무는 “현재 국민에게 직접 비용을 받는 수익모델은 심각하게 고려하고 있지 않다”고 밝혔다. 향후에는 정부 정책과 서비스 활성화 수준에 따라 일부 프리미엄 기능이나 전문가·업무용 에이전트 등에 유료 모델을 적용하는 방안을 검토할 계획이다.

한편, KT는 연간 약 15만명을 찾아가는 IT 서포터즈를 AI 교육·지원에 활용해 고령층과 다문화 가정 등 디지털 소외계층의 접근성을 높일 방침이다.

이 상무는 “AI를 잘 쓰는 사람뿐 아니라 아직 AI가 어려운 사람들까지 AI라는 세상에 연결하는 것이 모두의 AI의 목적”이라고 말했다.

[CEO스코어데일리 / 김동일 기자 / same91@ceoscore.co.kr]