13억·30억개 파라미터 SLM 공개…스마트폰 구동 최적화
한국어 처리 효율 30% 개선…추론 비용·응답 속도 경쟁력 확보
초거대 모델 성능 경쟁보다 카카오톡 기반 대규모 상용화에 ‘방점’

정신아 카카오 대표. <출처=카카오>

카카오가 초거대 인공지능(AI) 모델 경쟁에서 한발 비켜나, 카카오톡을 중심으로 한 ‘실용 AI’ 전략을 구체화하고 있다. 한국어 처리 효율과 낮은 추론 비용, 온디바이스 구동 능력 등을 앞세워 수천만명의 카카오톡 이용자에 AI 서비스를 확산시키겠다는 전략으로 풀이된다.

카카오는 28일 허깅페이스를 통해 ‘Kanana-2-1.3B-base’, ‘Kanana-2-1.3B-instruct’, ‘Kanana-2-3B-base’, ‘Kanana-2-3B-instruct’ 등 카나나2 경량 언어모델 4종을 공개했다. 베이스 모델은 추가 학습과 서비스 개발에 활용할 수 있는 기반 모델이며, 인스트럭트 모델은 이용자의 질문과 명령을 이해하고 답변하도록 조정된 모델이다.

이번 모델은 파라미터 수가 13억개와 30억개 수준으로, 수백억~수천억개 규모의 대형 언어모델(LLM)보다 규모면에서 큰 차이를 보인다. 대신 스마트폰과 개인용 컴퓨터처럼 메모리와 연산 자원이 제한된 환경에서 빠르게 작동하도록 설계됐다. 카카오에 따르면 공개 모델은 한국어와 영어, 지식, 수학, 코드 등 주요 벤치마크에서 유사한 크기의 최신 글로벌 오픈소스 모델과 대등하거나 우수한 성능을 기록했다.

카카오가 경량 모델에 힘을 싣는 배경에는 AI 서비스의 대중화 때문이다. 생성형 AI를 수천만명의 이용자가 반복적으로 사용하는 서비스에 적용하려면 모델의 절대 성능 뿐만 아니라 응답 속도와 운영 비용, 전력 소비를 함께 고려해야 한다. 모든 요청을 클라우드의 초거대 모델로 처리할 경우, 이용량이 늘어날수록 추론 비용도 급증한다. 반면 요약과 분류, 추천, 일정 추출, 간단한 질의응답 등은 경량 모델만으로도 처리가 가능하다.

카카오가 자체 개발한 한국어 특화 토크나이저를 적용한 것도 이 같은 비용 구조를 겨냥한 조치다. 토크나이저는 문장을 AI가 처리할 수 있는 작은 단위로 나누는 기술이다. 영어 중심 토크나이저는 같은 의미의 문장이라도 한국어를 더 많은 토큰으로 분리하는 경우가 많아 처리 시간과 비용이 늘어난다. 카카오는 자체 토크나이저를 통해 한국어 처리 효율을 기존보다 30% 이상 개선했다고 설명했다.

긴 대화를 처리할 때 발생하는 메모리 부담도 줄였다. 카카오는 일정 범위의 문맥에 집중해 연산하는 ‘슬라이딩 윈도우 어텐션’ 구조를 적용해 최대 3만2000토큰 길이의 대화에서도 메모리 사용량을 최대 72.7% 절감했다. 카카오톡의 대화 요약이나 통화 요약처럼 긴 문맥을 빠르게 처리해야 하는 기능에 적합한 구조다.

카나나-2 온디바이스 모델 성능 비교. <출처=카카오>

AI의 경량화는 개인정보 보호 측면에서도 의미가 있다. 카카오톡 대화처럼 민감한 데이터를 스마트폰 내부에서 처리하면 원문을 외부 서버로 전송하는 범위를 줄일 수 있다. 네트워크 연결이 불안정한 상황에서도 일부 AI 기능을 사용할 수 있고, 클라우드 호출 횟수를 줄여 응답 속도와 서비스 안정성을 높일 수도 있다. 경량 모델은 카카오가 AI를 카카오톡의 일상 기능에 깊숙이 넣기 위한 기반 기술인 셈이다.

이는 카카오가 추진해온 ‘멀티모델’ 전략과도 맞닿아 있다. 복잡한 추론과 범용 지식이 필요한 작업에는 외부의 고성능 모델을 활용하고, 한국어와 카카오 서비스에 특화된 기능이나 반복 호출이 많은 업무에는 자체 카나나 모델을 배치하는 방식이다. 초거대 모델 하나로 모든 기능을 처리하기보다 업무 난도와 비용, 개인정보 민감도에 따라 서로 다른 모델을 조합하는 구조다.

카카오는 이미 자체 경량 모델을 ‘카나나 인 카카오톡’, 카카오톡 대화·통화 요약, AI 국민비서 등에 활용하고 있다. 이번 공개는 내부 서비스 적용에 머물렀던 경량 AI 기술을 외부 개발자와 기업으로 확장하는 단계로 볼 수 있다. 카나나 오픈 라이선스를 적용해 개발자와 스타트업, 연구기관이 별도 비용 부담 없이 모델을 활용하고 상업 서비스도 개발할 수 있도록 했다.

오픈소스 전략에는 국내 한국어 AI 생태계에서 영향력을 넓히려는 계산도 깔려 있다. 카나나 기반의 파생 모델과 서비스가 늘어나면 카카오의 토크나이저와 모델 구조가 사실상의 개발 기반으로 자리 잡을 수 있다. 모델 자체를 독점해 수익을 내기보다 개발자들이 카나나를 활용해 서비스를 만들도록 하고, 이를 장기적으로 카카오톡과 AI 에이전트 생태계로 연결하는 플랫폼 전략이다.

다만 자체 벤치마크에서 확인된 성능이 실제 스마트폰 환경에서도 그대로 구현되는지는 검증이 필요하다. 단말기별 메모리와 배터리 소모, 모델을 압축하는 양자화 과정에서의 성능 저하, 이용자 체감 응답 속도 등이 상용화의 관건이다. 오픈소스 공개가 외부 개발자의 채택과 카카오 서비스 확대로 이어지고, 궁극적으로 광고·커머스·콘텐츠 등 기존 사업의 수익성과 연결될지도 과제다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 “에이전틱 AI 시대를 준비하며 클라우드의 대규모 AI와 온디바이스 경량 AI 모두의 중요성을 체감하고 있다”며 “카카오는 두 영역에서 기술 경쟁력을 높여가고 있으며, 이번 오픈소스 공개 모델들이 더 많은 개발자와 기업의 새로운 AI 서비스 개발로 이어져 국내 AI 생태계 활성화에 기여할 수 있기를 바란다”고 말했다.

[CEO스코어데일리 / 김동일 기자 / same91@ceoscore.co.kr]