‘뉴립스 2026’ 워크숍 논문 2편 채택…온디바이스 기술력 입증
모델 경량화·추론 가속으로 처리 속도 4.5배↑·배터리 소모 77%↓
스마트폰 내 AI 학습 기술 확보…서버 GPU까지 최적화 확대

LG유플러스는 AI 토큰 최적화 관련 연구 논문 2편이 세계 3대 AI 학회 중 하나인 ‘뉴립스(NeurIPS) 2026’의 온디바이스 인텔리전스 워크숍에 채택됐다고 밝혔다. <출처=LG유플러스>

LG유플러스가 스마트폰 등 기기 내부에서 인공지능(AI)을 구동하는 ‘온디바이스 AI’ 기술 고도화에 속도를 내고 있다. 

소형언어모델(sLM)의 경량화와 토큰 처리 최적화를 통해 AI 응답 속도를 높이고 전력 소모를 줄이는 등 제한된 연산 자원에서도 AI를 효율적으로 구동하기 위한 기술력을 강화하는 모습이다. 확보한 최적화 기술을 실제 AI 서비스에 적용하고 향후 서버 GPU 환경까지 확대해 AI 서비스의 비용 경쟁력을 높이겠다는 구상이다.

LG유플러스는 AI 토큰 최적화 관련 연구 논문 2편이 세계 3대 AI 학회 중 하나인 ‘뉴립스(NeurIPS) 2026’의 온디바이스 인텔리전스 워크숍에 채택됐다고 29일 밝혔다. 올해 뉴립스는 오는 12월 6일부터 12일까지 호주 시드니에서 열린다.

이번 연구의 핵심은 제한된 연산 자원으로 AI 모델을 빠르고 효율적으로 구동하는 기술이다. 토큰은 AI가 문장을 이해하거나 답변을 생성할 때 사용하는 데이터의 기본 단위다. 동일한 작업에 필요한 토큰 수를 줄이거나 같은 하드웨어로 더 많은 토큰을 처리하면 AI 응답 지연과 연산 자원 부담을 낮출 수 있다.

이는 AI 서비스의 수익성과도 직결되는 문제다. 생성형 AI 이용이 늘수록 서버 GPU와 전력 등 인프라 운영 비용도 증가하기 때문이다. 특히 AI 통화 서비스처럼 이용자의 요청을 실시간으로 처리해야 하는 서비스는 응답 속도와 정확도를 유지하면서 연산 비용을 낮추는 것이 중요하다.

LG유플러스가 확보한 대표적인 성과는 통화 데이터의 토큰 수 절감이다. LG유플러스와 AI 모델 최적화 전문기업 옵트에이아이가 공동 작성한 ‘ixi-sLM: AI 콜 에이전트 서비스를 위한 온디바이스 sLM’ 논문에 따르면, 통화 내용에 특화된 토큰 처리 방식을 적용한 결과, 통화당 평균 토큰 수가 기존 1324개에서 1090개로 약 18% 감소했다.

이는 일반적인 언어모델이 사용하는 단어·문장 처리 방식을 실제 한국어 통화 환경에 맞게 재구성한 결과다. 통화에서 자주 등장하는 표현을 효율적으로 처리하고 불필요한 어휘를 제거해 같은 내용을 더 적은 토큰으로 표현하도록 했다. 이에 따라 모델의 어휘 수는 10만2400개에서 6만5536개로 줄었다.

모델 경량화 성과도 거뒀다. LG유플러스는 LG AI연구원의 ‘엑사원(EXAONE) 4.0’ 기반 12억개 파라미터의 소형언어모델(sLM)에 최적화 기술을 적용했다. 그 결과 약 2.9GiB(기비바이트)였던 모델 크기를 803MiB(메비바이트)까지 축소했다. 스마트폰의 제한된 메모리에서도 AI 통화 요약과 전화 대신받기 기능을 구현할 수 있도록 한 것이다.

AI 처리 속도와 전력 효율도 개선됐다. 논문에 따르면 갤럭시 S25 울트라를 활용한 실험에서 중앙처리장치(CPU) 기반 방식은 통화 관련 AI 작업에 45초가 걸렸지만, 신경망처리장치(NPU)에 최적화한 모델은 10초 만에 작업을 마쳤다. 처리 속도가 4.5배 빨라진 셈이다.

동일한 작업에 필요한 에너지 소모량도 7.79mAh에서 1.79mAh로 약 77% 감소했다. 연구진은 모델 경량화와 연산 최적화를 적용하면서도 최신 클라우드 AI 모델 대비 약 94% 수준의 종합 성능을 확보했다고 설명했다.

LG유플러스 익시오(ixi-O)는 기기 내장형 AI 콜 에이전트로, AI 통화 요약·실시간 통화 스크립트·AI 통화 응답 등의 기능을 제공한다. <출처=LG유플러스>

LG유플러스는 개인정보를 외부 서버로 전송하지 않고 스마트폰 내부에서 AI를 추가 학습시키는 기술도 연구했다. 기기 내 연산과 메모리 사용을 효율화해 개인화 학습을 수행한 결과, 서버에서 학습한 모델과 유사한 수준의 정확도를 확보했다는 설명이다. 향후 이용자의 통화 패턴과 사용 환경에 맞춘 AI 서비스를 구현하는 데 활용될 수 있다.

최적화 기술의 적용 범위는 스마트폰에서 서버 GPU 환경으로 확대되고 있다. LG유플러스는 이달 초 옵트에이아이와 공동 연구를 통해 동일한 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배 높이는 초기 성과를 확보했다고 발표했다.

이는 AI 인프라 투자 부담을 완화할 수 있다는 점에서 의미가 있다. 동일한 GPU로 더 많은 이용자 요청을 처리하면 서비스 수요 증가에 대응하기 위해 추가로 확보해야 하는 GPU 규모를 줄일 여지가 생긴다. GPU 가동 효율을 높여 AI 서비스의 토큰당 처리 비용을 낮추는 효과도 기대할 수 있다.

다만 토큰 처리량이 4배 늘어났다고 해서 실제 운영비가 같은 비율로 줄어드는 것은 아니다. 비용 절감 효과는 모델 종류와 이용자 요청의 특성, GPU 가동률, 전력 사용량 등에 따라 달라진다. 현재 확보한 연구 성과가 대규모 상용 서비스에서도 동일하게 구현되는지가 향후 관건이다.

한편, LG유플러스는 확보한 기술을 자사 AI 통화 서비스 ‘익시오(ixi-O)’를 비롯한 다양한 AI 서비스와 서버 인프라에 단계적으로 확대할 방침이다. 특히 AI 서비스를 자체적으로 운영하는 통신사의 특성상 토큰 최적화 역량은 이용자 경험 개선뿐 아니라 AI 서비스의 비용 구조를 개선하는 기반이 될 것으로 전망된다.

이상엽 LG유플러스 최고기술책임자(CTO)는 “이번 뉴립스 논문 채택은 제한된 환경에서도 AI를 빠르고 효율적으로 실행하고 학습하기 위한 연구 성과를 인정받은 것”이라며 “고객이 AI 서비스를 보다 빠르고 편리하게 이용할 수 있도록 관련 기술을 실제 서비스에 적용하고, 향후 서버 환경까지 연구 범위를 확대해 나가겠다”고 말했다.

[CEO스코어데일리 / 김동일 기자 / same91@ceoscore.co.kr]