영국, 프론티어 AI 보안 책임 강화 추진…사고 보고 의무화 등 검토
국내 금융권 AI 활용 해킹 의혹 확산…모델 악용 가능성 우려 커져
네이버·카카오·LG, 모델 악용 방지 및 안전성 검증체계 고도화
SKT·업스테이지, 보안업계와 협력…독자 AI 방어 역량 강화

인공지능(AI)이 사이버 공격에 악용될 위험이 커지면서 글로벌 AI 산업의 경쟁 기준이 성능과 사용성에서 보안·안전성까지 확대되고 있다. <이미지=AI로 생성>

인공지능(AI)이 사이버 공격에 악용될 위험이 커지면서 글로벌 AI 산업의 경쟁 기준이 성능과 사용성에서 보안·안전성까지 확대되고 있다. 영국 정부가 최첨단 AI 개발기업에 대한 규제 강화를 검토하는 가운데, 국내에서도 AI를 활용한 금융권 해킹 의혹이 불거지면서 위기감이 고조되고 있다. 이에 따라, 국내 AI 기업들도 AI 모델 악용 방지와 안전성 검증 역량을 강화하는 등 보안 대응에 속도를 내고 있다.

12일 외신과 AI 업계에 따르면, 영국 정부는 프론티어 AI 개발기업에 모델의 오작동과 악용 가능성을 줄이기 위한 안전장치 강화를 촉구하고 있다. 

카니슈카 나라얀 영국 AI 장관은 최첨단 AI 모델의 안전성을 기업의 자율적인 관리에만 맡길 수 없다는 입장을 밝힐 예정이다. 영국 정부는 AI 관련 중대 사고의 의무 보고와 신형 모델 출시 전 정부 안전성 평가기관의 접근권을 확보하는 방안도 검토 중인 것으로 알려졌다.

이 같은 움직임은 AI가 단순한 정보 생성 도구를 넘어 외부 시스템에 접근하고 작업을 수행하는 자율형 에이전트로 발전하면서 나타났다. AI가 사람의 지시 없이 복잡한 업무를 수행하는 능력을 갖추면서 사이버 공격에 악용될 가능성도 커진 것이다.

영국은 이미 지난해 AI 시스템의 사이버보안을 위한 자율 행동규범을 마련해 개발 단계부터 위험 평가와 접근통제, 보안 테스트 등을 권고하고 있다. 지난 5월에는 영국 금융감독청(FCA)과 영란은행(BOE), 재무부가 공동으로 프론티어 AI의 사이버 공격 역량이 기존 숙련된 전문가의 작업을 더 빠르고 저렴하게 수행할 수 있다고 경고했다. 자율적인 안전관리에서 독립적인 검증과 규제 강화로 정책 노선이 바뀌고 있는 모습이다.

국내에서도 AI를 악용한 사이버 공격의 위험성이 현실화하고 있다. 최근 신한은행과 KB국민은행, 하나은행 등 주요 금융사를 대상으로 한 해킹 공격 과정에서, 중국산 AI 침투 테스트 도구 ‘아르텍스(ARTEX)’의 흔적이 발견되면서 AI를 통한 해킹 가능성이 제기됐다.

이에 아르텍스 개발자는 지난 9일 도구의 악용을 이유로 추가 버전 공개와 유지보수를 중단하고 비공개 소스로 전환하겠다고 밝혔다. 다만 구체적인 공격 경로와 AI의 실제 관여 범위는 수사를 통해 최종 확인될 예정이다.

지난 7일 오후 SKT타워에서 열린 '독자 AI 사이버보안 협의체' 출범식에서 참석자들이 기념 촬영을 하고 있다. <출처=SKT>

이처럼 국내외 모두에서 AI 보안 문제에 대한 논의가 도마위에 오르면서, 국내 AI 기업들도 모델 개발 단계부터 안전성을 검증하고 악용 가능성을 최소화하는 체계 마련에 속도를 내고 있다.

네이버는 지난 7월 기존 AI 안전성 관리체계를 고도화한 ‘AI 안전성 프레임워크(ASF) 2.0’을 공개했다. 모델 자체의 위험성뿐 아니라 실제 서비스 환경에서 발생할 수 있는 위험까지 관리하는 것이 핵심이다. 지난달에는 AI 안전성 관리 현황을 담은 보고서를 발간했으며, AI 전담조직을 중심으로 서비스 기획부터 출시 이후 운영까지 위험을 평가하고 개선하는 체계를 운영하고 있다. KAIST와 공동으로 AI 모델의 취약점을 찾아내는 레드티밍 연구도 진행했다.

카카오는 자체 개발한 AI 안전성 검증 모델 ‘카나나 세이프가드’를 주요 AI 서비스에 적용하고 있다. 한국어와 한국 문화에 특화된 데이터셋을 활용해 유해한 요청과 부적절한 응답을 식별하는 기술이다. 지난 6월에는 KT클라우드와 협약을 맺고 AI 안전성 평가 및 레드티밍 기술을 클라우드 플랫폼으로 확대하기로 했다.

LG AI연구원 역시 ‘K-엑사원’ 개발 과정에서 안전성과 신뢰성을 평가하는 체계를 구축했다. 지난 8월 공개한 K-엑사원 2.0에는 한국의 사회문화적 맥락을 반영한 안전성 강화 학습을 적용했다.

국내 보안기업과 AI 개발사가 공동으로 방어 역량을 강화하려는 움직임도 나타나고 있다. SK텔레콤과 업스테이지는 지난 7일 안랩과 SK쉴더스, 시큐아이, 라온시큐어, 지니언스, 파이오링크 등 보안기업 6곳, 대학 3곳과 ‘독자 AI 사이버보안 협의체’를 출범했다.

정부 차원의 안전성 검증체계 고도화 필요성도 커지고 있다. 올해 1월 시행된 AI 기본법에는 일정 기준 이상의 AI 시스템에 대한 안전성 확보 의무와 고영향 AI 사업자의 책임 등이 규정돼 있다. 다만 AI 에이전트의 외부 시스템 접근과 도구 실행, 오픈소스 모델의 악용 등 새로운 위험을 실제 서비스 환경에서 어떻게 검증할 것인지는 지속적인 보완이 필요한 영역이다.

특히 정부가 독자 AI 파운데이션 모델 개발과 프론티어 AI 육성, 대국민 AI 서비스인 ‘모두의 AI’ 상용화를 동시에 추진하고 있다는 점에서 안전성 확보의 중요성은 더욱 커질 전망이다. 국민이 일상에서 활용하는 AI가 금융·행정 등 외부 시스템과 연결될수록 단순한 유해 응답 차단을 넘어 접근 권한 관리와 실행 이력 추적, 비정상 행동 차단 등 다층적인 보안체계가 요구된다.

AI 업계 한 관계자는 “AI가 외부 시스템에 직접 접근하고 업무를 수행하는 시대에는 단순히 유해한 답변을 차단하는 수준의 안전장치만으로는 부족하다”며 “앞으로는 모델의 성능뿐 아니라 실제 서비스 환경에서 발생할 수 있는 보안 위협을 얼마나 효과적으로 통제하고 검증할 수 있는지가 AI 기업의 핵심 경쟁력이 될 것”이라고 말했다.

[CEO스코어데일리 / 김동일 기자 / same91@ceoscore.co.kr]