우리말 잘하는 AI 어딨을까…한국어 평가 ‘리더보드’ 개발

스타트업 ‘업스테이지’ 구축 나서

게티이미지뱅크

생성형 인공지능(AI) 챗봇 서비스 ‘아숙업’(AskUP)을 운영하는 스타트업 ‘업스테이지’가 우리말을 잘 구사하는 인공지능을 찾기 위한 평가 순위표 개발에 나선다.

업스테이지는 한국지능정보사회진흥원(NIA)와 협업해 개방형 거대언어모델(LLM)의 성능을 평가하는 ‘리더보드’(평가 순위표)를 함께 만든다고 5일 밝혔다. 업스테이지는 한국지능정보사회진흥원이 운영하는 인공지능 학습용 데이터 제공 플랫폼 ‘에이아이허브’(AI Hub)에 축적된 다양한 분야의 한국어 데이터를 활용해, ‘오픈코 엘엘엠(Open-Ko LLM) 리더보드’를 이달 중 구축할 계획이다.

한국지능정보사회연구원은 2025년까지 1300여종의 데이터를 구축하는 것을 목표로 의료, 교통 등 다양한 분야 데이터를 에이아이허브에 수집·가공해, 이를 인공지능 개발자들에게 무료로 배포하고 있다.

그동안 개방형 거대언어모델 성능 평가에는 국외 머신러닝(기계학습) 스타트업 ‘허깅페이스’가 만든 리더보드가 주로 쓰였다. 허깅페이스는 인공지능 개발자들이 코드와 언어모델, 데이터 세트 등을 오픈소스(개방형 접근)로 공유하는 플랫폼을 운영해, ‘인공지능계의 깃허브’라고도 불린다.

업스테이지 관계자는 “허깅페이스는 추론 능력, 상식, 언어 이해력, 환각 방지 등 네 가지 지표를 갖고 거대언어모델을 평가하지만, 영어를 구사하는 모델만 평가가 가능하고 한국어를 비롯한 다른 언어모델은 평가가 불가능하다”고 한국형 리더보드의 필요성을 설명했다. 업스테이지는 한국어 거대언어모델 리더보드에 허깅페이스가 쓰는 네 가지 지표 외에 윤리, 전문가 지식 등 추가 지표도 활용할 예정이다.

정인선 기자 [e-mail]