LG AI연구원이 개발한 인공지능(AI) 거대 언어모델(LLM) 엑사원(EXAONE) 로고. LG 제공
15일 김종락 서강대 수학과 교수팀이 발표한 연구결과에 따르면 국내외 인공지능(AI) 거대 언어모델(LLM) 10종에 수능 수학 문제를 풀게 했을 때?LG AI연구원이 개발한 국내 LLM '엑사원(EXAONE)'의 점수가 24점에 그쳐 성능을 둘러싸고 논란이 일었다.
다음 날인 16일 LG AI연구원은 수능 수학 문제 20개를 내부 기준으로 네 차례 평가한 결과 평균 88.75점을 기
릴게임종류 록했다며 김 교수팀의 연구결과를 "모델별 특성을 충분히 고려하지 못한 결과"라고 반박했다.
18일 김종락 교수는 LG AI연구원 측의 반박에 대해 "특정 모델을 겨냥한 실험이 아니다"라며 "평가 초점은 정답률이 아닌 추론 능력"이라고 밝혔다. 이번 논란은 성능 우열의 문제가 아니라 평가 목적과 실험 맥락의 차이에서 비롯됐다는 설명이다.
오션파라다이스예시 김 교수팀은 "수행한 평가는 얼마나 많은 문제를 맞히느냐가 아니라 모델이 문제를 구조화하고 프로그래밍 도구인 파이썬을 활용해 계산을 수행한 뒤 그 결과를 다시 추론에 반영할 수 있는지에 초점을 맞췄다"고 밝혔다.
LG AI연구원이 공개한 점수인 88.75점을 김 교수팀의 실험 결과에서 나온 점수와 직접 비교하긴 어렵다
야마토무료게임 는 설명이다. 논술 문제 포함 여부와 점수 환산 방식, 시험 구성 자체가 다르기 때문이다.
김 교수팀은 "(LG AI연구원 실험과) 동일한 조건에서 제미나이(Gemini), 그록(Grok) 계열 모델은 약 92점, 챗GPT와 클로드(Claude) 계열 모델은 약 88점을 기록했다"며 "국내 모델만 불리하게 설계된 실험이 아니라는 증거"라
릴게임신천지 고 밝혔다.
김 교수팀은 "LG AI연구원 측이 제기한 '모델 특성 차이' 주장 자체를 부정하지는 않는다"며 "어느 한쪽의 성능을 문제 삼기보다는 실험 환경 차이가 결과 해석에 영향을 줄 수 있다는 점을 지적한 것"이라고 말했다.
김 교수팀은 "우리의 연구결과는 국내 AI가 뒤처졌다는 결론을 내리기 위한 것이 아니라
야마토게임하기 LLM 경쟁의 축이 정답률 중심에서 추론 구조와 도구 활용 능력으로 이동하고 있음을 보여주는 사례"라며 후속 실험을 통한 공동 검증 의지가 있다고 밝혔다.
김 교수팀의 실험 파이프라인과 평가 방식은 추후 오픈소스 플랫폼인 '깃허브(GitHub)'를 통해 공개될 예정이다. 김 교수팀은 "각 모델이 어떤 환경에서 강점을 보이는지에 대한 건설적인 논의가 필요하다"며 "업계와 학계가 함께 검증하고 발전 방향을 논의할 수 있도록 하겠다"고 덧붙였다.
[이병구 기자 2bottle9@donga.com]
