인공지능(AI)이 수학자의 ‘조수’로 진화하고 있다. 게티이미지제공


인공지능(AI)이?수학자의 세계로 한걸음 더 들어왔다. 국제수학올림피아드(IMO) 문제를 풀고 새로운 수학적 해법을 찾아내는 수준에 도달하며 수학 연구의 조력자에서 '직접 탐구자'로 진화하고 있다.?
지난해 노벨 화학상을 거머쥔 구글 딥마인드 연구팀은 AI '알파프루프(AlphaProof)'가 수학 정리를 컴퓨터가 이해하는 논리 언어로 바꿔 스스로 증명하는 데 성공한?연구결과를 국제학술지 '네이처(Nature)'에 12일(현지시각) 발표했다.
필즈상 수상자로 당대 최고 수학자로 꼽히는?테렌스 타오 로스앤젤레스캘리포니아대(UCLA) 교수가 참여한 연 사이다릴게임 구팀이?개발한 거대언어모델 기반 수학 탐색 AI '알파이볼브(AlphaEvolve)'는?최적화 문제에서 새로운 해법을 제시할 가능성을 제시했다. 연구결과는 논문 사전공개사이트 아카이브(arXiv)에 3일 공개했다.
● 또 일낸 딥마인드…추론형 AI로 수학 정리 스스로 증명
딥마인드의 알파프루프는 지난해 IMO 6개 문제 신천지릴게임 중 4개를 해결해 은메달 수준을 달성한 AI 모델이다. 당시 전 세계 참가자 609명 중 5명만 풀었던 최고난도 문제도 해결했다.
비결은 '린(Lean)'이라 불리는 '형식 증명(formal proof)' 도구다. 형식 증명은 사람이 글로 쓰던 수학 증명을 컴퓨터가 읽고 논리적으로 확인할 수 있는 언어로 바꾸는 방식이다. 린은 이러한 골드몽 과정을 통해 증명을 코드 형태로 표현하고 컴퓨터가 모든 논리 단계를 자동으로 검증한다.
연구팀은 약 8000만 개의 수학 명제를 이 코드 형태로 변환해 AI를 훈련시켰고 바둑 AI '알파제로'처럼 강화학습 기법을 적용했다. 문제를 푸는 동안 AI가 스스로 수백만 개의 유사 문제를 만들어 풀어보며 그 문제에 맞는 전략을 곧바로 학습한다.? 바다이야기온라인
딥마인드는 올해 IMO 문제를 알파프루프가 아닌 추론형 AI '제미나이 딥 씽크(Gemini Deep Think)'로 풀게 했다. 수학 특화 모델이 아닌 범용 추론 AI에서도 수학 실력을 검증하고 싶었기 때문이다. 제미나이 딥 씽크는 6문제 중 5문제를 완벽히 풀어 금메달 수준의 성과를 냈다.?
엄상일 기초과학연구원 바다이야기모바일 (IBS) 이산수학그룹 CI는 두 AI의 차이에 대해 "알파프루프는 형식 증명 방식이라 시간이 오래 걸린다”며 “공리나 정리 하나하나를 모두 코드로 증명해야 하기 때문”이라고 말했다. 실제 수학자들은 이미 증명된 정리를 인용하지만 알파프루프는 린 시스템 안에 해당 증명이 없으면 처음부터 새로 증명해야 한다. 반면 제미나이 딥 씽크는 수학자처럼 이미 알려진 정리를 활용해 더 빠르게 문제를 풀 수 있다.?
엄 CI는 “린에 증명이 충분히 축적되면 알파프루프도 점점 빨라질 것이고 장기적으로는 수학 지식을 체계적으로 쌓는 데 더 유용한 방식이 될 수 있다"고 말했다.
● 최고 수학자 테렌스 타오 참여 연구팀, AI로 난제 해결 시도
지난 3일 아카이브에 공개된 알파이볼브는 상한이나 하한, 최댓값이나 최솟값을 찾는 최적화 문제에 초점을 맞췄다. 거대언어모델(LLM)이 수많은 해법을 코드로 만들어내게 한 뒤 상위 10%만 남겨 다시 학습하며 더 나은 답을 스스로 찾아가는 방식으로 작동한다. 이 과정을 수만 번 반복해 기존 기록을 뛰어넘는 해법을 찾아낸다.
연구팀은 해석학, 기하학, 조합론, 정수론 등 67개 문제를 실험해 대부분 기존 최선의 해법을 재발견했고 일부에서는 인간보다 효율적인 새 해법을 제시했다. 특히 '니코딤(Nikodym)' 문제와 '산술 카케야(Arithmetic Kakeya)' 문제에서 얻은 새로운 발견을 바탕으로 테렌스 타오 교수가 후속 논문 두 편을 준비 중이다. 두 문제는 모든 방향의 직선을 포함하면서도 얼마나 작은 공간에 담을 수 있는지를 묻는 미해결 난제로 수학자들이 100년 넘게 풀지 못한 퍼즐로 꼽힌다.
이규환 미국 코네티컷대 수학과 교수는 "알파이볼브는 코드로 해법을 제시하기 때문에 검증이 쉽고 열 번 중 여덟 번은 틀리더라도 나머지 두 번의 올바른 아이디어가 새로운 연구로 이어질 수 있다"고 설명했다.
전문가들은 AI가 수학 연구의?보조 도구에서 직접 탐구자로 활용될?가능성에 주목하고 있다. 이준경 연세대 수학과 교수는 "AI는 단순한 계산 도구를 넘어 수학 연구 보조자 역할을 할 수 있을 것"이라며 "반례 찾기나 문헌 검토, 보조정리 증명 등 연구의 효율을 높이는 데 활용될 수 있다"고 말했다.?다만 "AI에 과도하게 의존하면 학생 연구자의 사고력과 훈련 기회가 줄어들 수 있어 교육 현장에서는 AI 사용 가이드라인과 연구 윤리에 대한 논의가 필요하다"고 덧붙였다.
이규환 교수는 “AI가 지금은 똑똑한 대학원생 정도 수준이지만 몇 년 안에 박사후연구원 수준으로 발전할 가능성이 있다"고 전망했다.
<참고자료> - doi.org/10.1038/s41586-025-09833-y - arxiv.org/pdf/2511.02864
[조가현 기자 gahyun@donga.com]