27년간 아무도 못 풀었던 수학 난제, AI가 2000달러로 해결했다는 게 사실?

수학이라는 분야는 오랫동안 인간 지성의 최후 보루처럼 여겨졌습니다. 컴퓨터가 체스를 정복하고, 바둑을 제패하고, 단백질 구조를 예측해도 수학의 핵심인 '증명'만큼은 인간 고유의 영역으로 남아 있었습니다. 그런데 2026년 8월, 오픈AI가 자사의 차세대 모델 아스트라(Astra)를 통해 수학·이론컴퓨터과학 분야 미해결 난제 10개에 대한 해법을 제시했다고 발표하면서 그 경계가 흔들리기 시작했습니다. 학계의 동료평가는 아직 남아 있지만, 이 사건이 갖는 구조적 의미는 결과의 옳고 그름과 별개로 이미 충분히 크습니다.

🔢 아스트라가 제시한 해법의 실제 내용과 규모

이번에 오픈AI가 공개한 연구 결과는 단순한 계산 문제 풀이가 아닙니다. 수십 년간 수학자들이 진전을 만들지 못한 구조적 난제들이 대상입니다. 가장 주목받는 성과는 '비소픽군(non-sofic group)'의 실존 증명입니다. 1999년 미하일 그로모프가 이 개념적 가능성을 처음 제기한 이후 약 27년간, 전 세계 수학자 누구도 실제로 그런 군을 구성해내지 못했습니다. 아스트라는 이를 직접 구성하는 방식으로 "존재한다"는 답을 내놓았습니다.

🔐 양자내성암호와 관련된 '최근접 벡터 문제(Closest Vector Problem)'에서는 문제를 정확하게 풀기 어려운 수준의 수학적 근거를 새롭게 제시했습니다. 이 문제는 격자(lattice) 구조 속에서 특정 지점과 가장 가까운 점을 찾는 것인데, 차원이 증가할수록 계산 복잡도가 기하급수적으로 치솟는 특성을 갖습니다. 이 계산 난이도가 바로 양자컴퓨터로도 쉽게 풀 수 없는 암호를 설계하는 이론적 토대가 됩니다. 아스트라의 결과가 특정 암호 시스템의 안전성을 직접 보증하는 수준은 아니지만, 격자 기반 수학의 기초 체계에 새로운 결론을 더했다는 점은 분명합니다.

'고차원 구 채우기(sphere packing)' 문제에서는 1978년 이후 처음으로 밀도의 일반적 상한선을 낮추는 결과를 도출했습니다. 3차원 공간에서 공을 빽빽하게 쌓는 방식을 수백, 수천 차원으로 확장한 이 문제는 정보이론과 통신 효율성 연구에도 직결됩니다. 또한 무작위 관계 속에서 필연적으로 나타나는 규칙을 탐구하는 '램지 수(Ramsey numbers)' 문제에서도 새로운 반례 또는 해법을 제시했습니다.

이 모든 문제에서 수학적 핵심 논증은 AI가 생성했고, 인간 연구진은 같은 모델을 활용해 그 내용을 논문 형식으로 정리하는 역할을 맡았습니다. 최종 단계에서는 아스트라가 자신의 논증을 수학 형식 검증 언어인 '린(Lean)'으로 변환해 논리적 빈틈이나 모순 여부를 기계적으로 확인했습니다. 공개된 자료는 249쪽 분량의 연구 논문과 62쪽짜리 해설 자료, Lean 검증 파일 전체이며 누구나 깃허브에서 직접 열람할 수 있습니다.

💰 토큰 비용 2000달러가 의미하는 것

오픈AI는 이번 10개 난제의 해법 탐색에 사용된 전체 토큰을 GPT-5.6 솔(Sol) API 요금 기준으로 환산하면 약 2000달러라고 밝혔습니다. 이 수치는 표면적으로 매우 낮아 보입니다. 하지만 이 숫자를 그대로 받아들이는 것은 맥락을 절반쯤 잘라낸 해석입니다.

2000달러는 이미 개발이 완료된 모델이 문제를 탐색하면서 소비한 연산 토큰의 비용만을 의미합니다. 아스트라라는 모델 자체를 개발하고 훈련하는 데 투입된 수억 달러 규모의 비용, 수학 연구진의 인건비, 검증 작업에 소요된 시간과 자원은 전혀 포함되지 않습니다. 마치 공장을 짓는 데 수천억 원을 쓴 뒤 제품 하나 생산하는 전기 요금만 공시하는 것과 유사한 구조입니다.

📊 그럼에도 이 수치가 갖는 상징적 의미는 작지 않습니다. 수십 년간 수학자 집단이 투입한 지적 노동과 연구비를 단순 비교하기는 어렵지만, AI가 추론에 집중 투입될 경우 탐색 속도 자체는 인간을 압도할 수 있음을 보여주는 데이터이기 때문입니다. 특히 해법 탐색의 한계비용이 점점 낮아질수록, AI 연구 모델의 경제성은 기하급수적으로 개선될 가능성이 높습니다.

🔍 Lean 검증의 가치와 한계, 그리고 학계의 시선

이번 발표에서 가장 주목할 부분 중 하나는 Lean 검증의 활용입니다. Lean은 수학적 논증을 컴퓨터가 처리 가능한 형식 언어로 변환해 논리 흐름의 연속성과 모순 여부를 자동으로 검사하는 도구입니다. 사람이 직접 읽을 때 놓칠 수 있는 미묘한 논리 빈틈을 기계적으로 잡아낼 수 있다는 점에서, 수학 검증의 신뢰도를 높이는 강력한 수단입니다.

그러나 Lean 검증이 곧 학문적 승인을 의미하지는 않습니다. Lean은 입력된 전제와 규칙 체계 안에서 논리가 올바르게 이어지는지를 확인할 뿐, 그 전제 자체가 수학적으로 타당한지, 연구가 기존 문헌과 어떤 관계를 맺는지, 독창성이 충분한지를 판단하지는 않습니다. 동료평가(peer review)는 이 모든 차원을 함께 검토하는 과정이기 때문에 Lean 통과 = 학계 검증이라는 등식은 성립하지 않습니다.

⚠️ 오픈AI에는 이 지점에서 아프게 비교되는 전례가 있습니다. 2025년 10월, 당시 부사장 케빈 웨일은 GPT-5가 미해결 에르되시 문제 10개를 풀었다고 공개 선언했다가 수일 만에 게시물을 내렸습니다. 수학자 토머스 블룸이 "새로운 증명이 아니라 기존 논문을 검색해 찾은 것"이라고 반박한 직후였습니다. 이번에 오픈AI가 논문 전문과 Lean 파일을 깃허브에 동시 공개한 것은 그 전철을 밟지 않겠다는 명확한 의도입니다. 검증 가능성을 외부에 완전히 열어놓은 것 자체가 이전과는 다른 태도입니다. 하지만 투명성이 정확성을 보증하지는 않는다는 점도 동시에 기억해야 합니다.

🧠 AI 연구의 구조가 바뀌고 있다는 신호

이번 사건을 단순히 "AI가 수학 문제를 풀었다"는 차원에서 읽으면 절반 이상을 놓치게 됩니다. 더 중요한 것은 연구의 역할 분담 구조가 변하고 있다는 점입니다. AI가 핵심 논증을 생성하고, 인간 연구진이 그 결과를 정리하고 맥락화하는 방식은 기존 학문 생산 방식과 근본적으로 다릅니다.

전통적인 수학 연구는 인간이 직관과 경험을 바탕으로 가설을 세우고, 오랜 시간에 걸쳐 증명을 구성하며, 동료 집단의 검토를 거쳐 지식으로 인정받는 구조입니다. 아스트라의 사례에서는 가설 탐색과 논증 구성이라는 가장 핵심적인 단계에서 AI가 전면에 나섰습니다. 인간은 논문이라는 형식으로 결과를 포장하는 후반부를 담당했습니다. 이 구조가 일반화된다면, 수학자라는 직업의 정의와 연구자의 역할 자체가 재정의될 수밖에 없습니다.

🌐 비교 대상으로는 딥마인드의 알파폴드(AlphaFold)가 자주 언급됩니다. 알파폴드는 수십 년간 생물학자들이 풀지 못한 단백질 구조 예측 문제를 AI로 해결하며 2024년 노벨 화학상의 배경이 되었습니다. 하지만 알파폴드는 학습 데이터가 풍부한 예측 문제였고, 학계의 검증을 거친 이후에 그 가치가 폭발적으로 인정받았습니다. 아스트라의 수학 난제 도전은 데이터가 희소하고 정답 자체가 없는 미지의 영역을 탐색한다는 점에서 난이도가 한 단계 더 높습니다. 그렇기 때문에 동료평가의 결과가 더욱 중요합니다.

📌 이 성과가 실제로 의미하는 것과 아직 의미하지 않는 것

냉정하게 정리하면, 현재 확인된 사실과 아직 검증되지 않은 주장을 구분해야 합니다. 확인된 사실은 아스트라가 10개 난제에 대해 수학적 논증을 생성했고, 그 논증이 Lean 형식 검증을 통과했으며, 전체 자료가 외부에 공개되었다는 것입니다. 아직 확인되지 않은 것은 그 해법들이 실제로 수학적으로 올바른 새로운 증명인지, 학계가 독창적 기여로 인정할 것인지입니다.

앞으로의 전망을 본다면, 학계가 이번 결과를 전면 승인하든 부분 승인하든, AI가 수학 연구 프로세스에 깊숙이 편입되는 흐름은 막을 수 없어 보입니다. 이미 딥마인드의 알파프루프(AlphaProof)가 국제수학올림피아드(IMO) 수준의 문제를 풀었고, 각국 대학과 연구소에서 AI를 수학 연구 보조 도구로 적극 활용하는 사례가 빠르게 늘고 있습니다. 아스트라의 도전은 그 흐름에서 가장 야심찬 시도 중 하나입니다.

결국 이번 사건이 남기는 가장 중요한 질문은 'AI가 정말로 수학을 풀 수 있는가'가 아닙니다. "AI가 생성한 지식을 우리는 어떤 기준으로 검증하고, 어떤 조건에서 인정할 것인가"라는 훨씬 근본적인 질문입니다. 그 답을 찾는 과정이, 이제 막 시작되었습니다.