수학의 종말
핵심 요약
AI가 수학에서 인간을 압도한다는 전제를 받아들이고도, 수학 연구가 멈춰 설 수 있는 시나리오를 그려 본 발표예요. 예측이 아니라 “피하고 싶은 미래”를 미리 그려 보는 작업이에요.
- 수학 결과물이 폭증하지만 읽는 사람은 없어요. 같은 문제를 여러 팀과 모델이 동시에 풀고 있어서, 중복 노동의 한계 가치는 토큰 값 정도로 떨어져요.
- 논문과 정리라는 대리 지표가 어긋나요. 추측을 뽑아 푸는 “슬롯머신 전략”이 커리어에 가장 유리해지고, 연구 중인 내용을 말하는 것조차 위험해져요.
- 수학자가 수학에서 멀어져요. 형식화된 정리의 진술은 믿을 수 있어도 그 안의 아이디어는 믿기 어렵고, 다음 세대를 길러 낼 길도 막혀요.
- 문제는 AI가 아니라 제도예요. 제도가 지키려는 가치는 그대로인데, 그 가치를 지키던 보상 장치가 AI 앞에서 무너진다는 이야기예요.
• • •
저는 지금 OpenAI에서 열린 수학의 미래 서밋을 마치고 토론토로 돌아가는 길이에요. 세바스티앙 부벡(Sebastian Bubeck)은 모두가 피하고 싶어 하는 미래, 곧 인간이 수학에서 힘을 잃은 미래에 대해 이야기해 달라고 부탁했어요. 제이컵 침머먼(Jacob Tsimerman)은 정확성보다 디테일을 우선하라고 조언했는데, 저는 정확성을 뒷전으로 미루는 데는 확실히 성공했을 거예요.
너무 거창하지 않은 제목을 찾으려고 애써 봤어요.
이 워크숍의 전제는 AI가 수학에서 확고하게 인간을 넘어선다는 것이었어요. 생산적인 논의를 위해 이 전제는 토론 대상이 아니라 출발점으로 삼았고요. 저는 그런데도 수학의 진보가 멈춰 서는 이야기를 해 보고 싶어요. 분명히 해 두자면 이건 예측이 아니에요. 저는 천성이 낙관적이라서 우리가 적응할 길을 찾으리라고 생각해요. 다만 지금의 어떤 흐름이 계속된다면 어떤 미래가 펼쳐질지 상상해 보려는 거예요.
2026년
수학 결과물이 폭발적으로 늘어나기 시작했다는 건 분명해요. 아래는 2021년 말 이후 arXiv에 매주 올라온 조합론 논문 수예요. 다른 분야도 비슷하게 늘고 있지만 이만큼 가파르지는 않아요. 수학 결과를 다룬 트윗의 시계열을 그려 봐도 비슷할 거예요.
덜 분명한 건 이 잉여분이 얼마나 흥미롭고 올바른지, 그리고 그중 얼마나 진지하게 읽히고 있는지예요. 그래도 그 안에는 눈에 띄고 중요한 새 결과가 여럿 들어 있어요.
동시에 수학계의 몇몇 기관은 위축되고 있어요. 아래는 월별 MathOverflowT1 질문과 답변 수 그래프예요. MathOverflow의 역할을 디스코드 같은 곳이 가져가면서 이 수치는 한동안 서서히 줄어 왔지만, 2025년 초 이후의 감소는 상당 부분 AI 탓일 거예요. 눈에 띄는 건 질문이 줄었을 뿐 아니라 답변도 줄었다는 점이에요. 예를 들어 오래된 질문에 달린 답변이 늘었다는 통계는 찾지 못했고, 긍정적으로 해석할 만한 다른 통계도 사실상 찾지 못했어요.
AI가 만든 가장 흥미로운 결과들 사이에서도 이상한 일이 일어나기 시작했어요. 예를 들어 세 연구 그룹이 거의 동시에 서로 독립적으로 파이게의 1/e 추측(Feige’s 1/e conjecture)에 대해 아주 비슷한 증명을 내놓았고, 그중 두 곳은 AI가 찾은 결과라고 밝혔어요. @alpoge가 Fable이 찾은 차원 3 이상에서의 야코비 추측 반례를 올리자 OpenAI 내부 모델이 이를 그대로 재현했고, Anthropic도 OpenAI가 최근 발표한 결과 상당수를 재현했어요. 모델도, 모델을 쓰는 사람도 같은 문제를 풀고 있는 듯해요.
결국 사람의 손과 컴퓨터가 엄청난 중복 노동을 쏟아붓고 있는 셈인데, 그 일이 수학에 보태는 몫은 토큰 값, 그리고 “이 문제는 기존 모델로 풀린다”는 몇 비트의 정보 정도예요.
2027년
물론 이런 작업은 발표하는 사람들에게는 가치가 있을 수 있어요(공로 인정, 홍보 등).
지금 우리는 논문을 쓰고 정리를 증명하고 추측을 푼 사람에게 보상을 주는 방식으로 양질의 과학이 나오도록 유도해요. 그런데 이런 결과물은 이제 값이 잘못 매겨져 있고, 그걸 계속 장려하는 것이 양질의 과학을 만드는 최선인지도 분명하지 않아요. 앞으로 몇 년 동안 계속 그렇게 하면 어떻게 될까요?
계속 그렇게 한다면 (적어도 중기적으로는) 커리어에서 성공하는 지배 전략T2은 추측 슬롯머신을 돌리는 거라고 생각해요. 추측을 고를 필요조차 없어요. Codex에게 추측을 고르고, 풀고, 풀이를 검증하게 시키면 되니까요. 올바른 논문을 내는 데 신경 쓴다면 이런 식으로 하루에 짧은 논문 여러 편을 만들 수 있어요(실제로 그렇게 하는 사람들이 있어요). 올바름을 신경 쓰지 않는다면 훨씬 더 많이 만들 수 있고요(이렇게 하는 사람들도 있어요).
여기서 더해지는 가치는 뭘까요? 토큰 값? 쌓인 전문성은 분명 아니에요. 전문성은 전혀 쌓이지 않으니까요. 저자조차 이런 연구를 거의 읽지 않아요. 수학자가 더는 그 밑의 수학과 이어져 있지 않은 거예요. 모델이 더 믿을 만해질수록 사람이 하는 검증조차 가치가 줄어든다고 볼 수 있어요.
게다가 수학 공동체에도 심각한 악영향이 생겨요. 이제 모델은 핵심 아이디어 몇 개만 주어지면 논문을 재구성할 수 있는 단계에 가까워졌어요. AI가 혼자 내놓기 시작한 결과 중에는 “라스트 마일” 성격이 강한 것들이 있어요. 다른 사람들이 최근에 깊이 파고든 끝에 남겨 둔 마지막 부분을 마무리하는 식이에요. 이런 세계에서는 진행 중인 연구를 이야기하는 것, 심지어 모델이 어떤 문제를 풀 수 있다고 알리는 것조차 점점 위험해져요(그런 일에 여전히 명성이나 일자리 같은 보상을 준다면 말이에요).
최근 여러 동료에게서 바로 이런 이유로 진행 중인 연구를 이야기하고 싶지 않다는 말을 들었어요.
2028년
그래도 밝은 면은 있어요. 자동 형식화(autoformalization)T3가 싸지고 잘 작동하게 돼요. 문헌에 있던 많은 빈틈과 오류가 발견되고 고쳐져요.
진술과 정의가 올바르게 형식화됐는지 확인하려면 사람의 판단이 꼭 필요하다는 이야기가 많이 나왔어요. 저는 회의적이에요. 모델이 이 일을 잘 해내지 못할 이유를 못 찾겠거든요.
반면 형식화된 결과가 원래 영어 문장과, 읽는 사람이 알아채기 어려운 방식으로 달라지는 경우가 벌써 나타나고 있어요(아래 슬라이드의 두 사례처럼요). 여기서도 수학자는 수학과 멀어져요. 과거 연구의 진술은 믿을 수 있어도 아이디어는 믿기 더 어려워지는 거예요. 비형식화(informalization)가 어느 정도 도움이 되지만 비용이 많이 들고 시간이 오래 걸려요.
2029년 이후
그런데도 이 직업은 여전히 논문 생산에 보상을 줘요. 모델은 이론 구축, 추측 세우기, 추측 해결, 반복 개선 등 지금 인간 수학자가 하는 모든 기능을 해내기 시작해요. 인간 수학자는 에이전트와 함께 “실험실 과학”을 하는 셈이 돼요. 어쩌면 자기가 흥미롭게 여기는 문제에 컴퓨팅 자원을 돌리는 식이겠죠.
이 연구를 누가 들여다볼까요? 다음 세대는 어떻게 길러 낼까요? 우리 제도가 이 새로운 체제에 적응하지 않는다면, 계속 훌륭한 수학자를 길러 낼 수 있을지 확신이 서지 않아요. 오히려 지금의 인센티브 구조는 수학에 깊이 몰두하지 않는 사람, 심지어 수학에 별 관심도 없는 사람에게 보상을 주기 시작할 것 같아요.
이것이 지속 가능한 수학 활동으로 이어질까요? 아마 아닐 거라고 생각해요. 그런 사람들이 도대체 왜 계속 에이전트에게 수학을 시키는 데 자원을 쓰겠어요? 이런 세계에서 수학 연구의 먼 미래는 어쩌면 이런 모습일지도 모르겠어요.
가능한 위험을 정리하면 이래요.
이런 문제는 이 직업이 원래부터 여러 면에서 불완전했다는 걸 보여 주는 것이기도 해요. 놀랄 일은 아니에요. AI로 인한 변화가 우리 제도에 압력을 가하면, 제도는 당연히 이미 흠이 있던 곳에서 갈라질 테니까요. 어쩌면 이 외부 충격이 그런 흠을 고칠 기회를 줄지도 몰라요.
우리 제도에는 지키려는 가치(양질의 과학, 인적 자본, 인간의 이해 등)가 있고, 그 가치에 기여하는 사람에게 재미나 명성 같은 보상을 주는 방식으로 그것을 이루려 해요. 이 가치는 매우 유능한 AI가 있는 세계에서도 이어지지만, 그 가치를 이루려고 쓰던 장치 중 상당수는 매우 유능한 AI 앞에서 견고하지 못해요.
마지막으로 던지고 싶은 질문들이에요.
• • •
그래도 저는 수학이 살아남아 번성하리라고 대체로 낙관해요. 우리에게는 놀라운 것들을 배우고 이해할 기회가 있어요. 우리는 적응할 거예요.
여기서 제기한 걱정 중 상당수는 앞으로 몇 년 안에 추상적인 수학의 세계 밖에서 매우 유능한 모델이 일으킬 거대한 사회적 격변에 비하면 사소하고 좁은 이야기처럼 느껴질지도 몰라요. 그래도 제가 던진 질문들이 생산적으로 다뤄질 만큼 범위가 좁았으면 좋겠고, 우리가 찾은 답이 이 충격을 뒤따라 겪을 다른 분야에도 본보기가 되면 좋겠어요.
역자 주
저자 소개: 대니얼 릿은 토론토 대학교의 수학자예요. 대수기하학을 연구하고, 수학과 AI의 관계에 대해 꾸준히 글을 써 왔어요.
참고: 대니얼 릿이 OpenAI의 수학 미래 서밋에서 발표한 내용을 자신의 블로그에 옮긴 글을 번역하고 핵심 요약을 덧붙였어요. 글 속 슬라이드 이미지는 한국어판과 원문을 눌러서 오갈 수 있어요.
원문: The End of Mathematics - Daniel Litt, 개인 블로그 (2026년 8월 11일)
생성: Claude (Anthropic)