수학적 지능의 최전선: 역사, AI, 그리고 발견의 미래

게시일: 2026년 3월 21일 | 원문 작성일: 2026년 3월 21일 | 저자: Terence Tao (Dwarkesh Patel 인터뷰) | 원문 보기

• • •

1. 역사적 토대: 케플러식 발견 모델

17세기 천문학의 역사를 보면, 지금 AI 시대에 벌어지는 변화의 원형이 이미 거기에 있었어요. 컴퓨터가 나오기 훨씬 전에, 행성 운동을 해독하려던 천문학자들은 이미 “높은 온도(high-temperature)“의 가설 생성을 하고 있었거든요. 여기서 “높은 온도”란 LLM의 temperature 파라미터처럼, 급진적이고 지저분한 추측을 마구 쏟아내며 이론과 현실 사이의 접점을 찾아가는 방식이에요. 발견의 역사는 논리가 깔끔하게 쌓이는 게 아니에요. 상상력과 데이터가 부딪히고, 깨지고, 다시 맞춰보는 과정이죠.

이 과정의 주인공은 세 사람이에요: 티코 브라헤(Tycho Brahe), 요하네스 케플러(Johannes Kepler), 그리고 아이작 뉴턴(Isaac Newton). 브라헤는 망원경 이전 시대의 마지막 육안 천문학자로서, 없으면 안 되는 전제 조건을 만들었어요 — “소수점 한 자리 더 정확한 데이터”요. 섬 천문대에서 수십 년간 관측하며 이전의 모든 기록을 뛰어넘는 고품질 데이터셋을 만들었죠. 케플러는 이 데이터에서 패턴을 읽어냈고, 한 세기 뒤 뉴턴이 이론적으로 통합했어요. 브라헤의 정밀한 데이터 — 케플러가 브라헤 유족에게서 사실상 “훔쳐 와야” 했던 — 가 없었다면, 케플러의 통찰은 검증할 길이 없는 그냥 직감으로 끝났을 거예요.

지금 시각으로 보면, 케플러는 temperature를 잔뜩 올린 LLM과 닮았어요. 경력 내내 그는 점성술 같은 엉뚱한 추측이니 기하학적 “억지 끼워맞추기”를 시도하며 온갖 방향을 탐험했거든요. 행성 궤도가 다섯 가지 플라톤 입체(Platonic solids)1를 중첩한 모양으로 결정된다는 건 유명한 주장이에요. 심지어 지구 궤도가 “미-파-미” 음을 방출하는데, 그게 기근과 불행의 원인이라고까지 했죠. 이런 추측 대부분은 쓸모없는 노이즈였지만, 엉뚱한 관계까지 거침없이 시도해보는 태도 — temperature를 높인 LLM이 그러듯 — 덕분에 결국 행성 운동의 세 가지 법칙을 발견할 수 있었어요.

과학이 진짜 도약하는 순간은, 지적 정직성이 불편한 데이터와 마주칠 때 생겨요. 케플러의 플라톤 입체 이론은 미학적으로 완벽했지만, 브라헤의 데이터와 10% 정도 어긋났거든요. 케플러는 “궤도는 원이어야 한다”, “우주는 플라톤적으로 완벽해야 한다”는 소중한 믿음을 스스로 버렸어요. “내 이론이 맞아야 해”에서 “데이터가 가리키는 곳을 따르겠다”로 태도가 바뀐 전환점이었죠. 타원 궤도라는 당시로서는 충격적인 결론도 데이터 앞에서는 기꺼이 받아들인 거예요.

• • •

2. 과학적 방법의 역전

수치 시뮬레이션과 머신 러닝이 등장하면서 과학의 순서 자체가 뒤집혔어요. 원래 과학은 “가설 우선”이었거든요 — 이론 → 예측 → 데이터 수집 → 검증. 그런데 이제는 대규모 시뮬레이션과 데이터셋 덕분에 순서가 역전됐어요 — 데이터 축적 → 패턴 발견 → 가설 생성 → 이론화. 테런스 타오(Terence Tao)가 지적하듯이, 이제 패턴은 데이터를 먼저 쌓아놓고, 거기서 회귀 분석이나 통계로 나중에 찾아내는 거예요. 연구자가 아이디어를 들고 데이터를 찾아가는 게 아니라, 데이터가 아이디어를 던져주는 거죠.

이 전환은 과학자의 역할 자체를 바꾸고 있어요. 예전에는 “번뜩이는 아이디어 하나”가 병목이었다면, 지금은 쏟아지는 결과물 중에서 “뭐가 진짜인지 어떻게 가려낼 것인가”가 병목이에요. 그런데 “데이터에서 패턴을 먼저 찾는” 접근법에는 큰 함정이 있어요 — 6개 데이터 포인트 리스크(Six Data Points Risk)라고 부를 만한 문제예요. 케플러는 고작 6개의 데이터 포인트(당시 알려진 행성 수)로 제곱-세제곱 법칙을 정확히 찾아냈는데, 통계적으로 보면 운이 좋았던 거예요.

운이 나쁜 쪽의 사례도 있어요. 요한 보데(Johann Bode)의 행성 거리 법칙은, 천왕성이 발견되고 화성-목성 사이의 “빈자리”에서 소행성 세레스가 발견되면서 “맞는 이론”처럼 보였거든요. 그런데 해왕성이 발견되자 보데 법칙은 완전히 어긋났고, 결국 숫자상의 우연에 불과했던 거예요.

아이디어를 만들어내는 비용이 거의 0에 가까워지면서, 과학자의 핵심 역할은 “만드는 사람”에서 “가려내는 사람”으로 바뀌고 있어요. 하루에도 수천 개의 이론을 찍어낼 수 있는 환경이니까, 어려운 건 “가능성을 떠올리는 것”이 아니에요. “이 중에 뭐가 진짜 진보이고 뭐가 그냥 통계적 우연인지” 골라내는 게 진짜 과제죠.

• • •

3. 수학적 지형에서의 AI: 넓이, 깊이, 그리고 에르되시 문제들

수학에서 AI는 쉽게 딸 수 있는 열매(low-hanging fruit)를 한바탕 수확한 뒤 정체기에 접어들었어요. AI 도구들이 최근 폴 에르되시(Paul Erdős)2가 남긴 1,100개 문제 중 약 50개를 풀었는데, 핵심은 이 문제들이 한 번의 시도로 단숨에 풀렸다는 점이에요. 관련 문헌이 거의 없어서, 사실 인간이 못 푼 게 아니라 아무도 들여다보지 않았던 문제들이거든요. 이런 “안 건드린 문제들”이 다 풀리고 나자, AI라는 점프 머신(jumping machine)은 넘을 만한 낮은 벽이 더 이상 남지 않았어요.

산맥 비유(Mountain Range Analogy)로 설명하면 이래요. 수학적 문제들을 높이가 다른 절벽이라고 생각해 볼게요. AI는 낮은 벽을 한 번에 넘는 데 뛰어나요 — 2미터짜리는 순식간이죠. 하지만 까마득히 높은 절벽 앞에서는 아무리 잘 뛰어도 소용이 없어요. 그 높이를 오르려면 발판(handhold)을 하나씩 박고, 중간 경로를 개척하고, 오랜 시간에 걸쳐 한 발씩 올라가야 하거든요. 지금 AI에는 이런 중간 단계를 스스로 만들어가는 능력이 없어요.

다음 표는 점프 머신(AI)과 발판 구축자(인간)를 비교해요:

설령 “인간 수준” AI가 나오더라도, 복제와 병렬 실행이 가능하기 때문에 인간 전문가와는 질적으로 달라요. 정치사상가 이사야 벌린(Isaiah Berlin)의 유명한 비유3를 빌리면, 인간 전문가는 한 가지를 깊이 아는 고슴도치(Hedgehog)예요. 반면 AI는 극단적인 여우(Fox)로서, 얕지만 압도적으로 넓은 범위를 커버하죠. 지금 AI의 전략적 가치는 바이브 리서칭(Vibe Researching)에 있어요 — AI한테 분야 전체를 대충 훑어보게 시킨 다음, 인간 전문가가 깊이 파고들 만한 “난이도의 섬”을 찾아내는 거예요. 이런 식으로 “대규모 수학(Mathematics at Scale)“이 가능해져요. 인간이 본격적으로 투입되기 전에, AI가 사소한 관찰들을 먼저 정리해두는 거죠.

• • •

4. 검증의 위기와 형식화의 부상

AI가 만들어내는 결과물이 폭증하면서 검증 병목(verification bottleneck)이라는 새로운 위기가 생겼어요. 동료 심사(peer review) 시스템이 쏟아지는 제출물에 압도당하고 있는데, 그중 상당수가 AI 슬롭(AI slop) — 겉보기엔 그럴듯하지만 속은 텅 빈 이론들 — 이거든요. 수학 결과물의 양이 이렇게 늘어나니, 사람끼리 토론하며 합의를 만들어가는 전통적인 검증 방식은 더 이상 감당이 안 돼요.

이에 대한 대응으로 수학계는 Lean4 같은 형식적 증명 도구(formal proof assistants)에 주목하고 있어요. 형식화가 주는 이점은 세 가지예요:

• 원자적 분석(Atomic Study) — 복잡한 증명을 개별 보조정리(lemma)로 쪼개서, 각각을 독립적으로 검토할 수 있어요.
• 제거 실험(Ablation Study) — 증명의 구성 요소를 하나씩 빼보면서, 핵심 통찰과 정형적인 논리 작업을 구분할 수 있어요.
• 확장 가능한 검증(Scalable Verification) — 사람이 처음부터 끝까지 다 읽지 않아도 기계가 논리적 정합성을 확인해줘요.

하지만 이해 불가능성 문제(Incomprehensibility Problem)가 남아 있어요. 리만 가설(Riemann Hypothesis)5 같은 대문제를 AI가 풀더라도, 그 증명이 인간에게 이해 가능한 형태일 거라는 보장이 없어요.

다행히 형식 언어로 된 증명이 일단 존재하기만 하면, 다른 AI 도구가 이걸 리팩터링하고 요약해서 사람이 읽을 수 있게 바꿔줄 수 있어요.

궁극적으로 남는 과제는 수학적 전략을 표현할 준형식 언어(semi-formal language)를 만드는 거예요. 논리의 법칙은 자동화했지만, “이게 왜 그럴듯한지(plausibility)“나 “이 증명이 무슨 이야기를 하는 건지(narrative)“는 아직 자동화 못 하거든요. 본질적으로 주관적인 영역이라 강화학습(reinforcement learning)의 보상 함수로 정의하기가 어려워요. 거기다 지금 AI에는 쌓아가는 과정 자체가 없어요 — 세션이 바뀌면 이전에 도달한 이해 수준을 유지하지 못하고, 자기가 이룬 진전도 잊어버려요. 동료 연구자를 자기가 올라선 “발판”까지 끌어올리는 것도 못 하죠.

• • •

5. 대체 불가능한 인간적 요소: 서사, 설득, 그리고 우연한 발견

과학은 근본적으로 사람들 사이에서 벌어지는 활동이에요. 발견의 “소프트한” 측면, 즉 남을 설득하고, 이해시키고, 함께 토론하는 기술은 여전히 인간만의 영역이에요.

찰스 다윈(Charles Darwin)과 아이작 뉴턴(Isaac Newton)을 비교하면 이 점이 뚜렷해져요. 다윈은 뛰어난 과학 커뮤니케이터였어요. 쉬운 영어로 흩어진 사실들을 하나의 설득력 있는 이야기로 엮어냈죠. 반면 뉴턴은 기술적인 라틴어로 글을 썼고, 비밀주의로 악명 높았어요. 그래서 뉴턴의 연구가 제대로 퍼지려면, 수십 년 뒤 다른 사람들이 알아듣게 “다시 설명해줄” 때까지 기다려야 했죠. 과학에는 이야기가 필요해요 — 학계가 새로운 이론에 시간을 투자하도록 설득하는 이야기 말이에요.

나아가 “높은 온도”의 우연한 발견(High-Temperature Serendipity)은 지적 정체를 막는 데 필수적이에요. 인간에게는 한번 시작하면 끝을 봐야 하는 “완료주의자” 기질이 있거든요 — 타오 자신도 컴퓨터 게임을 끝까지 클리어해야 직성이 풀린다고 인정하죠. 이 기질이 한 가지를 깊이 파고드는 추진력을 만들어줘요. 그런데 우연한 발견이란 본질적으로 “여우(Fox)“의 영역이라, 어느 정도의 비효율이 필요해요. 모든 걸 완벽하게 최적화하면 — 예를 들어 모든 미팅을 미리 잡힌 화상회의로 바꿔버리면 — 새 아이디어를 촉발하는 우연한 만남까지 “최적화해서 없애버리는” 꼴이 될 수 있어요.

우연한 발견이 꽃피는 곳은 이런 곳들이에요:

• 도서관 탐색 — 다른 걸 찾다가 관련 논문을 우연히 발견하는 경우.
• 복도 대화 — 계획에 없던 만남에서 전혀 다른 관점을 얻는 경우.
• 행정 업무의 방해 — 익숙한 연구 영역 밖으로 떠밀리면서 예상 못한 인맥과 연결되는 경우.

”인공적 영리함(Artificial Cleverness)“은 아직 지능(Intelligence)이 아니에요. 대화하면서 적응하고 진화하는 과정이 통째로 빠져 있기 때문이에요. 진정한 지능이란 아이디어가 실패하고, 토론을 거치고, 그 과정에서 다듬어지는 것까지 포함해요. AI는 혼자서 점프할 수 있지만, 옆에 있는 동료를 끌어올려서 같은 높이에 함께 서게 하는 법은 아직 몰라요.

• • •

6. 새로운 시대를 위한 실용적 조언

2026년 현재, AI는 “믿을 수 있는 공동 저자”나 수학적 “동료” 역할을 하기 시작했어요. 문제의 가장 어려운 핵심 — “펜과 종이”로 직접 풀어야 하는 부분 — 은 여전히 인간의 몫이지만, 그 주변의 보조 작업에서는 5배 정도의 생산성 향상을 가져다줘요:

• 문헌 검색과 재구성 — 심층 검색, 보일러플레이트 코드 정리 등.
• 시각화와 수치 계산 — 그래프와 데이터를 만들어 논문을 풍부하게 해줘요. 핵심 통찰의 깊이는 여전히 인간이 만들지만, 논문 전체의 폭은 훨씬 넓어지는 거죠.

수학의 미래는 “인간이 대체되는 것”이 아니라 “다루는 규모가 달라지는 것”이에요. 유전학이 “유전자 하나를 시퀀싱하는 것”에서 “생태계 전체를 연구하는 것”으로 바뀌었듯이, 수학도 그런 포스트-게놈 시대에 접어들고 있어요.

초기 경력 연구자에게 가장 중요한 건 적응할 수 있는 사고방식이에요. 진입 장벽은 낮아지고 있어요 — 머지않아 고등학생도 Lean과 AI 도구를 활용해 최전선 연구에 기여할 수 있을 거예요. 다만 “전문가”의 정의 자체가 달라지고 있죠. 수학은 죽은 게 아니에요. 규모가 커지고 있는 거예요.

• • •

맺으며

이 하이브리드 미래에서 인간의 직관은 길잡이가 될 거예요. 지칠 줄 모르는 AI의 넓이를 방향 잡아주면서, 개인의 힘만으로는 오를 수 없었던 까마득한 지식의 절벽을 마침내 함께 오르게 하는 거죠.