AI 실존적 위험 확률은 여전히 정책의 근거로 삼기에 너무 불확실하다

게시일: 2026년 9월 29일 | 원문 작성일: 2026년 9월 28일 | 저자: Arvind Narayanan, Sayash Kapoor | 출처: AI as Normal Technology | 원문 보기

추측이 정량화의 외피를 입는 과정

2년여 전 우리는 p(doom)을 자세히 분석한 글을 썼어요. AI가 파국을 일으킬 확률을 숫자로 제시하면, 막연한 직감과 두려움이 정량적 근거인 것처럼 보인다고 주장했죠. 지금은 p(doom)이라는 표현이 여론과 정책의 관심을 전에 없이 끌고 있어 이 글을 다시 읽을 이유가 생겼어요. 오늘날의 AI 실존적 위험 확률 추정치도 2024년의 것보다 엄밀해지지 않았고요. 그래서 원문을 다시 실어요.

그렇다고 p(doom) 문화에 아무 문제가 없다는 뜻도 아니에요. 우리는 실존적 위험과 초지능을 AI 안전의 중심에 놓는 관점이 더 넓은 안전 논의에 해롭다고 생각해요. 며칠 뒤에 낼 후속 글에서 그 이유를 설명하고, 여러 입장을 포괄하는 안전 운동을 제안할 거예요.

아래부터는 원래 글입니다.

• • •

AI 실존적 위험 확률은 정책의 근거로 삼기에 너무 불확실하다

연구자들 사이에 합의도 없는데, 정부는 AI가 인류의 존속을 위협할 가능성을 얼마나 심각하게 받아들여야 할까요? 실존적 위험에는 추측이 따를 수밖에 없어요. 확실한 증거가 나올 때는 이미 늦었을 수도 있죠. 그렇지만 정부는 우선순위를 정해야 해요. 외계인의 침공으로 인류가 멸망할 가능성을 크게 걱정하지는 않잖아요.

AI 안전 분야에서는 일정 기간 안에 AI 때문에 인류가 멸종할 확률을 예측해 의사결정과 정책에 활용하곤 해요. 가령 수십 년 내 멸종 확률이 10%라면 사회가 최우선 과제로 다뤄야 할 정도로 큰 위험이겠죠.

하지만 우리는 AI 실존적 위험 예측이 정책에 쓸 수 없을 만큼 불확실하고, 실제로 사람을 크게 오도한다고 봐요.

숫자 뒤의 근거를 들여다보자

우리가 앞으로 10년 안에 외계인이 지구에 착륙할 확률이 80%라고 예측하면, 진지하게 받아들이시겠어요? 당연히 증거부터 요구하겠죠. 그런데 AI 실존적 위험 논의에서는 확률 그 자체에 권위가 없다는 당연한 사실을 잊는 듯해요. 확률은 대개 근거 있는 방법에서 나오기 때문에, 우리는 숫자로 표현된 위험을 말로만 표현한 위험보다 믿기 쉬워요. 하지만 확률이라는 이름의 숫자도 단순한 짐작일 수 있어요. 이 글을 읽는 내내, 더 넓게는 AI 실존적 위험을 논할 때도 기억해 주세요.

우리가 켄터키 더비의 우승 확률을 예측한다면 이유를 설명할 의무는 없어요. 받아들이거나 무시하면 그만이죠. 반면 정책 담당자가 예측가의 확률을 근거로 행동한다면, 그 확률을 국민에게 설명할 수 있어야 해요. 그 설명의 근거는 예측가가 제시해야 하고요. 정당화는 정부와 공권력의 정당성에 필수적이에요. 합리적인 사람이라면 거부할 수도 있는 논쟁적 신념만으로 국가가 자유를 제한해서는 안 된다는 게 자유민주주의의 핵심 원칙이죠.

정책에 큰 비용이 들거나 그 비용이 이해관계자에게 불균등하게 돌아간다면 설명은 더욱 중요해져요. AI 모델의 공개 배포를 제한하는 경우를 보세요. 정부는 공개 모델의 혜택을 누릴 사람과 기업에게 미래에 있을지도 모르는 위험 때문에 그 혜택을 포기하라고 설득할 수 있을까요?

이 글은 정책 논쟁에 등장한 구체적인 실존적 위험 확률에 정당한 근거가 있는지 살펴봅니다. 학문적 활동으로서 AI 실존적 위험을 예측하는 데는 반대하지 않아요. 기업이나 다른 민간 의사결정자에게는 예측이 도움이 될 수도 있어요. 우리가 문제 삼는 것은 공공정책에 사용하는 경우예요.

예측가가 회의적인 사람을 설득할 수 있는 방법은 크게 세 가지예요. 귀납적 추정, 연역적 추정, 주관적 확률 추정이죠. 어느 방법을 쓰든 양쪽이 세계에 대한 몇 가지 기본 가정에 동의해야 해요. 그 가정 자체는 증명할 수 없어요. 방법마다 다른 것은 그 가정에서 출발해 확률을 계산하거나 판단하는 과정이에요.

귀납: 비교할 집단이 없다

대부분의 위험 추정은 과거의 관찰에서 출발해요. 예를 들어 보험사는 비슷한 운전자들의 과거 사고 자료로 한 사람의 자동차 사고 위험을 예측해요. 이렇게 확률 추정에 쓰는 사례 집합을 참조 집단이라고 해요. 같은 도시에 사는 운전자들이 자동차 보험의 참조 집단이 될 수 있겠죠. 운전자의 나이나 차종까지 알면 집단을 더 좁힐 수도 있어요.

AI로 인한 인류 멸종에는 참조 집단이 없어요. 이전에 없던 일이니까요. 물론 이는 종류가 완전히 다른 문제라기보다 정도의 문제예요. 어느 예측에서든 유일하게 ‘올바른’ 참조 집단은 없고, 실제 선택에는 분석가의 직감이 개입해요.

예측이 얼마나 정확한지는 예측 대상이 일어나는 과정과 참조 집단의 사건이 일어난 과정이 얼마나 비슷한지에 달려 있어요. 동전 던지기 같은 물리계에서는 과거 경험이 아주 믿을 만한 길잡이예요. 자동차 사고의 경우 어떤 과거 자료를 쓰느냐에 따라 위험 추정치가, 이를테면 20% 정도 달라질 수 있어요. 보험사에는 충분히 쓸 만하죠.

원문 보기

그보다 더 어려운 쪽에는 지정학적 사건이 있어요. 참조 집단을 어디까지 잡을지가 흐릿해지죠. 예측 연구자 필립 테틀록은 이렇게 설명해요. 2015년까지 유로존에서 탈퇴한 나라가 없었으니 그렉시트는 유일무이해 보였을 수 있어요. 하지만 협상 실패라는 넓은 집단, 국제 협정에서 빠지는 국가라는 좁은 집단, 강제적인 화폐 전환이라는 더 좁은 집단의 사례로 볼 수도 있죠. 그는 소련의 붕괴나 아랍의 봄 같은 블랙 스완 사건T1조차 참조 집단에 넣어 모델링할 수 있고, 이런 사건에도 귀납이 유용하다고 주장해요.

테틀록의 스펙트럼에서는 이런 사건들이 고유성의 극단에 있어요. 지정학적 사건만 본다면 그럴 수도 있겠죠. 하지만 이 사건들조차 AI에 의한 인류 멸종보다는 훨씬 덜 독특해요. AI 실존적 위험의 참조 집단을 찾으려는 시도를 보세요. 인간 멸종의 참조 집단으로 동물 멸종을, AI가 가져올 사회경제적 변화의 참조 집단으로 산업혁명을, 세계적 재앙을 부르는 사고의 참조 집단으로 대량 사망 사고를 드는 식이에요. 솔직히 말하죠. 이런 사례는 초지능 AI를 개발할 수 있는지, 그 AI에 대한 통제력을 잃을지에 대해 아무것도 알려주지 않아요. 바로 이 두 문제가 AI 실존적 위험 예측에서 불확실성의 핵심인데도요.

AI로 인한 인류 멸종은 과거의 어떤 일과도 너무 멀리 떨어져 있어 귀납법으로 확률을 ‘예측’할 수 없어요. 과거의 기술 혁신과 재난에서 질적인 교훈은 얻을 수 있어요. 그러나 AI 위험은 충분히 달라서, 거기서 뽑은 수치에는 정책의 정당성에 필요한 근거가 부족해요.

연역: 믿을 만한 이론이 없다

코난 도일의 「여섯 개의 나폴레옹」에서 셜록 홈스는 잠복에 나서기 전에 용의자를 잡을 확률이 정확히 3분의 2라고 말해요. 스포일러 주의! 사람의 행동에 어떻게 그렇게 정밀한 수학적 확률을 붙일 수 있을까요?

홈스는 용의자의 기이해 보이던 행동을 낳은 사건의 순서를 추론했어요. 용의자는 런던 안팎의 여러 사람이 소유한 나폴레옹 흉상 여섯 개 중 하나에 숨겨진 보석을 차례로 찾고 있었죠. 자세한 줄거리는 중요하지 않아요. 핵심은 용의자도 탐정도 보석이 어느 흉상에 있는지 모르지만, 용의자의 다른 행동은 모두 예측 가능하다고 가정한다는 거예요. 그래서 남은 불확실성을 정확히 수량화할 수 있어요.

믿을 만한 세계 모델이 있다면 과거의 관찰에 의존하지 않고도 논리적으로 위험을 추정할 수 있어요. 물론 소설 밖의 세계는, 특히 먼 미래를 내다볼 때, 그렇게 단순하지 않죠.

실존적 위험에도 연역적 모델을 쓸 수 있는 흥미로운 예외가 있어요. 소행성 충돌입니다. 순수한 물리계이기 때문에 귀납과 연역을 결합해 위험 확률을 추정할 수 있어요. 이 방법을 다른 실존적 위험에 그대로 적용할 수 없다는 점을 이해하려면 작동 방식을 잠깐 살펴볼 필요가 있어요.

핵심은 소행성의 크기, 정확히는 충돌 에너지와 충돌 빈도의 관계를 모델링할 수 있다는 거예요. 우리는 작은 충돌을 수천 건 관찰했으므로, 직접 관찰하지 못한 큰 충돌의 빈도를 외삽할 수 있어요. 세계적 재앙을 일으킬 충돌의 문턱값도 추정할 수 있고요.1

원문 보기

AI의 미지수는 물리계가 아니라 기술 발전과 거버넌스에 걸쳐 있어요. 수학적으로 어떻게 모델링할지 분명하지 않죠. 그래도 시도한 사람은 있어요. 가상의 AGI에 필요한 계산량을 예측하려고, 여러 연구는 AI 시스템이 인간의 뇌와 비슷한 계산량을 필요로 한다고 가정하고, 뇌가 수행하는 계산량도 다시 가정해요. 소행성 모델에 들어가는 가정보다 훨씬 불안정한 가정들이죠. 게다가 이것으로는 통제력 상실 문제를 다루지도 못해요.

주관적 확률: 숫자로 꾸민 직감

참조 집단도 근거 있는 이론도 없으면 예측은 결국 ‘주관적 확률’, 즉 예측가의 판단에 기댄 추측이 돼요. 이런 추정치가 자릿수 단위로 벌어지는 것도 놀랍지 않아요.

주관적 추정이라고 해서 확률의 귀납적·연역적 토대가 필요 없어지는 건 아니에요. 예측가가 그 추정치를 설명할 필요가 없어질 뿐이죠. 직관적 판단의 과정을 말로 풀기 어려울 수는 있어요. 그 직관이 귀납에서 왔든 연역에서 왔든 마찬가지예요. 예측가는 사실상 ‘방법을 보여주지는 못했지만 내 실적을 보고 이 숫자를 믿어달라’고 말할 수 있어요. 그러나 다음 절에서 보듯 AI 실존적 위험에는 실적에 기대는 방법도 통하지 않아요. 귀납이나 연역의 토대가 없으면 예측가는 숫자를 지어낼 수밖에 없고, 그렇게 나온 숫자는 천차만별이에요.

원문 보기

예측연구소가 2022년 말에 진행한 실존적 위험 설득 토너먼트(XPT)를 보죠. 우리가 알기로 지금까지 가장 정교하고 잘 진행된 실존적 위험 예측 실험이에요. AI 전문가와 예측 전문가(도표의 ‘슈퍼예측가’)를 비롯한 여러 집단이 참여했어요. 2100년까지 AI로 인류가 멸종할 위험에 대한 AI 전문가들의 추정치는 높은 쪽인 75백분위가 12%, 중앙값은 3%, 낮은 쪽인 25백분위가 0.25%였어요. 예측 전문가들은 75백분위도 1%에 그쳤고, 중앙값은 0.38%, 25백분위는 도표에서 0과 구분하기 어려웠어요. AI 전문가의 75백분위와 슈퍼예측가의 25백분위 사이에는 적어도 100배의 차이가 나는 셈이죠.

이 사람들은 모두 이 주제에 전문성이 깊고, 몇 달 동안 서로를 설득하려고 한 대회에 참여했어요! 이 차이도 충분히 크지 않다면, 이 실험이 한 집단이 한 시점에 진행한 것뿐임을 기억하세요. 오늘 다시 하거나 질문을 다르게 쓰면 다른 숫자가 나올 수도 있어요.

가장 잘 보여주는 것은 보고서에 자세히 실린 예측가들의 근거예요. 특히 강력한 AI가 개발된 뒤 어떤 나쁜 결과가 일어날지, 그 조건부 확률을 따질 때 이들은 정량 모델을 쓰지 않아요. 대개 평범한 사람들이 초지능 AI를 이야기할 때와 비슷하게 추측해요. AI가 시스템 운영자를 초인적으로 설득해 핵심 시스템을 장악할지도 몰라요. 컴퓨터가 더 빨리 작동하도록 지구 온도를 낮추려다가 뜻하지 않게 인류를 멸종시킬지도 모르죠. 아니면 지구 대신 우주에서 자원을 구할 테니 걱정을 덜 해도 될지 몰라요. 이런 추측 자체에 잘못은 없어요. 다만 AI 실존적 위험에 관한 한, 예측가의 직감을 여러분이나 우리의 직감보다 더 믿게 할 특별한 지식, 증거, 모델은 없다는 점을 분명히 해야 해요.

슈퍼예측이라는 말은 필립 테틀록이 20년 동안 진행한 예측 연구에서 나왔어요. 그도 XPT의 주최자 중 한 명이었죠. 슈퍼예측가들은 여러 정보를 종합하고 심리적 편향을 줄이는 등 예측력을 높이는 훈련을 받는 편이에요. 이런 방법은 지정학 같은 분야에서 효과가 입증됐어요. 하지만 활용할 만한 증거가 거의 없다면 아무리 훈련해도 좋은 예측은 나오지 않아요.

예측가에게 신뢰할 만한 정량 모델이 있다고 해도(실제로는 없지만), 모델 자체가 틀렸을 가능성인 ‘알려지지 않은 미지수’까지 고려해야 해요. 실존적 위험 철학자 닉 보스트롬은 이렇게 설명해요.

타당한 관점이고, AI 실존적 위험 예측가들도 위험 평가의 불확실성을 많이 걱정해요. 그런데 이 원칙을 따르면 예측은 반드시 모델의 산출값이 아니라 추측이 돼요. 어떤 모델도 그 모델 자체가 틀렸을 확률이나 틀렸을 때의 위험을 계산할 수는 없으니까요.

드물고 유일한 사건에서는 예측 실력을 측정할 수 없다

지금까지 살펴본 주관적 AI 위험 예측은 자릿수 단위로 벌어져요. 예측가들의 과거 실적을 측정할 수 있다면 누구를 믿을지 정할 수 있지 않을까요? 귀납이나 연역을 통해 위험 추정치를 정당화하는 것과 달리, 이 방법에서는 예측가가 숫자의 근거를 설명할 필요가 없어요. 과거에 다른 결과를 잘 예측했다는 실적으로 대신하는 거죠.

지정학적 사건에서는 실적이 매우 유용했고, 예측 분야도 실력 측정에 많은 힘을 쏟아요. 예측의 보정 상태, 브라이어 점수, 로그 점수, 예측 대회 사이트 메타큘러스의 동료 점수 등 여러 평가법이 있어요.

하지만 어떤 방법을 쓰든 실존적 위험의 주관적 예측에는 세 가지 걸림돌이 있어요. 비교할 사건이 없고, 멸종은 좀처럼 일어나지 않으며, 예측이 맞았는지 확인하려면 아주 오래 기다려야 해요. 하나씩 보죠.

참조 집단 문제는 예측가뿐 아니라 평가자도 겪어요. 외계인 착륙의 예로 돌아가 볼게요. 선거 예측을 매우 잘해 온 사람이 아무런 증거 없이 1년 안에 외계인이 지구에 착륙한다고 선언했다고 해요. 우리는 그 사람의 선거 예측 실력을 알더라도 외계인 착륙에 대한 생각을 바꾸지 않을 거예요. 두 사건이 너무 다르므로 실력이 다른 분야에도 통할 거라고 기대하지 않기 때문이죠. 마찬가지로 AI 실존적 위험은 과거에 예측했던 사건들과 너무 달라서, 어느 예측가에게도 이 위험을 추정하는 실력이 있다는 증거가 없어요.

참조 집단 문제를 어떻게든 해결해도 다른 문제가 남아요. 인류 멸종은 매우 드문 사건에서 비롯되는 ‘꼬리 위험’이에요. 예측가 A는 AI로 인한 실존적 위험을 1%라 하고, B는 100만 분의 1이라 한다고 해 봅시다. 누구의 예측을 더 믿어야 할까요? 과거 실적에서 A가 더 좋았다고 해도 A의 이번 예측이 더 믿을 만하다는 뜻은 아니에요. 실력 평가는 꼬리 위험의 과대평가에 둔감하기 때문이에요. A는 일상적이고 발생 가능성이 꽤 있는 사건에는 B보다 조금 더 정확하지만, 100만 분의 1처럼 드문 위험은 자릿수 단위로 과대평가할 수도 있어요. 어떤 점수 규칙도 이런 오류를 충분히 벌주지 못해요.

사고 실험을 해 보죠. F와 G라는 두 예측가가 각각 다른 사건 집합을 예측하고, 두 집합 모두 사건의 ‘진짜’ 발생 확률이 0과 1 사이에 균일하게 분포한다고 가정해요. 둘 다 자신이 예측하는 모든 사건의 진짜 확률 P를 안다고, 지나치게 낙관적으로 가정해 봅시다. F는 항상 P를 내놓아요. G는 조금 보수적이어서 1%보다 낮은 숫자는 절대 내놓지 않아요. P가 1% 이상이면 P를, 그보다 낮으면 1%를 내놓죠.

정의상 F가 더 뛰어난 예측가예요. 그런데 실적으로 그 차이를 알아볼 수 있을까요? F가 G보다 높은 점수를 받을 확률이 95%가 되려면 각자의 예측을 몇 개 평가해야 할까요? 로그 점수에서는 약 1억 개, 브라이어 점수에서는 약 1조 개가 필요해요.2 가정을 따져볼 수는 있겠지만 요점은 분명해요. 예측가가 꼬리 위험을 체계적으로 과대평가하더라도 실증적으로 알아차리기가 사실상 불가능해요.

마지막 장애물은 장기 예측의 결과를 확인하려면 너무 오래 걸린다는 거예요. 멸종 예측은 당연히 평가 자체가 불가능하고요. 이를 부분적으로 극복하려는 방법도 있어요. 연구자들은 서로의 예측을 얼마나 잘 맞히는지로 보상하는 상호 점수법을 개발했어요. 코로나19 정책의 효과를 예측하는 등 실제 상황에서 검증했을 때 전통적인 점수법만큼 좋은 예측이 나왔어요. 인정할 만해요. 그렇지만 상호 점수법도 참조 집단과 꼬리 위험의 문제를 해결하지는 못해요.

원문 보기

위험을 체계적으로 과대평가할 이유도 많다

정리하면 귀납과 연역은 통하지 않고, 주관적 예측은 크게 엇갈리며, 어느 예측이 더 믿을 만한지 판별할 방법도 없어요.

그래서 일부 연구자들은 여러 예측가의 숫자를 합쳐 정책에 쓸 수 있는 더 믿을 만한 추정치를 얻으려 해요. 대표적으로 AI Impacts의 AI 발전 조사가 있죠. 그러나 이 조사는 무응답 편향을 비롯한 심각한 방법론적 한계로 비판받았어요. 더 중요한 질문은 합산이 왜 정확도를 높여야 하느냐는 거예요. 예측가 대부분이 같은 편향을 공유할 수도 있고, 누구에게도 믿을 만한 예측의 토대가 없으니까요.

AI 실존적 위험을 체계적으로 과대평가할 이유는 여러 가지예요.3 첫째는 선택 편향이에요. AI 연구자가 된 동기 중 하나가 AI가 세상을 바꿀 수 있다는 믿음일 수 있어요. 연구자가 된 뒤에는 그 믿음이 끊임없이 강화되는 환경에 놓이고요. 기술의 힘이 무서울 만큼 강하다고 생각한다면, 세상을 바꿀 결과가 긍정적이 아니라 부정적일 가능성도 크다고 여기는 건 충분히 합리적이에요.

다소 폐쇄적인 AI 안전 분야에서는 반향실의 소리가 더 커질 수 있어요. 높은 p(doom), 즉 AI가 파국을 일으킬 확률을 제시하는 일이 소속감과 대의에 대한 헌신을 드러내는 신호가 된 듯해요.

예측 전문가에게는 조금 다른 선택 편향이 작용해요. 예측 분야는 효과적 이타주의, 특히 AI 실존적 위험에 대한 관심과 크게 겹쳐 있어요. 개별 예측가가 편향됐다는 뜻은 아니에요. 하지만 p(doom)을 높게 보는 사람이 예측 활동에도 더 관심을 가질 수 있죠. 그러면 예측 공동체 전체에 실존적 위험을 걱정하는 사람이 더 많이 모일 수 있어요.

예측가들은 증거에 따라 생각을 바꾸는 데 능숙해요. 하지만 소행성 충돌 위험과 달리 AI 실존적 위험에서는 생각을 어느 쪽으로든 바꿀 만한 증거가 거의 없어요. 그래서 우리는 예측가가 이 분야에 들어오기 전부터 갖고 있던 생각의 영향이 크다고 봐요. XPT 보고서는 활발한 참가자들조차, 서로를 설득하면 금전적 보상을 받는데도 ‘생각을 바꾼 사람이 거의 없었다’고 적었어요. 후속 연구에서는 불일치의 상당 부분이 AI를 넘어서는 근본적인 세계관 차이에서 비롯됐다고 밝혔고요.

다시 강조하지만 편향에 관한 이 논점은 AI 실존적 위험에만 적용돼요. 선거 예측가들이 현직 후보에게 체계적으로 치우쳤다면 몇 차례 선거 뒤에는 예측과 실제 결과를 비교해 알아낼 수 있어요. 그러나 앞서 보았듯 AI 실존적 위험의 실력 평가는 꼬리 위험의 과대평가에 둔감해요.

흥미롭게도 꼬리 위험을 과소평가하는 데는 매우 민감해요. 드문 사건에 0%를 배정했다가 실제로 일어나면 로그 점수에서는 무한대의 벌점을 받아요. 다른 사건을 아무리 잘 예측해도 만회할 수 없죠. 이는 로그 점수의 주요 장점으로 여겨져 메타큘러스가 이 점수법을 채택한 이유이기도 해요.

이제 정확한 추정치가 없는 예측가를 생각해 보죠. AI 실존적 위험처럼 따져야 할 변수가 많은 일에 정확한 추정치를 가진 사람은 없을 거예요. 벌점이 비대칭이라면 자기 추정 범위의 높은 쪽 값을 내놓는 편이 합리적이에요.4

다만 예측가들이 큰 불확실성 앞에서 실제로 어떤 숫자를 내놓는지는 분명하지 않아요. 점수 규칙의 유인에 반응하지 않을 수도 있어요. 장기 예측의 결과는 곧 확인되지 않으니까요. XPT에서는 결과를 확인하려면 너무 오래 기다려야 하는 문제를 피하려고 서로의 예측을 맞히게 했다는 점도 기억하세요. 상호 점수법 연구는 이 방식이 참가자에게 실제로 믿는 바를 충분히 숙고해 추정하도록 유도한다고 주장하며 여러 반론을 검토해요. 그 옹호에는 두 가지 중요한 가정이 있어요. 노력을 더 들이면 참값에 더 가까워질 수 있고, 다른 참가자의 행동을 예측할 더 나은 방법이 없다는 거예요.

그 가정이 맞지 않으면 어떻게 될까요? 우리가 이 글에서 주장했듯 AI 실존적 위험에서는 증거가 예측가의 기존 믿음을 바꾸리라 기대하기 어려워요. 첫 번째 가정이 의심스럽죠. 게다가 XPT가 한 차례 끝났으므로 공개된 중앙값은 강력한 기준점, 게임 이론의 초점이 됐어요. 앞으로 상호 점수법으로 평가받는 예측가는 그 숫자를 출발점으로 삼고, 지난 대회 이후 새로 나온 정보만 반영해 소폭 조정할 수도 있어요. 기존 숫자가 기준점이 되면서 추정 범위가 좁아질 수도 있죠. 길게 말했지만 요점은 간단해요. 의지할 실제 증거가 적을수록 집단사고의 위험이 커져요.

파스칼의 내기를 경계하자: 효용 극대화의 위험

참고로 XPT가 제시한 AI로 인한 멸종과 멸종에는 이르지 않는 재앙적 위험의 중앙값은 다음 도표에 있어요.

원문 보기

거듭 말하지만 우리는 이 숫자들을 지나치게 진지하게 받아들이지 말아야 한다고 봐요. 참가자 집단마다 AI를 얼마나 걱정하는지를 보여주는 값에 더 가까워요.

앞서처럼 슈퍼예측가와 AI 전문가의 추정치는 10배 이상 차이가 나요. 굳이 참고한다면 AI 전문가보다 예측 전문가의 숫자에 무게를 두는 편이 나아요. 과거 연구의 중요한 발견은 여러 정보를 종합하고 심리적 편향을 줄이는 훈련을 받은 예측 전문가가 분야별 전문가보다 예측을 더 잘한다는 거예요. 그렇지만 그들의 예측조차 크게 과장됐을 수 있고, 우리는 확실히 알 수 없어요.

그게 왜 큰 문제일까요? 정책 담당자가 일정 기간의 위험을 0.01%가 아니라 1%로 믿는다고 해도, 둘 다 꽤 낮아 보이잖아요.

그 확률로 무엇을 하느냐에 달렸어요. 흔히 이런 추정치는 어떤 전문가 집단이 위험을 중요하게 본다는 신호에 불과해요. 그게 전부라면 괜찮아요. 하지만 같은 숫자도 사람마다 전혀 다르게 받아들이는데, 복잡한 정량화가 신호를 전달하는 데 도움이 되는지도 분명하지 않아요.

예를 들어 미국 연방거래위원회 위원장이었던 리나 칸은 자신의 p(doom)이 겨우 15%이므로 기술 낙관론에 가깝다고 말했어요. 전문가들은 어리둥절했죠. 참고로 우리가 ‘기술 낙관론’이라고 부를 만한 수준보다 약 1,000배 높은 숫자예요. 매우 작거나 큰 숫자를 의사결정에서 제대로 다루려면 상당한 정량 훈련이 필요해요. 대부분의 사람은 그런 훈련을 받지 않았고, 숫자를 ‘무시해도 될 만큼 작다’ 같은 범주에 넣기 쉬워요.

결국 전문가의 막연한 직감과 두려움이 정밀해 보이는 숫자로 바뀌었다가, 정책 담당자의 머릿속에서 다시 막연한 직감과 두려움으로 돌아오는 듯해요. 숫자로 포장하는 일을 그만하면 안 될까요? 이 점에서 AI 안전 센터의 AI 위험 성명은 단도직입적이었어요. 물론 우리는 그 내용에는 강하게 반대하지만요.

의사결정에 확률을 원칙적으로 사용하는 정량적 방법은 비용 편익 분석을 통한 효용 극대화예요. 어떤 결과의 주관적 가치, 즉 효용이 U이고 그 결과가 일어날 확률이 10%라면, 그 결과가 확실히 일어나되 효용이 0.1 × U인 것처럼 계산해요. 선택지마다 비용과 편익을 더한 뒤 기대효용이 가장 큰 것을 고르는 방식이죠.

여기서 문제가 심각해져요. 어떤 사람은 인류 멸종에 상상할 수 없이 큰 음의 가치를 매겨요. 앞으로 태어날 모든 인간의 삶, 물리적 존재뿐 아니라 시뮬레이션 속 삶까지 사라지기 때문이죠. 이 논리를 따르면 실존적 위험은 언제나 모두의 최우선 과제가 돼요! 아주 작은 확률로라도 신이 존재한다면 믿지 않았을 때 무한한 대가를 치르므로 신을 믿는 게 합리적이라는 파스칼의 내기가 떠오르죠. 다행히 정책 담당자들은 무한대를 끌어들이는 의사결정 틀에 그다지 무게를 두지 않아요. 하지만 이 생각은 AI 안전 분야에 강한 영향을 미쳤고, 어떤 사람들에게는 AI 실존적 위험을 사회의 최우선 과제로 봐야 한다는 확신의 근거가 됐어요.

멸종까지는 아니더라도 재앙적 위험은 수십억 명의 목숨과 관련돼요. 따라서 위험을 1%로만 잡아도 예상되는 피해가 엄청나서 극단적인 정책이 정당해 보이죠. 정부는 AI 실존적 위험 완화 예산을 수십, 수백 배 늘리고 AI 개발 중단 같은 강경책도 고려해야 하겠죠. 그래서 이런 추정치에 방법론적 뒷받침이 없다는 사실을 이해하는 게 중요해요. 이렇게 빈약한 증거로 세상을 바꿀 정책을 결정하는 것은 무모해요.

기술 이정표 예측에도 결과의 모호성 문제가 있다

그럼 AI 정책에서 예측은 아무 역할도 못 할까요? 역할이 있다고 봐요. 다만 실존적 위험 대신, 특정 능력 평가의 성적이나 경제적 영향 같은 AI 이정표를 예측하는 편이 더 실현 가능하고 의미 있어요. 여러 이정표가 언제 달성될지 잘 맞힌 사람에게는 앞으로도 잘할 거라는 근거가 생겨요. 더는 유일하거나 매우 드문 사건을 다루지 않죠. 그리고 살인 로봇을 막는 정책이 아니라 경제적 혼란에 대비하는 등 부담이 더 작은 정책이라면, 모든 합리적인 사람을 만족시킬 만큼 예측을 정당화해야 한다는 요구도 약해져요.

예측 분야는 이정표 예측에 많은 노력을 들여요. 메타큘러스의 ‘2040년 전에 인간과 기계의 지능이 동등해질까?’라는 질문에는 1,300명 넘는 예측가가 참여해 종합 확률 96%가 나왔어요. 놀라운 숫자예요! 이 예측에 동의한다면 AGI로 안전하게 넘어가는 일을 세계적 우선순위로 삼자고 할 거예요. 그런데 우리는 왜 그러지 않을까요?

답은 세부 조건에 있어요. AGI처럼 경계가 흐릿한 개념에는 합의된 정의가 없어요. 정의를 정해도 달성 여부를 판단하기 어렵거나 불가능할 수 있어요. 좋은 예측에는 결과의 모호성을 피하는 일이 매우 중요해요. 예측 분야는 시험 성적 같은 비교적 좁은 능력으로 질문을 정의해 이 문제를 피해 가요.

메타큘러스의 지능 동등성 질문은 수학·물리학·컴퓨터과학의 대학원 시험 성적을 기준으로 삼아요. 그 정의라면 우리도 96%라는 예측에 동의해요. 하지만 정책적으로 큰 의미가 없을 만큼 정의가 약해졌다고 봐요. 실존적 위험은커녕 시험 성적에는 구성 타당도가 너무 부족해서 AI가 노동자를 대체할지조차 예측하지 못해요.

다른 벤치마크도 크게 낫지 않아요. 벤치마크와 현실의 영향 사이에 큰 간극이 있어서 AI 능력의 발전 시기를 예측하기가 까다롭죠. 다행히 중요한 실제 업무를 반영하는 더 나은 벤치마크가 개발되고 있어요. 비용이 더 들더라도 자연스러운 환경에서 평가할 필요도 있어요. 예컨대 AI의 도움을 받을 때 사람들이 일을 어떻게 다르게 수행하는지 측정하는 거예요. 노동시장 변화나 군의 AI 지출처럼 경제·사회·정치적 영향을 직접 예측하면 더 유용할 수도 있어요. 물론 결과를 모호함 없이 정의하고 측정하기는 더 어렵겠죠.

• • •

맺음말

정책에서 확률을 잘못 쓰지 않을 책임은 정책 담당자에게 있어요. 그들을 오도할까 봐 예측가에게 발표를 멈추라고 요구하는 게 아니에요. 다만 예측에는 사용한 과정과 검토한 증거에 대한 분명한 설명이 따라야 해요. 그래야 정책 담당자가 그 근거가 자신이 요구하는 수준에 이르는지 판단할 수 있죠. XPT는 투명성을 보여주는 좋은 사례이고, 실존적 위험에 관한 연구는 아니지만 이 논문도 그래요. 반대로 연구자 몇 명을 설문해 숫자를 합쳐 제시하는 것은 오해를 부르므로 정책 담당자들은 무시해야 해요.

정부는 AI 실존적 위험에 어떻게 대응해야 할까요? 아무것도 하지 말자는 뜻은 아니에요. 그러나 그 위험이 시급하고 심각하다고 믿을 때 매력적으로 보이는 정책, 특히 AI 개발 제한은 거부해야 해요. 이 연재의 다음 글에서 주장하겠지만 그런 정책은 불필요할 뿐 아니라 오히려 실존적 위험을 키울 가능성이 있어요. 대신 정부는 위험을 얼마로 추정하든 적용할 수 있고, 위험이 무시할 만큼 작더라도 전반적으로 도움이 되는 정책을 채택해야 해요. 다행히 그런 정책은 있어요. 새 증거에 더 잘 대응할 수 있도록 정책 결정 과정도 바꿔야 하고요. 이 문제는 곧 더 다룰게요.

더 읽을거리

• XPT 보고서의 제목은 「실존적 위험 예측: 장기 예측 토너먼트의 증거」예요.
• 테틀록과 가드너의 책 『슈퍼예측』은 테틀록, 바버라 멜러스 등의 연구를 정리해요.
• 스콧 알렉산더는 유일한 사건에 확률을 부여하는 것 자체가 잘못이라는 주장에 반박해요. 우리도 대체로 동의해요. 다만 우리의 논점은 일반적인 예측이 아니라 정책에서의 활용이고, 원칙적인 반대도 아니에요. 우리의 주장은 경험적이에요. AI 실존적 위험 예측은 극도로 불확실하고 정당화할 근거가 부족해요. 이론상 미래에는 달라질 수 있지만 기대하고 있지는 않아요.
• 프리드먼과 주크하우저의 논문은 확률이 전부가 아닌 이유를 설명해요. 위험 추정치가 같은 두 예측도 정책에 주는 의미는 크게 다를 수 있어요. 우리는 AI 실존적 위험 예측이 확신의 세 요소 가운데 둘, 즉 탄탄한 증거와 합리적 의견의 좁은 범위에서 낮은 점수를 받는다고 봐요.
• 프린스턴 CITP 동료 샤제다 아흐메드 등이 쓴 논문은 AI 안전 분야의 지식 문화를 설명해요. 이 분야에서는 동료 평가를 중심에 두는 더 넓은 과학계와 달리, 예측 같은 활동이 믿음을 형성하는 기둥이 된 이유를 이해하는 데 도움이 돼요. 과학계의 관행과 다르다는 이유만으로 관점을 버려서는 안 돼요. 그러나 스스로를 AI 안전 분야라 부르는 공동체의 견해라고 해서 특별한 권위를 줘서도 안 돼요. 그 공동체의 전형적인 구성원이 AI 안전에 관해 취하는 한 입장은 논쟁적이고, 우리가 보기에는 상당히 경보주의적이에요.
• 우리는 증거에 기반한 AI 안전에 관한 글을 많이 썼어요. 대표적으로 「AI 안전은 모델의 속성이 아니다」와 여러 사람이 함께 쓴 「공개 기초 모델의 사회적 영향」이 있어요.

감사의 말. 초고에 의견을 준 벤저민 에델먼, 에즈라 카거, 맷 살가닉, 올리 스티븐슨에게 감사드려요. 이 연재는 곧 나올 논문을 바탕으로 해요. 그 논문에는 세스 라자, 호주국립대학교 MINT 연구실 구성원, 프린스턴대학교 ‘예측의 한계’ 수업 학생들, 샤제다 아흐메드, 재커리 시걸을 비롯한 많은 분이 의견을 주셨어요.