사랑스러운 은혜의 기계들 (Machines of Loving Grace)

게시일: 2025년 10월 24일 | 원문 작성일: 2024년 10월 1일 | 저자: Dario Amodei (Anthropic CEO) | 원문 보기

왜 지금까지 긍정적인 면을 강조하지 않았나

Dario는 먼저 자신이 왜 AI의 긍정적인 측면보다 리스크에 집중해왔는지 설명해요. 그 이유는 다음과 같아요:

• 레버리지 최대화: AI 기술 발전 자체는 시장의 힘으로 거의 필연적이지만, 리스크는 우리 행동으로 크게 바꿀 수 있어요
• 프로파간다 인식 회피: AI 회사가 장점만 얘기하면 선전처럼 보이거나 단점을 감추려는 것처럼 보일 수 있어요
• 과대망상 회피: 많은 AI 리더들이 AGI 이후 세계를 종교적 용어로 얘기하는 걸 불편해해요
• ”공상과학” 짐 회피: 급진적인 AI 미래를 논하는 사람들이 종종 과도한 SF 톤을 사용해서 현실감이 떨어져요

하지만 그럼에도 불구하고 긍정적인 비전을 논하는 게 중요하다고 봐요. 단순히 “불 끄기”가 아니라, 정말로 싸울 만한 가치가 있는 무언가가 필요하거든요.

강력한 AI의 정의

Dario가 말하는 “강력한 AI”는 다음과 같은 특징을 가져요:

• 대부분의 관련 분야(생물학, 프로그래밍, 수학, 공학, 글쓰기 등)에서 노벨상 수상자보다 똑똑함
• 텍스트, 오디오, 비디오, 마우스/키보드 제어, 인터넷 접근 등 모든 가상 인터페이스 사용 가능
• 질문에 답하는 것뿐 아니라 몇 시간, 며칠, 몇 주가 걸리는 작업을 자율적으로 수행
• 물리적 구현체는 없지만 컴퓨터를 통해 기존 도구나 로봇을 제어 가능
• 수백만 개의 인스턴스로 실행 가능하며, 각각 10-100배 빠른 속도로 작동

한마디로 요약하면: “데이터센터 안의 천재 국가”

진보의 제한 요소

AI가 아무리 똑똑해도 모든 걸 즉시 해결할 순 없어요. Dario는 “인텔리전스에 대한 한계 수익률”이라는 개념을 제시하는데, 다음과 같은 요소들이 인텔리전스를 제한해요:

하지만 중요한 건, 단기적으로는 제약이 크지만 장기적으로는 인텔리전스가 이런 제약들을 우회할 방법을 찾는다는 거예요. 핵심 질문은 “얼마나 빨리, 어떤 순서로” 일어나느냐는 거죠.

1. 생물학과 건강

생물학은 아마 인간 삶의 질을 가장 직접적으로 개선할 수 있는 영역이에요. Dario의 핵심 주장은 이래요:

왜 AI가 생물학을 가속화할까

많은 생물학자들이 AI의 가치에 회의적이었어요. “AI는 데이터를 더 잘 분석할 순 있지만, 더 많거나 더 나은 데이터를 만들 순 없다. 쓰레기를 넣으면 쓰레기가 나온다”라고요.

하지만 Dario는 이렇게 반박해요: AI를 데이터 분석 도구가 아니라, 실제 생물학자가 하는 모든 일을 수행하는 가상 생물학자로 생각해야 한다고요. 실험 설계, 실행, 새로운 측정 기법 발명 등 전체 리서치 프로세스를 가속화하는 거죠.

핵심 발견들의 패턴

생물학의 발전은 소수의 획기적 발견에서 왔어요. 연간 약 1개씩의 메이저 발견이 나오고, 이게 전체 진보의 50% 이상을 차지해요:

• CRISPR: 살아있는 유기체에서 유전자를 직접 편집
• 다양한 현미경: 정밀한 수준에서 진행 상황 관찰
• 게놈 시퀀싱과 합성: 비용이 수십 배 감소
• 광유전학: 빛으로 뉴런 발화 제어
• mRNA 백신: 거의 모든 것에 대한 백신을 빠르게 설계
• CAR-T 세포 치료: 면역 세포를 “재프로그래밍”

Dario는 이런 발견들의 비율을 10배 이상 증가시킬 수 있다고 봐요. 왜냐하면:

1. 이런 발견은 소수의 연구자가 반복적으로 만들어요 (운이 아니라 스킬)
2. 종종 “훨씬 일찍 만들어질 수 있었어요” (CRISPR은 80년대부터 알려졌지만 25년 후에야 응용됨)
3. 성공한 프로젝트는 종종 소박하거나 사후에 생각한 것들이에요 (거대 자금이 아니라 창의성)
4. 많은 발견이 독립적이어서 병렬로 작업 가능해요

”압축된 21세기” 예측

AI를 활용하면 향후 50-100년의 생물학/의학 진보를 5-10년 안에 달성할 수 있다고 봐요. 구체적으로는:

임상 시험은 어떻게 되나

임상 시험의 느림은 대부분 거의 효과가 없는 약물을 엄격하게 평가해야 하기 때문이에요. 뭔가 정말 잘 작동하면 훨씬 빨라져요 - COVID mRNA 백신은 9개월 만에 승인됐죠.

AI가 생물학 과학을 발전시키면 임상 시험의 반복 필요성도 줄일 수 있어요. 더 나은 동물/세포 실험 모델이나 시뮬레이션으로 인간에서 무슨 일이 일어날지 더 정확하게 예측할 수 있거든요.

2. 신경과학과 정신 건강

정신 건강은 신체 건강만큼, 어쩌면 더 직접적으로 인간의 웰빙에 영향을 미쳐요. 수억 명의 사람들이 중독, 우울증, 조현병, 저기능 자폐증, PTSD, 사이코패스, 지적 장애 등으로 삶의 질이 매우 낮아요.

신경과학의 4가지 발전 경로

• 전통적 분자생물학, 화학, 유전학: 섹션 1과 같은 방식으로 가속화
• 세밀한 신경 측정 및 개입: 광유전학, 신경 프로브 등으로 개별 뉴런이나 회로를 측정하고 변화시키기
• 고급 계산 신경과학: 현대 AI의 인사이트를 시스템 신경과학에 적용 (예: 스케일링 가설, 해석가능성)
• 행동 개입: 기존 심리치료 방법 개선 및 새로운 방법 개발. “AI 코치” 같은 것도 가능

AI가 신경과학을 특별히 도울 수 있는 이유

AI 시스템 자체에서 배운 것들이 신경과학에 도움이 돼요:

• 해석가능성 연구: AI 시스템에서 발견된 계산 메커니즘이 최근 쥐 뇌에서도 재발견됐어요
• 스케일링 가설: 간단한 목적 함수 + 많은 데이터 = 복잡한 행동. 이건 지능이 어떻게 작동하는지, 어떻게 쉽게 진화했는지에 대한 설명이에요

예상되는 발전

참고로 “마음 업로드”(뇌 패턴을 소프트웨어로 옮기기)는 원칙적으로 가능하지만, 5-10년 내에는 기술적/사회적 도전이 커서 어려울 거예요.

3. 경제 발전과 빈곤

놀라운 기술을 개발하는 것과 모든 사람이 접근할 수 있게 하는 건 별개예요. 현재 사하라 이남 아프리카의 1인당 GDP는 약 $2,000인 반면 미국은 $75,000이에요.

Dario는 이 영역에서 다른 영역만큼 확신하지 못해요. 기술은 인텔리전스에 대한 수익률이 명확하지만, 경제는 인간적 제약과 본질적 복잡성이 많거든요. 개발도상국의 만연한 부패도 문제고요.

하지만 낙관적인 이유들

• 건강 개입 배포: 천연두는 실제로 1970년대에 완전 박멸됐어요. AI가 더 똑똑한 역학 모델링과 물류 최적화로 이걸 더 잘할 수 있어요. 일부 생물학적 발전은 배포를 더 쉽게 만들어요 (모기에 질병 차단 박테리아 감염시키기, 유전자 드라이브 등)
• 경제 성장: 동아시아 국가들이 20세기 말 연간 10% 성장을 달성했어요. “AI 재무장관과 중앙은행장”이 이걸 재현하거나 초과할 수 있을까요? 건강 개입 자체가 생산성을 크게 높일 거예요
• 식량 안보: AI 주도의 제2차 녹색 혁명 가능 (더 나은 비료, 농약, 유전 공학 작물 등)
• 기후 변화 완화: 대기 탄소 제거, 청정 에너지, 실험실 재배 고기 등

꿈의 시나리오

개발도상국에서 연간 20% GDP 성장률을 달성한다면 (10%는 AI 경제 정책, 10%는 AI 기술의 자연 확산), 사하라 이남 아프리카가 5-10년 안에 현재 중국 수준의 1인당 GDP에 도달할 수 있어요. 물론 이건 꿈의 시나리오지, 디폴트가 아니에요. 우리 모두가 함께 노력해야 해요.

우려 사항

• 국가 내 불평등: 급진적 건강 기술이 “부자만을 위한” 것이 될까? 선진국에서는 시장이 비용을 낮추고, 정치 제도가 보편적 접근을 보장할 가능성이 높아요
• 옵트아웃 문제: 백신 반대 운동처럼, 사람들이 AI 혜택을 거부한다면? 역사적으로 반기술 운동은 말만 요란했고, 대부분은 결국 채택해요. AI가 이 과정을 가속화하는 데 도움을 줄 수 있어요

4. 평화와 거버넌스

질병, 빈곤, 불평등이 해결돼도 인간은 여전히 서로에게 위협이에요. 역사는 낙관론이 무너진 사례들로 가득해요 - 20세기 초의 “전쟁 종식” 믿음, 후쿠야마의 “역사의 종말”, 중국 자유화 예측 등.

왜 이 영역은 더 어려운가

AI가 구조적으로 민주주의와 평화를 발전시킬 이유가 명확하지 않아요. 인간 갈등은 적대적이고, AI는 “좋은 편”과 “나쁜 편” 모두를 도울 수 있거든요. 게다가 AI는 선전과 감시(독재자의 주요 도구)를 훨씬 더 잘할 수 있을 것 같아요.

그래서 우리가 개별 행동으로 올바른 방향으로 기울여야 해요. AI가 민주주의와 개인의 권리를 선호하길 원한다면, 우리가 그 결과를 위해 싸워야 해요.

국제적 측면: “협상 전략”

민주주의 국가들이 강력한 AI가 만들어질 때 세계 무대에서 우위를 점하는 게 매우 중요해요. Dario의 제안:

1. 공급망 확보: 민주주의 연합이 칩과 반도체 장비 같은 핵심 자원을 통제
2. 빠르게 스케일업: 적들의 접근을 차단하거나 지연시키면서
3. 당근과 채찍: 군사적 우위(채찍)를 사용하면서, AI의 혜택을 더 많은 국가에 배포(당근) - 민주주의를 촉진하는 연합의 전략 지원을 조건으로
4. 고립 전략: 점점 더 많은 세계의 지지를 얻어 최악의 적들을 고립시키고, 결국 그들도 세계 나머지와 같은 거래를 받아들이게 만들기

성공하면 “영원한 1991”을 만들 수 있어요 - 민주주의가 우위를 점하고 후쿠야마의 꿈이 실현되는 세계요.

국내적 측면: 정보 전쟁 승리

민주주의 국가들이 가장 강력한 AI를 통제한다면, 오히려 AI가 구조적으로 민주주의를 선호할 수 있어요:

• 영향력 작전과 선전에 대응
• 독재 국가가 차단하거나 모니터링할 수 없는 정보 채널과 AI 서비스 제공
• Srđa Popović(세르비아 독재자를 무너뜨린 활동가) 같은 초인적으로 효과적인 AI를 모든 사람의 주머니에

섹션 1-3의 삶의 질 향상도 민주주의를 촉진해요. 정신 건강, 웰빙, 교육 향상은 모두 권위주의 지도자 지지와 부정적 상관관계가 있거든요.

민주주의를 “정상보다 더 좋게” 만들기

AI로 민주주의 자체를 개선할 수 있을까요?

• 법률/사법 시스템: AI는 편견을 줄이고 더 공정할 수 있어요. 법은 공평하려고 하지만 본질적으로 주관적이고 편향된 인간이 해석해야 하거든요. AI는 모호한 판단을 반복 가능하고 기계적인 방식으로 할 수 있는 첫 번째 기술이에요. 판사를 대체하는 게 아니라 의사결정을 돕고, 투명성을 위해 고급 해석가능성 기술을 사용할 수 있어요
• 시민 합의 도출: AI로 의견을 집계하고, 갈등을 해결하고, 공통점을 찾고, 타협을 모색할 수 있어요
• 정부 서비스: 건강 혜택, 사회 서비스, DMV, 세금, 사회보장 등을 AI가 도와서 모든 사람이 법적으로 받을 자격이 있는 걸 실제로 받게 할 수 있어요. 서비스가 잘 제공되면 정부에 대한 존중이 강화돼요

5. 일과 의미

모든 게 잘 돼도 한 가지 질문이 남아요: “AI가 모든 걸 한다면, 인간은 어떻게 의미를 가질까? 경제적으로 어떻게 생존할까?”

Dario는 이 질문이 가장 어렵다고 인정해요. 다른 질문들보다 더 비관적이어서가 아니라, 더 흐릿하고 예측하기 어렵기 때문이에요. 사회 조직에 대한 거시적 질문이라 시간이 지나면서 분산된 방식으로 해결되는 경향이 있거든요.

의미에 대해

AI가 더 잘할 수 있다고 해서 당신이 하는 일이 무의미한 건 아니에요. 대부분의 사람들은 어떤 것에서도 세계 최고가 아니지만, 별로 신경 쓰이지 않아요. 사람들은 경제적 가치를 전혀 생산하지 않는 활동도 크게 즐겨요 - 비디오 게임, 수영, 산책, 친구와 대화 등.

의미는 대부분 인간 관계와 연결에서 나오지, 경제적 노동에서 나오는 게 아니에요. 사람들은 성취감과 경쟁의 감각을 원하는데, AI 이후 세계에서도 몇 년을 들여 복잡한 전략이 필요한 어려운 작업을 시도하는 건 완전히 가능해요 - 리서치 프로젝트, 할리우드 배우 되기, 회사 설립 같은 것들처럼요.

경제에 대해

경제 부분이 의미 부분보다 더 어려워 보여요. 단기적으로는 비교우위가 계속 인간을 관련성 있게 유지할 거예요. AI가 일의 90%만 더 잘한다면, 나머지 10%가 인간을 매우 레버리지 있게 만들고, 보상을 늘리고, AI가 잘하는 걸 보완하고 증폭하는 새로운 인간 일자리를 만들 거예요.

하지만 장기적으로는 AI가 너무 광범위하게 효과적이고 저렴해져서 이게 더 이상 적용되지 않을 거예요. 그때가 되면 현재 경제 시스템이 더 이상 의미가 없어지고, 경제를 어떻게 조직해야 할지에 대한 광범위한 사회적 대화가 필요할 거예요.

가능한 미래 경제 모델

• 대규모 보편적 기본소득: 가능하지만 아마 해결책의 작은 부분일 거예요
• AI 시스템의 자본주의 경제: AI 시스템들이 (인간 가치에서 궁극적으로 파생된 판단에 기반해) 인간에게 자원을 분배
• Whuffie 포인트 같은 것: (Cory Doctorow의 소설에서)
• 예상치 못한 방식으로 인간이 계속 경제적으로 가치 있을 수도: 기존 경제 모델이 예측하지 못한 방식으로

이 모든 해결책에는 많은 문제가 있고, 많은 반복과 실험 없이는 의미가 있을지 알 수 없어요. 그리고 다른 도전들과 마찬가지로, 좋은 결과를 얻으려면 싸워야 할 거예요. 착취적이거나 디스토피아적인 방향도 명백히 가능하고, 막아야 하거든요.

결론: 싸울 만한 가치가 있는 세계

Dario는 이 모든 것이 5-10년 안에 실제로 일어난다면 - 대부분의 질병 패배, 생물학적/인지적 자유 증가, 수십억 명을 빈곤에서 구출, 자유민주주의와 인권의 르네상스 - 모든 사람이 그것이 자신에게 미치는 영향에 놀랄 거라고 해요.

새로운 기술로부터 개인적으로 혜택을 받는 경험만이 아니라, 오랫동안 지켜온 이상들이 우리 눈앞에서 한꺼번에 구체화되는 걸 지켜보는 경험이요. 많은 사람들이 문자 그대로 감동해서 눈물을 흘릴 거라고요.

흥미로운 긴장감

이 에세이를 쓰면서 Dario가 발견한 흥미로운 긴장감이 있어요:

“한편으로는 여기 제시된 비전이 극도로 급진적이에요 - 거의 아무도 향후 10년 내에 이런 일이 일어날 거라고 예상하지 않고, 많은 이들에겐 황당한 환상으로 보일 거예요. 어떤 이들은 바람직하다고 여기지도 않을 수 있어요.

하지만 동시에 뭔가 눈부시게 명백한 것 - 과잉 결정된 것 - 이 있어요. 마치 좋은 세계를 상상하려는 많은 다른 시도들이 불가피하게 대략 여기로 이어지는 것처럼요.”

Culture의 가치관은 승리 전략

Iain M. Banks의 소설 “The Player of Games”에서, 주인공이 속한 사회 “Culture”는 여기 제시된 원칙들과 크게 다르지 않아요. 주인공은 무자비한 경쟁과 적자생존에 기반한 사회가 만든 게임에서도, Culture의 가치관이 승리 전략임을 증명해요.

Scott Alexander의 유명한 포스트도 같은 주제예요 - 경쟁은 자기 파괴적이고 연민과 협력에 기반한 사회로 이어지는 경향이 있다고요.

Culture의 가치관이 승리 전략인 이유는 명확한 도덕적 힘을 가진 백만 가지 작은 결정들의 합이기 때문이에요. 공정성, 협력, 호기심, 자율성에 대한 기본적인 인간 직관은 논쟁하기 어렵고, 우리의 파괴적 충동보다 누적적이에요.

• 어린이가 예방 가능한 질병으로 죽어서는 안 된다는 데 동의하기 쉬워요
• 거기서 모든 사람의 자녀가 그 권리를 동등하게 누려야 한다고 주장하기 쉬워요
• 거기서 우리 모두가 뭉쳐서 지성을 적용해 이 결과를 달성해야 한다고 주장하는 건 큰 도약이 아니에요

이런 간단한 직관들을 논리적 결론까지 가져가면, 결국 법치, 민주주의, 계몽주의 가치관으로 이어져요. 필연적이지 않더라도, 적어도 통계적 경향으로서 인류가 이미 향하고 있던 곳이에요. AI는 단순히 우리를 더 빨리 거기 도달하게 해주는 기회를 제공할 뿐이에요.

마지막 메시지

그럼에도 불구하고, 그건 초월적 아름다움의 것이에요. 우리는 그것을 실현하는 데 작은 역할을 할 수 있는 기회가 있어요.

이 비전이 현실적인지는 모르고, 만약 그렇다 해도 많은 용감하고 헌신적인 사람들의 엄청난 노력과 투쟁 없이는 달성되지 않을 거예요. 모든 사람(AI 회사 포함!)이 리스크를 예방하고 혜택을 완전히 실현하기 위해 자기 역할을 해야 할 거예요.

하지만 그건 싸울 만한 가치가 있는 세계예요.