본문으로 건너뛰기

우리가 할 일은 무엇이 남을까요?

게시일: 2026년 9월 23일 | 원문 작성일: 2026년 7월 13일 | 저자: Arvind Narayanan | 원문 보기

16비트 픽셀 아트로 그린 배의 조타실에서 항해사가 바닷길을 바라보며 황동 키를 잡고 있다

핵심 요약

AI가 더 강력해질수록 어떤 일을 사람이 맡게 될지 묻는 ICML 2026 기조연설이에요.

  • 도입에는 시간이 걸려요: 모델이 더 많은 일을 할 수 있게 되더라도, 제품을 만들고 도입하고 조직이 적응하는 데는 각각 시간이 걸려요.
  • 현장을 봐야 해요: AI의 신뢰성과 실제 쓰이는 환경을 살펴야 일자리 변화를 제대로 이해할 수 있어요.
  • 판단과 통제가 중요해요: 사람이 판단력과 통제력을 기르며 AI와 함께 더 큰 일을 해낼 수 있다는 비전을 제시해요.

지난주 서울에서 열린 국제머신러닝학회(ICML)에서 ‘What will be left for us to work on?’이라는 제목으로 기조연설을 하게 되어 영광이었어요. AI의 능력이 커지면서 우리는 어떻게 적응해야 할지, 많은 사람이 느끼는 불안에 관해 이야기했죠. 연설에 보내주신 반응이 무척 반가워서, 발표 내용을 약간 다듬어 덧붙인 슬라이드를 여기 공개했어요. 이 페이지 아래에서도 바로 볼 수 있지만, **온라인 버전**에는 애니메이션과 클릭할 수 있는 링크가 있어서 전반적으로 훨씬 보기 좋아요.

업데이트 [2026년 8월]: ICML에서 연설 **영상**을 공개했어요.

저는 세 가지 주장을 펼쳤어요. 첫째, 재귀적 자기 개선 같은 미래의 급격한 단절이 나타나기 전까지는 *AI를 보통의 기술로 보는 관점(AI as Normal Technology)*이 AI의 영향을 이해하는 데 올바르고 유용한 틀이라는 겁니다. 둘째, 재귀적 자기 개선을 진지하게 받아들여야 하지만, 기업이 연구실에서 어떤 이정표를 달성했다고 해서 우리 모두가 갑자기 일자리를 잃는 일은 없을 거예요. 셋째, 미래의 일자리는 지금과 근본적으로 달라질 테고, 그에 맞춰 많은 적응이 필요할 겁니다. 저는 그 변화가 어떤 모습일지에 관한 생각을 나누고, 인간과 AI가 함께 이루는 ‘공동 초지능(co-superintelligence)’의 비전으로 연설을 마쳤어요.

우리가 할 일은 무엇이 남을까요?

지금 AI 커뮤니티에는 AI를 향한 큰 기대와 불안이 함께 있어요. 저는 그 불안을 정면으로 다루고 싶어요. AI가 지금 우리가 하는 일들을 점점 더 많이 해낼 수 있는 미래에, 우리는 어떻게 대비해야 할까요?

제가 어떤 관점에서 이야기하는지

저는 프린스턴대학교에서 AI 에이전트 평가의 과학을 발전시키려는 팀을 이끌고 있어요. 우리는 “보세요, 벤치마크에서 능력이 올라가고 있잖아요!” 같은 흔한 주장에 그치지 않으려고 해요. 대중은 그런 말을 에이전트가 곧 우리의 모든 일자리를 빼앗을 거라는 뜻으로 받아들이기 쉽거든요.

그런 일이 일어날지도 모릅니다. 하지만 우리는 실제 현장에 배포할 때 능력 외에 어떤 요인이 중요한지 이해하고, 그 이해를 평가에 반영하려고 해요.

저는 사야시 카푸어와 함께 쓴 『AI를 보통의 기술로 보기(AI as Normal Technology)』라는 에세이로 더 잘 알려져 있어요. 그 에세이는 중기적으로 AI의 미래를 어떻게 바라보고 적응할지, AI를 사회와 경제의 필요에 어떻게 맞출지 생각할 틀을 제시해요.

슬라이드 3

그래서 우리는 변호사가 어떻게 적응해야 하는지, 또 기자는 어떻게 적응해야 하는지 등에 관한 글을 쓰고 다녔어요. 그런데 아이러니하게도 적응이라는 질문이 가장 먼저 우리 커뮤니티에 닥친 듯해요. 소프트웨어 엔지니어링이든 AI 연구 자체든, 이 분야에서 AI의 능력이 아주 빠르게 발전하고 있으니까요.

지금 우리가 어떻게 대응하느냐는 이 커뮤니티를 넘어 중요한 문제예요. 온 세상이 지켜보고 있어요. 명확한 경계를 세우지 않은 채 앞으로 우리 일의 상당 부분을 AI가 할 거라고 순순히 받아들이기만 한다면, 지금보다 훨씬 강한 정치적 반발이 AI를 향해 일어날 거라고 생각해요. 그래서 이 질문은 우리만의 문제가 아니라 전 세계의 문제입니다.

충돌하는 두 이야기

AI가 처음 등장한 때부터 역사적으로 서로 맞서는 두 가지 이야기가 있었어요. 과거에는 둘의 차이가 학문적·철학적 문제였지만, 지금은 아주 절박한 현실 문제가 됐어요. 우리 각자는 어느 쪽에 서 있는지, 혹은 그 사이 어디쯤에 있는지 정해야 해요. 어느 쪽을 믿느냐에 따라 현실에서 내릴 선택이 크게 달라지니까요.

AI가 몇 년 안에 우리가 오늘 하는 모든 일을 대체할 기술이라고 생각한다면, 우리의 능력이 쓸모없어지기 전에 최대한 빨리 돈을 모으는 게 옳은 대응일지도 몰라요. 실리콘밸리에서는 이미 많은 사람이 이 길을 택했죠. ‘영구적인 하층 계급(permanent underclass)’이라는 밈을 들어보셨을 거예요.

반대로 저처럼 AI가 우리의 잠재력을 크게 키워줄 기술이라고 믿는다면, 지금이야말로 능력을 기르기에 가장 좋은 때예요. 특히 AI가 지금 하는 일과 앞으로 할 일을 보완하는 능력뿐 아니라, 주체성, 안목, 판단력 같은 주변의 능력도 키워야 하죠.

첫 번째 길을 택했는데 실제로는 AI가 우리를 대체하지 않고 능력을 키워주는 기술로 자리 잡는다면 어떨까요? 앞으로 몇 년은 AI와 함께 초능력 같은 힘을 발휘할 역량을 기르기에 역사상 가장 좋은 시기일지도 몰라요. 그 기회를 놓칠 수 있다는 거죠. 그래서 모두가 같은 결론에 이르지는 않더라도, 이 질문에 대해 생각해봐야 해요.

‘AI를 보통의 기술로 보기’란 무엇인가?

AI를 보통의 기술로 보기는 오늘 제 연설의 지적 틀이에요. AI가 보통의 기술이라고 할 때, 망치나 칫솔처럼 평범한 도구일 뿐이라는 뜻은 아니에요.

저희는 에세이에서 AI가 산업혁명에 맞먹는 변화를 가져올 기술이라는 점을 분명히 인정해요. 저희는 AI 회의론자가 아니에요.

이건 구호가 아니라 틀이에요. AI의 능력이 경제와 사회에 어떻게 영향을 미치는지 설명하는 일종의 인과 모형이죠. 에세이는 1만 5천 단어 분량이고, 지금은 책으로 만들고 있어요. 이 얘기를 꺼내는 이유는 사람들이 ‘보통’이라는 말을 들으면 저희 뜻을 이미 안다고 여기기 쉬운데, 거기서 오해가 생기기 때문입니다.

오늘 연설의 개요

먼저, 재귀적 자기 개선처럼 미래의 영향이 과거와 아주 달라지는 단절이 일어나기 전까지는, 이 틀이 AI의 영향을 생각하는 데 올바르고 유용하다는 이야기를 해볼게요.

둘째, 재귀적 자기 개선을 진지하게 받아들여야 하지만 제가 그 때문에 특별히 잠을 설치지는 않는 이유를 이야기할게요.

마지막으로, 미래의 일자리는 지금과 똑같지 않을 거예요. 많은 적응이 필요할 겁니다. 우리 역할이 어떻게 달라지고 그 변화에 어떻게 적응하면 좋을지, 아직 다듬는 중인 생각을 말씀드릴게요.

오늘 연설의 개요
AI에 혁신 확산 이론 적용하기

전기처럼 과거에 등장한 강력한 기술은 충분히 연구되어 왔고, 기술의 발전이 어떻게 경제적 영향으로 이어지는지 이해할 좋은 틀도 있어요.

발명: 전자기학의 원리, 교류와 직류의 차이 등을 발견하는 단계예요.

혁신: 사람들은 ‘전기’ 자체를 직접 쓰지 않아요. 전기 제품을 쓰죠. 그런 제품을 발명하는 것이 두 번째 단계인 혁신이에요.

확산: 사람들이 혁신을 점차 받아들이는 과정을 말해요.

저희는 에세이에서 이 틀을 AI에 적용하고, 네 단계로 더 구체화했어요.

AI에 혁신 확산 이론 적용하기

소프트웨어 엔지니어링을 예로 들어 기본적인 그림을 보여드릴게요.
방법과 능력: 모델은 빠르게 좋아지고 있어요.
제품과 응용: 우리는 LLM을 그대로 사용하지 않아요. LLM이 우리 일 전반에 큰 영향을 미친 건 코딩 에이전트 덕분이에요. 코딩 에이전트는 모델에 잠재된 능력을 실제 일하는 사람이 유용하게 쓸 수 있는 것으로 바꾸는 제품이죠.
초기 도입: 처음에는 대부분 바이브 코딩을 시도했어요. 이제는 그것이 실제 서비스용 소프트웨어를 개발하는 최선의 방법이 아님을 알고, 더 정교한 에이전트 활용 개발 방식을 쓰고 있죠.
적응: 또는 구조적 전환이라고도 하는 네 번째이자 가장 느린 단계예요. 오늘 연설에서 이 단계를 자세히 다룰 텐데, 저는 수십 년이 걸린다고 봐요. 코딩 에이전트 도입이 비교적 빠른 소프트웨어 엔지니어링 분야에서도 아직 본격적으로 시작되지 않았어요.

적응 단계가 어떤 모습일지는 몰라요. 추측할 수밖에 없죠. 잠깐 추측을 해봐도 될까요? 앞으로 코딩 에이전트가 버그와 보안 취약점으로 가득하지 않은 천만 줄짜리 코드베이스를 만들 수 있게 된다면, 수십억 명이 함께 쓸 소프트웨어 하나를 만드는 방식은 별 의미가 없어질 거예요. 각 개인이나 팀의 필요에 맞춘 소프트웨어를 만드는 편이 훨씬 합리적이겠죠. 제가 말하는 극단적인 개인화가 바로 이것입니다.

이는 기술만의 변화가 아니라 산업의 변화이기도 해요. 예를 들어 그때도 소프트웨어 회사가 필요할까요? 소프트웨어 개발을 그 소프트웨어를 실제로 쓰는 회사와 팀이 대부분 직접 맡을지도 몰라요. 다시 말하지만 추측이에요. 핵심은 AI의 잠재력을 온전히 활용하려면 소프트웨어 엔지니어링이든 다른 분야든 이런 조직과 사람의 변화가 필요하고, 그 변화는 아주 느려서 수십 년이 걸린다는 겁니다. 이것이 에세이의 핵심 통찰 가운데 하나예요. 과거 기술을 돌아보면 이런 변화는 대체로 아주 느렸어요.

전환은 어떤 모습일까요?

전기가 도입되기 전 공장은 왼쪽 그림과 같았어요. 거대한 증기기관이 동력을 만들고, 기계식 기어와 벨트가 공장 전체로 그 힘을 전달했죠. 그래서 전기가 등장하자 공장주들은 증기 보일러를 전기 발전기로 바꿔보려고 했어요. 훨씬 효율적일 거라고 생각한 거죠. 하지만 기존 것을 그대로 갈아 끼우는 방식은 통하지 않았어요. 요즘 AI 에이전트가 인간 노동자를 ‘그대로 갈아 끼울 수 있는 대체재’가 될 거라는 말을 자주 듣는데, 전기의 경우에는 그렇게 되지 않았어요.

전기의 이점을 제대로 누리기까지는 40년이 걸렸어요. 전기가 증기기관과 전혀 다른 기술이라는 점을 깨달아야 했죠. 전기는 필요한 곳으로 동력을 옮겨 쓸 수 있어요. 그러면 조립 라인의 원리에 맞춰 공장 전체의 배치를 다시 짤 수 있죠. 그러려면 노동자를 교육하고 채용하고 해고하는 방식부터 새로운 노동법에 이르기까지 바뀌어야 했어요. 공장에서 전기의 이점을 누리려면 조직이 이렇게 적응해야 했어요.

저희는 AI에 대해서도 이런 과정을 거칠 거라고 주장해요. 수십 년 뒤에는 일하는 방식을 근본적으로 재편했을 겁니다. 그 모습이 어떨지는 모르고, 바로 그것이 우리 모두 앞에 놓인 과제예요. 공장을 어떻게 재편할지 알아내는 일이 전력 회사의 몫이 아니었던 것처럼, 이 일도 AI 기업만의 몫은 아니에요. 저희가 보기에는 AI가 경제에 영향을 미치기까지 거치는 네 단계 중 이 과정이 가장 느려요. 오늘날 이 과정은 아직 본격적으로 시작되지 않았어요.

앤스로픽의 데이터

여러 직종에서 사람들이 AI를 쓸 수 있는 일과 실제로 쓰고 있는 일 사이에는 왜 큰 차이가 있을까요? 사람들이 새 기술을 받아들이는 데 시간이 걸리기 때문일 수도 있어요. 그것도 분명 저희 틀의 일부입니다.

하지만 AI를 도입하고도 별 성과를 거두지 못한 사람들은 AI 업계가 모르는 실용상의 한계를 알고 있는 건 아닐까요? AI의 능력과 실제 도입의 관계를 좀 더 겸손하게 바라봐야 해요.

AI에 관한 가장 큰 우려

사람들이 가장 많이 꼽는 우려가 신뢰성인 만큼, 저희는 능력과 별개로 신뢰성이 AI 에이전트의 실용성을 가로막는지 측정해보고 싶었어요.

저희의 신뢰성 지표는 다음 요소로 구성됩니다

저희는 신뢰성 지표 10~12개를 살펴보고 네 가지 차원으로 묶었어요.
일관성: AI 에이전트의 정확도가 70%라는 말을 들었다고 해볼게요. 전체 과제의 70%에서 작동하고, 그 과제에서는 매번 성공한다는 뜻일까요? 그렇다면 도입하기 아주 좋죠. 성공하는 과제에만 투입하면 되니까요. 아니면 어떤 과제에서든 예측할 수 없이 30%의 확률로 실패한다는 뜻일까요? 배포 관점에서는 거의 쓸모가 없어요. 놀랍게도 저희가 살펴본 에이전트 벤치마크 중 이 둘을 구분하는 것은 하나도 없었어요. 둘 다 정확도 70%로 표시되죠.
견고성: 환경이 조금 바뀌면 어떻게 되는지 살펴봤어요.
자기 평가 능력: 에이전트가 자신이 작업한 기록을 돌아보고 과제를 제대로 수행했는지 판단할 수 있을까요?
운영상의 안전성: 실패했을 때 복구할 수 있을까요, 아니면 운영 중인 데이터베이스를 삭제하는 식의 사고일까요?

사람이 어떤 일을 잘한다고 할 때는 정확도만이 아니라 이 모든 것을 고려해요. 그런데 알고 보니 에이전트는 정확도로만 평가하고 있었던 겁니다.

AI 에이전트: 능력과 신뢰성 사이의 격차

저희는 지난 24개월쯤 사이에 세 선도 AI 기업이 출시한 모델의 능력과 신뢰성을 서로 보완하는 두 벤치마크로 측정했어요.

이 기간에 정확도, 즉 능력은 크게 뛰었어요(왼쪽).

하지만 신뢰성은 5~10%포인트 높아지는 데 그쳤어요(오른쪽).

핵심 시사점

여러 시사점이 있지만 하나만 짚어볼게요. 지금 업계는 자동화 에이전트와 협업 에이전트를 다르게 취급하지 않아요. 에이전트를 사람의 개입 없이 실행하면, 아마 그게 자동화 에이전트가 되는 셈이겠죠. 하지만 이렇게 보는 건 좋지 않아요. 신뢰성처럼 자동화 에이전트에 아주 중요한 성질이, 창작 글을 다듬을 때 함께 쓰는 에이전트에게는 오히려 걸림돌이 될 수 있거든요. 그런 에이전트가 매번 똑같이 행동하는 로봇처럼 굴기를 바라지는 않잖아요. 창의적으로 여러 가능성을 탐색하고 예측하기 어려운 면도 있기를 바라죠.

에이전트에 적용하는 스캐폴드T1, 심지어 모델의 사후 학습도 협업 에이전트에 쓸지 자동화 에이전트에 쓸지에 따라 달라야 해요.

예측: 협업 에이전트가 자동화 에이전트보다 계속 더 성공적일 겁니다.

신뢰성이 계속 좋아지고 시간이 지나면서 자동화도 쉬워지길 바랍니다. 하지만 당분간은 협업 에이전트가 훨씬 더 성공적일 거라고 생각해요. 에이전트로 업무 프로세스를 서둘러 자동화했던 많은 기업이 이제 그 한계와 비용, 심지어 법적 책임까지 깨닫고 있어요. 에이전트가 운영 데이터를 삭제하는 경우 같은 거죠.

현재 에이전트는 다음 세 가지 성질 가운데 두 가지만 갖출 수 있어요. 범용성(기존 소프트웨어처럼 특정 과제를 위해 만든 것이 아니라, 여러 과제를 지시할 수 있는 언어 모델 기반 에이전트), 중요도가 높은 상황에 배포 가능함, 그리고 자동화예요.

그래서 저는 지금의 AI가 노동자를 없애는 자동화 기술보다는 사람과 협업하는 기술에 훨씬 가깝다고 생각해요.

노동에 대한 영향이 점진적인 이유 —

소프트웨어 엔지니어링을 사례로 살펴보죠. 코딩 에이전트가 특히 빠르게 도입된 분야라 앞으로의 변화를 가늠하는 데 좋은 지표예요.

팩트 체크: AI가 소프트웨어 엔지니어를 대체하고 있을까요?

이런 생각이 들 수도 있어요. 좋아요, 소프트웨어 엔지니어링을 완전히 자동화할 수는 없다고 치죠. 그래도 에이전트가 소프트웨어 엔지니어의 생산성을 열 배로 높여준다면, 엔지니어는 열 배 적게 필요할 텐데요. 당연한 결과 아닌가요?

그런데 데이터는 이 생각과 정면으로 배치돼요. 저희는 후속 에세이에서 이 문제를 살펴봤어요. 저희가 조사한 모든 사례에서 기업은 재정적 압박을 받고 있었고, 해고를 AI 탓으로 돌리는 편이 더 편리했던 것으로 나타났어요.

코드 작성은 원래 병목이 아니었어요

AI가 지금까지 소프트웨어 엔지니어를 대체하지 못한 이유는 뭘까요? 코드 작성이 실제 병목이 아니라는 사실은 오래전부터 알고 있었어요. 여기 보이는 건 2019년 논문이에요.

슬라이드 20

지난 1년 동안 소프트웨어 엔지니어들은 코딩 에이전트를 쓰고도 일의 양이 별로 줄지 않는다는 걸 깨닫기 시작했어요. 코드를 쓰는 일이 병목이 아니라는 사실을 새삼 짚은 블로그 글도 많이 나왔죠. 몇 가지만 살펴보죠.

그렇다면 진짜 병목은 뭘까요?

결정-실행-전달 샌드위치

이 질문에 대한 우리의 답이 바로 이 틀이에요.

결정 단계: 고객의 요구사항을 이해하고, 명세를 만들고, 계획을 세우는 등의 일이에요. AI가 이 부분에 드는 시간을 줄여주고 있지는 않아요.

실행 단계: 실제로 코드를 짜고 디버깅하는 일이에요. 이 부분에 드는 시간은 줄고 있지만, 애초에 전체 업무의 3분의 1 정도에 불과했을 거예요.

전달 단계: 출시하는 제품에 책임질 수 있을 만큼 코드를 깊이 이해하고, 고객 시스템에 통합하고, 유지보수하고, 테스트하는 등의 일이에요. 이 단계에 드는 시간도 줄고 있지 않아요.

사실 AI가 가운데 단계를 압축하면서 첫째와 셋째 단계는 오히려 늘어나고 있다고 볼 수도 있어요. 이 점은 뒤에서 다시 이야기할게요.

쓸 만한 비유: 크레인 기사

소프트웨어 엔지니어링에서는 이미 그런 변화가 일어나고 있어요. 앞으로는 여러 직업의 지식 노동자를 크레인 기사나 지게차 기사에 빗대어 생각하게 될 거라고 봐요. 기계는 사람이 몸으로 할 수 있는 일의 규모를 엄청나게 키워줘요. 무거운 건 전부 기계가 들어 올리지만, 조종은 여전히 사람이 하죠. 인지 노동에서도 같은 일이 벌어지고 있다고 생각해요. 기계가 점점 더 머리를 쓰는 힘든 일을 맡겠지만, 조종은 여전히 사람이 할 거예요.

일이라는 것 자체가 새롭게 정의되는 거예요. 우리가 직접 인지 노동을 하는 대신, 기계를 작동시키고 이해하고 통제하는 일이 되는 거죠.

변화는 언제나 있었다

이 모든 게 극적인 변화처럼 보일 수 있지만, 어떤 의미에서는 소프트웨어 엔지니어링에서 몇 번이고 반복되어 온 변화의 연장일 뿐이에요. 기계어를 쓰던 시절부터 기술의 물결이 여러 차례 밀려왔고, 그때마다 생산성이 거의 10배씩 높아졌어요. 그런데 그 사다리를 올라오는 동안 소프트웨어 엔지니어 수요가 줄기는커녕 고용이 대략 1만 배나 늘었어요. 그저 작성해야 할 코드의 양이 몇 자릿수나 커졌기 때문이죠.

일자리 총량 고정의 오류

경제학자들은 이런 현상을 거듭 확인했어요. 제번스의 역설이라는 말을 들어보셨을 수도 있는데, 저는 ‘일자리 총량 고정의 오류’라는 표현이 좋아요.

ATM 덕분에 은행은 여러 지역에 지점을 내는 게 경제적으로 가능해졌어요. 그리고 그 지점들에는 ATM이 처리하지 못하는 일을 맡을 창구 직원이 여전히 필요했죠. 그래서 역설적으로 고용이 오히려 늘었어요.

그 밖의 주목할 만한 사례

제프 힌턴은 10년 전, 5년이면 영상의학과 의사가 사실상 사라질 거라고 예측해 유명해졌어요. 하지만 실제로 영상의학 분야의 고용은 늘었어요. 의사들이 AI를 거부해서가 아니에요. 오히려 열심히 도입하고 있죠. 일자리가 늘어난 이유 중 하나는 어떤 일을 더 빠르고 저렴하게 할 수 있게 되면 그 일에 대한 수요도 늘기 때문이에요.

저희는 변호사들이 어떻게 적응해야 하는지를 살펴본 논문을 썼어요. 내용은 많지만, 간단한 요점 하나는 AI 덕분에 소송을 제기하기가 훨씬 쉬워졌다는 거예요. 그만큼 변호사가 할 일도 늘어나죠. 소송이 잦은 사회가 싫다면 반갑지 않을 수도 있겠지만, 변호사 고용이라는 관점에서는 아주 좋은 소식이에요.

번역은 더 극단적인 사례라서 저도 좀 놀라워요. AI 번역은 거의 10년 전에 이미 사람과 비슷한 수준에 가까워졌어요. 그런데도 인간 번역가의 고용은 대체로 안정적으로 유지됐고, 앞으로 10년 동안도 그럴 것으로 전망돼요. 이유는 여러 가지겠지만, 그중 하나는 번역할 수 있는 것의 양과 번역할 수 있는 언어의 수에 사실상 한계가 없다는 점이에요.

이 강연의 개요

지금까지 제시한 우리의 틀이 현재까지의 증거와 잘 맞는다고 말씀드렸어요. 하지만 급격한 도약이나 특이점이 일어나면 지금까지 한 이야기가 무의미해질 수도 있죠. 그때는 우리가 할 일이 아무것도 남지 않을까요? 이제 그 가능성을 이야기해볼게요.

슬라이드 27

이 두 회사를 포함해 여러 기업이 재귀적 자기개선을 향해 달려가고 있다고 말했어요. 진지한 기업들이고, 저도 그 말을 진지하게 받아들여요.

재귀적 자기개선을 달성하면 어떤 결과가 따를까?

가령 내년 중 언젠가 재귀적 자기개선이 달성된다고 해보죠. 어떤 일이 일어날까요? 슬라이드에는 AI 커뮤니티에서 흔히 보는 관점이 나와 있어요. 참고로 AGI는 정의하기 까다롭기로 유명한 용어예요. 크게 두 종류의 정의가 있어요. 하나는 여러 인지적 측면에서 인간과 비슷한 AI라는 뜻이고, 다른 하나는 경제적 가치가 있는 여러 과업을 수행할 수 있는 AI라는 뜻이에요.

제 주장은 재귀적 자기개선을 달성하면 AGI와 ASI까지 거의 자동으로 따라온다고 보는 이 관점이 좀 터무니없다는 거예요. 이 네 가지는 각각 다른 발전의 차원이에요. 어느 한 차원을 달성했다고 다른 차원이 따라오는 건 아니에요.

자세한 내용은 다음 슬라이드들에서 다루겠지만, 우선 감을 잡을 만한 예 하나를 들어볼게요. 초지능이라면 암과 다른 질병을 치료할 거라는 이야기를 많이 하죠. 하지만 치료법을 개발할 때 가장 어려운 부분은 흔히 수천 명이 참여하고 10~15년이 걸리는 임상시험이에요. 초지능에 이르는 병목이 실험실 밖에 있다는 걸 보여주는 사례죠. 계산만으로 실험실에서 해결할 수 있는 문제가 아니에요. 그러니 많은 논평가가 가정하듯 재귀적 자기개선이 자동으로 초지능으로 이어진다는 생각에는, 인과관계의 연결고리 하나가 분명 빠져 있어요.

AGI 담론에는 하와이 문제가 있다

AI 역사의 초창기에는 이 모든 목표가 멀리 있었으니 발전의 서로 다른 차원을 뚜렷이 구별하지 않아도 괜찮았어요. 하지만 이제는 발전의 서로 다른 차원을 한데 묶어 말하면 논의가 혼란스러워져요.

비유를 들어볼게요. 우리가 초기 탐험가이고 언젠가 하와이에 가고 싶다고 해보죠. 그 섬 무리 전체를 가리키는 말이 하나뿐이어도 처음에는 괜찮아요. 하지만 배가 가까워질수록 각 섬을 서로 다른 이름으로 부를 수 있어야 해요. 그러지 않으면 지금 어디에 있고 어디로 가는지 스스로 헷갈리게 될 테니까요.

헬렌 토너를 비롯한 여러 사람도 비슷한 지적을 했어요.

고도화된 AI의 네 가지 차원

이제 네 가지 차원을 하나씩 자세히 살펴볼게요. 먼저 재귀적 자기개선부터 시작하죠.

재귀적 자기개선

어떤 회사가 재귀적 자기개선을 구현했다고 주장한다고 해보죠. 자기 후속 시스템을 스스로 만든 AI 시스템을 구축했다는 거예요. 그게 정확히 무슨 뜻일까요?

한쪽 끝에서는 LLM이 아키텍처나 데이터 파이프라인 등을 어떻게 손볼지 아이디어를 잔뜩 내놓고, 회사가 이를 자동으로 시험해 효과가 있는 개선안만 남겼다는 뜻일 수 있어요. 그건 그럴듯하게 포장한 하이퍼파라미터 탐색에 불과해요. AutoML 같은 시스템은 오래전부터 있었어요. 찾아보니 슈미트후버도 아주 오래전에 이에 관한 논문을 냈더군요. 우리는 그런 걸 초지능이라고 부르지는 않아요. 이게 스펙트럼의 한쪽 끝이에요.

반대쪽 끝은 아주 달라요. 회사가 인간 AI 연구자들의 창의성과 지능을 실제로 대체한다고 상상해보세요. 연구자 한 명이나 그 회사 연구자들만이 아니에요. AI 시스템 개선에 각자의 혁신을 보태는 전 세계 수십만 명의 연구자 공동체 전체를 대체하는 거예요. 그러니 사람들이 재귀적 자기개선을 이야기할 때 어느 쪽을 뜻하는지 분명하지 않아요.

제가 이렇게 전망하는 이유는 간단해요. AI는 여전히 검증할 수 있는 과업을 검증하기 어려운 과업보다 훨씬 잘해요. 속도나 효율처럼 AI 성능의 일부 차원은 검증할 수 있고, 가까운 미래의 재귀적 자기개선을 통해 크게 향상될 수도 있어요.

하지만 지능의 여러 차원 가운데 창의성은 검증하기 어려운 과업의 대표적인 예예요.

우리는 AI의 창의성을 어떻게 시험해야 할지도 명확히 몰라요. 인간의 창의성을 인지과학이나 신경과학 관점에서 충분히 이해하지 못해, 명확한 시험을 만들 수 없거든요.

고도화된 AI의 네 가지 차원

인간 같은 AI를 만드는 데 어떤 장벽이 있는지 보여주는 사례로, AI의 창의성을 좀 더 깊이 살펴볼게요.

AI 창의성의 역설

팟캐스터 드와케시 파텔의 이 농담은 AI의 창의성이 인간의 창의성에 못 미친다는 점을 잘 보여줘요. 에르되시 문제처럼 좁은 분야에는 반례가 몇 가지 있을 수도 있어요. 그래도 인간의 위대한 과학적 발명이나 창의적 업적을 떠올릴 때 생각나는 유명한 ‘유레카의 순간’을 생각해보세요. 언뜻 아무 관계도 없어 보이는 분야나 문제들 사이에서 뜻밖의 연결을 찾아내는 순간 말이에요. LLM은 거기에 아직 한참 못 미치는 것 같아요.

왜 그런지 이해하려고 인지과학 문헌을 꽤 오랫동안 파고들었어요. 자세한 얘기는 생략하겠지만, 이 문제를 조금씩 다른 방식으로 살피는 연구 흐름이 두 갈래 있는 것 같아요. 왜인지는 저도 잘 모르겠지만 두 분야는 서로 대화를 별로 나누지 않는 듯해요. 읽은 내용을 바탕으로 AI 창의성에 관한 몇 가지 가설을 제시해볼게요.

AI 창의성에 관한 몇 가지 가설

표상의 질은 인지에 정말 근본적으로 중요해요. 딥러닝을 생각해보세요. 지각을 뒷받침하는 표상의 질이 얼마나 크게 뛰었나요. 그래서 지각에 쓰이는 표상의 질에서는 AI가 인간을 대체로 따라잡았다고 생각해요. 하지만 인간이 창의성과 추론에 사용하는 표상의 질에서는 아직 그렇지 않아요.

특히 프랑수아 숄레는 인간의 창의성을 뒷받침하는 표상이 극도로 강한 조합성을 보이는 것 같다고 이야기했어요. 몇 가지 ‘의미의 원자’를 조합해 모든 것을 구성한다는 거죠. 인간의 작업 기억이나 정보 처리 능력에서 한계처럼 보이는 많은 특성이 사실은 강점이 돼요. 이런 제약 때문에 극도로 효율적인 표상을 만들어내야 하니까요.

LLM은 저장된 패턴을 기억하고 꺼내 쓰는 능력처럼 창의성에 도움이 될 수도 있는 일부 측면에서 인간보다 훨씬 뛰어나요. 그래서 인간과 LLM의 창의성을 비교하려는 연구에서는 인간의 이런 중요하고 실제적인 한계를 드러내기가 어려워요.

게다가 인간은 문제를 창의적으로 생각할 때 멋진 일을 해요. 문제와 관련된 표상을 실시간으로, 굳이 말하자면 추론 중에 개선하는 거예요. 덕분에 문제를 마음에 담아두고 자는 동안 표상을 다듬은 뒤, 다음 날 돌아와 그 문제를 훨씬 효율적으로 풀 수 있어요. 누구나 이런 경험이 있을 거예요. 하지만 지금의 AI 시스템은 이걸 하지 못해요.

저는 순진하게도 지속 학습 연구자들이 당연히 이 문제에 매달리고 있을 거라고 생각했어요. 그런데 관련 문헌을 살펴보니 그렇지 않은 것 같더군요. 지속 학습은 시간이 지나면서 무언가를 개선하기보다 파국적 망각을 막는 데 주로 초점을 맞춰요. 게다가 기저 표상의 질보다 사실이나 기술 같은 것에 더 집중하고요.

창의성은 인간 같은 AI를 만드는 데 놓인 여러 장벽 중 하나일 뿐이에요. 앞서 살펴본 내용을 종합하면 아직 갈 길이 아주 멀다고 생각해요. 다만 여기서는 신중해야 해요. 모두 가설일 뿐이고, 경험적으로 검증해야 하니까요.

AI가 인간처럼 AI 연구를 할 수 있는지 경험적으로 시험할 수 있을까?

경험적 측정 얘기가 나왔으니 말인데, 저희는 AI가 인간처럼 AI 연구를 할 수 있는지 시험하는 프로젝트를 진행 중이에요.

AI 에이전트에게 수천 달러의 예산과 머신러닝 연구 문제를 줘요. 연구자들이 이미 연구해서 논문까지 썼지만 아직 arXiv에는 공개하지 않은 문제예요. 이렇게 하면 두 가지 조건을 동시에 충족해요. 몇 달 동안 문제를 깊이 고민해 AI의 결과물을 평가할 수 있는 인간 심사팀이 있고, 그들의 생각은 아직 온라인에 없어서 AI가 답을 미리 보거나 평가 데이터가 오염되는 일도 막을 수 있어요.

다른 사람들도 자동 연구 실험을 많이 했지만, 저희는 몇 가지를 다르게 해보려 해요. 특히 어느 정도 열린 형태의 문제를 골라 AI 에이전트가 판단력과 창의성을 발휘할 수 있는지 실제로 시험하려고 해요. 자세한 결과를 곧 공개할 수 있기를 바라요.

저희는 이를 ‘열린 세계 평가’라고 부릅니다

이는 저희가 열린 세계 평가라고 부르는 접근법을 바탕으로 해요. 에이전트가 앱을 만들어 애플 앱스토어에 올리게 하는 열린 세계 평가를 한 차례 완료했어요. 이건 재귀적 자기개선과는 관계가 없지만, 다른 종류의 능력을 시험해요. 여러 대학과 몇몇 기업, 영국 AI 보안 연구소에서 온 사람들이 함께하는 훌륭한 팀도 꾸렸고요.

참, 앞으로 진행할 열린 세계 평가를 이끌 연구자를 채용하고 있어요. 관심 있다면 저희 웹사이트를 확인해보세요.

고도화된 AI의 네 가지 차원

이제 네 가지 차원 중 세 번째로 넘어가죠.

경제를 변혁하는 AI

AGI가 이미 등장했다고 말하는 사람들이 있어요. 그 말을 이렇게 해석할 수도 있는데, 저도 이 해석에는 동의해요.

1부에서 제가 빠른 경제적 영향에 회의적인 태도를 보였다는 걸 생각하면 뜻밖일 수도 있어요. 하지만 사실 이 주장은 1부와 일치할 뿐 아니라, 1부에서 한 말을 다시 표현한 거예요. 제 요점은 병목이 모델 개발 이후 단계에 있기 때문에 모델이 개선돼도 경제가 빠르게 바뀌지는 않는다는 거였어요. 동시에 바로 그 이유로, 모델이 더 좋아지지 않더라도 그런 병목은 조금씩 해결될 거예요. 네, 20년쯤 걸릴 수도 있지만, 경제는 결국 크게 바뀔 거예요.

아직 남아 있는 장벽은 무엇일까?

장벽은 많아요. 앞서 이야기한 신뢰성 문제가 있고, AI 모델을 다양한 기존 시스템에 통합해야 해요. 의료나 법률 같은 전문 분야의 암묵지를 모델이 활용하게 하는 일도 남아 있어요. 정당한 이유가 있는 규제도 많지만, 지금의 AI를 생산적으로 쓰려면 일부는 바꿔야 할 거예요.

핵심은 이런 문제가 실험실에서 해결되지 않는다는 거예요. 다음 주 화요일에 새 모델이 출시된다고 해결될 일도 아니고요. 수십 년에 걸쳐 AI를 조금씩 도입하면서 점진적으로 풀릴 거예요.

지정학이나 전략의 관점에서, 어떤 사람들은 맨해튼 프로젝트 때처럼 특정 능력을 먼저 달성한 나라가 경제적 보상을 거두게 된다며 AGI를 향한 경쟁을 주장해요. 저는 강하게 반대해요.

이 모든 경제적 잠재력을 한꺼번에 열어줄 특별한 능력의 기준점은 없어요. 경제적 잠재력은 이미 존재해요. 그걸 실현할지는 우리가 이후 단계에서 무엇을 하느냐에 달렸어요. AI 능력이 관문이 아니에요.

고도화된 AI의 네 가지 차원

좋아요. 이제 마지막 차원인 초지능에 대해 이야기해볼게요.

초지능에 관한 세 가지 주장

앞에서 임상시험을 예로 들었죠. 또 다른 예를 들어볼게요. 1년 뒤 날씨를 정확히 예측할 수 있는 초지능이 등장할까요? 비선형 동역학계의 카오스 이론에 따르면 그건 사실상 수학적으로 불가능하다는 걸 알아요. 저희는 놀랄 만큼 많은 과업이 날씨 예측과 비슷하다고 봐요. 본질적인 한계가 있고, 우리는 이미 거의 그 한계에 와 있다는 뜻이에요.

아직 그 한계에 도달하지 않은 과업에서도, 인간을 불필요하게 만들 AI 초지능이 등장할 거라는 생각은 인간 지능을 근본적으로 오해한 데서 나와요. 저는 대다수 과업에서 우리의 수행 능력을 제한하는 건 생물학적 조건이 아니라 학습과 도구라고 주장해요. 아주 먼 옛날 사람이 시간을 건너 지금 우리 세상에 온다고 상상해 보세요. 그 사람과 비교하면 우리는 초지능을 가진 셈이에요. 우리 몸이 생물학적으로 더 뛰어나서가 아니에요. 우리는 오랜 세월 쌓아 온 배움과 온갖 도구, 특히 디지털 도구를 활용해 무슨 일을 하든 생산성을 높일 수 있지만, 그 사람에게는 그런 혜택이 없으니까요.

AI도 그런 도구 중 하나예요. 그러니 우리가 제시하는 틀에서 보면 AI의 발전은 AI 자체의 지능뿐 아니라 인간의 지능도 높이는 셈이에요. 한쪽에는 AI의 도움을 받는 인간이 있고, 다른 쪽에는 혼자 움직이는 AI 시스템이 있어요. 두 쪽의 역량이 겨루는 거죠. AI 시스템이 독자적으로 움직이며 우리의 미래와 통제력을 위협하게 두는 대신, 미래의 초지능이 우리 자신이 되도록 해서 이 경쟁에서 이길 수 있다고 생각해요.

많은 사람이 이 전망을 비관적으로 봐요. 미래에는 AI가 기업을 소유하고 운영할 수도 있다는 식의 사고 실험을 들죠. 이들은 그 AI 시스템이 정렬되어 있지 않으면 끔찍한 일이 벌어질 수 있다고 봐요. AI가 종이클립 최대화 기계가 되거나 다른 재앙을 일으킬 수도 있다는 거예요. 하지만 우리의 관점은 아주 달라요. AI가 실제로 기업을 소유하고 운영하며 사람을 채용하고 해고하는 미래를 그린다면, 그 자체로 이미 디스토피아예요. 그 AI가 정렬되어 있는지는 상관없어요. 인간의 존엄성이나 민주적 거버넌스 등에 미칠 결과는 이미 재앙적이니까요.

그러니 그런 미래를 피할 수 없다고 여기고 ‘정렬’만 되면 문제가 풀릴 거라고 기대하는 것이 안전에 대한 입장이라면, 조금 직설적으로 말해도 될까요? 제게는 안전을 지지하기보다 오히려 거스르는 태도처럼 느껴져요. AI 시스템을 이런 식으로 무책임하게 배포하지 않으려면 정말 많은 노력이 필요할 거예요. 그래도 해낼 수 있다고 생각해요. 제가 오랜 경력 동안 정책 입안자들에게 자문을 해 온 이유도 그거예요. 정책이 필요하고 정치도 필요해요. 쉽지 않겠지만, 싸움이 시작되기도 전에 포기하지는 말자고요.

종합해 보기: 첨단 AI의 네 가지 차원

예를 들어 연구실에서는 재귀적 자기 개선(RSI)을 실현할 수 있어도, 그것이 곧바로 사람들을 일자리에서 밀어내지는 않아요. 반면 경제를 바꿀 만큼 강력한 AI는 등장할 거예요. 다만 그 이유는 다음 모델 하나가 출시되기 때문이 아니라, 앞으로 수십 년에 걸쳐 여러 변화가 서서히 일어나기 때문이에요.

이 강연 제목으로 돌아가 보죠. 한 AI 기업이 연구실에서 무엇을 하기로 결정했다는 이유만으로 우리 모두가 일자리를 잃는 세상은 없어요. 물론 걱정해야 할 위험이 있어요. 변화도 일어날 거예요. 하지만 AI를 어떻게 도입할지는 우리가 결정할 수 있고, 그 과정은 수십 년에 걸쳐 펼쳐질 거예요. 다시 말하지만 이런 미래가 보장된 것은 아니에요. 그래도 제가 만들어 가고 싶은 미래가 이거예요. 그래서 저는 조심스럽게 낙관해요.

이 강연의 개요

이제 마지막 15분 동안 다른 면을 이야기해 볼게요. 많은 것이 바뀔 거라고 저도 생각해요. 어떤 변화가 있을까요?

일반적인 관찰: 순수한 기술 역량의 가치는 낮아진다

기술 역량이 필요한 일은 대체로 결과를 검증할 수 있고, AI는 그런 일을 점점 더 잘하게 될 거예요.

20여 년 전부터 프로그래밍 직무와 소프트웨어 엔지니어링 직무에 대한 노동 수요에는 뚜렷한 차이가 생기기 시작했어요. 프로그래밍 직무는 코딩과 디버깅이라는 기술 역량을 중심으로 좁게 정의돼요. 반면 소프트웨어 엔지니어링 직무는 앞서 말한 ‘결정하기, 실행하기, 전달하기’ 샌드위치의 세 층 모두를 책임져요. 애초에 무엇을 만들어야 하는지 알아내고 고객을 이해하는 일 같은 것들이죠. 여기에는 해당 분야의 지식과 판단력 등 더 많은 것이 필요해요.

시간이 지나면 더 많은 분야에서 이런 일이 벌어질 거라고 예상해요.

노력의 중심은 구축에서 평가로 바뀐다

제가 반복해서 본 패턴이 있어요. 시스템을 만드는 데 쓰던 노력의 일부가 평가에도 쓰인다는 거예요. 말씀드렸듯 저는 AI 에이전트 평가팀을 이끌고 있어요. LLM과 에이전트는 범용 기술이에요. 그래서 역량이 한 단계 올라갈 때마다 법률이나 언론, 또는 다른 어떤 현장에서든 그 역량을 평가해야 할 수요가 생겨요. 하지만 이런 평가는 수요가 늘어난다고 쉽게 확대할 수 있는 일이 아니에요.

AI 에이전트 평가는 독립된 전문 분야가 됐다

AI 에이전트 평가는 자동화하기 어려울 뿐 아니라, 이제 고도로 전문화된 일이 됐어요. 평가를 맡는 사람과 팀도 에이전트를 만들고 성능을 끌어올리는 쪽과 점차 분리되어 별도의 분야를 이루고 있죠. 이 새로운 커뮤니티는 에이전트를 엄밀하게 평가하기 위한 모범 사례를 만들어 가고 있어요. 저희가 곧 발표할 논문에서 그 내용을 좀 더 자세히 살펴볼 예정이에요.

평가는 우리가 '배의 방향을 잡는' 방법이다

우리 커뮤니티에서 일어나는 변화를 비유로 설명해 볼게요. 예전에는 대부분의 배가 노 젓는 배였다고 생각해 보세요. 사람은 몸을 써서 배를 움직였어요. 배의 방향만 정하는 별도의 전문 직무는 없었죠. 노를 젓는 사람이 어느 쪽으로 저을지도 함께 판단했으니까요.

그런데 배를 움직이는 육체노동을 엔진에 맡길 수 있게 되자 어떻게 됐을까요? 사람의 일이 사라지지는 않았어요. 오히려 훨씬 더 전문화됐죠. 현대의 배에는 아주 복잡한 제어판이 있고, 배가 어디로 가야 하는지, 어떻게 가야 하는지를 다루는 전문 직무가 수십 가지 있을 수 있어요.

AI/ML에서도 비슷한 변화가 일어나고 있다고 봐요. 예전에는 일이 대부분 만드는 데 집중되어 있어서 평가를 위한 별도 역할이 필요하지 않았어요. 이제는 달라졌어요. 아직 변화의 초기 단계지만, 만드는 일은 결과를 검증할 수 있어서 시간이 갈수록 더 많은 부분을 AI가 해낼 수 있으리라 생각해요. 반면 평가, 즉 커뮤니티가 어디로 가야 할지, AI 시스템에 어떤 특성이 바람직한지 판단하는 일은 자동화하기 아주 어려워요. 따라서 지금과 비교하면 앞으로는 커뮤니티가 평가에 더 많은 관심을 쏟아야 할 거예요.

노를 젓던 시대에는 체력이 높이 평가됐어요. 오늘날 선원에게는 힘이 없어도 되고 배에는 책상물림뿐이라며 아쉬워할 수도 있겠죠. 마찬가지로 오늘날 AI 커뮤니티에서는 모델과 시스템을 깊이 기술적으로 이해하는 능력이 여전히 큰 가치를 지니고, 가장 멋지고 중요한 능력으로 여겨져요. 많은 가치를 인정받는 것도 바로 그것이고요. 하지만 미래에는 판단력이나 그 밖의 모호한 역량이 기술적 이해보다 중요해질 거라고 생각해요. 지금 AI 커뮤니티에서는 그런 역량을 높이 평가하지 않지만요. 우리는 이런 사고의 전환을 아직 받아들일 준비가 충분히 안 됐을지도 몰라요. 많은 사람이 아쉬워할 거예요. 그래도 괜찮아요.

ICML 같은 학회에서 평가에 얼마나 많은 비중을 두어야 할까?

이 변화가 가져올 실질적인 결과 하나를 생각해 보죠. 지금 같은 학회에서 평가 논문에는 전체 프로그램의 얼마를 할애해야 할까요?

저도 정확히는 모르겠어요. 다만 지금보다 훨씬 많아야 할 것 같아요. 절반 정도일 수도 있죠. 그냥 숫자를 하나 던져 본 거예요. 그 정도면 현재와는 비교하기 어려울 만큼 큰 비중이죠. 적어도 평가만을 위한 트랙은 있어야 해요. 지금은 그런 트랙이 없어요. NeurIPS에는 있고, 시간이 갈수록 인기도 높아지고 있어요. 저는 좋은 일이라고 생각해요.

한 걸음 더 나아가, AI 시스템을 신중하게 평가하는 일도 정렬의 한 형태라고 주장하고 싶어요. AI 시스템 자체를 정렬하는 게 아니라, 커뮤니티 전체가 나아갈 방향을 맞추는 일이에요. 지금 어디로 가고 있는지, 어디로 가고 싶은지 생각한 다음 그 둘을 맞춰 가는 거죠. 평가를 충분히 중시하지 않으면 우리 커뮤니티가 방향타 없는 배처럼 될까 걱정돼요. 힘은 엄청나지만 어떤 AI를 개발할지 함께 결정하지 못하는 배요.

연구 자체를 평가하는 방식도 바뀌어야 한다

저도 이 주장에 관한 논문에 조금 참여했어요. 핵심 주장을 한 문장으로 말하면 이래요. AI 연구의 가치를 판단할 때 벤치마크를 전부로 여기는 방식에서 벗어나야 해요.

벤치마크가 주는 것은 효율성이에요. 논문을 몇 년씩 동료 심사할 필요가 없죠. 기존 최고 성능을 넘어섰다면 아마 좋은 논문일 거라고 알 수 있으니까요. 하지만 안타깝게도 그 때문에 커뮤니티 전체의 시야가 좁아졌어요. 우리는 가로등 아래만 뒤지고 있어요. 벤치마크 중심의 평가 체계에서 찾기 쉬운 것들만 찾는다는 뜻이에요. 거기서 벗어나야 해요. 그러면 논문의 수준을 평가하는 데 훨씬 많은 비용이 들 거예요. 안타깝지만 감수해야 할 비용이에요. 지금 커뮤니티는 정반대 방향으로 서둘러 달리고 있어요.

동료 심사 자동화는 함정이다

동료 심사를 자동화하고 싶은 유혹이 커요. 관련된 분들께는 죄송하지만, 저는 이게 함정이라고 생각해요. 동료 심사를 자동화하면 진보의 방향을 정하는 통제권을 사실상 AI 시스템 자체에 넘기는 셈이에요. 노력을 근본적으로 잘못된 곳에 쓰는 것 같아요.

일상적이고 단순한 부분을 자동화하면, 사람은 확보한 시간을 판단이 필요한 부분을 더 깊이 생각하는 데 쓸 수 있어요.

AI는 과학을 어떻게 바꿀까?

AI 연구에서 과학 연구 전반으로 시야를 넓혀 볼게요. 저희는 ‘과학 자동화’라는 구상에 근본적인 오해가 깔려 있다고 주장하는 글을 썼어요. 마치 과학의 목적이 그저 문제를 푸는 것이고, AI를 써서 문제에서 곧바로 해답으로 갈 수만 있다면 과학을 자동화하고 가속한 셈이라는 생각이죠.

우리는 인간의 이해가 자동화로 없애야 할 마찰이라고 보지 않아요. 오히려 꼭 필요해요. 우리가 과학을 하는 목적 자체의 중심에 인간의 이해가 있어요. 그 이해를 잃으면 거기서 비롯되는 모든 것도 잃게 돼요.

그래서 과학에서 AI 에이전트를 더 많이 쓰게 된다면, AI가 내놓은 해답을 살펴보고 그 안에서 인간의 이해를 다시 끌어내는 데 특화된 새 도구와 직무가 생기리라 예상해요. 인간의 이해를 지키는 일이 꼭 필요하니까요.

기업에서는 어떨까? 새로운 지식재산이 되는 평가

기업 쪽에서는 평가가 새로운 지식재산(IP)이라는 이야기를 많이 해요. 자세한 설명은 생략할게요. 여기서도 같은 현상이 다시 나타나는 거예요. 시스템을 만드는 일에만 쏟던 노력을 이제 평가에도 들이죠.

(덧붙임: 기업이 스스로를 속이지 않도록 직무가 다른 사람들이 함께 참여하는 평가팀을 꾸리는 방법은 이 글에서 설명했어요.)

구축에 쓰던 노력이 평가에 더 쓰이는 방식

강연에서 슬라이드 한 장만 기억하신다면 바로 이 장이면 좋겠어요. 강연 내내 여러 분야에서 어떤 일이 벌어지는지 보여 드렸어요. 검증 가능한 일은 AI가 맡을 수 있기 때문에, 만드는 데 들이던 노력의 일부 또는 상당 부분을 평가에 쓰게 돼요.

‘노를 젓는 일’보다 ‘배의 방향을 잡고, 항로를 찾아내고, 애초에 우리가 어디로 가고 싶은지 생각하는 일’에 더 힘을 쓰는 거죠.

앞으로 10~20년 동안 인간의 역할이 어떻게 바뀔지 예측하는 데 이 비유가 큰 도움이 될 거라고 생각해요.

AI에 적응하는 데 관한 개인적인 생각

마지막 몇 분 동안 제 경험을 이야기해 볼게요. AI 역량이 빠르게 좋아지는 상황에서 제 연구 방식을 어떻게 바꿔 왔는지 말씀드리려 해요. 여러분도 비슷한 고민을 하고 계실 거예요. 각자 자기 길을 선택해야 하지만, 참고할 만한 생각이 몇 가지 있으면 좋겠어요.

‘바닥’은 AI가 혼자 할 수 있는 일을 뜻해요. ‘천장’은 AI의 도움으로 우리가 해낼 수 있는 일의 범위예요. AI 이전에는 불가능했던 새롭고 야심 찬 프로젝트에도 도전할 수 있죠. 하지만 천장은 저절로 높아지지 않아요. 우리가 애써 밀어 올려야 해요.

저는 매주 10시간쯤 새로운 작업 방식을 배우고 실험하고, 새로운 주제를 공부하는 데 쓰고 있더라고요. 이렇게 생각할 수도 있어요. AI 덕분에 생산성이 크게 높아졌고, 저는 그렇게 아낀 시간을 장기적인 성장과 새로운 보완 역량을 익히는 데 ‘재투자’하려고 하는 거죠.

하루가 끝났을 때 지치지 않았다면 뭔가 잘못한 거라는 걸 깨달았어요. AI에 너무 많은 일을 떠넘긴 거죠. 단기적인 생산성을 좇느라 장기적인 성장도 너무 많이 포기한 거예요.

성장과 생산성이 세 다리 의자의 두 다리라면, 세 번째 다리는 통제력을 유지하는 일이에요. 우리는 이 셋의 균형을 잡아야 해요.

이를 위해 제가 써 보려는 경험칙이 두 가지 있어요. 첫째는 블랙박스의 유혹을 이겨 내는 거예요. 기업들은 우리가 에이전트를 블랙박스처럼 쓰길 바라요. 프롬프트만 던지면 알아서 가서 일을 하도록 말이에요. 저는 그게 함정이라고 생각해요. 아주 위험하고, 시간이 흐르면서 우리가 통제권을 조금씩 포기하게 만들 거예요.

둘째는 이와 관련된 의존의 소용돌이예요. 아직 잘 모르는 일일수록 AI에 맡기고 싶어져요. 새로운 것을 배우기는 당연히 아주 어렵거든요. 하지만 그러다 보면 그 일에 대해 조금이나마 갖고 있던 역량마저 잃게 돼요. 장기적으로는 먼저 시간을 들여 그 일을 스스로 익힌 뒤, AI로 생산성을 높이는 편이 훨씬 나아요.

비전: 함께 이루는 초지능

어느 하나 쉬운 일이 아니에요. 그래도 제대로 해낸다면, 우리가 그리는 미래는 무척 매력적이고 생각만 해도 힘이 나요.

컴퓨터를 흔히 ‘마음을 위한 자전거’라고 불러 왔어요. 제 생각에 AI는 그 이상이 될 수 있어요. 비유를 하나 더 허락해 주신다면, AI는 ‘마음을 위한 크레인’이 될 수 있어요. 전에는 상상하지 못했던 높이까지 우리의 잠재력을 끌어올릴 수 있다는 뜻이에요. 거기까지 가는 길은 막막해 보일 수 있어요. 배워야 할 것도 엄청나게 많죠. 저는 늘 러닝머신 위에 있는 기분이지만, 동시에 무척 신나요. 재미있는 도전이고, 계속 해 볼 만한 싸움이라고 생각해요. 5년 전과 비교하면 어떤 면에서 저는… 초지능이라는 말은 맞지 않을 수도 있지만, 초능력이 생긴 기분이에요. AI 덕분에 전에는 불가능했던 새롭고 야심 찬 일에 도전하고, 전보다 저 자신을 더 밀어붙일 수 있게 됐으니까요.

AI의 역량이 발전해도, 적어도 가까운 미래에는 우리가 이런 상태를 계속 이어 갈 수 있다고 생각해요. 아주 먼 미래에는 불가능해질지도 모르죠. 하지만 지금 이 싸움을 포기하기에는 너무 일러요. 저는 분명 계속해 볼 생각이에요. ‘함께 이루는 초지능’이라는 비전을 향해 나아가고 싶고, 여러분도 함께해 주시면 좋겠어요. 여기서 제 이야기를 마칠게요.

감사의 말
핵심 요점

역자 주

  1. 스캐폴드(scaffold): 모델을 감싸서 도구 사용, 작업 순서, 결과 확인 등을 돕는 에이전트의 실행 구조예요. ↩

저자 소개: Arvind Narayanan은 프린스턴 대학교 컴퓨터과학과 교수이며 AI 에이전트 평가를 연구합니다.

원문: What will be left for us to work on? — Arvind Narayanan, AI as Normal Technology, 2026년 7월 13일. ICML 2026 기조연설의 주석을 단 슬라이드와 연설문입니다.

생성: OpenAI Codex

총괄: 존 (디노이저denoiser)