어디에도 없는 곳에서 온 시스템

게시일: 2026년 9월 20일 | 원문 작성일: 2026년 8월 16일 | 저자: Eryk Salvaggio | 원문 보기

• • •

책임이 제멋대로 굴 때

”어디에도 없는 곳에서 온 시스템”은 사람이 의식적으로 설계한 제품이라는 내력을 빼놓고, 마치 저절로 솟아난 힘인 양 AI를 이야기하는 화법이다. 이 화법에는 관찰자가 시스템을 바라볼 때 경계를 어디에 긋는지가 비친다. 동시에 AI 기업과 노동과 그 밑을 받치는 물질 인프라를 한꺼번에 지워버리는 수사적 마술이기도 하다.

최근 오픈AI의 한 모델이 다른 AI 기업 허깅페이스T1를 “해킹했다”. 헤드라인은 이랬다.

• 뉴욕타임스: “오픈AI, 자사 모델이 통제를 벗어나 디지털 도서관을 공격했다고 밝혀”
• 와이어드: “오픈AI 모델, 격리를 뚫고 나와 허깅페이스를 해킹”
• 워싱턴포스트: “오픈AI의 모델이 통제를 벗어나 다른 회사를 해킹했다"

"AI 모델이 통제를 벗어났다”고 말하는 순간, 우리는 이야기 전체를 건너뛴다. 오픈AI가 그 모델의 사이버보안 차단 장치를 직접 걷어낸 대목도, 실제 네트워크에 연결된 컴퓨터에서 시험하기로 결정한 대목도 모두 건너뛴다. AI를 어디에도 없는 곳에서 온 시스템으로 보면 모델이 “통제를 벗어났다”, “격리를 뚫었다”고 주장할 수 있다. 어느 쪽이든 행위와 판단은 그런 행동이 나오도록 무대를 차린 사람들이 아니라 모델 자신의 몫이 된다.

시스템의 경계를 넓혀 그것을 만들고 배포하는 사람들까지 포함시키면, 이 사건은 공상과학에서 멀어지고 무능에 가까워진다. 오픈AI 개발자들은 LLM을 사이버보안과 코딩에 특화해 최적화한 다음, 보안 가드레일 없이 돌렸다. 그러니까 취약점을 찾도록 모델을 훈련시켜놓고, 모델이 취약점을 찾아내자 놀란 척했다.

이 무능을 어느 엔지니어 한 명의 탓으로 돌리고 끝낼 수는 없다. 업계 전체가 지향하는 방향에서 나온 무능이다. 오픈AI가 “연구 속도(research velocity)“라 부르는 것은 한때 소셜 미디어 업계가 “빠르게 움직이고 부숴라”T2라 부르던 것이다. 오픈AI가 유능했다 해도, AI 업계가 끊임없이 판돈을 올려야만 하는 이 환경에서 모델을 개발하고 있기는 마찬가지였을 것이다. 이번 보안 사고는 사람이 내린 결정의 결과였고, 사람이 만든 환경의 결과이기도 했다. 모델에 초점을 맞추면 그 둘이 함께 지워진다.

”제멋대로 구는 AI”에 시선이 모이면, 비판하는 쪽까지 포함해 모두가 이 모델들이 무엇을 할 수 있는지를 광고 문구 같은 투로 말할 수밖에 없게 된다. 나는 이 사건을 관심을 끌려고 처음부터 꾸민 자작극이라고 보지는 않는다. 다만 거기에 덧붙은 이야기는 엉망인 보안 관리를 가리려는 홍보성 포장이다. 이런 모델이 어떻게 작동하는지 들여다보면, 엔지니어가 예상하지 못한 코드가 LLM에서 나오는 일에 신비로울 구석은 없다.

그래도 “어디에도 없는 곳에서 온 시스템”이라는 틀에 기대면, 모델의 실제 성능이 어떻든 그 행위 능력을 부풀리게 된다. 모델을 어떻게 만들지, 어떻게 배포할지 선택한 사람들로 이어지는 책임의 선도 함께 흐려진다. 그 사람들 없이 모델 혼자 “행동하고” “학습하고” “결정한다”는 듯, 무대 한가운데에는 모델만 남는다. 하지만 먼저 던질 질문은 “모델은 왜 그랬을까”가 아니다. 물어야 할 것은 이것이다. 어떤 사람이 어떤 결정으로 모델을 그렇게 하도록 최적화했는가?

• • •

객관성

계보를 짚어보자. 어디에도 없는 곳에서 온 시스템은 토머스 네이글이 1986년에 쓴 『어디에도 없는 곳에서의 시선』 T3을 비튼 말이다. 네이글은 그 책에서 세계를 대하는 기준으로 초연한 객관성을 옹호하며, 우리가 “우리의 특정한 관점을 넘어설” 수 있고 세계를 더 이성적으로 볼 수 있다고 말한다. 다만 한계가 있다.

제이 로젠T4은 이 표현을 비판의 도구로 가져와, 언론인이 자기가 취재하는 사건 바깥에 서 있다고 여기는 태도를 가리키는 데 썼다. “사실만을 전한다” 같은 말이 대표적이다. 그는 이런 태도가 정당성을 ‘나에게는 관점이 없다’는 부인과 한데 묶는다는 점을 문제 삼는다. 인정하지 않은 편향은 검토되지 않은 채 남는 편향일 뿐이다. 로젠은 언론이 자기가 선 자리를 밝히고, 독자가 다양한 시각을 찾아 스스로 결론에 이르게 하라고 답한다.

AI를 두고 우리는 “양쪽 입장을 다 싣는” 대신 “아예 어느 쪽 입장도 싣지 않는” 길을 택한다. 우리는 AI가 무언가를 했다는 말을 듣고, 기자는 왜, 어떻게 그랬는지까지 파고들지 않아도 된다. 덕분에 어차피 독자가 알아듣기 어려울 법한 복잡한 기술적 질문도, 모델을 어떻게 만들었고 왜 그런 방식으로 만들었는지 묻는 혼란스러운 질문도 꺼내지 않고 기사를 쓸 수 있다.

하지만 이 혼란은 누군가가 만들어낸 것이다. 모델 자체에는 관점이 없거나, 객관적인 관점이 있거나, 혹은 둘 다라는 암시에서 이 혼란이 나온다. 당연히 모델 내부에서 저절로 생겨나는 관점 같은 건 없다. 관점은 엔지니어가 아키텍처를 두고 내리는 결정을 통해 모델 안에 쌓인다. 무엇을 하도록 최적화할지, 어떤 학습 데이터로 모델의 형태를 빚을지, 프롬프트에 어떤 응답을 유효하다고 볼지까지 모두 사람이 결정한다. AI를 제대로 보도하려면 누가, 어떻게, 왜 그런 결정을 내렸는지 다뤄야 한다.

• • •

신의 속임수

그래서 도나 해러웨이T6에 닿는다. 그는 단도직입적으로 “객관적 시각은 부분적 시각”이라고 말한다(583쪽). 객관성은 어디에 있다고 짚을 수 없는 것이라고도 한다. 그러니까, 이른바 객관적이라는 그 시선은 도대체 누구의 것이고 어디에서 오는 것인가? 무엇이 객관적이고 무엇이 아닌지는 누가 정하는가? 해러웨이는 종속된 이들, 고통받는 이들이 객관을 자처하는 그 시선에 어떻게 묵살당하는지 보라고 한다. 그에 따르면 그런 시선은 신의 속임수다. 보이지 않으면서 볼 수 있는 권력, 재현되지 않으면서 재현할 수 있는 권력(581쪽).

AI 업계가 하는 일이 정확히 이것이다. 우리 데이터를 모으면서 투명성은 내놓지 않는다. 업계는 모델이 세계를 우리에게 다시 기술해 줄 수 있도록 세계를 기술한다. 그런데 우리는 엔지니어들이 그 일을 어떻게 하는지 묻지 않고 모델이 어떻게 하는지 묻는다.

어디에도 없는 곳에서 온 시스템이라는 틀 앞에서 우리는 사람이 빠진 AI를 상상하게 된다. 그런데 사람이 하는 일이 워낙 많다 보니, 그 빈자리를 무언가로 채울 수밖에 없다. 그래서 모델을 신의 속임수 자리에, 신탁 자리에, 필연적으로 나타날 창발적 초지능의 자리에 앉힌다. 이 틀은 환상이고, 세계의 모순을 매끈한 이야기 하나로 정리하라는 초대장이다.

어디에도 없는 곳에서 온 시스템이라는 틀에서는 AI라 불리는 이 기술 제품을 만들고 설계한 사람들이 가려지고, 그 자리에 스스로 개선하고 스스로 자각하는 시스템이라는 신화가 들어선다. 그런데 이 틀에서 밀려나는 사람은 그들만이 아니다. 더 약한 위치에 있는 사람들도 함께 밀려난다. 학습용 데이터셋을 만들고 정제하는 사람들, 자기 데이터가 모델 학습에 쓰인 사람들, AI를 학습시키고 가동하는 데이터센터 인근에 사는 주민들이 그들이다.

애초에 그들을 빼려고 경계를 그으면 모두가 지워진다. 기자들은 이런 시스템을 설명하기 벅찰 때가 많으니, 그들에게는 편리한 일이다. 조금이라도 비판적으로 파고들면 곧바로 편향이라는 딱지가 붙는다. AI 시스템이 정치적이니, 가장 눈에 띄는 비판자 다수도 의식적으로 정치적이다. 사람을 무시하면 정치를 무시할 수 있다.

이건 단순한 말 단속이 아니다. AI에서 사람이 빠진 이 공백은 정책까지 빚어낸다. 가장 최근의 사례는 유엔의 언어다. 유엔이 의뢰한 인공지능 독립 보고서를 쓴 사람들은 “어디에도 없는 곳에서 온 시스템”이라는 틀을 통째로 삼켰다. 지난달 테크폴리시프레스에 자세히 썼다.

• • •

제멋대로 구는 책임

얼마 전 또 하나의 청원이 나왔다. 서명자는 전원 AI 기업의 CEO와 개발자다. 이들은 코멘트를 남길 수 있었는데, 한 사람은 이렇게 썼다. “회사 안에서는 AI가 스스로 발전해 우리의 통제를 넘어서는 시점이 2년 뒤냐 4년 뒤냐를 놓고 논쟁이 벌어진다."

"스스로 발전한다”는 표현에 주목하자. 이 문장을 쓴 사람은 이 모델들을 설계하고 배포하는 회사 안에 말 그대로 앉아 있다. 그 사람은 우리가 AI를 어디에도 없는 곳에서 온 시스템으로 여기길 바라면서, 자기는 이것을 설계하고 있지 않은 양 말한다. 놀라울 정도로 수동적인 논법이다.

통제의 상실은 “통제를 잃는다”는 서사에서 생겨난다. 창발하는 지능에 대한 통제력을 잃어 가는 사람은 아무도 없다. 그들은 자신의 행위 능력을 자기가 만드는 물건에 넘겨주고 있을 뿐이다. 그들의 이야기를 진지하게 받아들이려면 업계 전체가 이런 터무니없는 정신 납치 시나리오에 붙들려 있다고 믿어야 한다.

이걸 어떻게 이해해야 할까? 여기서 통제권을 쥔 무언가가 있기는 하지만, 그것은 기술이 아니다. 그 모든 행동을 조직하는 “지능”이라는 관념이다. 여러 이유로 틀린 단어지만, 이데올로기로는 작동한다. 그들은 이것이 사실이 아님을 알면서도, 일을 계속하려면 사실인 것처럼 행동해야 한다.

왜 이 통제권을 넘겨줄까? 지능 있는 기계라는 이데올로기적 신념을 중심으로 산업 전체를 짜놓았기 때문이다. 일단 그 이야기에 갇히면, 무엇을 관찰하든 그 이야기에 맞춰 정리한다.

그들은 이렇게 말할지 모른다. “봐라, 말을 하잖아, 그러니 지능이 있는 게 틀림없다. 봐라, 수학 문제 풀이로 훈련시켰더니 이제 풀잖아, 그러니 더 똑똑해지고 있는 게 틀림없다. 코드를 쓸 수 있으니, 우리 대신 코드를 쓰게 하자.” 이 시스템들이 그런 일을 할 수 있는 데에는 현실에 근거한 설명이 있는데도, 이런 행동을 할 때마다 그 신화는 다시 확인된다. 그들은 스스로를 밀어내기로 선택한 다음, 자기를 밀어냈다며 시스템에 박수를 보낸다.

엔지니어들은 그 설명들을 이미 이해하고 있다. 새 기능과 버튼을 붙이고 전에 없던 일을 하게 만들 때 바로 그 설명을 쓰기 때문이다. 이 사실을 인정한다고 해서 우려가 달라지지는 않는다고 본다. 문제는 업계가 이 기능들을 언제나 모델의 지능이라는 신화로 설명한다는 데 있다. 바로 이것이 ‘어디에도 없는 곳에서 온 시스템’이 작동하는 모습이다.

• • •

언어가 중요한 이유

챗GPT의 도입률은 역사상 가장 높았다. 구글은 최근 자사 LLM의 도입 속도가 회사 역사상 가장 빨랐다고 주장한다. 안타깝게도 업계는 대규모 제품을 출시할 때마다 이런 은유를 앞세웠고, 그 결과 확증 편향까지 더해져 이 신화는 한층 강해졌다. “지능”이 그 성공을 설명하는 말로 쓰이니, 행위 능력을 사람에게서 모델로 더 넘겨줄 이유가 또 생긴다.

업계가 기대고 있는 이야기는 여전히 범용 인공지능 (AGI)이라는 발상이다. 공개적으로는 예전만큼 입에 올리지 않는데도 그렇다. AGI라는 틀 덕분에 업계는 자신이 독립적이고 이성적인 행위자를 만들어 가는 중이라 여길 수 있고, 새 기술적 진전이 나올 때마다 그쪽으로 한 걸음 다가섰다고 읽을 수 있다. 그래서 업계를 하나로 묶는 이야기로서는 설득력이 크지만, 우리도, 언론도, 특히 유엔도 그 이데올로기에 저항해야 한다.

언론은 이 엔지니어와 CEO들이 이것을 직접 만들었다는 이유로 그들에게 묻고, 그들이 누구보다 잘 이해하고 있으리라 여긴다. 그런데 정작 그 엔지니어와 CEO들은 그렇지 않다고 줄곧 말하고 있다. 그렇다면 그들이 스스로에게 들려주는 이야기보다 그들이 실제로 하는 일에 주목하는 편이 이치에 맞다.

• • •