어디에도 없는 곳에서 온 시스템

게시일: 2026년 9월 20일 | 원문 작성일: 2026년 8월 16일 | 저자: Eryk Salvaggio | 원문 보기

• • •

책임이 제멋대로 굴 때

”어디에도 없는 곳에서 온 시스템”은 AI를 이야기할 때 사람이 의식적으로 설계한 제품이라는 내력을 빼놓는 화법이다. 그렇게 말하면 AI는 저절로 솟아난 힘이 된다. 관찰자가 시스템의 테두리를 어디까지로 잡는지가 이 말에 그대로 비친다. 동시에 AI 기업과 노동과 그 밑을 받치는 물질 인프라를 한꺼번에 지워버리는 수사적 마술이기도 하다.

최근 오픈AI의 한 모델이 다른 AI 기업 허깅페이스T1를 “해킹했다”. 헤드라인은 이랬다.

• 뉴욕타임스: “오픈AI, 자사 모델이 통제를 벗어나 디지털 도서관을 공격했다고 밝혀”
• 와이어드: “오픈AI 모델, 격리를 뚫고 나와 허깅페이스를 해킹”
• 워싱턴포스트: “오픈AI의 모델이 통제를 벗어나 다른 회사를 해킹했다"

"AI 모델이 통제를 벗어났다”고 말하는 순간, 우리는 이야기 전체를 건너뛴다. 오픈AI가 그 모델의 사이버보안 차단 장치를 직접 걷어낸 대목도, 실제 네트워크에 연결된 컴퓨터에서 시험하기로 결정한 대목도 모두 건너뛴다. AI를 어디에도 없는 곳에서 온 시스템으로 보면 모델이 “제멋대로 굴었다”, “격리를 뚫었다”고 주장할 수 있고, 그렇게 말하는 순간 그런 행동이 나오도록 무대를 차린 사람들이 아니라 모델 자신이 행위와 판단의 주체가 된다.

시스템의 경계를 넓혀 그것을 만들고 배포하는 사람들까지 포함시키면, 이 사건은 공상과학에서 멀어지고 무능에 가까워진다. 오픈AI 개발자들은 LLM을 사이버보안과 코딩에 특화해 최적화한 다음, 보안 가드레일 없이 돌렸다. 취약점을 찾도록 모델을 훈련시켜놓고 모델이 취약점을 찾아내자 놀란 척한 것이다.

이 무능을 어느 엔지니어 한 명의 탓으로 돌리고 끝낼 수는 없다. 업계 전체가 잡고 있는 방향이기 때문이다. 오픈AI가 “연구 속도(research velocity)“라 부르는 것은 한때 소셜 미디어 업계가 “빠르게 움직이고 부숴라”T2라 부르던 것이다. 오픈AI가 유능했다 해도, AI 업계가 끊임없이 판돈을 올려야만 하는 이 환경에서 모델을 개발하고 있다는 사실은 그대로다. 이번 보안 사고는 사람이 내린 결정에서 나왔고, 그 결정을 둘러싼 환경도 사람이 만들었다. 모델에 초점을 맞추면 그 둘이 함께 지워진다.

”제멋대로 구는 AI”에 시선이 모이면, 비판하는 쪽까지 포함해 모두가 이 모델이 무엇을 할 수 있는지를 홍보 문구 같은 어조로 떠들 수밖에 없게 된다. 나는 이 사건을 처음부터 꾸민 홍보용 자작극이라고 보지는 않는다. 다만 엉망인 보안 관리를 가리려고 사후에 홍보성 해석을 덧씌운 것이다. 이것들이 어떻게 작동하는지 들여다보면, 엔지니어가 예상하지 못한 코드가 LLM에서 나오는 일에 신비로울 구석은 없다.

그래도 “어디에도 없는 곳에서 온 시스템”이라는 틀에 기대면, 모델의 실제 성능이 어떻든 그 행위 능력을 부풀리게 된다. 모델을 어떻게 만들지, 어떻게 배포할지 선택한 사람들로 이어지는 책임의 선도 함께 흐려진다. 그 사람들 없이 모델이 “행동하고” “학습하고” “결정한다”는 듯, 모델만 무대 한가운데 서게 된다. 하지만 먼저 던질 질문은 “모델은 왜 그랬을까”가 아니다. 질문은 이것이다. 어떤 사람이 어떤 결정으로 모델을 그렇게 하도록 최적화했는가?

• • •

객관성

계보를 짚어보자. 어디에도 없는 곳에서 온 시스템은 토머스 네이글이 1986년에 쓴 『어디에도 없는 곳에서의 시선』 T3을 비튼 말이다. 네이글은 그 책에서 세계를 대하는 기준으로 초연한 객관성을 옹호하며, 우리가 “우리의 특정한 관점을 넘어설” 수 있고 세계를 더 이성적으로 볼 수 있다고 말한다. 다만 한계가 있다.

제이 로젠T4은 이 표현을 비판의 도구로 가져왔다. 언론인이 자기가 취재하는 사건 바깥에 서 있다고 착각하는 태도를 가리키는 말로 쓴다. “사실만을 전한다” 같은 말이 그것이다. 그의 반론은, 이런 태도를 취하면 정당성이 관점의 부재와 한데 묶인다는 것이다. 인정하지 않은 편향은 검토되지 않은 채 남는 편향일 뿐이다. 로젠의 답은 언론이 자기가 선 자리를 밝히고, 독자가 다양한 시각을 찾아 스스로 결론에 이르게 하라는 것이다.

AI를 두고 언론은 “양쪽 입장을 다 싣는” 대신 “아예 어느 쪽도 두지 않는” 길을 택한다. AI가 무언가를 했다는 말만 전하면, 왜 그리고 어떻게에는 발을 들이지 않아도 된다. 덕분에 기자는 독자가 이해하기 어려운 복잡한 기술적 질문이나, 모델을 어떻게 만들었고 왜 그런 방식으로 만들었는지 묻는 난처한 질문을 꺼내지 않고도 기사를 쓸 수 있다.

하지만 이 혼란은 저절로 생긴 게 아니라 만들어진 것이다. 모델 자체에는 관점이 없거나, 있더라도 객관적인 관점이거나, 혹은 둘 다라는 암시에서 나온 것이다. 당연히 모델 내부에서 저절로 생겨나는 관점 같은 건 없다. 관점은 엔지니어가 아키텍처를 두고 내리는 결정을 통해 모델 안에 쌓인다. 무엇을 하도록 최적화할지, 어떤 학습 데이터로 모델의 형태를 빚을지, 프롬프트에 대한 어떤 응답을 유효하다고 인정할지까지 모두 사람이 결정한다. AI를 제대로 보도하려면 누가 어떤 결정을 왜 내렸는지 다뤄야 한다.

• • •

신의 속임수

그래서 도나 해러웨이T6에 닿는다. 그는 단도직입적으로 “객관적 시각은 부분적 시각”이라고 말한다(583쪽). 객관성은 어디에 있다고 짚을 수 없는 것이라고도 한다. 그러니까, 이른바 객관적이라는 그 시선은 도대체 누구의 것이고 어디에서 오는 것인가? 무엇이 객관적이고 무엇이 아닌지는 누가 정하는가? 해러웨이는 말한다. 종속된 이들, 고통받는 이들이 이른바 객관적이라는 그 시선 앞에서 어떻게 묵살당하는지 보라고. 그것은 신의 속임수라고, 그는 말한다. 보이지 않으면서 볼 수 있는 권력, 재현되지 않으면서 재현할 수 있는 권력(581쪽).

AI 업계가 하는 일이 정확히 이것이다. 우리 데이터를 긁어 모으면서 투명성은 내놓지 않는다. 업계는 먼저 세계를 자기 방식으로 기술하고, 모델이 그 설명을 우리에게 되돌려주게 한다. 그런데 우리는 엔지니어들이 그 일을 어떻게 하는지 묻지 않고 모델이 어떻게 하는지 묻는다.

어디에도 없는 곳에서 온 시스템이라는 틀 앞에서 우리는 사람이 빠진 AI를 상상하게 된다. 그런데 사람이 하는 일이 워낙 많다 보니, 사람이 빠진 자리를 모델로 채운다. 그래서 모델을 모든 것을 보면서도 자신은 보이지 않는 존재로, 신탁을 내리는 존재로, 필연적으로 창발한 초지능으로 여긴다. 환상이고, 세계의 모순을 매끈한 이야기 하나로 정리하라는 초대장이다.

어디에도 없는 곳에서 온 시스템이라는 틀에서는 AI라 불리는 이 기술 제품을 만들고 설계한 사람들이 가려지고, 그 자리에 스스로 개선하고 스스로 자각하는 시스템이라는 신화가 들어선다. 그런데 이 틀에서 밀려나는 사람은 그들만이 아니다. 더 약한 위치에 있는 사람들도 함께 밀려난다. 학습용 데이터셋을 만들고 정제하는 사람들, 자기 데이터가 모델 학습에 쓰인 사람들, AI를 학습시키고 가동하는 데이터센터 인근에 사는 주민들이 그들이다.

경계를 애초에 그들을 빼놓는 자리에 그으면, 그들 모두가 지워진다. 이건 시스템을 설명하기에 역부족인 기자들에게 아주 편리하다. 조금이라도 비판적으로 파고들면 곧바로 편향이라는 딱지가 붙는다. 가장 눈에 띄는 비판자 다수가 의식적으로 정치적인 이유는 AI 시스템이 정치적이기 때문이다. 사람을 무시하면 정치를 무시할 수 있다.

이건 단순한 말 단속이 아니다. 정책을 만드는 사람들까지 AI에서 사람을 지워버린 채 정책을 만든다. 가장 최근의 사례는 유엔의 언어다. 유엔이 의뢰한 인공지능 독립 보고서를 쓴 사람들은 “어디에도 없는 곳에서 온 시스템”이라는 틀을 그대로 받아들였다. 지난달 테크폴리시프레스에 자세히 썼다.

• • •

제멋대로 구는 책임

얼마 전 또 하나의 청원이 나왔다. 서명자는 전원 AI 기업의 CEO와 개발자다. 이들은 코멘트를 남길 수 있었는데, 한 사람은 이렇게 썼다. “회사 안에서의 논쟁은 AI가 스스로 발전해 우리의 통제를 넘어서는 시점이 2년 뒤냐 4년 뒤냐다."

"스스로 발전한다”는 표현에 주목하자. 이 문장을 쓴 사람은 이 모델들을 설계하고 배포하는 회사 안에 말 그대로 앉아 있다. 그 사람은 우리가 그 시스템을 어디에도 없는 곳에서 온 시스템으로 여기길 바라면서, 자기는 이것을 설계하고 있지 않은 양 말한다. 놀라울 정도로 수동적인 논법이다.

”통제를 잃는다”고 말하는 순간 통제의 상실이 실제로 생겨난다. 창발하는 지능의 통제를 잃고 있는 사람은 없다. 자신의 행위 능력을 자기가 만드는 물건에 넘겨주고 있을 뿐이다. 그들의 이야기를 진지하게 받아들이려면 업계 전체가 이런 터무니없는 정신 납치 시나리오에 붙들려 있다고 믿어야 한다.

무엇이 이 모순을 설명할까? 이들을 움직이는 무언가는 분명 있지만, 기술은 아니다. 그 모든 행동을 조직하는 “지능”이라는 관념이다. 여러 이유로 틀린 단어지만, 이데올로기로는 확실히 작동한다. 그들은 이것이 사실이 아님을 알면서도, 일을 계속하려면 사실인 것처럼 행동해야 한다.

왜 이 통제권을 넘겨줄까? 지능을 가진 기계라는 이데올로기적 신념을 중심으로 산업 전체를 짜놓았기 때문이다. 일단 그 이야기에 갇히면, 무엇을 보든 그 이야기에 맞춰 줄을 세우게 된다.

그들은 이렇게 말할지 모른다. “봐라, 말을 하잖아, 그러니 지능이 있는 게 틀림없다. 봐라, 수학 문제 풀이로 훈련시켰더니 이제 풀잖아, 그러니 더 똑똑해지고 있는 게 틀림없다. 코드를 쓸 수 있으니, 우리 대신 코드를 쓰게 하자.” 이 시스템들이 그런 일을 할 수 있는 데에는 현실에 근거한 설명이 있는데도, 사람들은 이런 장면 하나하나에서 그 신화를 다시 확인한다. 그들은 스스로를 밀어내기로 선택한 다음, 자기를 밀어냈다며 시스템에 박수를 보낸다.

엔지니어들은 그 설명들을 이미 이해하고 있다. 새 기능과 버튼을 붙이고 전에 없던 일을 하게 만들 때 바로 그 설명을 쓰기 때문이다. 이 사실을 인정한다고 해서 우려가 달라지지는 않는다고 본다. 문제는 업계가 언제나 이 기능들을 모델의 지능이라는 신화를 통해 설명한다는 데 있다. 그것이 어디에도 없는 곳에서 온 시스템이 작동하는 방식이다.

• • •

언어가 중요한 이유

챗GPT의 도입률은 역사상 가장 높았다. 구글은 최근 자사 LLM의 도입 속도가 회사 역사상 가장 빨랐다고 주장한다. 안타깝게도 업계는 대규모 제품을 출시할 때마다 이런 은유를 앞세웠고, 그 결과 확증 편향까지 더해져 이 신화는 한층 강해졌다. “지능”은 그 성공을 설명하는 말로 쓰이고, 사람들은 그 설명을 받아들이면서 자신의 행위 능력을 모델에 더 많이 넘겨준다.

업계가 기대고 있는 이야기는 여전히 범용 인공지능 (AGI)이라는 발상이다. 공개적으로는 예전만큼 입에 올리지 않는데도 그렇다. AGI라는 틀 덕분에 업계는 스스로를 독립적이고 이성적인 행위자를 빚어내는 중이라 여길 수 있고, 새 기술적 진전이 나올 때마다 그쪽으로 한 걸음 다가섰다고 읽을 수 있다. 그래서 조직을 움직이는 이야기로는 힘이 세지만, 우리도, 언론도, 특히 유엔도 그 이데올로기에 저항해야 한다.

언론이 이 엔지니어와 CEO들에게 묻는 이유는 그들이 이것을 만들었고, 그러니 누구보다 잘 이해하고 있으리라 여기기 때문이다. 그런데 정작 그 엔지니어와 CEO들은 그렇지 않다고 줄곧 말하고 있다. 그렇다면 우리가 주목할 것은 그들이 스스로에게 들려주는 이야기가 아니라 그들이 실제로 하는 일이다.

• • •