LLM에서는 전문성이 보상받는다
핵심 요약
LLM 앞에서는 누구나 평등해진다고 생각하는 사람이 많지만, 실제로는 그렇지 않아요.
- 같은 모델, 다른 결과: 테렌스 타오가 ChatGPT와 나눈 수학 대화는 저자가 토큰을 무제한으로 써도 도달하지 못할 수준이에요.
- 핵심은 프롬프트 기술이 아니라 도메인 지식: 좋은 질문을 던지고, 이상한 답을 걸러내고, 다음 방향을 스스로 제시하려면 그 분야를 알아야 해요.
- 그래서 인간이 계속 필요하다: 모델 안에는 이미 답이 들어있지만, 그걸 정확히 원하는 형태로 끄집어내는 건 여전히 사람의 몫이에요.
• • •
누구나 그럴듯한 결과를 낼 수 있는 시대
2010년대에는 기술적으로 부족한 부분이 있으면(가령 CSS를 못 짠다면) 잘하는 동료에게 기대거나, 인터넷 어딘가에 내 문제에 딱 맞는 답이 있기를 바라는 수밖에 없었어요. 요즘은 누구나 LLM에게 맡기기만 하면 그럭저럭 괜찮은 CSS를 짤 수 있죠. LLM 덕분에 이제 모두가 제너럴리스트가 됐어요.
그래서 LLM을 다루는 데는 별다른 스킬이 필요 없다고 생각하는 사람이 많아요. 박사급 수학이든, 꽤 괜찮지만 가끔 감각 없는 코드든, 어색한 링크드인식 글이든, LLM이 내놓을 수 있는 결과물을 원한다면 그냥 요청하기만 하면 된다고 봐요. 모두가 같은 모델과 대화하고 있으니, “프롬프트를 잘 쓰는 사람”도 LLM을 처음 써보는 사람과 똑같은 결과를 얻는다는 논리예요.
이건 틀렸어요. 프롬프팅에서 가장 중요한 스킬은 프롬프트로 다루려는 분야의 전문성이에요.
• • •
테렌스 타오는 왜 다른 결과를 얻는가
이를 잘 보여 주는 예로, 테렌스 타오1가 최근 발견된 야코비 추측 (Jacobian Conjecture)2의 반례를 두고 ChatGPT와 나눈 대화가 있어요. 이건 제가 대화하는 그 ChatGPT가 아니에요! 토큰을 무제한으로 써도 저는 타오가 도달한 곳까지 갈 수 없었을 거예요.
타오의 대화를 보면 프롬프트를 잘 쓰는 법을 많이 배울 수 있어요. 눈에 띈 점을 몇 가지 꼽아 볼게요.
- 타오의 메시지는 아주 짧고 요점만 담고 있어요. 모델의 말에 항목별로 일일이 답하지 않고, 핵심에만 반응해요.
- 모델의 답변도 제가 GPT-5.6 Sol과 수학 이야기를 할 때보다 훨씬 간결해요. 타오는 전문성을 내비쳐서 모델을 “아마추어에게 설명하는 모드”가 아니라 “수학자를 상대하는 모드”로 바꿔 놓아요.
- 타오는 모델의 답이 틀린 것 같으면 이의를 제기하지만, 대놓고 틀렸다고 하지는 않아요. 대신 “기대했던 것보다 복잡해 보이네요” 같은 식으로 말해요.
- 타오는 여러 차례 스스로 과감하게 앞서 나가고, 직접 제안도 내놓아요. 다음에 어디로 가야 할지 모델이 조언해도 거의 따르지 않아요.
“이 부분은 제가 기대했던 것보다 더 복잡해 보이네요.” 테렌스 타오가 ChatGPT의 답변에 이의를 제기하는 방식이에요.
하지만 이 팁들을 따른다고 해서 수학 질문에서 타오처럼 프롬프트를 쓸 수 있는 건 아니에요. 타오의 기법은 수학을 실제로 이해하는 데서 나와요. ChatGPT가 여러 문단에 걸쳐 내놓은 답변에서 필요한 아이디어를 골라내고, 다른 접근법이나 정식화를 제안하고, 어디가 “이상해 보이는지” 짚어 내는 능력 말이에요.
• • •
전문성이 있어야 진짜 힘을 발휘한다
테렌스 타오가 수학자로서 뛰어난 만큼 제가 프로그래머로서 뛰어나지는 않아요. 하지만 도메인 지식이 있으면 LLM을 더 잘 쓸 수 있다는 점은 저도 제 일을 하면서 직접 체감했어요. 코드베이스에 관한 이론이 제대로 서 있으면, 전혀 익숙하지 않을 때보다 LLM을 훨씬 세게 밀어붙일 수 있어요. 좋은 해법이 대략 어떤 모습일지 나름의 감이 있으니까, “아니요, 여기는 더 간단하게 갈 수 있을 것 같은데요”, “근데 우리 이미 X를 하고 있지 않나요?”, “이 문제를 이런 익숙한 용어로 표현할 수 있을까요?” 같은 말을 할 수 있죠.
제가 전에 썼던 글에서 다룬 아이디어와도 맞닿는 이야기예요. 시스템 설계 문제는 일반적인 원칙보다 구체적인 디테일에 좌우된다는 생각이었죠. 물론 둘 다 유용하지만, 저라면 소프트웨어 시스템 전반을 깊이 이해하기보다 해당 코드베이스를 잘 아는 쪽을 택하겠어요. 타오는 대화에서 “여기서 X가 통하나요?”, “Y와 Z가 주어졌을 때 왜 A인가요?” 같은 구체적인 질문을 많이 던져요. 야코비 추측을 두고는 저는 그런 질문을 할 수 없지만, GitHub에서 제가 맡은 시스템을 두고는 할 수 있어요.
• • •
도메인 지식이 없을 때와 있을 때
도메인 지식이 전혀 없어도 LLM에 매달리면 최소한 뭔가는 얻을 수 있어요. 그게 나쁜 건 아니에요! 하지만 도메인 지식이 있다면, 같은 LLM이라도 원하는 방향으로 세게 몰아가서 훨씬 더 많은 가치를 뽑아낼 수 있어요. 우리 대부분은 어떤 영역에서는 도메인 지식이 있고 어떤 영역에서는 없을 테니, 결국 이 두 가지 접근을 섞어 써야 할 거예요.
• • •
결국, 병목은 인간이다
도메인 지식이 이만큼 유용하다는 건, 모델이 더 강해지더라도 인간의 전문성이 계속 쓸모 있으리라는 걸 시사해요. 어려운 건 인간이 원하는 해법이 정확히 어떤 종류인지 모델에게 전달하는 일이라서, 많은 작업에서 병목은 모델이 아니라 인간이에요. 정보는 이미 “모델 안”에 있지만, 그걸 끄집어내려면 아주 똑똑한 사람이 필요해요.
역자 주
참고: 이 글은 Sean Goedecke가 자신의 블로그에 게시한 아티클을 번역한 것입니다.
원문: LLMs reward expertise - Sean Goedecke
생성: Claude (Anthropic)