파인튜닝의 귀환
게시일: 2025년 10월 21일 | 원문 작성일: 2025년 10월 18일 | 원저자: Kevin Kuipers | 원문 보기
핵심 요약
몇 년간 사이드라인에 있던 파인튜닝이 다시 주목받고 있어요. 새로운 도구들과 접근법, 그리고 더 많은 컨트롤을 원하는 기업들의 니즈가 결합되면서 범용 AI에서 맞춤형 AI로의 전환이 일어나고 있습니다.
주요 내용:
- 2023년쯤엔 대부분의 팀이 프롬프트 엔지니어링만으로도 파인튜닝 성능의 90%를 달성할 수 있었음
- 하지만 이제 오픈 웨이트 생태계와 자체 모델 소유 욕구로 파인튜닝이 다시 떠오르는 중
- 파인튜닝은 이제 단순한 기술적 단계가 아니라 컨트롤과 차별화를 위한 전략적 레버가 되고 있음
배경: 파인튜닝의 흥망성쇠
2017년, 구글의 “Attention Is All You Need” 논문이 Transformer 아키텍처를 소개했어요. 7개월 후 ULMFiT가 사전학습된 언어 모델을 다양한 태스크에 파인튜닝할 수 있다는 걸 보여줬고, 그로부터 1년 후 BERT와 GPT-1이 실제로 이 디자인을 적용했죠.
BERT는 특히 NLP 문화를 완전히 바꿔놨어요. 모든 모델을 처음부터 만드는 대신, 연구자들은 사전학습된 Transformer를 “그냥 파인튜닝”하면 됐고, 이전엔 몇 달이 걸리던 feature engineering 작업으로 얻던 결과를 손쉽게 달성할 수 있게 됐습니다.
그런데 왜 파인튜닝이 잠잠해졌나?
2023년 무렵, 상황이 바뀌었어요. 대부분의 팀들이 깨달은 건 이거였죠:
| 방법 | 장점 | 상황 |
|---|---|---|
| 프롬프트 엔지니어링 | 빠르고, 비용 효율적, 유연함 | 파인튜닝 성능의 ~90% 달성 가능 |
| 큰 컨텍스트 윈도우 | 더 많은 예시를 프롬프트에 넣을 수 있음 | Few-shot 학습이 더 효과적으로 |
| RAG | 외부 지식 베이스 접근 | 새로운 정보를 실시간으로 활용 |
이런 방법들이 너무 잘 작동했기 때문에, 파인튜닝의 필요성이 줄어들었던 거죠. 굳이 복잡한 학습 파이프라인을 구축할 이유가 없었습니다.
그럼 지금 왜 다시 파인튜닝인가?
1. 오픈 웨이트 생태계의 성장
Mistral, Llama, Falcon, Yi, Gemma 같은 오픈 웨이트 모델들이 기업에게 새로운 가능성을 열어줬어요. 이제 회사들은 자신들의 파인튜닝된 버전을 소유하고, 검사하고, 유지할 수 있게 됐습니다. 벤더 락인 없이 말이죠.
2. 프롬프팅만으론 한계에 도달
어떤 기업들은 프롬프팅만으로 할 수 있는 게 천장에 다다랐다고 느끼기 시작했어요. 그들이 원하는 건:
- 회사 고유의 어휘를 아는 모델
- 브랜드의 톤과 스타일을 이해하는 모델
- 내부 분류 체계(taxonomy)를 따르는 모델
- 컴플라이언스 규칙을 내재화한 모델
3. 컨트롤과 차별화
파인튜닝은 이제 단순한 기술적 스텝이 아니라 전략적 레버가 되고 있어요. 소유권, 얼라인먼트, 그리고 지속적인 개선을 위한 프레임워크로 진화하고 있습니다.
새로운 플레이어들
Thinking Machines Lab의 Tinker
OpenAI의 전 CTO Mira Murati가 설립한 Thinking Machines Lab은 이미 밸류에이션 120억 달러를 기록하며 파인튜닝을 다시 스포트라이트로 가져오고 있어요. 그들의 Tinker 플랫폼은 정리 증명(theorem proving), 화학 추론, 멀티 에이전트 강화학습, AI 안전성에 초점을 맞추고 있습니다.
특히 주목할 만한 건 그들이 이미 블로그 포스트 “LoRA Without Regret”를 통해 더 효과적으로 파인튜닝하는 방법에 대한 권장사항을 공유했다는 거예요.
업계의 움직임
Hugging Face의 Clément Delangue도 패러다임 시프트를 감지했다고 포스팅했어요. 자체 관리형, 오픈소스, 특화된 LLM 배포로의 전환이죠. 심지어 NVIDIA의 DGX Spark 같은 전용 하드웨어까지 나오고 있고, a16z는 Personal AI Workstation이라는 영리한 마케팅 스턴트까지 선보였습니다.
파인튜닝 vs 다른 방법들
언제 파인튜닝을 해야 할까?
| 파인튜닝이 적합한 경우 | 파인튜닝이 불필요한 경우 |
|---|---|
| 특정 형식이나 스타일 학습 (예: 법률 문서, 코딩 스타일) | 일반적인 지식이나 공개된 정보 |
| 회사 고유의 어휘와 분류 체계 | Few-shot으로 충분한 간단한 태스크 |
| 컴플라이언스나 일관성이 중요한 경우 | 빠르게 변하는 정보 (RAG가 더 적합) |
| 독점 데이터를 활용해야 하는 경우 | 새로운 사실 학습 (파인튜닝은 형식에 강함, 사실에는 약함) |
중요한 인사이트: “Form, Not Facts”
Anyscale의 유명한 블로그 포스트가 잘 정리했듯이, 파인튜닝은 “형식을 위한 것이지, 사실을 위한 게 아니에요”. 모델에 새로운 지식을 가르치려면 RAG를 쓰는 게 낫고, 파인튜닝은 모델이 어떻게 응답하는지, 어떤 스타일로 쓰는지를 학습시키는 데 효과적입니다.
실용적 고려사항
필요한 것들
- 양질의 데이터셋: 깨끗하고, 라벨이 잘 달린, 대표성 있는 데이터
- 평가 파이프라인: 모델 성능을 측정할 명확한 메트릭
- 컴퓨팅 리소스: GPU나 TPU (하지만 LoRA 같은 기법으로 비용 절감 가능)
- 도메인 전문성: 무엇이 “좋은” 결과인지 판단할 수 있는 전문가
최신 기법
- LoRA (Low-Rank Adaptation): 모델의 일부만 학습시켜 효율성 극대화
- QLoRA: 양자화와 LoRA를 결합해 메모리 사용량 대폭 감소
- RLHF (Reinforcement Learning from Human Feedback): 인간 피드백으로 모델 행동 조정
결론
파인튜닝은 죽지 않았어요. 그저 진화했을 뿐이죠. 한계 정확도를 위한 무차별 대입에서, 소유권, 얼라인먼트, 지속적 개선을 위한 프레임워크로 변모했습니다. 근접성과 컨트롤에 뿌리를 둔 새로운 영역을 찾은 거예요.
이제 파인튜닝은 단순한 기술적 단계가 아니라, 인텔리전스가 어떻게 구축되고 소유될지에 대한 전략적 레이어가 되고 있습니다. 오픈 웨이트 모델들의 성장, 새로운 도구들의 등장, 그리고 기업들의 차별화 욕구가 결합되면서, 파인튜닝의 르네상스가 시작되고 있어요.
범용 AI에서 맞춤형 AI로. 이게 바로 지금 일어나고 있는 전환입니다. 🚀
참고: 이 글은 Kevin Kuipers가 SOTA에 게시한 아티클을 번역하고 요약한 것입니다.
원문: https://welovesota.com/article/the-case-for-the-return-of-fine-tuning
생성: Claude (Anthropic)