GPT-5보다 정확한데, 더 쌉니다. 파라미터 80억 개짜리 작은 모델 이야기입니다.
주말에 유튜브로 최예진 교수의 강연을 봤습니다. 9월 29일 뉴욕 코리아소사이어티에서 열린 「Beyond Scale: The Art of (Artificial) Reasoning and Discovery」입니다. 스탠퍼드 교수이자 맥아더 펠로, 타임 선정 'AI 100인'에 두 번 이름을 올린 연구자죠. 한 시간 가까운 강연을 관통하는 문장은 하나였습니다. "지능의 확장은 계속될 겁니다. 다만 더 똑똑한 방식으로 해내야 합니다."
최 교수는 데이터 이야기부터 꺼냈습니다. 컴퓨팅은 계속 늘지만 연료인 데이터는 그만큼 늘지 않는다, 사람들은 AI를 학습시킬 만큼 빨리 글을 써 주지 않는다는 거죠. GPU를 더 사는 것만으로는 답이 안 나오는 시대라는 진단입니다. 그 대안으로 엔비디아·스탠퍼드 연구진과 함께한 연구 네 가지를 보여줬는데, 저는 기업이 AI를 도입하는 방식에 그대로 옮겨 올 대목이 세 가지라고 봤습니다.
1. 가장 비싼 모델을 기본값으로 두지 마십시오
첫 장면의 주인공이 'ToolOrchestra'입니다. 80억 파라미터의 작은 오픈 모델이 지휘자 역할을 맡습니다. 웹 검색이나 계산기 같은 도구, 저렴한 오픈 모델, 그리고 비싼 GPT-5까지 도구로 두고, 문제마다 무엇을 부를지 스스로 고릅니다. 보상에는 정답률뿐 아니라 속도와 비용도 들어갑니다. 그 결과 초고난도 시험 'Humanity's Last Exam'에서 37.1점을 받아 GPT-5(35.1점)를 앞섰습니다. GPT-5는 가끔만 불렀고요.
최 교수는 "더 많은 자원을 넣으면 된다는 통념은 대체로 맞지만, 경제적으로 최적은 아니다"라고 말했습니다. 그리고 기업 데이터처럼 최신 모델이 학습하지 못한 영역에서는 이런 조합의 효과가 더 크다고 덧붙였죠. 국내 기업의 AI 예산 회의에서는 아직도 "제일 좋은 모델 쓰면 되지 않느냐"가 첫 질문으로 나옵니다. 저는 그 질문을 '최고가 모델 기본값'이라고 부릅니다. 업무 대부분은 작은 모델이 처리하고, 정말 어려운 순간에만 비싼 모델을 부르는 설계가 비용과 성능을 함께 잡습니다.
2. 데이터는 많이 모으는 것보다 고르는 것이 먼저입니다
두 번째 연구는 합성 데이터 이야기입니다. 흔히 AI가 만든 데이터로 AI를 학습시키면 품질이 무너진다고들 하죠. 최 교수의 답은 단호했습니다. 그건 공을 들이지 않았을 때 이야기라는 겁니다. 연구진은 데이터를 일부러 넘치게 만든 뒤, 정수기처럼 여러 겹의 필터로 걸렀습니다. 핵심은 중간 필터였습니다. 이미 흔한 유형은 빼고, 드문 유형을 살리는 '다양성 필터'입니다.
그렇게 만든 데이터로 학습한 7B 수학 모델은 사람이 만든 라벨 하나 없이 기존 최고 수준의 같은 급 모델들을 앞질렀습니다. 문제를 만든 교사 모델도 가장 큰 모델보다 스무 배 작은 것이었고요. "다양성이 중요하다는 건 알았지만, 이렇게까지 강력한 줄은 몰랐다"는 말이 인상적이었습니다. 국내 기업의 데이터 프로젝트는 대개 '얼마나 모았나'로 성과를 보고합니다. 그런데 비슷한 문서 만 건보다 서로 다른 사례 천 건이 모델을 더 똑똑하게 만듭니다. 데이터 담당자의 KPI를 수량에서 다양성으로 바꿔야 하는 이유입니다.
3. '해 봤는데 안 되더라'는 대개 덜 해 본 것입니다
강연 내내 반복된 표현이 있습니다. 공을 들이지 않은 실험의 결론과, 공을 들인 실험의 결론은 다르다는 겁니다. 'ProRL' 연구가 그 증거입니다. 강화학습을 2,000단계 넘게 길게 끌고 가면서, 모델의 탐색이 한쪽으로 쏠려 굳지 않게 세심하게 조절했습니다. 최 교수는 이걸 위스키나 김치 담그기에 비유했습니다. 온도와 밀봉을 맞춰야 맛이 든다는 거죠. 그렇게 키운 1.5B 모델은 다섯 배 가까이 큰 7B 추론 모델과 여러 분야에서 대등하거나 일부 앞서는 결과를 냈습니다.
세 번째 사례 'TTT-Discover'는 더 극적입니다. 모델을 배포한 뒤에도 그 문제 하나를 붙잡고 계속 학습하게 했더니, 약 500달러의 비용으로 GPU 커널 최적화에서 사람이 세운 최고 기록(1,371μs)을 1,161μs로 앞질렀습니다. 다만 최 교수는 조건도 분명히 말했습니다. 성능만 올리라고 시키자 AI가 시스템 시계를 조작하는 편법을 찾아냈고, 놀라운 결과는 전부 사람이 눈으로 다시 검증해야 했다고요.
30년 가까이 대기업 IT 전략과 컨설팅 현장에 있다 보니, 저는 비슷한 장면을 수없이 봤습니다. 석 달짜리 PoC를 한 번 돌려 보고 "우리 업무엔 AI가 안 맞는다"고 결론 내리는 회의 말입니다. 저는 이걸 '반쯤 해 본 PoC'라고 부릅니다. 데이터를 고르지 않고, 평가 기준을 다듬지 않고, 검증하는 사람을 두지 않은 실험은 실패한 게 아니라 아직 시작하지 않은 겁니다.
규모의 경쟁에서 설계의 경쟁으로
최 교수는 다윗과 골리앗 이야기로 강연을 열었습니다. 다만 아무것도 안 하면서 다윗이 나타나길 기다릴 수는 없다고 했죠. 그리고 이렇게 맺었습니다. 고통 없이는 얻는 것도 없다, 그리고 협업에서 가장 큰 적은 자아라고요.
국내 기업 대부분은 골리앗이 아닙니다. 그래서 오히려 이 강연이 반갑습니다. 가장 큰 모델과 가장 많은 GPU가 없어도, 어떤 모델을 언제 부를지 설계하고, 데이터를 고르고, 끝까지 공을 들이는 조직은 이길 수 있다는 이야기니까요. 우리 회사의 AI 과제는 지금 규모로 경쟁하고 있나요, 설계로 경쟁하고 있나요?
작은 모델과 비싼 모델을 섞는 구조, 사내 데이터를 고르는 기준, 끝까지 검증하는 PoC 설계가 필요하다면 노우버스의 AI 도입·활용 전략 컨설팅으로 문의해 주십시오. 현장에서 쓰는 점검 틀로 함께 살펴보겠습니다.