2주 만에 만든 AI를 7개월 동안 내놓지 않은 회사가 있습니다. 메타입니다.
메타 AI 조직을 이끄는 알렉산더 왕이 이달 11일 공개된 데이비드 센라의 팟캐스트에서 개인 AI 에이전트 '뮤즈(Muse)'를 만든 과정을 70분 동안 풀어놨습니다. 2월에 방향을 정하고, 1~2주 만에 프로토타입을 만들어 이사회에 시연했습니다. 최종 제품에 들어간 기능 상당수가 그 첫 시연에 이미 있었다고 합니다. 그런데 출시는 9월이었습니다. 남은 7개월 동안 무엇을 했을까요?
1. 80점짜리 체크포인트는 탈락이었습니다
왕의 설명은 이렇습니다. 개인 에이전트가 갖춰야 할 행동과 능력을 100개 넘게 스프레드시트에 적었습니다. 행마다 "이 아래면 출시 불가"라는 선과 "이 위면 좋다"는 선을 따로 그었습니다. 모델을 학습시키다 보면 80개 행은 초록, 20개 행은 빨강인 체크포인트가 여러 번 나왔는데, 그건 출시 대상이 아니었습니다. 모든 행이 초록으로 바뀐 첫 체크포인트가 나왔을 때 비로소 출시했습니다.
저는 이 대목에서 오래 멈췄습니다. 국내 기업의 AI 과제 보고서를 떠올려 보면 대개 숫자 하나로 끝납니다. "정확도 85%". 평균은 그럴듯한데, 나머지 15%가 어디서 틀리는지는 표에 없습니다. 고객 정보를 엉뚱한 사람에게 보내는 실수와 맞춤법 실수가 같은 1점으로 계산되는 거죠. 그러니 PoC는 통과했는데 현업은 못 쓰겠다는 말이 나옵니다.
저는 이걸 '출시 차단선'이라고 부르겠습니다. 평균 점수가 아니라 행동 단위로, 이 선을 못 넘으면 아무리 다른 점수가 좋아도 내보내지 않는 기준입니다. 메타가 7개월을 쓴 건 기능을 더하는 일이 아니라 빨간 칸을 지우는 일이었습니다.
2. 스무디가 된 제품은 사용자가 먼저 압니다
두 번째로 눈에 띈 건 팀 크기입니다. 모델과 제품을 합쳐 200명이 안 됐다고 합니다. 회사 전체가 가장 중요하게 여긴 제품이었는데도 일부러 작게 유지했다는 겁니다.
왕은 큰 조직에서 나오는 제품을 '스무디'에 비유했습니다. PM마다 자기가 원하는 기능을 하나씩 밀어 넣다 보면, 여러 사람의 비전이 갈려 섞인 결과물이 나온다는 거죠. 사용자는 그걸 귀신같이 느낀다고요. 뮤즈는 냇 프리드먼 한 사람의 취향과 감각이 제품 전체를 결정했다고 그는 분명히 말했습니다.
현업에서 이 장면, 익숙하지 않나요? 전사 AI TF가 꾸려지면 영업은 영업대로, 재무는 재무대로, 감사는 감사대로 요구사항을 냅니다. 회의에서 빠지면 서운해하니 다 넣습니다. 그렇게 만든 챗봇은 모든 부서의 요구를 반영했는데 아무 부서도 즐겨 쓰지 않습니다. 저는 AI 과제에서 가장 먼저 정해야 할 것이 모델이 아니라 '최종 판단자 한 명'이라고 봅니다.
3. 신뢰는 기능이 아니라 출시 조건입니다
프로토타입이 나오기 전, 프리드먼이 쓴 메모 제목 중 하나가 "trust is a must"였습니다. 왕은 이 문장이 뮤즈의 핵심 설계를 정했다고 했습니다. 실제로 뮤즈는 결제와 쇼핑까지 대신 처리하는 에이전트라 신뢰가 무너지면 제품 자체가 성립하지 않습니다.
공정하게 말하면 메타가 이 시험을 통과했는지는 아직 모릅니다. 출시 뒤 미국 언론에서는 뮤즈가 사용자와 대화 상대에 대한 정보를 얼마나 쌓는지, 지워 달라고 한 기록이 실제로 지워지는지를 두고 비판이 나왔습니다. 설치 다음 날 재방문율은 ChatGPT의 두 배 가까웠지만 열흘쯤 지나면 역전된다는 시장조사 결과도 있습니다. 메타는 하루 35억 명이 쓰는 앱이라는 배포력을 가진 회사이고, 우리 대부분은 그런 무기가 없습니다.
그래서 우리에겐 더 중요합니다. 배포력도 자본도 메타만 못한 회사라면, 신뢰를 잃었을 때 다시 기회를 얻기 어렵습니다. 사내 에이전트가 어떤 데이터를 보고, 무엇을 기억하고, 누가 그 기록을 지울 수 있는지는 출시 후에 붙이는 기능이 아니라 출시 차단선 안에 들어가야 할 항목입니다.
4. 데모는 2주, 출시는 7개월
진행자가 AI 업계의 7개월은 다른 업계의 10년 같다고 하자, 왕은 그 시간을 버틴 공을 저커버그의 인내에 돌렸습니다. 경영진이 이 숫자를 거꾸로 읽으면 곤란합니다. "2주 만에 데모가 나왔으니 한 달이면 되겠네"가 아니라, "데모까지 2주라면 쓸 만한 제품까지는 그 열 배 이상"이라고 읽어야 합니다.
그럼 우리 회사 AI 과제를 이 기준으로 다시 보면 어떨까요?
평균 점수 대신 행동 목록과 출시 차단선이 있나요?
그 목록을 최종 판단하는 사람이 한 명으로 정해져 있나요?
데이터 접근과 기록 삭제가 차단선 안에 들어가 있나요?
셋 중 하나라도 비어 있다면, 지금 필요한 건 더 좋은 모델이 아니라 더 엄격한 표입니다.
사내 AI 과제의 출시 기준을 함께 짜 보고 싶으시다면 편하게 연락 주세요. 노우버스 AX 컨설팅