TL;DR
MIT 프로젝트 NANDA의 2025년 조사에서 기업 생성형 AI 파일럿의 95%가 손익에 측정 가능한 영향을 주지 못한 것으로 나타났습니다. 원인은 모델 성능보다 조직의 측정 방식에 있었습니다 — 착수 전 베이스라인, 성공 기준, 확산·중단 기준을 문서화하지 않은 채 파일럿을 진행한 경우가 대부분입니다. 이 글은 파일럿을 시작하기 전에 정해야 할 베이스라인·비용 항목·확산 판단 기준을 실무 순서로 정리합니다.
"AI 파일럿을 돌렸는데 효과가 있었는지 잘 모르겠다"는 말은 자주 듣지만, 정말 효과가 없었던 경우보다 애초에 비교할 기준이 없었던 경우가 훨씬 많습니다. ROI는 "도입 후 지표"만으로는 계산할 수 없고, 반드시 "도입 전 지표"와의 차이로 계산됩니다. 그 도입 전 지표, 즉 베이스라인을 착수 시점에 정해두지 않으면 파일럿이 끝난 뒤 아무리 좋은 결과가 나와도 이를 증명할 방법이 없습니다.
AI 파일럿의 ROI, 왜 측정이 이렇게 어려운가
MIT 프로젝트 NANDA가 임원 인터뷰 150여 건과 공개된 AI 도입 사례 300여 건을 분석한 2025년 보고서에 따르면, 기업 생성형 AI 파일럿의 95%가 손익(P&L)에 측정 가능한 영향을 주지 못한 것으로 나타났습니다. (출처: Fortune, "MIT report: 95% of generative AI pilots at companies are failing", 2025-08-18 게재 / 2026-08-03 확인) 보고서를 이끈 연구진은 이 문제의 핵심 원인을 모델 성능이 아니라 "학습 격차"— 도구와 조직이 실제 업무 흐름에 맞춰 적응하지 못하는 현상—로 지목했습니다. 즉 AI가 일을 못 해서가 아니라, 그 결과를 조직이 측정하고 흡수할 준비가 안 된 경우가 대부분이라는 뜻입니다. 측정 준비가 안 됐다는 말은 구체적으로, 파일럿을 시작하기 전에 "무엇이 좋아지면 성공인지"를 숫자로 정의하지 않았다는 뜻입니다.
ROI를 측정하려면 파일럿 착수 전에 무엇부터 정해야 하나 — 베이스라인
맥킨지가 2025년 11월 발표한 글로벌 AI 설문(105개국 1,993명 응답)에서도 비슷한 진단이 나옵니다. 응답 기업의 약 3분의 2가 아직 AI를 전사적으로 확산하지 못한 "파일럿 단계"에 머물러 있었고, 성과가 높은 조직일수록 파일럿마다 책임 오너, 측정된 베이스라인, 명확한 가치 단위, 전체 비용을 반영한 단위 경제성, 근거 기반 확산 기준, 그리고 중단 기준을 사전에 합의해 둔다는 공통점이 확인됐습니다. (출처: McKinsey, "The State of AI in 2025: Agents, innovation, and transformation", 2025-11-05 게재 / 2026-08-03 확인) 실무적으로 베이스라인이란 파일럿을 시작하기 전, 같은 업무를 사람이 처리할 때 걸리는 시간·오류율·처리 건수·인건비 등을 먼저 측정해 기록해 두는 것입니다. 착수 전 며칠만 투자해 이 숫자를 남겨두면, 파일럿이 끝난 뒤 "그래서 얼마나 좋아졌는가"를 근거 있게 말할 수 있습니다.
ROI 계산에서 자주 빠지는 비용 항목은 무엇인가
베이스라인 못지않게 자주 누락되는 것이 비용 쪽입니다. 도구 라이선스 비용만 ROI 계산에 넣고, 다음과 같은 "숨은 비용"은 빠뜨리기 쉽습니다.
- 검수 시간 — AI 산출물을 사람이 확인·수정하는 데 드는 시간 (자동화 이전에는 없던 새로운 작업 단계)
- 재작업 — 오류로 인해 처음부터 다시 처리해야 하는 비용
- 러닝커브 — 담당자가 도구에 익숙해지기까지 초기 몇 주간 떨어지는 생산성
- 통합·유지보수 — 기존 시스템과 연동하고 프롬프트·설정을 지속적으로 관리하는 인력 시간
맥킨지가 정리한 "전체 비용을 반영한 단위 경제성(fully loaded unit economics)" 개념이 바로 이 지점을 가리킵니다. 라이선스 비용만 비교하면 ROI가 실제보다 부풀려지고, 확산 이후 숨은 비용이 드러나면서 기대와 실제 성과의 괴리가 커집니다.
파일럿에서 확산으로 넘어가는 판단 기준은 어떻게 설계하나
확산 여부를 파일럿이 끝난 뒤에 논의하면, 이미 투입한 시간과 기대가 판단을 왜곡하기 쉽습니다. 맥킨지 조사가 강조하는 원칙은 확산 기준(scale gate)과 중단 기준을 파일럿을 시작하기 전, 열기가 오르기 전에 미리 합의해 두는 것입니다. 실무적으로는 다음 세 가지를 착수 전 문서 한 장에 담아두는 방식이 효과적입니다.
- 확산 기준 — 베이스라인 대비 어느 지표가 몇 % 이상 개선되면 확산하는지
- 중단 기준 — 몇 주 안에 어떤 결과가 안 나오면 중단하는지
- 판단 주체 — 확산·중단을 누가, 언제 결정하는지
이 기준을 착수 전에 문서로 남겨두면, 결과가 애매할 때도 감정이 아니라 미리 합의한 숫자로 판단할 수 있습니다.
사내 직접 구축과 외부 벤더 도입, ROI에 어떤 차이가 있나
같은 MIT NANDA 조사는 실행 방식에 따른 성공률 차이도 함께 보여줍니다. 전문 벤더의 도구를 도입하거나 파트너십으로 진행한 파일럿은 성공률이 약 67%였던 반면, 사내에서 처음부터 직접 구축한 파일럿은 성공률이 그 3분의 1 수준에 그쳤습니다. (출처: Fortune, 앞의 기사, 2026-08-03 확인) 이 수치를 절대 기준으로 받아들이기보다는, 자체 구축을 선택할 때 통합·유지보수 부담을 과소평가하지 않도록 베이스라인·비용 항목을 더 보수적으로 잡아야 한다는 참고로 활용하는 것이 합리적입니다.
자주 묻는 질문
AI 파일럿 ROI 측정이 대부분 실패하는 이유는 무엇인가요?
MIT 프로젝트 NANDA의 2025년 조사에 따르면 기업 생성형 AI 파일럿의 95%가 손익(P&L)에 측정 가능한 영향을 주지 못했습니다. 원인은 모델 성능이 아니라 조직의 통합·운영 방식이었고, 특히 착수 시점에 비교할 베이스라인과 성공 기준을 정하지 않은 경우가 많았습니다.
이미 베이스라인 없이 진행 중인 파일럿은 어떻게 해야 하나요?
지금이라도 도입 전 상태를 재구성한 프록시 지표를 정의하는 것이 최선입니다. 과거 처리 시간·오류 건수 로그, 담당자 인터뷰로 추정한 기존 소요 시간 등을 베이스라인 대용으로 삼고, 이후 파일럿부터는 착수 전 베이스라인 측정을 표준 절차로 만들어야 합니다.
파일럿을 확산할지 결정하는 기준은 언제, 누가 정해야 하나요?
확산 기준(scale gate)과 중단 기준은 파일럿을 시작하기 전에 사업 오너와 경영진이 함께 정해야 합니다. 결과가 나온 뒤에 기준을 정하면 이미 투입한 비용과 기대가 판단을 왜곡하기 쉽기 때문에, 착수 전 문서화가 원칙입니다.
사내 직접 구축과 외부 벤더 도입, ROI 측면에서 무엇이 다른가요?
MIT NANDA 조사에서는 전문 벤더 도구를 도입하거나 파트너십으로 진행한 경우 성공률이 약 67%였던 반면, 사내에서 처음부터 구축한 경우 성공률은 그 3분의 1 수준에 그쳤습니다. 다만 이는 표본 특성이 반영된 수치이므로, 절대 기준이 아니라 자체 구축 시 통합·유지보수 부담을 과소평가하지 말라는 참고로 활용해야 합니다.
다음 단계 — 베이스라인·성공 기준·확산 조건을 파일럿 착수 전에 한 번에 정리하고 싶다면 「기업 AI 도입 실전 체크리스트」(진단 시트 포함)를 활용하세요. 확산이 결정된 뒤 경영진 보고 자리에서 이 지표를 근거로 제시하는 방법은 「임원용 AI 브리핑 템플릿 팩」에서 다룹니다. 조직의 AI/개발 준비도를 외부 관점에서 객관적으로 진단하고 싶다면 노우버스 기술 실사(TechDD)로 문의해 주세요.