지난주 서울 삼성동에서 열린 한 AI 서밋의 주제가 오래 남았습니다. "AI 도입 다음은 운영." 무대에 오른 어느 CAIO는 이렇게 정리하더군요. "AI 도구를 쓰는 조직에서, AI가 일하는 조직으로 바뀌어야 한다"고요. 옳은 진단입니다. 그런데 저는 그 말 앞에서 박수를 치기보다, 조금 다른 질문이 먼저 떠올랐습니다.
지난 2~3년, 거의 모든 기업이 앞다투어 AI를 '도입'했습니다. 파일럿을 돌리고, 데모를 보고, 보도자료를 냈죠. 그런데 정작 손에 잡히는 성과를 내는 곳은 왜 이렇게 드물까요? 저는 30년 가까이 IT 전략과 CTO, 컨설팅 현장을 오가며 이 장면을 반복해서 봤습니다. 문제는 늘 모델이나 도구가 아니었습니다. 그 다음 칸, 아무도 열심히 이야기하지 않는 '운영'이었습니다.
도입은 시연이고, 운영은 제품입니다
도입은 사실 쉽습니다. 요즘은 계정 하나만 만들면 반나절 만에 그럴듯한 데모가 나옵니다. 경영진 앞에서 박수도 받죠. 문제는 그 데모가 실제 업무의 한복판으로 들어오는 순간부터입니다. 요청은 매번 모양이 달라지고, 예외가 튀어나오고, 붙여 놓은 도구가 중간에 말썽을 부립니다. 데모에서는 안 보이던 것들이, 운영에서는 전부 보입니다.
저는 이걸 '도입과 운영 사이의 골짜기'라고 부릅니다. 새로운 기술이 들어올 때마다 이 골짜기는 늘 있었습니다. ERP가 그랬고, 클라우드 전환이 그랬습니다. 도입은 프로젝트로 끝나지만, 운영은 끝나지 않으니까요. 그리고 대부분의 실패는 도입이 잘못돼서가 아니라, 이 골짜기를 건널 준비 없이 뛰어들어서 생깁니다.
에이전트는 이 골짜기를 더 깊게 만듭니다
예전 시스템은 사람이 버튼을 눌러야 움직였습니다. 그래서 문제가 생겨도 사람이 멈출 수 있었죠. 그런데 에이전트는 다릅니다. 스스로 판단하고, 스스로 도구를 부르고, 스스로 다음 행동을 정합니다. 편리한 만큼, 책임과 비용과 보안이 전부 실시간으로 걸립니다.
실제로 현장에서 자주 듣는 이야기가 있습니다. 에이전트를 붙여 놨더니 어느 날 API 비용이 예상의 몇 배로 뛰어 있더라, 누가 승인한 적 없는 작업을 대신 처리해 놨더라, 하는 것들이죠. 이건 모델 성능 문제가 아닙니다. '자율적으로 움직이는 무언가를 우리 조직이 감당할 체계가 있는가'의 문제입니다. 도구가 똑똑해질수록, 그 도구를 운영하는 규율이 더 중요해집니다.
결국 질문은 하나입니다. 누가 운영을 소유하나요?
저는 이걸 '운영 소유권'이라고 부릅니다. 에이전트가 낸 결과의 품질은 누가 책임지나요? 비용이 새는지는 누가 지켜보나요? 어떤 데이터까지 건드려도 되는지, 그 선은 누가 긋나요? 이 질문들에 이름과 얼굴로 답할 수 있는 조직은 운영으로 넘어갑니다. 답하지 못하는 조직은 계속 도입만 반복합니다. 파일럿의 무덤이죠.
그래서 저는 AI 도입을 검토하는 분들께 순서를 바꿔 보시길 권합니다. "어떤 모델을 쓸까"보다 "이걸 누가, 어떤 규율로 운영할까"를 먼저 그려 보는 겁니다. 운영의 밑그림이 없는 도입은, 아무리 화려해도 결국 골짜기 앞에서 멈춥니다.
혹시 지금 조직에서 AI가 데모 단계를 못 벗어나고 있다면, 모델을 바꿀 게 아니라 운영의 구조를 먼저 들여다볼 때입니다. 저희 노우버스는 기업의 기술과 조직이 이 골짜기를 건널 수 있는 상태인지, 바깥의 눈으로 냉정하게 진단해 드리는 일을 합니다. 도입은 끝났습니다. 승부는 이제 운영에서 납니다.
AI도입부터 운영까지 함께 도와줄 전문가를 찾고 있다면 연락주세요. 노우버스는 CTO구독 서비스를 제공합니다.