오늘은 우버 엔지니어링 블로그에 올라온 글을 소개하고자 합니다.
최근 AI 도입하고 나서 "생산성은 잘 모르겠고 청구서만 무섭다"는 말을 하신분들이 많습니다. 그분들에게 도움이 되는 글입니다.
제목은 "Running a Software Factory Efficiently at Uber Scale".
숫자부터 도발적이죠? ^^
우버는 과거에 AI 예산을 조기 소진하여 AI의 무분별한 도입으로 인한 비용 낭비의 대표로 소개되었던 회사입니다. 근데 올 해에는 2월부터 8월까지 에이전트 사용자는 7배, 요청 건수는 9.4배 늘었음에도 총 AI 지출은 4월 이후로 거의 제자리입니다. 심지어 모델을 고정해놓고 다시 재보니 1,000요청당 비용은 34%, 세션당 비용은 52% 떨어졌습니다.
싼 모델로 갈아탄 것도, 툴을 못 쓰게 막은 것도 아닙니다. 지금 우버는 전체 PR(PR은 개발자가 고친 코드를 동료 검토에 올리는 단위입니다. 작업 한 건이라고 보시면 됩니다.)의 70% 이상을 에이전트가 만들고 있습니다.
이걸 가능하게 함 힘은 엔지니어링. 결국 AI비용 또한 엔지니어링으로 해결 가능합니다. 회사업무를 이해하는 유능한 CTO, 유능한 IT전문가가 기업에 필요한 이유는 이 때문입니다.
우버의 엔지니어링을 풀어서 설명드리면,
우버는 청구서를 통째로 보지 않고 여러 개의 곱셈으로 쪼갰습니다.
몇 명이 × 몇 번 켜서 × 몇 번 주고받고 × 한 번에 얼마나 많은 글자를 보내는가 × 글자당 단가
앞의 두 개는 도입률과 활용도라서 계속 키워야 할 값입니다. 줄이면 비용 절감이 아니라 사업 후퇴죠. 손댈 곳은 뒤쪽입니다. 사용자가 시킨 일 위에 AI가 스스로 얹은 군살이니까요.
이에 따라 우버가 걷어낸 군살 다섯 가지입니다.
1. 5분마다 사라지는 메모
AI는 말을 주고받을 때마다 그동안 오간 대화를 처음부터 다시 읽습니다. 그래서 읽은 내용을 임시 저장해두는데, 유효기간이 5분이었습니다. 개발자들은 그보다 오래 자리를 비웠고, 돌아올 때마다 저장분이 날아가 정가로 다시 읽었습니다. 1시간으로 늘렸습니다.
2. 안 쓰는 설명서까지 들고 다니기
AI에 외부 도구를 연결하면 사용법 설명서가 함께 실립니다. 100개를 붙이면 그날 하나도 안 쓸 99개의 설명서까지 매번 딸려갑니다. 필요한 순간에 꺼내 쓰는 방식으로 바꿨습니다.
3. 심부름 시켜놓고 옆에서 지켜보기
데이터 조회 한 건에 "보냈습니다" "아직인가요" "다 됐나요"를 AI가 일일이 주고받고 있었습니다. 그 오간 말이 전부 돈입니다. 반복은 프로그램이 돌리고 AI는 최종 결과만 받게 했더니, 결과가 한 줄인 작업에서도 절반 넘게 줄었습니다.
4. 지도 없이 내보내기 개선
같은 질문, 같은 AI로 비교했습니다. 사내 정보 지도에 연결된 쪽은 38초 만에 맞혔고, 연결 안 된 쪽은 20분을 헤매다 틀렸습니다. 그래서 map을 구성했습니다.
5. 총액만 들여다보기
"이번 주에 얼마 썼습니다"는 아무 행동도 바꾸지 못합니다. 우버는 작업마다 낭비 유형 16가지를 잡아내 손해 금액과 처방을 붙였습니다. 한도를 걸어 잠그는 대신 실시간 금액 표시와 알림만 달았고요.
위 다섯 가지가 모든 회사에 똑같이 적용된다고 볼 수는 없습니다. 하지만 엔지니어 수천 명, 코드 수억 줄인 조직에서 성과를 냈다면 한번쯤 참고해볼 필요가 있겠죠. 대신 각 기업의 사정에 맞게 방법론을 커스터마이징해서 적용해야 할 것입니다.
그리고 무엇보다 지금 나가는 AI 비용의 상당 부분은 가치를 만들지 않는 지출일 가능성이 큽니다. 이 경우, 예산을 줄여서가 아니라 설계를 고쳐서 되찾을 수 있는 몫이고요.