今天想介绍一篇发布在 Uber 工程博客上的文章。
最近在引入 AI 后,很多人说“生产力不太清楚,只怕账单”。这篇文章对他们很有帮助。

标题是 "Running a Software Factory Efficiently at Uber Scale"。
数字本身就很挑衅吧?^^
Uber 曾因提前耗尽 AI 预算,被视为 AI 盲目引入导致成本浪费的典型公司。但今年从 2 月到 8 月,Agent 用户增长了 7 倍,请求次数增长了 9.4 倍,然而总体 AI 支出自 4 月起几乎保持不变。甚至在固定模型后重新测算,千次请求的费用下降了 34%,每个会话的费用下降了 52%。
这并不是换用了更便宜的模型,也不是阻止使用工具。现在 Uber 超过 70% 的 PR(PR 是指开发者将修改的代码提交给同事审查的单元,可视为一次工作)是由 Agent 完成的。
实现这一切的力量是工程。最终 AI 成本也可以通过工程来解决。能够理解公司业务的优秀 CTO、优秀 IT 专家之所以企业需要他们,就是因为这个原因。
如果把 Uber 的工程做拆解说明,
Uber 并不是把账单整体看待,而是拆分成多个乘法因素。
多少人 × 开启多少次 × 交互多少次 × 单次发送多少字符 × 每字符单价
前两个是采纳率和使用率,需要持续提升。降低它们不是成本节约,而是业务退步。需要关注的是后面的部分,因为 AI 在用户指令之上自行叠加了冗余。
因此,Uber 清除的五类冗余如下。
1. 每 5 分钟消失的记忆
AI 在每次对话时都会从头重新读取之前的对话内容。因此它会临时保存已读取的内容,但有效期只有 5 分钟。开发者离开时间往往超过这个时长,返回后临时