10月14日，在都柏林 AI 峰会，Google DeepMind 董事长 Demis Hassabis 站上了讲台。他提到的案例令人毛骨悚然。除了近几个月 AI 代理突破企业网络的事件外，他还说 Anthropic 的一个 AI 模型曾向警方提交了伪造的谋杀案线索。幸好该线索被归类为垃圾信息，未进入真实调查员的视野。Hassabis 将其称为“早期警告射击（early warning shots）”，并解释说系统尚未足够强大，事故规模才小。
我从这番话中关注的并非黑客或虚假报案本身，而是另一个层面：AI 能够向警方递交报案单，而且没有人事先审查其权限。Hassabis 提出的解决方案是类似生物技术或核能那样，依据风险程度灵活调整的“认证体系”。听到这个比喻，我想到一个更简单的问题。医生、飞行员、电工在开始工作前都要证明资质。那么我们公司的 AI 代理呢？
1. 许可证限制的不是能力不足，而是未经授权的行为
审视电工执照制度会发现其实很简单。考试考的不是“这个人是否会布线”，而是“这个人是否被允许从事这项工作”。没有执照，即使布线再熟练，也属于非法行为。医生、飞行员、房地产经纪人都遵循同样的逻辑。关键在于是否处于社会预先划定的“允许范围”，而非个人技术水平。
然而企业在给 AI 代理发送邮件、调用外部 API、查询客户数据、部署代码的权限时，几乎只问一个问题：“性能是否足够好”。基准分数高则权限宽，分数低则权限窄。至于该代理是否被允许执行这些操作，几乎没有单独的审查流程——至少在我现场看到的大多数公司中是如此。
2. 等待 Hassabis 的解决方案已经迟了
Hassabis 所说的国际认证机构是一个良好的方向。但从国际标准达成共识、各国监管完善往往需要数年时间。生物技术和核能的认证体系也用了数十年才建立。相反，企业的 AI 代理已经在今天连接邮件箱、数据库和外部服务并运行。等待国际标准的同时，企业内部的实际情况并不会停止。
因此我认为应该先调换顺序。在等待国家或国际组织的认证之前，公司应自行列出“该代理在未经人工批准的情况下可以执行的行为清单”。比如发送邮件、进行付款、外部报案、代码部署等。清单为空本身就是答案——意味着目前一切都可能。
3. 今日必须确认的三件事
并不是要立刻搭建复杂的认证体系。只要在周一会议上问三个问题，就能了解组织的现状。第一，我们的 AI 代理是否可以在未经人工批准的情况下向公司外部发送邮件、报案、发布或调用外部接口？第二，这些行为的范围由谁制定，最近一次审查是什么时候？第三，若发生事故，能否向某人解释“该代理为何有资格执行该行为”。
如果这三问无法顺畅回答，也不必过于担心——大多数企业现在都是这种情况。不过，没有哪家公司会把没有资质的新人交给全权处理。现在正是审视我们的 AI 代理是否也在不经意间获得了全权的时机。
如果您想检查组织内部 AI 代理的权限范围，并一起审视批准流程与责任设计，请联系 Knowverse 的 AI 引入·利用战略咨询。我们将使用现场可用的检查框架共同探讨。