2023年9月8日，曾在 OpenAI 和 Anthropic 从事三年预训练研究的 Jacob Coxon 辞职并在 X 上写道。两家公司正以超智能威胁人类生命。此消息已通过国内多家媒体报道，很多人已经看到。于是我想讨论随后 Anthropic CEO Dario Amodei 的 "We Must Pace the Frontier" 文章。几小时后，Sam Altman 表示同意，OpenAI 也将采取相同措施，Elon Musk 也赞同。国内媒体将其报道为“AI 开发公司自行放慢速度”。然而，前沿模型开发公司真的达成了放慢速度的共识吗？
不是的。这不是减速声明，而是改变游戏规则的宣言。直接说结论，场上的选手们现在甚至想自己担任裁判。由于仍有很多人未意识到事态严重，我快速发文提醒。
1. Amodei 所写的内容
Amodei 提到了“递归自我改进（RSI）”。自去年夏季起，AI 开始生成下一代 AI，发展速度急剧加快，他强调若继续如此，将超出人类的理解和控制能力。典型案例是 OpenAI 的 Hugging Face 被黑事件。
他提出了三阶段方案。
第一阶段 常驻评估员——向 METR（Model Evaluation and Threat Research，非营利 AI 安全研究机构）等第三方评估团队授予相
首先，模型必须从基础开始构建。只有从基础开始构建的人才能解释为什么这个模型会这样运行。当蒸馏监管成为国际规范时，也需要考虑到向他人学习的途径本身会变得狭窄这一点。
其次，计算资源。现在，不仅要考虑技术本身，还要考虑供应链的政治稳定性。
第三，模型评估和验证能力。前两点目前正在推进，但是现在最缺乏的是评估和验证能力。如果常驻评估者制度成为国际规范，那么各国要么使用自己的标准来评估和验证自己的模型，要么需要获得其他国家的认证。因此，需要韩国式的评估标准、韩语背景下的风险基准、独立的红队，以及把这项工作作为职业的研究者团队。如果没有这样的组织，就会出现制造模型后等待其他国家认证的情况。
我并不认为AI模型的危险性被夸大了。然而，危险性是真实存在的，而谁来制定管理这些危险的规则，以及如何