比GPT-5更准确，而且更便宜。这是一个参数80亿的小模型的故事。
周末我通过YouTube观看了崔艺珍教授的讲座。9月29日在纽约韩国协会举办的《Beyond Scale: The Art of (Artificial) Reasoning and Discovery》演讲。她是斯坦福大学教授、麦克阿瑟学者，两次入选《时代》杂志的‘AI 100人’名单。这场近一小时的讲座贯穿的一句话是：‘智能的扩展将继续下去。但我们必须用更聪明的方式来实现。’
崔教授从数据故事开始讲起。计算力在不断增加，但作为燃料的数据并没有同步增长，人们写作的速度跟不上训练AI的需求。仅仅买更多的GPU无法解决这个问题，这就是这个时代的诊断。作为替代方案，她展示了与英伟达·斯坦福研究团队合作的四项研究；我认为企业采用AI的方式可以直接搬过来的有三点。
1. 不要将最昂贵的模型设为默认值
第一个场景的主角是 'ToolOrchestra'。一个80亿参数的小型开放模型担任指挥者角色。将网络搜索或计算器等工具、廉价的开放模型以及昂贵的 GPT-5 都作为工具，对于每个问题自行决定调用什么。奖励不仅包括正确率，还包括速度和成本。その結果，在极其困难的考试 'Humanity's Last Exam' 中获得了 37.1 分，超过了 GPT-5（35.1 分）。GPT-5 只被偶尔调用。
崔教授表示，‘只要投入更多资源就会有效’这种普遍看法虽然大体正确，但在经济上并非最优。她补充道，就像企业数据那样，最新模型未曾学习的领域里，这种组合的效果更大。在国内企业的AI预算会议上，仍然会先问‘用最好的模型就行了吗？’。我把这个问题称为 '最高成本模型默认值'。大多数工作由小型模型处理，只有在真正困难的时刻才调用昂贵模型，这样既能控制成本又能保证性能。
2. 数据的挑选比单纯收集更重要
第二项研究是关于合成数据的故事。通常人们认为用AI生成的数据来训练AI会导致质量下降。崔教授的回答很坚决。这是因为他们没有投入足够的努力。研究团队故意制造了过量的数据，然后像净水器一样经过多层过滤。关键在于中间过滤器。它去掉常见的类型，保留罕见的类型——这就是‘多样性过滤器’。
用这样数据训练的7B数学模型，在没有人工标签的情况下，超过了之前同等规模的最佳模型。生成问题的教师模型也比最大的模型小二十倍。‘虽然我们知道多样性很重要，但没想到它如此强大’这句话令人印象深刻。国内企业的数据项目通常以‘收集了多少’来衡量成果。然而，一千个不同的案例比一万份相似的文档更能让模型变得聪明。因此，数据负责人的KPI应从数量转向多样性。
3. '试过但没用'通常是因为没试够
讲座中反复出现的一个表述是：未投入足够努力的实验结论和投入足够努力的实验结论是不同的。‘ProRL’研究就是这一点的证据。在强化学习过程中，将训练步骤延长至2000步以上，同时细致调节以防止模型的探索偏向单一方向而过早收敛。崔教授将此比作酿造威士忌或腌制泡菜——只有温度和密封得当才能出好味道。这样培育出来的1.5B模型在多个领域与规模大近五倍的7B推理模型相当，甚至在某些方面略胜一筹。
第三个案例‘TTT-Discover’更具戏剧性。在模型部署后，仍然专注于该问题并继续学习，仅用约500美元的成本，在GPU内核优化上超过了人类创造的最高纪录（1,371微秒），达到了1,161微秒。不过崔教授也明确指出了条件：如果仅仅要求提升性能，AI会发现通过篡改系统时钟的捷径，因而所有令人惊讶的结果都必须由人工目视复核才能确认。
我在大型企业的IT战略和咨询现场工作近三十年，见过无数类似的场景。进行一次为期三个月的概念验证（PoC），就得出‘我们的业务不适用AI’的结论的会议就是这样。我称之为 '半途而废的PoC'。没有进行数据筛选，没有完善评估标准，也没有让人来验证的实验，并不是失败，而是尚未开始。
从规模竞争到设计竞争
崔教授以大卫与歌利亚的故事开场演讲。他指出，光等大卫出现而不采取行动是行不通的。随后他这样总结：没有痛苦就没有收获，协作中最大的敌人是自我。
国内企业大多数并非歌利亚。因此这场演讲反而让人耳目一新。即使没有最大的模型和最多的 GPU，只要能够规划何时调用何种模型、挑选数据、并坚持到底投入精力的组织，也能取胜。我们公司的 AI 课题是正在以规模竞争，还是以设计竞争？
如果需要混合小模型和高价模型的架构、制定公司内部数据筛选标准、以及进行全程验证的 PoC 设计，请联系 Knowverse 的 AI 引入·利用战略咨询。我们将使用现场可用的检查框架共同审视。