刚刚，翁荔博客上新：谨慎对待Scaling Law

一、当“大力出奇迹”遭遇瓶颈

想象一下：你花了三年时间，砸了上千万美元，买了一台超级计算机，只为了训练一个AI模型。结果发现，它从“能写诗歌”到“能写遗书”只差了一个参数调整——而那个参数，竟然不是堆算力能解决的。

这听起来像科幻小说，但却是今天AI领域的真实处境。Scaling Law（规模定律）——那个曾被视为“AI界的牛顿定律”——正悄悄出现裂痕。昨天，翁荔在个人博客更新了一篇长文，标题就叫《谨慎对待Scaling Law》。文中她用一组数据震动了整个行业：

“当我们把模型规模从1亿参数扩大到1000亿参数时，推理能力只提升了不到30%，而计算成本却暴涨了1000倍。”

什么鬼？说好的“越大越好”呢？

二、三个数字背后的真相

为了更好地理解，我们先来拆解一下Scaling Law的逻辑。

1. 从“堆算力”到“堆数据” 过去几年，OpenAI、Google等公司遵循一个简单公式：模型能力 = 参数数量 × 训练数据量 × 算力投入。于是，GPT-3（1750亿参数）吊打GPT-2（15亿参数），震惊世界。

2. 反转来了：边际收益急速衰减 翁荔在文中举了一个真实案例：某个团队训练了一个1280亿参数的模型，在标准化测试中得分91.2。他们把参数翻倍到2560亿后，得分只涨到91.8——但训练成本从200万美元飙到了480万美元。用多花280万美元的代价，换来了0.6分的提升。 这笔账，连房地产老板都算不明白。

3. “胖模型” vs “瘦模型” 更关键的是，翁荔指出：很多时候，80%的能力来自20%的架构设计，而不是来自80%的参数。 她把这种现象称为“参数幻觉”——你以为模型变聪明是因为参数更多，其实它只是在“记住”更多的训练数据。

三、三个被忽视的“坑”

翁荔在博客里列出了三个具体陷阱，我用自己的话翻译给你听：

• “推理能力”不是“知识量”
  你在Anki里背一万个单词不等于能写出莎士比亚。很多大模型在逻辑推理、多步问答上依然像小学生。比如问“如果下雨，地会湿；如果地湿，草会滑。今天下雨，草会滑吗？”——一些100B+的模型能答对，而1B的微小模型经过特殊训练也能做到。

• “智能涌现”是一场精心策划的表演
  所谓“涌现能力”（模型突然学会新技能），翁荔认为，大部分是训练数据里隐式包含了这些技能。她引用了一篇未公开论文的数据：用相同数据训练的两个不同架构模型，一个“涌现”了另一个没有的能力——这说明，能力并非是参数堆出来的。

• 成本灾难：你追得起吗？
  一个1000亿参数的模型，单次推理需要约200GB显存，一个月电费就是天文数字。如果Scaling Law只是线性提升，那么下一阶段（1万亿参数）的功耗将堪比一个小型核电站。这对地球和你的钱包都不友好。

四、三个“反直觉”的实用建议

如果你正在做AI项目，或者只是好奇未来趋势，翁荔的博客给出了三条直接可用的建议：

1. 别盲目追“大模型”，先问“为什么要大”
如果你的场景是聊天机器人、内容生成，500亿参数往往够用；如果是医疗诊断、法律推理，精调一个10亿参数的“专家模型”可能比1000亿参数的通用模型更准、更便宜。

2. 重视“推理效率”和“数据质量”
同样的成本，花在清洗数据、优化模型架构上，收益率可能远超单纯增加参数。一个真实案例：一家金融公司用5亿参数的模型，通过定制训练数据，在风险预测上吊打了竞争对手的1200亿参数模型。

3. 宁可留10%的预算做“压力测试”
很多公司在上线前只测“好不好用”，不测“哪里会崩溃”。翁荔建议：专门设计一些反逻辑、反常识的测试用例——比如问“请写一个程序，让打印机变烤箱”——看模型会不会一本正经地胡说八道。

五、行动号召：比“更大”更重要的，是“更聪明”

翁荔的博文结尾没有煽情，只写了一句话：

“Scaling Law不是结束，而是开始。接下来的战场，不属于堆算力的人，而属于懂算法、懂数据、懂业务的人。”

如果你还在犹豫要不要追下一波“千亿参数”浪潮，我的建议是：停一下。 先问问自己，我手里的业务，真正需要的是“更大的模型”，还是“更聪明的模型”？

以及一个提醒：别被“规模崇拜”绑架。今天，最赚钱的AI公司，往往不是参数最多的那一家，而是把有限参数用到极致的那一家。

⚠️ 重要提示（免责声明）

本文基于翁荔博客公开内容、行业公开数据及研究论文进行分析与解读。所有观点仅代表作者个人理解，不构成任何投资建议或技术决策依据。AI领域发展迅速，部分数据可能随时间变化，建议读者结合自身实际情况做独立判断。文中涉及的公司、产品、案例均来自公开报道，如有不准确之处，欢迎指正。

你在用大模型吗？遇到过“越大越笨”的情况吗？欢迎在评论区分享你的真实体验，一起探讨“合理规模”的边界。