两篇论文相隔两年，结论看似矛盾：前者说「模型要大」，后者说「数据要够」。真正被修正的不是幂律形式，而是配比。
一、Kaplan 等人（2020）：幂律登场
OpenAI 的 Kaplan 等人在 Scaling Laws for Neural Language Models 中给出了一组经验规律：测试集交叉熵损失随模型参数量 N、数据量 D、计算量 C 呈幂律下降。
核心结论：
- 损失对 N、D、C 都是幂律，在对数坐标下近似直线；
- 架构细节（层数、宽度、注意力头数）的影响远小于规模，只要总参数量固定，形状不那么重要；
- 给定固定算力预算，最优策略是训练一个非常大的模型，而不是充分训练一个小模型。
最后一条直接塑造了 2020-2022 年的行业行为：GPT-3 175B、Gopher 280B、MT-NLG 530B，参数一路往上冲，训练 token 数却相对有限（GPT-3 约 300B token，相当于每参数不到 2 个 token）。
二、Chinchilla（2022）：配比错了
DeepMind 的 Hoffmann 等人重新做了更严格的实验，得出不同结论：
在固定算力下，模型参数量与训练 token 数应当同比例增长，最优配比约为 每参数 20 个 token。
他们训练的 Chinchilla（70B 参数、1.4T token）在大量下游任务上超过了 280B 的 Gopher，而计算预算更低。
两版结论的差异来自哪里？主要是实验设定：
| 维度 | Kaplan 2020 | Chinchilla 2022 |
|---|---|---|
| 学习率调度 | 固定步数下比较，未充分调优 | 每个模型用匹配的 cosine 调度 |
| 数据量控制 | 数据量变化时未充分延长训练 | 严格控制 token 数与训练步数 |
| 结论 | 优先堆参数 | 参数与数据等比扩张 |
换句话说：Kaplan 的幂律形式没错，但「优先堆参数」是实验设计导致的偏差。
三、工程含义
- 训练预算的分配公式。给定算力 C，最优 N 与 D 大致满足 N ∝ C^0.5、D ∝ C^0.5——两者同步增长，而不是只涨一个。
- 「训练不足的大模型」是浪费。一个 70B 模型只喂 300B token，效果可能不如 30B 喂 900B。
- 推理成本也要算进去。Chinchilla 之后，业界进一步发现：如果考虑长期推理开销，在总预算里给训练多分一点、模型做小一点（over-train，每参数 100～300 token）反而更划算。LLaMA 系列就是这个思路的代表。
- 数据成为瓶颈。按 20 token/参数 计算，一个 1T 参数模型需要 20T token 的高质量数据，而公开可用高质量文本早已捉襟见肘。这直接催生了数据合成、数据清洗、多语种扩充、以及「小模型 + 高质量数据」的路线。
四、被后来者补充的部分
- 推理侧缩放（test-time scaling）：2024 年之后，o 系列与 R1 证明「推理时多花算力」也能沿另一条曲线提升效果，缩放定律从训练扩展到了推理。
- 数据质量优先于数量：同样是 1T token，去重、过滤、配比不同，效果差异远大于规模差异。
- 能力不是均匀缩放：某些能力（如多步数学推理）在规模达到阈值前几乎不出现，呈现涌现特征；但后续研究指出部分「涌现」是评价指标不连续造成的假象，需要按任务具体分析。
五、给技术选型的启示
- 不要迷信「参数大 = 强」。同等算力下，数据配比和训练充分度往往比参数更有解释力。
- 评估一个开源模型时，除了看参数量，要看它训练了多少 token、数据来源与配比是否公开。
- 企业自训小模型（1B～30B）时，高质量领域数据的边际收益远高于继续加参数，这是私域数据真正的价值所在。
参考
- Kaplan, J., et al. Scaling Laws for Neural Language Models. 2020. arXiv:2001.08361
- Hoffmann, J., et al. Training Compute-Optimal Large Language Models. 2022. arXiv:2203.15556
- Touvron, H., et al. LLaMA: Open and Efficient Foundation Language Models. 2023. arXiv:2302.13971