小模型反复吐出词句，稍大的模型能拼出语法，却未必说得清意思；再往上，有时已经能组织一段诗。这幅从“复读”到“写诗”的图景很吸引人，但它只是帮助理解的示意，具体能力仍需具体任务来测量。另一个模型早已把训练题做对，新题却长期不会，继续训练后，新题准确率又突然升高。
这两类现象经常被放进“涌现”的讨论里。理解它们，需要同时看规模、训练过程，以及用来判断“会不会”的指标。
规模规律，描述的是怎样的改善
语言模型训练中的常见目标，是根据已有上下文预测下一个 token。token 是文本切分后的单位，可以是一部分单词、一个字或其他片段，不能一概当作一个汉字。
比如，给出“床前明月”，让模型预测下一个文本单位。若正确答案“光”的概率从0.7%提升到31%、再到87%，单次负对数损失 −ln p 就从约4.96降到1.17、再到0.14。数字来自公式换算，是演示预测改善的例子，并非某次训练日志。
对正确 token 分配的概率越低，交叉熵损失通常越大。损失把大量预测的表现汇总成一个连续指标，和“这道题是否全对”并不是同一种测量。
Kaplan 等在 2020 年研究中发现，在所考察的模型、数据与训练条件下，损失与规模之间呈近似幂律关系。其中，在数据和计算量没有成为主要限制的参数规模拟合里，参数增加十倍，对应的损失约乘以 10^−0.076≈0.84。[1]
在这项参数受限的拟合中，可以写成：
L(N) ≈ (N / 8.8×10¹³)⁻⁰·⁰⁷⁶
参数 ×10 → 损失约 ×0.84
参数 ×100 → 损失约 ×0.70
参数 ×1000 → 损失约 ×0.59
这里的N是非嵌入参数量，拟合对应数据和训练计算足够的条件。论文还分别考察数据量D与高效训练前沿的计算量C_min，得到不同拟合指数，例如约−0.095和−0.050；不能把三条关系当成同一条无限外推的定律。
双对数坐标上，幂律容易呈现为近似直线。横轴每走一大格，可能已经是十倍资源；看似平稳的一点改善，背后却越来越贵。
这是一条经验关系，受到实验范围和训练条件约束。数据质量、架构或资源分配改变后，需要重新检验，不能据此保证任何模型扩大十倍都得到同样收益。
参数长大，任务表现为什么像点亮了灯
从2018年约1.17亿参数的GPT-1、2019年最大约15亿参数的GPT-2，到2020年1750亿参数的GPT-3，模型规模跨过了好几层台阶。GPT-3论文也直接比较了同一模型家族不同规模上的任务表现。[6]
有些任务的损失平滑下降，全题准确率却长时间很低，随后才明显提高。Jason Wei整理过137项被报告为涌现的能力，包括多位数运算、词语还原、语义判断、指令跟随与推理等。它是一份依赖模型、提示和指标的研究清单，不能理解成每个模型到同一规模都会自动解锁137种技能。[7]
“多个简单部分组成更复杂整体”，在别处也能找到直觉。2008年Ballerini等对椋鸟群的实地研究发现，鸟群相互作用更符合每只鸟平均联系最近六七个邻居的拓扑关系，而不是固定半径内的所有鸟。局部互动，最终形成了整群流动的形状。[8]
1972年，P. W. Anderson以《More Is Different》讨论不同层次会出现新的组织与描述规律。这样的比喻帮助我们提出问题；鸟群、自组织系统和语言模型各自怎样形成结构，仍需要分别研究。[9]
一把只认全对的尺子，会放大变化
假设一个答案包含五个相互独立的部分，每部分答对的概率都是 p。只有五部分全部正确才计分，整题成功概率就是 p⁵。
| 每部分正确率 | 五部分全部正确的概率 |
|---|---|
| 50% | 3.13% |
| 70% | 16.81% |
| 90% | 59.05% |
| 99% | 95.10% |
表格是这个假设模型的直接计算。真实的多位数加法包含进位等依赖关系，不能不加检验就把每一位当成独立事件。
这个例子展示了评分方式的影响：局部表现逐渐改善，整题全对率可能从低到难以观察，发展到明显可用。若采样点又很稀疏，曲线就更容易看起来像跳变。
Schaeffer 等用数学模型和多个任务的实验讨论了这种现象。它解释了部分“突然”的外观，同时提醒人们检查评分规则；它并不证明所有能力变化都只是测量造成的。[3]
延迟泛化：训练题会了，新题后来才会
Grokking 关注的是训练时间上的变化。Power 等在一些小型算法数据集上观察到：模型先拟合训练样本，泛化表现仍接近随机水平；经过更长训练后，未见过的样本上才出现明显改善。[4]
在模97等小型算法任务中，可以把输入看成钟面上的数。训练集准确率先接近满分，而测试集仍接近随机；继续训练很久，测试表现才改善。具体需要多少步、运行几天，取决于数据、模型和实验设置，不是统一的“顿悟时刻”。
这与“更大的模型拥有小模型没有表现出的能力”需要分开。前者比较同一训练过程的不同阶段，后者比较不同规模的模型。Wei 等在 2022 年讨论的大模型涌现能力，主要采用后一类观察方式。[2]
圆形结构，来自哪一个实验
Nanda 等进一步分析了一层 Transformer 在模加法任务中的运作。例如，计算 (a+b) mod 113，相当于在 113 个余数之间进行周期运算。像钟面上走格子，走过113就从0重新计数；30+50=80，再往后超过一圈则只保留余数。
研究发现，模型的权重和激活中出现了周期性结构，可以用少数关键傅里叶频率理解。把一个频率上的正弦、余弦成分画出来，会得到圆形的直观表示。它帮助解释模型怎样处理周期关系，并不意味着整个模型把所有知识都存进了一个圆。[5]
这个机制分析与早期 grokking 实验使用的模型和任务并不完全相同。两项工作共同说明，在最终准确率仍然不高时，一些更细的内部指标已经可能持续变化。
那条直线，还能往前画多远
参数之外，数据也是资源。Chinchilla研究中的训练量约1.4万亿token，Llama 3报告中的预训练数据超过15万亿token；它们提醒我们，只扩大参数而忽略数据与计算的配比，不一定高效。[10][11]
Epoch AI在2024年估计，经过质量与重复调整、可用于训练的人类公开文本有效存量约300万亿token；若当时趋势持续，训练规模可能在2026至2032年充分利用这部分存量。[12]
这是带条件的预测，谈的也是公开人类文本，而非所有数据都会在某天物理消失。新增资料、合成数据、数据重复利用、其他模态，以及推理阶段增加计算，都可能改变资源与能力之间的关系。每一条新路线，都还需要测量质量和代价。
练习很多次以后，别只看那一道全对线
背了三千个单词，仍未看懂一部电影；练了一百遍，仍卡在同一个小节。若只用“整部电影全懂”“一曲完全弹好”评分，中间的进步就容易藏起来。识别出更多词、跟上更长句子、把小节拆开后弹对，都可以成为更细的反馈。
人的学习也可以从“观察多个指标”得到启发，但神经网络实验没有证明，只要持续投入，个人能力就必然每天进步或在某一天突然突破。具体进展仍然需要反馈来判断。
最终的突破有时像突然发生，准备过程却可能已经持续很久。保留中间的尺子，能帮助我们发现已经形成的结构，也能尽早看到方法是否需要调整。