bert的核心问题
为什么Bert做不了scaling up？ - BugBuster喵的回答 - 知乎
https://www.zhihu.com/question/1913614685275664790/answer/2068008192127382927Bert的核心预训练任务叫做掩码语言模型，简称MLM。直观操作就是把一句话输入给模型，随机盖住里面百分之十五的词，让模型利用前后文去把这些词猜出来。当年所有人都觉得这个设计简直是天才，因为它提取出的双向特征在做下游的意图识别或者实体抽取时，指标直接碾压一切。那时候大家在各种技术会议上吹牛，都觉得只要把Bert的参数量堆到千亿，通用人工智能就稳了。
但现实的算法工程世界非常冷酷。当你试图把Bert推向百亿甚至千亿参数，试图让它成为一个能解决所有问题的基础底座时，它的致命缺陷就彻底爆发了。
这里面最根本的死穴在于任务本身的数学天花板太低，导致信息压缩瓶颈来得特别早。掩码语言模型本质上是一个局部信息恢复过程，绝不是全局信息生成过程。你给模型一段长文本，挖掉几个词，周围的上下文已经提供了十分明显的局部线索。模型根本不需要去理解这段话的深层逻辑、因果关系或者世界常识，它只需要死记硬背表层的语法规则和一些高频的词汇搭配，就能大概率地猜中那个被盖住的词。
在实际的分布式训练中，我们观察到的现象是让人绝望的。当你把Bert放大到几十亿参数，你会发现它的损失函数下降到一定程度后，就死活降不下去了。模型觉得这个完形填空任务太简单，它早早地就收敛在了一个局部最优解里，完全丧失了去构建更深层世界认知逻辑的动力。我们曾经试图用放大版的Bert去做跨越好几个段落的复杂逻辑纠错，结果发现它对局部语法特别敏感，但面对宏观的逻辑冲突时完全是个瞎子。因为它在预训练阶段从来没有被逼着去从头到尾完整地生成并维护一条很长的逻辑链条。
紧接着是工程算力层面的灾难性浪费。今天的算力成本高昂到了变态的地步，显存带宽十分珍贵。而Bert的掩码任务里，每次前向传播和反向传播，只有那百分之十五被盖住的词在参与损失计算和梯度回传。剩下百分之八十五的计算量，对于模型权重的更新来说基本是无效的废操作。
当年我们在几千张卡上跑这种双向模型的时候，看着特别低的有效吞吐量，真的是心惊肉跳。你耗费了几百万的电费和昂贵的集群通信开销，结果大部分计算资源都在空转。在大规模张量并行和流水线并行的架构下，每一次梯度同步的代价都非常大，Bert这种非常低效的梯度获取方式，在商业和工程上绝对不可接受。这是它被历史彻底抛弃的根本原因。
既然掩码这种局部恢复任务不行，那自回归的下一个词预测是怎么在2020年到2024年这段时间里统治世界的？
下一个词预测逼迫模型进行深度的信息压缩。要完美预测下一个词，模型不能靠死记硬背，因为人类语言的组合空间是无限的。如果前文是一段复杂的C++底层内存管理代码，它要预测下一个关键操作，就必须深刻内化面向对象编程的抽象逻辑。如果前文是一篇很有专业深度的分子生物学论文，它就必须把生命科学的先验知识压缩到多层感知机的权重矩阵里。
要想真正理解自回归模型是如何一步步把这些庞大先验知识压缩进参数空间的，我强烈建议你去多看一些大模型发展过程中的那些经典里程碑文献。不要只停留在网上的二手解读，只有深入研读那些核心 Paper，你才能彻底看懂底层架构设计的精妙。
业界那句老话压缩即智能在今天依然是底层的真理。下一个词预测逼着模型在面对庞杂无序的互联网语料时，去寻找文本背后潜藏的通用运转规律。在这个非常残酷的优化过程中，模型被迫抽象出了语法、因果法则和逻辑推演能力。
我记得当年带团队从头拉起一个几百亿参数自回归基座的时候，前两周损失值降得很快，那是在学标点符号和基础语法。到了第三周，损失曲线变成十分平缓的锯齿状震荡，每天烧掉巨额服务器成本，指标只往下走零点零几个点。整个团队气氛很压抑，甚至怀疑是底层算子写出了问题。但正是那段最折磨人的微小下降期，模型内部正在发生特征相变，它开始能够接住我们扔进测试集里的复杂数学推导公式。自回归任务的迷人之处就在于，它的目标函数面向广袤的未知空间，只要你能源源不断地提供高质量数据，它永远有压榨智力的空间。
这个时候必须提到数据工程。在2024年之前，大家都觉得架构其实不那么重要，只要是Llama架构的微调版就行，核心差距全在数据清洗上。你要让下一个词预测爆发出威力，数据必须高度纯净。互联网原始数据是一座巨大的垃圾场，充斥着逻辑断裂的废话和错乱的代码。如果模型学了这些垃圾，为了最小化预测误差，它就会变成一个满嘴跑火车的骗子。
说到这里，如果你的团队在做应用层，想要搞懂微调这门手艺，千万别以为找个开源脚本跑通就万事大吉了。真正考验功力的是如何面对各种复杂的落地场景和数据形态。你可以去看下字节的大模型微调实践手册。它里面结合了抖音、飞书等 50 多个真实业务场景，把 SFT、LoRA 等方法在千亿参数模型上的应用实践讲得非常透彻。看一线大厂是怎么在低资源场景下做微调策略的，比你自己盲人摸象要有效率得多。
在那个年代，Llama 3 Technical Report里关于预训练数据处理的章节是整个行业的圣经。那种基于启发式规则的大规模过滤、非常精细的领域混合比例调整，全是用无数次失败烧出来的经验。更早期的RefinedWeb论文也深刻证明了哪怕只靠严格清洗的网页数据，也能训练出很强的底座。
但请注意，我上面说的这一切，关于自回归的绝对统治地位，以及架构不重要的观点，在2026年的今天，已经发生了十分剧烈的动摇甚至反转。
这就是我接下来要讲的最核心的前沿洞察。如果你现在的认知还停留在只有自回归能做基础模型，只要无脑堆数据就能大力出奇迹的阶段，那在今天的技术竞争里会输得很惨。
时间推进到2025年下半年和2026年，我们撞上了一堵冰冷的高墙，那就是人类高质量数据的枯竭，以及无脑扩大自回归预训练规模带来的收益严重递减。
我们先来重新审视那个只有自回归才能规模化的旧日铁律。其实在数据受限的场景下，自回归模型有一个致命的缺陷。当你不得不把同一批高质量数据给模型喂好几个轮次的时候，自回归模型很容易发生严重的过拟合，它的知识泛化能力会迅速崩塌。
这个时候，曾经被认为是旁门左道的扩散语言模型强势杀回了主战场。我强烈推荐你去读一读NeurIPS 2025年的那篇焦点论文LLaDA，这绝对是颠覆认知的里程碑。LLaDA是一个从零训练的8B级别扩散语言模型，它不是像以前那样做图像生成的连续扩散，而是做离散的文本扩散。它在完全没有采用自回归机制的情况下，在多项核心基准测试上直接打平甚至超越了同等规模的自回归基座。
更震撼的结论来自随后的Diffusion Beats Autoregressive in Data-Constrained Settings这篇研究。在当前我们严重缺乏新鲜高质量语料、必须反复压榨已有数据的现实约束下，扩散模型的表现显著优于自回归。这是因为掩码扩散模型在训练时，是在一个由噪声到清晰文本的全局马尔可夫链上进行重构，它打破了自回归那种严格的从左到右的单向强制约束。它可以在一次前向计算中对文本进行双向修正和全局规划。这种机制彻底解决了自回归模型一直被诟病的逆向诅咒问题，也就是模型知道A是B，却推理不出B是A的智障表现。
同时，2025年发表的Scaling up Masked Diffusion Models on Text用严谨的实证数据证明了，扩散模型的规模化扩展率完全不亚于自回归模型，甚至在特定逻辑推理维度上更具优势。这就彻底打破了以往那种方向选错全盘皆输的绝对论。现在能够被称为训练基础模型的任务，绝不再是下一个词预测一家独大，离散掩码扩散任务已经毫无争议地拿到了入场券。
除了训练任务的范式转移，关于架构不重要的陈旧观念也在今天被彻底推翻。
2024年大家确实都在抄Llama的稠密架构作业，但到了现在，如果你还在搞纯稠密模型，那基本就是烧钱打水漂。随着DeepSeek、Qwen以及Llama 4的全面转向，混合专家架构也就是MoE已经成为了大模型预训练的绝对默认选项。
当模型的总参数量跨入万亿级别，但为了保证推理成本的经济性，每次激活的参数必须控制在百亿级别时，MoE的路由机制、负载均衡损失设计以及专家容量限制就成了决定生死的核心技术。如果你对这块感兴趣，一定要去研究Towards a Comprehensive Scaling Law of Mixture-of-Experts这篇2025年的重磅文献。它把MoE架构下特有的算力转换规律做出了非常透彻的数学刻画。现在一线大厂在机房里死磕的，全是如何在InfiniBand网络下把MoE的跨节点通信开销降到最低，而不是在纠结什么注意力机制的微调。
当整个行业的焦点转向超大规模的工程落地时，很多算法工程师的短板就暴露无遗了。在本地Jupyter环境里把模型准确率刷高是一回事，把这种万亿参数的巨兽部署到每天处理千万级高并发请求的生产环境里完全是另一回事。为了帮你建立大模型时代必不可少的系统化视角，强烈推荐你去读读 Chip Huyen 的神作 Machine Learning Systems Design。这本书能帮你跨越从实验室算法到工业界系统之间的巨大鸿沟，搞懂数据漂移、延迟吞吐和大规模特征服务这些决定生死的核心基建。
另外，长上下文处理的架构演进也远远超出了当年线性注意力或者旋转位置编码的范畴。谷歌在2025年推出的Titans架构结合MIRAS模块，直接在模型内部引入了显式的长期记忆更新机制。它放弃了传统自回归模型那种把所有历史信息粗暴地塞进KV缓存里的做法，而是允许模型在测试阶段动态地向一个神经记忆模块里写入和擦除信息。这种混合了注意力机制和状态空间模型优势的现代架构，才是现在真正解决百万级甚至千万级上下文的答案。
再来聊聊那个曾经被奉为圭臬的Scaling Laws。很多老文章动不动就引用OpenAI在2020年发布的Scaling Laws for Neural Language Models，也就是那个著名的Kaplan定律。站在今天看，那篇论文虽然伟大，但它里面的很多假设和公式参数早就过时了。
它当年并没有预料到当前严重的数据受限场景。你如果现在要建立正确的规模化体感，首先必须用2022年的Chinchilla定律去修正你的基线认知。紧接着，你必须要看ICLR 2025年的Language Models Scale Reliably with Over-Training，去理解当数据量严重不足时，超量训练的收益极值到底在哪里。更进一步，你需要参考最新的Practical Scaling Laws: Converting Compute into Performance in a Data-Constrained World。在这篇文献里，算力向性能的转化已经不再是纯粹堆预训练语料那么简单粗暴，而是深度耦合了合成数据注入比例以及数据课程学习的先后顺序。
提到合成数据，今天的数据工程早就不再是单纯地去清洗网页垃圾了。虽然现在有像Firecrawl这类能力很强的大模型原生爬虫工具可以直接输出高质量的结构化文本，但在原生多模态数据和合成数据面前，纯网页语料的权重正在快速下降。现在的顶级实验室，算力有相当大一部分倾斜在了利用已有强模型去自我对弈、去生成高难度的逻辑轨迹数据上。
这就引出了今天算法工程界最宏大的一个趋势转变，主战场已经从预训练阶段大规模向后训练以及测试时计算转移。
我们现在不再执着于在预训练阶段逼着模型把所有知识都通过下一个词预测压榨进权重里。因为我们发现这种做法在逻辑推理天花板上存在硬伤。现在的核心玩法是，用相对较小的预训练数据配合高效率的架构打好底座，然后把海量的算力砸向强化学习和测试时计算。让模型在推理的时候，通过内在的思维链或者蒙特卡洛树搜索去穷举和反思，用推理阶段的算力去换取输出的高逻辑准确度。
总结下来，如果你从2018年的Bert时代一路走来，你会发现这个行业的底层法则既残酷又迷人。Bert因为掩码任务的局部性和低效性倒在了百亿参数的门槛前，这是一个永远值得铭记的工程反例。自回归任务凭借深度的压缩属性和完美的硬件亲和性，带领我们走过了波澜壮阔的五年。
但到了今天，我们必须清醒地认识到，技术图景已经发生了不可逆的剧变。扩散语言模型的强势崛起证明了任务目标的多元性，MoE和显式记忆架构粉碎了稠密模型包打天下的错觉，而数据墙的逼近则直接把我们推向了强化学习和合成数据的深水区。
对于我们现在的从业者来说，最大的危险就是把两三年前的成功经验教条化。不要再盲目迷信单一的自回归路线，不要觉得架构创新已经终结。老老实实去啃那些最新的数据受限缩放定律，去深究MoE的底层通信优化，去拥抱扩散机制在文本生成上的潜力，把算力科学地分配到预训练和测试时计算之间。在这个烧钱如流水的硅基角斗场上，保持务实和对新常态的敏锐，才是通向通用人工智能这条血路上唯一的生存法则。以上这些掏心掏肺的真实体感和前沿复盘，希望能够打通你的技术视野，供同行们重新审视我们手头的业务。