4QnQenMWIKA tech.huanqiu.comzh-Hansarticle月之暗面Kimi杨植麟 GTC 2026 演讲：首次完整披露 Kimi 技术路线图月之暗面 Kimi 创始人杨植麟在主题为《How We Scaled Kimi K2.5》的演讲中，将焦点对准了大模型中那些被沿用多年的底层架构。/e3pmh164r/e3pn4gh77<article><section data-type="rtext"><p>【环球网科技报道 记者 李文瑶】在 2026 年的英伟达 GTC 大会上，算力基建的规模化（Scaling）已成为行业共识。北京时间3月18日凌晨，月之暗面 Kimi 创始人杨植麟在主题为《How We Scaled Kimi K2.5》的演讲中，将焦点对准了大模型中那些被沿用多年的底层架构。他认为，要推动大模型智能上限的持续突破，必须对优化器、注意力机制及残差连接等底层基石进行重构。</p><p><img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/8b9fa59e71f1edc37a8e9cb2832ecd7cu1.png?imageView2/2/w/750" /></p><p>继今年 1 月底正式发布 Kimi K2.5 以后，杨植麟在本次演讲中首次系统性地披露了该模型背后的技术路线图。他将 Kimi 的进化逻辑归纳为三个维度的共振：Token 效率、长上下文以及智能体集群（Agent Swarms）。在杨植麟看来，当前的 Scaling 已经不再是单纯的资源堆砌，而是要在计算效率、长程记忆和自动化协作上同时寻找规模效应。如果能将这三个维度的技术增益相乘，模型将表现出远超现状的智能水平。</p><p>技术重构是本次演讲的核心。杨植麟提出，行业目前普遍使用的很多技术标准，本质上是八九年前的产物，正逐渐成为 Scaling 的瓶颈。</p><p>自 2014 年以来，Adam 优化器一直被视为行业标配，但在超大规模训练中，寻找更具 Token 效率的替代方案已成趋势。Kimi 团队在实验中验证了 Muon 优化器在提升 Token 效率方面的显著潜力，但在将其扩展至万亿参数规模的 K2 模型训练时，发现了 Logits 爆炸导致模型发散的稳定性难题。为此，团队研发并开源了 MuonClip 优化器，通过 Newton-Schulz 迭代并结合 QK-Clip 机制，在彻底解决 Logits 爆炸问题的同时，实现了 2 倍于传统 AdamW 的计算效率。</p><p>针对 2017 年诞生的全注意力机制（Full Attention），杨植麟展示了基于 KDA 架构的 Kimi Linear。这是一种混合线性注意力架构，它挑战了“所有层必须使用全注意力”的惯例，通过优化递归存储管理，在 128K 甚至 1M 的超长上下文中，将解码速度提升了 5 到 6 倍，且在不同长度的场景下均保持了优异性能。</p><p><img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/ef46963fc08d0c29c1bac21c7d659b64u1.png?imageView2/2/w/750" /></p><p>此外，针对已有十年历史的残差连接，Kimi 引入了 Attention Residuals 方案，将传统的固定加法累加替换为对前序层输出的 Softmax 注意力，解决了隐藏状态随深度增加而无限制增长、从而稀释深层贡献的顽疾，使每一层都能根据输入内容有选择地聚合信息。这项工作引发了前 OpenAI 联合创始人 Karpathy 的思考，直言我们对Attention is All You Need这篇Transformer开山之作的理解还是不够。xAI创始人马斯克也评论称 Kimi 这项工作令人印象深刻。</p><p>在跨模态研究方面，杨植麟分享了一个重要的观察：原生的视觉-文本联合预训练中，视觉强化学习（Vision RL）能够显著反哺文本性能。消融实验数据显示，经过视觉 RL 训练后，模型在 MMLU-Pro 和 GPQA-Diamond 等纯文本基准测试上的表现提升了约 2.1%。这意味着空间推理与视觉逻辑的增强，可以有效转化为更深层的通用认知能力。</p><p>演讲的最后，杨植麟深入探讨了智能体集群的扩展。他认为未来的智能形态将从单智能体向动态生成的集群进化。Kimi K2.5 引入的 Orchestrator 机制，能够将复杂的长任务拆解给数十个子 Agent 并行处理。为了防止协作过程中出现单点依赖导致的“串行塌缩”，团队设计了全新的并行 RL 奖励函数，激励模型真正学会任务分解与并行执行。</p><p><img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/4516513e02309f4e92da97cdb1c6c0f7u1.png?imageView2/2/w/750" /></p><p>杨植麟在总结中谈到了 AI 研究范式的转变。他提到，十年前的研究往往更看重新想法的发表，但受限于算力资源，很难通过不同规模的实验来验证这些想法。而现在由于拥有了足够的资源和“缩放阶梯（Scaling Ladder）”，研究者可以进行严谨的规模化实验，从而得出更自信、更可靠的结论。这也是为什么 Kimi 能够从那些看似“古老”的技术中挖掘出新突破的原因。Kimi 将继续坚持开源路径，将 MuonClip、Kimi Linear 和 Attention Residuals 等底层创新贡献给开源社区，打造更强大的模型，推动人工智能技术的普惠。</p></section></article>1773812417159环球网版权作品，未经书面授权，严禁转载或镜像，违者将被追究法律责任。责编：石婷婷环球网17738124171591[]//img.huanqiucdn.cn/dp/api/files/imageDir/8b9fa59e71f1edc37a8e9cb2832ecd7cu1.png{"email":"shitingting@huanqiu.com","name":"石婷婷"}