我们都知道，训练大型语言模型 (LLM) 就像一场“烧钱”大战，计算资源和时间都是巨大的挑战。而优化器，就如同这场战役中的“兵法”，直接决定了训练的效率和模型的最终效果。

  ，这是一种听起来有点高深的技术。但你可以把它想象成，Muon 在更新模型参数的时候，会让参数矩阵的各个方向都“雨露均沾”，避免模型只沿着少数几个“主导方向”学习，从而提升学习效率和模型的泛化能力。

  之前的研究表明，Muon 在小规模模型上表现出色，但能否扩展到更大规模的模型，一直是个未知数。经过深入研究，研究人员发现了

  1.加入权重衰减 (Weight Decay)：就像给模型训练加上了“刹车”，防止模型参数过度膨胀，保持训练的稳定性和模型的泛化能力

  针对不一样的形状的参数矩阵，智能调整更新幅度，确保更新的“力度”恰到好处，避免“用力过猛”或“力不从心”

  为了验证 Muon 的实力，团队进行了大量的实验，包括大规模的 Scaling Law

  在计算量最优的训练条件下，Muon 的计算效率是 AdamW 的 2 倍！这在某种程度上预示着，用 Muon 训练模型，可以用一半的计算资源达到 AdamW 相同的效果！

  基于 Muon 优化器训练的Moonlight 模型，在MMLU 基准测试 上表现出色，大幅超越了同等规模的其他模型，实际做到了“少花钱，多办事”！

  突破 Pareto 前沿：Moonlight 模型成功突破了 MMLU 性能的 Pareto 前沿，这在某种程度上预示着，在性能和计算成本之间，Moonlight 找到了更优的平衡点

  爱思唯尔（Elsevier）：洞察 2024：科研人员对AI的态度报告

  前瞻：2025 年人形机器人产业高质量发展蓝皮书 - 人形机器人量产及商业化关键挑战

  美国国家标准技术研究院（NIST）：2024 年度美国制造业统计数据报告（英文版）

  中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告

  兰德公司 2024 人工智能项目失败的五大最终的原因及其成功之道 - 避免 AI 的反模式 英文版

  Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版

  兰德公司 2024 AI和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版

  Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版

  电子行业专题报告：2025 年万物 AI 面临的十大待解难题 - 241209

  NeurIPS 2024 论文：智能体不够聪明怎么办？让它像学徒一样持续学习

  Chainalysis：2024 年密码货币地理报告密码货币采用的区域趋势分析

  经合组织 成年人是不是具备在一直在变化的世界中生存所需的技能 199 页报告

  《全球导航卫星系统（GNSS）软件定义无线电：历史、当前发展和标准化工作》最新综述

  DARPA 主动社会工程防御计划（ASED）《防止删除信息和捕捉有害行为者（PIRANHA）》技术报告

  世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版

  经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展的新趋势 英文版

  科尔尼 2024 年全球AI评估 AIA 报告追求更高层次的成熟度规模化与影响力英文版

  国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版

  MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119

  刘嘉刘教授说中国AI勉勉强强才能算得上第二梯队，我到底该不该信他呢？[酷拽]