Muse Wonder 建模大翻车,亚历山大·王辩护遭马斯克无情补刀
官方承认 3D 短板,跨模型测试 Harness 不同。 作者丨 郑佳美 编辑丨岑 峰 Meta 刚发布的 Muse Wonder,没想到因为一盏熔岩灯,在开发者社区引发了一场关于 AI 模型跑分的争论。 10 月 12 日,Meta 推出 Muse Wonder 和 Muse Wonder Full,主打 Coding Agent、工具调用和长任务执行能力。官方公布的成绩相当亮眼,Wonder Full 在 SWE-Marathon 上拿到 57.5 分,DeepSWE 1.1 达到 79.0 分,已经能够与同期的前沿模型展开竞争。 然而,开发者社区 BridgeMind 随后安排了一项 3D 编程测试,要求 Muse Wonder 制作一盏具有透明玻璃外壳、动态熔岩和光照效果的熔岩灯。 结果模型只生成了一个红色圆柱体。 BridgeMind 随即质疑 Muse Wonder 存在严重的 Benchmaxxing,也就是针对 Benchmark 进行大量优化,成绩看着漂亮,碰上陌生任务却露了怯。 连马斯克也忍不住下场,在相关帖子下意味深长地回了一句 Hmm。短短一个词,虽然没有明确表态,却让这场围绕 Meta 新模型的刷分争议又添了几分戏剧性。 Meta 首席 AI 官 Alexandr Wang 很快回应,团队确实没有针对 3D 演示游戏进行显式训练,事后看来或许应该补充相关训练,但他仍然希望开发者实际体验 Muse Wonder 的 Coding 能力。雷峰网 这场争论有一个重要前提:熔岩灯测试针对的是普通版 Muse Wonder,而 Meta 公布的部分突出成绩来自 Wonder Full,两者存在能力差异。同时,Meta 官方 Model Card 已经明确承认,视觉与空间推理,尤其是 3D 任务,属于 Muse Wonder 的已知短板。 但高分模型在陌生任务中遭遇如此明显的失败,依然让人好奇:当前大模型的训练方法究竟在强化哪些能力,Agent Benchmark 又能在多大程度上反映模型的实际水平? 01 奖励机制, 决定模型擅长解决什么问题 Muse Wonder 的表现,与当前大模型越来越依赖 Post-training 提升任务能力的技术路线有关。 在 Pre-training 阶段,模型通过大规模数据学习语言、代码、空间关系和其他通用知识。进入 Post-training 后,训练会进一步塑造模型的行为策略,尤其是通过强化学习,让它在特定任务环境中形成更稳定的执行能力。 Coding Agent 很适合这类训练。例如,给模型一个存在 Bug 的代码仓库,要求它定位问题、修改文件并运行测试。 整个过程可以通过编译结果、单元测试和功能检查获得相对明确的反馈。强化学习系统据此判断哪些操作有效,持续强化能够提高任务成功率的行为。 训练规模扩大
说明:本站展示中文整理摘要,便于快速阅读;完整内容和版权归原站所有。