← 返回资讯热点
AI热点雷峰网发布时间:2026-11-05 05:51热度 164.0000

91% ≈ 0%?谷歌最新研究,戳破工程 Agent 的高正确率泡沫

41.3% 的设计项跨过安全门槛,复杂工程仍困于约束耦合。 作者丨 郑佳美 岑 峰 编辑丨岑 峰 在工程世界里,91% 的正确,有时和 0% 的交付能力没有区别。 一条电缆桥架在机房顶部穿过消防管线,就能让几十页正确的计算书失去交付价值。载流量算对了,电压降符合要求,设备选型也有依据,但进入三维空间后,几套系统争夺同一段净空,工程师只能退回方案。 AI Agent 能快速完成局部计算,工程项目却不会按计算题的边界运转:一处调整牵动另一处,刚核验过的结果也可能随修订失效。 Google 与 Mercor 近日发布的 Physical-Engineering's Last Exam(PLE),以 85 项机械、电气、土木与结构工程任务量化了这种落差。 在 56 项隐藏测试中,Claude Opus 5.5 搭配 Claude Code 得分 48.3%,而在共同创作任务中,它平均满足 91% 的单项约束,只有 41.3% 的交付设计项满足全部硬性安全与可行性要求。 更棘手的是,剩下的 9% 往往无法靠继续提高模型的计算能力解决。因为工程设计中的要求彼此关联,解决一个问题,可能又会产生新的问题。 PLE 的技术设计恰好揭示了这一困境:当局部能力已经足够强,工程 Agent 究竟还缺少什么? 01 工程 Agent 正在遭遇可行域瓶颈 此前很多 Agent 评测采用逐项累积分数的方式,只要完成更多要求,就能取得更高评价。这适合衡量知识理解和单点执行能力,却会掩盖工程设计中的一类关键失败:模型可能满足了绝大多数要求,但剩下一条恰好决定方案能否投入使用。 PLE 在 41 项人机共同创作任务中,将工程约束与设计优化放进同一套评价体系。其中 37 项采用约束评分,在统一评分机制下,40% 的评分空间取决于单项检查通过比例,另外 60% 则与成本或性能优化有关。不过,优化部分存在一个前提:全部硬性安全与可行性约束必须通过。 研究团队将其称为硬约束门控(Hard-Constraint Gating)。 这个机制有一处关键设计。即使某个方案能够显著降低材料费用,只要违反了一项硬约束,就无法获得成本优化部分的分数。系统仍然记录它已经完成的检查,但不会允许经济收益抵消工程缺陷。 PLE 同时设置了合规但未经充分优化的基线方案,以及合规成本的下界。前者用于判断 Agent 是否产生了实际优化收益,后者则为成本改善提供衡量尺度。这样,模型既不能通过选用过量设备轻松满足规范,也无法靠牺牲可行性获得漂亮的成本数字。 这种评分方式让一个长期存在的问题变得清晰:工程设计中的优化空间受到约束限制,并且约束之间往往存在联系。 例如,在冷却系统设计中,管径决定水力阻力,水力阻力影响水泵工作点,而实际流量又决定换热能力。Agent 如果只根据材料成本缩小管径,后续可能需要更高扬程的水泵,原本节省的费用

来源:雷峰网
说明:本站展示中文整理摘要,便于快速阅读;完整内容和版权归原站所有。