（来源：新智元）

　　新智元报道

　　AI 做数学题、写代码，已经能赢过所有人类。

　　可同一批模型拿到工程师每天用的 CAD 和仿真软件，每道题最多给 24 小时，去设计曲轴、给内存布线、算涡轮叶片散热，最好的 GPT-6 Astra 也只有 37% 能过。

　　其余模型在这个评测中，更是几乎全员挂零。

　　RWE-Bench 考什么

　　Xplore AI 在 10 月 27 日发布了 RWE-Bench，全称 Real World Engineering Bench。

　　一共 20 道题，机械 9 道，航空航天 6 道，电子 5 道。

　　每道题都由团队里做这一行的工程师出，出题人还要用同一套工具自己做出一份参考答案。

　　判分既不靠 AI，也不靠人工。

　　程序会调用物理求解器逐项检查交上来的设计，只要有一项不达标就算失败。

　　拿机械题来说，题目是设计三缸柴油机的曲轴。

　　技术简报里列着质量上限、应力上限、疲劳系数和曲柄销变形量，每一项都有具体数值。

　　配重加多了会超重，加少了转起来不平衡，还要在 2400 转满负荷下撑过几百万次循环。

　　模型手里只有 CadQuery、Gmsh、CalculiX 和 Python，建模、划网格、做有限元分析都得自己完成。

　　电子题是设计在一块量产 FPGA 板上补 DDR3 的走线。

　　板上近 300 个元件已经摆好，其他线也都布完了，一律不许动。

　　剩下七十多条网络要在 8 层板的空隙里走通，时序偏差和阻抗都有硬性限制，只要一条超标，整块板就不算数。

　　航空题要算高压涡轮导向叶片的传热，从建流道一直做到 CFD 收敛，最后交出换热系数和总热负荷。

　　在工程公司里，这些活要交给有几年经验、熟悉对应软件的工程师来做，门槛相当之高。

　　分数之外的数据

　　1.先看排名。

　　GPT-6 Astra 37%，Claude Opus 5.5 29%，GPT-6.1 Sol 25%，Gemini 4 Argon 12%，Claude Fable 5.1 7%，其余模型在这个评测中，更是几乎全员挂零。

　　2.除此以外，答题时间比分数更能说明问题。

　　每道题最多能用 24 小时，可各家模型平均两三个小时就交卷了，用时最长的也只有 4.6 小时左右。

　　人类工程师遇到这种题，光是反复改模型、跑仿真就不止这点时间。

　　模型很可能以为自己做完了，其实做错了...

　　3.花钱多也不一定分高。

　　GPT-6.1 Sol 跑一次只要 10 美元出头，Astra 和 Opus 5.5 都在 58 美元上下，分数却只高 12 分和 4 分。

　　Claude Fable 5.1 一次将近 98 美元，全场最贵，通过率 7%。

　　4.如果每道题允许试 5 次、过一次就算，Opus 5.5 的分数能到 70%，比 Astra 的 60% 还高。

　　榜单也有几处要打问号

　　1.题目只有 20 道，样本容量很小。

　　官方给出的 95% 置信区间里，Astra 是 30.7% 到 43.8%，Opus 5.5 是 21.9% 到 37.6%，两段有重叠，第一和第二谁更强其实还不能下定论。

　　2.页面上说所有模型都开了最高推理强度，但数据文件里 Gemini 4 Argon 标的是 high，不是 max。

　　当然，刚发布的旗舰模型 Gemini 4 Carbon 没来得及出现在本次评测中，我们也很期待 Xplore AI 对它的补测。

　　3.还有一点，Xplore 本身就是卖 RL 训练环境的。

　　官网写的是，他们可以帮模型公司做评测、搭训练环境，只是榜单里的题不授权拿去训练。

　　榜单上的分数越低，这门生意就越好推销。

　　这不等于数据有问题，题目和判分方式都公开了，但对于题目难度的控制，是关乎他们的生意好坏的。

　　4.有 4 道所有模型都没做出来的题，具体是哪几道，官方没有公开。

　　Xplore 下一步要加入生物力学、土木和材料工程的题，目前也在招工程师和研究员。

　　SWE-bench 在 2023 年刚发布时，最好的模型只解决了不到 2% 的问题，后来分数涨成什么样大家都看到了。

　　敬请期待新模型们在 RWE-Bench 上的分数飙升吧。

　　参考资料：

　　https://xplore.ai/rwe-bench

　　编辑：马可