文 | 利昂先生
2026 年 2 月 3 日，MLE-Bench 的 GitHub 讨论区炸了。
激烈程度对这个以较量 AI Agent 机器学习水平的垂直领域来说，简直是破天荒的头一次。
话题源自一家名叫 Disarray 的创业公司提交了一个 77.78 分的成绩。
这个数字本身没什么——但如果看到，此前全球多个顶尖团队在长达数月的拉锯中，成绩始终在 60 分上下苦苦挣扎，就会知道这并不简单。
高手过招，往往精确到每一个百分点。
而 Disarray 凭空跳开的近 20 分，让一场关于 benchmark 本质的论战，就此拉开。
机器学习界的"铁人三项"
MLE-Bench，全称 Machine Learning Engineering Benchmark，由 OpenAI 推出。它不是为了测试模型会不会聊天、会不会写诗，而是测试 AI Agent 能不能像一个真正的机器学习工程师那样，独立完成一整套数据竞赛任务。
整个体系可以理解为机器学习界的"铁人三项"——
考题是 70 多道真实的 Kaggle（全球数据科学家和机器学习爱好者的顶级竞技平台）竞赛题，每一道题都来自过去十年里全球数据科学家真刀真枪比拼过的赛场：从房价预测到图像识别，从 GPS 定位到狗品种分类。Agent 需要自己理解问题、清洗数据、特征工程、调模型、集成——全套流程，没人帮忙。
更狠的是，每道题要跑 3 次，取平均。一次完整的榜单提交，光算力成本就高达数万美元，时间要耗上好几周。
所以这个榜单从来不是热闹的游乐场——它门槛高、成本高、参与者少，但每一个上榜的分数，都沉甸甸的。
自 2025 年 9 月以来，这个此前提交不多的榜单突然热闹起来，陆续有近 10 家选手冲了进来。大家你追我赶，分数从 40 多分艰难地爬到了 60 出头。每一分的提升，背后都是 Agent 架构的实质性突破。
然后，Disarray 来了。
一场有漏洞的考试
MLE-Bench 与真实 Kaggle 竞赛略有不同。
真实的 Kaggle 竞赛中，选手提交模型后，主办方会用一套"私有测试集"来打分。这套数据选手永远看不到，只能通过公开榜的分数来间接猜测自己的表现。这叫"闭卷"，目的是防止有人针对答案做优化。
但 MLE-Bench 拿不到真正的私有测试集。于是 OpenAI 做了一个妥协：把原本完全公开的数据集拆成两份，一份继续叫"公开测试集"，另一份假装成"私有测试集"。
可是问题来了：这两份数据，都曾经在网上出现过。
这就好比老师把一本练习册拆成两半，说一半是"作业"，另一半是"考试题"——但学生早就把整本练习册做过一遍了。只要 Agent 足够"会搜索"，理论上就能提前找到所有"考试题"的答案。
Disarray 的 Agent，恰好踩在了这个漏洞上。
他们在 dog-breed-identification 这道题上跑出了接近 0.00x 的极低分数（这个指标越低越好），原因是 Agent 自己发现了 Kaggle 比赛和 Stanford Dogs 数据集之间的关系，直接用了外部数据。
在另一道 GPS 任务上，他们甚至跑出了 0.0 分——误差为零，这在物理上几乎不可能，除非 Agent 提前知道了"标准答案"。
但争议的核心还不止于此。
一个比特的信号，够不够"作弊"？
比"提前找到数据"更微妙的，是 Agent 在答题过程中能不能收到来自"考试题"的反馈。
Disarray 团队承认，他们的 Agent 在运行中会收到一个极其简单的信号——二选一："你目前的表现够得上一块铜牌吗？是或否。"
这个信号只有一个比特的信息量，听起来很小。
但关键不在于信号大小，而在于它来自哪里。它就来自那份被当作"私有测试集"的数据。
换句话说，Agent 每跑完一个阶段，系统就会告诉它：你现在用这套"考试题"自测，已经达到铜牌水平了——或者还没有。
这就好比一个学生在做期末考试卷的时候，老师每隔十分钟就过来看一眼，说："你现在离及格还差一点""你现在已经及格了"。虽然没告诉他具体哪道题错了，但这个信息本身就足以让他决定：是继续死磕这道题，还是赶紧换下一道。
一位长期关注 AI 评估范式的社区资深贡献者，AtrixTang 把这个比喻说得更狠：这就像用期末考试题当随堂测验的题目，学生一边做一边收到反馈，然后拿着同样的题目参加期末考试。
他说，Kaggle 的类比不成立——因为真实竞赛中，公开榜和私有榜用的是完全不同的数据。
图注：如果 agent 在"提前终止 / 重试信号"和"最终评估"中都使用相同的私有测试集，那么严格来讲，这就构成了测试集泄露。
而 MLE-Bench 用同一套数据既给反馈又做最终评分，这就是典型的"测试集泄漏"。
AtrixTang 主张拆成两个榜：一个严格不给任何反馈（Standard Track），一个允许反馈（Oracle Track），让观众自己判断哪个更有意义。
论战的七种立场
PR #118（Disarray 的提交结果的页面，编号为 #118）的评论区成了一面棱镜，折射出整个社区对"什么才是公平测量"的理解裂痕。
Disarray 提交者" moustafa-a "坚持，Disarray 是按现有规则跑的，没有改任何考试流程。他还强调，那个"是 / 否"信号只是一个资源管理工具——告诉 Agent 要不要继续花钱跑下去，不是什么定向优化。
" dorx "作为 Disarray 团队核心发言人，承认了两件事：GPS 任务的 0.0 分确实利用了 benchmark 已知的一个漏洞；狗品种识别用了外部数据。但她把这解释为"跨任务学习能力"，不是作弊。
图注：按照标准惯例，在开发过程中，代理程序在任何时候都不能访问私有测试数据。代理程序唯一能收到关于测试数据的反馈是在它们请求提前终止（为了有效利用资源）时，此时它们会得知自己是否达到了铜牌门槛。
alexwang939393 是最早提出系统性疑问的人。他不纠缠细节，直接把问题抛给 benchmark 的初衷：这些高分，测的到底是不是"机器学习工程能力"？
图注：作为参考，没有使用外部数据的最先进模型通常能达到约 0.2-0.3 的分数。第三组（0.00755）与第一组 / 第二组（约 0.04）之间的巨大差距也值得注意。
thesofakillers 身份特殊——他是 MLE-Bench 此前的作者。他的态度很微妙：当前考试确实有漏洞，利用这些漏洞"可以接受，但不理想"。他建议在榜单上加个脚注说明情况。
AtrixTang 态度最坚决：只要用了秘密数据的反馈，不管信号多微弱，就不该和没用过的人放在同一个榜单上。
机器学习领域研究者" RishiHazra "和社区开发者" ariesadel "则更强硬：这种提交根本不该上榜。信任是 benchmark 的核心，一旦有人用测试集反馈优化，整个排名就失去了意义。
joe-needham 作为 OpenAI 现任研究员、MLE-Bench 的维护者，态度最务实。他承认目前榜单靠"信任"维持，因为仓库无法验证每个提交的细节。最终，他还是把这个有争议的结果合并进了主榜——但为后来的调整埋下了伏笔。
用"笨办法"的团队
在这场喧嚣中，有一支团队的选择显得格外安静，甚至有点"不合时宜"。
百度伐谋团队在 2025 年 10 月 10 日第一次提交结果，得分 43.56，已经是当时的 SOTA。此后榜单逐渐热闹，近 10 家选手陆续入场。
2025 年 12 月 27 日，他们做了一个不太好理解的决定——当时最先进的 gemini-pro-3.0 模型已经可用，但他们没有换，而是继续用上一代的 gemini-pro-2.5。
原因很简单：他们想搞清楚 Agent 自身的能力到底提升了多少。从 1.0 版本到 2.0 版本，Agent 架构做了一次大升级。如果同时换模型，成绩的提升就说不清楚是模型的功劳还是 Agent 的功劳了。
这就好比你想测试一个新训练方法对运动员成绩的影响——如果同时给运动员换一双更高级的跑鞋，你就说不清楚成绩提升到底是训练方法的功劳，还是跑鞋的功劳。
59.56 分，新 SOTA。
这个数字证明了 Agent 层优化的有效性。但代价是他们的分数看起来"不够高"——因为别人可能既优化了 Agent，又用了更好的模型，还用了额外数据。
打一次榜成本太高了，高到任何"取巧"都有巨大的诱惑。
但百度伐谋的选择是：宁可慢，也要把每一分提升的来源搞清楚。这种"笨办法"在工业界叫"可解释性"——你不仅要知道自己跑得快，还要知道为什么跑得快。
一次对照实验
Disarray 的 77.78 分出来之后，百度伐谋团队没有急于质疑，也没有跟风模仿。他们做了一件很"工业界"的事：设计对照实验。
他们决定换成最新模型 gemini-pro-3.0 再试一次，但其他条件保持不变——不用私有测试集的反馈信号，不用外部网络数据，不利用任何已知漏洞。Agent 只能老老实实地根据给定的训练数据去学习和优化。
为什么这么"轴"？这可能与百度伐谋的定位有关。
作为百度智能云推出的全球首个可商用的自我演化超级智能体，百度伐谋瞄准的是帮助真实世界优化算法，尤其是那些关系国计民生的场景里找到最优解。
而在真实世界里，你不可能提前拿到"未来数据"：做一个销量预测模型，你不可能把未来七天的真实销量告诉 Agent，让它根据这个反馈去调整。做一个推荐系统，你不可能提前知道用户明天会点什么。
在真实世界里，没有"铜牌阈值"信号，没有"再试一次"的机会，没有"偷偷上网找答案"的可能。
2026 年 2 月 23 日，他们提交了 64.44 分。这个分数与 Disarray 的 77.78 依旧有差距。
但这是一个在"不偷看答案、不收反馈信号、不上网搜数据"的规则下跑出来的分数——它的含金量，参照系完全不同。
一个 AI 榜单的自我修养
2026 年 3 月 23 日，MLE-Bench 仓库新增了一个专门的赛道，名字很直白："添加数据泄漏说明"。有数据泄漏嫌疑的选手被移到了第二个榜单，旁边加了脚注说明。
图注：与主排行榜不可直接比较的额外提交（小孩儿那桌？）
维护者的选择是"先收录，但加警示"——不是直接把 Disarray 的成绩删掉，而是通过信息披露让观众自己判断。这是一种务实的妥协，但客观上完成了一次矫正。
百度伐谋 2.0 版本作为无数据泄漏嫌疑的选手，重回主榜榜首。
图注：MLE-bench 主榜，百度伐谋位列第一
这个结果耐人寻味。
它可能也不意味着 Disarray 的技术不优秀——比如，他们对考试规则的理解非常深刻，甚至找到了出题人自己都没发现的漏洞。
但"能做到什么"和"应该测量什么"是两个不同的问题。
当百度伐谋团队选择不用最新模型、不用秘密数据反馈、不用外部数据的时候，他们其实在做一个更根本的承诺：benchmark 的价值，在于模拟真实世界的约束。而在这个约束下持续提升 Agent 的能力，才是硬核技术的真正含义。
这不是关于道德优越感。
这是关于：在一个榜单泛滥、信任稀缺的时代，什么样的测量才值得被记住。
答案或许很简单：那个愿意对测量本身保持敬畏的榜单，那个不是为了刷分而是为了解决问题的团队。
他们赢得的，不只是排名。
股票配资行情提示：文章来自网络，不代表本站观点。
