观潮 · 模式预报与气象 AI 观察
智能体自建 ENSO 模型：12 个系统里 6 个跑赢了已发表模型
> SciExam for ENSO 让语言模型智能体从真实观测自己搭 ENSO 低阶随机模型。6 小时预算内，智能体先处理观测、写出自己的诊断指标并冻结，之后只能拿这些诊断当反馈来建模；隐藏评分器从统计复现、变量耦合重建、预留年份预报三个维度打分，并用同一套标准给一个已发表的五变量模型打出 0.378 作参照。12 个智能体系统里有 6 个的最终模型超过这个参照，另有 3 个落在 0.345 至 0.369。把强模型化简后，它们各自落入 ENSO 冷暖不对称的两种竞争解释之一，而这个争论在任务里从未提及。作者同时写明：受控实验每种条件只跑一次、化简带来的分数提升由同一批评分器选出、约 0.01 的分差不能当排名读。
缺的是哪一块
智能体基准越来越长程，但打分方式始终绕不开"已知答案"：单元测试、由标准解推出来的 rubric、或者让另一个语言模型当评审。开放性的科研没有单一正确答案可对齐。
论文用一张表把现有基准摆在一起比较，五个维度分别是长程、含物理系统、无已知答案、隐藏分数、科学评价。长程类的 Agents' Last Exam、MLE-bench、RE-Bench、ALE-Bench 都没有物理系统，且要么对答案打分，要么在跑的过程中把分数直接显示给智能体（RE-Bench 的多数任务、ALE-Bench 就是这样）。科研智能体类的 PaperBench、ScienceAgentBench、ResearchClawBench、LLM-SRBench 涉及物理系统，但评分标尺仍然是某个已知结果——复现论文、重跑数据分析、重新发现已知方程。最后一列"科学评价"全部为空或缺失，只有 SciExam for ENSO 五项全中。
把 ENSO 建模做成基准，有三个绕不开的难点：
- 没有真值，怎么判一个新模型成不成立。 统计量对上不够，因为不同的动力过程可以产生一样的统计。
- 任务要给结构，但不能给解。 只给一个宽泛目标，智能体会卡在规划阶段，最后什么模型都交不出来；直接给控制方程，任务就退化成一道实现题。
- 长程跑动需要反馈，但反馈本身有副作用。 把评分器分数回传，等于邀请智能体去钻评分器的空子；只给部分反馈，它又会忽略没被测量的方面。
考试怎么搭的
三个设计对应上面三个难点。
隐藏评分器，三个互补维度。 一是统计属性——模型的自由跑模拟能否再现观测到的概率密度函数、季节方差、自相关函数、7 类事件的频次、以及事件强度与位置的关系。二是动力一致性——用中部和东部太平洋海温异常去重建西太平洋温跃层深度、中部太平洋纬向流、西太平洋纬向风，以及反方向重建。三是预报技巧——1 至 12 个月时效上能否胜过持续性预报。合成总分是 C = 0.3·S + 0.3·D + 0.4·P。同一批评分器给一个已发表的五变量模型打分作参照，前两项沿用那篇论文自己用的验证标准；参照模型的统计、动力、预报分别是 0.727、0.323、0.157，合成 0.378。
三段流程，6 小时预算。 观测处理、诊断开发、模型开发，每段有明确的完成条件，但所有科学决策交给智能体。诊断在建模开始前冻结——智能体可以执行它来评估每一次修改，但改不了它，避免评价标准跟着自己的结果漂移。评分器分数和预留数据全程不可见。
模型形式自由，状态量固定五个。 智能体要建的是低阶随机动力模型，状态量是中太平洋海温异常、东太平洋海温异常、西太平洋温跃层深度、中部太平洋纬向流、西太平洋纬向风。这五个量描述 ENSO 背后的海气耦合反馈：厄尔尼诺期间暖海温异常伴随信风减弱、温跃层变平，拉尼娜相反。
结果数字
12 个智能体系统的最终检查点与最佳检查点合成分，参照模型一并列出：
系统 · 最终检查点 · 最佳检查点
Claude Fable 5.1 · 0.515 · 0.531
Kimi K3 · 0.479 · 0.500
GPT-5.6-Sol · 0.443 · 0.466
GPT-6 Astra · 0.442 · 0.475
Claude Opus 5 · 0.440 · 0.508
GPT-5.5 · 0.403 · 0.404
Gemini 3.8 Flash · 0.369 · 0.394
DeepSeek V4.1 Flash · 0.351 · 0.452
DeepSeek V4 Pro · 0.345 · 0.345
MiniMax-M3 · 0.222 · 0.238
GLM-5.2 · 0.188 · 0.228
Qwen3-Max · 0.054 · 0.120
参照模型 · 0.378 · 0.378
超过参照线 0.378 的是前 6 个，紧随其后的 Gemini 3.8 Flash、DeepSeek V4.1 Flash、DeepSeek V4 Pro 落在 0.345 到 0.369。GPT-5.6-Sol、GPT-6 Astra、Claude Opus 5 三者之间约 0.01 的差距不构成排名。
优势的分布不均匀。参照模型在统计项上仍然最高（0.727），而智能体模型的优势集中在动力一致性与预报技巧这两项——参照在这两项上只有 0.323 和 0.157。参照模型是用三个检验期的全部观测开发出来的，智能体手里只有 35 年观测。
单个智能体同时把三项都做好是可能的：Claude Fable 5.1 的最终模型在统计上几乎追平参照（模拟再现了两个海温指数的分布对比、季节方差、自相关，东太平洋事件强于中太平洋，7 类事件的观测计数全部落在模拟范围内），两个方向的变量重建都成立，两个指数在全部 12 个时效上都优于持续性预报。
跑动过程不是单调的。 智能体会持续探索别的模型结构，而不只是打磨当前最好的那个。Claude Opus 5 在后期拿到 0.508，最终提交的却是 0.440；DeepSeek V4.1 Flash 的最佳检查点 0.452，最终提交 0.351。
结构化简后的两族
每个最终模型都混着开发期加进去、后来没删掉的项。作者在所有跑动结束后逐组删项、重拟合剩余系数、用同一批评分器重新打分；只有当化简后几乎保留原有分数、且温度分布的不对称性还在，这个化简才被接受。9 个接近或超过参照的模型进入这项分析。
系统 · 版本 · 漂移 · 噪声 · 统计 · 动力 · 预报 · 合成
Claude Fable 5.1 · 原始 · 非线性 · 乘性 · 0.715 · 0.639 · 0.274 · 0.515
Claude Fable 5.1 · 化简 · 线性 · 乘性 · 0.810 · 0.600 · 0.297 · 0.542
Kimi K3 · 原始 · 非线性 · 乘性 · 0.620 · 0.570 · 0.305 · 0.479
Kimi K3 · 化简 · 线性 · 乘性 · 0.575 · 0.573 · 0.302 · 0.465
GPT-5.6-Sol · 原始 · 非线性 · 加性 · 0.554 · 0.515 · 0.306 · 0.443
GPT-5.6-Sol · 化简 · 非线性 · 加性 · 0.613 · 0.529 · 0.304 · 0.464
GPT-6 Astra · 原始 · 非线性 · 加性 · 0.530 · 0.629 · 0.237 · 0.442
GPT-6 Astra · 化简 · 非线性 · 加性 · 0.598 · 0.611 · 0.248 · 0.462
Claude Opus 5 · 原始 · 非线性 · 乘性 · 0.548 · 0.589 · 0.247 · 0.440
Claude Opus 5 · 化简 · 非线性 · 加性 · 0.629 · 0.567 · 0.286 · 0.473
GPT-5.5 · 原始 · 非线性 · 乘性 · 0.412 · 0.595 · 0.252 · 0.403
GPT-5.5 · 化简（加性） · 非线性 · 加性 · 0.390 · 0.600 · 0.251 · 0.398
GPT-5.5 · 化简（乘性） · 线性 · 乘性 · 0.387 · 0.590 · 0.255 · 0.395
Gemini 3.8 Flash · 原始 · 非线性 · 乘性 · 0.406 · 0.503 · 0.241 · 0.369
Gemini 3.8 Flash · 化简 · 非线性 · 加性 · 0.389 · 0.499 · 0.241 · 0.362
DeepSeek V4.1 Flash · 原始 · 非线性 · 乘性 · 0.418 · 0.508 · 0.183 · 0.351
DeepSeek V4.1 Flash · 化简 · 线性 · 乘性 · 0.419 · 0.559 · 0.244 · 0.391
DeepSeek V4 Pro · 原始 · 非线性 · 乘性 · 0.285 · 0.530 · 0.251 · 0.345
DeepSeek V4 Pro · 化简 · 线性 · 乘性 · 0.269 · 0.532 · 0.250 · 0.340
9 个化简结果分成两族：4 个是线性漂移加乘性噪声，5 个是非线性漂移加加性噪声。这两族正好对应 ENSO 冷暖不对称的两种竞争解释——一种把不对称归因于耦合动力里的确定性非线性（例如风对海温的非线性响应），另一种归因于乘性噪声（噪声振幅随状态变化，线性模型也能造出观测到的不对称）。Claude Fable 5.1 化简后丢掉了全部非线性漂移项，落到线性漂移加乘性噪声，合成分从 0.515 升到 0.542；GPT-6 Astra 保留非线性温度反馈加加性噪声，从 0.442 升到 0.462。化简的代价很小，9 个里降幅最大的是 Kimi K3，从 0.479 降到 0.465；统计分经常上升，代价是动力一致性小幅下降，说明开发期加进去的很多项贡献有限。
信息条件的受控对比
对得分最高的那个系统，作者改它拿得到的信息，每种条件各跑一次：
条件 · 可访问 · 最佳 · 最终 · 统计 · 动力 · 预报
离线（正式跑） · 无 · 0.531 · 0.515 · 0.741 · 0.632 · 0.297
年份匿名 · 无 · 0.482（↓0.049） · 0.463（↓0.052） · 0.656（↓0.085） · 0.576（↓0.056） · 0.281（↓0.016）
联网 1 · 文献 + 数据 · 0.475（↓0.056） · 0.386（↓0.129） · 0.638（↓0.103） · 0.572（↓0.060） · 0.280（↓0.017）
联网 2 · 仅文献 · 0.528（↓0.003） · 0.406（↓0.109） · 0.798（↑0.057） · 0.556（↓0.076） · 0.306（↑0.009）
把数据的日历年份隐掉，它仍然能搭出有竞争力的模型，这一点对着"智能体靠背观测记录得分"的疑虑。能读文献会改变它搭模型的方式——耦合变稀疏、更贴 ENSO 理论，但最高分基本不变。信息更多不总是更好：能拿到外部数据时，它把模型标定到一个业务指数上而不是任务给的观测，分数反而更低。
原文图
图 1：ENSO 概念建模与基准表现。(a) 智能体从观测出发建五个 ENSO 月指数的随机模型，图中分开画出确定性动力与随机强迫两部分；(b) 12 个智能体系统的最终合成分，虚线标出已发表参照模型的 0.378，6 个智能体模型在它之上。
图 2：SciExam for ENSO 总览。给定背景材料、原始观测和一篇参照论文，智能体在 6 小时预算内走完三段：(A) 把观测处理成必须通过数据检查的指数，(B) 按任务的科学指引写出自己的诊断并冻结，(C) 开发模型并反复运行这些诊断。隐藏评分器从统计属性、动力一致性、预报技巧三方面评估最终模型，且不把分数回传给智能体。
图 3：模型开发与最终得分。(a) 各系统检查点的合成分对"有效运行时间"的曲线，时间包含数据处理与诊断开发，实心圆点是最终检查点；(b) 12 个系统与参照模型按合成分排序的最终得分，堆叠段显示统计属性、动力一致性、预报技巧按 0.3、0.3、0.4 权重的贡献，末端数字是合成分。
图 4：Claude Fable 5.1 最终 ENSO 模型的科学诊断。(a–c、e–g) 中部与东部太平洋海温异常的模拟与观测概率密度函数、季节方差、自相关函数；(d) 每 71 年的事件计数，模型均值与 2.5–97.5 百分位范围对照观测计数，EN/LN 为厄尔尼诺与拉尼娜，EP/CP 为东太平洋型与中太平洋型，EX 为极端厄尔尼诺，MYEN/MYLN 为多年事件；(h) 模拟与观测事件的峰值温度异常对峰值经度；(i–m) 由部分观测重建状态量，检验 A 用两个海温指数重建温跃层深度、纬向流与纬向风，检验 B 对调观测量与重建量；(n、o) 集合平均预报与观测的相关。
图 5：智能体所建 ENSO 模型的结构化简。(a) 非线性动力与随机强迫作为 ENSO 不对称两种既有解释，摘自 Vialard 等的综述；(b) 两个消融例子，Claude Fable 5.1 的状态依赖噪声为乘性噪声，GPT-6 Astra 的时间依赖矩阵对应加性噪声；(c) 化简后模型的归类，GPT-5.5 可化简进两族中的任意一族。
作者承认的限制
- 受控实验每种条件只跑一次。 原文的用词是这些结果"提示"（suggest）分数不是靠回忆带日期的观测记录得来的、且信息条件会塑造建模方式，不是确证。
- 化简带来的分数提升要谨慎读。 因为选出这些化简结果的是同一批评分器。
- 约 0.01 的分差不能当排名。 GPT-5.6-Sol、GPT-6 Astra、Claude Opus 5 三者之间就是这种量级。
- GPT-5.5 能化简进两族中的任意一族，两种化简的分数在百分点级内（0.398 与 0.395），所以这套评测无法判断它的动力到底需要哪种解释；原文接着指出，同样的模糊性也让这个问题在文献里保持开放。
- 对照的公平性有边界。 参照模型是用三个检验期的全部观测开发的，智能体只有 35 年观测可用。
- 结构化简只覆盖 9 个接近或超过参照的模型，不是全部 12 个。
一句话判断
这套基准的价值不在"AI 超过了人类模型"这个结论，而在于它把"没有标准答案的科研"变成了可评分的形式：模型自己建、诊断自己冻、分数全程隐藏，最后还要求化简出来的结构与已有的物理解释对得上。