观潮 · 模式预报与气象 AI 观察
AI 天气模式让预报变便宜之后，「劣币驱逐良币」的风险：给农业预报定四条可核查原则
> 开源 AI 天气预报模式在很多指标上达到或超过领先数值模式，而计算资源只要一小部分。这降低了门槛：为一个具体用途定制一份先进预报，不再需要国家级气象中心的超算预算，于是创业公司、学术组、应用开发者、甚至个人研究者都开始做面向农业的预报。作者说得很直接——这会同时带来高质量和低质量的预报，而两者很难被区分开。采购方（大型资助机构、政府农业部门）如果分不出好坏，预报供应商就有财务动机省钱、牺牲质量，低质量预报最终会把真正对农民有用的那类完全挤出市场。作者称之为信息不对称引起的市场失灵，经济学家研究了几十年。他们提出四条原则作为质量保证的起点：透明、评估要对得准（对照所有可选项、避免挑指标）、证明样本外技巧、决策相关性。
缺的是哪一块
作者先把为什么预报质量难判断讲清楚，落在两个具体点上。
第一个点：质量是多维的，不能因为出自大机构就假定能依赖。分发方可能假定「大科技公司或国际预报中心提供的现成模型是高质量的、可以安全依赖」。实际情况是，一个全球模式可能对某些量技巧很高，却带有偏差或失效模式，使其在某个具体用途上不适合部署。
第二个点：验证本身技术门槛高，而看似轻微的方法错误能让极不可靠的预报看起来准确。这是作者放在 Table 1 里反复演出的那条线。
AI 预报模式（AIWP）还带来一层新麻烦，作者列了两条：
新问题 · 具体机制
训练数据几乎覆盖全部可得气象数据 · 模式被历史事件过度约束，无法预测样本外的未来事件，也就是过拟合
「换用没在训练里用过的观测网来验证」可能是假 reassurance · 如果这些数据来自与训练相同的时间段，它们测的就是模式训练过的同一批大气状态
计算便宜使得「超局地」「农场级」预报容易做 · 它们在 casual viewer 看来很逼真，但可能根本拿不到验证所需的高分辨率观测，也无法保证这些数据没进过训练集
第三条尤其值得记：这是一条结构性的验证盲区，不是数据不足，而是「做得出、验不了」。
四条原则
作者的表述是这是「一组原则与协议，作为大规模农业分发预报设计评估的基线质量保证」，收集了气象学、社会科学、统计学、计算机科学的评估最佳实践。
# · 原则 · 原则陈述（原文） · 示例协议
1 · 透明 · 「技巧声明应有足够信息，使独立评估者能够理解、评估，必要时复现该声明。」 · 评估方法描述清楚到审稿人能复现；对不清楚的地方申请方responsively 回答提问
2 · 评估要对得准 · 「评估应提供预报系统相对其他可选项（含气候态信息和开源替代方案）的优缺点信息。评估应彻底，避免挑选让模型好看的技巧指标。尽可能量化不确定性，以帮读者区分真实差异与噪声。」 · 与决策相关的基准比较，包括气候态、持续性以及领先的开源模式
3 · 证明样本外技巧 · 「预测未来天气往往比在预报实验（如回报预报）中预测已实现的过去天气难得多。为避免数据泄漏，技巧应在模型未显式训练过的『测试集』上评估。但泄漏风险不限于显式训练：基于测试集表现所做的模型架构、特征、阈值和区域决策，同样会抬高报告的技巧。预报者应采取措施避免，并明确沟通这些步骤。」 · 精确说明训练与测试数据如何分离（如交叉验证或留出特定测试集），以及在测试数据上发生了哪些模型选择或微调
4 · 决策相关性 · 「预报需要对（且被）其目标受众理解、有用。」 · 用 A/B 测试和焦点小组测试用户的理解度和可操作性
作者明确说明范围：主要聚焦预报本身的验证；第四条原则只勾勒了与分发过程质量相关的考虑，没有像预报验证原则那样深入展开。
22 条协议：可以直接拿去用的清单
作者把四条原则拆成 22 条可核查的协议。这一节是全文最实用的部分——四条原则是立场，这 22 条才是能直接照着做的东西。
透明（6 条）
编号 · 协议
1a · 评估方法描述清楚到审稿人能复现的程度
1b · 遵循了有能力认证这些原则的人所确立的流程
1c · 评估数据与代码可按需提供，或（更好）公开
1d · 披露回报预报（hindcast）与业务预报的差异，以及预期的模式版本变更
1e · 提供将要实际分发给农民的消息文本供审查
1f · 对业务预报做归档、注册或第三方托管，以维持信任
三条附注值得单独记：
- 1c 的理由不只是透明度——评估代码能澄清散文描述里说不清的方法选择，它本身也可能包含改变分析结果的编码错误
- 1e 是最容易被忽略的一条。作者举例：模式可能估计"雨季在未来 30 天里每一天开始的概率"，但农民收到的是这个分布的中位数、"下周内开始"的概率，或者从这些概率推出的农业建议。实际发给农民的消息可能和模式输出的数字不是一回事——这种情况下那个汇总数字本身就应该被当作一个预报来检验
- 1f 的逻辑是：业务预报一旦开始，关于技能的声明只有在实时注册到某个平台时才最可靠
评估要对得准（7 条）
编号 · 协议
2a · 与决策相关的基准比较，包括气候态或持续性，以及领先的开源模式
2b · 针对真正关心的那个现象做比较
2c · 指明基准真值数据集；讨论区域偏差；可行时披露跨数据集稳健性
2d · 纳入该现象的标准指标
2e · 在符合业务节奏的条件下评分
2f · 对概率预报做校准检验
2g · 量化不确定性；只有当空间技巧差异大于可信不确定度时才予以考虑
2g 的理由值得原样记住：任何基准测试都有统计噪声，而对偶发事件——季风爆发、极端温度或降水型态——这种噪声会被放大。这一条直接对应失败案例 2 的要害：只报命中率不报虚警率。
证明样本外技巧（3 条）
编号 · 协议
3a · 精确描述训练与测试数据如何分离
3b · 事后对现象定义所做的改动（包括阈值、预报区域、时效等）要披露
3c · （补充材料中）测试数据上发生的模型选择或微调要明确沟通
决策相关性（3 条）
编号 · 协议
4a · 说清决策相关性，点名在交付时效上的一个具体用户决策
4b · 用户理解度与可操作性经过测试
4c · 可行时，检验预报指标对底层阈值与参数的敏感性，并确认敏感性足够低以致可用
4a 里那句话是这一条的核心：天气预报的经济价值不只来自被预报现象的重要性，还来自该时效上预报的可操作性。
4c 举的例子很具体：很多预报目标依赖特定阈值和参数——"干旱期"可能要求降雨低于某个阈值并持续若干天。如果真实事件和用户感受对阈值高度敏感，即使模型技术上准确，也可能没有实际可用性。
一个教科书级的失败案例
Table 1 之外正文还给了两个 illustrative example，其中第二个是教科书级的：
某组声称能预测大尺度洪水发生的起始时间。他们展示模型把最近 3 次大尺度洪水的起始日期预测到距真实开始 1 天之内。
结果：没有洪水发生。真相是该模型实际上预测的是"最近 3 次洪水里的 10 次"（"10 of the last 3 large-scale floods"），而他们的评估从未报告虚警率。
作者在这里接了一句引用：保罗·萨缪尔森在评论"华尔街指数预测了最近五次衰退中的四次"这类说法时指出，实际情况是它们预测了"最近五次衰退中的九次"。
四条原则各配一个失败案例
这四个案例是论文最有价值的部分——它们不是假设性讨论，而是把每条原则的失效模式具体演一遍。数字全是作者为说明问题构造的例子，不是实测结果。
原则 · 失败案例 · 关键点
透明 · A 组和 B 组分别声称比气候态基准**好 5%** 和**好 30%**。但 A 组是拿预报和**一个很强的基准**做样本外比较，5% 的提升需要非常好的模式；B 组是拿模式和**一个构造很差的、且用在模式训练过的同一批数据上的气候态基准**比较，30% 的提升反而反映出模式质量很低。分发方不知道这些，**错误地选了 B 组**，农民收到高度不准确的天气信息。 · 同一个百分比，在不同基准和不同比较方式下含义完全相反
对得准 · 某初创公司展示预报模型能比气候态基准**好 30%** 预测短时降水。一位印象深刻的政府官员付给它**数百万美元**买下分发权——**不知道典型的开源预报模式很容易运行，而且能达到同一个气候态基准下好 45%** 的水平。官员买到的产品比许多气象学家日常依赖的**标准免费开源预报还差**。 · 付费产品的性能排序可能低于免费开源产品
样本外 · 某组展示其模型（**训练于 2000–2020 年数据**）能预测**2021–2025 年**当地的极端降雨事件，并称之为留出测试集。资助方投资去分发，但**业务表现远差于其评估所示**。进一步调查发现，该组**基于 2021–2025 测试集的表现做了若干建模决策**（包括用哪些预测特征）。于是这已不再是干净的测试集，他们的指标高估了性能。 · 「留出」不等于「干净」——架构、特征、阈值、区域的选择都在泄漏
决策相关性 · 某政府农业部门采购了技巧很高的降水预报，向农民分发「下周有**90% 概率**有雨」。**农民把这句话理解成「雨会下得很大」**，而不是「有小雨但概率高」，于是采取昂贵且不必要的防涝行动。 · 技术上准确的预报可能完全不可用
补充案例里还有两处数字值得记，因为它们说明了「准确」和「有用」的距离：概率校准的例子写成「被赋予 30% 概率的事件实际发生约 30% 的时间」；干旱期定义的例子写成「10 天内总降雨低于某阈值（如 10 天累计少于 5 mm）」，而相关时段实际降雨是 5.1 mm——作者指出 4.9 mm 和 5.1 mm 的降雨并没有实质差别。真实事件和用户感受对阈值高度敏感时，即使模型技术上准确，也可能没有实际可用性。
作者承认的限制和未做的事
- 这不是标准，是一份提案。作者反复说是「a starting point for iteration」，要靠更广泛的利益相关方（预报开发者、科学家、气象和农业机构、资助方）形成共识，还需要一套流程来培训新组织、认证原则被遵守、并在科学演进后修订原则。他们说欢迎评论和合作。也就是说，四条原则目前没有任何认证或执行机制。
- 第四条原则明显弱于其他三条。分发过程的质量只在原则 4 里被「sketch」，作者自己承认没有深入展开。而 Table 1 里决策相关性那个失败案例（90% 概率被理解成大雨）恰恰属于传播侧问题。
- 大量内容在补充材料里。完整的协议清单在 Supplementary Table S1，更详细的描述在补充附录里。正文只有 Table 1 的一行示例。
- 两个 illustrative examples 没有展开。Introduction 说「通过两个例子说明识别好预报的困难」，但正文并没有分别给出完整故事，Table 1 的四个案例与它们的逐项对应关系也没有指明。
- 「决策相关基准」这一条依赖已有基准的存在。原则 2 要求与气候态、持续性和领先开源模式比较，但如果某个农业区的局地基准本身不存在或不可信，这一条就落空——而论文没有讨论基准缺失时怎么办。
- 过拟合的论证是概念性的，不是实测。论文指出 AIWP 训练数据覆盖几乎全部可得数据带来过拟合风险，也指出用同时间段的观测网验证会给假 reassurance。但它没有量化任何模型的过拟合程度，因为它的性质是原则框架而非实证研究。
一句话判断
这篇的实际贡献是给一个正在发生的市场变化（预报做得起、做得便宜了）配一套最低质量门槛：四个数字锚定的失败案例（5% vs 30%、30% 付费 vs 45% 开源、留出集被自己用掉、90% 概率被读成大雨），把「劣币驱逐良币」的机制摊开成可核查的协议。
而真正可以直接拿去用的是那 22 条协议，尤其是三条容易漏的：1e（把实际发给农民的那句话本身拿去检验）、2g（对偶发事件必须报虚警率，因为统计噪声会被放大）、3b（事后改过阈值或预报区域也要披露）。
同一篇里作者写明的边界同样确定：目前只是提案、无认证机制、原则 4 弱于其余三条、大量细节在补充材料、两个 illustrative examples 未展开。这决定了它是一份可以拿去谈判的起点文件，不是一份可执行的标准。