观潮 · 模式预报与气象 AI 观察
AI 概率预报能不能报极端:178 个热带气旋上,FGN 在 90% 的风暴里路径概率打分超过 IFS-ENS
> AI 天气预报在平均意义上已经赢了数值模式,但极端事件上一直有争议:此前的评估大多针对确定性模型和确定性指标。这项基准用 178 个热带气旋、两套评估设置,比较三个概率性 AI 模型(GenCast、FourCastNet 3、FGN)与 ECMWF 业务集合 IFS-ENS。结论分两层:路径上 AI 明显占优——2025 年业务设置下 FGN 在约 90% 的 41 个入选风暴上概率位置打分优于 IFS-ENS,且优势延伸到强风区与低压区的位置;强度和集合离散度上却仍有系统性偏差。作者明确列出边界:没有哪个模型全面占优,检测不到风暴的成员成因无法区分,发生概率的校准性没有纳入评估,数值基线本身在变,因此两套设置之间的差异不能单独归因于 AI 的微调。
缺的是哪一块
热带气旋是最具破坏性的天气灾害之一,撤离与应急准备依赖气象部门提前数天给出的位置和强度预报及其不确定性。但它在全球气候模拟里只占约 0.5% 的格点,强台风比例预计还会随增暖上升,样本稀缺加上后果严重,使它成为检验学习型预报模型的天然试场。
已有的评估反复指出 AI 模型在破纪录天气和强台风上的短板,并由此质疑其成功是否依赖训练数据里代表性好的条件。但这些证据大多来自确定性模型和确定性指标。概率性模型近两年进展很快,它们不只给出一条路径,还给出集合,因此要回答的问题变成两个:极端事件报得准不准,以及它们给出的不确定性本身可不可信。
三个模型和一套对比基准
三个模型的训练目标和不确定性表示方式各不相同,这是作者特意选它们的原因。
模型 · 不确定性怎么来的 · 训练目标
GenCast · 条件扩散采样未来大气状态 · 扩散目标,学大气场的联合分布
FourCastNet 3(FCN3) · 球面卷积 + 随机扰动 · 物理空间和谱空间的 CRPS
FGN · 四个独立训练的网络组网,网内再用学到的扰动生成成员 · 逐格点、逐变量的 CRPS
基准是 IFS-ENS,即 ECMWF 的物理型业务集合预报。评估横跨 178 个热带气旋,分两套设置:一套是基于 ERA5 训练模型、回算 2021—2023 年的再分析设置,另一套是 2025 年的业务设置。参照数据用再分析资料和 IBTrACS 最佳路径。
路径打分怎么改成概率口径
以往评估常用集合平均路径的位置误差。这只能刻画平均位置准不准,区分不了平均位置相同但离散度不同、或者可能路径完全不同的两个集合。作者举了 2025 年台风 Bualoi 的例子:IFS-ENS 的成员在中期提前时间分成好几簇,仅凭平均位置表达不出来。
所以他们改用空间概率密度打分:先用 TempestExtremes 算法在每个集合成员里识别气旋中心并串成轨迹,再在每个提前时间用核密度估计得到该风暴位置的概率密度,最后对观测到的 IBTrACS 位置算负对数似然(NLL)。NLL 越低,说明模型把越大的概率密度放在了实况位置上。评分先在风暴内平均、再跨风暴平均,每个风暴权重相同。只有那些该成员能识别出风暴、且能对应到实况风暴的情形才计入,因此要求每个模型至少有 10 个成员在 5 个以上共同提前时间上识别成功——这条筛选从 125 个风暴里保留了 106 个。
结果数字
再分析设置(2021—2023,106 个入选风暴):
对比 · 结果
GenCast 对 IFS-ENS · 68% 的风暴上位置概率密度更高,且平均 NLL 最低
GenCast 对 FCN3 · 62% 的风暴上更高
FCN3 对 IFS-ENS · 58% 的风暴上更高
排第一的比例 · GenCast 48%、FCN3 29%、IFS-ENS 23%
业务设置(2025,41 个入选风暴):
对比 · 结果
FGN 对 IFS-ENS · 约 90% 的风暴上更高,平均 NLL 最低
GenCast 对 IFS-ENS · 78% 的风暴上更高
FGN 对 GenCast · 61% 的风暴上更高
排第一的比例 · FGN 59%、GenCast 34%、IFS-ENS 7%
作者特别指出,平均 NLL 的差距其实不大,关键在于逐风暴比较时 AI 模型在多数风暴上占优;同时没有任何模型全面占优。作为补充,他们统计了轨迹检测率(能识别出轨迹的成员占比,在再分析设置里对全部 125 个风暴平均),排序与 NLL 一致,但没有显示额外的技巧优势。
原文图

图:2025 年台风 Bualoi 位置概率密度的对比,FGN(红)与 IFS-ENS(蓝)在四个提前时刻(9 月 23 日 12 时、25 日 12 时、27 日 12 时、9 月 30 日 00 时)给出预测位置的密度等值线,黑点为 IBTrACS 观测位置,灰线为实际路径。越到后期两个集合都散开,但 IFS-ENS 的成员在中期提前时间分成明显几簇,这种多路径结构用集合平均路径是表达不出来的,也是作者改用概率密度打分的直接动因。
强度、离散度和风压关系
把预报拆开看,进步集中在位置和空间结构,没解决的是强度和不确定性。
两个业务 AI 模型在气旋附近的 CRPS 相对增益,都比全球平均尺度上的增益更大。但总分提高不等于每个方面都提高:GenCast 在气旋局地 CRPS 上优于 FCN3,可它的最大风速偏差反而更大;FGN 空间打分更好,强度偏差却与 GenCast 相当,集合校准误差也一直存在。
风压关系这一项给了个有意思的结果。更强的热带气旋通常风更大、中心气压更低,作者在每个预报时间取气旋区域内最强的 10 米风和最低的海平面气压,每个成员配成一对,与 ERA5、HRES-fc0、IBTrACS 对比。FGN 和 GenCast 给出的风偏弱、气压极小值偏浅,分布比 HRES-fc0 更接近 ERA5——尽管它们是在 HRES-fc0 上做过业务微调的。但去掉边际差异之后,两者仍然复现了 HRES-fc0 的风压依赖关系。对 FGN 来说这一点尤其值得注意:它的 CRPS 目标逐变量、逐格点分开算,并没有直接约束变量之间的联合依赖,可风压联合结构还是出现了。
作者承认的限制
- 没有模型全面占优。 原文在多处强调这一点:即便 FGN 在 59% 的风暴上排第一,仍有 34% 是 GenCast 第一、7% 是 IFS-ENS 第一。
- 检测不到风暴的成因分不开。 某个成员没识别出风暴,可能来自对生成或维持的预报不确定性、模式误差,也可能只是追踪算法的局限,作者说这三者无法区分。
- 发生概率的校准性没评估。 要正确评估这一点,还得把「实况没出现气旋」的情形一起算进来,而这超出了本次评估范围。
- 数值基线本身在变。 业务设置里 GenCast 检测率更高、IFS-ENS 在 2025 年风暴上检测率更低,两者共同造成分离;作者明确说,基线变动使得两套设置之间的差异不能单独归因于 AI 的微调。IFS-ENS 检测率偏低究竟是风暴样本、预报不确定性,还是预报结构与追踪差异造成的,仍未解决。
- 风压关系只在有有效观测风和气压的时刻对比。 主图把风暴、成员、提前时间 pooled 在一起,采样细节放在附录。
- 生成式 AI 的使用有声明。 作者说明用大语言模型辅助修改绘图代码、做探索性图件、整理代码、起草和编辑部分文字以及校对语法;没有用它生成数据或设计研究框架,结果解释由作者完成,并声明对全文负责。
一句话判断
把评估从「平均路径误差」换成「逐风暴的概率密度」之后,AI 概率模型在热带气旋定位和空间结构上确实超过了业务数值集合,而强度偏差与集合校准是剩下的两个硬缺口;作者认为,仅仅凭「风暴被系统性报弱」不足以判定 AI 不会报气旋。