观潮 · 模式预报与气象 AI 观察
把预报时效当 token：Transformer 后处理把 3–8 天强对流技巧做到 DNN 两倍
> 强对流（龙卷、直径 ≥1 英寸冰雹、≥50 节雷暴大风）本身不被数值模式显式表达，只能靠机器学习后处理从环境场反推。这项工作换了后处理架构、也换了环境场来源：用 decoder-only transformer 取代密集神经网络，把 8 个预报时效当成一条序列来读；用 AI 模拟器 Pangu-Weather 取代业务 GFS 提供环境场。结果是两条改动都成立——transformer 在所有时效和指标上压过密集网络，4 天内 Brier 技巧分接近后者两倍；盘古起报的版本在第 3–6 天显著优于 GFS 起报版本，即便盘古完全不给对流参数。作者也把话说死了：2024 年是异常活跃的强对流季，结论能不能推广到别的气候态，得靠更长检验期来回答；归因分析按 24 小时聚合，可能掩盖了次日尺度的重要性变化。
---
中期强对流预报缺的是哪一块
传统路径是：数值模式报出环境场，再用机器学习把环境场翻译成灾害概率。随机森林、密集神经网络、卷积神经网络都做过，时效覆盖几小时到几天，输入基本都是业务 NWP 输出。
这里有两个各自独立的瓶颈。
第一个瓶颈在后处理架构。 以往做法（包括本文用作基线的 Sobash 等 2020 年方案）是给模型喂一天的离散样本，输出这一天的概率。第 1 天到第 8 天是 8 次互不相干的判断，模型看不到"环境是怎么一步步演变到这次事件的"。
第二个瓶颈在环境场来源。 业务全球模式在中期（3–8 天）技巧衰减明显，而数据驱动的 AI 模拟器在同时段的大尺度预报上已经被证明不输甚至优于传统 NWP。作者提出的假设是：大尺度预报技巧的增益，能转化成更准的对流灾害预报，而且中期恰恰是两类模式差距最大的地方。
---
方法怎么搭的
把预报时效当成词元
这是整篇最核心的一步改动。
密集神经网络拿到的是一个向量：某格点某一天内各个 6 小时时刻的变量，形状 (batch, feature)，输出一个概率。
decoder-only transformer（DOT）拿到的是一个矩阵：第 1 天到第 8 天排成 8 行，每行是那天的变量，形状 (batch, 8, feature)，一次输出 8 天的概率序列 (batch, 8, 1)。
对应关系就是大语言建模里的句子与词元——一句话拆成一串词元按行堆叠，每个词元有自己的嵌入按列展开。这里一个"词元"是一天的预报状态。
具体结构：先一层 dense 把 (B, 8, N) 投到 (B, 8, 256)，进 PyTorch 的 TransformerDecoder，参数 d_model=256、num_layers=4、nhead=8、tgt_mask=True，保持 (B, 8, 256)，最后一层 dense 降到 (B, 8, 1)。
基线密集网络是三层"线性 + 批归一化 + ReLU"，(B, N) → 256 → 256 → 128，再两层 dense 到 64、1，末端 sigmoid。
论文图 1：两种框架的数据组织方式。(a) 密集神经网络：每个 80 公里格盒取一份规范化离散样本，形状 (Day, 特征)，即 (8, 2500)，输入 (batch, feature)，输出某一天的概率；(b) decoder-only transformer：取规范化连续样本，输入 (batch, sequence, feature)，输出 1–8 天完整概率序列 (batch, 8, 1)。虚线是同一个 8 天样本在两种框架下的不同读取方式。
输入与标签
预报侧两套系统：
系统 · 网格与配置
业务 GFS · 13 km 水平网格、127 垂直层，FV3 动力核，GDAS 四维混合同化，每天 4 次起报，本文只用 00 UTC；存档 0.25°×0.25°，前 240 小时 3 小时间隔
Pangu-Weather · 3D Earth-specific transformer，训练自 1979–2017 年 ERA5，0.25°×0.25°；1/3/6/24 小时四个网络分别预报，13 个气压层的位势高度、温度、比湿、U/V 风；层次时间聚合，本文存 6 小时间隔
盘古用了三种初始条件：ERA5 再分析、ECMWF HRES 分析（标称 9 km，用 xESMF 双线性插值到 ERA5 网格）、GFS 分析。盘古只在 ERA5 上训练过，没有针对 HRES 或 GFS 做任何微调——用它俩做初始条件，是为了检验业务数据的实际可用性，因为 ERA5 再分析不是实时可得的。
标签侧：把格点预报用反距离加权升到覆盖美国本土的 80 km 网格，高斯核标准差 25 km、搜索半径 120 km，再取 5×5 邻域平均；每个 80 km 格点在 24 小时窗口内 40 km 半径出现 ≥1 次强对流报告即标为 1。报告来自 NOAA 风暴预测中心（SPC）档案。归一化常数用 2018-01-01 至 2023-12-31 的全部预报计算。
变量分三档：GFS 与 Pangu 各版本变量一致；GFS + Convect 额外加入 GFS 才有的对流参数和地面变量。这样设计的目的是检验"对流参数到底多重要"——毕竟绝大多数 AI 天气模型都不输出这些量。
训练配置
训练期 2018-01-01 至 2023-12-31，验证集排除 2023-05-15 至 08-15（为了保证训练量，验证只用于早停），测试期 2024-02-01 至 07-22 起报、有效时间延伸到 07-31。
二元交叉熵损失，batch 512，余弦退火热重启调度（初始周期 10 个 epoch，最小学习率 1×10⁻⁷），SGD 动量 0.9、权重衰减 1×10⁻⁴。transformer 初始学习率 6×10⁻⁴，密集网络 8×10⁻⁴。验证 Brier 技巧分连续 20 个 epoch 无提升即停——transformer 大约 150 个 epoch 收敛，密集网络约 50 个。全部训练在单张 Nvidia L40 上完成。
另有一个集成产品：三个模型 DOT(Pangu-GFS)、DOT(Pangu-HRES)、DOT(GFS + Convect) 的概率取平均。
---
结果数字
检验期本身值得一提：到 2024 年 7 月底，SPC 收到的龙卷和大风报告数在近 15 个强对流季中排进前三，冰雹略低于常年。4–5 月尤其集中——其间出现 11 天全境 ≥25 个初步龙卷报告，31 天里 16 天发布 enhanced 风险、5 天 moderate、1 天 high。
transformer 对密集网络（同为 GFS 输入）：
对比 · 结果
`DOT(GFS+Convect)` vs `DNN(GFS+Convect)` · 全部时效、全部指标一致优于
`DOT(GFS)` vs `DNN(GFS)` · 4 天内 Brier 技巧分接近后者**两倍**
`DNN(GFS)` vs `DNN(GFS+Convect)` · 去掉对流参数后密集网络明显掉分
`DOT(GFS)` vs 两个密集网络 · 即便不给对流参数，仍显著优于**两者**
显著性用 1000 次自助重采样在 95% 置信水平上判定。
论文图 3：同为 GFS 输入时两条架构路线的技巧对比，起报期 2024-02-01 至 07-22，横轴为预报日。(a) 基准率 Brier 技巧分、(b) PR 曲线下面积、(c) ROC 曲线下面积，三条实线为密集网络、三条虚线为 transformer。图底部的圆点标出通过 95% 置信区间检验的显著改进组合：浅绿为 DOT(GFS) 优于 DNN(GFS)，深绿为 DOT(GFS+Convect) 优于 DNN(GFS+Convect)，浅绿三角为 DOT(GFS) 优于 DNN(GFS+Convect)。三个子图上，两组虚线在全部 8 天都位于对应实线上方。
盘古对 GFS（同为 DOT 后处理）：
对比 · 结果
`DOT(Pangu-GFS)` vs `DOT(GFS)` · 几乎全部时效显著优于，第 3–6 天三项指标改善最大
`DOT(Pangu-HRES)` vs `DOT(GFS)` · 除第 8 天外全部时效、全部指标显著优于
`DOT(Pangu-HRES)` vs `DOT(GFS+Convect)` · 第 3–6 天三项指标均优于
`DOT(Pangu-HRES)` vs `DOT(Pangu-ERA5)` · 第 5 天后接近，第 8 天反超
三模型平均 · 全部指标、全部时效**最优**
论文图 4：同为 transformer 后处理时，环境场来源不同带来的差异，横轴为预报日。浅青虚线 DOT(GFS+Convect)、深绿虚线 DOT(GFS)、红色点划线 DOT(Pangu-ERA5)、橙色点线 DOT(Pangu-GFS)、藏青点划线 DOT(Pangu-HRES)，黑色实线为三模型平均。图底圆点标注盘古各版本相对 GFS 版本的显著改进组合与三模型平均的显著性。第 4–6 天三条盘古曲线对 GFS 曲线的领先最明显；黑色平均线在三个子图上始终最高。
概率可靠性：所有模型在第 3 天、观测相对频率高于 30% 时略偏高估，更长时效这一倾向减弱。DOT(GFS) 在给出 50% 以上概率上比盘古各版本吃力。三模型平均表现相反——高概率区间倾向低估，但作者指出这反而有利于 Brier 技巧分：Brier 分数是二次的，一次 90% 的空报所受惩罚是一次 60% 空报的两倍多，系统性回避高置信预报反而拉高了平均分。
两个典型个例：
日期 · 聚合 Brier 技巧分 · 表现
2024-04-17 · 0.12（所有个例中第二高） · `DOT(Pangu-GFS)` 在第 4–5 天就锁定密歇根、俄亥俄、宾州的紧凑灾区，第 3–5 天指引一致；`DOT(GFS)` 第 4–6 天高概率区偏南，到第 3 天才移到正确位置
2024-05-01 · −0.16（最大负值） · `DOT(Pangu-GFS)` 在堪萨斯、密苏里出现大片空报，概率整体偏东；西得州第 4–6 天概率低于 5% 而实况有报告。该次对流由干线触发，作者认为盘古的预报可能没能充分表现这条干线
论文图 10：得分最高的个例之一。上排 DOT(Pangu-GFS)、下排 DOT(GFS)，四列分别为第 3、4、5、6 天预报，有效时间 2024-04-17 12 UTC 至次日 12 UTC。灰色圆点是该时段内有至少一次强对流报告的格盒，等值线自内向外为 50%、45%、30%、15%、5% 概率。上排从第 4 天起高概率区就锁定在俄亥俄河流域的实况带上，下排第 4–5 天的高概率区明显偏南，直到第 3 天才与实况对齐。
论文图 11：得分最低的个例。排布与图 10 相同，有效时间 2024-05-01 12 UTC 至次日 12 UTC。实况报告集中在北美大平原中部与东南部，上排 DOT(Pangu-GFS) 的信号主体偏东、在北达科他及中西部形成大片空报，西得州一侧只有极低的概率；下排 DOT(GFS) 的 30% 以上高值区落在堪萨斯至俄克拉何马一带，与实况带的重合度更高。
---
原理：模型到底在看什么
用积分梯度（integrated gradients）做特征归因，看第 5 天的预报。
因为架构里开着因果掩码，目标日那一列（第 5 列）的归因量级最大，前面第 1–4 天也有非零归因——说明模型确实用上了环境演变过程，而不只是当天快照。第 6–8 天归因基本为零，正是掩码挡住了未来信息；残留的极小非零值来自掩码注意力 softmax 的数值精度、积分梯度累积误差和推理时 8 天输入同时存在，量级比真实归因小若干个数量级，不影响判读。
有意思的是缺了显式对流参数之后会怎样：
模型 · 第 5 天最重要的输入特征（按归因排序）
`DOT(Pangu-GFS)`（无对流变量） · 850 hPa 比湿（第 1）、700 hPa 温度（第 2）、850 hPa 温度（第 3）、2 m 气温（第 4）、850 hPa 切变（第 7）
`DOT(GFS + Convect)` · 2 m 气温（第 1）、地面抬升对流有效位能 SBCAPE（第 3），且 SBCAPE 在第 5 天呈强正归因
也就是说，盘古版没拿到 CAPE，却从低层湿度、温度和垂直温度廓线里自己学出了不稳定的替代量。作者原话是，这说明 AI 模型的模式识别能力配合后处理框架，能从常规气象变量里隐式提取对流不稳定信息。
两个反直觉的地方也被如实记录：2 m 比湿在目标日之前是正归因、到目标日当天转负，作者推测可能与模式内正在进行的对流有关；0–3 km 风暴相对螺旋度的影响小于既有研究（如 Kerr 和 Darkow 1996）给出的预期。作者明确说，要搞清楚这些归因型态的机理，还需要针对性的天气学个例分析和敏感性试验。
---
作者承认的限制
- 归因的时间分辨率不够。 当前可视化把归因在 24 小时内聚合，"可能掩盖了特征重要性的次日内变化"。作者建议后续做次日尺度的归因分析（参照 Mazurek 等 2025 的树解释器思路），以验证这些归因型态在气象上是否合理。
- 检验期只有一个异常活跃的年份。 原文直说：AI 模型在 2024 这个异常活跃季表现出可观技巧，但"需要一段跨多年的检验期，才能完整评估这些结果的可推广性，并量化不同气候态下的技巧变化"。
- 空报与特定天气系统上的失败没有被消除。
DOT(Pangu-GFS)对空间紧凑的事件预报出色，但"偶尔会给出偏东的预报，并且对干线这类天气现象处理不好"。所有系统在最强快速增强风暴上仍然低估峰值强度。 - 单个模型的概率偏高。 可靠性分析显示各单独模型在较高概率阈值上略偏高估（第 3 天明显，长时效减弱）；三模型平均虽 Brier 技巧分最好，却存在系统性低估，偏离完美校准。
- 没有做的事。 作者列出的后续方向包括：纳入更多种类的 AI 模型、研究如何从 AI 模型输出直接推导对流参数、弄清 AI 模式的误差与偏差如何经后处理传播，以及检验地形变率、植被这类非气象因子对模式表现差异的影响。
数据与代码：SPC 报告取自 NOAA 风暴预测中心档案，初始条件（ERA5、HRES、GFS）取自 NCAR 研究数据档案，复现用的代码与模型权重放在 Zenodo（记录号 17043504），发表时另有一个实时演示页面。
---
一句话判断
中期强对流概率预报这块，后处理架构从密集网络换成把时效当序列读的 transformer，收益比换数据源还大；而 AI 模拟器在 3–8 天给的环境场已经足以让"不给对流参数"这件事变得不那么致命——只是这一切都还只有一个 2024 年。