观潮 · 模式预报与气象 AI 观察
视觉 Mamba 嵌入 PredRNN 记忆更新:40 dBZ 强回波 CSI 较次优最高提升 12.54%
> 雷达回波外推的老毛病有两个:预报时效一长,循环网络把早期的降水演变趋势「忘」掉;中高强度回波在逐帧递归里被大片弱回波背景稀释,强回波核心越报越平滑。这篇提出的 SCEVM-LSTM 把两个组件直接装进 PredRNN 的循环单元内部——视觉 Mamba 块负责长程上下文的选择性压缩,SCEMA 模块先删冗余特征再增强强回波结构。在 CIKM、HKO-7、Shanghai 三个数据集上,40 dBZ(暴雨量级)阈值的 CSI 较次优模型提升 9.22%–12.54%,单样本推理 0.0632 s。作者同时给了三类失败案例,并承认弱、散、短生命周期回波和边界入流场景仍是短板。
缺的是哪一块
短临降水预报面向未来 0–2 h 的局地降水,两条主流路线各有瓶颈:数值天气预报受分辨率和计算成本限制,模式积分启动耗时,难以满足 0–2 h 的高时效预警;交叉相关、单体质心、光流这类传统外推假设回波短时内匀速直线运动,抓不住对流系统的生消、合并和形变。
深度学习外推里,基于 RNN 的方法(ConvLSTM、TrajGRU、PredRNN、MIM)应用最广,但随预报时效延长暴露两个相互关联的问题:
- 长程信息衰减。递归传播中隐藏状态保留早期关键信息的能力逐渐减弱,远离当前时刻的降水系统演变趋势捕不住,长时效性能下降。
- 强回波被稀释。相邻雷达帧里大面积背景回波、弱回波和缓慢运动模式构成大量冗余,循环单元若没有抑制机制,低频背景特征会在隐藏状态和记忆单元里占据主导;而强回波核心空间占比小、强度变化快、边界不规则,特征响应在递归更新和卷积聚合中被稀释,随步长累积,最终表现为强回波信号快速衰减。
Transformer 类方法能建模全局依赖,但缺少显式递归记忆更新机制,高分辨率雷达图像下计算开销高,中后期外推仍会出现局部结构平滑和强回波细节弱化。Mamba 一类的选择性状态空间模型长程建模强,可雷达外推本质是要求精确序列生成与状态一致性的任务——这恰是 RNN 的固有地盘。论文选择的切入点:把 Mamba 的长程建模塞进 RNN 的记忆更新路径里,而不是当外部编码器用。
方法怎么搭的
整体结构是 PredRNN 式的 4 层时空 LSTM 堆叠,隐藏状态沿锯齿方向更新、时空记忆沿水平方向传播,改动全部发生在单元内部。

原文图 1:SCEVM-LSTM 的网络结构。4 层 SCEVM-LSTM 单元堆叠,隐藏状态 H 沿锯齿方向更新,时空记忆 M 沿水平方向传递,预测结果从顶层输出。
组件一:视觉 Mamba 块嵌入细胞状态更新
视觉 Mamba 块用二维选择性扫描(SS2D)对历史上下文做选择性压缩与融合:先把图像块沿 4 个不同路径展开成 4 个序列,各自用独立的 S6 块处理,再把 4 个方向的序列相加合并。SS2D 保持线性计算复杂度,缓解长序列预测的信息衰减。

原文图 3:SS2D 的三阶段流程——交叉扫描把输入沿 4 个路径展开为 4 个序列,每个序列经独立 S6 块处理,交叉合并阶段将 4 个方向输出相加复原为单幅图像。
与把 Mamba 当外部特征编码器的做法不同,这里视觉 Mamba 块的输出经 tanh 和 sigmoid 激活后,直接模拟 ST-LSTM 的门控机制参与细胞状态更新——长程上下文由此进入循环记忆本身。
组件二:SCEMA 先去冗余、再增强
SCEMA(空间通道重建卷积注意力模块)是串联设计,前段 SCConv、后段 EMA:
- SCConv 由空间重建单元 SRU 与通道重建单元 CRU 顺序组成。SRU 借组归一化层的缩放因子评估各特征图信息丰富度,按阈值把特征图分成「保留/丢弃」两路后交叉重构;CRU 把特征按比例 α 拆成上下两部分,分别经分组卷积与逐点卷积提取再融合,压掉通道冗余。
- EMA 把 SCConv 输出按通道分组,经 1×1 与 3×3 两条并行支路提取注意力描述符,再做跨空间学习:两组描述符分别重塑、池化、softmax 后交叉相乘,得到两张空间注意力图,求和后重新校准原始特征,增强与中高强度回波演变相关的多尺度气象结构。

原文图 4:SCEMA 模块架构。输入特征先经 SCConv(SRU 空间细化 + CRU 通道细化)去除冗余,再经 EMA 多尺度注意力重校准,得到最终特征。

原文图 5:SCConv 的两个重建单元。上:空间重建单元 SRU——组归一化权重经 Sigmoid 与阈值分成 W1/W2 两路,分别保留与丢弃后重建出空间细化特征;下:通道重建单元 CRU——特征按比例 α 拆分,经 1×1 卷积分成上下两路,GWC 与 PWC 并行提取、池化与 Softmax 生成通道权重后融合为通道细化特征。

原文图 6:高效多尺度注意力 EMA。特征按通道分组后走三条并行路径——1×1 分支沿高、宽两个方向做一维全局平均池化并重加权实现跨通道交互,3×3 分支捕捉局部跨通道交互,跨空间学习阶段将两组描述符交叉相乘生成两张空间注意力图,求和后重新校准输入特征。

原文图 7:SCEVM-LSTM 单元。当前输入 X 与前一时刻隐藏状态经 SCEMA 处理后分解为新输入与隐藏状态,视觉 Mamba 块(VSB)经线性投影(LP)参与细胞状态 C 的更新,时空记忆 M 的门控更新机制与 PredRNN 保持一致。
训练配置
项 · 设置
框架与硬件 · PyTorch,NVIDIA RTX 3090(24 GB 显存)
单元层数 · 4 层,每层通道数 64、卷积核 5
优化器 · Adam,批大小 2,学习率 1×10⁻⁴
训练轮数 · 最多 100,验证集 MSE 连续 5 轮不降即早停
视觉 Mamba 状态维度 · d_state = 1(遵循先前工作)
SCEMA 参数 · α = 1/2,r = 2,g = 2,k = 3,G = 32
随机种子 · 固定为默认值 0
评价指标 · CSI/HSS/POD 在 20、30、40 dBZ(小雨/中雨/暴雨)阈值下计算,另计 MSE 与 SSIM
三个数据集:CIKM AnalytiCup 2017(深圳,101×101 像素覆盖 101 km,6 min 分辨率,取 3.5 km 高度层,前 5 帧报后 10 帧);HKO-7(香港天文台 2009–2015 年,512 km 覆盖,10 帧报 10 帧推演未来 1 h,训练/验证/测试序列 9554/580/1535);Shanghai(上海浦东 WSR-88D 双偏振雷达 2015 年 10 月–2018 年 7 月复合反射率,序列 4636/901/901)。
结果数字
40 dBZ 强回波:较次优模型与较基线模型
对比模型 8 个:ConvLSTM、PredRNN、MIM、PhyDNet、SimVP、Earthfarseer、VMRNN、AlphaPre。
数据集 · CSI 提升 · HSS 提升 · POD 提升
CIKM · +9.38% · +10.33% · +11.00%
HKO-7 · +9.22% · +11.70% · +10.07%
Shanghai · +12.54% · +8.87% · +7.31%
消融实验里,相对基线模型 PredRNN,完整 SCEVM-LSTM 在 40 dBZ 阈值下 CSI、HSS、POD 分别提升 25.12%、27.37%、30.94%。拆开看:单用 SCConv 或 EMA 都有提升但弱于联合的完整 SCEMA;顺序颠倒的变体 EMASC(先 EMA 后 SCConv)性能显著低于正序——注意力若先接触未去冗余的原始特征,权重图本身带噪声;SCConv+EMA 组合也一致优于 SCConv+CBAM 与 SCConv+PFG。
弱降水一侧的反例
CIKM 数据集 20 dBZ(弱降水)条件下,SCEVM-LSTM 的 CSI、HSS、POD 并非最优。作者的解释:20 dBZ 阈值把大量弱小、边缘化、短生命周期回波纳入统计,位置偏移、过度平滑和强度低估会增加漏报,预测范围偏大和局部虚警又同时压低 CSI 和 HSS;而 SCEMA 的设计本就侧重增强中高强度、时空组织性强的回波特征,与零散孤立的小尺度弱回波不对路。
推理时效
模型 · 单样本推理时间
PredRNN(基线) · 0.0593 s
SCEVM-LSTM · 0.0632 s
MIM · 0.0687 s
AlphaPre · 0.0718 s
VMRNN · 0.1233 s
Earthfarseer · 0.1794 s
作者对计算开销的定位是「有目的的权衡」:开销高于以效率为设计目标的 VMRNN,但相对基线 PredRNN 增长可控,且显著低于 Earthfarseer 这类结构更复杂的网络,换的是 40 dBZ 业务最关心指标上的提升。MSE 和 SSIM 提升幅度小于阈值类指标,作者的归因是阈值类指标聚焦强回波核心的命中能力,而 MSE/SSIM 在全场像素上平均,强回波区占比小、贡献被大量低强度区域稀释。

原文图 8:HKO-7 数据集上不同模型在 20、30、40 dBZ 阈值下 CSI、HSS、POD 的逐帧比较。随预报时效延长所有模型性能下降,SCEVM-LSTM 的曲线总体位于其他模型之上,长时效段差距更明显。

原文图 9:HKO-7 降水事件可视化对比。随时效延长,ConvLSTM、PredRNN、PhyDNet、Earthfarseer、VMRNN 的外推逐渐模糊、高回波消失;MIM 高估下方小尺度降水区,SimVP 误报上方低强度回波区的演变,AlphaPre 对小尺度降水精细度不足;SCEVM-LSTM 的形态与空间趋势更接近实况。
三类失败案例
作者从 CIKM 测试集选了三类代表性失效场景,并明确这些案例并非模型在所有对比方法中表现最差的情形,而是用来揭示特定天气场景下的典型误差类型。

原文图 10:低阈值弱回波零散结构场景。实况以零散片状、断续带状弱回波为主,随时效收缩为断续弧状弱回波带。SCEVM-LSTM(验证期 CSI20 = 0.263、CSI30 = 0.027)能报出可见回波,但断续小尺度弱回波被合并为较连续区域,中后期维持或扩展了实况已减弱收缩的范围,存在空间偏移和局部虚警。

原文图 11:局地对流快速增强与多区域回波发展场景。实况右下侧回波单体迅速加强成橙红色强回波核心,底部回波带逐渐发展、上方出现孤立新生单体。SCEVM-LSTM(CSI20 = 0.232)能延续早期已有的右下侧回波核,但对后续快速增强的强回波核心刻画不足、红色强回波明显偏弱,对新生单体和底部发展中的回波带响应不足。

原文图 12:观测边界入流或边界相关演变明显的场景。SCEVM-LSTM(CSI20 = 0.378)早期可报出部分边界附近回波,但中后期左侧和左下侧回波带过宽、过连续且偏平滑,与实况更破碎不规则的分布不符;对下边界和右侧边界的局地强回波核心、斜向强回波带刻画不足。
作者承认的限制
- 弱、散、短生命周期回波是明确短板。表现为结构平滑、空间定位偏差和局部虚警;CIKM 20 dBZ 三项指标未最优,作者写明这不代表模型无法预测弱回波,而是「弱回波的空间精确定位、短生命周期变化刻画以及虚警控制方面仍存在不足」。
- 只吃单一雷达回波序列。尚未显式引入风场、水汽、温度、地形、数值天气预报场等外部物理信息,对观测区域外部输入、局地动力触发或复杂地形影响下的突发新生、快速增强和边界相关演变过程刻画不足。
- 不是极端轻量模型。计算开销高于效率导向的模型,定位是在强对流预警中以适度计算开销换取强回波指标提升。
- 统计稳健性未做。作者写明后续需开展多随机种子重复实验和统计显著性检验,以更全面评估性能稳定性。
- 改进方向自己列了四条:融合多源观测与 NWP 背景场;引入面向强回波核心、弱小尺度回波和目标级结构的复合损失函数(减轻像素级损失的平滑化倾向);探索物理约束、概率预报和不确定性估计;优化结构与推理效率以利业务部署。
一句话判断
把 Mamba 的长程建模从「外挂编码器」改成「参与循环记忆更新」,再用 SCConv+EMA 的串联先删冗余再增强强回波结构——40 dBZ 指标上一到两个百分点的相对提升、弱回波场景上明说的短板,两笔账都摆在明面上;对做降水 AI 外推的人,消融表和三类失败案例比 SOTA 数字更值得看。