观潮 · 模式预报与气象 AI 观察

视觉 Mamba 嵌入 PredRNN 记忆更新:40 dBZ 强回波 CSI 较次优最高提升 12.54%

2026-10-11

> 雷达回波外推的老毛病有两个:预报时效一长,循环网络把早期的降水演变趋势「忘」掉;中高强度回波在逐帧递归里被大片弱回波背景稀释,强回波核心越报越平滑。这篇提出的 SCEVM-LSTM 把两个组件直接装进 PredRNN 的循环单元内部——视觉 Mamba 块负责长程上下文的选择性压缩,SCEMA 模块先删冗余特征再增强强回波结构。在 CIKM、HKO-7、Shanghai 三个数据集上,40 dBZ(暴雨量级)阈值的 CSI 较次优模型提升 9.22%–12.54%,单样本推理 0.0632 s。作者同时给了三类失败案例,并承认弱、散、短生命周期回波和边界入流场景仍是短板。

缺的是哪一块

短临降水预报面向未来 0–2 h 的局地降水,两条主流路线各有瓶颈:数值天气预报受分辨率和计算成本限制,模式积分启动耗时,难以满足 0–2 h 的高时效预警;交叉相关、单体质心、光流这类传统外推假设回波短时内匀速直线运动,抓不住对流系统的生消、合并和形变。

深度学习外推里,基于 RNN 的方法(ConvLSTM、TrajGRU、PredRNN、MIM)应用最广,但随预报时效延长暴露两个相互关联的问题:

Transformer 类方法能建模全局依赖,但缺少显式递归记忆更新机制,高分辨率雷达图像下计算开销高,中后期外推仍会出现局部结构平滑和强回波细节弱化。Mamba 一类的选择性状态空间模型长程建模强,可雷达外推本质是要求精确序列生成与状态一致性的任务——这恰是 RNN 的固有地盘。论文选择的切入点:把 Mamba 的长程建模塞进 RNN 的记忆更新路径里,而不是当外部编码器用。

方法怎么搭的

整体结构是 PredRNN 式的 4 层时空 LSTM 堆叠,隐藏状态沿锯齿方向更新、时空记忆沿水平方向传播,改动全部发生在单元内部。

SCEVM-LSTM 网络结构
SCEVM-LSTM 网络结构

原文图 1:SCEVM-LSTM 的网络结构。4 层 SCEVM-LSTM 单元堆叠,隐藏状态 H 沿锯齿方向更新,时空记忆 M 沿水平方向传递,预测结果从顶层输出。

组件一:视觉 Mamba 块嵌入细胞状态更新

视觉 Mamba 块用二维选择性扫描(SS2D)对历史上下文做选择性压缩与融合:先把图像块沿 4 个不同路径展开成 4 个序列,各自用独立的 S6 块处理,再把 4 个方向的序列相加合并。SS2D 保持线性计算复杂度,缓解长序列预测的信息衰减。

SS2D 交叉扫描过程
SS2D 交叉扫描过程

原文图 3:SS2D 的三阶段流程——交叉扫描把输入沿 4 个路径展开为 4 个序列,每个序列经独立 S6 块处理,交叉合并阶段将 4 个方向输出相加复原为单幅图像。

与把 Mamba 当外部特征编码器的做法不同,这里视觉 Mamba 块的输出经 tanh 和 sigmoid 激活后,直接模拟 ST-LSTM 的门控机制参与细胞状态更新——长程上下文由此进入循环记忆本身。

组件二:SCEMA 先去冗余、再增强

SCEMA(空间通道重建卷积注意力模块)是串联设计,前段 SCConv、后段 EMA:

SCEMA 架构
SCEMA 架构

原文图 4:SCEMA 模块架构。输入特征先经 SCConv(SRU 空间细化 + CRU 通道细化)去除冗余,再经 EMA 多尺度注意力重校准,得到最终特征。

SCConv 内部结构
SCConv 内部结构

原文图 5:SCConv 的两个重建单元。上:空间重建单元 SRU——组归一化权重经 Sigmoid 与阈值分成 W1/W2 两路,分别保留与丢弃后重建出空间细化特征;下:通道重建单元 CRU——特征按比例 α 拆分,经 1×1 卷积分成上下两路,GWC 与 PWC 并行提取、池化与 Softmax 生成通道权重后融合为通道细化特征。

EMA 结构
EMA 结构

原文图 6:高效多尺度注意力 EMA。特征按通道分组后走三条并行路径——1×1 分支沿高、宽两个方向做一维全局平均池化并重加权实现跨通道交互,3×3 分支捕捉局部跨通道交互,跨空间学习阶段将两组描述符交叉相乘生成两张空间注意力图,求和后重新校准输入特征。

SCEVM-LSTM 单元结构
SCEVM-LSTM 单元结构

原文图 7:SCEVM-LSTM 单元。当前输入 X 与前一时刻隐藏状态经 SCEMA 处理后分解为新输入与隐藏状态,视觉 Mamba 块(VSB)经线性投影(LP)参与细胞状态 C 的更新,时空记忆 M 的门控更新机制与 PredRNN 保持一致。

训练配置

项 · 设置

框架与硬件 · PyTorch,NVIDIA RTX 3090(24 GB 显存)

单元层数 · 4 层,每层通道数 64、卷积核 5

优化器 · Adam,批大小 2,学习率 1×10⁻⁴

训练轮数 · 最多 100,验证集 MSE 连续 5 轮不降即早停

视觉 Mamba 状态维度 · d_state = 1(遵循先前工作)

SCEMA 参数 · α = 1/2,r = 2,g = 2,k = 3,G = 32

随机种子 · 固定为默认值 0

评价指标 · CSI/HSS/POD 在 20、30、40 dBZ(小雨/中雨/暴雨)阈值下计算,另计 MSE 与 SSIM

三个数据集:CIKM AnalytiCup 2017(深圳,101×101 像素覆盖 101 km,6 min 分辨率,取 3.5 km 高度层,前 5 帧报后 10 帧);HKO-7(香港天文台 2009–2015 年,512 km 覆盖,10 帧报 10 帧推演未来 1 h,训练/验证/测试序列 9554/580/1535);Shanghai(上海浦东 WSR-88D 双偏振雷达 2015 年 10 月–2018 年 7 月复合反射率,序列 4636/901/901)。

结果数字

40 dBZ 强回波:较次优模型与较基线模型

对比模型 8 个:ConvLSTM、PredRNN、MIM、PhyDNet、SimVP、Earthfarseer、VMRNN、AlphaPre。

数据集 · CSI 提升 · HSS 提升 · POD 提升

CIKM · +9.38% · +10.33% · +11.00%

HKO-7 · +9.22% · +11.70% · +10.07%

Shanghai · +12.54% · +8.87% · +7.31%

消融实验里,相对基线模型 PredRNN,完整 SCEVM-LSTM 在 40 dBZ 阈值下 CSI、HSS、POD 分别提升 25.12%、27.37%、30.94%。拆开看:单用 SCConv 或 EMA 都有提升但弱于联合的完整 SCEMA;顺序颠倒的变体 EMASC(先 EMA 后 SCConv)性能显著低于正序——注意力若先接触未去冗余的原始特征,权重图本身带噪声;SCConv+EMA 组合也一致优于 SCConv+CBAM 与 SCConv+PFG。

弱降水一侧的反例

CIKM 数据集 20 dBZ(弱降水)条件下,SCEVM-LSTM 的 CSI、HSS、POD 并非最优。作者的解释:20 dBZ 阈值把大量弱小、边缘化、短生命周期回波纳入统计,位置偏移、过度平滑和强度低估会增加漏报,预测范围偏大和局部虚警又同时压低 CSI 和 HSS;而 SCEMA 的设计本就侧重增强中高强度、时空组织性强的回波特征,与零散孤立的小尺度弱回波不对路。

推理时效

模型 · 单样本推理时间

PredRNN(基线) · 0.0593 s

SCEVM-LSTM · 0.0632 s

MIM · 0.0687 s

AlphaPre · 0.0718 s

VMRNN · 0.1233 s

Earthfarseer · 0.1794 s

作者对计算开销的定位是「有目的的权衡」:开销高于以效率为设计目标的 VMRNN,但相对基线 PredRNN 增长可控,且显著低于 Earthfarseer 这类结构更复杂的网络,换的是 40 dBZ 业务最关心指标上的提升。MSE 和 SSIM 提升幅度小于阈值类指标,作者的归因是阈值类指标聚焦强回波核心的命中能力,而 MSE/SSIM 在全场像素上平均,强回波区占比小、贡献被大量低强度区域稀释。

HKO-7 逐帧指标曲线
HKO-7 逐帧指标曲线

原文图 8:HKO-7 数据集上不同模型在 20、30、40 dBZ 阈值下 CSI、HSS、POD 的逐帧比较。随预报时效延长所有模型性能下降,SCEVM-LSTM 的曲线总体位于其他模型之上,长时效段差距更明显。

HKO-7 外推可视化对比
HKO-7 外推可视化对比

原文图 9:HKO-7 降水事件可视化对比。随时效延长,ConvLSTM、PredRNN、PhyDNet、Earthfarseer、VMRNN 的外推逐渐模糊、高回波消失;MIM 高估下方小尺度降水区,SimVP 误报上方低强度回波区的演变,AlphaPre 对小尺度降水精细度不足;SCEVM-LSTM 的形态与空间趋势更接近实况。

三类失败案例

作者从 CIKM 测试集选了三类代表性失效场景,并明确这些案例并非模型在所有对比方法中表现最差的情形,而是用来揭示特定天气场景下的典型误差类型。

失败案例:低阈值弱回波零散结构
失败案例:低阈值弱回波零散结构

原文图 10:低阈值弱回波零散结构场景。实况以零散片状、断续带状弱回波为主,随时效收缩为断续弧状弱回波带。SCEVM-LSTM(验证期 CSI20 = 0.263、CSI30 = 0.027)能报出可见回波,但断续小尺度弱回波被合并为较连续区域,中后期维持或扩展了实况已减弱收缩的范围,存在空间偏移和局部虚警。

失败案例:局地对流快速增强
失败案例:局地对流快速增强

原文图 11:局地对流快速增强与多区域回波发展场景。实况右下侧回波单体迅速加强成橙红色强回波核心,底部回波带逐渐发展、上方出现孤立新生单体。SCEVM-LSTM(CSI20 = 0.232)能延续早期已有的右下侧回波核,但对后续快速增强的强回波核心刻画不足、红色强回波明显偏弱,对新生单体和底部发展中的回波带响应不足。

失败案例:边界入流场景
失败案例:边界入流场景

原文图 12:观测边界入流或边界相关演变明显的场景。SCEVM-LSTM(CSI20 = 0.378)早期可报出部分边界附近回波,但中后期左侧和左下侧回波带过宽、过连续且偏平滑,与实况更破碎不规则的分布不符;对下边界和右侧边界的局地强回波核心、斜向强回波带刻画不足。

作者承认的限制

一句话判断

把 Mamba 的长程建模从「外挂编码器」改成「参与循环记忆更新」,再用 SCConv+EMA 的串联先删冗余再增强强回波结构——40 dBZ 指标上一到两个百分点的相对提升、弱回波场景上明说的短板,两笔账都摆在明面上;对做降水 AI 外推的人,消融表和三类失败案例比 SOTA 数字更值得看。

在观潮中打开(含配图与交互)→