引言

随着全球气候变暖和城市化进程的加快，极端降水天气频发(罗伯良等，2008；苏布达等，2006), 对人类生产、生活造成很大影响，尤其是短历时强降水因其发生时间短、降水量大且位置相对集中，对许多行业的防灾避灾带来巨大困难，比如：北京“7·21”特大暴雨，北京电网许多变电站发生积水进而导致电力设施损毁，造生了巨大经济损失。电网为提高应对突发性强降水的防灾决策能力，开始将短时临近降水预报产品引入到其生产系统中，对电网高影响降水过程进行实时监测和滚动预报，这对于电网提高防灾决策能力具有重要意义。然而不同预报精度的短时临近预报产品产生的价值是不同的，采用何种方式评价短时临近预报产品的精度是个值得探讨的问题。

近年来，我国的短时临近天气预报技术取得了显著进步, 为客观、全面地评估短时临近模式的强天气预报效果，相继发展了多种类型的检验方法，其中，业务上常用的是TS评分、均方根误差、平均偏差、相关系数等适用于常规天气检验的传统方法, 该方法要求预报与实况在空间与强度上严格一一对应, 但实际应用时, 某些行业和决策方案对预报的落区和范围具有一定容忍度, 而传统检验的结果会忽略降水的空间连续性、低估预报的可用性, 同时也无法给出预报失误的原因。因此, 针对时空尺度小、生消移动快和发生概率小等特点的强天气预报，空间检验方法逐渐发展起来(Davis et al，2009；Skok et al，2010；Johnson et al，2013；戴建华等，2013；潘留杰等，2015；李佳等，2016；王新敏和栗晗，2020)。

基于目标对象的检验评估方法(method for object-based diagnostic evaluation, MODE)是空间检验方法中一种典型的特征法，王国荣等(2014)指出它可克服传统检验方法对空间位置的过度依赖以及TS评分的“双重惩罚”等不足。尤凤春等(2011)、王雪莲等(2013)、刘凑华和牛若芸(2013)、曲巧娜等(2019)研究表明：MODE将降水场看作是由多个天气系统相伴随的降水目标组成, 对预报和观测场中的降水目标进行识别和匹配, 从降水落区的位置、形态、走向、强度等方面给出客观比较, 能够提供更加详细定量的具有一定天气学含义的检验信息, 更加全面地反映模式降水预报的性能。

随着MODE的发展成熟, 在气象部门的降水空间检验业务中应用也越来越多，但很少有研究对预报产品在不同行业高影响事件中的效果进行评估，因而陈笑等(2018)基于该方法探讨了其检验电网强风高影响事件的适用性, 并将MODE的关键参数取值与不同行业用户的承灾能力、决策方案的时空容忍度等相结合，可较好地评估出预测产品在特定行业应用场景下的预报能力，但该工作仅基于一个大风个例展开，无法分析出基于大量电网高影响强风过程空间检验参数的统计特征，故不能深入揭示某类预报产品对某个行业场景的应用价值。此外，并未探索其在电网高影响暴雨过程检验中的适用性，因此，本文考虑了京津冀地区短时强降水的主要特点及其对电网用户的影响, 将MODE主要检验参数的取值与电网业务的特点相结合，分别基于MODE检验过程中目标识别与目标匹配的计算结果, 研究了降水目标个数、大小、强度的日变化规律性以及降水落区、范围、走向、中心雨强的预报偏差等参数的统计特征，揭示了睿图短时临近预报系统(Rapid-Refresh Multi-Scale Analysis and Prediction System Integration, RMAPS-IN)对2019年京津冀地区主汛期强降水事件的预报效果, 以期为用户评价短时临近预报预警效果提供一种合理、全面的检验方法, 为检验者充分解释应用MODE检验结果提供一种更精细的评估流程, 为短时临近预报模式性能的改进提供有效参考，并为行业气象预报人员科学使用短时临近预报产品提供一定的客观依据。

1 预报与实况降水场数据

RMAPS-IN是中国气象局北京城市气象研究所基于华北区域多源观测资料(雷达、自动气象站)及多系统产品(RMAPS-ST数值模式产品、VDRAS临近预报风场)融合集成技术、动力降尺度技术、复杂地形模式订正技术拓展研发的短时临近实时融合分析和预报系统，于2016年正式投入业务运行，逐10 min启动1次，更新1 km×1 km空间分辨率的三维气象要素客观分析产品和未来0~12 h地面要素及降水集成预报产品(杨璐等，2019；穆启占，2016；王国荣等，2019)，基于各数据资料的到报时间以及计算机资源的使用情况，预报产品大概滞后10~15 min。RMAPS-IN主要有4个模块(降水、温度、湿度和风)，不同种类观测资料通过不同功能模块输入RMAPS-IN进行融合分析，其中降水模块首先基于雷达和自动站观测资料，采用融合技术得出格点定量降水估测，然后计算出降水预报的移动矢量，配合模式预报的引导风场，得出降水的外推预报。宋林烨等(2019)通过一种新的雷达本地化定量气候较准算法改进了RMAPS-IN降水分析产品的质量，此算法的核心是基于长时间序列的资料对雷达定量降水估测进行气候尺度的误差约束，检验结果表明，经校准后，绝大部分气象站点位置的雷达定量降水估测更接近自动气象站观测值，各项偏差减小50%，且降水结构细致，雷达定量降水估测的准确度显著提升，由此，用RMAPS-IN的降水分析产品作为本研究的实况场是可靠的。解小寒等(2018)的评估检验结果显示，RMAPS-IN的高分辨率三维实况分析场质量良好，其短时临近预报在地形复杂的山洪地质灾害隐患地区的短时临近预警服务上具有一定优势。王国荣等(2019)也指出，基于RMAPS-IN多种诊断因子的对流发展集合概率在强弱两种天气背景下，都能较好地反映对流系统在临近时段的发展趋势。

本研究的实况降水场为RMAPS-IN的逐时格点实况分析数据, 预报降水场为RMAPS-IN的1 h及2 h短时临近预报数据, 检验时段为2019年6月1日00时至9月30日23时(北京时，下同), 检验区域为京津冀地区(37.4°~42.7°N、113.2°~119.4°E)。

2 预报效果评估方法 2.1 评估流程概述

对电网用户而言，首先关注预报产品在固定区域内对某种特定阈值事件的综合预报能力，因此本研究在识别出所有实况场强降水目标和预报场强降水目标的基础之上，定义了预报准确率、空报率和漏报率等指标，并结合降水目标个数、大小及强度的日变化规律, 对短时强降水的预报敏感性、降水频率、影响范围及中心雨强的日变化趋势进行宏观预报能力分析，进而揭示产品的综合预报能力；此外，由于电网用户关注一定强度之上的强降水事件，相对更看中降水的落区位置预报，对降水的影响范围以及时间偏差具有一定的容忍能力，因此本文在匹配实况场和预报场中强降水目标对的基础上，又定义了目标对匹配率和整场基于目标的空间预报评分(object-based threat score, OTS)指标，并结合匹配成功目标对的质心距离、面积比、交集比、轴角差、强度比的频率和空间分布, 对降水的落区位置、形态走向、中心雨强等特性进行精细化预报能力分析(图 1)。

2.2 主要方法介绍 2.2.1 MODE关键参数选取

MODE将检验要素作为空间上连续的目标体识别出来, 模拟人的主观判断, 用模糊逻辑算法分析预报与实况场的空间特性差异, 进而分析预报结果的误差来源。基于之前对MODE中各关键参数的深入研究, 为适度聚焦检验目标并客观表达预报的空间误差, 检验过程中应综合考虑预报和实况的水平分辨率, 用户对该类强天气预报误差的空间和时间容忍度等并结合电网用户业务特点, 合理选择卷积半径、检验阈值、空间误差诊断量权重、空间特征综合匹配阈值以及强度百分位比值等关键参数(陈笑等，2018)。本研究对上述5种检验参数的选取依据如下。

(1) 卷积半径

原始场中的细碎小目标物会对强天气事件的检验造成干扰，设置卷积半径进行二维空间滤波，会使原始数据场更加平滑和连续，因此卷积半径的大小决定了检验场降水目标的最小面积和粗糙度。

本研究检验区域的空间分辨率为1 km, 格点范围为588×688，雷暴云团的最小尺度一般为2 km，为突出大范围、影响较强的集中降水区域, 应过滤掉破碎的小尺度降水, 此外通过大量试验发现, 当卷云半径取4时, 对目标的平滑效果最好(图略), 既能降低其形状的复杂度, 又能最大程度上保留其主要空间特征。

(2) 检验阈值

通过选取检验阈值，筛选不同强度的事件，使重点关注的强天气事件特性更加显著，检验阈值的确定需要考虑气象要素对用户的影响。

每小时达到10、20、40 mm以上量级的降水对电网变电站的影响较大，因此分别选取以上3种量值作为空间检验阈值。

(3) 空间误差权重

根据降水目标的位置、走向以及范围这3种空间特征类别，在本研究中分别选取质心距离、轴角差、边界距离、面积比、交集比作为计算目标对空间综合匹配度的5项空间误差因子，然后确定每个误差因子的计算权重(表 1)，权重的大小代表了误差因子对降水目标匹配度的影响大小，最后应用模糊逻辑算法，综合考虑这5种空间误差，定量计算出每个目标对中两个单体间的匹配度，这是目标对最终能否成功匹配的依据。

空间误差权重应基于强天气事件的空间特点以及电网对预报空间误差的容忍度确定，本研究中的5项空间误差因子权重系数的选取及依据如表 1所示。

(4) 空间特征综合匹配阈值

计算出空间匹配度之后，还需要确定一个匹配度阈值，若空间匹配度达到此阈值之上，则目标对匹配成功; 否则，匹配不成功。空间特征综合匹配阈值的大小决定了检验标准的高低，值越大表明对强天气事件的预报精度要求更高，因此，阈值的选取主要取决于检验者或用户对该强天气事件预报能力和预报准确度的要求。

通过大量试验发现, 空间综合相似度为0.7以上的目标对, 其预报与实况的降水落区位置、影响范围、形态走向等空间特性最接近, 最符合检验者的主观判断, 由此, 本研究中的匹配阈值取0.7。

(5) 强度百分数比值

在用MODE进行检验计算的过程中，一般会将每个降水目标内部的所有格点降水量值从小到大排列，然后对预报和实况场中匹配成功的目标对分别做第10%、25%、50%、75%、90%分位数上的强度比值，在本研究中，选取第90%分位数作为降水强度的评判参数，根据比值的大小评估空间特征相似的降水目标的降水强度预报效果。

2.2.2 宏观预报评估指标定义

顾问等(2015)针对强降水的研究中, 将单站/格点上连续发生n小时以上的强降水定义为一个短持续或长持续强降水事件, 本研究考虑降水要素的空间连续性, 基于MODE识别出的降水目标个数, 将1小时内发生空间连续的强降水定义为一个短时强降水事件, 其不同量级事件的具体定义如表 2所示。

针对上述短时强降水事件, 基于常规降水检中的TS评分、空报率及漏报率算法, 定义如下事件检验指标：

$ \mathrm{TS}=\frac{\mathrm{NA}}{\mathrm{NA}+\mathrm{NB}+\mathrm{NC}} \times 100 \% $

(1)

$ \mathrm{PO}=\frac{\mathrm{NC}}{\mathrm{NA}+\mathrm{NC}} \times 100 \% $

(2)

$ \mathrm{FAR}=\frac{\mathrm{NB}}{\mathrm{NA}+\mathrm{NB}} \times 100 \% $

(3)

式中: TS为事件预报成功指数, PO为事件漏报率, FAR为事件空报率, NA为预报和实况场中同时出现短时强降水事件的时次, NB为预报场出现短时强降水事件, 但实况场中没出现的时次, NC为实况场中出现短时强降水事件, 但预报场中没出现的时次。

2.2.3 精细化预报评估指标定义

(1) 匹配率

为大致评估预报场与实况场降水目标的匹配情况, 定义如下检验指标：

$ \mathrm{MS}=\frac{\mathrm{ND}}{\mathrm{NA}} \times 100 \% $

(4)

式：MS是在短时强降水事件预报准确的基础上, 预报与实况降水目标的匹配率；ND为预报与实况场中有匹配成功目标对的时次。

(2) OTS

在MODE检验中通常用所有目标对最优相似度的中位数(the median of maximum interest, MMI)代表整场的空间预报能力，其计算方法是：预报场识别出n个对象，实况场识别出m个对象，预报场中每个对象都有m个观测场对象与之匹配，对应m个相似度值，取其最大值作为每个对象的最优相似度，同理对实况场做类似计算，将预报与实况场中每个对象的最优相似度合并成一个数组，该数组的中值即为本场检验的MMI。但是，若不考虑目标对成功匹配的个数与目标的影响范围，仅用所有目标对最优相似度的中位数代表整场的预报效果在某些情况下不合理，例如：有一个面积较大的降水目标对，其相似度为0.9，另有若干面积较小的目标对的相似度均不足0.5，那么整场的MMI值可能不超过0.6，这对关注大面积降水事件的用户显然是不适用的。

因此，本研究基于MODE检验结果中的降水目标匹配个数、目标对面积以及目标对匹配度评分, 计算能够科学量化空间预报准确性的OTS指标(Johnson et al，2011；Ji et al, 2020)。其意义在于, 对于一次强降水事件而言，匹配的目标对越多，或高评分目标对的降水影响面积越大，其OTS越高, 计算公式如下：

$ \mathrm{OTS}=\frac{\sum\limits_{p=1}^n I^p\left(a_{\mathrm{f}}^p+a_{\mathrm{o}}^p\right)}{A_{\mathrm{f}}+A_{\mathrm{o}}} $

(5)

式中: p是匹配目标对个数, A_f、A_o分别为预报场和实况场中降水目标总面积, a_f^p、a_o^p(p=1, 2, 3, …, n)分别为第p个匹配目标对的预报目标面积和实况目标面积, I^p为第p个匹配目标对的匹配度评分。

3 检验结果分析 3.1 基于降水目标识别的宏观预报能力分析

空间上连续并对电网用户造成影响的短时强降水事件随着降水量级的增加, 发生概率显著降低, 虽然特大暴雨事件的发生频率较低, 但其短时内降水强度更大, 变电站积水下渗的速度更快, 抢修难度更大, 对电网设备造成的损失也更严重，此外短时强降水事件的预报概率比实际发生概率略偏高(表 3)，表明短时临近预报系统对暴雨及以上强降水事件的抓取比较敏感, 存在空报现象。

表 4为3种不同等级短时强降水事件的预报准确率、漏报率及空报率。结果表明，降水强度越大的事件, 预报准确率越低, 空报及漏报率越高, 空报率普遍大于漏报率, 且随着降水强度增加, 预报准确率的降幅及空报、漏报率的增幅均增大, 空报率的增幅大于漏报；此外, 1 h的预报效果明显优于2 h的预报效果, 表示随着预报时效的增加, 短时临近预报性能下降, 准确率降低, 空报及漏报均增加, 且漏报的增幅大于空报。

从实况降水场的日变化特征来看(图 4), 随着暴雨量级的增加, 目标物的个数和平均面积逐渐减小, 但不同量级暴雨目标物个数及面积的日变化趋势基本一致：午后至前半夜的降水目标较多，暴雨、大暴雨及特大暴雨的个数分别在16时、15时及14时达到最大, 后半夜至上午的降水目标相对较少；后半夜至上午(00—10时)的降水目标平均面积相对午后至前半夜(12—23时)较大, 凌晨左右降水目标面积可达最大。暴雨及大暴雨目标的个数及降水面积的日变化趋势的预报效果较好, 预报与实况的相关系数基本大于0.6(图 4a₁, 4a₂, 4b₁, 4b₂), 最好可达到0.94(图 4a₁), 随着暴雨量级的增加, 预报性能逐渐减弱, 对特大暴雨的预报效果较差, 其预报与实况降水的日变化基本为负相关(图 4a₃, 4b₃)；预报场中降水个数峰值出现的时刻较实况明显滞后, 午后至前半夜, 降水目标个数与平均面积的预报误差相对较大, 预报的降水面积普遍偏大, 1 h的降水目标个数及面积的预报效果明显优于2 h。

从实况降水强度的日变化特征来看(图 5), 随着暴雨量级的增加, 降水目标内最大降水强度的波动性增大, 但不同量级暴雨目标的最大降水强度的日变化趋势基本一致：午后至前半夜降水较强, 暴雨、大暴雨及特大暴雨的最大降水强度分别在15时、16时及17时达到最大, 后半夜至上午降水较弱且波动相对平稳。从降水预报效果来看, 3种暴雨目标降水强度日变化趋势的预报效果较好, 预报与实况的相关系数基本大于0.6，且预报场中降水强度峰值出现的时刻与实况相差不大, 但预报对暴雨及大暴雨目标内的最大降水强度普遍高估(图 5a, 5b), 且在午后的预报绝对误差较大, 对后半夜至上午特大暴雨目标内的最大降水强度略有低估(图 5c), 1 h的雨强预报效果明显优于2 h。

综上所述, 京津冀主汛期强降水的主要特征是：夏季午后至前半夜, 由于近地面温度较高湿度较大, 热力及动力条件配合较好, 发生对流性强降水的概率较大, 这种强降水的特点是降水集中且降水强度较大, 后半夜至次日上午, 发生东北冷涡或副热带高压外围暖湿气流等引起的系统性强降水的概率较大, 这种强降水的特点是降水影响范围较广, 降水强度相对强对流暴雨较弱。

此外，短时临近预报模式的宏观预报能力主要表现出以下基本特征：短时临近预报对影响电网安全的强天气比较敏感, 对同一种暴雨事件的空报普遍大于漏报, 且随着降水等级的增加, 空报的增幅大于漏报, 但随着短时临近预报时效的增加, 漏报的增幅大于空报；短时临近模式对强降水日变化趋势的整体预报效果较好, 但随着降水量级及预报时效的增加, 预报性能逐渐减弱, 且对午后对流性强降水存在漏报, 对其降水面积及强度预报偏大。

3.2 基于降水目标匹配的精细化预报能力分析

表 5为不同等级短时强降水的目标匹配率, 其计算如式4所示, 匹配率越高, 可大致表明降水目标空间特征(落区位置、形态走向以及影响范围等)的预报效果越好。统计结果显示, 1 h短时临近预报场对80%暴雨目标物的空间特征预报较准确, 2 h短时临近预报场对48%暴雨目标物的空间特征预报较准确, 此后随着降水量级的增加, 降水目标的匹配率逐渐降低。

图 6为1 h与2 h预报场OTS的日变化趋势, 其计算如式5所示, OTS越接近1, 表明整个短时强降水场的空间预报效果越好。从图 6中可以看出, 1 h预报场的OTS一般在0.65~0.8, 2 h预报场的OTS基本为0.6以下, 短时临近1 h的空间预报效果明显优于短时临近2 h, 此外, 凌晨至夜间23时, OTS逐渐降低, 表明午后的强降水空间预报效果相对于后半夜至上午较差。

基于以上短时强降水空间预报能力的整体评价结果, 下文仅对1 h短时临近预报场中暴雨目标对的强度及各项空间预报误差进行统计分析。

图 7为预报场与实况场中匹配成功的暴雨目标对强度及各项空间误差的频率分布图。由统计结果可知, 暴雨目标的空间走向及中心降水强度的预报效果较好, 61%的匹配目标对的轴角差小于30°, 42%的匹配目标对的强度比大于0.8；暴雨目标影响范围的预报效果一般, 50%的匹配目标对的面积比大于0.6, 表明预报场对降水影响区域的预报偏大或偏小较多；暴雨目标落区位置的预报效果一般, 48%的匹配目标对的质心距离不超过10 km, 且多数集中在5~10 km, 目标对的质心距离与目标本身的空间尺度有关, 相同预报能力下, 目标空间尺度越大, 质心距离越大, 结合本研究中目标物平均空间尺度的频率分布可知(图略), 有55%的暴雨目标的空间尺度为10 km以内, 这表明预报场中有近一半暴雨目标的落区位置在实况降水的影响区域之外, 此外, 29%的匹配目标对的交集比大于0.8, 23%的匹配目标对的交集比小于0.2, 这表明, 有近四分之一暴雨目标与实况暴雨区域相近却不相交。

根据表 6中各项空间及强度误差对应的预报优劣的分级标准, 重点对北京主汛期暴雨事件的各项空间及强度特征的不同等级预报效果进行空间统计分析(图 8)。整体上看, 平原地区的暴雨预报效果优于西部及北部山区, 其中海拔较高的山区及山前平原地区(昌平、海淀、房山东部)暴雨目标的落区位置、降水范围、中心最大降水强度等预报效果较差(图 8a~8c), 这表明山地地形对暴雨的触发、加强、削弱及消亡可能有一定的影响；房山—顺义一带暴雨目标的影响区域和走向的预报效果较差(图 8a, 8d), 结合前文对降水目标物形态走向的统计结果得出, 北京地区夏季易受副热带高压西北侧冷暖气流交汇的影响, 形成自西南向东北移动的强降水过程；此外, 通州地区强降水的影响范围及中心最大降水强度的预报效果较差(图 8a, 8b), 这可能是由于降水目标东移过程中, 热力及动力条件配合较好造成局地降水加强。

综上所述, 短时临近预报模式的精细化预报能力主要表现出以下基本特征：短时临近预报模式对午后强降水的整体空间预报性能相对后半夜至次日上午较差，对强降水移动路径及中心最大降水强度的预报效果略优于对降水影响范围及落区位置的预报效果；北京地区山地地形以及平原局地强对流触发、加强、削弱或消亡的降水目标的整体预报效果相对较差, 由西南方向移入北京的系统性强降水的移动路径和降水区域的预报效果相对较差。

4 结论与讨论

为了满足电网用户对致灾性强降水过程预报的应用需求，帮助其寻找更合适的短时临近预报产品，本文将MODE与RMAPS-IN高分辨率实况分析和预报产品相结合，定义了一个以事件预报准确率、空报率、漏报率、降水特征日变化规律、匹配率、OTS、各项误差的频率和空间分布为主的综合性预报评判指标体系，并基于MODE核心检验参数，提出了一套面向电网用户的致灾性强降水目标识别和匹配的参数阈值，在此工作基础上，开展了京津冀地区2019年汛期的强降水事件检验，得到以下结论：

(1) 京津冀主汛期强降水走向主要有西北—东南和西南—东北两种，午后至前半夜的降水范围较小、频次和降水强度较大，后半夜至次日上午的降水范围较大、降水强度较小；

(2) 强降水事件的1 h短时临近预报准确率达到72%，2 h准确率达到64%，空报率普遍高于漏报率，漏报多发生于午后；短时临近预报对强降水频次日变化趋势的预报相关系数为0.78~0.94，对强降水范围日变化趋势的预报相关系数为0.6~0.82；

(3) 强降水空间特征的1 h短时临近预报能力评分可达0.65~0.8，2 h评分一般在0.6以下；总体上，午后至前半夜的强降水空间预报效果相对较差，短时临近预报对强降水移动路径和降水强度的预报效果略优于降水落区的预报效果。

RMAPS-IN短时临近预报系统对一般强降水事件比较敏感，但由于其源于实况外推，未考虑强降水的生消过程，因此，对山地地形影响或午后局地热量积聚触发的强降水不敏感，存在漏报或空间预报误差较大的情况。对此，除改进产品预报性能，应针对短时临近预报产品的局限性，为电网用户提供专业定制化精准气象服务，如重点关注降水云团翻山后的变化趋势，或在夏季午后高温时段注意防范平原地区局地触发的短时强降水。