引言

强对流天气破坏力极强，常伴有雷雨大风、冰雹、龙卷风、短时强降雨等灾害性天气，强对流天气发生于中小尺度天气系统，空间尺度小，生命史短，并带有明显的突发性，预报难度较大。

强对流天气预报的检验结果对于预报员合理应用预报产品有着重要的指导意义。常规的预报检验方法，如TS评分、ETS评分、空报率、漏报率、击中率 (Schaefer，1990) 等评价技术或指标，从统计学角度对预报准确、空报、漏报站点数进行计算。然而，由于强对流天气尺度小、发生概率低、预报难度大，一些简单的偏差，如预报与实况的位置偏差，就可能导致评分异常低，即使是一个在强对流天气目标的面积大小、形状、强度等方面与实况非常吻合的预报；强对流天气预报中特别是短临预报中多关注一些对流系统目标，其形态和结构特征往往伴随着特定的天气，如飑线系统、超级单体等，而传统的检验对一些区域目标仅给出简单的对错评价，而忽略了目标的固有属性，尤其是空间特征属性 (Ebert et al，2000；戴建华等，2013)；传统的检验仅给出预报正确与否或者准确程度的评价，而缺乏一些包含导致误差原因的信息。因此，为了弥补传统检验技术不能有效地捕捉强对流天气预报中的一些重要信息的缺陷，需要寻找一种检验方法，既能够在用户可以忍受的范围内包容一些偏差，又能够反映用户关注的形态、结构 (如对流单体形状、强度分布) 等预报效果，给出综合的评价结果，可以帮助用户发现预报误差来源，提高应用效果。

近年来开始出现一些新型检验技术，主要有两类，一类是模糊检验方法 (Ebert，2008；李佰平等，2016)，通过将预报和实况在不同的空间尺度、时间尺度、强度尺度或者其他重要的属性方面进行模糊化处理，并不需要预报和实况在各种尺度上的严格对应；另一类是基于目标对象的，通过对降水落区进行识别，进而比较预报和实况的目标对象的空间属性 (尤凤春等，2011；熊秋芬，2011；刘凑华等，2013；符娇兰等，2014)。国内外学者在降水预报空间诊断方面已经开展了一系列工作。如Wernli等 (2008)和公颖 (2011)的SAL方法对雨带的预报从强度 (amplitude，简称A)、位置 (location，简称L)、结构 (structure，简称S) 三个降水预报最关键的因素进行效果检验，对降水预报效果指示意义最大的为L值，L值越小，预报效果好的可能性越大，A值其次，S值再次。美国NCAR开发了目标动态检验评估法 (MODE)(Davis，2006a; 2006b；尤凤春等，2009; 2011)，可以客观地对比分析预报和观测对象的位置、形状、方向和尺寸等相关属性，重点分析的是雨区整体降水的统计分布，而非特定区域降水量的检验。徐同等 (2012)将2004年Casati提出的强度尺度检验技术，应用到上海区域中尺度模式的降水预报检验中。刘凑华等 (2013)应用基于目标的降水检验方法，对T639、ECMWF和日本模式降水预报进行对比分析。

因此，为了捕捉强对流天气预报中常常关注的天气目标 (如中尺度对流系统、对流风暴单体和对流落区等) 的形态、结构 (如强度分布) 等特征，本文设计了目标对象检验方法，通过对比预报与实况相对应的目标对象的等级TS评分、等级面积评分、位置评分、交叉相关评分、形状评分等检验评价指标，对三类强对流预报产品 (反射率因子预报REF、定量降水预报QPF、对流天气概率预报) 进行检验分析，实现对强对流短临预报的精细检验和评价。

1 检验方法设计 1.1 检验流程

目标对象检验法分为两部分 (图 1)，一是识别匹配，一是检验评价。

识别匹配是为了分别在预报和实况中寻找给定阈值的关注对象，并根据相似的面积、位置和形状进行匹配。步骤如下：首先，将实况和预报的强对流资料处理成相同的检验范围和分辨率，用户根据自己的关注重点，筛选出大于一定强度量级的强对流目标对象，兼顾到实际业务中的运算速度，识别出大于一定面积的强对流目标对象，剔除零碎的小目标对象。然后，对预报识别对象进行搜索匹配，分别计算每个对象的面积格点数、重心位置、形态参数，采用加权法综合三项评分指标，将预报目标对象与匹配得分最高的实况目标对象进行配对。

检验评价中分为两步：首先进行综合检验，即采用TS评分、面积大小、位置偏差、交叉相关、形状等指标对比相互匹配的预报和实况目标对象，并用加权法综合各项评分指标对总体检验的集合贡献，从而最终获取强对流目标对象预报的检验结果。然后对检验结果进行评价，给出预报目标在面积、位置、形状三方面定量的评价，如“预报面积偏大10%，重心偏东8 km、偏北12 km，长轴偏长6%，椭圆率偏大9%”。

1.2 评分方法

下面详细介绍五项评分指标的具体算法：

(1) TS评分。保留最常用的传统TS评分作为综合检验标准之一，即ScoreTS，计算强对流目标对象每个等级的TS评分，再平均得到总的等级TS评分。

$ TS = \frac{{NA}}{{NA + NB + NC}} $

其中NA、NB、NC定义见表 1。侧重于强对流天气点对点的检验，可以查看哪个等级的预报准确度最高。当TS=1时，预报与实况完全吻合，为最佳预报，当TS=0时，预报与实况没有一致之处。

(2) 面积大小。分别计算相匹配的预报目标对象与实况目标对象的同一等级的有效面积 (或格点数)Nfcst、Nobs，

$ ScoreArea = \frac{1}{{{{\left({2 \cdot \left| {\frac{{N{\rm{fcst}} - N{\rm{obs}}}}{{N{\rm{obs}}}}} \right| + 1} \right)}^{ - 1}}}} $

计算每个等级的面积评分，再平均得到总的等级面积评分。等级面积评分ScoreArea既作为目标对象匹配的因子之一，又作为综合检验的权重因子之一。在检验中，${\left| {\frac{{N{\rm{fcst}} - N{\rm{obs}}}}{{N{\rm{obs}}}}} \right|}$代表了两者目标对象范围的大小差异，当两者目标对象范围一样大时，即Nfcst等于Nobs时，ScoreArea为1。ScoreArea的大小客观反映了强对流目标对象的面积差异程度，差异越大，ScoreArea越小，差异越小，ScoreArea越大。

(3) 位置偏差。分别计算预报目标对象与实况目标对象的重心，重心距离的评分ScoreGC作为匹配及检验的权重因子之一。对于不同的检验范围，可以设置不同的最大容忍距离L_max和最佳距离L_min。当预报对象与实况对象的重心距离L≥L_max时，ScoreGC=0；当L_min < L < L_max时，$ScoreGC = 1 + \frac{{L - {L_{\min }}}}{{{L_{\max }} + {L_{\min }}}}$；当L≤L_min时，ScoreGC=1。L_min的设置需要针对用户业务需要，如在上海地区应用时，考虑到上海南北向和东西向范围都是110 km左右，针对短期预报容忍最大的偏差L_max取55 km，相应在短临预报中L_min取5.5 km。ScoreGC的大小客观反映了强对流目标对象的位置偏离程度，位置偏离越远，ScoreGC越小，位置越接近，ScoreGC越大。

(4) 交叉相关。采用一种改进后的交叉相关法 (COTREC)(陈雷等，2009) 对比了预报产品与实况资料，是检验的权重因子之一。通过 (3) 找出预报目标对象与实况目标对象的重心位置，经过重心平移后再做相关检验，相关系数ScoreR是不考虑位置偏差的相似度参数，能够更好地反映强对流预报对象与实况对象在内部结构上的相似程度。ScoreR越大，两者的内部结构越相似，ScoreR越小，两者内部结构差异越大。

(5) 形状。形状因子主要考虑了对象的长短轴的尺度、比例和轴向。对于某个检验目标对象，提取边界点信息，通过重心的最长两个边界点连线即为长轴，通过重心且垂直于长轴的最短两个边界点连线即为短轴。分别找出预报目标对象与实况目标对象的长轴和短轴，计算长短轴的比例即椭圆率和长轴的轴向角度，即可分析强对流目标对象的大致形状。本地业务应用中，根据预报员的接受程度，当轴角差大于90°时轴向评分为0，轴角差小于10°时轴向评分为1，二者之间线性取值；椭圆率差值大于0.5时椭圆率评分为0，椭圆率差值小于0.1时椭圆率评分为1，二者之间线性取值。预报对象与实况对象的轴向评分和椭圆率评分共同构成形状参数ScoreShape，是匹配及检验的权重因子之一。ScoreShape越大，说明强对流预报目标对象形状越接近实况。

1.3 匹配方法

目前，强对流天气预报产品的用户可以分为三大类：业务预报人员、专业用户和普通公众。以格点型产品为例，根据自身需求，用户对强对流天气预报产品的属性有自己的关注重点和评价标准，这些将决定综合评价预报产品各个属性时的权重 (戴建华等，2013)。根据本地的业务预报人员的调查表样表 (表 2)，预报员最关心强度和位置，其次是形态分布和面积。所以目标对象搜索匹配时，分别计算每个目标对象的面积评分ScoreArea、位置评分Score GC、形状评分ScoreShape，三项权重分别为0.3、0.5、0.2，采用加权法综合三项检验指标得到匹配分数，取匹配分数最高的实际目标与预报目标进行配对。

1.4 总体检验评分

针对匹配的预报目标对象和实况目标对象的总体检验采用权重法进行各项检验评分的合成，Weight=R1·ScoreTS+R2·ScoreArea+R3·ScoreGC+R4·ScoreR+R5·ScoreShape。鉴于等级面积评分和面积、强度有关，交叉相关与面积、强度、分布等均有关，本地业务中五项检验指标的权重R均为0.2。根据预报员或用户的侧重点不同，可以设置不同的系数R。根据不同类型的强对流天气，可以有不同的关注要点，也可以设置不同的权重R来突出关注要点 (表 2)，如用户关注强度，可以适当调高等级面积评分的权重，若关注落区位置则调高重心评分的权重。

1.5 用户评价

用户评价是根据面积大小、位置偏差、形状检验时的各个参数，得到定量的文字表述信息。例如，根据检验得到的面积格点数，判断预报面积比实况偏大还是偏小，以及偏差程度；根据强对流目标的重心位置，分析预报重心位置较实况偏向哪个方位，偏离多少千米；根据形态参数判断预报目标是什么形状，当椭圆率≥5时目标为线状，≤2时为块状，介于两者之间的为带状目标，给预报员直观形象的形状评价结果。

目标对象检验法，匹配时主要诊断面积、形状、位置三方面属性，主要包括面积大小、轴角偏差、椭圆比率、重心位置，和MODE类似，MODE主要诊断面积重叠比、轴角偏差、重心位置、边界最小距离。检验时，本方法考虑了等级TS、等级面积、位置、交叉相关、形状五项评分，MODE是对上述三方面对象属性的综合相似度评分。目标对象检验法保留传统的TS评分，能让预报员或用户直观对比传统方法与新方法的差异；交叉相关是不考虑位置偏差的相关系数，能直观表示目标对象内部结构上的相似程度，因而目标对象检验法采取了这五项评分。不同用户根据关注重点，设置各项系数时，只需要修改外部配置文件，方便易操作。最终目标对象检验法还可以提供量化的评价信息。

2 检验结果与分析

下面对三种类型强对流预报产品进行目标对象法检验分析。

2.1 雷达反射率因子预报检验

用目标对象检验法对2013年6月23日长三角地区发生的短时强降水过程中NoCAWS (上海市气象局短时临近预报预警系统) 的雷达反射率因子1 h预报产品 (REF) 进行了检验。图 2是2013年6月23日雷达反射率因子图 (0.5°仰角)，图 2a为实况，图 2b为对应时刻的预报图，可见对流系统为一“人”字形结构的中尺度对流系统。预报检验区域选为30°~32.5°N、120.5°~123°E，即图中小长方形区域，选择了30 dBz作为对流目标对象的阈值，鉴于检验区域较小，分辨率较高 (0.01°N ×0.01°E)，目标对象最少格点数为50。目标对象检验法在预报场中识别出4个目标对象，在实况场中识别出8个目标对象。针对4个预报目标对象，分别寻找匹配的实况目标对象，下面取影响范围较大的预报目标1和预报目标3为例，进行检验结果分析。

预报目标1与实况目标3最匹配，正好对应“人”字形回波的“撇”的部分 (图 3)。预报目标1与实况目标3的检验结果 (表 3) 表明，30.0~49.9和50.0~75.0 dBz的等级TS评分仅为0.26和0，面积评分分别是0.77和0.58，等级TS总评分是0.13，等级面积总评分是0.67，位置评分0.78，交叉相关评分0.37，形状评分0.50，检验总评分0.49。预报目标1的重心位于31.10°N、121.14°E，实况目标3的重心位于31.02°N、121.26°E，两者之间存在15 km左右的偏差；同时，实况的强回波南北分布比较均匀，而预报目标的强回波集中在31°N附近，目标整体偏北，可见位置偏差和强度偏差是导致等级TS评分较低的主要原因。一般而言，这部分类似“锢囚形状”的回波一般向偏东或东南偏东方向移动 (Blanchard，1990；易笑园等，2011；孙健等，2004)，而本次预报的回波移速又略偏慢，最终导致预报目标重心位置偏西、偏北15 km左右。然而，该预报在以下几方面还是对预报员有一定的参考价值。首先，在面积方面，30.0~49.9和50.0~75.0 dBz面积评分达到了0.77和0.58，目标范围大小预报还是可以参考的；在形状方面，预报目标的长轴比实况目标的短，但短轴比实况更短，所以长短轴比例比实况目标大，长轴方向预报评分较高 (0.64)，从图 3也可以直观看出“人”字形回波的“撇”主体的部分重合率较高。预报目标椭圆率是2.87，由此判断目标为带状。综上给出评价信息“预报目标总面积偏大15%，预报重心位置偏西12 km、偏北9 km，预报目标椭圆率偏大28%，长轴偏短7%，带状目标”。

预报目标3与实况目标6最匹配，对应“人”字形回波的“捺”的部分 (图 3)。预报目标3与实况目标6的检验结果 (表 3) 显示，30.0~49.9和50.0~75.0 dBz的等级TS评分是0.19和0.01，面积评分分别是0.8和0.47，等级TS总评分是0.1，等级面积总评分是0.63，位置评分0.77，交叉相关评分0.35，形状评分0.46，检验总评分0.46。同样地，不同强度等级的TS评分较低，对应的面积评分较高。预报目标3的重心位于30.95°N、122.13°E，实况目标5的重心位于31.10°N、122.15°E，这部分回波一般向东北偏东方向移动，预报目标落区位于实况目标的西南侧，预报目标重心位置偏西、偏南，两者相差15 km左右，结合预报目标1的位置偏差可以发现，整体回波位置都偏西，预报移速偏慢，单独的预报目标还有南北不同的位置差异，位置、强度偏差是导致TS评分低的主要原因。预报目标3的长轴比实况目标的长，长短轴比例比实况目标大，长轴方向预报评分较高，椭圆率是1.75。但是目标的面积预报、长短轴比例 (椭圆率评分0.51) 还是有效的。综上给出评价信息“预报目标总面积偏小13%，预报重心位置偏西3 km、偏南15 km，预报目标椭圆率偏大16%，长轴偏长17%，块状目标”。

2.2 定量降水预报 (QPF) 预报检验

除了对流系统外，强降水落区也可以采用目标对象检验法进行检验与评价。2014年7月30日苏皖地区有一次飑线大风短时强降水过程，下面用中国气象局短临预报业务系统SWAN的1 h定量降水预报 (QPF) 产品和定量降水估测 (QPE) 产品分别作为预报场和实况场 (图 4)，通过目标对象检验法进行分析。检验区域选为30°~34°N、115°~120°E，筛选出≥20 mm的强降水目标，由于检验范围较大，分辨率较高 (0.01°N × 0.01°E)，目标最少格点数选为100，预报场识别出4个目标，实况场识别出3个目标 (图 5)。影响范围最大的预报目标1与实况目标2最匹配，下面进行检验结果分析。

从预报目标1与实况目标2的检验结果 (表 4) 可以看出，由于面积偏小和位置偏差等原因，20.0~29.9和30.0~49.9 mm等级的TS评分都较低，但面积评分分别是0.89和0.39，20.0~29.9 mm的预报范围大小比较接近实况，30.0~49.9 mm预报面积明显偏小。50.0 mm以上的等级预报漏报，QPE强度远远大于QPF强度，TS评分和面积评分都是0。这次过程20.0~49.9 mm的QPF产品有一定的指导意义，但是50.0 mm以上的QPF漏报，强度越强，QPF越容易偏弱，与其他地区的SWAN评估结论一致 (吕晓娜等，2013)。预报目标1的重心位于31.21°N、117.89°E，实况目标1的重心位于31.18°N、117.73°E，预报目标重心位置偏东、偏北，二者相差16 km左右，位置预报较好，重心评分为0.76。预报目标的长短轴比例比实况目标小，长轴比实况短，长轴方向预报评分较高，椭圆率是5.23。综上得到评价结果“预报目标总面积偏小54%，预报重心位置偏东15 km、偏北5 km，预报目标椭圆率偏小53%，长轴偏短2%，线状目标”，目标对象检验法能较好地判断强对流目标的形态，给预报员提供直观的信息。

2.3 对流天气概率预报检验应用

在更长预报时效的强对流天气预报中，用目标对象检验法对华东地区24 h强对流天气落区概率预报进行了检验和评价。2013年7月30日，华东地区多地发生了局地大暴雨并伴随8~10级雷雨大风的强对流过程。实况数据是基于ADTD闪电的格点型对流分析产品，格点分辨率与预报数据一致，都是0.5°N×0.5°E，检验区域选为27°~36°N、115°~123°E，根据预报员经验选择了对流概率≥40%作为筛选对流概率目标的阈值 (图 6)，由于检验范围较大，分辨率较低，目标最少格点数选为1，预报场识别出5个目标，实况场识别出3个目标 (图 7)。影响范围最大的预报目标2与实况目标2最匹配，下面进行检验结果分析。

从预报目标2与实况目标2的检验结果 (表 5) 可以看出，由于对流预报面积明显偏大、落区位置有明显偏差，40%~60%、60%~80%等级的TS评分都是0，但等级面积评分都达到0.3以上，尤其是80%概率以上的面积评分较高，对流概率越大，面积预报越好。预报目标重心33.61°N、119.64°E，实况目标重心33.48°N、119.36°E，重心偏东偏北34 km，对于市级预报这个位置误差偏大，但对于省级预报员可以接受。预报目标的长短轴比例 (1.67) 比实况目标 (2.96) 小，长轴方向预报评分0.69，椭圆率评分为0，由于预报的南北范围预报偏大，短轴比实况明显偏长，目标识别为块状，与实况带状目标有差异。

预报目标4和5都是局地发展的对流天气，预报目标4和5都与实况目标3最匹配，实况天气发生在浙北，预报在浙江中部，因为位置偏差太大，这类天气的概率预报传统检验评分和目标检验评分都很低。

3 结论和讨论

针对强对流天气预报的特点，本文设计了针对目标对象检验方法，通过目标识别和目标匹配选择预报与实况中与对流系统有关的目标对象，然后对比预报与实况的强度、面积、空间距离、形态、相似度等，对相匹配的强对流目标进行检验，最后，根据用户使用倾向设置的各个检验指标的权重，加权得到综合评价结果，从而实现对强对流目标的综合检验和评价。

采用目标对象检验法对SWAN的QPF、NoCAWS的REF和对流概率预报这三类强对流业务产品进行了检验，在丰富了检验指标的同时还定量化地发现了这些产品存在的一些误差原因，例如REF和QPF产品由于面积、位置、强度等原因，容易造成传统评分 (TS评分) 低，对流概率产品预报面积往往偏大很多等。

综上所述，目标对象检验法不仅给出面积、位置和形状评价，提供了更多的评价指标来剖析各类强对流天气预报的性能，为预报员提供量化直观的检验和评价结果，挖掘更多有用的空间特征信息。同时，还通过这些指标进一步可以分析产生偏差的可能原因，为强对流预报产品开发和应用者分析了面积、位置或强度等引起传统评分 (TS评分) 较低的原因。

今后，该检验方法还可以拓展运用到其他强对流天气预报产品，例如雷电密度 (单位面积、单位时间的地闪次数)、雷暴大风、冰雹的预报检验，以及预警信号的分析应用，针对不同类型强对流预报的检验指标仍需要大量的样本积累和试验。目前针对强对流目标只开展了水平尺度的检验，垂直方向的要素检验值得进一步探索，才能更加全面地分析强对流目标特点。