2019, Vol. 45 
TS评分由于遵循严格的点对点检验，往往会漏掉预报中一些积极的对预报员有价值的空间信息特征(戴建华等，2013)。近年来针对空间诊断开展了一系列的工作，主要有两类，一类是模糊检验方法(Ebert，2008；李佰平等，2016)，通过对空间进行尺度变换处理，获得预报在不同空间尺度上的评价信息，另一类是基于降水落区和强度等目标对象，其研究进展主要有以下几个方面：一是运用天气学和主观检验方法，从量级、雨带落区和移速(肖红茹等，2013)，系统生成时间、中心强度、槽线位置和移动速度等(贾丽红等，2012)，以及曲巧娜等(2016)以降水落区和强度为着眼点，制定了强降水落区偏离程度的检验方法，检验的指标有“偏离程度”(模式相对实况偏离经纬度1°、2°、>2°、准确，共4项)、“偏离方向”、模式“漏报”和“有指示意义”等，取得了有益于了解模式性能特征的结论，但由于采用的是主观检验，检验的结果不够精细；二是公颖(2010)引入了Wernli et al(2008)关于SAL检验方法，对雨带的预报从强度(A)、位置(L)和结构(S)三方面进行评估，L值对预报效果最有指示意义，A值其次，S值再次；三是尤凤春等(2011)使用WRF模式MET检验包中MODE方法对整体雨区的轴角差、重合面积、面积比率等进行检验；四是面向对象法(熊秋芬，2011；刘凑华和牛若芸，2013；符娇兰等，2014；茅懋等，2016)，首先识别降水落区，而后对识别的对象进行预报与实况的对比，其中茅懋等(2016)除了给出定量的分析还提供了对各要素评价，能够更细致地深入剖析模式的性能特征。
目前预报业务中模式种类不断趋于多样化，从大尺度到中尺度模式再发展到集合预报模式，各模式在不同地域的预报效果不一，加之预报的时效性所限，亟需快速有效地获取模式的预报特征。因此本文采用目标对象检验方法，通过综合预报与实况对应目标对象的面积、位置、形状和强度评分，对多种模式和集合预报成员进行评价，为预报员提供不同影响系统模式预报性能的差异特征。
1 资料和检验方法 1.1 资料以及强降水过程的选取参与检验的模式主要有：2013年3月投入业务化试运行的山东WRF确定性预报(分辨率分别为12和4 km，以下简称EnWRF_12 km、EnWRF_4 km)，属区域模式；山东WRF集合预报系统的不同分位数(分辨率为12 km，总成员数为24个)，以下分别简称集合最小值(EnMIN)、En10%、En25%、En50%、En75%、En90%、集合最大值(EnMAX)，属区域模式；ECMWF模式细网格(以下简称EC_THIN)属全球模式，业务中产品分辨率为0.125°×0.125°；T639模式属于全球模式，业务中产品分辨率为1°×1°；华东区域中尺度模式(以下简称BCSH)，属于区域模式，水平分辨率为9 km。
参与检验的资料为2014—2016年6—8月降水实况，模式资料为与实况对应的每日20时(北京时，下同)预报的0~24 h累计降水量。根据山东省近3年的降水特征，从2014、2015和2016年6—8月中选取降水范围大、雨量强的过程进行检验，共41次强降水过程日(表 1)。
|
表 1 2014—2016年6—8月山东省41次强降水过程日期及影响系统 Table 1 The data and influence systems of 41 severe precipitation processes in Shandong in June-August 2014-2016 |
检验方法是参考茅懋等(2016)使用的目标对象检验法，与其相比主要有两个方面不同。一是茅懋等(2016)中采用的是格点资料，本文选用的是147个站点资料(图 1a，包括山东省123个国家级地面气象观测站和24个山东省沿海自动气象观测站)，由于站点分布不规则，识别目标对象有一定的困难。格点资料中目标对象的选取方法为将任一格点与其周围8个格点视为一个整体，当周围8个格点均无大于阈值的降水产生时，便将整个区域不同降水落区区别开来。参照格点选取目标对象的方法，最初的方案为将任一站点周围30 km内最近的8个站点定为一组，结果周围最近站点数达到8个站的很少并且甄别的对象大多是零碎的，主要原因是相邻两站间距较大，不宜将范围选取得过小，经过多次试验对比，发现选取任一站点周围80 km范围内最近的11个站点为一个组合甄别目标效果最好。二是茅懋等(2016)采用的是降水分级检验，但是在实际预报中常有图 1b中类似情况发生，即预报场雨区形状和强降水中心位置均预报得较好，当实况场强降水中心达59 mm，预报场降水中心为49 mm时，若进行暴雨及以上分级检验时，预报场的评分为0.00，实际上此预报场对预报员有很大的参考意义。
|
图 1 参与检验的站点分布(a)和强降水实况及预报示意图(b) Fig. 1 Sketch map of the stations with verification (a) and observations and forecasting of severe precipitation (b) |
检验流程分为两个部分，一是识别匹配，二是检验评价。
识别匹配部分，首先从实况中筛选出大于一定强度量级的降水目标并进行编码，然后对预报识别对象进行搜索匹配，分别计算每个目标对象的面积、重心位置、形状和强度参数，最后运用加权法综合四项评分。检验评价是对检验的结果在面积、位置、形状和强度四方面进行定量评价，本文中增加了对降水中心强度的评分和评价，除了对降水落区形状有直观的认识外，降水强度评分在实际预报中同样重要。
1.2.2 评分方法(1) 面积评分
| $ {{\mathit{S}}_{\text{Area}}}\text{= }{{\left(\text{2}\cdot \left| \frac{{{\mathit{A}}_{\text{mod}}}-{{\mathit{A}}_{\text{obs}}}}{{{\mathit{A}}_{\text{obs}}}} \right|+1 \right)}^{-1}} $ | (1) |
式中，SArea为面积评分，Amod为预报目标对象面积, Aobs为实况目标对象面积。
(2) 重心位置评分
| $ {{\mathit{S}}_{\text{GC}}}\text{=1-}\frac{\mathit{L}\text{-}{{\mathit{L}}_{\text{min}}}}{{{\mathit{L}}_{\text{max}}}\text{-}{{\mathit{L}}_{\text{min}}}} $ | (2) |
式中，SGC为重心评分，Lmax为最大容忍距离，Lmin为最佳距离，在山东省应用时，考虑到山东省东西向范围约700 km左右，南北向约420 km，针对短期预报容忍最大偏差东西向Lmax取350 km，相应最小偏差Lmin取35 km，南北向Lmax取210 km，Lmin取21 km。
当预报对象与实况对象的重心距离L≥Lmax时，SGC=0；当Lmin＜L＜Lmax时，SGC=1-(L-Lmin)/(Lmax-Lmin)；当L≤Lmin时，SGC=1。
(3) 形状评分
| $ {{\mathit{S}}_{\text{Axial}}}\text{=}\left\{ \begin{matrix} 0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ {{\mathit{D}}_{\text{AxA}}}\ge 90° \\ \frac{\text{90-}{{\mathit{D}}_{\text{AxA}}}}{90-10}\ \ \ \ \ \ 10°\le {{\mathit{D}}_{\text{AxA}}}<90° \\ 1\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ {{\mathit{D}}_{\text{AxA}}}<10° \\ \end{matrix} \right. $ | (3) |
式中，SAxial为轴向角评分，DAxA为预报与实况对象的轴向角差。
| $ {{\mathit{S}}_{\text{Ellip}}}=\left\{ \begin{matrix} 0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ {{\mathit{D}}_{\text{Ellip}}}\ge 0.5 \\ \frac{\text{1}\text{.5-}{{\mathit{D}}_{\text{Ellip}}}}{0.5-0.1}\ \ \ \ \ \ 0.1\le {{\mathit{D}}_{\text{Ellip}}}<0.5 \\ 1\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ {{\mathit{D}}_{\text{Ellip}}}<0.1 \\ \end{matrix} \right. $ | (4) |
式中，SEllip为椭圆率评分，DEllip为预报与实况对象的椭圆率差。
(4) 降水中心强度评分
降水可分为6个等级，分别为小雨、中雨、大雨、暴雨、大暴雨和特大暴雨，重点关注24 h累计降水达大雨及以上量级的强降水。
降水中心强度评分定义为：以实况降水等级为基准，模式与实况强降水中心等级一致，或模式与实况强降水中心差值的绝对值≤10 mm，以上两种情况评分均为1；当模式与实况强降水中心相差1个等级，则评分为0.50；相差1个等级以上，则评分为0.00。模式与实况强降水中心差值评分主要考虑的是图 1b中的情况，结合曲巧娜等(2016)得出的EC_THIN等预报的大部分过程降水最大值中心偏小，并咨询山东省气象台预报员对于强降水过程模式预报降水极值的容忍度不超过1个等级或20 mm且差值≤10 mm为最好。
1.2.3 总体检验评分| $ {{\mathit{S}}_{\text{1q}}}\text{=}{{\mathit{R}}_{\text{1}}}{{\mathit{S}}_{\text{Area}}}\text{+}{{\mathit{R}}_{\text{2}}}{{\mathit{S}}_{\text{GC}}}\text{+}{{\mathit{R}}_{\text{3}}}\text{(}{{\mathit{S}}_{\text{Axial}}}\text{+}{{\mathit{S}}_{\text{Ellip}}}\text{)} $ | (5) |
式中，S1q为落区检验评分，R1、R2、R3分别为面积、位置和形状三项的权重系数。
Wernli et al(2008)、公颖(2010)和茅懋等(2016)提到对降水预报效果指示意义最大的是位置，关注的重点依次是位置、面积和形状，因此本文降水落区的三项权重系数分别选取0.3、0.5和0.2。
在落区检验的基础上，考虑降水强度评分后，总体检验评分公式为：
| $ S={{R}_{4}}{{S}_{1\text{q}}}+{{R}_{5}}{{S}_{\operatorname{int}}} $ | (6) |
式中，S为总体检验评分，Sint为强度评分，R4、R5分别为落区和强度的权重系数，根据预报员的重视程度，分别取0.8和0.2。
为了评价总体评分的好/差，将总评分≥80%定义为“Ⅰ级评分”，总体评分在[60%，80%)定义为“Ⅱ级评分”，总体评分＜60%定义为“Ⅲ级评分”。值得注意的是，当实况站点数＜2站时，无面积和形状评分，总评分为0.60；当实况站点数为3时，无形状评分，总评分为0.84；当实况站点数≥4时，总评分为1.00。
2 基于目标对象检验法的检验评价个例以2014年7月22日强降水过程日为例，给出目标对象识别、检验和评价情况分析。
图 2为2014年7月21—22日≥25 mm实况累积降水量及其目标识别图和EC_THIN、T639、EnWRF_12 km 21日预报的24 h累计降水量目标识别图。图 2a，2b给出了24 h大雨及以上累计降水量实况图，降水落区(图 2a)主要分布在鲁西北的西部和山东半岛的北部地区，通过目标对象法识别出与实况降水落区完全一致的3个目标对象(图 2b)。图 2c~2e分别为EC_THIN、T639、EnWRF_12 km预报的降水落区，EC_THIN(图 2c)识别出2个目标对象，分布在鲁中的东部和山东半岛地区，T639(图 2d)识别出1个目标对象分布于山东半岛地区，EnWRF_12km(图 2e)识别出2个目标对象，位于鲁中的东部和山东半岛的东北部地区，从主观分析来看，3个模式均未预报出鲁西北西部的降水落区，但对山东半岛降水落区均有预报结果，下面通过目标对象检验评分和评价(表 2)，得出模式具体预报的优劣。
|
图 2 2014年7月21—22日≥25 mm实况累计降水量(a，单位：mm)、实况目标识别图(b)，以及EC_THIN(c)、T639(d)、EnWRF_12 km(e)21日预报的24 h累计降水量目标识别图 (图 2b~2e中数字为降水落区代码) Fig. 2 The ≥25 mm accumulated precipitation (a, unit: mm) and object identified (b) of observations from 21 to 22 July 2014 and the object identified of EC_THIN (c), T639 (d), EnWRF_12 km (e) forecasted on 21 July 2014 (Numbers in Figs. 2b-2e represent the precipitation area) |
|
|
表 2 2014年7月21日EC_THIN、T639、EnWRF_12 km目标对象检验结果 Table 2 Object-based verification about EC_THIN, T639, EnWRF_12 km forecasted on 21 July 2014 |
从评分结果来看，对于实况目标1评分最高的模式是EC_THIN的预报目标1，面积评分为0.35，位置评分为0.43，形状评分为0.00，强度评分为0.50，总评分为0.35。但是预报目标1比实况目标1重心位置偏东250.34 km，偏南19.6 km，虽然评分尚可，由于重心位置偏离距离过大，这一预报结果对预报员无太大的参考价值。
实况目标2的预报，EC_THIN、T639、EnWRF_12 km检验评分分别为0.52、0.33和0.50。模式EC_THIN和EnWRF_12 km预报目标1均对实况目标2有较好的预报效果，无面积和形状评分(实况站点数＜3)，EC_THIN位置评分为0.81，预报重心位置偏西93.25 km，偏南59.12 km，预报中心强度评分为1.00，降水中心强度与实况为同一等级(偏小13.4 mm)。EnWRF_12 km位置评分为0.99，预报重心位置偏西37.88 km，偏南24.32 km，预报中心强度评分为0.50，极值偏差最小，仅偏大11.7 mm。可见，EC_THIN、EnWRF_12 km虽评分均较高，但预报优势略有不同，对预报员均有极好的参考价值。另外，EnWRF_12km的强度评分(0.50)较评分方案——实况与模式差值的绝对值≤20 mm的评分结果(1.00)略有下降，但对整体结果的影响不大，弥补了分级检验的缺陷，若分级检验，EnWRF_12 km降水重心位置偏离最小并且降水极值偏差最小的信息将直接被遗漏。
对于实况目标3的预报，3个模式预报水平均较高，图 2c~2e清楚地刻画出降水落区，其中EC_THIN的预报目标2评分最高，预报的优越性在于位置评分1.0(无偏离)、形状评分的轴向角评分0.85，强度评分0.5，预报的降水中心极值偏差最小，偏小26.6 mm，另外EnWRF_12 km偏小27.6 mm，T639偏大40.4 mm。
曲巧娜等(2016)采用主观检验方法指出此次过程EnWRF_12 km无指示意义，但是运用目标对象检验方法，EnWRF_12 km对实况目标2和3均有预报价值。主要原因是图 2c中EnWRF_12 km预报目标1区为2个站点超过大雨量级，主观检验中按照等值线区域进行对比，极易忽略这个细节。目标对象检验方法不仅给出了面积、位置、形状和降水中心极值的评价，从降水落区和降水强度方面剖析强降水预报性能，为预报员提供了科学的计算检验结果，并且可以从失败的预报案例中挖掘出更多有价值的信息。
3 基于目标对象检验法的模式预报性能对比随着集合预报产品的加入，模式种类多样而繁杂，如何快速提取有价值的信息并完成高质量的预报成为预报员尤为关注的问题。运用目标对象检验的方法，对强降水过程各模式预报最优次数及面积、位置、形状和强度等要素评分进行分析，能够帮助预报员快速有效地掌握产品的详细性能。
3.1 暴雨及以上降水过程最优次数对比选取统计时段内暴雨及以上降水过程日共41 d，每个个例甄别的目标对象由于降水落区位置、面积的不同，导致目标对象个数不同，大多数个例目标对象落区为1~2个，部分个例最多达4个，因此目标识别共91个降水落区。图 3a为41次强降水过程/91个降水落区EnWRF_12 km、EnWRF_4 km、EC_THIN、T639、BCSH以及山东WRF集合不同分位数成员等模式预报的目标对象检验有评分结果和无评分结果次数统计。BCSH预报了76个(次)降水落区，仅有15个(次)降水落区未报出，其次是WRF集合最大值(EnMAX)，对60个(次)降水落区有预报指征，31个(次)降水落区未报出，结合过程最优次数(图 3b)即统计12个参与检验的模式及成员中每次过程/落区最高评分模式的总次数，能够得出91个(次)降水落区中模式预报了86个(次)落区，仅5个(次)实况强降水落区12个模式及成员均未预报，BCSH预报的最优总次数最多为26个(次)，WRF集合最大值次之为16个(次)，EC_THIH最优总次数为12个(次)，WRF集合90%分位数(En90%)和T639均为11个(次)，集合75%分位数(En75%)及以下成员基本为0个(次)。可见，12种模式对暴雨及以上强降水落区的可预报率为94.5%，EC_THIH预报的降水落区和过程最优次数均最多，其次是EnMAX，En75%以下成员有预报结果的次数最少并且最优次数基本为0个(次)，因此强降水预报中，En75%及以下成员可不做参考。
|
图 3 2014—2016年6—8月≥50 mm多种模式目标对象检验0~24 h累计降水量预报有/无评分结果的次数(a)及过程最优次数对比(b) Fig. 3 The comparison of ≥50 mm accumulated precipitation of 24 h forecasts by multi-models with/without score (a) and optimization results (b) in June-August 2014-2016 |
3.1节中的最优次数表征了模式的整体预报分布情况，而面积、重心、强度等具体参数指标预报特征需进一步研究，采用箱线图进行分析(图 4)。从图 4a强降水预报综合评分分布能够看出，最高总评分的25%分位数BCSH评分为0.32，其他模式均为0.00。最高总评分的50%分位数，BCSH最高为0.45，之后依次是EnMAX(0.36)、En90%(0.26)。总评分的75%分位数，BCSH(0.51)、EnMAX(0.48)和EN90%(0.48)评分较好，EC_THIN和EnWRF_4 km评分均为0.44，T639评分为0.39，EnWRF_12 km评分最低为0.37。总评分的95%分位数，EC_THIN评分最高为0.72，其次是T639为0.69，EN90%为0.68，BCSH为0.67，EnMAX评分较小为0.60。综合以上分析，最高总评分误差线取50%~95%分位数为最佳，BCSH(0.45~0.67)、En90%(0.26~0.68)和EnMAX(0.36~0.60)评分最好，预报效果最为突出。
|
图 4 2014—2016年6—8月强降水过程多种模式0~24 h预报综合评分(a)、面积评分(b)、重心评分(c)、轴向角评分(d)和预报与实况降水中心差值(e)箱线图 Fig. 4 The box-and-whisker plots oftotal score (a), area score (b), barycenter score (c), axial angle score (d), the difference-value of forecasting from observation (e) of 24 h forecasts by multi-models for the severe precipitation in June-August 2014-2016 |
以下从面积、位置、轴向角和降水中心极值等方面进一步分析各模式的预报特征，面积评分(图 4b)50%分位数及以下基本为0.00，误差线最优选择为75%~95%，面积评分50%分位数各模式及成员评分均不高，其中EC_THIN(0.08)、BCSH(0.05)、EnMAX(0.01)有微小评分结果，其他模式均为0.00。面积评分75%分位数评分较好的是EC_THIN(0.39)、EnWRF_4 km(0.38)和T639(0.38)，其次是EN90%(0.32)、BCSH(0.31)、EnMAX(0.17)，EnWRF_12 km最小(0.00)。面积评分95%分位数各模式评分区间为0.55~0.95，其中，EnWRF_4 km和EnWRF_12 km均高达0.95，其次是EC_THIN和T639均为0.85，En90%为0.84，BCSH(0.64)和EnMAX(0.55)较小。EnWRF_4 km(0.38~0.95)对于强降水落区的面积预报效果最好，EC_THIN(0.39~0.85)和T639(0.38~0.86)均能较好地刻画出雨区面积。
强降水重心评分(图 4c)是所有要素的重中之重，以BCSH模式预报效果最为突出，位置评分25%分位数为0.57(其他模式均为0.00)，重心评分50%分位数为0.75，重心评分90%分位数及以上均为1.00。其次是EnMAX和En90%预报效果较好，误差线为50%~95%分位数最佳，EnMAX重心评分为0.60~0.99，En90%为0.16~1.00。其他模式和成员重心评分相差不大，能力相对较弱。
形状评分中的椭圆率评分结果很差，轴向角评分(图 4d)略好，轴向角评分主要考虑预报的雨带与实况的偏离程度，从评分结果来看，轴向角评分50%分位数以下基本为0.00，误差线最优选择50%~90%分位数。轴向角评分的50%分位数BCSH模式评分最高(0.88)，其次是En90%分位数为0.23，其他模式评分为0.00，轴向角评分的90%分位数BCSH、En90%、EnMAX和EC_THIN均为1.00，T639为0.97，EnWRF_4 km(0.86)和EnWRF_12 km(0.77)评分较低，因此轴向角评分中BCSH(0.88~1.00)和En90%分位数(0.23~1.00)评分最高。
图 4e为模式预报强降水中心与实况差值的箱线图，越接近0 mm说明预报值越接近实况，误差线最优选择25%~75%分位数。25%分位数预报降水中心极值最接近0.00 mm的是EnMAX(-1.10 mm)，BCSH模式偏大(16.78 mm)，其他模式及成员均偏小，区间范围为-33.41~-1.10 mm。强降水75%分位数各模式均偏大，偏离范围为8.00~137.80 mm，EC_THIN(8.00 mm)和EnWRF_12 km(9.73 mm)偏差最小，EnMAX(137.80 mm)和BCSH(130.25 mm)偏差最大。总体来说，EnWRF_12 km(-29.43~89.73 mm)和EC_THIN(-40.10~8.00 mm)偏差较小，EnMAX(-1.10~137.80 mm)和BCSH(16.78~130.25 mm)偏差较大，其中EC_THIN基本以偏小为主，BCSH基本预报的比实况偏大。
降水落区有一定的偏差，那么偏离方向如何？将7个模式及成员41次强降水过程/91个降水落区预报的偏离方向次数进行统计(图 5)，整体上各模式较实况偏离东北方向的次数最多，之后依次是东南方向、西南方向、无偏离和西北方向。预报无偏离次数最多为BCSH模式，偏离东北和东南方向最多为是EnMAX，偏离西南和西北方向最多为BCSH。预报效果最好的BCSH模式偏离西南方向次数最多，其他方向次数相差不大。预报较好的EnMAX模式偏离东北方向次数最多，西北方向和无偏离的次数最少。
|
图 5 2014-2016年6—8月强降水过程多种模式0~24 h预报与实况降水重心位置偏离方向次数统计 Fig. 5 The times of precipitation center position deviation of multi-model 24 h precipitation forecasts and observation in June-August 2014-2016 |
由上可知，多种模式对于强降水预报性能各有不同，那么不同影响系统下模式的预报特征如何，是否具有一定的规律性为预报员提供参考依据呢？
影响山东暴雨的天气系统主要有四类：低槽冷锋、温带气旋、低涡与切变线和热带气旋与中低纬度系统(阎丽凤和杨成芳，2014)，2014-2016年41次过程/91个落区中28次过程/61个落区影响系统为低涡与切变线，7次过程/19个落区为低槽，3次过程/7个落区为温带气旋，3次过程/4个落区为热带气旋与中低纬系统相互作用(图 6)。其中低涡切变线类型强降水过程目标对象检验Ⅰ级结果为23次过程/41个落区，Ⅱ级、Ⅲ级结果分别为14次过程/16个落区、2次过程/3个落区；低槽系统类型强降水过程目标对象检验结果为Ⅰ级评分为6次过程/10个降水落区，Ⅱ级、Ⅲ级评分分别为7次过程/9个落区、1次过程/1个降水落区；温带气旋系统类型强降水过程Ⅰ级评分结果为2次过程/2个降水落区，Ⅱ级、Ⅲ级评分结果分别为2次过程/3个落区、1次过程/2个落区；当热带气旋与中纬度系统相互作用时，Ⅰ级评分结果为3次过程/4个降水落区，无Ⅱ、Ⅲ级评分。
|
图 6 2014—2016年6—8月41次强降水过程/落区的多种模式0~24 h预报最高评分 (a)Ⅰ级评分，(b)Ⅱ、Ⅲ级评分 Fig. 6 The highest score of 24 h forecasts of multi-model for 41 severe precipitation processes/rainfall area in June-August 2014-2016 (a) Grad Ⅰ, (b) Grades Ⅱ and Ⅲ |
因此，热带气旋与中低纬度系统相互作用类型的强降水过程评分结果最好，均为Ⅰ级。其他3种系统类型强降水过程Ⅰ级评分次数统计中，低涡、切变线占总次数的67%，低槽系统占52%，温带气旋占28%，显然低涡、切变线影响时模式的预报更具参考价值，低槽系统为Ⅱ级结果所占比例较大，温带气旋为3个评分等级模式预报次数相差不大。
图 7给出了4类强降水过程各个模式预报的Ⅰ、Ⅱ、Ⅲ级评分次数统计，低涡、切变线相伴随的强降水过程BCSHⅠ级评分次数最多为11次，其次为EnMAX(9次)，En90%为7次，EC_THIN和T639均为5次，Ⅱ级评分最多的仍是EnMAX(6次)，EnMAX和EC_THIN次之，均为3次。低槽形势的强降水过程中Ⅰ级评分最多为EnMAX(3次)，EnMAX、EC_THIN和T639均为2次，Ⅱ级评分各模式相差不大。温带气旋Ⅰ级评分为EnWRF_4 km和EnMAX均为1次，Ⅱ级评分为En90%(2次)，其他模式无评分。在热带气旋与中低纬度系统相互作用相伴随的强降水过程中，BSCH、EnWRF_4 km、T639均有贡献且为Ⅰ级评分。
|
图 7 2014—2016年6—8月41次强降水过程多种模式0~24 h预报Ⅰ、Ⅱ、Ⅲ级评分次数 Fig. 7 The times about Grades Ⅰ, Ⅱ and Ⅲ of 24 h forecasts by multi-model for 41 severe precipitation processes in June-August 2014-2016 |
下面着重分析不同类型强降水过程最优总次数较多模式的面积、重心位置、形状和强度等要素的评价结果(表 3)。Ⅰ级评分：低涡、切变线类型BCSH和EnMAX效果最好，BCSH重心预报优势最突出，近1/2过程无偏离，其他过程以偏东为主，南北方向偏离方向不定，强度预报大部分过程以偏强为主(6.5~176.9 mm)，EnMAX与BCSH相比，强度(偏小范围9.6~22.3 mm，偏大范围21.7~42.4 mm)和面积评分略优异，重心位置评分比BCSH略低；低槽系统BCSH最优次数最多，重心偏离方向以西北为主(偏西50.47~63.02 km，偏北2.32~39.36 km)，强度偏强、偏弱均有发生(偏小34.9 mm，偏大范围33.3~68.4 mm)；温带气旋和热带气旋与中低纬度系统相互作用类型过程次数较少，分别以EnWRF_4 km和BCSH为例给予说明，温带气旋影响时，预报较好的EnWRF_4 km偏东北为主，重心评分为1.00，预报的降水中心强度偏小60.9 mm，面积基本与实况一致，雨带形状比实况更细长，雨带走向与实况不一致；受热带气旋与中低纬度系统相互作用影响时，BCSH预报略有优势，以偏南为主，偏离东、西方向不定，强度预报较好，评分均为1.00，与实况相差不大。
|
|
表 3 2014—2016年四类强降水过程最优总次数模式的整体评价 Table 3 Overall evaluation on models with optimal total number during the four types of severe precipitation processes from 2014 to 2016 |
总体来说，运用目标对象检验法得出的强降水过程检验结果，Ⅱ级评分相对Ⅰ级评分略低主要表现在重心位置偏离距离明显偏大和降水强度中心差值略大两个方面，由于Ⅱ级评分的定义为总评分的60%~80%，评分结果仍具参考性。在Ⅲ级评分结果中，预报员最关注的重心位置预报较差或者未报出强降水，因此Ⅲ级评分结果可不做参考。
5 结论与讨论由于常规的TS评分遵循严格的点对点检验，易损失一些有用的预报信息，存在不足；此外，随着集合预报产品的广泛应用，模式产品种类繁多，预报员亟需了解各模式的预报特征。本文引入了目标对象检验方法，该方法通过对山东主汛期强降水过程落区的面积、位置、形状和强度进行匹配，可获取空间场潜在的预报信息，相比降水落区主观检验方法，检验结果更加精确和多样化。
(1) 以BCSH、ECMWF细网格、T639、山东WRF确定性预报和集合预报系统为例，通过采用过程最优模式次数统计得到模式及集合预报产品的性能特征，暴雨及以上量级强降水为华东区域模式过程最优次数最多，其次是WRF集合最大值预报效果较好。
(2) 41次暴雨及以上强降水过程箱线图表明，多种模式及集合预报产品对重心位置评分最好，其次是面积评分，形状评分中的轴向角评分可用，椭圆率评分效果最差。BCSH、WRF集合90%分位数和WRF集合最大值总评分最高，重心位置、降水中心强度和轴向角评分三要素预报评分较好，面积预报优势不显，需较多参考WRF确定性预报4 km和欧洲中心细网格模式。BCSH无偏离次数最多，各模式预报多偏向东北方向。
(3) 根据环流形势及影响系统对强降水分型得出，热带气旋与中纬度系统相互作用评分最好，其次为低涡、切变线预报较好的过程/落区占比较高，以BCSH和WRF集合最大值预报效果最好，其重心位置和强度评分尤为突出，各模式对低槽系统预报效果一般、温带气旋系统预报最差。
需要说明的是，由于采用的是站点资料，分布不规则且较为疏散，加之山东省近3年强降水过程偏少，分散性强降水占比较大，基于以上原因，检验结果具有一定的局限性。强降水极值要素评分中，对比预报与实况差值≤20 mm和≤10 mm两种阈值，阈值为10 mm时评分略有下降，但对最终结果影响不大。各要素评分阈值和权重系数均为开放式接口，预报员可根据自己的需求设定。在未来工作中，将收集大范围强降水过程及温带气旋等不同类型强降水，并将站点检验与格点检验进行对比，使得检验结果更具普适性。
戴建华, 茅懋, 邵玲玲, 等, 2013. 强对流天气预报检验新方法在上海的应用尝试[J][J]. 气象科技进展, 3(3): 40-45. Dai J H, Mao M, Shao L L, et al, 2013. Applications of a new verification method for severe convection forecasting and nowcasting in Shanghai[J]. Adv Meteor Sci Technol, 3(3): 40-45 (in Chinese). |
符娇兰, 宗志平, 代刊, 等, 2014. 一种定量降水预报误差检验技术及其应用[J]. 气象, 40(7): 796-805. Fu J L, Zong Z P, Dai K, et al, 2014. Application of a verification method on bias analysis of quantitative precipitation forecasts[J]. Meteor Mon, 40(7): 796-805 (in Chinese). |
公颖, 2010. SAL定量降水预报检验方法的解释与应用[J]. 暴雨灾害, 29(2): 153-159. Gong Y, 2010. The explanation and application of SAL quantitative verification for precipitation forecasts[J]. Torr Rain Dis, 29(2): 153-159 (in Chinese). DOI:10.3969/j.issn.1004-9045.2010.02.009 |
贾丽红, 张慧岚, 肖开提·多莱特, 等, 2012. T639数值产品对影响新疆主要系统的预报检验评估[J]. 气象, 38(8): 971-976. Jia L H, Zhang H L, Xiao K T, et al, 2012. Verification and assessment of the forecasting of influence system in Xinjiang by T639 model products[J]. Meteor Mon, 38(8): 971-976 (in Chinese). |
李佰平, 戴建华, 张欣, 等, 2016. 三类强对流天气临近预报的模糊检验试验与对比[J]. 气象, 42(2): 129-143. Li B P, Dai J H, Zhang X, et al, 2016. Fuzzy verification test and comparison of three types of severe convective weather nowcasting[J]. Meteor Mon, 42(2): 129-143 (in Chinese). |
刘凑华, 牛若芸, 2013. 基于目标的降水检验方法及应用[J]. 气象, 39(6): 681-690. Liu C H, Niu R Y, 2013. Object-based precipita-tion verification method and its application[J]. Meteor Mon, 39(6): 681-690 (in Chinese). |
茅懋, 戴建华, 李佰平, 等, 2016. 不同类型强对流预报产品的目标对象检验与分析评价[J]. 气象, 42(4): 389-397. Mao M, Dai J H, Li B P, et al, 2016. Object based verification and evaluation for different types of severe convection forecasting products[J]. Meteor Mon, 42(4): 389-397 (in Chinese). |
曲巧娜, 盛春岩, 车军辉, 等, 2016. 山东省多模式强降水落区预报检验[J]. 气象科技, 44(3): 392-399. Qu Q N, Sheng C Y, Che J H, et al, 2016. Verification of multi-model forecasting of severe precipitation areas in Shandong from May to September in 2014 and 2015[J]. Meteor Sci Technol, 44(3): 392-399 (in Chinese). DOI:10.3969/j.issn.1671-6345.2016.03.009 |
肖红茹, 王灿伟, 周秋雪, 等, 2013. T639、ECMWF细网格模式对2012年5—8月四川盆地降水预报的天气学检验[J]. 高原山地气象研究, 33(1): 80-85. Xiao H R, Wang C W, Zhou Q X, et al, 2013. Synoptic meteorology verification of precipitation forecast for T639、ECMWF fine grid models from May to August 2012 in Sichuan Basin[J]. Plateau Mountain Meteor Res, 33(1): 80-85 (in Chinese). DOI:10.3969/j.issn.1674-2184.2013.01.014 |
熊秋芬, 2011. GRAPES_Meso模式的降水格点检验和站点检验分析[J]. 气象, 37(2): 185-193. Xiong Q F, 2011. Verification of GRAPES_Meso precipitation forecasts based on fine-mash and station datasets[J]. Meteor Mon, 37(2): 185-193 (in Chinese). DOI:10.3969/j.issn.1000-6362.2011.02.006 |
阎丽凤, 杨成芳, 2014. 山东省灾害性天气预报技术手册[M]. 北京: 气象出版社: 29-109. Yan L F, Yang C F, 2014. Book of Disaster Weather Forecasting Fechnology in Shandong Province[M]. Beijing: China Meteorological Press: 29-109 (in Chinese). |
尤凤春, 王国荣, 郭锐, 等, 2011. MODE方法在降水预报检验中的应用分析[J]. 气象, 37(12): 1498-1503. You F C, Wang G R, Guo R, et al, 2011. The application analysis of MODE method to the rainfall forecast test[J]. Meteor Mon, 37(12): 1498-1503 (in Chinese). DOI:10.7519/j.issn.1000-0526.2011.12.004 |
Ebert E E, 2008. Fuzzy verification of high-resolution gridded forecasts:a review and proposed framework[J]. Meteor Appl, 15(1): 51-64. DOI:10.1002/met.25
|
Wernli H, Marcus P, Hagen M, et al, 2008. SAL-a novel quality measure for the verification of quantitative precipitation forecasts[J]. Mon Wea Rev, 136(11): 4470-4487. DOI:10.1175/2008MWR2415.1
|