快速检索
  气象   2021, Vol. 47 Issue (10): 1206-1218.  DOI: 10.7519/j.issn.1000-0526.2021.10.004

论文

引用本文 [复制中英文]

盛春岩, 曲巧娜, 范苏丹, 等, 2021. 基于目标对象的数值模式区域降水预报选优方法[J]. 气象, 47(10): 1206-1218. DOI: 10.7519/j.issn.1000-0526.2021.10.004.
[复制中文]
SHENG Chunyan, QU Qiaona, FAN Sudan, et al, 2021. Object-Oriented Selection Method of Numerical Model Regional Precipitation Forecast[J]. Meteorological Monthly, 47(10): 1206-1218. DOI: 10.7519/j.issn.1000-0526.2021.10.004.
[复制英文]

资助项目

山东省重点研发计划项目(2016GSF120017)、山东省自然科学基金面上项目(ZR2020MD055)、山东省气象局重点课题(2019sdqxz07)和“十三五”山东现代农业气象服务保障工程项目(鲁发改农经〔2017〕97号)共同资助

第一作者

盛春岩, 主要从事数值预报和天气预报技术开发.E-mail: sdqxscy@126.com

文章历史

2020年7月11日收稿
2021年8月13日收修定稿
基于目标对象的数值模式区域降水预报选优方法
盛春岩 1,2, 曲巧娜 1,2, 范苏丹 1,2, 荣艳敏 1,2, 孙兴池 3    
1. 山东省气象防灾减灾重点实验室, 济南 250031
2. 山东省气象科学研究所, 济南 250031
3. 山东省气象台, 济南 250031
摘要:针对业务上大量的数值预报产品如何快速选优问题, 提出了一种基于目标对象的数值模式区域降水预报选优方法。该方法首先通过TS评分、重心位置、面积大小、落区形状预报评分的权重平均进行单个目标对象评分, 在此基础上, 进行区域预报总评分和预报选优, 以局地分散性降水和大尺度降水为例进行对比试验以及3个月的批量试验。结果表明: 该方法选优结果合理。单个目标对象识别匹配时加大TS评分权重(超过0.4)对选优结果有较大影响, 能够提高选优结果的合理性。按照每个目标对象的面积权重评分计算区域预报总评分, 是合理选出最优预报产品的关键。该方法对于局地分散性降水预报选优具有优势, 可以克服传统TS评分的缺点。由于目标对象评分考虑了降水落区形状、重心位置和面积大小评分, 其选优结果较单一TS评分更为合理。
关键词目标对象    数值模式    区域降水预报    选优方法    
Object-Oriented Selection Method of Numerical Model Regional Precipitation Forecast
SHENG Chunyan1,2, QU Qiaona1,2, FAN Sudan1,2, RONG Yanmin1,2, SUN Xingchi3    
1. Key Laboratory for Meteorological Disaster Prevention and Mitigation of Shandong Province, Jinan 250031;
2. Shandong Institute of Meteorological Sciences, Jinan 250031;
3. Shandong Meteorological Observatory, Jinan 250031
Abstract: In this paper an object-based selection method is proposed on how to select the best products from lots of numerical forecasts. This method firstly gives single object score with different weight means of TS score, center of gravity score, area size score, and location shape score. On this basis, the regional forecast overall evaluation and selection are conducted. Batch comparative experiments of 3 months and cases studies with local scattered rainfall and large-scale rainfall weather processes are conducted. The results show that the object-based selection result is reasonable. The weight of every score item of single object has great impact on the selection result. Increasing the weight of TS score (exceeding 0.4) can improve the selection result. It is the key factor to calculate regional forecast score based on every object area size weight score in the forecast region. The object-based selection method has remarkable advantages for local scattered rainfall and it can overcome TS score's shortcoming. Usually the object-based selection result is more reasonable because it includes the shape, center of gravity and area scores of rainfall forecast.
Key words: object    numerical model    regional precipitation forecast    selection method    
引言

数值天气预报已成为天气预报的重要基础和核心支撑技术。目前,省级气象局可以接收到国内外全球数值预报和国内区域中尺度数值预报产品,这些全球和区域数值预报可以每日两次提供至少3天内的逐小时降水、温度、风等要素预报。同时,快速更新循环同化预报(RUC)系统可以对短时天气进行逐小时循环更新预报。由于不同数值预报对不同天气过程的预报准确率各有所长,大量的数值预报产品如何选择使用,成为当今预报员面临的一个重要难题。当有灾害天气过程影响时,预报员往往来不及查看所有的数值预报结果,只能根据经验选择应用。而由于观测资料的误差、模式系统的spin-up等问题,即使进行快速更新循环同化预报,最新时次的预报结果也未必一定是最准确的。因此,亟待研发一种数值模式区域降水预报选优方法,能够从大量的数值预报产品中快速选出最优预报产品,为预报员选择使用以及智能网格预报业务提供基础。

预报选优往往根据数值预报过去一段时间的表现来判断,如何评判天气预报好坏需要合理的检验评估方法。目前,天气预报业务上使用较多的是TS评分,该评分方法要求点对点预报准确才算正确,落区的稍微偏离或强度稍微偏差即不得分,因此,往往不能很好地评判出适合预报员应用的模式产品(戴建华等,2013)。对于数值预报和集合预报产品的检验评估方法还有很多,比如,王婧卓等(2021)采用确定性预报检验评分预报偏差Bias(Donaldson et al, 1975)、公平技巧评分ETS(Schaefer, 1990)、概率预报检验评分Brier(Brier, 1950)、相对作用特征(ROC)(Mason, 1979; Swets, 1986)、可靠性评分(Bröcker and Smith, 2007)和降水FSS(fraction skill score)评分(Roberts and Lean, 2008; 刘雪晴等, 2020)6种检验方法,对GRAPES-REPS V3.0区域集合预报模式的降水预报能力给予了客观评价。这些检验方法大多也是需要点对点进行检验。

近年来,基于目标对象的检验方法在国内外得到应用。Ebert and Mcbride(2000)首先提出了面向对象的降水预报误差分析方法,通过对某一降水过程进行分离,可实现对单个降水事件落区、量级等预报误差的定量化分析。Davis et al(2006a; 2006b; 2009)提出了基于目标的检验方法,将降水量大于给定阈值的相互连通的区域作为一个降水目标,可以客观对比分析预报和观测对象的位置、形状、方向和尺寸等属性。借鉴这些先进的检验方法,刘凑华和牛若芸(2013)尤凤春等(2011)熊秋芬(2011)薛春芳和潘留杰(2016)李佳等(2016)张博等(2017)徐同等(2019)蔡义勇等(2020)先后开展了基于目标的降水预报检验方法试验和业务应用,推进了该方法在业务中的应用。曹春燕等(2017)引入了预报区域重叠比例、实况区域重叠比例和杰卡德相似系数等指标,进行雷达降雨预报形状检验。符娇兰等(2014)采用面向对象的检验技术和天气系统识别技术,对ECMWF模式在西南地区强降水天气系统的预报误差进行了检验分析。公颖(2010)引进了德国定量降水预报检验SAL方法,该方法以研究范围内的降水为目标物,可以对雨带的强度、位置、结构三方面进行检验。以上这些方法较好地克服了传统TS评分的不足,通过目标对象检验,为预报员提供有天气学意义和更多参考价值的数值预报产品。

茅懋等(2016)设计了一种目标对象检验方法,通过对比与实况相对应的预报目标对象的等级TS评分、等级面积评分、位置评分、交叉相关评分、形状评分等,实现对强对流预报产品检验,该方法可合理评价有预报参考价值的强对流预报产品。曲巧娜等(2019)在改进此方法的基础上,通过对多种数值天气预报、集合预报的降水预报进行目标对象检验,进行不同模式产品预报评价。上述研究均为针对单个目标对象的识别匹配检验方法。在实际天气预报业务中,预报员更为关注某一区域范围的预报总体情况。当研究区域范围内存在多个目标对象时,如何在合理评价单个目标对象预报评分的基础上,进行区域降水预报总体评价,从大量的数值预报产品中选取最优预报产品,缺乏有效的方法。

本文借鉴茅懋等(2016)曲巧娜等(2019)目标对象检验方法,设计提出了一种数值模式区域降水预报选优方法,可以在单个目标对象检验的基础上,计算区域预报总评分,从而对数值模式区域降水预报进行选优。通过对不同降水过程不同选优方案的批量对比试验,对选优方法的合理性和业务应用方案进行研究。

1 资料与方法 1.1 资料

本文使用的数值模式为山东省气象科学研究所开发的快速更新循环同化预报系统(以下简称RUC系统)。该系统采用27、9、3 km三层嵌套网格,基于WRF 3Dvar同化系统进行逐小时循环同化预报。为了便于在智能网格预报业务中应用,将RUC系统3 km降水预报产品实时处理成覆盖山东区域范围的0.05°×0.05°网格数据。降水实况采用山东省气象台智能网格预报业务中使用的降水格点实况数据,该数据以山东省1 200多个质量较好的地面气象观测站数据为基础,将站点降水实况处理到山东区域范围0.05°×0.05°网格上,形成逐小时间隔的格点实况数据。

1.2 方法

本文设计的基于目标对象的数值模式区域降水预报选优方法包括两部分。第一部分是进行预报区域内单个目标对象识别匹配评分。与茅懋等(2016)曲巧娜等(2019)对单个目标对象评分的方法不同。首先,根据业务上降水短时临近预报关注重点,选定TS评分、重心位置预报评分、面积大小预报评分、落区形状预报评分四项作为单个降水目标对象识别匹配综合评分的内容,对每一项评分只考虑某一阈值强度以上降水的评分,不再细分不同等级降水评分,便于对关注强度的降水进行选优评价。其次,在进行单个目标对象识别匹配综合评分时,对这四项评分的权重大小对选优结果的影响进行批量对比试验,合理确定各项评分的权重大小。第二部分为区域降水预报总评分。这里定义了区域降水预报总评分方法,即在单个目标对象综合评分的基础上,将区域内预报目标对象按匹配结果分为三类:预报正确落区、空报落区、漏报落区,给定每个预报正确落区一定的评分权重,计算区域预报总评分,总评分最高的即为最优预报。关于每个目标对象评分权重的选取,下面也将通过敏感性试验来确定。

1.2.1 单个目标对象识别匹配评分

首先,确定选优的降水强度(阈值)和一个目标对象的最小格点数(阈值),本文设定一个目标对象的最小格点数为10。根据选优的降水阈值,对预报和实况格点场进行目标对象识别。找出该区域内所有大于等于该强度阈值以上的降水预报或实况格点,逐个点判断与其相邻的格点是否为该强度以上的预报。如有大于该强度的预报,则作为一个识别的目标点,继续判断周围的点的值;如周围的点都小于该等级的预报,则结束一个目标对象识别。依次计算,最终识别出一个个预报及实况目标对象。然后进行目标对象识别匹配评分。具体评分内容包括:

(1) TS评分。根据实况目标对象,对识别的预报目标分别进行TS评分,计算单个目标对象点对点预报的准确率,检验预报目标对象与实况目标对象的重叠程度。

TS评分计算公式如下:

$ TS = \frac{{NA}}{{NA + NB + NC}} $

式中:NA为预报正确的格点数,预报出现某一强度以上降水,实况也出现该强度以上降水为预报正确;NB为空报格点数,预报出现某一强度以上降水,实况未出现该强度以上降水为空报;NC为漏报格点数,未预报出现某一强度以上降水,而实况出现该强度以上降水为漏报。

(2) 重心位置预报评分。重心位置为目标对象中最强降水中心所在的位置(经纬度)。如果最强预报中心有多个点的,取多个点的中心位置为重心位置。根据检验范围大小和业务需求,设定预报目标对象和实况目标对象重心位置的最大容忍距离和最佳距离,进行重心位置评分,评价预报目标对象与实况目标对象位置的偏离程度。本文主要针对山东省内降水预报进行选优,这里设定最大容忍距离为220 km,最佳距离为40 km。

重心位置预报评分计算公式如下:

$ {S_{{\rm{GC}}}} = 1 - \frac{{L - {L_{\min }}}}{{{L_{\max }} - {L_{\min }}}} $

式中:SGC为重心位置评分,L为预报目标对象与实况目标对象重心之间的距离,Lmax为最大容忍距离,Lmin为最佳距离。

(3) 面积大小预报评分。分别计算实况目标对象及预报目标对象对某一强度以上降水预报的有效面积大小,对面积大小预报进行评价。

面积大小预报评分计算公式如下:

$ {S_{{\rm{Area}}}}{\rm{ = }}\frac{1}{{(2 \bullet \left| {\frac{{{A_{\bmod }} - {A_{{\rm{obs}}}}}}{{{A_{{\rm{obs}}}}}}} \right| + 1)}} $

式中:Amod为预报目标对象的有效面积,Aobs为实况目标对象的有效面积。

(4) 落区形状预报评分。落区形状预报评分包括轴向角评分和椭圆率评分。首先确定目标对象长短轴的尺度、比例和轴向。对于某个目标对象,提取边界点信息,通过重心的最长两个边界点的连线为长轴,通过重心且垂直于(基本垂直,偏差在2°内)长轴的最短两个边界点连线为短轴。计算长短轴的比例(即椭圆率)和长轴的轴向角度,计算轴向角评分和椭圆率评分,二者平均即为落区形状评分。

轴向角评分计算公式如下(茅懋等, 2016):

$ {S_{{\rm{Axial}}}}{\rm{ = }}\left\{ {\begin{array}{*{20}{l}} 0&{{D_{{\rm{AXA}}}} > 90{\rm{^\circ }}}\\ {\frac{{90 - {D_{{\rm{AXA}}}}}}{{90 - 10}}}&{10{\rm{^\circ }} \le {D_{{\rm{AXA}}}} \le 90{\rm{^\circ }}}\\ 1&{{D_{{\rm{AXA}}}} < 10{\rm{^\circ }}} \end{array}} \right. $

式中:SAxial为轴向角评分,DAxA为预报与实况目标对象的轴向角差。

椭圆率评分计算公式如下:

$ {S_{{\rm{Ellip}}}}{\rm{ = }}\left\{ {\begin{array}{*{20}{l}} 0&{{D_{{\rm{Ellip}}}} > 0.5}\\ {\frac{{0.5 - {D_{{\rm{Ellip}}}}}}{{0.5 - 0.1}}}&{0.1 \le {D_{{\rm{Ellip}}}} \le 0.5}\\ 1&{{D_{{\rm{Ellip}}}} < 0.1} \end{array}} \right. $

式中:SEllip为椭圆率评分,DEllip为预报与实况目标对象的椭圆率差。

落区形状评分为轴向角评分和椭圆率评分的加权平均,计算公式如下:

$ {S_{{\rm{Shape}}}}{\rm{ = }}\frac{{{S_{{\rm{Axial}}}} + {S_{{\rm{Ellip}}}}}}{2} $

落区形状评分SShape越高,说明预报目标对象形状越接近实况。

(5) 在完成上述四项评分后,进行单个目标对象识别匹配综合评分。对目标对象TS评分、重心位置预报评分、面积大小预报评分、落区形状预报评分四项评分按不同权重相加,即为单个目标对象的综合评分值,综合评分最高的为匹配最好的目标对象。依次循环,完成预报区域范围内所有目标对象的匹配评分。

目标对象识别匹配综合评分计算公式如下:

$ {S_{\bmod }}{\rm{ = }}{R_1} \bullet TS + {R_2} \bullet {S_{{\rm{GC}}}} + {R_3} \bullet {S_{{\rm{Area}}}} + {R_4} \bullet {S_{{\rm{Shape}}}} $

式中:R1为TS评分权重,R2为重心位置预报评分权重,R3为面积大小预报评分权重,R4为落区形状预报评分权重,各评分项权重大小如何选取将通过敏感性试验确定。

1.2.2 区域预报总评分

为对区域降水预报进行合理评价,在单个目标对象识别匹配评分的基础上,将预报区域范围内所有目标对象匹配结果分为三类:预报正确落区、漏报落区、空报落区。定义重心位置评分>0的预报目标对象为预报正确落区,实况有而未预报出该强度以上落区的为漏报落区,实况无而预报有该强度以上落区的为空报落区。给定预报正确落区一定的评分权重,按权重评分计算区域预报总评分,总评分最高的即为最优预报产品,空报和漏报落区总数目可作为选优的辅助参考。对预报正确落区评分权重的设定对选优结果的影响,下文也将进行敏感性试验。

2 选优试验方案设计

由于RUC系统的预报具有一定的连续性,这里主要根据区域预报总评分进行预报选优试验,不考虑空报和漏报落区的情况。考虑到预报员比较关注降水落区位置预报,同时,在重心位置距离相同的情况下,范围大的目标对象和范围小的目标对象预报效果不同,为此,这里设计了2组敏感性对比试验,分别对单个目标对象各评分项的权重大小对选优结果的影响,以及每个预报正确落区评分权重大小对区域总评分的影响进行敏感性试验。

试验1:单个目标对象评分敏感性试验。在单个目标对象匹配评分时,分别给定不同的TS评分和重心位置预报评分权重,同时兼顾面积大小和落区形状预报评分对选优结果的影响,设计了3组敏感性试验,分别以A1, A2, A3表示,具体如下:

A1方案:R1=0.2,R2=0.6,R3=0.1,R4=0.1;

A2方案:R1=0.4,R2=0.4,R3=0.1,R4=0.1;

A3方案:R1=0.6,R2=0.2,R3=0.1,R4=0.1。

将TS评分、重心位置、面积大小、落区形状4项评分按不同的权重(分别为R1R2R3R4)进行相加,计算出单个目标对象预报的综合评分值,选取综合评分最高的目标对象为匹配最好的预报目标。

试验2:区域预报总评分敏感性试验。在计算了区域内每个目标对象的综合评分后,如何合理对区域预报总评分进行评价,是影响数值预报区域降水预报选优的关键。这里针对区域预报总评分计算方法设计了2组敏感性试验,分别以B1, B2表示,具体如下:

B1方案:预报区域内每个预报正确落区的评分权重均为1,进行权重评分累加计算出区域预报总评分;B2方案:按照每个目标对象的面积权重评分计算区域预报总评分,即计算每个预报正确的目标对象的面积权重占所有预报正确目标对象总面积的百分比,作为该目标对象的评分权重,对预报范围内所有目标对象进行权重评分累加,即为区域预报总评分。

以上2组不同的试验方案分别组合,共形成6组不同的数值模式区域降水预报选优方法,具体方案设计见表 1。同时,为对比基于目标对象的选优方法与传统TS评分选优方法的差异性,也增加了TS评分选优结果进行对比。

表 1 不同的区域降水预报选优试验方案 Table 1 Comparative experiment schemes for regional precipitation forecast selection
3 选优效果分析 3.1 选优对象

为试验基于目标对象的数值模式区域降水预报选优方法的合理性,分别选取局地分散性降水和较大尺度降水两类过程进行选优效果分析。这里选取2019年6月20日山东省局地短时降水过程作为局地分散性降水预报选优试验个例,选取2019年8月11日台风利奇马影响山东期间的降水过程作为较大尺度降水预报选优试验个例。以1 h降水短时临近预报为选优对象,对RUC系统在降水开始前1~8个时次的预报结果进行选优试验。

3.2 局地分散性降水预报选优试验

2019年6月20日下午,山东省出现了局地性短时降水天气,其中15—16时(北京时,下同)山东省出现多个局地较强降水中心,小时降水量均超过10 mm(图 1)。由于本次降水尺度小、局地性强,因此预报难度较大,此类降水预报也是数值预报的难点。分析RUC系统提前1~8 h(08—15时)不同时次的预报可以发现(图 2),2019年6月20日08—11时(图 2a~2d),模式预报的降水均较弱,未预报出明显的局地性强降水。12—14时(图 2e~2g),RUC系统均不同程度预报出山东的局地分散性降水。15时临近实况时次的预报(图 2h),预报的山东降水几乎“消失”。从RUC系统不同起报时次的预报表现来看,临近时次预报的降水反而“消失”现象显然是spin-up引起的。对于此类降水预报,预报员仅靠主观判断难以选择合理的预报产品。下文将试验不同的选优方案对本次降水的选优效果。

图 1 2019年6月20日15—16时山东省1 mm以上降水实况格点分布 (a)全省降水分布,(b)山东省鲁北、鲁中和半岛3个降水区域降水格点值放大图(数字,单位:mm) (图中A, B, C分别为鲁北、鲁中和半岛3个降水区域编号) Fig. 1 The grid precipitation distribution above 1 mm around Shandong Province from 15:00 BT to 16:00 BT 20 June 2019 (a) precipitation distribution around Shandong, (b) corresponding numerical values of the three rain areas (number, unit: mm) (A, B and C are the three precipitation areas in the north, middle and peninsula of Shandong, respectively)

图 2 2019年6月20日08—15时RUC系统不同时次起报的15—16时降水量预报 (a)08时, (b)09时, (c)10时, (d)11时, (e)12时, (f)13时, (g)14时, (h)15时 Fig. 2 Precipitation forecasts from 15:00 BT to 16:00 BT of RUC system starting from 08:00 BT (a), 09:00 BT (b), 10:00 BT (c), 11:00 BT (d), 12:00 BT (e), 13:00 BT (f), 14:00 BT (g) and 15:00 BT (h) 20 June 2019

为分析不同强度降水预报选优效果,分别对≥1 mm、≥10 mm两个阈值的降水预报进行选优试验。表 2给出了不同方案组合选出的2019年6月20日15—16时最优降水预报结果,可以发现,试验1(A1B1)选出的1 mm以上最优预报为20日13时RUC起报的2~3 h降水预报,试验2~试验6选出的最优预报均为20日12时起报的3~4 h降水预报。TS评分选出的1 mm以上最优降水预报为20日08时起报的7~8 h预报。不同方案之间的选优结果差异较大。对于10 mm以上降水,不同的试验选优结果一致,均为20日13时起报的2~3 h降水预报。下文将对不同试验方案的选优结果做进一步分析。

表 2 2019年6月20日08—15时RUC系统不同时次起报的15—16时降水预报选优结果 Table 2 The best precipitation forecasts from 15:00 BT to 16:00 BT selected from RUC forecasts starting from 08:00 BT to 15:00 BT 20 June 2019

图 3给出了不同方案对≥1 mm降水预报选优结果,图中实况显示,山东区域分布着多个1 mm以上的降水落区(黑色阴影),这些降水落区分散、不连续,图 3a红色区域为试验1(A1B1)选出的1 mm以上降水最优预报产品(20日13时2~3 h预报),模式预报出了成片的1 mm以上降水落区,对鲁中降水落区预报较好,其次为半岛地区,但预报范围较实况明显偏大,空报较多。图 3b给出了试验2~试验6选出的1 mm以上降水最优预报(20日12时3~4 h预报),该预报与13时2~3 h预报类似,模式较好地预报出鲁中和半岛的降水,但降水空报范围缩小。图 3c给出了TS评分选出的1 mm以上最优降水预报(20日08时7~8 h预报),该预报主要对半岛的降水落区预报较好,鲁中的降水全部漏报。对比这三次选优产品预报结果可以发现,基于目标对象的试验2~试验6方案选出的最优降水预报(20日12时3~4 h预报)为最佳预报,13时2~3 h预报空报过多,而08时7~8 h预报虽然TS评分较高,然而未能预报出鲁中的降水,且选出的预报产品时效较早,预报与实况偏差较大,表明仅考虑TS评分进行选优是不够的。

图 3 不同试验方案对2019年6月20日15—16时≥1 mm最优降水预报选优结果 (a)试验1降水预报选优结果(2013.3h)及实况,
(b)试验2~试验6降水预报选优结果(2012.4h)及实况,
(c)TS评分降水预报选优结果(2008.8h)及实况
(黑色阴影区为实况降水格点, 红色为预报降水格点示意, 具体数值无意义,下同)
Fig. 3 Comparison between the best precipitation forecast (≥1 mm) selected from RUC with different intensities of precipitation and observation from 15:00 BT to 16:00 BT 20 June 2019 (a) the best forecast (2013.3h) of Test 1 and observation, (b) the best forecast (2012.4h) of Tests 2-6 and observation, (c) the best forecast (2008.8h) of TS score and observation
(The shaded denotes observed precipitation grid, the red denotes forecast grid signal, number is no means, same as below)

图 4给出了各试验方案对≥10 mm降水预报选优结果(2013.3h, 图 4a),可以发现,实况有3个10 mm以上降水落区(图中黑色阴影),模式也预报出3个10 mm以上的降水落区(图中红色区域),其中鲁中东南部的降水落区预报较好,预报与实况落区重叠。鲁中西部和半岛的降水落区预报与实况有偏差,但是通过预报员订正可以作为一次较好的预报产品。为分析本次选优结果的合理性,这里同时给出了≥1 mm降水预报选优结果(20日12时3~4 h预报)对10 mm以上的降水预报和实况的对比(图 4b),可以发现,12时3~4 h的模式预报对鲁中东南部的降水落区预报也较好,其他两个落区均漏报。由此可见,各试验方案对10 mm以上降水预报选优结果为13时2~3 h预报是合理的。

图 4 2019年6月20日15—16时≥10 mm最优降水预报结果与其他预报及实况的对比 (a)所有试验方案降水预报选优结果(2013.3h)及实况(b)RUC系统≥1 mm 20日12时3~4 h降水预报及实况 Fig. 4 Comparison between the best precipitation forecast selected from RUC (≥10 mm) and observation from 15:00 BT to 16:00 BT 20 June 2019 (a) the best forecast of all tests (2013.3h) and observation, (b) the RUC (≥1 mm) 3-4 h forecast starting from 12:00 BT 20 and observation
3.3 大尺度降水预报选优试验

为试验本方法对尺度较大的降水过程选优效果,选取2019年8月11日台风利奇马影响山东期间降水预报进行选优试验。以2019年8月11日00—12时逐小时降水预报为基础,逐小时对RUC系统提前1~8个时次的预报结果进行选优。由于本次降水过程较强,这里仅对小时降水量≥10 mm的降水预报进行选优试验。

表 3分别给出了6组不同的试验方案对8月11日00—12时逐小时降水预报选优结果以及TS评分选优结果。可以发现,这6组不同的试验方案对台风利奇马影响山东期间10 mm以上强度降水预报的选优结果不尽相同,基于目标对象的选优结果与TS评分选优结果大部分相同、部分不同。对所有的选优结果和实况进行了对比分析发现,由于该时段降水尺度较大,而且RUC系统预报总体较好,因此,TS评分选优结果总体较好。

表 3 不同试验方案对2019年8月11日00—12时逐小时≥10 mm降水预报选优结果 Table 3 The best hourly precipitation forecast (≥10 mm) in 00:00-12:00 BT 11 August 2019

基于目标对象的部分选优结果较差(表中加下划线斜体字体),部分选优结果优于TS评分选优(表中加粗字体)。根据6组不同试验和TS评分选优结果的差异性,把00—12时逐小时预报选优结果归纳为以下三类(表 3):

Ⅰ类,共9次,为11日03—08时和10—12时的选优结果。此类所有的选优结果总体一致,即基于目标对象的不同试验方案选优结果与TS评分选优结果均较一致。

Ⅱ类,共2次,为11日00时和02时的选优结果。此类基于目标对象的不同方案选优结果存在差异,合理的方案选优结果更好。

Ⅲ类,共2次,为11日01时和09时的选优结果。此类基于目标对象的不同方案选优结果也存在差异,但部分目标对象的选优结果好于TS评分选优。

下文分别对这三类选优的结果进行对比分析。

图 5给出了Ⅰ类选优结果(即总体一致)的部分预报和实况,以11日03时和07时的选优结果为例。图 5a5b分别为11日03时TS评分选优结果(1023.4h)和基于目标对象的选优结果(1101.2h)与实况的对比,可以发现,这两张图虽然是不同时次的预报,但预报结果(图中红色区域)几乎完全一样,模式较好地预报出了10 mm以上降水雨带的走向、形态分布,预报与实况较接近,只是预报的10 mm以上降水范围较实况偏小。同时发现,基于目标对象的选优结果(图 5b)对苏北和鲁中东部的局地降水落区也有较好的预报。

图 5 Ⅰ类选优结果的预报和实况格点分布 (a)11日03时TS评分选优结果(1023.4h), (b)11日03时试验1~试验6的选优结果(1101.2h) (黑色阴影区为≥10 mm实况降水格点,红色区为对应预报降水格点示意) Fig. 5 Distribution of the best precipitation forecast and observation of Type Ⅰ (a) the best forecast of 03:00 BT 11 August 2019 based on TS score (1023.4h) (b) the best forecast of 03:00 BT 11 August 2019 based on Tests 1-6 (1101.2h) (The shaded denotes precipitation observation ≥10 mm, the red denotes the corresponding forecast grid signal)

分析11日07时不同方案的选优结果和实况落区分布可以发现(图略),这些选优结果的降水预报分布也基本一致。

下面对Ⅱ类选优结果进行分析,即11日00时和02时的选优结果,此类基于目标对象的不同方案选优结果存在差异。由图 6a~6d可以发现,11日00时试验1的选优结果(1018.6h,图 6a)最差,降水预报明显偏南,试验3的选优结果(1017.7h,图 6b)略有改进,较实况落区仍然偏差较大。试验4的选优结果(1023.1h,图 6c)降水预报明显北抬,有较好改进,但强度偏弱。试验2、试验5、试验6及TS评分选优结果(1021.3h,图 6d)的降水预报与实况最为接近,降水落区和强度预报较其他方案选优结果更好。

图 6图 5,但为Ⅱ类 (a)11日00时试验1的选优结果(1018.6h), (b)11日00时试验3的选优结果(1017.7h),(c)11日00时试验4的选优结果(1023.1h), (d)11日00时试验2、试验5、试验6及TS评分选优结果(1021.3h),(e)11日02时试验1~试验4的选优结果(1020.6h), (f)11日02时试验5、试验6和TS评分选优结果(1023.3h) Fig. 6 Same as Fig. 5, but for Type Ⅱ (a) the best forecast of 00:00 BT 11 August 2019 based on Test 1 (1018.6h), (b) the best forecast of 00:00 BT 11 August 2019 based on Test 3 (1017.7h), (c) the best forecast of 00:00 BT 11 August 2019 based on Test 4 (1023.1h), (d) the best forecast of 00:00 BT 11 August 2019 based on Tests 2, 5, 6 and TS score (1021.3h), (e) the best forecast of 02:00 BT 11 August 2019 based on Tests 1-4 (1020.6h), (f) the best forecast of 02:00 BT 11 August 2019 based on Tests 5, 6 and TS score (1023.3h)

图 6e6f给出了11日02时不同方案的选优结果,可以发现,试验1~试验4的选优结果(1020.6h,图 6e)降水预报偏南,没有“抓住”鲁中北部的大片降水落区,而试验5~试验6和TS评分选优结果(1023.3h,图 6f)较好地预报出了鲁中北部的降水落区,且雨带走向与实况也较为一致,显然试验5~试验6的选优方案更为合理。

分析11日00时和02时降水实况落区分布可以发现,这两次降水实况的共同特点是预报范围内存在多个降水落区(目标),特别是02时的降水实况(图 6e6f中黑色阴影区),在鲁中北部存在一个范围较大的降水落区(目标),南部存在多个分散的小落区(目标),显然,在进行区域降水预报总评分时,给定不同降水目标对象同样的评分权重(B1方案,试验1~试验3),或者目标对象评分中TS评分权重过小(A1方案,试验1、试验4)均不能体现出大范围降水落区的重要性,导致选优结果降水预报偏南(偏向小落区)。而区域预报总评分时按照降水落区面积权重进行累加(B2方案)并提高目标对象评分的TS评分权重,显著改进了降水预报选优结果(试验5、试验6),说明提高目标对象评分中TS评分权重并且按照每个目标对象的面积权重评分计算区域总评分是合理和必要的。

图 7给出了Ⅲ类降水预报选优结果(这里仅给出了11日01时的预报选优结果),此类部分目标对象的选优结果好于TS评分选优。由图 7a~7c可见,试验1~试验2的选优结果(1020.5h,图 7a)预报最差,雨带明显偏南。试验3和TS评分选优的结果(1022.3h,图 7b)降水预报有较好改进,雨带更偏北了。而试验4~试验6选优的降水预报结果(1023.2h,图 7c)更为合理,预报雨带与实况雨带走向更为吻合,选优的产品预报时次更新(10日23时1~2 h预报),体现出包括落区、形状等信息在内的目标对象评分的优势。

图 7图 5,但为Ⅲ类 (a)11日01时试验1、试验2的选优结果(1020.5h), (b)11日01时试验3和TS评分选优结果(1022.3h), (c)11日01时试验4~试验6的选优结果(1023.2h) Fig. 7 Same as Fig. 5, but for Type Ⅲ (a) the best forecast of 01:00 BT 11 August 2019 based on Tests 1, 2 (1020.5h) (b) the best forecast of 01:00 BT 11 August 2019 based on Test 3 and TS score (1022.3h) (c) the best forecast of 01:00 BT 11 August 2019 based on Tests 4-6 (1023.2h)

表 3图 7选优结果分析中还可以发现,基于目标对象的选优结果好于TS评分的选优结果(11日01时试验4~试验6),11日09时试验5~试验6的选优结果类似(图略),且基于目标对象的选优预报产品均较TS评分的选优产品预报时效更新(即RUC起报时间更临近实况),从另一个角度说明了目标对象选优考虑了较多因素,选出的预报产品更加合理。

综上分析可见,大部分基于目标对象的选优方案与TS评分选优结果一致。当降水落区比较复杂或模式预报不太好时,加大目标对象评分中TS评分的权重(超过0.4,A2、A3方案),同时在区域总评分时,按照每个目标对象的面积权重评分计算区域预报总评分(B2方案),选优的预报产品更加合理,选优结果好于TS评分选优。从本文的批量试验可以发现,试验6(A3B2)为所有方案中的最佳方案,其次为试验5(A2B2)。而由于TS评分不考虑重心位置、面积大小和落区形状,其选优结果可能不合理。

4 批量试验

为进一步验证上述不同选优方案的合理性,以2019年6—8月逐小时降水预报为选优对象,采用前面所述的6组不同的试验方案组合,对RUC系统提前1~8 h的降水预报对1 h≥10 mm降水进行目标对象选优批量对比试验。通过对逐时≥10 mm降水预报选优结果的总体分析发现,不同方案大部分选优结果是一致的,但部分降水选优结果不同。为说明不同方案选优结果的合理性,对6组试验方案基于目标对象选取的逐小时≥10 mm最优降水预报统一进行TS评分,并对3个月内有降水得分时次(有1组方案有得分就参与统计)不同方案的TS评分进行总平均,计算结果见表 4。可以发现,平均TS评分最高的为试验6(A3B2)方案,其次为试验5(A2B2)方案,第三位为试验3(A3B1)方案。此结果与上述个例分析的结果是一致的,即目标对象选优方法在单个目标对象识别匹配时加大TS评分权重同时兼顾其他评分,且按照区域内每个目标对象面积权重计算区域总评分,选取的最优降水预报更加合理。

表 4 不同试验方案对2019年6—8月逐小时≥10 mm降水预报选优结果的平均TS评分 Table 4 The mean TS score of hourly precipitation forecast (≥10 mm) selection from RUC in June-August 2019
5 结论

针对天气预报业务上大量数值预报产品如何选优使用问题,本文提出了一种基于目标对象的数值模式区域降水预报选优方法,通过对局地分散性降水和大尺度降水预报的选优对比试验以及3个月的批量试验,可以得到以下结论:

(1) 通过TS评分、重心位置、面积大小、落区形状预报评分按不同权重平均进行单个目标对象评分,在此基础上,进行区域预报总体评价和选优。经个例试验以及批量试验表明,该方法可以较好地从大量数值预报产品中选出最优降水预报。

(2) 单个目标对象识别匹配的各项评分权重对选优结果有较大影响,提高TS评分的评分权重(超过0.4),能够提高选优结果的合理性。按照每个目标对象的面积权重计算区域预报总评分(B2方案),是合理选出最优预报产品的关键。

(3) 该方法对于局地分散性降水预报选优具有显著优势,可以克服传统TS评分的缺点,选出有参考价值的预报产品。由于目标对象评分考虑了降水落区形状、重心位置和面积大小评分,其选优结果较TS评分更为合理。

参考文献
蔡义勇, 危国飞, 党皓飞, 等, 2020. 基于降水目标的主雨带识别及预报误差空间检验[J]. 气象与环境学报, 36(1): 36-42. Cai Y Y, Wei G F, Dang H F, et al, 2020. Identification and spatial verification of the forecasting bias of the main rain belts based on precipitation objectives[J]. J Meteor Environ, 36(1): 36-42 (in Chinese).
曹春燕, 陈凯, 陈元昭, 等, 2017. 基于形状匹配的雷达临近预报误差评价计算方法[J]. 气象, 43(8): 987-997. Cao C Y, Chen K, Chen Y Z, et al, 2017. A novel method of error evaluation for radar nowcasting based on shape matching[J]. Meteor Mon, 43(8): 987-997 (in Chinese).
戴建华, 茅懋, 邵玲玲, 等, 2013. 强对流天气预报检验新方法在上海的应用尝试[J]. 气象科技进展, 3(3): 40-45. Dai J H, Mao M, Shao L L, et al, 2013. Applications of a new verification method for severe convection forecasting and nowcasting in Shanghai[J]. Adv Meteor Sci Technol, 3(3): 40-45 (in Chinese).
符娇兰, 宗志平, 代刊, 等, 2014. 一种定量降水预报误差检验技术及其应用[J]. 气象, 40(7): 796-805. Fu J L, Zong Z P, Dai K, et al, 2014. Application of a verification method on bias analysis of quantitative precipitation forecasts[J]. Meteor Mon, 40(7): 796-805 (in Chinese).
公颖, 2010. SAL定量降水预报检验方法的解释与应用[J]. 暴雨灾害, 29(2): 153-159. Gong Y, 2010. The explanation and application of SAL quantitative verification for precipitation forecasts[J]. Torr Rain Dis, 29(2): 153-159 (in Chinese). DOI:10.3969/j.issn.1004-9045.2010.02.009
李佳, 陈葆德, 徐同, 2016. 目标检验方法在高分辨率数值天气预报检验中的应用[J]. 沙漠与绿洲气象, 10(5): 1-9. Li J, Chen B D, Xu T, 2016. Application of the object-based verification method for high resolution NWP[J]. Desert Oasis Meteor, 10(5): 1-9 (in Chinese). DOI:10.3969/j.issn.1002-0799.2016.05.001
刘凑华, 牛若芸, 2013. 基于目标的降水检验方法及应用[J]. 气象, 39(6): 681-690. Liu C H, Niu R Y, 2013. Object-based precipita-tion verification method and its application[J]. Meteor Mon, 39(6): 681-690 (in Chinese).
刘雪晴, 陈静, 陈法敬, 等, 2020. 降水邻域集合概率方法尺度敏感性试验[J]. 大气科学, 44(2): 282-296. Liu X Q, Chen J, Chen F J, et al, 2020. Scale sensitivity experiments of precipitation neighborhood ensemble probability method[J]. Chin J Atmos Sci, 44(2): 282-296 (in Chinese).
茅懋, 戴建华, 李佰平, 等, 2016. 不同类型强对流预报产品的目标对象检验与分析评价[J]. 气象, 42(4): 389-397. Mao M, Dai J H, Li B P, et al, 2016. Object-based verification and evaluation for different types of severe convection forecasting products[J]. Meteor Mon, 42(4): 389-397 (in Chinese).
曲巧娜, 盛春岩, 范苏丹, 等, 2019. 基于目标对象检验法的多种模式强降水能力的比较[J]. 气象, 45(7): 908-919. Qu Q N, Sheng C Y, Fan S D, et al, 2019. Comparision of the multi-model forecasts for severe precipitation based on the object verification[J]. Meteor Mon, 45(7): 908-919 (in Chinese).
王婧卓, 陈法敬, 陈静, 等, 2021. GRAPES区域集合预报对2019年中国汛期降水预报评估[J]. 大气科学, 45(3): 664-682. Wang J Z, Chen F J, Chen J, et al, 2021. Verification of GRAPES-REPS model precipitation forecasts over China during 2019 flood season[J]. Chin J Atmos Sci, 45(3): 664-682 (in Chinese).
熊秋芬, 2011. GRAPES_Meso模式的降水格点检验和站点检验分析[J]. 气象, 37(2): 185-193. Xiong Q F, 2011. Verification of GRAPES_Meso precipitation forcasts based on fine-mesh and station datasets[J]. Meteor Mon, 37(2): 185-193 (in Chinese). DOI:10.3969/j.issn.1000-6362.2011.02.006
徐同, 杨玉华, 李佳, 等, 2019. SMS-WARMS V2.0模式对中国西南地区降水预报能力的客观检验[J]. 气象, 45(8): 1065-1074. Xu T, Yang Y H, Li J, et al, 2019. An objective verification of forecasting ability of SMS-WARMS V2.0 model precipitation in Southwest China[J]. Meteor Mon, 45(8): 1065-1074 (in Chinese).
薛春芳, 潘留杰, 2016. 基于MODE方法的日本细网格模式降水预报的诊断分析[J]. 高原气象, 35(2): 406-418. Xue C F, Pan L J, 2016. Diagnostic analysis of precipitation forecasting from Japan thin-grid model based on MODE[J]. Plateau Meteor, 35(2): 406-418 (in Chinese).
尤凤春, 王国荣, 郭锐, 等, 2011. MODE方法在降水预报检验中的应用分析[J]. 气象, 37(12): 1498-1503. You F C, Wang G R, Guo R, et al, 2011. The application analysis of MODE method to the rainfall forecast test[J]. Meteor Mon, 37(12): 1498-1503 (in Chinese). DOI:10.7519/j.issn.1000-0526.2011.12.004
张博, 赵滨, 牛若芸, 等, 2017. 全球模式对华北区域性强降水中期预报能力检验[J]. 暴雨灾害, 36(2): 118-124. Zhang B, Zhao B, Niu R Y, et al, 2017. The performance verification of several numerical models in middle range forecasting of regional heavy rainfall in North China[J]. Torr Rain Dis, 36(2): 118-124 (in Chinese). DOI:10.3969/j.issn.1004-9045.2017.02.003
Bröcker J, Smith L A, 2007. Increasing the reliability of reliability diagrams[J]. Wea Forecasting, 22(3): 651-661. DOI:10.1175/WAF993.1
Brier G W, 1950. Verification of forecasts expressed in terms of probability[J]. Mon Wea Rev, 78(1): 1-3. DOI:10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2
Davis C A, Brown B G, Bullock R G, 2006a. Object-based verification of precipitation forecasts.Part I: methodology and application to mesoscale rain areas[J]. Mon Wea Rev, 134(7): 1772-1784. DOI:10.1175/MWR3145.1
Davis C A, Brown B G, Bullock R G, 2006b. Object-based verification of precipitation forecasts.Part Ⅱ : application to convective rain systems[J]. Mon Wea Rev, 134(7): 1785-1795. DOI:10.1175/MWR3146.1
Davis C A, Brown B G, Bullock R G, 2009. The method for object-based diagnostic evaluation (MODE) applied to WRF forecasts from the 2005 SPC spring program[J]. Wea Forecasting, 24(4): 1252-1267.
Donaldson Jr R J, Dyer R M, Kraus M J. 1975. An objective evaluator of techniques for predicting severe weather events[C]//Preprints: Ninth Conference on Severe Local Storms. Norman: American Meteorological Society: 321-326.
Ebert E E, Mcbride J L, 2000. Verification of precipitation in weather systems: determination of systematic errors[J]. J Hydrol, 239(1/2/3/4): 179-202.
Mason I, 1979. On reducing probability forecasts to yes/no forecasts[J]. Mon Wea Rev, 107(2): 207-211. DOI:10.1175/1520-0493(1979)107<0207:ORPFTY>2.0.CO;2
Roberts N M, Lean H W, 2008. Scale-selective verification of rainfall accumulations from high-resolution forecasts of convective events[J]. Mon Wea Rev, 136(1): 78-97. DOI:10.1175/2007MWR2123.1
Schaefer J T, 1990. The critical success index as an indicator of warning skill[J]. Wea Forecasting, 5(4): 570-575. DOI:10.1175/1520-0434(1990)005<0570:TCSIAA>2.0.CO;2
Swets J A, 1986. Indices of discrimination or diagnostic accuracy: their ROCs and implied models[J]. Psychol Bull, 99(1): 100-117. DOI:10.1037/0033-2909.99.1.100