快速检索
  气象   2017, Vol. 43 Issue (1): 67-76.  DOI: 10.7519/j.issn.1000-0526.2017.01.007

论文

引用本文 [复制中英文]

唐文苑, 周庆亮, 刘鑫华, 等, 2017. 国家级强对流天气分类预报检验分析[J]. 气象, 43(1): 67-76. DOI: 10.7519/j.issn.1000-0526.2017.01.007.
[复制中文]
TANG Wenyuan, ZHOU Qingliang, LIU Xinhua, et al, 2017. Analysis on Verification of National Severe Convective Weather Categorical Forecasts[J]. Meteorological Monthly, 43(1): 67-76. DOI: 10.7519/j.issn.1000-0526.2017.01.007.
[复制英文]

资助项目

国家重点基础研究发展计划(973计划)项目(2013CB430106) 和国家自然科学基金项目(41375051) 共同资助

第一作者

唐文苑, 从事高影响天气分析预报技术研究.Email:tangwy@cma.gov.cn

文章历史

2016年3月30日收稿
2016年9月28日收修定稿
国家级强对流天气分类预报检验分析
唐文苑 , 周庆亮 , 刘鑫华 , 朱文剑 , 毛旭     
国家气象中心, 北京 100081
摘要:预报产品的客观检验是记录、考量各种预报业务质量, 促进预报水平提高的重要手段, 也是整个天气预报过程中的重要环节。本文采用“点对面”Threat Score(TS)、漏报率、空报率等客观指标首次对2010—2015年4—9月国家级强对流天气预报中雷暴、短时强降雨以及雷暴大风和冰雹等分类预报进行了检验。同时, 本文也对强对流天气落区分类预报客观检验存在的问题以及未来发展进行了讨论。检验结果表明:过去6年间, 6~24 h时效预报, 雷暴TS评分为0.22~0.34, 短时强降水为0.18~0.24, 雷暴大风和冰雹为0.01~0.07;48、72 h时效预报, 雷暴TS评分为0.30~0.40, 强对流天气TS评分为0.16~0.23, 除雷暴预报TS评分在2012—2013年有所回落外, 其他类别的强对流天气预报总体上TS评分呈上升趋势, 雷暴大风和冰雹预报评分明显低于其他两个类别。雷暴空报率是漏报率的2~3倍, 短时强降水漏报率与空报率接近, 雷暴大风和冰雹天气漏报率和空报率都在0.8以上。与美国风暴预报中心(SPC)2000—2010年定期发布的1 d对流展望产品检验结果比较, 强天气预报中心雷暴和短时强降水落区预报TS评分较高, 雷暴大风和冰雹评分较低。典型个例预报检验结果表明, 系统性大范围的风雹天气可预报性较强, 评分要显著高于平均预报水平;对于非过程性的、分散的风雹天气, 预报难度大, TS评分低。
关键词强对流天气    分类预报    检验    TS评分    
Analysis on Verification of National Severe Convective Weather Categorical Forecasts
TANG Wenyuan, ZHOU Qingliang, LIU Xinhua, ZHU Wenjian, MAO Xu    
National Meteorological Centre, Beijing 100081
Abstract: The objective assessment of forecast is an important part in the whole weather forecasting cycle. Based on the assessment, qualities of different operational forecasts can be noted and considered, so enhancing the level of forecast. The verification of national severe convective weather categorical forecasts from April to September during 2010-2015 is displayed by adopting the objective indices of the "point-to-area" thret score (TS), the false alarm rate (FAR) and the missing alarm rate (MAR) in this paper. At the same time, analysis is carried out for different time interval forecasts of the annual mean verification index (mainly is from April to September of the year). Furthermore, the problems existing in the verification of severe convective weather categorical forecasts and its development in the future are also discussed. Over the past six years, in addition to the decrease of thunderstorm forecast TS during 2012-2013, there was a rising trend for TS of severe convective weather forecasting. For the 6-24 h forecasts, the TS of thunderstorm was 0.22-0.34, the TS of the short-time heavy rain was 0.18-0.24, the TS of thunderstorm gale and hailstone was 0.01-0.07; for the 48-72 h forecasts, the TS of thunderstorm was 0.30-0.40, the TS of severe convective weather was 0.16-0.23. The TS of thunderstorm gale and hailstone was lower than that of the other two kinds of severe convective weather. The FAR of thunderstorm was twice as large as MAR of thunderstorm; the FAR of short-time heavy rain was close to its MAR, while the FAR and MAR of thunderstorm gale and hailstone were all larger than 0.8. Compared with the TSs of similar products in Storm Prediction Center (SPC) of USA, the TSs of thunderstorm and short-time heavy rain are higher than that of SPC and the TS of thunderstorm gale and hailstone is lower than that of SPC. Verification of typical case forecasting shows that the TS of systemic and widespread thunderstorm gale and hailstone is higher than that in other situations. The reason is that the predictability of systemic and widespread thunderstorm gale and hailstone is higher.
Key words: severe convective weather    categorical forecasts    forecast verification    threat score (TS)    
引言

预报产品的客观检验是天气预报业务流程中“分析、诊断、预报、检验”四个重要环节之一。检验的目的就是为了:第一,考量预报质量——预报准确度如何以及预报质量随时间的变化;第二,提高预报质量——若要提高预报质量,预报员的首要任务就是需要通过客观检验,对预报做出客观评估以发现问题所在,进行总结以提高预报技能;第三,比较不同预报系统(方法)间的预报质量——确定哪个预报系统(方法)的预报质量更高,进而研究其具体表现(Anna and Elizabeth, 2008)。

对极端天气(包括强对流天气)最简单直接的检验方法是将基于站点观测的实况与预报相对比计算检验指标,例如备受争议的由Finley (1884)提出的针对龙卷预报使用二维列联表的检验方案。传统的强对流天气确定性预报检验多是采用此类方法(Kumar,2005),尤其是TS评分(Threat Score,也称为Critical Success Index)在强对流天气的检验中得到了最为广泛的应用(Casati et al, 2008)。但随后的许多研究均指出,基于二维列联表的检验方法存在许多局限性,当检验对象为发生概率极低的强对流天气时,TS评分、命中率和虚警率趋近于0(Stephenson et al, 2008; Mason, 1989; Schaefer, 1990)。因此,Ferro and Stephenson (2011)提出使用EDS (Extreme dependency score)等指数可以有效避免这种弊端。同时Brown et al (2004)指出,使用传统检验方法难以识别预报的偏差来源,提出使用基于对象的空间检验方法能够更具体地提供预报系统在位移、强度、范围等方面的偏差信息。Roberts and Lean (2008)提出比重技巧评分(FSS)检验方法对于小概率事件更为敏感,可以更好地区分模式在小尺度对流预报能力的差异。近年来,国内气象工作者也开始引入国外发展相对成熟的新型检验技术,包括基于对象的检验方法(戴建华等,2013刘凑华和牛若芸,2013茅懋等,2016)和模糊检验方法(李伯平等,2016)进行研究试验,探索非常规检验方法在反映不同用户所关注的包括预报形态、结构、位置等重要信息的能力。

世界气象组织(WMO)世界天气研究计划(WWRP)设置了专门的专家组来研究世界天气预报检验技术。经过多年的总结提炼,给出了各种天气预报适用的检验方法(表 1)。

表 1 WMO世界天气研究计划(WWRP)的预报分类与适用检验方法对照表 Table 1 Categorical forecasts and its suitable verification method recommended by WWRP

中央气象台最早的短期预报业务检验就是针对降水预报和台风预报开展的。1987年5月起每月公布短、中、长期预报检验评分结果(牟惟丰,1988),1988年起正式对中央气象台主观综合降水预报业务开展每年的预报客观检验,林明智等(1995)林明智(1997)还分别对中央气象台短期降水预报以及美国国家气象中心定量降雨预报水平进行了综合分析;20世纪80年代,束家鑫和王志烈(1983)董克勤等(1986)对中央气象台的热带气旋路径主观综合预报进行了预报质量检验分析,从1991年起中央气象台开展了热带气旋路径主观业务预报同美国、日本国家业务中心的主观业务预报客观检验的对比分析工作(许映龙等,2010)。为了规范业务天气预报检验工作,经过试行、多次修订,中国气象局2005年下发了《关于下发中短期天气预报质量检验办法(试行)的通知》(气发〔2005〕109号)。

2009年3月,国家气象中心成立了专门的国家级强对流天气预报业务中心——强天气预报中心。经过2009年的业务试运行,2010年4—9月国家气象中心首次正式开展了国家级的强对流天气分类(三分类:雷暴、雷暴大风——阵风风速达8级以上和冰雹、短时强降水——每小时降雨量≥20 mm;二分类:雷暴、强对流天气——雷暴大风、冰雹和短时强降水)落区预报。但截至目前为止,尚未对该分类预报结果进行系统检验。因此,本文借鉴美国风暴预报中心(SPC)的强对流天气分类预报检验业务做法,对2010—2015年4—9月国家级强对流天气分类预报产品进行了检验,并对检验结果进行了分析;同时对目前国家级强对流天气分类落区主观综合预报客观检验中存在的问题进行了讨论。

1 检验方法 1.1 检验指标

检验指标为TS评分、空报率、漏报率。计算方法如下:

TS评分:

$T{S_k} = \frac{{N{A_k}}}{{N{A_k} + N{B_k} + N{C_k}}}$

空报率:

$FA{R_k} = \frac{{N{B_k}}}{{N{A_k} + N{B_k}}}$

漏报率:

$MA{R_k} = \frac{{N{C_k}}}{{N{A_k} + N{C_k}}}$

式中,NAk为预报正确的站(次)数,NBk为空报站(次)数,NCk为漏报站(次)数。k分别代表预报内容,即强对流分类预报。

1.2 检验内容

检验内容为2010—2015年4—9月国家级强对流天气落区主观分类预报:每天三次发布的6~24 h时效的雷暴、雷暴大风和冰雹、短时强降水落区预报;每天发布一次的48、72 h时效的雷暴、强对流天气(包括雷暴大风和冰雹、短时强降水)落区预报(表 2)。

表 2 2010—2015年4—9月国家级强天气落区分类预报业务产品 Table 2 National severe convective weather categorical forecasts from April to September during 2010-2015
1.3 指标计算

检验指标计算采用的实况数据,来自于整理的包括全国基准、基本和一般天气站地面观测站人工观测的普通雷暴、冰雹、雷暴大风天气报告和自动站监测的短时强降水的实况观测资料得到的间隔6、12、24 h的强对流实况监测资料。全国范围内选取包括基准、基本和一般天气站在内的2410个站点作为评分站点(均为中国气象局观测业务考核的站点)。需要说明的是,根据2013年12月5日制定的《地面气象观测业务调整技术规定》,自2014年1月1日起,地面气象观测站取消雷暴、冰雹等13种天气现象的人工观测。因此文中2014和2015年雷暴观测资料是使用国家雷电监测定位网监测到的地闪数据经过统计分析后转换得到的雷暴数据,夜间(20—08时)无冰雹观测资料,存在明显的信息缺失情况。

由于强对流天气具有时空尺度小,局地性强的特点,常规的地面气象站很难完全观测得到。因此,观测与预报“点对点”检验方法很难准确地反映分类预报质量。目前基于邻域(一定半径范围)的检验方法在强对流天气预报中得到较为广泛的应用,该方法是空间检验方法中的一种(郑永光等,2015)。本文参考了美国SPC的“点对面”检验方法,即对于每一个站点上的各分类预报正确与否,是用以该点为中心,40 km (25 mile)为半径的圆面上是否出现了该分类的天气来判别。

年度TS评分、空报率、漏报率三个评分指标计算,采用全年的NAk预报正确的站(次)数、NBk空报站(次)数、NCk漏报站(次)数“大样本”计算而得,而不是每天或者每月计算出来的TS评分、空报率、漏报率后的算术平均。

2 检验结果及分析

表 3分别给出了2010—2015年4—9月国家级强对流天气分类预报各个预报时段、时效的逐年TS评分、空报率、漏报率检验指标结果。

表 3 2010—2015年国家级强对流天气分类预报逐年TS评分、空报率、漏报率 Table 3 Annual mean TS, FAR and MAR of national severe convective weather categorical forecasts from April to September during 2010-2015
2.1 TS评分

表 3可以看出,雷暴预报TS评分6 h时效6 h时段预报在0.27~0.34,12 h时效12 h时段预报在0.27~0.33,18 h时效12 h时段预报在0.22~0.28,24 h时效12 h时段预报在0.26~0.31,48 h时效24 h时段预报在0.32~0.40,72 h时效24 h时段预报在0.30~0.37;短时强降雨预报,6 h时效6 h时段预报在0.18~0.22,12 h时效12 h时段预报在0.21~0.24,18 h时效12 h时段预报在0.19~0.23,24 h时效12 h时段预报在0.19~0.23;雷暴大风和冰雹,6 h时效6 h时段预报在0.04~0.07,12 h时效12 h时段预报在0.03~0.06,18 h时效12 h时段预报在0.01~0.05,24 h时效12 h时段预报在0.03~0.05;二分类预报中强对流天气48 h时效24 h时段预报TS评分达到了0.19~0.23, 72 h时效24 h时段预报TS评分为0.16~0.21。

图 1可以看出,相同预报时效和预报时段内,雷暴的TS评分逐年对比,6~24 h时效预报评分呈“U”型分布,如24 h时效12 h时段预报,2012和2013年评分值最低,2010和2015年评分相对较高;而48、72 h时效预报整体呈上升趋势;同一年份不同预报时段对比,预报时段的增加使得TS评分增加明显,如2015年24 h时段的48、72 h时效预报TS评分均超过了同年6~12 h时段的6~24 h时效预报;而预报时效的增加对TS评分影响不大,如2015年12、24 h时效的12 h时段预报TS评分几乎相当,而18 h时效12 h时段预报TS评分相对偏低。对于短时强降水预报,相同年份下不同预报时效、预报时段对比,除2014年外,6 h时段预报TS评分均低于12 h时段预报;同是12 h时段,短时强降水预报TS评分随预报时效的延长逐渐减小,如2013年,12 h时段的6、12、18 h时效预报评分值依次为0.24、0.23、0.22。对于雷暴大风和冰雹预报,相同年份下不同预报时效、预报时段对比,6 h时效6 h时段预报评分最高;12 h时段预报中,18 h时效预报评分最低,原因可能与雷暴大风和冰雹夜间发生概率小有关。在相同年份下,二分类预报中强对流天气预报48 h比72 h时效预报的TS评分仅仅高1%~4%。

图 1 2010—2015年国家级强对流天气分类预报逐年预报TS评分 Fig. 1 Yearly TS of national severe convective weather categorical forecasts during 2010-2015

图 1中也能看出,对于相同预报时效、预报时段的分类预报,雷暴预报TS评分最高,短时强降水次之,而雷暴大风和冰雹最低。雷暴大风和冰雹各预报时段、预报时效的TS评分,都未达到相应的短时强降水的五分之一。

2.2 预报空报率

表 3可以看出,雷暴预报的空报率6 h时效6 h时段预报在0.62~0.71,12 h时效12 h时段预报在0.62~0.71,18 h时效12 h时段预报在0.66~0.76,24 h时效12 h时段预报在0.64~0.72,48 h时效24 h时段预报在0.52~0.64,72 h时效24 h时段预报在0.54~0.65;短时强降水预报,6 h时效6 h时段预报在0.63~0.74,12 h时效12 h时段预报在0.55~0.66,18 h时效12 h时段预报在0.58~0.69,24 h时效12 h时段预报在0.57~0.66;雷暴大风和冰雹,6 h时效6 h时段预报在0.90~0.94,12 h时效12 h时段预报在0.91~0.95,18 h时效12 h时段预报在0.93~0.98,24 h时效12 h时段预报在0.92~0.95。

图 2可以看出,对于雷暴预报,相同的预报时段、预报时效逐年进行对比,6~24 h时效预报空报率2012年均最高,2015年最低;24 h时段的48、72 h时效预报空报率逐年降低。对比相同年份不同预报时效、预报时段的检验结果,6~24 h时效预报,预报时效的延长对空报率影响不大,18 h时效12 h时段预报空报率最高,其他预报空报率接近;而24 h时效内预报与48、72 h相比,48、72 h时效预报空报率较低,这与雷暴的TS评分分析结果相匹配。相同的预报时段、预报时效内短时强降水预报逐年对比,除2012年略有偏低外,空报率总体上呈逐年减小趋势;相同年份不同预报时段、预报时效对比,6 h时段预报空报率明显高于12 h时段预报,同是12 h时段,18 h时效预报空报率高于12、24 h时效预报。对于相同年份不同预报时段、预报时效的雷暴大风和冰雹预报预报,6 h时效6 h时段预报空报率均最低,18 h时效12 h时段预报空报率均最高。

图 2图 1,但为空报率 Fig. 2 Same as Fig. 1, but for FAR

图 2中还可看出,不同的预报类别对比,相同年份、相同预报时段和预报时效内,6 h时效6 h时段预报雷暴大风和冰雹的空报率最高,雷暴和短时强降水相比较,某些年份雷暴空报率高于短时强降水,某些年份反之;12 h时段预报(包括12、18和24 h时效预报)空报率从高到低依次为雷暴大风和冰雹、雷暴、短时强降水,雷暴大风和冰雹各预报时段、预报时效的空报率都明显高于短时强降水和雷暴。24 h时段的48、72 h时效预报,2010—2011年强对流天气空报率高于雷暴,而从2012年开始,强对流天气空报率均低于雷暴。

2.3 预报漏报率

表 3可以看出,雷暴预报的漏报率6 h时效6 h时段预报在0.18~0.25,12 h时效12 h时段预报在0.19~0.30,18 h时效12 h时段预报在0.21~0.37,24 h时效12 h时段预报在0.21~0.32,48 h时效24 h时段预报在0.25~0.30,72 h时效24 h时段预报在0.28~0.35;短时强降雨预报,6 h时效6 h时段预报在0.64~0.67,12 h时效12 h时段预报在0.62~0.66,18 h时效12 h时段预报在0.63~0.70,24 h时效12 h时段预报在0.66~0.71;雷暴大风和冰雹,6 h时效6 h时段预报在0.84~0.91,12 h时效12 h时段预报在0.86~0.94,18 h时效12 h时段预报在0.88~0.96,24 h时效12 h时段预报在0.89~0.95。

图 3可以看出,相同预报时段、预报时效内雷暴漏报率逐年对比,2010—2011年漏报率有所上升;2011—2013年三年间,除48 h时效24 h时段预报外,漏报率均呈逐年下降趋势;除2014年6 h时效6 h时段预报漏报率继续下降外,2014—2015年其他预报漏报率又有所上升,如18 h时效12 h时段预报,2015年漏报率增大明显,2015年是2013年的近1.8倍。在相同的年份内不同预报时效、预报时段对比,2010—2013年,24 h时段的48、72 h时效预报漏报率均大于其他预报,而自2014年开始,18 h时效12 h时段预报漏报率超过24 h时段的48、72 h时效预报,成为漏报率最大的预报时段,这与2014年观测业务调整、取消夜间人工雷暴观测有关。对于短时强降水预报,同是12 h时段预报,随预报时效的延长漏报率均有所上升。

图 3图 1,但为漏报率 Fig. 3 Same as Fig. 1, but for MAR

对于雷暴大风和冰雹预报,相同年份不同预报时段、预报时效对比,2011、2013和2015年随预报时效的延长漏报率均呈上升趋势;2010、2012和2014年,6~18 h时效随预报时效的延长漏报率均呈上升趋势,24 h时效预报漏报率又有所下降。对相同预报时段、预报时效逐年对比发现,2010—2015年漏报率在前三年呈逐年上升,之后逐年下降的倒“U”型分布,2012年漏报率最高,2015年漏报率最低。对于二分类的强对流天气预报,72 h比48 h的漏报率平均高4%。

图 3中也能看出,对于相同预报时段、预报时效的分类预报中,不同类别的强对流天气预报漏报率阶梯式差异明显,漏报率从低到高依次为雷暴、短时强降水、雷暴大风和冰雹,雷暴各预报时段、预报时效的漏报率均未达到雷暴大风和冰雹的40%。

对比雷暴的空报率及漏报率结果,对于相同的预报时效和预报时段,空报率是漏报率的2~3倍,雷暴预报的空报问题突出,如6 h时效6 h时段预报漏报率在0.18~0.25,空报率在0.62~0.71,空报率接近漏报率的3倍。对于短时强降水,漏报率和空报率接近,如6 h时效6 h时段预报空暴率在0.63~0.74,漏报率在0.64~0.67。对于冰雹和雷暴大风,漏报和空报的问题均较为突出,漏报率和空报率都在0.8以上。

3 强对流天气预报产品对比分析 3.1 与美国强对流天气预报产品检验的对比分析

美国是最早开展全国范围的强对流天气预报的国家,因此非常有必要把我国强对流天气业务预报的检验结果同美国SPC相关结果进行比较。Hitchens and Brooks (2012;2014) 对美国SPC发布的1~3 d主观强对流落区预报产品进行检验。检验方案采用基于格点对格点(为了与SPC业务上发布的概率预报产品概率值所覆盖的有效区域,即25 miles (约40 km)半径的圆一致,格点大小定为80 km×80 km)的二维列联表方法,将达到美国气象局定义的强对流天气(出现龙卷或直径>1 in的冰雹或速度>50节的雷暴大风, 1 in=25.4 mm)实况报告落到相应的网格与预报进行对比,在此基础上计算命中率(POD)、TS及偏差(Bias)等检验指标,并且采用直观的检验图描绘这些检验指标之间的关系。

2000—2010年间美国SPC定期发布的1 d对流展望产品(上午6时发布,提前6 h预报当日12时至次日12时强对流低风险等级落区) TS评分在15.5%~21.3%,空报率在75%~82.6%,漏报率在36.4%~50.1%。简单从数值进行比较,强天气预报中心的雷暴和短时强降水落区预报评分相对较高,雷暴大风和冰雹评分相对较低;相较2~3 d的强对流天气展望预报,中央气象台强天气预报中心与美国SPC的TS评分接近;同时也可知美国SPC也存在对于低风险等级预报产品空报比漏报显著的问题。

需要指出的是,尽管中央气象台强天气预报中心检验业务已经参考美国SPC选取的80 km×80 km的格点尺寸,将对流实况和预报均落到以评分站为中心,40 km半径的圆内进行对比,但与美国SPC基于网格的检验方案不同,强天气预报中心业务检验是基于评分站点的;同时,中央气象台的24 h内预报是针对不同类别的对流天气分别进行检验,而美国是把龙卷、冰雹和雷暴大风作为同一类别统一进行检验;除此之外,预报时效和预报具体时段也不一致,上述这些检验细节的差异都会对评分结果造成影响,因此,简单的将两者的检验评分值进行对比并不能真正揭示问题。

3.2 强对流过程预报检验结果对比

从检验结果看,冰雹和雷暴大风类天气TS评分明显低于其他类别,这与风雹类天气发生概率相对较低、局地性突发性更强、预报难度相对较大有关,同时,并不完备的观测资料也对评分结果有一定程度的影响。尽管多数情况下雷暴大风和冰雹类天气评分较低,但由于导致风雹的天气系统的可预报性不同,不同天气系统下的风暴预报评分差异极大,因此本文选取了两个典型个例作了进一步分析。

3.2.1 华东强对流过程检验分析

2015年4月28—29日,受冷涡东移南落及底层低涡切变线共同影响,系统呈现上干冷下暖湿的“前倾槽”结构特点,同时华东地区位于高空急流左前方、中层有急流核过境,具有强的动力不稳定和热力不稳定条件,受底层冷锋抬升触发,4月28日白天至29日凌晨(28日08时至29日08时),山东西部、安徽东部、江苏西部及南部、浙江北部等地自北向南出现了大范围的强降水、风雹过程。28日下午,江苏南京、扬州等地出现了直径>5 cm的冰雹,扬州冰雹直径达10 cm,测站风速最大达到22 m·s-1

此次过程主要发生在28日夜间到29日凌晨,将28日20时至29日08时作为主要检验时段,对雷暴、短时强降水、雷暴大风和冰雹三类预报产品进行检验(见表 4)。从这次过程的平均检验结果看,预报员对这次过程有较好的预报,雷暴、短时强降水、雷暴大风和冰雹TS评分分别为0.32、0.22、0.48,在相同的预报时段和预报时效下,短时强降水和雷暴的预报TS评分接近常年平均,而雷暴大风和冰雹的预报显著偏高,如18 h时效12 h时段预报,TS评分年平均值在0.01~0.05,此次过程TS评分均值达0.48。此外,对于不同类别天气相比较,相同的预报时效和预报时段雷暴大风和冰雹的评分明显高于短时强降水和雷暴,与常年的平均态差异较大,尤其是在28日20时起报的12 h时效12 h时段预报,冰雹、雷暴大风TS评分高达0.53。

表 4 2015年4月28日20时至29日08时检验结果 Table 4 Verification of forecast for severe convective weather seen from 20:00 BT 28 to 08:00 BT 29 April 2015

由此可见,对于系统性大范围的风雹天气可预报性较强,因此评分要明显高于往年和其他类强对流天气;其次,对于预报难度较大的风雹类天气,预报员可以通过对环境场条件和诊断物理量的分析,结合自身的预报经验对系统性较强、可预报性较高的大范围风雹天气做出同样出色的预报,说明在提高风雹天气预报准确率、提高预报评分上还有很大的潜力可以挖掘。同时,针对同一目标时段的冰雹、雷暴大风预报(28日20时至29日08时),随预报时效的延长,TS评分逐渐减小,漏报率明显增长,而空报率变化不大,如24 h时效较18 h时效预报TS评分从0.4增加至0.51,空报率仅从0.45增长到0.46,而漏报率从0.41明显减小到0.08,说明预报时效越临近TS评分值越高主要在于漏报率的减小。

3.2.2 南方强对流过程检验分析

2015年5月19日,受不同天气系统影响,全国范围内出现分散的风雹天气。主要的对流区位于西南地区东部、江南南部及华南地区,受南下冷空气及南支槽暖湿气流输送影响,上述地区出现以强降水为主、局地雷暴大风的对流天气;陕西东部偏南地区受短波槽及底层辐合切变系统的影响,出现局地的冰雹;东北地区中部受深厚冷涡系统影响,出现多站的风雹天气;山东南部、江苏北部地区位于冷涡底部,受下滑冷空气及低层切变系统影响,也出现了局地的风雹天气。

此次过程雷暴和短时强降水评分接近常年平均,雷暴大风和冰雹评分相对偏低。对于南方局地的伴随强降水出现的雷暴大风,属于湿下击暴流,此类天气与对流云中的大水滴拖曳和中层干空气的卷夹、蒸发冷却过程有关,局地性较强,要把落区位置预报准确难度较大;北方地区水汽条件相对较差,以干下击暴流和冰雹天气为主,在冷涡背景下,东北地区是此类天气的多发区,当天预报员没能预报出来,存在明显的漏报;对于陕西、山东及江苏境内个别站点出现的风雹,发生范围小,时间、空间的随机性更强,给预报员带来更大的挑战。因此,对于这次过程,雷暴大风冰雹天气空报率及漏报率都为0.98,TS评分仅为0.01,预报效果并不理想(表 5)。

表 5 2015年5月19日08—20时检验结果 Table 5 Verification of forecast for severe convective weather seen from 08:00 BT to 20:00 BT 19 May 2015

通过上述两个个例对比可见,在过程性较强,即有明显的大尺度天气系统影响条件下出现的风雹类天气,预报员可以通过环境场条件分析、根据不同诊断物理量对不同类型强对流天气的指示意义对风雹类天气做出较为准确的预报;而对于没有明显系统配合,非过程性的、分散的、局地突发的风雹天气,在现有的技术手段下,预报员要对风雹具体发生时间和落区位置的预报准确难度较大,因此,体现在评分结果上,前者TS评分值远高于后者。

4 结论与讨论

通过对2010—2015年4—9月的国家级强对流天气主观综合预报产品客观检验,得到以下结论:

(1) 过去6年间,除雷暴预报TS评分在2012—2013年有所回落外,总体上强对流落区预报产品评分呈上升趋势;6~24 h时效预报, 雷暴TS评分在0.22~0.34,短时强降水在0.18~0.24,雷暴大风和冰雹在0.01~0.07;48、72 h时效预报,雷暴TS评分在0.30~0.40,强对流天气TS评分在0.16~0.23。相同预报时段、预报时效条件下,TS评分从高到低依次为雷暴、强降水、风雹,其中风雹预报评分明显低于其他两类。

(2) 雷暴空报率是漏报率的2~3倍,空报问题突出;短时强降水漏报率与空报率接近,空报率在0.55~0.74,漏报率在0.62~0.71;对于风雹类天气,漏报和空报的问题均较为突出,漏报率和空报率都在0.8以上。

(3) 与美国风暴预报中心(SPC)2000—2010年定期发布的1 d对流展望产品检验结果比较,强天气预报中心的雷暴和短时强降水落区预报评分相对较高,雷暴大风和冰雹评分相对偏低;相较2~3 d的强对流天气展望预报,中央气象台强天气预报中心与美国SPC的TS评分接近。强天气预报中心和美国SPC均存在空报率比漏报率显著偏高的问题。

(4) 对于系统性大范围的风雹天气可预报性较强,预报员可以通过对环境场条件和诊断物理量的分析,结合自身的预报经验做出较为准确的预报,因此评分要明显高于往年和其他类强对流天气;而对于非过程性的、分散的、局地突发的风雹天气,预报员要对风雹具体发生时间和落区位置的预报准确难度较大,TS评分值远低于前者。

在如何提高强对流天气预报准确率方面,我们也得到一些启示:(a)上述华东风雹过程中,预报时效越临近,空报率基本维持而漏报率明显减小,使得TS评分值增加,因此对于致灾性强、极易造成重大的经济损失和人员伤亡的强对流天气,在考虑服务效果和社会影响下,空报率偏高在所难免,实际业务中要提高预报准确率,应当着重考虑降低漏报率;(b)区域性大范围的、过程性较强的风雹天气具有较强的可预报性,预报员如果能把握住这样的过程,将对提高风雹类天气的预报准确率和整体的预报评分水平起到很好的作用。

我们分类强对流天气预报检验发展还存在如下一些问题:(a)由于风雹天气尺度小,需要进一步完善气象信息员和灾情上报制度,建立可靠的强对流天气实况资料库;(b)观测资料质量控制需要进一步加强。对于雷暴大风天气,也没有将冷空气大风与强对流天气中的雷暴大风进行更加严格的判别区分,会导致漏报率偏高、TS评分偏低;(c)在现有观测资料的基础上,将卫星、雷达、闪电等多种非常规资料作为重要补充,建立格点化的强天气检验实况数据库;(d)对于强对流天气这种小概率事件的科学、客观检验,未来强天气检验技术研发首先将对现有的TS评分方法进行完善改进,例如重新评估定义适用于我国的评分站覆盖区域的半径大小;同时,将应用更具有诊断意义的面向对象的空间检验技术,实现对对流预报落区形态、位移及强度的定量检验;尝试开发适合我国强对流预报预警发展的新型检验业务产品,实现对强对流预报的综合检验和评价。

参考文献
戴建华, 茅懋, 邵玲玲, 等, 2013. 强对流天预报检验新方法在上海的应用尝试[J]. 气象科技进展, 3(3): 40-45.
董克勤, 杨麟美, 周江兴, 1986. 台风路径预报现状分析[J]. 气象, 12(7): 2-6. DOI:10.7519/j.issn.1000-0526.1986.07.001
李佰平, 戴建华, 张欣, 等, 2016. 三类强对流天气临近预报的模糊检验试验与对比[J]. 气象, 42(2): 129-143. DOI:10.11898/1001-7313.20160201
林明智, 1997. 美国国家气象中心定量降雨预报[J]. 气象, 23(11): 3-6. DOI:10.7519/j.issn.1000-0526.1997.11.001
林明智, 毕宝贵, 乔林, 1995. 中央气象台短期降雨预报水平初步分析[J]. 应用气象学报, 6(4): 392-399.
刘凑华, 牛若芸, 2013. 基于目标的降水检验方法及其应用[J]. 气象, 39(6): 681-690. DOI:10.7519/j.issn.1000-0526.2013.06.003
茅懋, 戴建华, 李佰平, 等, 2016. 不同类型强对流预报产品的目标对象检验与分析评价[J]. 气象, 42(4): 389-397. DOI:10.7519/j.issn.1000-0526.2016.04.001
牟惟丰, 1988. 中央气象台一年来预报评分结果分析[J]. 气象, 14(11): 49-51. DOI:10.7519/j.issn.1000-0526.1988.11.013
束家鑫, 王志烈, 1983. 我国台风研究的十年进展/台风会议文集(1981)[M]. 上海: 上海科学技术出版社, 1-4.
许映龙, 张玲, 高拴柱, 2010. 我国台风预报业务的现状及思考[J]. 气象, 36(7): 43-49. DOI:10.7519/j.issn.1000-0526.2010.07.009
郑永光, 周康辉, 盛杰, 等, 2015. 强对流天气监测预报预警技术进展[J]. 应用气象学报, 26(6): 641-657. DOI:10.11898/1001-7313.20150601
Anna G, Elizabeth E, 2008. Special issue on forecast verification[J]. Meteor Appl, 15(1): 1-1. DOI:10.1002/(ISSN)1469-8080
Brown B G, Bullock R R, Davis C A, et al, 2004. New verification approaches for convective weather forecasts//Proceedings of the 22nd Conference on Severe Local Storms[R].
Casati B, Wilson L J, Stephenson D B, et al, 2008. Forecast verification:current status and future directions[J]. Meteor Appl, 15(1): 3-18. DOI:10.1002/(ISSN)1469-8080
Ferro C A T, Stephenson D B, 2011. Extremal dependence indices:Improved verification measures for deterministic forecasts of rare binary events[J]. Wea Forecasting, 26(5): 699-713. DOI:10.1175/WAF-D-10-05030.1
Finley J P, 1884. Tornado predictions[J]. Amer Meteor J, 1: 85-88.
Hitchens N M, Brooks H E, 2012. Evaluation of the storm prediction center's day 1 convective outlooks[J]. Wea Forecasting, 27(6): 1580-1585. DOI:10.1175/WAF-D-12-00061.1
Hitchens N M, Brooks H E, 2014. Evaluation of the Storm Prediction Center's convective outlooks from day 3 through day 1[J]. Wea Forecasting, 29(5): 1134-1142. DOI:10.1175/WAF-D-13-00132.1
Kumar K, 2005. Forecast Verification:a Practitioner's Guide in Atmospheric Sciences[J]. J Roy Statis Soc:Series A (Statistics in Society), 168(1): 255-255. DOI:10.1111/rssa.2005.168.issue-1
Mason I, 1989. Dependence of the critical success index on sample climate and threshold probability[J]. Aust Meteor Mag, 37: 75-81.
Roberts N M, Lean H W, 2008. Scale-selective verification of rainfall accumulations from high-resolution forecasts of convective events[J]. Mon Wea Rev, 136(1): 78-97. DOI:10.1175/2007MWR2123.1
Schaefer J T, 1990. The critical success index as an indicator of warning skill[J]. Wea Forecasting, 5(4): 570-575. DOI:10.1175/1520-0434(1990)005<0570:TCSIAA>2.0.CO;2
Stephenson D B, Casati B, Ferro C A T, et al, 2008. The extreme dependency score:a non-vanishing measure for forecasts of rare events[J]. Meteor Appl, 15(1): 41-50. DOI:10.1002/(ISSN)1469-8080