徐同,主要从事数值天气预报检验工作.Email:
本文采用标准降水检验方法、EDI方法和MODE方法对新一代上海区域中尺度模式SMS-WARMS V2.0模式2015年12月至2016年11月的西南地区降水预报效果进行评估。结果表明:(1)模式对西南地区四季的降水TS评分均较高,夏季和秋季相对更高,且在48 h内预报性能比较稳定。(2)预报偏差和TSS评分显示,模式对西南地区春、夏两季的各个量级降水预报均较实况偏多,而对秋季的大暴雨和冬季的大雨以上量级预报则相对偏少。总体而言,对西南地区的降水技巧呈现出预报成功率高于空报率的特征。(3)模式对西南地区的小雨、暴雨和大暴雨预报评分优于EC模式。(4)EDI检验显示模式对西南地区的极端降水有较高的预报技巧,对四川中部和东北部以及贵州西南部的极端降水预报技巧相对更高。(5)模式对2015年8月一次西南涡诱发的暴雨过程的空间落区预报较好,强度较实况偏强。(6)MODE方法统计结果表明,模式对西南地区暴雨预报的目标质心偏差较小,降水中心强度偏强。
Standard precipitation verification method, extreme dependency index and method for object-based diagnostic evaluation (MODE) are applied in this paper to make evaluation of SMS-WARMS V2.0 precipitation in Southwest China from December 2015 to November 2016. The results show that (1) the treat scores of four seasons in Southwest are high, especially in spring and summer, and the performance is relatively stable within 48 h. (2) The results of frequency bias and true skill score show each magnitude precipitation in spring and summer forecasted by SMS-WARMS V2.0 in Southwest China is more than observation, but the model forecast to torrential rain in autumn and heavy rain in winter is relatively less. Overall, the forecast skill in Southwest China exhibits the features that the POD is higher than FAR. (3) The treat scores of light rain, torrential rain and downpour forecasted by SMS-WARMS V2.0 are higher than ECMWF model. (4) Model has a good performance in forecasting extreme precipitation in Southwest through extreme dependency index, especially better for central and northeastern Sichuan and southwestern Guizhou. (5) Precipitation area forecast of a rainstorm process caused by a southwest vortex in August 2015 performed well in space, but the intensity was stronger than observation. (6) Statistic results made by MODE show that the rainstorm object centroid has a small bias between forecast and observation, but the central intensity of precipitation is stronger than observation.
我国西南地区地处中印半岛北部、青藏高原东南侧,包括云南全省、贵州西部、四川西南部、广西西北部以及西藏东部一带。由于其特殊的地理位置及其特定的地形,使该地出现一些像西南涡和高原低涡类的中尺度天气系统,较小的时空尺度决定其区域性、突发性和剧烈性。
用于统计检验的模式预报资料为2015年12月至2016年11月SMS-WARMS V2.0模式和ECMWF高分辨率模式(以下简称EC模式)08时(北京时)预报降水资料,个例检验资料为2015年8月16日08时模式预报降水资料。2015年8月16日08时至18日08时,受盆地西南涡西移影响,四川、重庆、贵州等地出现大范围降雨天气,暴雨主要位于川渝交界的四川盆地东部地区,超过100 mm的降雨站点数为37个,超过200 mm的降雨站点数为3个,其中四川高坪区观测站累积降雨量更是达到331 mm。此次强降雨对川、渝多个市、县造成洪涝、塌方、滑坡等灾害,人民财产遭受重大损失。因此,本文选择此个例进行检验。
使用的观测资料主要包括:2015年12月至2016年11月全国2400个观测台站逐6 h降水量观测数据,24 h累积降水由6 h间隔资料累加得到,个例检验观测资料为2015年8月16—17日。本文定义的西南地区检验范围为25°~34.5°N、97°~110.5°E,主要包含青藏高原东部、四川、重庆、贵州、青海东南部、甘肃南部、陕西南部、云南北部、广西北部等地。评估区域462个观测站点分布如
检验区域462个观测站点分布
Distribution of observation stations in verification region, including 462 stations
本文常规降水检验方法主要采用TS技巧评分、预报偏差(BIAS)和TSS评分。
降水检验列联表
Contingency table of rainfall verification
预报事件 | 观测事件 | |
发生 | 未发生 | |
发生 | ||
未发生 |
(1) 临界成功指数(CSI):
通常也称之为TS评分,TS评分的取值范围为[0, 1],
(2) 预报偏差(BIAS):
表示预报事件发生的次数与观测事件发生次数的比率,
(3) TSS评分:
式中,
标准降水检验方法(例如TS、ETS等)评估模式确定性预报的极端二元事件(例如极端降水时)会依耐于基准率(base rate,即样本气候值,是事件发生的相对频率)的大小, 当检验的事件变得越来越极端时,评分会退化为一个很小的值,接近于0。众所周知,受局地气候的影响,某一地区例如我国西北和华南极端降水事件出现频次是有很大差异的,因此,用TS等评分评价极端降水预报的技巧是不够客观的。
式中,
式中,
空间检验技术是近十年发展起来的新兴检验技术,主要面向中尺度天气数值预报模式。
2015年12月至2016年11月SMS-WARMS V2.0模式对西南地区四季(24和48 h)降水预报的TS评分(a, c, e, g)及预报偏差(b, d, f, h)
TS (a, c, e, g) and BIAS (b, d, f, h) of precipitation forecast of four seasons in Southwest China by SMS-WARMS V2.0 from December 2015 to November 2016
预报偏差是统计区域内(该降水等级)预报降水站数与实况降水站数的比值,因此预报偏差越接近1,说明该量级预报范围越接近实况,偏差大于1说明该量级预报降水较实况偏多(范围偏大),偏差小于1说明该量级预报降水较实况偏少。由
TSS评分反映了成功预报与空报的差异,如
2015年12月至2016年11月SMS-WARMS V2.0模式对西南地区四季(24和48 h)降水预报的TSS评分
TSS of precipitation forecast of four seasons in Southwest China by SMS-WARMS V2.0 from December 2015 to November 2016
2015年12月至2016年11月SMS-WARMS V2.0模式与EC模式对西南地区24和48 h降水预报的TS评分
The precipitation TS forecasted by SMS-WARMS V2.0 and EC model from December 2015 to November 2016
2015年12月至2016年11月SMS-WARMS V2.0模式对西南地区四季EDI、TS评分及降水预报基准率
Extremal dependence indice (EDI), TS and base rate of precipitation forecast of four seasons in Southwest China by SMS-WARMS V2.0 from December 2015 to November 2016
2015年12月至2016年11月SMS-WARMS V2.0模式对西南地区24 h降水预报EDI空间分布
EDI distribution of precipitation forecast in Southwest China by SMS-WARMS V2.0 from December 2015 to November 2016
西南低涡是影响中国降水的重要天气系统之一。由西南低涡诱发或加强的暴雨过程往往能给西南地区带来严重的自然灾害和生命财产损失。2015年8月16日开始,四川盆地出现了范围最广、强度最大的一次区域暴雨性过程,暴雨从16日晚一直持续至18日白天。此次暴雨的主要天气影响系统为西南低涡,水汽主要来源于孟加拉湾,暖湿空气沿着副热带高压外围的西南气流进入四川盆地,与来自北方的冷空气在川东北地区相遇,为暴雨提供了充足的水汽条件。如
2015年8月16日08时至17日08时(a),17日08时至18日08时(b) 24 h累积实况降水量
Accumulated 24 h observed rainfall from 08:00 BT 16 to 08:00 BT 17 (a), 08:00 BT 17 to 08:00 BT 18 (b) August 2015
2015年8月16日SMS-WARMS V2.0模式单次预报识别出的配对目标
Matched object identified for the 16 August 2015 case shown in
Matched object attribute and attribute comparisons shown in
对象属性值/比值 | 合成对象序号 |
模式预报面积 | 623 |
MICAPS面积 | 603 |
交叉面积 | 407 |
面积比 | 1.03 |
预报目标质心纬度 | 30.32°N |
观测目标质心纬度 | 30.49°N |
预报目标质心经度 | 105.61°E |
观测目标质心经度 | 105.85°E |
质心距离 | 3.35格距 |
预报场50%分位强度 | 62.76 |
观测场50%分位强度 | 66.22 |
50%分位强度比率 | 0.95 |
预报场90%分位强度 | 125.71 |
观测场90%分位强度 | 92.29 |
90%分位强度比率 | 1.36 |
2015年12月至2016年11月西南地区暴雨经由MODE方法检验识别的多个目标平均属性值及四季平均值
Average attribute value of objects distinguished by MODE in Southwest China from December 2015 to November 2016 and four seasons
属性 | 总样本 | 春季 | 夏季 | 秋季 | 冬季 |
注:目标质心纬度(经度)的正值表示偏北(东),负值表示偏南(西)。 |
|||||
目标质心纬度(预报-观测) | 0.05 | -0.10 | 0.007 | -0.09 | 0.38 |
目标质心经度(预报-观测) | -0.31 | -0.27 | -0.22 | -0.19 | -0.56 |
面积比 | 2.03 | 2.12 | 1.93 | 1.12 | 2.95 |
90%分位强度比率 | 1.83 | 1.65 | 1.59 | 1.23 | 2.85 |
分析模式对西南地区春、夏、秋、冬四季的空间预报检验属性平均值可见,春季和秋季的目标平均质心纬度为-0.10和-0.09°N,表明预报目标位置相对于观测偏南,而夏季和冬季偏北;从目标质心经度分析,四季的预报目标位置相对于观测均为偏西;从面积比分析,模式四季的预报目标和观测目标平均面积比均>1,其中秋季误差最小90%分位比率均大于1。综上所述,MODE方法的多项空间检验指标表明模式对西南地区的夏季和秋季暴雨预报技巧相对更高。
本文采用多种降水检验方法评估2015年12月至2016年11月SMS-WARMS V2.0模式对我国西南地区的降水预报性能,得出以下主要结论:
(1) TS评分显示,SMS-WARMS V2.0模式对西南地区四季的降水评分均有较高的预报技巧,夏季和秋季相对更高,并且在48 h内预报性能比较稳定。从预报偏差的分析可以看出,模式对西南地区春、夏两季的各个量级降水预报均较实况偏多,而对秋季的大暴雨和冬季的大雨以上量级预报则相对偏少。TSS评分检验表明,模式对西南地区的降水技巧总体呈现出预报成功率高于空报率的特征。SMS-WARMS V2.0模式对西南地区的小雨、暴雨和大暴雨预报TS评分优于EC模式。
(2) 由西南地区四季降水预报的EDI评分及其空间分布可见,SMS-WARMS V2.0模式对西南地区的极端降水预报总体有较好的技巧,对四川中部和东北部以及贵州西南部的极端降水预报技巧相对更高。
(3) 将MODE空间检验方法应用于2015年一次西南低涡暴雨过程检验,预报面积和质心距离两种检验指标分析显示,SMS-WARMS V2.0模式对西南涡暴雨的空间范围预报较为准确,预报降水较观测偏强,暴雨中心表现得更为明显。
(4) MODE方法统计检验结果表明,SMS-WARMS V2.0模式对西南地区的暴雨预报空间落区较为准确,降水目标质心偏差较小,降水中心强度偏强,多项空间检验指标表明模式对西南地区的夏季和秋季暴雨预报技巧相对更高。
陈超君, 李俊, 王明欢, 2015.2013年汛期华中区域业务数值模式降水预报检验[J].气象与环境学报, 31(2):1-8.
Chen C J, Li J, Wang M H, 2015.Verification of precipitation forecast using an operational numerical model during flooding season of 2013 in the middle area of China[J].J Meteor Environ, 31(2):1-8(in Chinese).
公颖, 王叶红, 赖安伟, 2010.三个模式对2008年夏半年西南区降水预报效果的检验[J].高原气象, 29(6):1441-1451.
Gong Y, Wang Y H, Lai A W, 2010.Verification of three model precipitation forecast performances in Southwest China in summer half year, 2008[J].Plateau Meteor, 29(6):1441-1451(in Chinese).
公颖, 周小珊, 杨森, 等, 2015.2012年东北地区重大天气过程WRF模式预报效果检验[J].气象与环境学报, 31(6):27-33.
Gong Y, Zhou X S, Yang S, et al, 2015.Verification of forecasting effect by WRF model for important weather processes in northeast China in 2012[J].J Meteor Environ, 31(6):27-33(in Chinese).
李佳, 陈葆德, 徐同, 2016.目标检验方法在高分辨率数值天气预报检验中的应用[J].沙漠与绿洲气象, 10(5):1-9.
Li J, Chen B D, Xu T, 2016.Application of the object-based verification method for high resolution NWP[J].Desert Oasis Meteor, 10(5):1-9(in Chinese).
潘留杰, 张宏芳, 王建鹏, 等, 2014.日本高分辨率模式对中国降水预报能力的客观检验[J].高原气象, 33(2):483-494.
Pan L J, Zhang H F, Wang J P, et al, 2014.An objective verification of forecasting ability of Japan high-resolution model precipitation in China[J].Plateau Meteor, 33(2):483-494(in Chinese).
屠妮妮, 何光碧, 衡志炜, 等, 2016.基于MET系统对SWCWARMS及GRAPES模式在西南地区的站点检验分析[J].高原山地气象研究, 36(2):8-16.
Tu N N, He G B, Heng Z W, et al, 2016.The station verification in Southwest China from SWCWARMS model and GRAPES model based on MET system[J].Plateau Mountain Meteor Res, 36(2):8-16(in Chinese).
王国荣, 陈敏, 尤凤春, 等, 2014.基于对象诊断的空间检验方法(MODE)[J].气象科技, 42(4):652-656.
Wang G R, Chen M, You F C, et al, 2014.Method for object-based diagnostic evalu-ation and its application[J].Meteor Sci Technol, 42(4):652-656(in Chinese).
王静, 陈静, 钟有亮, 等, 2017.GRAPES-REPS西南低涡预报检验评估[J].气象, 43(4):385-401.
Wang J, Chen J, Zhong Y L, et al, 2017.Verification and evaluation of the southwest vortex forecast by GRAPES-REPS[J].Meteor Mon, 43(4):385-401(in Chinese).
王雨, 公颖, 陈法敬, 等, 2014.区域业务模式6h降水预报检验方案比较[J].应用气象学报, 24(2):171-178.
Wang Y, Gong Y, Chen F J, et al, 2014.Comparison of two verification methods for 6 h precipitation forecasts of regional models[J].J Appl Meteor Sci, 24(2):171-178(in Chinese).
肖玉华, 赵静, 蒋丽娟, 2010.数值模式预报性能的地域性特点初步分析[J].暴雨灾害, 29(4):322-327.
Xiao Y H, Zhao J, Jiang L J, 2010.Analysis on geography & physiognomy character of numerical model prediction performance[J].Torr Rain Dis, 29(4):322-327(in Chinese).
徐同, 李佳, 杨玉华, 等, 2016.SMS-WARMS V2.0模式预报效果检验[J].气象, 42(10):1176-1183.
Xu T, Li J, Yang Y H, et al, 2016.Verification of SMS-WARMSV2.0 model forecast results[J].Meteor Mon, 42(10):1176-1183(in Chinese).
薛春芳, 潘留杰, 2016.基于MODE方法的日本细网格模式降水预报的诊断分析[J].高原气象, 35(2):406-418.
Xue C F, Pan L J, 2016.Diagnostic analysis of precipitation forecasting from Japan thin-grid model based on MODE[J].Plateau Meteor, 35(2):406-418(in Chinese).
尤凤春, 王国荣, 郭锐, 等, 2011.MODE方法在降水预报检验中的应用分析[J].气象, 37(12):1498-1503.
You F C, Wang G R, Guo R, et al, 2011.The application analysis of MODE method to the rainfall forecast test[J].Meteor Mon, 37(12):1498-1503(in Chinese).
张博, 赵滨, 牛若芸, 等, 2017.全球模式对华北区域性强降水中期预报能力检验[J].暴雨灾害, 36(2):118-124.
Zhang B, Zhao B, Niu R Y, et al, 2017.The performance verification of several numerical models in middle range forecasting of regional heavy rainfall in North China[J].Torr Rain Dis, 36(2):118-124(in Chinese).
张利红, 何光碧, 2014.GRAPES_Meso模式对2011年夏季青藏高原东部及周边区域的预报检验[J].高原气象, 33(1):14-25.
Zhang L H, He G B, 2014.Verification for GRAPES_Meso model in eastern Qinghai-Xizang Plateau and its surroundings in summer of 2011[J].Plateau Meteor, 33(1):14-25(in Chinese).
Davis C, Brown B, Bullock R, 2006a.Object-based verification of precipitation forecasts.Part Ⅰ:methodology and application to meso-scale rain areas[J].Mon Wea Rev, 134(7):1772-1784.
Davis C, Brown B, Bullock R, 2006b.Object-based verification of precipitation forecasts.Part Ⅱ:application to convective rain systems[J].Mon Wea Rev, 134(7):1785-1795.
Ferro A T, Stephenson D B, 2011.Extremal dependence indices:improved verification measures for deterministic forecasts of rare binary events[J].Wea Forecasting, 26(5):699-713.
Ghelli A, Primo C, 2009.On the use of the extreme dependency score to investigate the performance of an NWP model for rare events[J].Meteor Appl, 16(4):537-544.
Stephenson D B, Casati B, Ferro C A T, et al, 2008.The extreme dependency score:a non-vanishing measure for forecasts of rare events[J].Meteor Appl, 15(1):41-50.