快速检索
  气象   2014, Vol. 40 Issue (4): 424-432.  DOI: 10.7519/j.issn.1000-0526.2014.04.004

论文

引用本文 [复制中英文]

张宏芳, 潘留杰, 杨新, 2014. ECMWF、日本高分辨率模式降水预报能力的对比分析[J]. 气象, 40(4): 424-432. DOI: 10.7519/j.issn.1000-0526.2014.04.004.
[复制中文]
ZHANG Hongfang, PAN Liujie, YANG Xin, 2014. Comparative Analysis of Precipitation Forecasting Capabilities of ECMWF and Japan High-Resolution Models[J]. Meteorological Monthly, 40(4): 424-432. DOI: 10.7519/j.issn.1000-0526.2014.04.004.
[复制英文]

资助项目

中国气象局预报员专项(CMAYBY2014-070)、陕西省气象局科技创新基金(2013M-37) 和陕西省气象局预报员专项(2013Y-9) 共同资助

第一作者

张宏芳,主要从事天气预报与研究工作.Email:hongfanglj@sohu.com

文章历史

2013年1月30日收稿
2013年12月02日收修定稿
ECMWF、日本高分辨率模式降水预报能力的对比分析
张宏芳 1, 潘留杰 2, 杨新 1    
1. 陕西省气象服务中心,西安 710014
2. 陕西省气象台,西安 710014
摘要:利用2012年4月1日至2013年3月31日ECMWF、日本高分辨率模式降水预报资料,全国2419个台站逐6 h降水量观测、CMORPH(NOAA Climate Prediction Center Morphing Method)卫星与全国3万余个自动站逐小时降水融合资料,基于列联表预报评分、泰勒图等统计方法,客观对比分析ECMWF、日本高分辨率模式对中国逐6、12和24 h分段降水的预报能力,主要结论如下:(1) 整体来说,ECMWF对降水的预报优于日本模式,日本模式预报离散度偏大,而ECMWF预报相对平稳,与观测更加一致;(2) 两个模式晴雨预报中降水发生频率较实际偏高,暴雨预报频率较实际偏低,随着分段间隔的增加,这一情况有所改善;(3) ECMWF模式6 h分段降水晴雨预报评分低于日本模式,暴雨预报评分整体高于日本模式,12和24 h分段ECMWF模式晴雨、暴雨预报评分一致高于日本模式;(4) 通过调整阈值改变预报偏差能够在一定程度上提高预报技巧;(5) 就空间分布来看,模式在东南地区Bias、CSI技巧评分整体优于西北地区。
关键词高分辨率模式    降水预报    泰勒图    
Comparative Analysis of Precipitation Forecasting Capabilities of ECMWF and Japan High-Resolution Models
ZHANG Hongfang1, PAN Liujie2, YANG Xin1    
1. Shaanxi Meteorological Service Centre, Xi'an 710014;
2. Shaanxi Meteorological Observatory, Xi'an 710014
Abstract: By using precipitation data collected every six hours by 2419 stations from April 1 to March 31 in 2013, precipitation forecast data of ECMWF and Japan high resolution model, and hourly rainfall data fusion by CMORPH (NOAA Climate Prediction Center Morphing Method) satellites and more than 30 thousand automatic stations based on contingency table and Taylor diagram statistical method, the precipitation forecasting capabilites of ECMWF and Japan high-resolution model by every 6 h, 12 h, 24 h segment are comparatively analysed. The results show that: (1) Generally, ECMWF has an advantage over Japan high-resolution model whose forecast dispersion is a bit larger. However, the forecast of ECMWF is relative steady, agreeing more with the observation. (2) The precipitation frequency predicted in weather forecasting by the two models is higher than the real case while the forecast of rainstorm frequency is lower than it. However as piecewise intervals increase, this situation is improved. (3) The 6 h fractional precipitation weather forecast score by ECMWF is lower than by the Japan model while the 12 h and 24 h fractional precipitation weather forecast scores of ECMWF are higher than those of Japan model, but its rainstorm forecast scores are all higher than those of the Japan model. (4) By changing forecast bias using threshold adjustment, the forecasting skill scores are improved to some extent. (5) Regarding the spatial distribution, the model can forecast precipitation more reasonably in coastal areas than in the northwestern area.
Key words: high resolution model    precipitation forecast    Taylor diagram    
引言

随着计算机运算速度和人们对天气预报精细化程度需求的不断提高,高分辨率数值预报模式得到快速发展。提高模式分辨率的主要动机之一是改进和提高模式对中小尺度天气的预报能力,然而,增加模式的分辨率并不一定能提高预报准确率,高分辨率模式中的一些细小的相位误差可能导致模式低命中率和高的虚假预警率(Mass et al,2002), 加之一些中小尺度的物理过程并不完全清楚(Chakraborty,2008),因此高分辨率数值模式的预报准确性还需要不断的检验。

通过检验了解模式的预报能力不仅可以为模式物理方案、参数化及陆面过程改进提供参考(陈海山等,2005刘君等,2013潘留杰等,2013),而且可以为预报员使用模式提供更多有用的信息,增加预报员对模式的驾驭能力(贾丽红等,2012陈超君等,2012沈铁元等,2011熊秋芬,2011),从而做出更加准确的预报。已有的研究工作中,何立富等(2011)对国家强对流潜势预报业务进行了评估;Lean等(2008)检验了不同分辨率下英国气象局高分辨率数值预报模式的对流性降水预报能力;Gilleland等(2009)比较了5种方法对高分辨率模式降水预报的检验评分,认为观测网疏密程度对高分辨率模式的降水预报评分有重要影响。

ECMWF、日本数值预报模式产品在我国天气预报业务中有着广泛的应用(赵晓琳,2012)。但由于高分辨率模式应用时间比较短,使用上还存在一些盲目性。本文首先利用站点观测数据统计、对比模式预报能力的整体表现,在此基础上分析模式预报能力的地区性差异。

1 资料和方法 1.1 资料

使用的资料主要包括:(1)2012年4月1日至2013年3月31日全国2419个台站逐6 h降水量观测数据;(2) 每日08和20时(北京时,下同)发布的ECMWF高分辨率数值预报产品,空间分辨率0.25°×0.25°;(3) 每日02、08、14和20时发布的日本高分辨率数值预报产品,空间分辨率为0.5°×0.5°。受资料的限制,仅对比分析两个模式前84 h的降水预报能力;(4) CMORPH卫星与自动观测站的逐时降水量融合产品(http://www.escience.gov.cn/metdata/page/index.html[2013-03-31]),其空间分辨率0.1°×0.1°,检验不同区域降水预报能力的差异性时,分辨率插值成与模式格点一致的0.5°×0.5°。

1.2 方法

运用的方法包括:(1) 用标准差比率σ=σf/σo、相关系数R、均方根误差E来分析两个模式预报场与观测场的差异,并用泰勒图(Taylor,2001张宏芳等,2011)表示。(2) 通过2×2列联表计算模式降水的4种评分指数(表 1)。

表 1 降水事件列联表 Table 1 2×2 contingency table in terms of counts for precipitation

4种评分指数的公式分别为:(1) 预报偏差$ Bias = \frac{{A + B}}{{A + C}} $(Brier,1950),表示预报事件发生的次数与观测事件发生的次数的比率;(2) 临界成功指数$ CSI = \frac{A}{{A + B + C}} $(Schaefer, 1990),通常也称之为TS评分;(3) TSS评分(Peirce,1984),$ TSS = \frac{{AD - BC}}{{\left({A + C} \right)(B + D)}} $,反映了成功预报与空报的差异,TSS=0表示无预报技巧;(4) HSS评分(Gilbert, 1984),$ HSS = \frac{{A + D - E}}{{A + B + C + D - E}} $,其中$ E = \frac{{\left({A + C} \right)\left({A + B} \right) + \left({C + D} \right)\left({B + D} \right)}}{{A + B + C + D}} $HSS表示除去随机事件发生后的预报准确率。

2 检验结果分析 2.1 相关性及误差

比较两家模式的相关系数可以发现,ECMWF显著优于日本模式,6 h分段ECMWF模式(图 1a)相关系数最大达0.48,最小为0.30,而日本模式(图 1d)0~6 h相关系数仅为0.36,最小为0.20,远远低于ECMWF模式,12和24 h分段降水与观测场的相关也有类似表现。随着分段间隔的增加,预报与观测的相关系数表现不单调,两个模式均在12 h分段降水上表现最好,24 h分段次之,6 h分段最差,即相关系数呈现出先上升后下降的趋势。

图 1 ECMWF高分辨率模式逐6 h(a)、逐12 h(b)、逐24 h(c)以及日本高分辨率模式逐6 h(d)、逐12 h(e)和逐24 h(f)降水的泰勒图 (图中参考点Ref为观测场,预报场到原点的距离代表其相对于Ref的标准差;预报场在图中方位角的余弦代表其与Ref的相关系数;预报场到参考点Ref的距离代表其相对于Ref的均方根误差) Fig. 1 Precipitation Taylor diagrams of ECMWF model (a) by 6 h segment, (b) by 12 h segment, (c) by 24 h segment and Japan model, (d) by 6 h segment, (e) by 12 h segment, (f) by 24 h segment (Ref means observation field, the distance between forecast and the origin represents standard deviation to Ref; Cosine of the azimuth of forecast field stands for its correlation coefficient with Ref, the distance between forecast and Ref represents its root mean square error)

从预报与观测的标准差比值来看,ECMWF模式6 h(图 1a)、12 h(图 1b)分段预报σ < 1,表明模式预报降水的变化幅度较观测偏小,24 h(图 1c)分段则相反σ>1,表明模式的降水预报较观测振幅偏大。日本模式6和24 h分段降水量级预报与ECMWF模式基本类似,12 h分段降水较ECMWF模式量级预报更加合理。

比较两个模式标准差比值σ的变化情况可以发现,随着分段间隔的增加,标准差比值是逐渐增大的,而日本模式的调整更为迅速,12 h分段降水平均标准差比值接近于1左右,而ECMWF模式12 h平均标准差比值仅为0.73。两个模式均在0~24 h分段降水上σ最接近于1,模式预报与观测降水的振幅基本一致。此外,6 h分段中ECMWF模式σ无趋势性变化,而日本模式的30 h之前标准差比值σ是单调减小的,30 h之后逐渐增大,这可能反映了两个模式的不同参数化方案或物理机制。

在不同分段情况下,ECMWF模式均方根误差比率σ均小于日本模式,表明平均来说,ECMWF预报结果与观测更加一致。综合而言,日本模式比ECMWF模式降水预报离散度偏大,出现极端情况比率更大。ECMWF模式降水预报相对平稳,与观测值相关性较高,均方根误差较小,ECMWF高分辨模式对降水的预报优于日本模式。

2.2 技巧评分

考虑预报业务的实际需求,仅对逐6、12和24 h分段晴雨、暴雨预报评分进行检验,需要说明的是,按照降水等级划分标准,6、12和24 h降水量分别≥25、30和50 mm视为暴雨。另外,为了表述方便,文章中F表示模式预报值,O表示观测值。

从预报偏差来看(图 2a),晴雨预报中两个模式有雨预报频率较实际观测偏多,这一现象在ECMWF模式中表现更为显著。随着预报时效增加,ECMWF模式有雨预报频率逐渐增加,日本模式有雨预报频率在6 h有明显的跃变,6~84 h稳定维持或有下降的趋势。

图 2 ECMWF、日本模式逐6 h分段晴雨、暴雨预报评分指数 (a)预报偏差(Bias),(b)临界成功指数(CSI),(c) TSS评分,(d) HSS评分 Fig. 2 Rain or shine, torrential rain forecast skill scores of ECMWF and Japan model by 6 h segment (a) Bias, (b) CSI, (c) TSS, (d) HSS

分析两个模式对降水的预报差异发现,ECMWF、日本模式0~6 h预报(图 2b)成功率POD=A/(A+C)分别为0.96和0.94,到78~84 h下降为0.92和0.89,ECMWF模式预报成功率优于日本模式,但ECMWF模式空报率FAR=B/(A+B)平均高于日本模式0.13,导致ECMWF模式CSI评分偏低,这与预报偏差(Bias)反映的情况基本一致,在TSS评分(图 2c)上也表现出同样的结果,日本模式TSS评分整体高于ECMWF模式,除去随机事件后的晴雨预报评分指数HSS整体下降,但日本模式HSS评分仍然显著高于ECMWF模式。

两个模式的暴雨预报频率较实际偏低,ECMWF模式偏低更为明显,随着预报时效的增加,日本模式暴雨预报频率逐渐增加,ECMWF模式变化趋势不单调(图 2a),整体而言,ECMWF模式暴雨CSI(图 2b)、TSS(图 2c)和HSS(图 2d)评分指数高于日本模式,但ECMWF模式表现不稳定,在一些时次,评分指数异常偏低,而日本模式相对稳定,距预报初始时刻越远,评分逐渐下降。

考虑到模式晴雨预报中降水发生的频率较实际偏高(Bias>1),暴雨预报频率较实际偏少(Bias < 1),减小晴雨预报中的降水频率,增加暴雨预报频率,可能会提高评分技巧,因此以日本模式为基础,调整降水事件频率,结果显示6 h分段晴雨预报阈值调整为F≥1.0 mm,O>0.0 mm;暴雨预报阈调整为:ECMWF模式F≥15.0 mm, O≥25.0 mm;日本模式F≥19.0 mm, O≥25.0 mm,Bias更接近于1。调整后,晴雨预报中降水频率偏多的情况得到显著改善(图 3a),两个模式的CSI(图 3b)、TSS(图 3c)和HSS(图 3d)评分指数均大幅度提高,且ECMWF模式提高更为显著,优于日本模式。

图 3图 2,但为调整阈值后 Fig. 3 Same as Fig. 2, but after adjusting

调整暴雨预报阈值后,暴雨预报偏差Bias在1附近波动,与实际观测更加一致(图 3a),ECMWF、日本模式CSI评分指数(图 3b)较调整前分别提高0.030和0.023,TSS(图 3c)、HSS(图 3d)评分显著提高,变化趋势和CSI基本一致,但ECMWF模式CSITSSHSS评分随时间变化不稳定的情况并没有改善。需要说明的是调整阈值也在一定程度上增加了“空报”的风险。

12 h分段晴雨预报降水频率偏多的情况较6 h分段有明显的改善(图 4a),其中,ECMWF模式下降更为显著,从CSI评分(图 4b)来看,ECMWF模式48、60和72 h的TSS评分低于日本模式,其余时段均较日本模式高;无论是晴雨还是暴雨预报,ECMWF 12 h分段TSS评分(图 4c)整体高于日本模式;除去随机事件后,ECMWF模式HSS评分也整体优于日本模式。逐12 h分段暴雨预报频率较逐6 h明显增加(图 4a),其中日本模式增加更为显著。就预报暴雨频率和观测的一致程度来看,日本模式更接近于实际情况,但日本模式暴雨预报CSI评分(图 4b)全部低于ECMWF模式,表明日本模式预报暴雨位置可能偏离实际位置较大,这与图 1b1e中所表现的情况也基本一致;与晴雨预报不同,12 h分段ECMWF模式暴雨TSS(图 4c)、HSS评分(图 4d)一致高于日本模式或与之持平。

图 4 ECMWF、日本模式逐12 h分段晴雨、暴雨预报评分指数调整阈值前(a~d)、调整阈值后(e~h)、预报偏差(Bias, a和e)、临界成功指数(CSI, b和f)、TSS评分(c和g)、HSS评分(d和h) Fig. 4 Rain or shine, torrential rain forecast skill scores of ECMWF and Japan model by 12 h segment (a, b, c, d) and (e, f, g, h) are Bias, CSI, TSS, HSS respectively for before and after adjusting the threshold

调整阈值,用F≥1.0 mm,O>0.0 mm来计算两个模式的晴雨预报评分;ECMWF模式:F≥25.0 mm, O≥30.0 mm,日本模式:F≥27.0 mm, O≥30.0 mm来计算暴雨预报评分。调整后,ECMWF模式晴雨预报降水发生频率较观测略偏多,日本模式12和24 h较观测偏低,36~84 h较观测发生频率偏高,平均为1.068,接近于理想情况。

调整后ECMWF模式暴雨预报频率0~12、12~24和72~84 h较观测偏低,其余时段较观测基本接近于1;日本模式12~24 h较观测频率偏低,其余时段一致偏高(图 4e)。调整阈值后,两个模式CSI评分(图 4f)均大幅度提高且ECMWF模式预报评分显著优于日本模式。与CSI评分类似,调整后TSS(图 4g)、HSS评分(图 4h)均大幅度提升,模式预报准确率增加,空报率减少,对偶然事件的预报能力提高(图 4h)。

24 h ECMWF、日本模式晴雨、暴雨预报偏差Bias(图 5a)较12 h进一步向理想值靠近,随着预报时效的增加单调上升。ECMWF模式晴雨预报中降水发生频率平均值为2.25,日本模式为2.09,仍然较观测降水发生频率偏高1倍以上;ECMWF模式暴雨预报频率均值接近于理想值,日本模式较实际偏高;ECMWF模式24 h晴雨、暴雨CSI评分(图 5b)优于日本模式,TSS评分(图 5c)则在24和48 h分段高于日本模式。分析发现,尽管ECMWF模式在48和72 h预报准确率较日本模式偏高,但空报率偏高更加显著;HSS评分(图 5d)表现与TSS类似。

图 5图 4,但为逐24 h Fig. 5 Same as Fig. 4, but for 24 h segment

采用阈值F≥1.0 mm,O>0.0 mm来计算模式24 h晴雨预报评分,结果发现,两个模式晴雨预报中降水发生的频率均接近于理想情况(图 5e),评分技巧较调整前显著增加,且随着预报时效的增加,评分指数单调下降。

由于24 h ECMWF模式暴雨预报Bias接近于理想情况(图 5a),日本模式Bias略高于1,采用调整暴雨预报频率的方法来提高预报技巧的空间不大,但略微增加暴雨预报频率在一定程度上仍然能够提高预报技巧。ECMWF采用阈值:F≥45.0 mm, O≥50.0 mm,日本模式:F≥48.0 mm, O≥50.0 mm来调整暴雨预报事件。结果暴雨预报频率较实际增多(图 5e),就Bias和理想值接近的程度来看,为负效果,但CSI(图 5f)、TSS(图 5g)、HSS(图 5h)评分仍然较调整前略有提高。

2.3 空间分布

与站点统计结果相比,模式预报与CMORPH卫星降水融合资料有更好的一致性,模式晴雨预报中降水偏多的幅度有明显改善,从预报偏差来看,6 h (图 6a)降水预报偏多的情况主要出现在新疆南部、青海北部、甘肃、陕西、湖南部分及山西、山东、河南交界处,偏少情况主要出现在西藏、青海交界处及东北、我国南方沿海部分地区,大值中心位于新疆南部。

图 6 ECMWF、日本模式6、12和24 h晴雨预报技巧空间分布(a,c,e)预报偏差(Bias),(b,d,f)为CSI指数 (色斑和等值线分别为ECMWF和日本模式) Fig. 6 The spatial distribution of rain or shine forecast skill scores by 6, 12 and 24 h segment (a, c, e) Bias, (b, d, f) CSI (Shaded and contour line are ECMWF and Japan high resolution mode respectively)

两家模式预报偏差地理分布总体是一致的,均表现为西北偏多,南方沿海地区预报偏少。随着分段长度的增加,两个模式预报偏多的情况明显增加,其中日本模式Bias增加更为明显,分布范围从西北向东南扩展,到24 h(图 6e)除海南、台湾、南部沿海及西南局部地区外,Bias均高于1,大值中心基本在新疆南部稳定维持。

CSI评分来看,6 h分段(图 6b)大值中心出现在西藏南部、四川、云南、广西以及湖南、湖北、广西交界处,西北地区的新疆、内蒙古、甘肃、西藏、青海等部分地区CSI小于0.35。随着分段间隔的增加,ECMWF模式CSI快速增加,12和24 h分段,ECMWF模式CSI显著优于日本模式,大值中心出现在我国西南地区,24 h部分地区CSI达0.6或以上。总体而言,模式在东南地区预报技巧优于西北地区。

3 结论

利用泰勒图、技巧评分等方法,客观对比分析ECMWF、日本高分辨率模式对中国降水的预报能力,结论如下:

(1) ECMWF模式预报降水与观测的相关性显著高于日本模式。随着分段间隔的增加,模式预报与观测的相关系数变化不单调,两个模式均在12 h分段降水上表现最好,24 h分段次之,6 h分段最差。

(2) ECMWF模式6和12 h分段预报标准差比率σ < 1,预报降水的变化幅度较观测偏小,24 h分段则相反σ>1,表明模式预报的降水较观测振幅偏大;日本模式6和24 h分段降水量级预报与ECMWF模式基本类似,12 h分段降水较ECMWF模式量级预报更加合理。从均方根误差来看,ECMWF模式均方根误差小于日本模式,整体来说ECMWF模式降水预报与观测更加一致。

(3) 两个模式晴雨预报中降水发生频率较实际偏高,暴雨预报频率较实际偏低,随着分段间隔的增加,这一情况有所改善,晴雨预报中降水发生频率24 h分段表现最好,6 h分段表现最差;暴雨发生频率,ECMWF、日本模式分别在24和12 h表现最好。整体来说,ECMWF模式6 h分段降水晴雨预报评分低于日本模式,暴雨预报评分整体高于日本模式;12和24 h分段ECMWF模式晴雨、暴雨预报评分一致高于日本模式,TSSHSS表现与CSI类似。

(4) 调整模式降水预报频次可以在一定程度上提高技巧评分;与站点统计结果相比,模式预报与CMORPH卫星降水融合资料有更好的一致性,模式晴雨预报中降水偏多的幅度有明显改善,总体而言,ECMWF模式优于日本模式,东南地区技巧评分Bias、CSI优于西北地区。

参考文献
陈超君, 王东海, 李国平, 等, 2012. 冬季高海拔复杂地形下GRAPES_Meso要素预报的检验评估[J]. 气象, 38(6): 657-668. DOI:10.7519/j.issn.1000-0526.2012.06.003
陈海山, 孙照渤, 2005. 陆面模式CLSM的设计及性能检验Ⅱ.模式检验[J]. 大气科学, 29(2): 272-282.
何立富, 周庆亮, 谌芸, 等, 2011. 国家级强对流潜势预报业务进展与检验评估[J]. 气象, 37(7): 777-784. DOI:10.7519/j.issn.1000-0526.2011.07.001
贾丽红, 张慧岚, 肖开提·多莱特, 等, 2012. T639数值产品对影响新疆主要系统的预报检验评估[J]. 气象, 38(8): 971-976. DOI:10.7519/j.issn.1000-0526.2012.08.009
刘君, 黄江平, 董佩明, 等, 2013. 卫星资料循环同化应用对区域数值预报效果影响分析[J]. 气象, 39(2): 156-165. DOI:10.7519/j.issn.1000-0526.2013.02.004
潘留杰, 张宏芳, 朱伟军, 等, 2013. ECMWF模式对东北半球气象要素场预报能力的检验[J]. 气候与环境研究, 18(1): 111-123. DOI:10.3878/j.issn.1006-9585.2012.11097
沈铁元, 廖移山, 彭涛, 等, 2011. 定量分析数值模式日降水预报结果的不确定性[J]. 气象, 37(5): 540-546. DOI:10.7519/j.issn.1000-0526.2011.05.004
熊秋芬, 2011. GRAPES_Meso模式的降水格点检验和站点检验分析[J]. 气象, 37(2): 185-193. DOI:10.7519/j.issn.1000-0526.2011.02.008
张宏芳, 陈海山, 2011. 21个气候模式对东亚夏季环流模拟的评估Ⅱ:年际变化[J]. 气象科学, 31(3): 247-257.
赵晓琳, 2012. 2012年6-8月T639、ECMWF及日本模式中期预报性能检验[J]. 气象, 38(11): 1423-1428.
Brier G W, 1950. Verification of forecasts expressed in terms of probability[J]. Mon Wea Rev, 78(1): 1-3. DOI:10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2
Chakraborty A, 2008. The skill of ECMWF medium-range forecasts during the year of tropical conrection 2008[J]. Mon Wea Rev, 13(8): 3787-3805.
Gilbert G F, 1984. Finley's tornado predictions[J]. Amer MeteorolJ, 1: 166-172.
Gilleland E, Ahijevych D, Brown B G, 2009. Intercomparison of spatial forecast verification methods[J]. Wea Forecasting, 24(5): 1416-1430. DOI:10.1175/2009WAF2222269.1
Lean H W, Peter A C, Dixon M, et al, 2008. Characteristics of High-Resolution Versions of the Met Office Unified Model for forecasting convection over the United Kingdom[J]. Mon Wea Rev, 13(6): 3408-3424.
Mass C F, Ovens K, Westrick B A, et al, 2002. Does increasing horizontal resolution produce more skillful forecasts?[J]. BullAmer MeteorSoc, 83(3): 407-430.
Peirce C S, 1884. The numerical measure of the success of predictions[J]. Science, 4(93): 453-454.
Schaefer J T, 1990. The critical success ndex as an indicator of warning skill[J]. Wea Forecasting, 5(4): 570-575. DOI:10.1175/1520-0434(1990)005<0570:TCSIAA>2.0.CO;2
Taylor K E, 2001. Summarizing multiple aspects of model performance in a single diagram[J]. J Geophys Res, 106(D7): 7183-7192. DOI:10.1029/2000JD900719