随着数值预报的发展和数值预报模式的不断改进,对模式预报性能进行深入了解及对模式预报产品进行检验,为模式应用人员及模式进一步改进提供有意义的参考依据显得越来越重要。对应用于日常业务的数值预报模式进行检验和评估,对进一步提高模式使用人员的预报能力、使用经验,以及模式开发人员不断完善模式预报能力均起到了积极的作用。
对数值预报模式进行检验和评估,根据检验和评估的对象和目的,可以采用不同的方法。不同的方法从不同侧面或角度给出不同的检验信息,并具有各自的长处和短处。目前,国内科研、业务人员在对数值预报模式检验、评估方面也进行了一些相关研究[1-15],基本上都是采用传统的计算相关系数、误差分析、TS评分、空报率、漏报率等对数值预报模式及客观降水预报方法进行检验、评估,但这些检验方法仍不能较全面地检验数值预报模式及客观预报方法的预报能力,也无法为模式使用人员提供更多有用信息。
为了弥补上述缺陷,本文使用WRF模式MET检验包中MODE方法对BJ-RUC模式降水预报产品进行客观检验。该方法可以从预报与实况降水落区的质心距离、边界距离、轴角差、重合面积、面积比率等方面综合考虑所有相似度属性,给出相似度评分,可以为模式使用人员提供更多、更丰富的检验信息,进一步掌握模式的预报能力,更好地在预报业务中使用模式的预报产品,为提高预报准确率提供参考。
1 资料和方法 1.1 检验资料使用2008—2009年汛期北京自动站逐小时降水数据、MICAPS常规高空实况数据、与每个个例强降水时段相对应的BJ-RUC模式降水预报产品及雷达QPE降水估计产品等。
1.2 检验方法采用WRF模式MET(Model Evaluation Tools)检验包中MODE(Method for Object-based Diagnostic Evaluation)方法[16-18],该方法代表了一类空间检验方法,其目的是辨识二维场中的空间特征。该方法除了能给出传统的检验指标外,还可以通过比较从而确定这些空间特征在不同场中的相似程度,随后开展相似性统计。它可以仿照专家判断预报和实况的相似程度,其中使用“模糊”概念,而不是使用非0即1的二元决策方式,能够给模式使用人员提供比传统检验方法更多和有指导意义的诊断信息。MODE方法通过以下几个步骤来实现。
(1) 卷积处理。使用卷积算子确定执行对象,算子的执行基于卷积半径(以网格数为单位)和二维场强度阈值(以要素单位为单位)的确定来完成。
$C\left( {x,y} \right) = \sum\limits_{u,v} {\mathit{\Phi }\left( {u,v} \right)f\left( {x - u,y - v} \right)}$ | (1) |
式中,f为原始数据场,Ф为滤波函数,C为经过卷积处理的结果场。变量(x, y)和(u, v)均为格点变量。滤波函数Ф是一个简单的循环滤波方法,它取决于半径(R)和高度(H)。如果x2+y2≤R2,则Ф(x, y)=H,否则Ф(x, y)=0。其中,πR2H=1。因此, 在卷积的过程中,影响半径R是唯一可调参数。一旦R确定,H则由上述方程确定。
(2) 去背景。使用遮罩法去除不满足设定阈值的原始场格点,从而确定满足设定阈值的原始场格点。设定如果C(x, y)≥T,则M(x, y)=1, 否则,M(x, y)=0。
(3) 确定对象。将通过卷积半径(R)和强度阈值(T)控制的格点赋值为原始二维场中对应格点的值。
$F\left( {x,y} \right) = M\left( {x,y} \right)f\left( {x,y} \right)$ | (2) |
基于由卷积半径和强度阈值控制得到的对象开展评估,能够表达出模式在何种空间尺度和何种二维场强度上,预报性能最强。
(4) 确定对象属性。用基于对象属性的相似度来判断对象是否匹配,仿照专家决策的方式进行,避免使用非0即1的决策方式。
单个对象的属性包括:对一个雨区对象的描述包括时间、质心位置、面积大小、长轴、短轴、方位角、雨强等直接属性,同时还有一些衍生属性等。
对象对的属性包括:质心距离、边界最小距离、方位角差、面积比、重叠区比例等。通过确定匹配对象对属性的相似,以及这种相似在所有匹配对象对中能够呈现出来的比例来评价相应模式技巧。
(5) 计算出总相似度。使用模糊逻辑判断,一旦对象属性α1,α2,α3…等都确定了,这些属性就被输入到模糊逻辑引擎中用于匹配和合并等步骤中。用公式(3) 计算出总相似度。
$T\left( \alpha \right) = \frac{{\sum\limits_i {{w_i}{C_i}\left( \alpha \right){I_i}\left( {{\alpha _i}} \right)} }}{{\sum\limits_i {{w_i}{C_i}\left( \alpha \right)} }}$ | (3) |
式中,I为相似度因子, 在0~1之间;C为可信度因子, 在0~1之间;w为权重系数;T为总相似度,在0~1之间。给T设定阈值,在本检验中将T设为0.7。在阈值以上的两个场中的对象可以匹配,同一场中的对象可以合并。
MMI(Median of Maximum Interest)为每一组对象的相似度评分,它综合考虑了所有相似度属性,其意义为最大相似度中值。它又可分为预报对象的MMI(F)、实况对象的MMI(O)和MMI(F+O),其具体意义及计算方法如图 1所示。
![]() |
图 1 MMI及其计算方法 Fig. 1 MMI and its calculation |
根据2008—2009年汛期北京自动站逐时降水数据,挑选出2个及以上站3小时累计降水≥50 mm的局地强降水个例及主要降水时段,两年共挑选出20个个例。再针对这20个个例,依据出现强降水当日的高空环流形势及影响系统,进行环流分型,共归纳出三种类型,分别为:西来槽型、低涡型和切变线型,各型分别有9,6和5个个例,具体个例及分型结果见表 1所示。
![]() |
表 1 具体个例及分型结果 Table 1 Specific cases and their classification |
对2008—2009年汛期北京强降水个例进行MODE检验,当白天出现降水时,使用BJ-RUC模式08时起报的降水产品进行检验;夜间出现降水时,使用BJ-RUC模式20时起报的降水产品进行检验。对每个个例分别检验了出现强降水的主要降水时段(3小时累积降水)。为检验局地强降水,卷积半径选为3倍格距,强度阈值选为5 mm,经过计算得出以下统计检验结果。
2.1 总相似度分型检验结果分析 2.1.1 西来槽型此型共有9个个例,1次无雷达QPE数据,1次漏报,无空报。平均预报相似度评分MMI(F)=0.64,平均实况相似度评分MMI(O)=0.52,平均总相似度评分MMI(F+O)=0.56。由西来槽型个例相似度分布(图略)可见,本型中大多数个例预报相似度评分均大于等于实况相似度评分,即在预报出的降水区域中空少漏多。
2.1.2 低涡型此型共有6次过程,无空、漏报。平均预报相似度评分MMI(F)=0.71,平均实况相似度评分MMI(O)=0.64,平均总相似度评分MMI(F+O)=0.66。由低涡型个例相似度分布(图略)可见,本型中大多数个例预报相似度评分也均大于等于实况相似度评分,也是空少漏多。
2.1.3 切变线型此型共有5次过程,1次无雷达QPE数据(实况),1次漏报。平均预报相似度评分MMI(F)=0.63,平均实况相似度评分MMI(O)=0.57,平均总相似度评分MMI(F+O)=0.63。由切变线型个例相似度分布(图略)可见,本型中预报相似度评分与实况相似度评分相差不大。
2.2 综合各型检验结果分析由各型个例相似度分布(图 2)可见,该模式在西来槽和低涡型中预报的降水空少漏多的现象比较明显,但在切变线型中这种现象并不明显。在各型降水中对于主要强降水时段来说有两次出现完全漏报,但是没有出现完全空报的现象。总体来看,模式对低涡型降水预报最好,切变线型次之,相比之下西来槽型较差。这说明对西来槽这类移动比较明显的影响系统降水预报该模式的预报能力较差,而对于低涡、切变线这些移动不明显的影响系统降水预报该模式具有较强的预报能力。
![]() |
图 2 各型个例相似度分布 Fig. 2 The similarity distribution of multiple types |
表 2给出了同样条件下的相似度(MMI)评分和TS评分结果。由此表可见,当相似度评分为0时,TS评分也为0;而TS评分为0时,相似度评分不一定为0。从表中还可以看到TS的评分值比相似度评分值小很多,这说明TS点对点降水评分比相似度降水落区评分严格很多,但总的趋势基本一致。
![]() |
表 2 不同环流型强降水个例的总相似度及TS评分结果 Table 2 Final similarity and TS score of heavy rain cases under different circulation patterns |
在考虑漏报过程情况下:低涡型>切变线型>西来槽型,与TS评分检验结果略有差别。
在不考虑漏报过程情况下:切变线型>低涡型>西来槽型,与TS评分检验结果相同。由此可见,相似度评分与TS评分没有本质区别,但比TS评分能够提供给预报和模式开发人员更多有用信息。
2.4 在不分型情况下其他检验指标的综合分析 2.4.1 对象基本属性检验分析(1) 实况对象和预报对象面积检验分析
由实况对象和预报对象降水面积数目随面积变化(图 3)可以看出,总体来看实况对象降水面积明显比预报对象降水面积大,即模式的漏报现象比较明显。此外,大部分实况对象和预报对象降水面积都集中在较小面积部分;实况对象的降水面积比较分散,而预报对象的降水面积较为集中,且能够预报出的最大降水面积小于实况降水面积。
![]() |
图 3 实况降水对象(a)和预报降水对象(b)数目随降水面积的变化横坐标为降水面积的平方根,纵坐标为降水对象数目 Fig. 3 Variations of the numbers (the ordinate) of observed objects (a) and forecast objects (b) with the precipitaion area The abscissa is the square root of precipitation area |
(2) 实况对象和预报对象降水落区的轴角检验分析
这里轴角指降水落区的长轴与X轴的夹角。从实况对象和预报对象降水落区的轴角随面积变化(图 4)可以看出,当对象降水面积较小时,不论是实况还是预报,其降水落区的轴角离散度较大,即有东北—西南走向分布,也有西北—东南走向分布。但是随着对象降水面积不断增大,几乎所有对象的降水落区都呈现出东北—西南走向,实况与预报的降水落区走向基本一致,这与中纬度地区东移的锋面系统或低槽系统产生的降水落区均呈东北—西南走向也是一致的。同时,也表明BJ-RUC模式对天气尺度系统的降水形态预报较好。
![]() |
图 4 实况对象和预报对象降水落区的轴角随降水面积的变化横坐标为降水面积的平方根,纵坐标为降水落区的轴角 Fig. 4 The axis angle (the ordinate) of observed objects (solid dots) and forecast objects (hollow circles) versus different rainfall area The abscissa is the square root of precipitation area |
(3) 实况对象和预报对象降水落区纵横比检验分析
这里纵横比指降水落区的短轴/长轴。纵横比是度量对象降水形状的属性之一,其纵横比在0~1之间,纵横比越小,表明降水落区被“拉长”的现象更明显。由实况对象和预报对象纵横比随面积变化(图 5)可见,降水落区的面积较大时,无论是实况还是预报的降水落区纵横比均集中在0.4~0.7之间,表明面积较大的降水落区呈现出较为明显的“拉长”现象。这与上面得到的锋面或低槽前的降水呈东北—西南走向雨带分布特征是吻合的。而降水落区的面积较小时,无论是实况还是预报的降水落区纵横比均较分散,其形状分布不规则。
![]() |
图 5 实况对象和预报对象纵横比随降水面积的变化 横坐标为对象面积的平方根,纵坐标为对象形状的纵横比 Fig. 5 The aspect ratios (the ordinate) of observed objects (solid dots) and forecast objects (hollow circles) versus different rainfall area the abscissa is the square root of object area |
设定两个对象的匹配标准为:形心距离≤ARO1/2+ ARF1/2, 其中ARO1/2为实况对象降水面积的平方根,ARF1/2为预报对象降水面积的平方根。下面对满足上述匹配标准的对象对进行检验分析。
(1) 匹配对象面积检验分析
对匹配成功的对象对,计算预报对象面积与实况对象面积之差。由预报对象与实况对象面积之差随实况对象面积变化(图 6)可以看出,当实况对象面积较小时,预报对象面积比实况对象面积大;当实况对象面积较大时,预报对象面积比实况对象面积小。即该模式对较小面积的降水,预报的降水区域偏大;而对较大面积的降水,预报的降水区域偏小。
![]() |
图 6 预报对象与实况对象面积差随实况对象面积的变化 横坐标为实况对象面积的平方根,纵坐标为预报对象与实况对象面积差 Fig. 6 The area difference (the ordinate) between forecast objects and observed objects versus the area of observed objects The abscissa is the square root of observed object area |
(2) 匹配对象形心距离检验分析
在每一匹配对象中,用预报对象形心距离减实况对象形心距离,并把该距离差分解为X和Y方向。从预报对象与实况对象形心距离之差随实况对象面积变化(图 7)可以看出,当实况对象面积较小时,X和Y方向的距离值比较分散,有正、有负,即该模式预报的降水落区不存在系统性偏差;但当实况对象面积增大时,X和Y方向的距离值大部分大于零,即该模式预报的降水落区存在系统性偏差,表现为预报的降水落区偏西、偏北。
![]() |
图 7 预报对象与实况对象形心距离之差随实况对象面积的变化 横坐标为实况对象面积的平方根,纵坐标为预报对象与实况对象形心距离之差 Fig. 7 The difference (the ordinate) of centroidal distance between forecast objects and observed objects versus the area of observed objects The abscissa is the square root of observed object area |
(1) 从各型总相似度可以看出,BJ-RUC模式对移动不明显的低涡型降水预报效果最好,对切变线型降水预报效果次之,对移动较明显的西来槽型降水预报效果较差。
(2) 大多数强降水个例的MMI(F)>MMI(O),即BJ-RUC模式降水漏报比空报造成的误差更为明显。这点从实况对象降水面积明显比预报对象降水面积大也可以说明模式的漏报现象比较明显。
(3) 相似度评分与TS评分没有本质区别,且总的趋势基本一致,但它能比TS评分提供给预报和模式开发人员更多有用信息。
(4) 无论是模式预报还是实况事实,都表现出随着降水面积增大,东北—西南向的雨带分布特征就越明显。
(5) 当实况对象面积增大时,该模式预报的降水落区存在系统性偏差,表现为预报的降水落区偏西、偏北。
致谢:感谢中国气象局北京城市气象研究所陈敏、仲跻芹副研究员在本项工作中给予的指导和帮助。
[1] |
李勇, 王雨. 2007年夏季GRAPES-MESO 15及30 km模式对比检验[J]. 气象, 2008, 34(10): 81-89. DOI:10.7519/j.issn.1000-0526.2008.10.011 |
[2] |
徐双柱, 张兵, 谌伟. GRAPES模式对长江流域天气预报的检验分析[J]. 气象, 2007, 33(11): 65-71. DOI:10.7519/j.issn.1000-0526.2007.11.010 |
[3] |
陈敏, 郑祚芳, 王迎春, 等. 2006年汛期北京地区中尺度数值业务降水预报检验[J]. 暴雨灾害, 2007, 26(2): 109-117. |
[4] |
许美玲, 孙绩华. MM5中尺度非静力模式对云南省降水预报检验[J]. 气象, 2002, 28(12): 24-27. DOI:10.3969/j.issn.1000-0526.2002.12.006 |
[5] |
王雨. 2002年主汛期国家气象中心主客观降水预报对比检验[J]. 气象, 2003, 29(5): 21-25. DOI:10.7519/j.issn.1000-0526.2003.05.005 |
[6] |
陈敏, 王迎春, 仲跻芹, 等. 北京地区中尺度数值业务预报的客观检验[J]. 应用气象学报, 2003, 14(5): 522-532. |
[7] |
管成功, 王克敏, 陈晓红. 2002—2005年T213数值降水预报产品分析检验[J]. 气象, 2006, 32(8): 70-76. DOI:10.7519/j.issn.1000-0526.2006.08.012 |
[8] |
何光碧, 陈静, 肖玉华, 等. AREM数值模式对2005年汛期四川的降水预报[J]. 气象, 2006, 32(7): 64-71. DOI:10.7519/j.issn.1000-0526.2006.07.010 |
[9] |
张建海, 诸晓明. 数值预报产品和客观预报方法预报能力检验[J]. 气象, 2006, 32(2): 58-63. DOI:10.7519/j.issn.1000-0526.2006.02.011 |
[10] |
诸晓明, 张建海, 王丽华, 等. 绍兴市气象台短期天气预报实时测评检验系统[J]. 气象, 2004, 30(8): 45-48. DOI:10.7519/j.issn.1000-0526.2004.08.011 |
[11] |
王雨, 闫之辉. 降水检验方案变化对降水检验评估效果的影响分析[J]. 气象, 2007, 33(12): 53-61. DOI:10.7519/j.issn.1000-0526.2007.12.008 |
[12] |
王雨. 若干数值模式对2003年夏季青藏高原中南部降水预报检验[J]. 高原气象, 2004, 23(增刊): 53-58. |
[13] |
王雨. 2004年主汛期各数值预报模式定量降水预报评估[J]. 应用气象学报, 2006, 17(3): 316-324. |
[14] |
周慧, 崔应杰, 胡江凯, 等. T639模式对2008年长江流域重大灾害性降水天气过程预报性能的检验分析[J]. 气象, 2010, 36(9): 60-67. DOI:10.7519/j.issn.1000-0526.2010.09.010 |
[15] |
熊秋芬. GRAPES_Meso模式的降水格点检验和站点检验分析[J]. 气象, 2011, 37(2): 185-193. DOI:10.7519/j.issn.1000-0526.2011.02.008 |
[16] |
Davis C A, Brown B G, Bullock R, et al. The method for Object-Based Diagnostic Evaluation (MODE) applied to numerical forecasts from the 2005 NSSL/SPC spring program[J]. Weather and Forecasting, 2009, 24: 1252-1267. DOI:10.1175/2009WAF2222241.1 |
[17] |
Davis C, Brown B, Bullock R. Object-based verification of precipitation forecasts. Part Ⅰ: Methodology and Application to mesoscale rain areas[J]. Mon Wea Rev, 2006, 134: 1772-1784. DOI:10.1175/MWR3145.1 |
[18] |
Davis C, Brown B, Bullock R. Object-based verification of precipitation forecasts. Part Ⅱ: Application to convective rain systems[J]. Mon Wea Rev, 2006, 134: 1785-1795. DOI:10.1175/MWR3146.1 |