快速检索
  气象   2023, Vol. 49 Issue (2): 224-234.  DOI: 10.7519/j.issn.1000-0526.2022.110401

论文

引用本文 [复制中英文]

钱奇峰, 毛冬艳, 2023. 2010—2019年ECWMF和NCEP集合模式对热带气旋路径预报的性能评估[J]. 气象, 49(2): 224-234. DOI: 10.7519/j.issn.1000-0526.2022.110401.
[复制中文]
QIAN Qifeng, MAO Dongyan, 2023. Evaluation of Tropical Cyclone Track Forecast Performance of ECMWF and NCEP Ensemble Models from 2010 to 2019[J]. Meteorological Monthly, 49(2): 224-234. DOI: 10.7519/j.issn.1000-0526.2022.110401.
[复制英文]

资助项目

广东省重点领域研发计划重点专项项目(2019B111101002)、国家重点研发计划(2017YFC1501604)和气象预报业务关键技术发展专项[YBGJXM(2020)3A-03]共同资助

第一作者

钱奇峰,主要从事热带气旋的预报和研究.E-mail:qianqf@cma.gov.cn

通信作者

毛冬艳,主要从事灾害性天气预报技术研究.E-mail:maody@cma.gov.cn.

文章历史

2021年12月23日收稿
2022年11月4日收修定稿
2010—2019年ECWMF和NCEP集合模式对热带气旋路径预报的性能评估
钱奇峰 , 毛冬艳     
国家气象中心,北京 100081
摘要:中国气象局是全球大集合预报系统数据交换中心之一,自2010年以来,欧洲中期天气预报中心(ECMWF)和美国国家环境预报中心(NCEP)等国外全球集合预报(GEFS)先后进入国家气象中心(NMC)实时业务,多模式的应用促进了我国热带气旋预报业务的进步。利用2010—2019年ECMWF和NCEP两家主要的国外集合模式资料,从分强度、分移速、分月份、分海域、是否登陆、是否转向等方面开展了两家模式在热带气旋路径预报中的性能评估和系统性偏差分析。结果表明,两家模式集合平均的预报误差总体都呈下降趋势,并都存在一定的系统性偏差,但偏差方向几乎相反,ECMWF集合预报易偏向实况西南向,NCEP集合预报易偏向东北向,且后者数值更大。目前ECMWF集合预报性能要优于NCEP集合预报,特别是对于弱热带气旋和登陆热带气旋等情形优势更大。预报中当两家模式分歧较大的时候,性能评估和偏差分析结果也可为主观订正提供参考依据。
关键词热带气旋    集合模式    评估    系统性偏差    
Evaluation of Tropical Cyclone Track Forecast Performance of ECMWF and NCEP Ensemble Models from 2010 to 2019
QIAN Qifeng, MAO Dongyan    
National Meteorological Centre, Beijing 100081
Abstract: China Meteorological Administration (CMA) is one of the data exchange centers of global ensemble forecasting system. Global ensemble forecast systems (GEFS), including the European Center for Medium-Range Weather Forecasts (ECMWF), and the National Centers for Environmental Prediction (NCEP) have been used in real-time operation of the National Meteorological Centre (NMC) of CMA since 2010. The application of multi-model has promoted the progress of tropical cyclone forecasting operation of CMA. Based on the data of ECMWF and NCEP ensemble models from 2010 to 2019, we evaluate the performance and systematic deviation of their track forecast performance in following aspects: intensity, moving speed, month, ocean area, landing and turning. The ensemble mean forecast errors of the two models generally show a downward trend, and their systematic deviations are almost in the opposite directions. Separately, ECMWF ensemble forecast has a southwest bias, while NCEP ensemble tends to be northeastward, and is larger than the former in number. At present, the track prediction performance of ECMWF ensemble model is better than that of NCEP, especially for weak TCs and landing TCs. The results of the performance evaluation and deviation analysis could also provide a reference for actual TC forecasts when there are obvious differences between the products of the two ensemble models.
Key words: tropical cyclone    ensemble model    evaluation    systematic bias    
引言

我国海岸线绵长,并且地处全球热带气旋(tropical cyclone, TC)发生频次最高、强度最大的北太平洋西侧,是世界上受热带气旋灾害最严重的国家之一。随着我国沿海地区的经济规模和人口不断增长,热带气旋造成的灾害损失也日益严重(许映龙等,2010),因此不断提高我国热带气旋预报准确率,最大限度地减轻热带气旋灾害,是我们不断追求的目标。近十几年来,我国的热带气旋预报准确率有较明显的提高,2013—2018年五年平均的热带气旋24、48、72、96和120 h路径预报均明显处于世界领先水平(张定媛等,2018李泽椿等,2020),这得益于现代气象观测技术及数值模式的不断进步,以及多种集合预报模式及订正技术的发展应用。

中国气象局是WMO(World Meteorological Organization)的TIGGE(the THORPEX interactive grand global ensemble)交互式全球大集合预报系统数据交换中心之一,早在20世纪90年代就开始开展集合预报的试验性应用和研究(李小泉等,1997毛恒青和王建捷,2000),之后开始探索一条自主创新的道路。经过多年的不懈努力,基于GRAPES(Global Regional Assimilation and Prediction System)模式同化技术的不断发展,至2018年全球中期集合预报的业务化,目前我国集合预报模式及相应的客观应用技术已成为了目前天气预报业务的强有力支撑(沈学顺等,2017; 2020陈静和李晓莉,2020)。

集合预报最早是在中纬度地区的中长期天气预报中进行应用并获得成功的(康志明等,2013),随后开始逐渐应用到中短期天气预报(代刊等,2018Li et al, 2017),以及热带地区重要天气之一的热带气旋预报中(Goerss, 2000钱奇峰等,2014Qi et al, 2014Dong and Zhang, 2016Guo et al, 2018)。一系列研究表明,在热带气旋路径预报中,多模式集合预报较单模式集合预报具有更高的预报技巧,平均而言集合预报要优于确定性预报,集合预报能捕捉到确定性预报漏报的热带气旋活动(Yamaguchi et al, 2015Lei et al, 2020)。因此基于统计的集合预报后处理也已经成为现代预报的重要组成部分而被广泛使用。

由于各国集合预报系统所关注的重点不同,在初始场、初始扰动生成方面、模式框架、参数化方案和集合成员数等方面均有不同之处,因此其预报效果也具有明显的时间和空间差异(Duan et al, 2012)。所以对不同的集合预报开展检验评估是更好运用预报产品的依据之一,也是集合预报后处理的基础。通过各个角度的检验,进一步了解集合预报在不同天气过程、不同地区、不同季节等的性能,能为主观或客观应用提供科学依据。目前,对数值模式的检验主要有两个方面:一是对针对模式的统计检验,二是基于天气学的检验。前者多用于检验评估模式特定的物理量、参数或预报等,从而为模式的继续发展和改进提供依据,后者以预报员思路为基础,从天气过程包括环流形势、影响系统、地理特征等方面评估模式对不同天气过程的预报性能,找出模式偏差特征规律,从而为模式研究人员及业务预报人员提供检验结果(Du et al, 1997Peel and Wilson, 2008Yuan et al, 2009Yamaguchi et al, 2015)。

欧洲中期天气预报中心(European Centre for Medium-Range Weather Forecasts,ECMWF)和美国国家环境预报中心(National Centers for Environmental Prediction,NCEP)的全球集合预报作为全球发展最早的两个集合模式(Toth and Kalnay, 1993Molteni et al, 1996Buizza et al, 2008),也是最早在我国热带气旋预报业务中使用的集合预报模式。随着集合预报订正等客观技术的发展和在预报业务中的应用,预报员急需从天气学角度了解后处理技术中各集合模式的预报性能特点和偏差倾向。特别是当ECMWF、NCEP等常用集合模式预报出现明显分歧的时候,哪个模式更值得信赖?

据此,本文利用2010—2019年的集合模式预报数据,对目前业务上较常用的两家集合预报进行了检验,通过近十年两家模式在不同强度、不同季节、不同海域等的热带气旋路径预报中的性能比较,评估两家模式的总体性能特点和系统性偏差特征。同时,关注两家模式在登陆以及转折性热带气旋过程中的预报表现,为气象业务人员开展热带气旋预报实践,不断提高预报准确率提供参考和借鉴。

1 资料和数值模式介绍

本文所用的热带气旋路径资料包括2010—2019年ECMWF和NCEP集合预报资料,取自TIGGE数据交换网站(http://www.cawcr.gov.au/research/cyclone-exchange/),该资料包含了热带气旋的中心位置、最低海平面气压以及中心附近最大风速。热带气旋最佳路径数据由中国气象局上海台风研究所(CMA/STI)整编(http://tcdata.typhoon.org.cn/zjljsjj_zlhq.html),包含了逐6 h的热带气旋位置和强度和中心最低气压信息。

ECMWF全球集合预报系统(ECMWF-EPS)每天运行两次(0000 UTC和1200 UTC),2010年1月ECMWF-EPS使用变分辨率进行15 d预报,其中0~10 d预报运行高分辨率模式T639L62(水平分辨率约为30 km,下同),10~15 d采用T319L62(水平分辨率约为60 km),包括1个控制预报和50个集合成员。2011年11月,ECMWF-EPS引入了新的海洋模式,2013年11月,将模式垂直层增加到了91层,同时增加了集合预报阶段与海洋模式的耦合,使得热带地区预测效果取得较大提高。2016年3月,集合预报模式分辨率增加到了TCo639L91(水平分辨率约为18 km)。2017年7月,改善了湿度背景误差方差,并改进了4DVar中下投式探空仪风场观测的质量控制以改善热带气旋的预报(陈超辉等,2020Buizza and Richardson, 2017)。ECMWF-EPS始终没有对热带气旋涡旋进行特别处理,后处理中根据区域中心发布的主观预报,通过海平面气压和850 hPa涡度极值自动确定热带气旋位置。

NCEP全球集合模式(NCEP-GEFS)是在GFS的基础上发展而来的,每天运行4次(分别为0000、0600、1200和1800 UTC),2010—2011年预报采用T190L28模式(水平分辨率约为70 km),2012年初同样采用变分辨率策略,升级0~8 d为T254L42模式(水平分辨率约为55 km),2015年升级后0~8 d预报分辨率为T574L64(水平分辨率约为34 km),8~16 d预报使用T382L64,并采用了集合卡尔曼滤波EnKF分析方法生成初始扰动。值得注意的是,此次升级对西北太平洋热带气旋路径预报性能提高明显(Zhou et al, 2019)。NCEP-GEFS的集合成员较ECMWF-EPS要少,仅21个成员(包括1个控制预报和20个集合成员),它的每个集合成员在初始状态都要经过重定位技术(tropical storm relocation, TSR),即如果在初始时间存在TC,则对每个集合成员的初始TC中心位置调整到观测位置从而得到初始预报场(Liu et al, 2006)。

本文使用的评估方法根据《台风业务和服务规定》(中国气象局,2012),对ECMWF和NCEP集合成员等权平均(集合平均)的路径预报误差、集合离散度等进行分析,其中实况使用最佳路径数据。

2 总体性能评估 2.1 年平均误差

集合平均误差是衡量一个集合预报模式性能好坏的指标之一,误差越小,反映集合模式性能越好,预报可用性越高。图 1给出了ECMWF集合预报(ECMWF-EPS)和NCEP集合预报(NCEP-GEFS)两家集合平均路径预报24、48、72、92、120 h各预报时效的同样本年平均误差(表 1为各年份不同预报时效的样本数),同时也给出了与ECMWF确定性预报(ECMWF-IFS)和NCEP确定性预报(NCEP-GFS)的逐年同样本误差作为对比。整体来看,自2010年以来,两家集合平均预报误差总体都呈下降趋势,这与两家集合预报模式的不断发展密不可分。然而值得注意的是,两家模式在个别年份的预报误差会有波动,如2015年两家集合模式各预报时效的预报误差都有明显减小,而次年又都有明显上升,这种波动主要与热带气旋的年际可预报性变化有关(Majumdar and Finocchio, 2010)。

图 1 2010—2019年ECMWF、NCEP集合模式和确定性模式的年平均路径预报误差同样本比较 Fig. 1 Comparison of annual TC track forecast errors of ECMWF-EPS and NCEP-GEFS ensemble means from 2010 to 2019 (Results of deterministic models are also given for comparison in same sample size)

表 1 图 1对应的集合平均误差样本数目(单位:个) Table 1 Sample sizes of ensemble mean error in Fig. 1

总体而言,ECMWF-EPS集合平均预报效果要优于NCEP-GEFS,但也有个别年份,如2012年、2017年两家集合模式预报效果基本相当,这一结果与上海台风研究所年度的热带气旋精度评定基本一致(陈国民等, 2013; 2019),只因统计样本数不同而略有数值上的差异。不过在其他年份,ECMWF-EPS较NCEP-GEFS路径预报优势明显,这一差距随着预报时效的增长而扩大。

另外,分别观察两家集合模式与对应的确定性模式预报误差差异,ECMWF-EPS和ECMWF-IFS 0~48 h以内的年平均误差基本相当,但72 h及以上的预报,2017年之前ECMWF集合模式较确定性模式预报误差要小,但在2018—2019年,确定性模式效果要略好于集合模式。对NCEP而言,除个别年份集合平均和确定性预报误差接近外,前者误差均要大于后者,也就是说NCEP对台风路径的确定性预报性能往往优于其集合平均预报。

当然集合平均误差仅是衡量预报的一个方面,而对于集合预报应用而言,单纯利用其集合平均并不能较好发挥作用,更应该关注其反映的不确定性和可能发生的事件(杜钧, 2002)。

2.2 预报可靠性分析

集合发散度(SPRD)描述了集合预报系统的不确定性(Whitaker and Loughe, 1998),是衡量集合模式的另一个重要指标,其计算公式如下

$\mathrm{SPRD}=\sqrt{\frac{1}{N} \sum\limits_{n=1}^N[\bar{f}-f(n)]^2}$ (1)

式中:N为集合预报成员数,f表示集合平均,f(n)为第n个成员的预报位置。

为了比较集合模式对热带气旋预报的可靠性,这里采用Yamaguchi et al(2009)定义的累积发散度和累积预报误差进行可靠性比较,累积发散度(AcSPRD)和累积预报误差(AcPerror)的计算公式如下

$\operatorname{AcSPRD}=\sum \operatorname{SPRD}(t)$ (2)
$\operatorname{AcPerror}=\sum\limits_{t \in T}|\bar{f}-r|$ (3)

式中:tT(12, 24, 36, 48, 60, 84, 108, 120),以12 h为预报间隔;AcPerror为集合平均逐12 h的预报误差总和,r代表最佳路径实况。

对于理想的集合预报,累积发散度和累积误差需要一致,前者更大表示系统高估了预报的不确定性,否则为低估了预报不确定性(Yamaguchi et al, 2009Zhang et al, 2015)。图 2给出了2010—2019年两家集合模式平均累积发散度和累积预报误差的关系,可见NCEP-GEFS对热带气旋路径预报的不确定性的低估明显,ECMWF-EPS略有低估,但基本接近对角线。图中也可以看到,NCEP-GEFS的累积误差明显大于ECMWF-EPS,这也是实际预报中NCEP-GEFS的可参考性往往不如ECMWF-EPS的原因。

图 2 2010—2019年ECMWF-EPS(红色)和NCEP-GEFS(蓝色)集合预报的累积发散度和累积路径误差散点图 (圆圈内数值代表预报时效) Fig. 2 Scatter plot of mean AcSPRD and mean AcPerror of ECMWF-EPS (red) and NCEP-GEFS (blue) from 2010 to 2019 (The forecast lead time is labeled in each circle)
2.3 系统性偏差分析

由于数值模式(无论是确定性模式或是集合模式)均存在一定的系统性偏差(Bettge, 1983),并将体现到热带气旋路径预报中,通过分析模式预报误差的空间分布特征,将为预报员在参考模式预报结果时提供必要的修正依据。为了评估两家模式系统性偏差的分布特征,这里以热带气旋实况位置为中心,将集合模式的各预报时效的位置距实况的算术平均距离偏差分解成经向和纬向,计算公式如下

$e=\frac{1}{N} \sum\limits_{i=1}^N\left(F_i-O_i\right)$ (4)

式中:e为算术平均偏差,代表数值模式系统性偏差;F代表预报;O代表实况;i表示第i个样本;N为样本总数。

图 3给出了2010—2019年两家集合模式同样本预报的平均偏差位置(实心点),并按预报时效由短到长用折线相连,图中同时给出了样本中经向或纬向偏差的第25%和75%分位数,在图中表现为以相应预报时效的实心点为中心的“十字”,以体现各家集合预报的离散度和路径预报偏差的分布特征。由图可见,ECMWF-EPS各预报时效的平均偏差均在50 km以内,表现了较小的系统性偏差,1~5 d的平均偏差呈现略偏西南的倾向, 杨国杰等(2018)利用2009—2015年ECMWF-EPS预报分析得到了类似的偏差特征,说明ECMWF-EPS的这一特性持续且稳定。相比而言,NCEP-GEFS 1~5 d预报时效的平均偏差分别为6.4、17.3、42.3、93.0、169.8 km,从第三天开始较ECMWF-EPS明显偏大,并且随时效增长偏差呈现出稳定的东偏北方向。从误差的经向或纬向偏差来看,两家集合模式各时效偏差的第25%和75%分位数均较为对称地分布在平均偏差两侧,说明集合预报的系统性偏差没有明显的偏态分布。

图 3 2010—2019年ECMWF-EPS(红色)和NCEP-GEFS(蓝色)集合预报的系统性偏差 (以中心出发的连线实心点代表24~120 h的集合平均系统性偏差,各点上的十字代表该模式在该时效的预报偏差在两个方向的分布情况,十字端点分别代表第25%和75% 分位数;单位圆半径为100 km,右下角为各时效的样本数) Fig. 3 Systematic biases of ECMWF-EPS (red) and NCEP-GEFS (blue) ensemble forecasts from 2010 to 2019 (Dots with line represent the 24-120 h ensemble means' systematic deviation, cross on each dot represents the distribution of the model absolute distance error in two directions, and cross endpoint represents 25% and 75% percentiles respectively; radius of the unit circle is 100 km, and sample sizes in each forecast lead-time are given below)

进一步,我们比较了两家模式逐年的系统性偏差(图略),结果表明,2010—2019年,ECMWF-EPS的系统性偏差在多数年份均呈现偏西南方向(2010、2012、2015、2016、2018和2019年),三年弱偏北(2011、2013和2017年),一年弱偏南(2014年)。NCEP-GEFS的系统性偏差除2010年偏东、2019年偏西南外,其余年份均呈现较为明显的东北偏向。可见虽然两家模式在这十年间历经了多次升级,但其在热带气旋路径预报中的系统偏差仍较稳定,并且ECMWF-EPS多偏西、NCEP-GEFS多偏东,且偏差绝对值NCEP-GEFS大于ECMWF-EPS。

综上所述,对于全年热带气旋路径预报,无论从全年平均误差还是系统性偏差空间分布而言,目前ECMWF-EPS要优于NCEP-GEFS。

3 分类评估 3.1 不同强度的比较

根据热带气旋等级划分标准,热带气旋共分为6个等级,分别为热带低压(TD)、热带风暴(TS)、强热带风暴(STS)、台风(TY)、强台风(STY)、超强台风(SuperTY)。图 4a给出了编号热带气旋处于不同强度时,两家模式对其预报的误差之差,其中热带气旋强度采用上海台风研究所的热带气旋最佳路径数据集。

图 4 2010—2019年ECMWF-EPS和NCEP-GEFS对(a)不同强度等级、(b)不同移速(单位:km·h-1)的热带气旋在不同时效的路径预报误差比较 Fig. 4 Comparison of track forecast errors of ECMWF-EPS and NCEP-GEFS for (a) different grades and (b) different moving speed (unit: km·h-1) of TCs in different lead times from 2010 to 2019

可见,对于各个强度级别,ECMWF-EPS都保持了对NCEP-GEFS的预报优势。如对于TS级别的热带气旋,前者在不同时效(24、48、72、96和120 h) 的平均路径预报误差要较后者分别小约18%、14%、21%、19%、24%,但是随着热带气旋强度的增强,这种差距逐渐趋于减小。对于SuperTY级别的热带气旋,前者的平均路径预报误差相对于后者的优势缩小为15%、9%、16%、9%、2%。

此外,对于不同级别的热带气旋两家集合模式分别的路径预报误差都是随强度呈减小趋势(图略)。因此,对于强度较弱的热带气旋,如热带气旋刚刚形成前后,ECMWF-EPS相比于NCEP-GEFS更具有参考意义。

3.2 不同移速的比较

图 4b给出两家模式对不同移动速度热带气旋的预报误差情况比较,分为移速 < 10、10~20、20~30、30~40和≥40 km·h-1的5个档次,实况移速同上采用热带气旋最佳路径数据集计算得到。

总体而言,对于各移速的热带气旋NCEP-GEFS的路径预报误差都相对较大,并且差距随着预报时效延长而增大。需要关注的是,当热带气旋移速超过40 km·h-1时,NCEP-GEFS模式96~120 h预报误差超过ECMWF-EPS模式150 km以上,结合2.3节两家模式系统性偏差的分析,不难解释当热带气旋移速更快时,NCEP-GEFS向东北方向的系统性偏差将导致更大的路径预报误差。

3.3 不同月份的比较

同样地,比较了两家模式在5—10月对热带气旋路径的同样本预报误差(图 5)。由于西北太平洋及南海热带气旋频数的季节差异,1—4月的样本数过少,造成代表性不足,因此不在这里给出。

图 5 2010—2019年ECMWF-EPS和NCEP-GEFS在不同月份(5—12月)、不同时效的热带气旋平均路径预报误差比较 Fig. 5 Comparison of mean errorrs of TC track forecasts with different lead times by ECMWF-EPS and NCEP-GEFS from May to December in 2010-2019

对比ECMWF-EPS与NCEP-GEFS两家集合模式在各个月份的差异,总体而言前者在各个月份预报能力要优于后者。两者预报误差的差异在24 h、48 h随季节波动较小,差异基本在30 km以内;但是72 h及以上的预报呈明显的季节变化,特别是样本量较大的7月,前者较后者的72、96和120 h平均预报误差分别要小64、94和122 km,另外在11月也有另一个差异峰值,说明在这些月份,ECMWF集合预报的可参考性更高。不过图中也可以看到,在5月、10月和12月两个模式的误差差异相对更小,特别是在5月、6月NCEP-GEFS的120 h预报性能甚至要优于ECMWF-EPS,因此在这些月份或预报时效,NCEP集合模式的可参考性在提高。

3.4 不同海域的比较

ECMWF-EPS与NCEP-GEFS两家集合预报模式在不同的海域亦有较大的差异(图 6),这里根据最佳路径集中热带气旋所处的纬度或经度,将两模式预报进行分类:先按纬度划分为5组(<10°N、10°~15°N、15°~20°N、20°~25°N、≥25°N),再按经度也分为5组(<120°E、120°~130°E、130°~140°E、140°~150°E、≥150°E),各组24 h预报样本数基本在同一数量级(表 2)。

图 6图 4,但为不同(a)纬度和(b)经度的路径预报误差比较 Fig. 6 Same as Fig. 4, but for the comparison of track forecast errors of TC at different (a) latitudes and (b) longitudes

表 2 图 6对应的各预报时效样本数目(单位:个) Table 2 Sample sizes for each forecast lead-time in Fig. 6

按照纬度分组分别计算了两家模式集合预报平均对各组热带气旋的平均预报误差,再比较两者各个预报时效的差值(图 6a)。可见,ECMWF-EPS对较低纬度的热带气旋预报优势更为明显,而对较高纬度的热带气旋,NCEP-GEFS模式预报误差逐渐接近ECMWF-EPS,但总体误差仍大于ECMWF-EPS。

同样,计算了按上述经度分组的两家模式路径预报误差比较(图 6b)。可见,对于各个经度分组ECMWF-EPS均表现出比NCEP-GEFS更小的预报误差,并且这一差距在西北太平洋两侧(<120°E和≥140°E)更为明显,而在中间区域(120°~140°E)有所缩小。值得注意的是,由于我国的地理特征,小于120°E的样本主要代表了南海或进入南海的热带气旋。对这一区域的热带气旋,ECMWF-EPS集合模式表现出了较其他经度的热带气旋更加明显的预报优势,其中48 h平均预报误差较NCEP-GEFS模式约小40 km,72 h接近70 km,96 h、120 h的预报样本数略少,分别只有43个和14个,但亦表现了相当大的差异。

进一步,这里根据两家模式对2010—2019年热带气旋样本的逐时效的路径预报误差进行比较,若ECMWF-EPS模式误差小于NCEP-GEFS模式,则计为一次正样本, 并将预报样本按地理位置插值到4°×4°的网格上。图 7给出了正样本率(ECMWF-EPS误差小于NCEP-GEFS所占的比例)和样本数的地理分布图。可见,对于大部分海域的TC,ECMWF-EPS误差较NCEP-GEFS更小的情况更多,其正样本率一般超过60%,特别是对于我国东南沿海、南海南部以及关岛以东,正样本率达80%~90%;在个别区域,如日本岛西部附近以及靠近180°E附近的样本,正样本率较小,NCEP-GEFS预报准确率更高。

图 7 ECMWF-EPS预报误差小于NCEP-GEFS的正样本比例(彩色等值线)和样本总数(数值)的地理分布 Fig. 7 Rate of the samples with ECMWF-EPS track forecast error less than that of NCEP-GEFS (color isoline) and the distribution of total sample size (value)
3.5 对登陆热带气旋的比较

登陆热带气旋的路径预报一向倍受关注,因此这里将2010—2019年73个登陆我国的热带气旋作为登陆组,计算了两家集合模式对登陆热带气旋(ECMWF-land和NCEP-land)的路径预报误差情况(图 8a)。作为比较,图中同时也给出了两家模式对2010—2019年间所有台风(ECMWF-all和NCEP- all)的全样本平均误差作为对比。

图 8 2010—2019年ECMWF-EPS(红色)和NCEP-GEFS(蓝色)对登陆热带气旋预报的评估 (a)对登陆热带气旋平均路径预报误差(实线,ECMWF-land和NCEP-land)和对所有台风的全样本预报误差(虚线,ECMWF-all和NCEP-all), (b)同图 3,但仅为登陆热带气旋的系统性偏差 Fig. 8 Evaluation of the model forecast performance for the 2010-2019 landfall TCs (a) averaged track forecast errors of ECMWF-EPS (red solid line) and NCEP-GEFS (blue solid line) for landfall TCs and their forecast errors (dashed line) of all samples of TCs; (b) same as Fig. 3, but for the systematic deviation of landfall TCs

对登陆热带气旋而言,ECMWF-EPS模式的预报误差要小于全样本,与之相反NCEP-GEFS的预报误差要比全样本大,因此两家模式对登陆热带气旋的路径预报准确率的差距更大了。平均来看,若以NCEP-GEFS对登陆热带气旋的72 h预报误差(236 km)为基准,则ECMWF-EPS对登陆热带气旋的96 h预报误差(231 km)与之相当。可见,对于72 h以上的登陆热带气旋预报,ECMWF-EPS相比NCEP-GEFS有着提前一天的预报性能优势。

进一步比较了两家模式对登陆热带气旋各时效预报的系统性偏差(图 8b),首先两家模式对登陆热带气旋的误差均呈现东偏北的现象,并且偏差随预报时效增加而增大。从数值上来看,NCEP-GEFS的各预报时效的平均偏差要较ECMWF-EPS增加近两倍,例如,ECMWF-EPS的96 h和120 h预报偏差分别为东偏北约69 km和93 km,而NCEP-GEFS为东偏北189 km和266 km。

另外与图 3的全样本预报偏差相比,ECMWF-EPS对于登陆热带气旋的偏差方向与全样本的偏差方向(略偏西南)有明显不同,并且偏差大小也明显增大了。相比而言,NCEP-GEFS对登陆热带气旋的系统性偏差方向与全样本并无明显改变,但偏差大小同样有明显的增加。

3.6 对转向热带气旋的比较

在热带气旋预报中,对转向点的预报是难点。为了评价两家模式对路径转折较大的热带气旋的预报能力,这里定义热带气旋某时刻前后24 h路径的平均移向角度差≥45°为一次路径转折(图 9)。根据最佳路径集计算,2010—2019年转向样本数共有1067个(含同一热带气旋满足条件的不同时刻),约占全部样本数的13%。

图 9 转向点定义示意图 (当热带气旋实况路径在P点前后24 h平均移向角度差α≥45°时,认为P为该热带气旋的转折点,该时刻即为转向时刻;以热带气旋转向后24 h的位置为目标位置,计算模式提前F小时预报对目标位置的预报误差) Fig. 9 Schematic diagram of the TC turning point definition (When the 24 h average angle difference of the TC track before and after P is ≥45°, P is considered as the turning point of this TC, and accordingly the time is the turning moment; taking the TC location 24 h after P as target position, the forecast errors of each model for the target position are calculated)

图 10a以转向时刻之后24 h热带气旋的位置为目标位置,计算了两家集合模式提前120 h,108 h,…,24 h对1067个转向样本的转向位置的预报误差(ECMWF_turn,NCEP_turn)。作为比较,也给出了两家模式对2010—2019年所有样本的平均预报误差(ECMWF-all和NCEP-all)。

图 10图 8,但为两家模式对热带气旋转向点预报误差比较 Fig. 10 Same as Fig. 8, but for the comparison of the forecast errors of turning points by the two models

首先对比两家模式各自对转向样本的预报误差,可以发现两家模式对转向热带气旋的预报误差大致与全样本误差相近,并且对转向热带气旋的各时效的预报误差一般要略大于全样本误差,从一定意义上也表明了,模式对转向样本的预报准确率要略差。

图 10b给出了两家模式对转向点预报的系统性偏差,与全样本预报(图 3)和登陆热带气旋样本预报(图 8b)相比,ECMWF-EPS对转向点预报的平均系统性偏差为西北向,这意味着对于转向热带气旋,其预报易发生西北向的偏差。另外,NCEP-GEFS提前1~3 d对转向点的平均预报偏差略偏西,但提前4~5 d的平均预报转折点再次偏向东北方向。从转向点系统性偏差数值来看,前三天ECMWF-EPS平均系统性偏差较NCEP-GEFS略大,96 h与之相当,120 h则明显较小。

4 结论与讨论

本文通过检验评估2010—2019年ECMWF-EPS和NCEP-GEFS两家集合模式对西北太平洋热带气旋的预报性能和系统性偏差,主要结论如下:

(1) 自2010年以来,两家模式集合平均的预报误差总体都呈下降趋势,总体而言,目前ECMWF-EPS预报性能要优于NCEP-GEFS,且前者0~48 h以内的优势较为稳定。对于72 h及以上的预报,ECMWF-EPS系统性偏差为西南向,NCEP-GEFS为东北向,且后者绝对值更大。

(2) ECMWF-EPS对不同强度等级、不同移速、不同月份、不同海域的热带气旋预报性能基本都比NCEP-GEFS具有优势,特别是对于强度较弱的热带气旋以及南海热带气旋的优势更大。

(3) ECMWF-EPS对登陆热带气旋的预报误差较全样本误差更小,而NCEP-GEFS的表现刚好相反,两家模式对登陆热带气旋路径预报的系统性偏差都为东偏北方向。

(4) ECMWF-EPS对转向点预报的系统性偏差为西北向,NCEP-GEFS提前1~3 d对转向点预报的系统性偏差略偏西,提前4~5 d的预报再次偏向东北方向。

需要说明的是,由于数值模式总是在不断的发展之中,在2010—2019年的十年间,ECMWF和NCEP两家集合预报模式也经历了多次升级,并不断影响到各自的预报性能,本文的研究从多年平均的角度对两家集合预报模式的总体表现进行了比较,对其在不同年份或具体个例的预报性能评估涉及较少,实际业务工作中还需要进一步开展更详细、更多模式的评估。

参考文献
陈超辉, 王勇, 杜钧, 等, 2020. 欧洲业务集合预报系统进展[J]. 气象科技进展, 10(2): 19-29. Chen C H, Wang Y, Du J, et al, 2020. Overview of the European operational ensemble prediction systems[J]. Adv Meteor Sci Technol, 10(2): 19-29 (in Chinese). DOI:10.3969/j.issn.2095-1973.2020.02.004
陈国民, 余晖, 曹庆, 2013. 2012年西北太平洋热带气旋预报精度评定[J]. 气象, 39(10): 1350-1358. Chen G M, Yu H, Cao Q, 2013. Verification on forecasts of tropical cyclones over Northwest Pacific in 2012[J]. Meteor Mon, 39(10): 1350-1358 (in Chinese). DOI:10.7519/j.issn.1000-0526.2013.10.014
陈国民, 张喜平, 白莉娜, 等, 2019. 2017年西北太平洋和南海热带气旋预报精度评定[J]. 气象, 45(4): 577-586. Chen G M, Zhang X P, Bai L N, et al, 2019. Verification on forecasts of tropical cyclones over western North Pacific and South China Sea in 2017[J]. Meteor Mon, 45(4): 577-586 (in Chinese).
陈静, 李晓莉, 2020. GRAPES全球/区域集合预报系统10年发展回顾及展望[J]. 气象科技进展, 10(2): 9-18, 29. Chen J, Li X L, 2020. The review of 10 years development of the GRAPES global/regional ensemble prediction[J]. Adv Meteor Sci Technol, 10(2): 9-18, 29 (in Chinese). DOI:10.3969/j.issn.2095-1973.2020.02.003
代刊, 朱跃建, 毕宝贵, 2018. 集合模式定量降水预报的统计后处理技术研究综述[J]. 气象学报, 76(4): 493-510. Dai K, Zhu Y J, Bi B G, 2018. The review of statistical post-process technologies for quantitative precipitation forecast of ensemble prediction system[J]. Acta Meteor Sin, 76(4): 493-510 (in Chinese).
杜钧, 2002. 集合预报的现状和前景[J]. 应用气象学报, 13(1): 16-28. Du J, 2002. Present situation and prospects of ensemble numerical prediction[J]. J Appl Meteor Sci, 13(1): 16-28 (in Chinese). DOI:10.3969/j.issn.1001-7313.2002.01.002
康志明, 鲍媛媛, 周宁芳, 2013. 我国中期和延伸期预报业务现状以及发展趋势[J]. 气象科技进展, 3(1): 18-24. Kang Z M, Bao Y Y, Zhou N F, 2013. Current situation and development of medium-range and extended-range weather forecast in China[J]. Adv Meteor Sci Technol, 3(1): 18-24 (in Chinese).
李小泉, 刘金达, 汪迎辉, 1997. 集合预报及其在中期天气预报中的应用[J]. 气象, 23(8): 3-9. Li X Q, Liu J D, Wang Y H, 1997. The ensemble prediction and its application in medium range weather forecast[J]. Meteor Mon, 23(8): 3-9 (in Chinese).
李泽椿, 张玲, 钱奇峰, 等, 2020. 中央气象台台风预报业务的发展及思考[J]. 大气科学学报, 43(1): 10-19. Li Z C, Zhang L, Qian Q F, et al, 2020. The development and consideration of typhoon forecast operation of national meteorological center[J]. Trans Atmos Sci, 43(1): 10-19 (in Chinese).
毛恒青, 王建捷, 2000. 集合预报业务使用现状和趋势[J]. 气象, 26(6): 26-30. Mao H Q, Wang J J, 2000. The operational use of ensemble prediction products and its future[J]. Meteor Mon, 26(6): 26-30 (in Chinese). DOI:10.3969/j.issn.1000-0526.2000.06.006
钱奇峰, 张长安, 高拴柱, 等, 2014. 台风路径集合预报的实时订正技术研究[J]. 热带气象学报, 30(5): 905-910. Qian Q F, Zhang C A, Gao S Z, et al, 2014. Real-time correction method for ensemble forecasting of typhoon tracks[J]. J Top Meteor, 30(5): 905-910 (in Chinese). DOI:10.3969/j.issn.1004-4965.2014.05.010
沈学顺, 苏勇, 胡江林, 等, 2017. GRAPES_GFS全球中期预报系统的研发和业务化[J]. 应用气象学报, 28(1): 1-10. Shen X S, Su Y, Hu J L, et al, 2017. Development and operation transformation of GRAPES global middle-range forecast system[J]. J Appl Meteor Sci, 28(1): 1-10 (in Chinese).
沈学顺, 王建捷, 李泽椿, 等, 2020. 中国数值天气预报的自主创新发展[J]. 气象学报, 78(3): 451-476. Shen X S, Wang J J, Li Z C, et al, 2020. China's independent and innovative development of numerical weather prediction[J]. Acta Meteor Sin, 78(3): 451-476 (in Chinese).
许映龙, 张玲, 高拴柱, 2010. 我国台风预报业务的现状及思考[J]. 气象, 36(7): 43-49. Xu Y L, Zhang L, Gao S Z, 2010. The advances and discussions on China operational typhoon forecasting[J]. Meteor Mon, 36(7): 43-49 (in Chinese).
杨国杰, 沙天阳, 程正泉, 2018. 2009-2015年ECMWF热带气旋集合预报的检验及分析[J]. 气象, 44(2): 277-283. Yang G J, Sha T Y, Cheng Z Q, 2018. Verification and analysis on tropical cyclone ensemble forecast of European Centre for Medium-Range Weather Forecasts from 2009 to 2015[J]. Meteor Mon, 44(2): 277-283 (in Chinese).
张定媛, 田晓阳, 贾朋群, 2018. 热带气旋预报性能及指标综合评述[J]. 气象, 44(12): 1628-1634. Zhang D Y, Tian X Y, Jia P Q, 2018. Review on performance and index of tropical cyclone forecast[J]. Meteor Mon, 44(12): 1628-1634 (in Chinese).
中国气象局, 2012. 台风业务和服务规定(第四次修订版)[M]. 北京: 气象出版社. CMA, 2012. Regulations for Typhoon Operation and Warning Service in CMA (Fourth Revision)[M]. Beijing: China Meteorological Press (in Chinese).
Bettge T W, 1983. A systematic error comparison between the ECMWF and NMC prediction models[J]. Mon Wea Rev, 111(12): 2385-2389.
Buizza R, Leutbecher M, Isaksen L, 2008. Potential use of an ensemble of analyses in the ECMWF ensemble prediction system[J]. Quart J Roy Meteor Soc, 134(637): 2051-2066.
Buizza R, Richardson D, 2017. 25 years of ensemble forecasting at ECMWF[J]. Newsletter, 153: 20-31.
Dong L, Zhang F Q, 2016. OBEST: an observation-based ensemble subsetting technique for tropical cyclone track prediction[J]. Wea Forecasting, 31(1): 57-70.
Du J, Mullen S L, Sanders F, 1997. Short-range ensemble forecasting of quantitative precipitation[J]. Mon Wea Rev, 125(10): 2427-2459.
Duan M K, Ma J H, Wang P X, 2012. Preliminary comparison of the CMA, ECMWF, NCEP, and JMA ensemble prediction systems[J]. Acta Meteor Sin, 26(1): 26-40.
Goerss J S, 2000. Tropical cyclone track forecasts using an ensemble of dynamical models[J]. Mon Wea Rev, 128(4): 1187-1193.
Guo R, Qi L B, Ge Q Q, et al, 2018. A study on the ensemble forecast real-time correction method[J]. J Trop Meteor, 24(1): 42-48.
Lei L L, Ge Y J X, Tan Z M, et al, 2020. An evaluation and improvement of tropical cyclone prediction in the western North Pacific basin from global ensemble forecasts[J]. Sci China Earth Sci, 63: 12-26.
Li W T, Duan Q Y, Miao C Y, et al, 2017. A review on statistical postprocessing methods for hydrometeorological ensemble forecasting[J]. WIREs Water, 4(6): e1246.
Liu Q F, Lord S, Surgi N, et al, 2006. Hurricane relocation in global ensemble forecast system[C]//Proceedings of the 27th Conference on Hurricanes and Tropical Meteorology. Monterey: AMS.
Majumdar S J, Finocchio P M, 2010. On the ability of global ensemble prediction systems to predict tropical cyclone track probabilities[J]. Wea Forecasting, 25(2): 659-680.
Molteni F, Buizza R, Palmer T N, et al, 1996. The ECMWF ensemble prediction system: methodology and validation[J]. Quart J Roy Meteor Soc, 122(529): 73-119.
Peel S, Wilson L J, 2008. A diagnostic verification of the precipitation forecasts produced by the Canadian ensemble prediction system[J]. Wea Forecasting, 23(4): 596-616.
Qi L B, Yu H, Chen P Y, 2014. Selective ensemble-mean technique for tropical cyclone track forecast by using ensemble prediction systems[J]. Quart J Roy Meteor Soc, 140(680): 805-813.
Toth Z, Kalnay E, 1993. Ensemble forecasting at NMC: the generation of perturbations[J]. Bull Am Meteor Soc, 74(12): 2317-2330.
Whitaker J S, Loughe A F, 1998. The relationship between ensemble spread and ensemble mean skill[J]. Mon Wea Rev, 126(12): 3292-3302.
Yamaguchi M, Sakai R, Kyoda M, et al, 2009. Typhoon ensemble prediction system developed at the Japan Meteorological Agency[J]. Mon Wea Rev, 137(8): 2592-2604.
Yamaguchi M, Vitart F, Lang S T K, et al, 2015. Global distribution of the skill of tropical cyclone activity forecasts on short- to medium-range time scales[J]. Wea Forecasting, 30(6): 1695-1709.
Yuan H L, Lu C G, McGinley J A, et al, 2009. Evaluation of short-range quantitative precipitation forecasts from a time-lagged multimodel ensemble[J]. Wea Forecasting, 24(1): 18-38.
Zhang X P, Chen G M, Yu H, et al, 2015. Verification of ensemble track forecasts of tropical cyclones during 2014[J]. Trop Cyclone Res Rev, 4(2): 79-87.
Zhou X Q, Zhu Y J, Fu B, et al, 2019. The development of next NCEP global ensemble forecast system[C]//Proceedings of the 43rd NOAA Annual Climate Diagnostics and Prediction Workshop. Santa Barbara: NOAA: 159-163.