引言

上海区域中尺度模式系统2009年正式投入业务运行，是目前华东区域气象中心主要的数值预报业务模式系统。模式预报范围主要为我国东部地区，模式水平分辨率为9 km。以GFS分析场为初猜场，分别在每日00、06、12和18 UTC(分别对应北京时08、14、20和02时)起报，预报时效为72 h。2011年SMS-WARMS通过了中国气象局组织的区域模式业务化申请，并实时推送模式数据至中国气象局数值预报中心区域中尺度模式预报检验平台进行检验评估。根据近3年数值预报中心发布的业务区域模式统一检验评估季报显示，SMS-WARMS对地面要素和高空形势场的预报都在区域业务模式中名列前茅。从2007年模式建立开始，模式开发人员就十分重视对模式系统预报效果的检验分析，每年都会对汛期较长时间的预报产品进行系统检验和评估(徐同等，2010；2011)，检验结果显示这个版本的模式对小雨的漏报较高，因此对小雨的TS技巧评分相对要低一些。2013年对模式系统进行了升级改进，包括扩大了模式预报区域(图 1)，增加了垂直层次，升级了同化系统(表 1)。具体体现在以下几个方面：同化系统改进方面，由于GFS从2013年使用Hybrid同化技术后背景场资料误差有所减少，因此新业务模式的同化系统增加了模式背景场权重的使用，对模式背景场协方差进行了更新。在物理初始化方面，新版业务模式云分析中，对云水物质的处理进行了调整，以使从观测资料得到的云水物质与模式的微物理方案相匹配。在物理过程方面，长、短波辐射都使用RRTMG方案；考虑了浅对流过程，并对微物理方案进行了调整，包括调整了雨滴末端速度和考虑我国区域的气溶胶的分布情况等。新版模式于2014年6月开始进行业务试运行。为了验证模式改进效果，对新一代上海区域中尺度模式(下文简称SMS-WARMS V2.0) 和原区域中尺度模式(下文简称SMS-WARMS V1.0) 的2014年6—12月的试运行结果进行检验，检验量包括降水、2 m温度场、10 m风速、500 hPa位势高度场和850 hPa温度场。

1 资料

用于检验的模式预报资料为2014年6—12月SMS-WARMS V2.0和SMS-WARMS V1.0模式降水、2 m温度、500 hPa位势高度和850 hPa温度的预报。

使用的观测资料主要包括：2014年6—12月中国2401个台站逐6 h降水量观测数据，并将4个6 h间隔时次的资料进行累加得到24 h累计降水。对形势场的检验选用了我国185个探空站资料进行检验。

2 检验方法 2.1 降水检验方法

降水的检验方法采用2×2列联表计算模式降水的4种评分指数(表 2)(Gilbert, 1984; Murphy et al, 1986; Murphy，1996; 潘留杰等，2014a；2014b；王雨，2002；王雨等，2010；2013；于晓晶等，2014；刘静等，2014；陈超君等，2014a；2014b；许建伟等，2014；张利红等，2014；张宏芳等，2014；成璐等，2014；刘佳等，2014)。4种评分指数分别为：

(1) 预报偏差$BIAS=\frac{A+B}{A+C} $, 表示预报事件发生的次数与观测事件发生次数的比率；

(2) 临界成功指数$CSI=\frac{A}{A+B+C} $, 通常也称之为TS评分；

(3) 公平技巧评分$ETS=\frac{A-{{C}_{1}}}{A+B+C-{{C}_{1}}} $, ${{C}_{1}}=\frac{\left(A+B \right)\left(A+C \right)}{A+B+C+D} $, C₁表示随机预报的值, ETS表示除去随机偶然事件后，事件发生且预报正确的次数与事件发生总次数(预报或者观测)的比率，阈值范围为$-\frac{1}{3}\sim 1 $, ETS=0表示无预报技巧，理想情况下ETS=1；

(4) PSS评分, $PSS=\frac{AD-BC}{\left(A+C \right)\left(B+D \right)} $, PSS反映了成功预报与空报的差异，阈值范围-1~1，理想的预报PSS=1, PSS=0表示无预报技巧。

2.2 温度检验方法

先将模式格点温度预报值插值到站点上，然后用站点值检验温度预报。温度检验方法采用均方根误差RMSE及≤1℃和2℃的预报准确率来检验模式对2 m温度场的预报性能。

(1) 均方根误差其理想值为0，计算公式为$RMSE=\text{ }\sqrt{\frac{1}{N}\sum\limits_{i=1}^{N}{{{({{F}_{i}}-{{O}_{i}})}^{2}}}} $，其中F_i为预报值，O_i为观测值。

(2) 预报准确率指预报正确的站(次)数和预报总站(次)数之比之比。参照中国气象局天气分析预报质量检验方法中的规定(中国气象局，2005)，若满足预报值和观测值之差的绝对值≤1℃和2℃，则认为预报正确。

2.3 形势场检验方法

形势场采用相关系数(R)、均方根误差(RMSE)来分析模式预报场与观测场的相关性和差异。

3 检验结果分析 3.1 降水检验

为了充分认识和了解当前SMS-WARMS V2.0的降水预报水平，对2014年6—12月SMS-WARMS V2.0和SMS-WARMS V1.0模式对原区域模式范围的降水预报进行累加检验。图 2给出SMS-WARMS V2.0和SMS-WARMS V1.0模式24和48 h预报时效的TS评分、ETS评分、PSS评分和偏差。

如图 2a所示，SMS-WARMS V2.0相对于SMS-WARMS V1.0对不同量级降水预报的TS评分均有提高，48 h的提高相对于24 h更为明显。对应于图 2c的PSS评分分析可见，模式对各个降水量级的PSS评分均有提高，说明模式对降水事件发生和不发生的预报能力都进一步增强了。考虑预报事件本身难度的相对性和偶然预报正确项，ETS评分可以给出更为客观的评估结果。如图 2b所示，与SMS-WARMS V1.0相比，SMS-WARMS V2.0除在24 h的大雨预报ETS技巧评分基本持平外，其余量级降水均有提高，同样，48 h的提高相对于24 h更加明显。进一步分析预报偏差发现，SMS-WARMS V2.0相对于SMS-WARMS V1.0的各个量级的预报偏差均有所增加，这说明新模式的空报是比较多的。

图 3显示了2014年6—12月SMS-WARMS V2.0和SMS-WARMS V1.0模式在各个降水量级上的ETS评分分布情况。如图 3a所示，两个模式的ETS评分主要分布在0.4~0.8，SMS-WARMS V2.0模式小雨预报ETS评分在0.6以上区间的分布数要明显高于SMS-WARMS V1.0模式，这也是造成前者ETS平均值高于后者的主要原因。分析中雨的情况可见(图 3b)，两个模式的ETS评分主要分布在0.0~0.5，SMS-WARMS V2.0模式ETS评分在0.2~0.3以及0.4以上区间的分布数要高于SMS-WARMS V1.0模式。两个模式大雨的ETS评分主要分布在0.0~0.4(图 3c)，SMS-WARMS V2.0模式ETS评分在0.1~0.2的分布数要高于SMS-WARMSV1.0模式，但在0.4~0.6的分布数低于SMS-WARMS V1.0模式，因此两者的平均值基本相当。两个模式暴雨的ETS评分主要分布在0.0~0.4，其中SMS-WARMS V2.0模式ETS评分在0.1~0.3区间的分布数要高于SMS-WARMS V1.0模式。SMS-WARMS V2.0模式对大暴雨预报的ETS评分在0.0~0.1和0.3~0.4区间内的分布数要高于SMS-WARMS V1.0模式。

3.2 2 m温度检验

图 4给出2014年6—12月SMS-WARMS V2.0和SMS-WARMS V1.0模式2 m温度场24和48 h预报均方根误差(RMSE)检验结果，从中可见，SMS-WARMS V2.0对6—10月的2 m温度场预报RMSE小于SMS-WARMS V1.0模式，而11—12月的RMSE要大于SMS-WARMS V1.0模式, 从多月平均值来看，SMS-WARMS V2.0温度预报误差总体要小于SMS-WARMS V1.0模式。逐月分析来看，SMS-WARMS V2.0模式2 m温度场预报误差比较稳定，基本在3℃以下，其中8和9月2 m温度场的RMSE达到最小值，低于1.7℃。

图 5为SMS-WARMS V2.0和SMS-WARMS V1.0模式24、48 h的2 m温度预报场预报 < 2℃和1℃的预报准确率检验结果。从中可见，两个模式24 h≤2℃或1℃的预报准确率均大于48 h的预报准确率，≤2℃的预报准确率要高于1℃的预报准确率。分析两模式的差别可见，SMS-WARMS V2.0模式的2 m温度预报准确率更高。从逐月的结果分析，SMS-WARMS V2.0模式从2014年6—9月的24和48 h预报准确率都要高于SMS-WARMS V1.0模式，但2014年10—12月的预报准确率要比SMS-WARMS V1.0模式略低，从多月平均值来看，要高于SMS-WARMS V1.0模式。SMS-WARMS V2.0模式24 h≤2℃(≤1℃)的预报准确率最高可达75%(45%)，48 h≤2℃(≤1℃)的预报准确率最高可达72%(42%)，SMS-WARMS V1.0模式对应的结果分别为75%(45%)和69%(39%)。

从RMSE检验和预报准确率检验分析可知，SMS-WARMS V2.0模式相对于SMS-WARMS V1.0模式对2 m温度的预报性能是有所提高的。

3.3 10 m风速检验

图 6给出2014年6—12月SMS-WARMS V2.0和SMS-WARMS V1.0模式10 m风速24和48 h预报RMSE检验结果。由图可见，SMS-WARMS V2.0模式的预报RMSE从逐月到多月平均值相对于SMS-WARMS V1.0模式都是减小的，其中24 h预报逐月RMSE提高最为明显的为12月，SMS-WARMS V1.0模式为3.11，SMS-WARMS V2.0模式为2.66，相对提高0.45。48 h的结果和24 h比较相似，也是各个月的预报误差较SMS-WARMS V1.0模式都有所减小。

3.4 高空要素检验

以上分析主要对SMS-WARMS V2.0模式和SMS-WARMS V1.0模式的地面要素预报进行比较检验，由于天气变化是大气环流演变的结果，因此要全面的分析模式改进效果，还需要对模式的形势场预报进行检验，以便从多角度、多层面了解模式问题，方便模式开发人员对其进行改进。为了对比分析SMS-WARMS V2.0模式和SMS-WARMS V1.0模式对主要形势场的预报性能，本文对500 hPa位势高度场和850 hPa温度场、风场和相对湿度场进检验分析。

表 3列出SMS-WARMS V2.0模式和SMS-WARMS V1.0模式2014年6—12月各主要高空要素场的对比检验结果。由表可见，SMS-WARMS V2.0模式对500 hPa位势高度场预报的24和48 h相关系数均高于SMS-WARMS V1.0模式，比较两模式预报的RMSE可见，SMS-WARMS V2.0模式的24和48 h预报RMSE都小于SMS-WARMS V1.0模式，从850 hPa温度场的预报效果分析，SMS-WARMS V2.0模式预报RMSE小于SMS-WARMS V1.0模式，相关系数高于SMS-WARMS V1.0模式。SMS-WARMS V2.0模式对850 hPa风场预报的24和48 h相关系数都高于SMS-WARMSV1.0模式，但RMSE大于SMS-WARMS V1.0模式。新版模式对850 hPa相对湿度的预报相对原模式没有提高，RMSE大于SMS-WARMS V1.0模式，相关系数略低于SMS-WARMSV1.0模式。

综合以上分析结果可见，SMS-WARMS V2.0模式就模式开发者和预报员关注的对流层中层高度场预报和低层温度场预报相对于SMS-WARMS V1.0模式都有所改进，对850 hPa风场预报的相关系数高于原模式，而850 hPa相对湿度预报没有提高。

3.5 典型天气个例检验

2014年6月20—23日，受梅雨锋和切变线影响，长江以南地区发生一次大范围降水过程，华东地区出现大范围暴雨天气(图 7)。6月20—21日, 暴雨区主要位于江西北部和安徽、江苏、浙江交界，大暴雨主要出现在江西北部(图 7a)。6月21—22日，暴雨区东移，主要位于江西西部和浙江境内，大暴雨主要出现在浙江西部(图 7b)。6月22—23日，暴雨区主要位于浙江境内和福建北部，大暴雨主要位于浙江中部。

表 4给出了SMS-WARMS V2.0和SMS-WAR MS V1.0模式对本次强降水过程的24 h预报ETS评分，如表所示，SMS-WARMS V2.0模式从2014年6月20日08时起报连续三次的暴雨降水预报技巧都高于SMS-WARMS V1.0模式，其中6月22日08时的预报技巧评分为0.34，而原模式系统为0.24，高出0.1。以2014年6月22日08时起报的结果为例(图 8)，如图 7c所示，实况中的暴雨主要分布在浙江境内，对比SMS-WARMS V1.0和SMS-WARMS V2.0模式，后者相对于前者对暴雨区的预报更为接近，SMS-WARMS V1.0模式对暴雨的预报略偏南，影响范围也小于实况。对比分析两模式此次个例的列联表(表 5)可见，SMS-WARMS V2.0预报和观测均有暴雨的样本数为736个，高于SMS-WARMSV1.0模式的588个，而观测有暴雨预报没有的样本数为101，低于SMS-WARMS V1.0模式，因此高击中率和低漏报率是造成SMS-WARMS V2.0模式预报技巧高于SMS-WARMS V1.0模式的主要原因。

4 结论和讨论

对2014年6—12月SMS-WARMS V2.0模式和SMS-WARMS V1.0模式预报结果进行检验分析，得出以下结论：

(1) 从TS评分的降水统计检验结果来看，SMS-WARMS V2.0模式对各个量级降水的预报技巧都优于SMS-WARMS V1.0模式。从ETS评分的统计结果和ETS评分分布图分析可见，除了在大雨量级的ETS评分基本相当，SMS-WARMS V2.0模式其他量级的ETS评分都优于SMS-WARMS V1.0模式。从PSS评分的检验结果来看，SMS-WARMS V2.0模式对降水事件发生和不发生的预报能力相对于SMS-WARMS V1.0模式均进一步增强。两模式的预报偏差均以偏大为主，SMS-WARMS V2.0模式偏大更明显一些。

(2) SMS-WARMS V2.0模式对2 m温度预报效果较好，多月平均的预报RMSE小于SMS-WARMS V1.0模式，且预报准确率高于SMS-WARMS V1.0模式，表明SMS-WARMS V2.0模式对2 m温度的预报效果优于SMS-WARMS V1.0模式。

(3) 从10 m风的预报检验结果看，SMS-WARMS V2.0模式预报RMSE从逐月到多月平均值相对于SMS-WARMS V1.0模式都是减小的, 其中12月误差减小最为明显。

(4) 高空形势场的检验结果表明，SMS-WARMS V2.0模式对500 hPa位势高度场和850 hPa温度场的预报性能都较SMS-WARMS V1.0模式有改进，预报场和观测场的相关性有所提高，预报RMSE相对减小。SMS-WARMS V2.0模式对850 hPa风场预报的24和48 h相关系数都高于SMS-WARMS V1.0模式，但RMSE大于SMS-WARMS V1.0模式。新版模式对850 hPa相对湿度的预报相对原模式没有提高，RMSE大于SMS-WARMS V1.0模式，相关系数略低于SMS-WARMS V1.0模式。

本文采用2014年6—12月的数据资料，对SMS-WARMS V2.0模式的降水、2 m温度场、10 m风速、500 hPa位势高度场、850 hPa温度场、风场和相对湿度进行了初步检验，接下来还需要收集更多预报样本进行深入研究，分析模式对更多要素的预报性能，为模式研发人员提供有利于模式改进的有益信息。