快速检索
  气象   2017, Vol. 43 Issue (5): 598-609.  DOI: 10.7519/j.issn.1000-0526.2017.05.009

论文

引用本文 [复制中英文]

江勤, 张蕾, 王晓峰, 等, 2017. 飞机气象探测资料(AMDAR)质量控制与质量分析[J]. 气象, 43(5): 598-609. DOI: 10.7519/j.issn.1000-0526.2017.05.009.
[复制中文]
JIANG Qin, ZHANG Lei, WANG Xiaofeng, et al, 2017. Quality Control and Quality Analysis of Aircraft Meteorological Data[J]. Meteorological Monthly, 43(5): 598-609. DOI: 10.7519/j.issn.1000-0526.2017.05.009.
[复制英文]

资助项目

上海市科学技术委员会重点基金(13231203300) 和国家科技支撑计划项目(2012BAC21B02) 共同资助

第一作者

江勤,主要从事观测资料质量分析和同化应用.Email:jiangq@shnwp.org

通信作者

张蕾,主要从事台风数值预报技术和非常规观测资料同化技术研究.Email:zhangl@mail.typhoon.gov.cn

文章历史

2016年2月03日收稿
2016年12月27日收修定稿
飞机气象探测资料(AMDAR)质量控制与质量分析
江勤 1, 张蕾 2, 王晓峰 2, 吴峻石 1    
1. 上海市宝山区气象局,上海 201901
2. 中国气象局上海台风研究所,上海 200030
摘要:文章基于NCEP的AMDAR质控方法,建立了一套业务质量控制系统。选取2014年全球AMDAR资料对系统进行测试,系统运行稳定,并根据质控结果统计分析了AMDAR资料各质量类型演变及分布特征。主要结论如下:(1) 2014年全年平均逐小时剔除率为5.79%,其中重复性报文占主要部分。(2) 报文数量和报文质量均表现出明显的日变化特征,重复性报文在报文数量密集时剔除率增加,可疑数据和时空不一致性相反。(3) 飞机报文质量在各个高度层表现出不同的特征,质量问题主要出现在近地面层、动力调整高度和飞行状态转换及巡航高度。(4) 经纬度阈值变化对重复报文剔除结果影响敏感度最高,主要反映在中高层,高度阈值影响表现在中低层。(5) 剔除疑误报文后计算的全球平均温度呈现明显正异常,风速负异常。
关键词AMDAR    质量控制    质量分析    
Quality Control and Quality Analysis of Aircraft Meteorological Data
JIANG Qin1, ZHANG Lei2, WANG Xiaofeng2, WU Junshi1    
1. Shanghai Baoshan District Weather Office, Shanghai 201901;
2. Shanghai Typhoon Institute, CMA, Shanghai 200030
Abstract: In this paper, a quality control system was established based on the AMDAR quality control method from NCEP. Using one-year AMDAR dataset, the system was tested and the characteristics of each AMDAR data quality type were examined. The main conclusions are as follows. (1) The hourly rejection rate of AMDAR data through year 2014 is 5.79%, and most of the rejections occur in near duplicate check. (2) There is a significant diurnal variation feature for both quantity and quality of AMDAR data. Duplicate reports increase with the growth of data quantity, while suspicious and disorderly reports decrease with the growth of data quantity. (3) The characteristics of the data quality are different in different height layers. Quality problems mainly occur in the near-surface layer, and the heights where the power or the phase of aircraft are adjusted. (4) The result of near duplicate check is highly sensitive to the threshold of lat/lon, which mainly occurs in the upper layers, and the impact of height threshold happens in the lower layers. (5) The averaged global temperature after data quality control is higher than original reports at each height, while the averaged wind speed becomes lower than the original.
Key words: AMDAR    quality control    quality analysis    
引言

AMDAR(aircraft meteorological data relay)系统指的是利用飞机上机载传感器、终端和通讯系统,收集、编码气象数据通过卫星或雷达传输至地面接收站,并由国家气象局信息中心处理、规整及必要的质量控制传输到GTS(global telecommunication system)进行全球数据交换(Stickland and Gooters, 2004; Moninger et al, 2003)。我国从2002年开始建立AMDAR资料数据传输和接收平台及相关业务流程,并通过实时数据库和卫星广播资料下发到各级气象部门(廖捷和熊安元,2010)。

目前的常规观测系统中对于高空的探测主要依赖于每日两次的探空气球观测(个别区域站或汛期时次数有适当增加),缺点是时间间隔过长,而风廓线、微波辐射计等新型仪器探测高度相对较低,准确性也还不能得到很好的保证。AMDAR资料可以很好地解决现有常规资料观测网布局中时空分辨率较稀疏的问题,飞机在起飞阶段具有较高时空分辨率,可以很好地弥补这些不足,特别是在偏远地区或大洋上空,现有的探空观测几乎是空白的,这在实际应用中有重要的价值。黄卓等(2006)利用AMDAR资料在预报业务中分析了几次天气过程,拓瑞芳等(2006)分析了AMDAR资料在一次冷锋过境中的重要作用,上述研究均表明,在预报服务中AMDAR资料可有效提高预报能力(Cardinali et al, 2003)。在数值试验中,同化AMDAR资料可有效修正模式初始场(Mamrosb, 2003)。王晓峰等(2015)指出在快速更新同化系统中同化AMDAR资料可有效改善局地强对流模拟。王瑞文等(2014)利用GRAPES数值预报系统测试证明AMDAR资料对同化分析场和预报均有改善,并且能提高天气过程分析中降水区域和强度的模拟准确性(Liang et al, 2009)。本文AMDAR质量控制业务化系统的建立,可更好地服务于华东快速更新同化系统(陈葆德等,2013)。

然而,不同于常规观测资料,AMDAR资料受飞机航线的影响时空分布极不均匀,增加了其在数值预报业务系统上的使用难度,因此,为获取高质量的AMDAR资料,首先需要对其质量进行充分的评估分析。相比于探空资料已有大量的研究发现(Miloshevich et al, 2001李平等,2013),对于AMDAR资料的质量问题的探讨还有待进一步深入(Benjamin et al, 1999; Ballish and Kumar, 2006),且其中更侧重于数据对比来量化和修正系统偏差。Schwartz and Benjamin(1995)研究表明在时空分辨率相似的情况下,探空温度比AMDAR高出0.2℃。Ding et al(2015)利用探空资料充分考虑两者资料位置漂移、飞行状态、时空差异等特征对国内AMDAR资料进行了较为完善的评估。廖捷和熊安元(2010)利用MADIS方法对近几年全球和国内AMDAR资料质量进行了对比分析,结果表明,我国AMDAR资料温度观测错误率低于全球水平,但风要素观测错误率高于全球水平。此外,很多机构利用它们的数值预报模式(NWP)作为猜测场来控制AMDAR质量,通常选用探测值与预报值的平均偏差的倍数来定义剔除阈值,同时主要考虑对同化系统和模式结果的影响(Ballish and Kumar, 2008),但NWP具有局地性,不同机构的预报模式和预报结果均有不同,因此质量结果并不是都适用于全球。

国内外大多数据中心都有质控监测系统,国家气象中心陶士伟等(2009)设计的质控方案分析表明AMDAR资料系统偏差较小。刘小魏等(2007)分析了AMDAR资料的时空分布特征,结果表明其质量与探空观测质量相近。国际上NCEP(National Centers for Environmental Prediction)、NRL(Naval Research Laboratory)、FSL(Forecast Systems Laboratory)、RNMI(Royal Netherlands Meteorological Institute)、EC(European Centre)及其他各区域中心均运行有自身开发的质控系统(Moninger et al,2003)。另外MADIS(meteorological assimilation data ingest system)针对飞机探测资料有质控主要方法简要介绍(http://madis.noaa.gov/madis_acars_qc.shtml),部分算法与本文质控方案相似。Benjamin et al(1999)将ACARS观测资料在空间上分类发现观测误差随纬度减小,因为其中包含了很多中尺度天气因素。运用更多的方法关注于质量表现特征的统计有助于估算真实的随机误差(Drüe and Heinemann, 2008)。NCEP质量控制方法(Systems Development Office, 1994)根据AMDAR资料特征结合运用了多种质控方案,相比于MADIS等质控方法包含更多的细节分类,可以有效判断各类型质量问题,在国内的应用研究成果并不多见。本文基于NCEP的质控提供的程序,设计了数据处理流程,修改了部分细节,建立了一套业务质控系统,并以此为基础,对2014年全球的AMDAR资料进行质量评估。不同于众多学者对于AMDAR整体系统偏差的关注,本文着重统计分析AMDAR资料的质量演变分布特征,并借助于质控结果进行多类型质量问题统计讨论。可进一步深入对AMDAR质量状况的认识研究,为AMDAR随机误差及误差结构特征的相关分析工作(王瑞文等,2016)提供依据和补充,并为AMDAR数据同化应用于华东区域数值模式提供数据质量评估。

1 资料说明

所用数据起止时间为2014年1月1日至12月19日,以1 h为时间窗口(整点前后半小时)储存一个数据文件。其中由于数据接收和传输问题,会出现资料接收不完整情况,主要包括:① 完全没有报,共434组;② 只有一个航班的报文,共8组;③ 有多个航班报文,但个数很少(少于250个),共38组。全年报文中以上比率达到5.67%,该部分数据不参与本文统计计算。

近几年报文数量剧增,2002年每日在GTS上交换的AMDAR报文仅100多份,2009年为两万多份(陶士伟等,2009),目前可达十万份左右。图 1为2014年10月1日全天的AMDAR报文水平分布图,不同于其他文献所述的报文数量集中在四大区域分布(王瑞文等,2014),因所获取资料的限制,未能获取到美国国内资料,因此北美资料较少,国内资料除GTS交换的资料之外,还包含国内民航收集的资料,现有资料主要分布在欧洲大西洋航线,东亚和澳大利亚为主的大洋洲地区,当日24 h累计共96215个。下文的全球概念均指的是当前资料覆盖区域,蓝色为未剔除报文,共90913个,绿色为经过质量控制后被剔除报文,为5302个,主要分布在中国中东部地区和大洋洲东部海域。当日平均剔除率为5.51%。国内民航提供的飞机报资料基本未做质量预处理,故剔除报文较多,因其航线分布主要集中在中东部地区。起飞和降落时期易产生质量问题,故剔除报文主要分布在各大城市周边(Ding et al, 2015)。

图 1 2014年10月1日AMDAR资料全球水平分布 (蓝色为通过质量控制的报文,绿色为剔除报文) Fig. 1 Horizontal distribution of global AMDAR dataset on 1 October 2014 (Blue dots represent reports having passed QC, and green dots represent those rejected by QC)
2 质量控制方案介绍 2.1 质量控制框架

目前建立的AMDAR资料质量控制方案基于NCEP的AMDAR质量控制程序,并沿用其主要质量控制(质控)参数、设计数据处理流程和修改部分质控细节。质量控制流程见图 2,包括重复性检查、有效性检查、持续性检查、极值检查、位置一致性检查、时空一致性检查、可疑数据检查等。目前华东区域数值模式快速同化更新系统1 h更新一次,所接收到的飞机报资料也是每小时储存整点前后半小时的报文。该质控系统本身并无时间窗口限制,针对实际同化应用需求,目前以1 h为时间窗口,每小时循环统计一次,在该时间窗口内针对相同航线的报文逐一进行质控,在按航班归类后,不同航线质控相互独立。由于地面接收站同时接收多架飞机发送的报文,单架飞机在单次飞行过程中获取的观测数据不能被连续接收,所以须进行必要的时间排序和按航班归类删选出单次飞行的完整航线以满足质控检查的要求。获得的观测资料最高时间分辨率为分钟,低于观测频率,所以会出现同一观测时间出现多个采样报文的情况,需要将这些点按航线轨迹再排序,以保证其时间和空间变化的一致性。各项质控项目结束后对每组数据均产生质控标识符,错误报文直接剔除不参与后续质控,标示为正常和疑误的报文继续进行,同时输出说明文件,统计剔除率。在算法细节和程序设计上较其他方法更为详细,主要质控项目介绍如下。

图 2 AMDAR资料质量控制系统流程 (Y通过,N为不通过) Fig. 2 Flowchart of AMDAR quality control system (Y means pass, N means fail)
2.2 主要质控项目介绍

(1) 重复性检查(duplicate data check):主要判断在时间、经纬度和高度均比较接近时是否存在多组近似探测数据,详见3.4节参数率定讨论。引起这种情况的主要有:① 发送和接收报文重复,解码错误;② 获得的观测资料的时间分辨率为分钟,但实际仪器采样分辨率最高可达几秒;③ 飞机停在地面、因特殊情况造成飞机迂回飞行;④ 传感器定位故障等。

(2) 有效性检查(invalid data check):其目的是依据飞机元数据信息和观测数据判断当前报文可用性,主要包括① 航班号、时间、经纬度、高度信息有其一存在缺测的情况;② 600 ft(1 ft=0.3048 m)以下飞行状态为其他(上升、下降、巡航以外的飞行状态);③ 飞机飞行高度超过116.5 hPa;④ 温度和风数据均为缺测或均非常接近0的情况等。

(3) 持续性检查(stuck data check):主要是检查仪器失灵造成的观测数据不变或变化很小。要求相邻报文资料差异大于给定判据。若相邻报文资料差异小于给定判据连续出现3个及以上,则认为仪器失灵不通过持续性检查。温度、风速、风向的检查判据分别为0.05℃、0.05 m·s-1和0.5°,高度检查判据为10 ft(仅适用于低于8000 ft以下的爬升高度,以上不进行高度判断)。时间、经度、纬度相同报文出现3个以上则也认为持续性检查不通过,应予剔除。

(4) 极值检查(gross check):要求观测要素的观测值在相应的纬度和高度条件下应在一个合理的范围内。主要包括:① 经纬度信息,纬度在-90°~90°,经度在0°~360°;② 气压高度在50~1080 hPa,不超过飞机的最高飞行高度;③ 极限低温,温度低于205.0 K时,风速风向都缺测,证明传感器失灵;④ 各高度温度和风速阈值见表 1表 2

表 1 极值检查中的温度阈值设置 Table 1 Threshold of temperature in gross check

表 2 极值检查中的风速阈值设置 Table 2 Threshold of wind speed in gross check

(5) 位置一致性检查(position check):主要是排除因时间采集与飞机定位错误引起的数据质量问题,可借助前后报文来判断当前报文在时间、经纬度、高度变化上是否保持一致性。按时间、航班及航线排序之后,可以再判断是否存在重复报文(原理和重复性报文检查类似),此外,还可以发现水平飞点(经纬度严重偏离周围报文)、高度飞点或孤立点(时间或位置均和周边报文差异过大,一致性联系较小,记为疑误报文)等。主要包括:① 在时间( < 60 s)、高度( < 1.5 ft)差异较小时判断水平差异,此时由于高度差较小主要发生在巡航阶段,球面距离超过115 km,记为飞点;② 在时间( < 60 s)、经纬度( < 0.125°)差异较小时判断高度差异,主要发生在飞机起降阶段,若高度差大于1000 ft,认为存在飞点;③ 在经纬度( < 0.125)、高度( < 50.5 ft)差异较小时判断时间差异,用前后报文的时间和距离来估算当前报文的时间,差异较大则认为时间错误,具体阈值依飞机前后点的飞行状态和速度而定。④ 若和前后报文差异过大记为疑误孤立点,差异均很小记为重复。

(6) 时空一致性检查(ordering check):飞机飞行过程中时间变化的同时空间位置也随之变化,时空一致性检查可探讨报文随时间和空间变化过程中的可靠程度。主要借助同一航线前后时间不同的多个观测点的数据来判断当前点的合理性,包括:① 水平速度的合理性:运用飞机相对地面飞行速度(两点经纬度坐标计算球面距离除以时间)和采集器测得的风速计算飞机相对空气运动速度,当该速度>525 m·s-1时或相邻两报文运动方向改变超过90°,认为存在错误,再利用前后点的报文两两组合计算多组相对空气运动速度,比较剔除其中的异常点;② 垂直速度的合理性:通过高度计算的垂直速度>200 ft·s-1,或相邻两组报文垂直速度方向相反且垂直速度均>100 ft·s-1,认为存在错误;③ 距前后观测点时间、距离或高度差过大时该质控无法使用,记为疑误等。

(7) 可疑数据检查(suspect data check):可疑数据指的是以上质控方法不适用的报文数据。例如同一航班报文数量只有一个或者两个、同一航班中错误报文过多导致无法正常进行质控。此类数据以可疑标示符另行标出,方便人工或其他方式对其进一步处理。

注:源程序细节众多,本文难以一一列举,这里只做简要介绍。

3 质量控制结果和质量分析 3.1 报文质量平均剔除情况

本质控方案每小时统计计算一次剔除率(见2.1节具体介绍),运行状况稳定。表 3为AMDAR资料经不同质量控制步骤后全年平均逐小时剔除率,总剔除占比为5.79%,相比较MADIS结果(廖捷和熊安元,2010)和国家气象中心质控系统结果(陶士伟等,2009)剔除比例较多。主要由于方法上的存在一定差异,涉及质控范围不同,本文所用的质控细节更多,剔除要求也更为严格。由于航班密集、报文多次发送、地面停留等原因,接收的AMDAR资料中存在大量重复报文,重复性检查剔除率最高,平均剔除率达到3.86%。其次,在逐小时时间窗口内也存在大量的可疑数据,通常由报文时间间隔过长和单次航班报文数量过少造成,占到1.57%。以上两种错误主要来自于航线管理和数据接收问题等。

表 3 各项质控步骤AMDAR资料平均逐小时剔除率 Table 3 The hourly mean rejection rate of each QC procedure

未通过有效性检查、持续性检查和极值检查的报文仅占约0.035%。表明因仪器探测误差造成的错误很少,数据准确性较好。

位置一致性和时空一致性检查的错误率占到0.75%,主要由于探测环境和定位问题造成。

另外,根据不同飞行状态对资料数量和质量进行了统计分析。如表 4所示,因巡航时间占整个飞行的大部分时间,此时报文数量最多,逐小时平均采集1850个报文,且质量最好,剔除率仅为2.65%;上升状态数据采集时间分辨率可达3~60 s,远高于巡航时期1~60 min的时间分辨率(Stickland and Grooters, 2004)。故数量也较多,逐小时达到1648个,同时也是整个航线中错误报文出现数量最多的阶段;下降状态采集时间分辨率也较高,达20~300 s (Stickland and Grooters, 2004)。但此时飞机快速下降,报文数量相对较少,仅为上升阶段的1/5,调整频繁,出现前后不一致性的概率明显增加,报文剔除率最高,达到17.16%,是最易出现质量问题的飞行状态。其他飞行状态主要包括,飞机不稳定和飞行状态缺测的报文,数量很少,剔除率达到8.3%,高于平均水平。

表 4 不同飞行状态下逐小时平均报文数量及剔除率 Table 4 Hourly averaged quantity and rejection rate of reports in different flight phases
3.2 报文质量日变化和季节变化特征

依赖于航班安排,报文数量呈明显的日变化和季节变化趋势,同时报文质量也表现出相应的特征。因北半球资料远多于南半球,东半球多于西半球,主要体现该区域报文特征。图 3为报文剔除率(点实线)和报文数量(点虚线)月均日变化图,横坐标为月份间隔,分别表征报文剔除率和数量在各个月的平均日变化特征。由图可见,报文数量日变化特征明显,且各月趋于稳定,呈单峰型分布。平均状态来看,如图 4所示,06—10时(世界时,下同)报文数量最多,18—23时数量最少,主要和航班安排相关联,数量分布特征与其他年份(刘小魏等,2007)基本相似。从季节变化上来看1、2、7、8、9月的报文数量多于其余月份,平均逐小时报文超过4000份,其余平均在3500份左右,12月报文最少,低于3000份。报文数量主要和航班数量相关联,一定程度上可以反映人类活动的活跃规律。报文质量总体夜间优于白天,21时剔除率最低,与报文数量最少时间基本对应,报文数量减少利于航线管理更高效,令重复性报文明显减少(图 5)。质控剔除率呈多重震荡,形态基本稳定,剔除率最高时段出现在03和15时左右两个峰值区。就2014年当年来看,春夏季节报文质量优于秋冬季节,报文质量季节变化的普遍特征还需更多年份的报文数据来统计验证。

图 3 2014年逐小时报文数量(点虚线)与剔除率(点实线)月均日变化 Fig. 3 Monthly-averaged diurnal variation of quantity (dot-dashed line) and rejection rate (dot-solid line) per hour in 2014

图 4图 3,但为年平均日变化(a)和月变化(b) Fig. 4 Same as Fig. 3, but for annual-averaged diurnal (a) and monthly (b) variations

图 5 各项质控类型剔除率月均日变化 (图中各线条缩写全称见表 3) Fig. 5 Monthly-averaged diurnal variation of rejection rate of each QC procedure (The full name of abbreviations in this figure can be found in the notes in Table 3)

然而,各个质控错误类型表现出不同的日变化特征。由图 5可知,重复性报文占了剔除报文的绝大部分,表现出主要特征。在日变化上报文重复和报文数量呈正相关性,变化趋势接近,主要表现在航班密集时:① 地面停留等待时间变长;② 低空复飞调整频率变高;③ 高空巡航时通常间隔1000 m分布航线,航线切换频繁时,航线重复利用率相应变高。位置一致性检查剔除的报文有类似日变化特征。航线密集使航线调整概率升高,偏离航线的位置点增多从而引发位置不一致性。但季节变化上看,报文数量最密集的6—8月,重复性报文相对呈低值,可见两则的相关性受季节因素影响较大。

可疑数据和时空不一致性剔除率日变化特征与之相反,出现在重复性报文最少的21—00时,此时段报文数量也是一天中的最少值。可疑数据主要来源于单次航班中报文过少或被剔除报文过多的情况,这会导致无法进行正常质控从而产生数据可疑。说明在夜间航班数量减少的同时,单次航班飞行中报文连续接收的稳定性也无法得到很好的保证,造成飞点增多,报文过多缺失也影响水平速度和垂直速度计算判断,导致时空一致性的剔除率增加。

此外,有效性检查、持续性检查和极值检查剔除占有率很小,相对可忽略其影响。

3.3 报文质量垂直分布特征

报文数量在不同高度差异明显,也表现出不同质量特征。图 6为AMDAR资料在各个高度层的报文数量占总报文数量的百分比以及各个高度层的剔除报文数量占全部被剔除报文数量的百分比,图中每一点对应的纵坐标均指此气压高度与下一气压高度间的厚度层。飞机巡航高度国内航班在6800~8000 m,国际航班超过9000 m,其中200~250 hPa巡航高度报文数量最多,比重超过20%,且质量相对较好,占有率低于全部被剔除报文的10%。再往上资料稀少,150 hPa以上没有报文资料。报文数量在各个高度的分布特征相比2005年以来的国内报文分布(廖捷和熊安元,2010王瑞文等,2014)基本稳定,本文因国际航班加入统计,在中高层报文占有率明显增加。

图 6 AMDAR资料在各个高度层的报文数量占总报文数量的百分比(虚线)以及各个高度层的剔除报文数量占全部被剔除报文数量的百分比(实线) Fig. 6 The percentage of quantity (dashed line) in each layer among quantity of all reports and the percentage of rejected reports (solid line) in each layer among total rejected reports

AMDAR资料质量问题频发高度主要出现在300~400、400~500和700~850 hPa以及近地面层:925 hPa以下为近地面层,为飞机在地面滑翔和停留阶段,但报文持续发送,其中很多为重复报文,剔除报文也相对较多;700~850 hPa为接近机场的低空领域,该高度范围内报文数量和质量问题主要和飞机飞行状态有关:在上升过程中为飞机阶梯式爬升的调整高度,有利于飞机动力调整从而节省燃料;下降过程中处于进近阶段,为飞行员对准跑道准备下降的特殊阶段,需要飞机减速及角度调整;另外遇特殊情况航空管制时为飞机复飞高度。质量最差厚度层出现在300~500 hPa,此为飞行状态由上升至巡航阶段转换的高度,航线重叠较多,且此厚度层大气运动活跃,为中高云出现高度,出入云频繁,湍流多发,其中400~500 hPa高度报文数量相对不多但质量问题出现比重较高,3.4节将针对其中重复性报文质量来源具体分析。200~250 hPa巡航高度报文质量高于300~400 hPa,此高度通常国际航班飞行高度,距离越远巡航高度更高,受航线转换影响更小,并且国际AMDAR在参与GTS交换前会经过一些质量处理,因此质量相对较优。

图 7给出的是各个高度各项质控剔除报文数量占全部被剔除报文数量的百分比。重复报文在各个高度依然占主要比重,主要出现在300~500 hPa,其中700~850 hPa高度飞机飞行状态的调整更易产生航线偏离,易引发定位问题,导致位置不一致性错误较其他层次明显增多。此外,250 hPa高度以上可疑数据超越重复性报文数量最多,此时飞机基本完成动力调整处于高速巡航阶段,相邻报文距离远时间分辨率低,报文重复出现的概率小,但同时在固定的质控时间窗口下同一航班报文数量相对减少,更易生成可疑报文。时空不一致性主要来源于飞行状态的调整,导致瞬时的质量突变,因此尽管数量较小,在300~500 hPa依然明显可见。其余质量类型有效性检查、持续性检查、极值检查发现的错误很少,证明AMDAR观测资料经过多年发展,已比较成熟稳定,偏差很小(陶士伟等,2009)。

图 7 各个高度各项质控类型剔除报文数量占全部被剔除报文数量的百分比 (图中各线条缩写全称见表 3) Fig. 7 The percentage of rejected reports of every QC procedure in each layer among total rejected reports (The full name of abbreviations in this figure can be found in the notes in Table 3)
3.4 重复性检查参数率定分析

该质量控制系统中各参数阈值主要保留NCEP方法的设定,参数设定的不同对结果会造成很大不同,本地化应用过程中需要进一步讨论。从以上分析可见在所有质量问题中,重复性报文占最主要部分,表现出报文质量问题的主要特征,因此该节重复性检查参数率定分析,主要是针对重复性检查过程中的各主要参数阈值展开测试和讨论,可有效判断参数本地化适用性,并进一步认识重复性报文质量问题的来源和特征。NCEP质控方案中重复性报文分为完全重复报文(exact duplicate)、近似重复报文(near duplicate)、可疑重复报文(encode duplicate),可疑重复报文指的是前后报文空间范围差异很小但是探测数据差异很大,此类报文可能是真实的重复性报文但由于设备故障或信号解码错误从而造成探测数据不同,也可能是真实的局地冷暖气团作用的结果,因此以encode duplicate标出继续参与后续质控,不直接剔除。经质控信息排查,重复性剔除报文绝大多数来自near duplicate,以下主要讨论near duplicate参数率定对报文剔除的影响。

NCEP质控方案中水平和垂直范围选取不同的阈值,同一航线前后两组报文在以下两种情况下可将报文定义为near duplicate(图 8)。图 8a选取较大的垂直范围和较小的水平范围,因垂直气象要素变化大于水平,定义为重复报文的温度和风阈值相对较小,各个阈值范围为水平经纬度差异0.025°,高度差100.5 ft,温度差0.65°,风速差0.55 m·s-1图 8b选取较小的垂直范围和较大的水平范围,各个阈值范围为水平经纬度差异0.055°,高度差15 ft,温度差1.25°,风速差1.25 m·s-1

图 8 近似重复性检查(near duplicate)各参数阈值设置 (一定的空间范围内温度和风速相似则认为是近似重复性错误,因飞机有不同飞行状态,分为两种空间选取方式,当两则其一满足时即标记为错误报文。图中立方体长和宽分别表示水平经、纬度阈值,高度为垂直阈值,ΔT和ΔSpd分别为温度和速度阈值) Fig. 8 The parameter threshold setting in near duplicate check (If similar temperatures and wind speeds are found in a limited space, we define it to be near duplicate error. Because aircrafts have different flight phases two spatial conditions are defined. When either of the check fails, we mark it an error. The length and the width of the cube in figure stand for horizontal thresholds in latitude and longitude, the height stands for vertical threshold in feet, ΔT and ΔSpd represent a variety of temperatures and wind speeds, and the thresholds differ between the two conditions)

针对参数率定的分析可以更好地把握重复性报文的来源及特点,本文设计了多组扩大(1.5倍)和缩小(0.5倍)经纬度、高度、温度、风速参数阈值试验,图 9统计了各试验在不同高度的反馈特征。由图可知经纬度变化对剔除结果敏感度很高,且主要集中在中、高层。AMDAR资料由多个数据中心提供,各个中心数据采集设备及分辨率略有不同,对水平经纬度参数率定造成很大难度,可能由阈值设置不当导致。飞机上信息及报文传输主要有高频信号VHF(very high frequency)和卫星传输两种方式,处于经济上因素大部分航班采用VHF方式,因受其信号覆盖限制,特别是高空海上巡航等,报文将会有半小时及更长时间的延迟(WMO,2003),容易产生通讯上的报文重复发送或接受。另外在中高层飞行状态转换高度及巡航高度,对高速滑翔的飞行器进行定位及信号捕捉易产生偏差。高度阈值影响集中在飞机处于爬升阶段的中低层,相比于水平经纬度影响相对较小,此时飞行速度相对较小,高度变化频繁。温度阈值几乎没有影响。飞行器飞行过程中无法直接探测空气流动速度,需要通过测算空速(相对空气飞行速度)和地速(相对地面飞行速度)来换算,同样受地面装置定位误差影响,误差影响也出现在中高层大气。综上所述,重复性报文主要来自于飞机定位问题及报文传输和数据管理规则。

图 9 经纬度(a)、高度(b)、温度(c)、风速(d)不同阈值设定下各个高度重复性报文占全部被剔除报文数量的百分比 (0.5, 1, 1.5分别表示不同倍数的阈值设置) Fig. 9 The percentage of rejected reports with different thresholds of lat/lon (a), height (b), temperature (c) and wind speed (d) in each layer among total rejected reports (0.5, 1, 1.5 stand for the thresholds in different multiples, respectively)

图 9各阈值在各高度的敏感性分析可知,重复性报文数量主要来源于系统定位阈值设置,且在中高层对经纬度阈值设置较为敏感,低层主要来自高度阈值变化。沿用图 8两种判断方式,因为在高层600 hPa以上高度阈值变化对结果影响很小,可见目前重复性报文主要来自图 8b的经纬度阈值设置,保持高度阈值不变同时扩大100倍经纬度阈值,将该部分报文经纬度差异建立概率密度函数分布(probability density function, PDF)图,讨论其变化特征。由于现有报文数据的数据管理方式问题,报文记录时间仅保留到分钟,秒级时间全部记录为“00”,无法直接判断实际报文分辨率,只能通过报文特点估计。民航飞机起飞速度通常超过200 km·h-1,逐步加速至巡航高度达到500~1000 km·h-1,通常飞机在第一上升阶段时间分辨率为3~20 s,第二上升阶段为20~60 s,巡航高度为1~60 min。[详见Stickland and Grooters(2004)图 2]故巡航高度经纬度分辨范围估计为0.167°~1°,在第二上升阶段,若以300 km·h-1时速估算,最低分辨率可达0.0167°。图 10a所示,在高度变化很小的情况下大部分集中在差异在0.1°内,基本符合正态分布。将全年重复报文根据航班号分类累计,重复性报文基本来自相同航班,其中以“CNF”开头合计占到重复报文的90%以上。故该航班重复性报文为采集规则不一致时间分辨率不同造成,针对该家航空公司可适当将经纬度降低阈值至0.0167以下。此外,若重复报文出现在不同航班之间,低于安全飞行间距,作为重复性报文剔除,判断为信息采集错误造成。

图 10 重复性检查中不同高度相邻报文水平和高度差异概率密度函数分布(PDF)图(a)300~600 hPa和(b)600~850 hPa时高度差异低于15.5 ft时经纬度差异在1.67°范围内的概率密度函数分布图;(c)600~850 hPa和(d)低于850 hPa时经纬度差异低于0.025°时高度差异在1000 ft范围内概率密度函数分布图 (选取依据:经图 9分析得到300~600 hPa对经纬度阈值敏感,850 hPa以下对高度阈值敏感,600~850 hPa两则都有影响。利用图 8b在高层扩大100倍经纬度差异阈值讨论水平分辨率分布特征,利用图 8a在低层扩大10倍高度差异阈值讨论垂直分辨率特征) Fig. 10 The probability density distribution of horizontal and vertical differences between adjacent reports in each layer in duplicate check: Fig. 10a and Fig. 10b present the probability density distribution when vertical difference is less than 15.1 feet and horizontal difference is less than 1.67° in 300-600 hPa and 600-850 hPa respectively; Fig. 10c and Fig. 10d present the probability density distribution when horizontal difference is less than 0.025° and vertical difference is less than 1000 ft in 600-850 hPa and 850 hPa-surface, respectively [By the analysis of Fig. 9, the result is sensitive to horizontal threshold in upper atmosphere (300 — 600 hPa) and vertical threshold in lower atmosphere (850 hPa—surface), while both are influential in 600 — 850 hPa. So the character of horizontal resolution is discussed by magnifying the value "Lat/Lon" 100 times based on Fig. 8b in upper atmosphere, while vertical resolution is discussed by magnifying the value "Height" 100 times bavsed on Fig. 8a in lower atmosphere]

低层850 hPa以下高度主要来自高度阈值变化影响,同理采用图 8a的阈值设置,保持经纬度阈值不变同时扩大10倍高度阈值建立概率密度函数分布图。如图 10d所示,大于0为上升阶段的分布特征,小于0为下降阶段的分布特征,上升阶段数据数量远多于下降阶段。单位时间内高度变化主要集中在200~400 ft,基本符合正态分布,并无明显的冗余报文特征,且小于100 ft报文占有较少,可适当降低阈值为0.5倍。在600~850 hPa高度,经纬度和高度阈值变化均有一定程度的影响(图 9),故将两种情况分布给出,如图 10b图 10c所示。同样经纬度差异分布与高层类似,且主要集中在“CNF”开头的航班。高度差异在该高度范围主要集中在200~500 ft,概率密度函数分布较850以下更为疏散,在0值附近有明显的冗余特征,建议保留目前阈值设置。

综上所述,由于目前报文数据管理方式(时间最低分辨率只保留到分钟级)无法直接精确判断各个航班的分辨率特征,需要更精确的数据集的建立,以及在数据应用过程中对各个航班的特征累计以帮助分类处理,才能更精确地进行质量管理。另外,各个算法和参数的本地化适用讨论等工作,将在系统稳定运行和应用一段较长的时间序列后陆续展开。

3.5 质控前后探测数据差异

AMDAR质量控制可有效排除有误数据,修正大气层结。图 11各个高度为质控前后2014年全球平均温度、风速的差异(质控后减质控前)。报文质量控制对温度和风速影响均表现出明显特征,由于700~850 hPa高度报文质量问题主要来自于人为飞行状态调整影响而非气候背景条件,除700~850 hPa厚度层之外,趋势基本与剔除百分比垂直分布特征对应。经质控剔除有误数据后计算的报文平均温度在各个高度均高于质控前,反映出错误报文在温度较低的情况下出现的频率更高,从而导致质控后平均温度正异常。图 12列出了三个剔除率较大厚度层逐小时剔除率和全球温度距平散点图, 各厚度层散点分布在温度负距平状态离散程度更强,剔除率相对更高。另外,由于北半球报文数量远多于南半球,受温度的影响,全球总体报文质量会表现出夏天质量较好冬季较差季节变化特征,可见温度为影响图 4图 5季节变化趋势的重要因素。风速表现与温度相反,大风环境下测量的不确定性更易导致AMDAR质量问题,因此质控后平均风速表现明显的负异常。

图 11 各个高度质控前、后全球平均温度(实线)、风速(虚线)差异(质控后—质控前) Fig. 11 The difference of global-averaged temperature (solid line), wind speed (dashed line) before and after QC (QC minus Original) in each layer

图 12 各厚度层逐小时剔除率和全球温度距平关系散点图 (a)300~400 hPa, (b)700~850 hPa, (c)>925 hPa Fig. 12 Scatter diagram between hourly rejection rate and global temperature anomaly in each layer (a) 300-400 hPa, (b) 700-850 hPa, (c) >925 hPa
4 结论

为获取高质量的AMDAR资料,本文基于美国NCEP的AMDAR资料质量控制方法,设计建立了一套业务质控系统,包括重复性检查、有效性检查、持续性检查、极值检查、位置一致性检查、时空一致性检查、可疑数据检查等,并根据质控结果详细分析了2014年AMDAR资料的质量情况,并探讨其质量问题原因。主要结论如下:

(1) 除去缺测、少测数据不参与统计,2014年全年平均逐小时剔除比率为5.79%,其中重复报文占主要,有48.68%的错误报文出现在上升阶段。

(2) 报文数量和报文质量均表现出明显的日变化特征,白天数量多于晚上,但质量较差,且有一定的对应关系:重复性报文在报文数量密集时剔除频率增加,呈正相关性;可疑数据和时空不一致性剔除率相反,峰值出现在数量最少时段。其余剔除占有率很小。

(3) 飞机报文质量在各个高度层表现出不同的特征。质量问题主要出现在近地面层,动力调整高度和飞行状态转换高度,也为重复性错误的主要出现高度;位置不一致性错误,主要由于定位问题产生,主要出现在动力调整高度;可疑数据由于单次航线数据密度稀薄造成,主要出现在数量最多资料较优的巡航高度。

(4) 经纬度阈值变化对重复报文剔除结果影响敏感度很高,和风速阈值影响共同体现在中高层,高度阈值影响反映在中低层,温度阈值变化对结果几乎没有影响。特定航班由于数据采集规则不同,需分类处理,适当减小阈值设置另外还需要更精确的数据集的建立。

(5) 经质控剔除有误数据后计算的报文平均温度在各个高度均高于质控前,表明错误报文在温度较低的情况下出现的频率更高。

总体来说,AMDAR资料质量稳定,应用价值较高。经过质量控制后的AMDAR数据,由于其高频的特性,可在高分辨率的区域数值预报中发挥更多的作用,尤其是中小尺度天气系统的模拟,相关成果在华东区域模式的适用性研究有待下一步工作的展开。

参考文献
陈葆德, 王晓峰, 李泓, 等, 2013. 快速更新同化预报的关键技术综述[J]. 气象科技进展, 3(2): 29-35.
黄卓, 李延香, 王慧, 等, 2006. AMDAR资料在天气预报中的应用[J]. 气象, 32(9): 42-48. DOI:10.7519/j.issn.1000-0526.2006.09.007
李平, 徐枝芳, 范广洲, 等, 2013. 探空温度资料质量控制技术研究[J]. 气象, 39(12): 1626-1634. DOI:10.7519/j.issn.1000-0526.2013.12.011
廖捷, 熊安元, 2010. 我国飞机观测气象资料概况及质量分析[J]. 应用气象学报, 21(2): 206-213. DOI:10.11898/1001-7313.20100210
刘小魏, 曹之玉, 兰海波, 2007. AMDAR资料特征及质量分析[J]. 气象科技, 35(4): 480-483.
陶士伟, 郝民, 赵琳娜, 2009. AMDAR观测资料分析及质量控制[J]. 气象, 35(12): 65-73. DOI:10.7519/j.issn.1000-0526.2009.12.009
拓瑞芳, 金山, 丁叶风, 等, 2006. AMDAR资料在机场天气预报中的应用[J]. 气象, 32(3): 44-48. DOI:10.7519/j.issn.1000-0526.2006.03.008
王瑞文, 万晓敏, 田伟红, 等, 2016. AMDAR温度观测的误差统计特征分析[J]. 气象, 42(3): 330-338. DOI:10.7519/j.issn.1000-0526.2016.03.008
王瑞文, 叶冬, 李莉, 2014. AMDAR资料质量分析及对GRAPS系统同化和预报影响[J]. 气候与环境研究, 19(6): 683-692. DOI:10.3878/j.issn.1006-9585.2014.13204
王晓峰, 王平, 张蕾, 等, 2015. 上海"7·31"局地强对流快速更新同化数值模拟研究[J]. 高原气象, 34(1): 124-136. DOI:10.7522/j.issn.1000-0534.2013.00202
Ballish B A, Kumar V K, 2006. Comparison of aircraft and radiosonde temperature biases at NCEP.Proc 10th Symposium on Integrated Observing and Assimilation Systems for the Atmosphere, Oceans, and Land Surface (IOAS-AOLS).American Meteorological Society, Boston, USA.http://ams.confex.com/ams/pdfpapers/103076.pdf
Ballish B A, Kumar V K, 2008. Systematic differences in aircraft and radiosonde temperatures: implications for NWP and climates studies[J]. Bull Amer Meteorol Soc, 89(11): 1689-1708. DOI:10.1175/2008BAMS2332.1
Benjamin S G, Schwartz B E, Cole R E, 1999. Accuracy of ACARS wind and temperature observations determined by collocation[J]. Wea Forecasting, 14(6): 1032-1038. DOI:10.1175/1520-0434(1999)014<1032:AOAWAT>2.0.CO;2
Cardinali C, Isaksen L, Andersson E, 2003. Use and impact of automated aircraft data in a global 4D-var data assimilation system[J]. Mon Wea Rev, 131: 1865-1877. DOI:10.1175//2569.1
Drüe C, Heinemann G, 2001. Airborne investigation of arctic boundary layer fronts over the marginal ice zone of the Davis Strait[J]. Boundary-Layer Meteorol, 101(8): 261-292.
Ding Jinfeng, Zhuge Xiaoyong, Wang Yuan, et al, 2015. Evaluation of Chinese Aircraft Meteorological Data Relay (AMDAR) Weather Reports[J]. J Atmosp Ocea Tech, 32(5): 982-992. DOI:10.1175/JTECH-D-14-00145.1
Liang Aimin, Zhang Qinghong, Liu Kaiyu, et al, 2009. The 3D-var data assimilation experiments on a dense fog event over the Central Plain of China[J]. Acta Meteor Sin, 23(1): 116-127.
Miloshevich L M, Vömel H, Paukkunen A, et al, 2001. Characterization and correction of relative humidity measurements from Vaisala RS80-A radiosondes at cold temperatures[J]. Atmos Oceanic Technol, 18(2): 135-156. DOI:10.1175/1520-0426(2001)018<0135:CACORH>2.0.CO;2
Moninger W R, Mamrosh R D, Pauley P M, 2003. Automated meteorological reports from commercial aircraft[J]. Bull Amer Meteorol Soc, 84(2): 203-216. DOI:10.1175/BAMS-84-2-203
Systems Development Office, National Weather Service, United States, 1994. Technique specification package 88-21-R2 for AWIPS-90 RFP appendix G requirements numbers 2.1 quality control incoming data[J].AWIPS Document Number TSP-032-1992R2.
Mamrosb R, 2003. Aircraft weather observations improve forecast[J]. Nat Wea Serv, 2: 1-7.
Schwartz B, Benjamin S G, 1995. A comparsion of temperature and wind measurements from ACARS-Equipped aircraft and rawinsondes[J]. Wea Forecasting, 10(3): 528-543. DOI:10.1175/1520-0434(1995)010<0528:ACOTAW>2.0.CO;2
Stickland J J, Grooters F A T, 2004. Observations from the Globe AMDAR Pogramme.http://www.isprs.org/proceedings/2005/isrse/html/papers/404.pdf.