2. 中国海洋大学信息科学与工程学院, 青岛 266100;
3. 中国气象科学研究院, 北京 100081
2. College of Information Science and Engineering, Ocean University of China, Qingdao 266100;
3. Chinese Academy of Meteorological Sciences, Beijing 100081
人工智能的迅速发展将深刻改变人类社会生活,改变世界。机器学习属于人工智能范畴,是人工智能领域的一个重要分支,主要研究对象是如何在经验学习中改善具体算法的性能。自1956年达特茅斯会议上,机器学习(machine learning)的概念被首次提出以来,成为数学、计算机科学、神经科学等多学科的活跃研究方向(万赟,2016),其算法也被广泛应用到大气、海洋等众多学科领域。传统机器学习算法主要包括逻辑回归、决策树、随机森林、人工神经网络、支持向量机、贝叶斯分类器、聚类算法等。虽然其发展历程跌宕起伏,经历了多个发展高潮与低谷,但是在不同的发展时期,机器学习均展示了旺盛的生命力,在各个发展领域得到广泛的应用。
Hinton and Salakhutdinov(2006)提出“深度学习(deep learning)”的概念,证明了深层神经网络的可训练性,展现了深层神经网络更强大的特征提取和非线性拟合能力, 奠定了此次人工智能发展浪潮的基础。但该论文主要以理论分析为主,当时并未有重要的应用产生,因此在计算机学界并未立刻产生重大影响。在接下来的十年中,直到两个标志性事件的出现,才使得深度学习分别取得了计算机领域内和全世界范围内的认可。第一个事件是2012年Alex Krizhevsky与Geoffrey Hinton在国际上著名的ILSVRC(ImageNet Large Scale Visual Recognition Challenge)图像识别竞赛中,用深度学习方法(即AlexNet)以绝对优势取得第一名。2013年起几乎所有参加该竞赛的队伍全部采用深度学习方法。在ILSVRC这种世界级的竞赛中,一种方法几乎能够在一夜之间完全胜出,这在以前是无法想象的。另一事件是2016年基于深度学习的围棋程序AlphaGo战胜世界冠军李世石,这不仅引起了全世界范围内对人工智能技术巨大进步和未来发展潜能的关注,也引发了世界范围内对人工智能产业的投资潮。目前,深度学习及其他人工智能技术仍在以前所未有的速度发展着。
根据训练数据是否有标记信息,机器学习任务可分为监督学习和无监督学习。常见的无监督学习算法如聚类算法、主成分分析等算法。监督学习又可分为回归和分类。回归问题预测连续值,如气温、降水量;分类问题则预测的是离散值,如晴或雨。目前,机器学习,尤其是深度学习,在分类问题上取得了巨大的成功,如图片分类竞赛中其效果超越人类(Russakovsky et al, 2015),在回归问题中效果次之。无监督学习仍亟待更进一步突破(LeCun et al, 2015)。
机器学习算法,特别是深度学习,需要大量的历史数据进行建模并训练,从而从历史数据中学习到规律。天气预报,经过长时间的发展,积累了海量历史观测数据、数值预报模式数据,具备“大数据”属性,能够为机器学习提供训练所需的大量数据,因此,一直以来,机器学习在天气预报领域有众多成功应用(Karpatne et al, 2019)。
强对流天气预报主要关注时空尺度较小、发展剧烈的天气现象,如冰雹、雷暴大风、短时强降水、龙卷等恶劣天气。由于局地性强、发展迅速,强对流天气具有极高的预报难度(郑永光等,2015)。由于其强度强,易于造成严重的人员和财产损失(王秀荣等,2007),比如2015年“东方之星”翻沉事件(郑永光等,2016a)和2016年江苏阜宁EF4级龙卷事件(郑永光等,2016b)。
由于强对流天气系统的中小尺度特性,因此强对流天气预报特别关注监测和临近预报。对于天气雷达、气象卫星、闪电探测仪、自动气象站等具备高时空分辨率的数据使用,提出很高的要求。然而,海量的观测数据,已经很难完全由预报员主观监测识别。传统的客观做法,根据物理机理、预报员经验和统计结果,通过对观测数据设置一定阈值,对强对流天气进行识别和监测,通常会造成虚警率偏高(Schultz et al, 2009; Harris et al,2010)。目前,强对流天气临近预报极大地依赖实况监测,以雷达或者卫星观测结果进行线性或非线性外推预报为主,尤其缺乏对流生消演变的预报能力,因此应用效果具有较大的局限性(俞小鼎等,2012;郑永光等,2015)。
与强对流监测和临近预报不同的是,强对流短时(2~12 h预报)和短期预报(12~72 h预报)更侧重于对数值预报模式的释用。近年来,随着高分辨率数值预报模式的发展,强对流天气预报更多地依赖高分辨率数值模式预报。随着时空分辨率越来越高,高分辨率数值模式预报信息量越来越大,对预报员的信息提取能力提出极高的要求。目前,很多强对流天气(如雷暴大风、龙卷等)并没有直接的模式输出产品。经验丰富的预报员需要从大量数据中,提取动力、水汽、能量、地形影响等强对流天气形成条件,最终形成一份可用的强对流预报。
由此可见,强对流监测预报,目前仍大量依靠传统的统计结果和预报员经验。长期的应用结果表明,以上方法具有较大的局限性。首先,不同季节、不同地势分布、不同气候背景区域之间,强对流天气发生发展条件与特征阈值范围必然会存在差异,难以使用一套统一的特征物理量阈值组合来实现不同区域的分类强对流天气的预报(王婷波等,2020);其次,天气预报过程中需要使用大量数据,依靠预报员统计或者主观提取特征物理量和阈值范围,难以完全发现数据中有价值的细节信息或者细微差别,特别是一些中小尺度信息;再次,强对流天气复杂多变,如果预报员对于强对流发生发展规律认识不够深刻、全面,也会忽视其中的有效信息。传统基于物理机理的统计模型等客观方法,由于基于主观认识建立,也难以避免地存在上述问题。
近年来,以深度学习为代表的机器学习算法的兴起,有效结合各类气象大数据,已经成为强对流天气预报的有效手段(McGovern et al, 2017; Reichstein et al, 2019)。与浅层神经网络、支持向量机等传统机器学习算法相比,深度神经网络不仅能够为复杂非线性系统提供建模,更能够为模型提供更高的抽象层次,从而提高模型的特征提取能力;其优势在于能以更加紧凑简洁的方式来表达比浅层网络大得多的函数集合,并在图像识别、语音处理等领域相比传统方法的性能有了显著提升(Krizhevsky et al, 2012;LeCun and Bengio, 1995;Szegedy et al, 2013)。
本文梳理了机器学习在强对流天气监测、短时临近预报、短期预报等领域的应用和存在的问题,并给出了未来工作展望,以期更清晰地了解机器学习在强对流天气领域的应用情况,为更好地结合物理机理、数值预报等来发展强对流天气领域的机器学习技术提供参考。
1 机器学习在强对流监测中的应用强对流天气监测依赖于气象卫星、天气雷达、闪电定位仪、自动气象站等具备高时空分辨率的中小尺度监测网, 是强对流预警预报的基础。
1.1 云和降水分类静止气象卫星观测具有覆盖范围广、时空分辨率高的特点,是监测强对流天气的重要手段。目前,国内外利用卫星遥感技术, 进行强对流云团识别的研究已经取得了一定的成果。
白慧卿等(1998)通过人工神经网络方法进行了地球静止气象卫星(GMS)云图中的4类云系[冷锋、静止锋、雹暴云团、强对流复合体(MCC)]识别,识别准确率超过99%,优于贝叶斯方法,认为神经网络方法更适合于云系的特征识别。Tebbi and Haddad(2016)利用支持向量机,输入欧洲第二代静止气象卫星(Meteosat Second Generation,MSG)自旋增强可见光和红外成像仪(spinning enhanced visible and infrared imager,SEVIRI)的12个频谱参数,构建不分昼夜的云分类模型,并对比了神经网络和支持向量机的分类效果,最终发现支持向量机具有更好的效果,其对于层云和对流云的分类临界成功指数(CSI)达到0.55,命中率(POD)达到0.74.
Kim et al(2017a)利用Himawari-8卫星云图,选取与对流云发展密切相关的相关因子(interest fields,IF),构建了随机森林、极端随机树(extremely randomized trees,ERT)、逻辑回归等模型,有效地识别了对流系统的上冲云顶特征, 相对于传统的红外云图纹理识别、红外与水汽通道亮温差等算法,有了明显的提高。胡凯等(2017)利用迁移学习中的多源加权Tradaboost算法(内部采用极限学习机作为分类器)对环境与灾害监测预报卫星(HJ-1A/B)的数据进行云的检测,利用人工(多源)标注的大量厚云的样本构成多源辅助样本集,利用少量标注的薄云样板构成目标样本集。结果表明迁移学习可以充分利用容易获得的大样本厚云辅助样本知识,对同类型有关联的小样本薄云分类器进行识别提高。
利用雷达进行对流降水的分类,同样是监测对流发生发展的有效方式。王静和程明虎(2007)利用BP神经网络模型对单站雷达进行了三种降水类型(对流云降水、层状云降水和混合云降水)的分类。Xu et al(2009)将台风外围螺旋云系降水的分割识别化为机器学习的分类问题,利用支持向量机,在雷达反射率图像上,实现了云系降水区域类型的分割,为大风和强降水区域的监测提供了实时依据,算法效果优于最大熵、图像边沿检测等传统算法,具有更好的准确性和鲁棒性。Gagne II et al(2009)基于多普勒雷达资料,利用集成K-means和决策树算法,实现对流风暴识别和对流降水识别。K-means算法实现从线性对流系统中聚类分离出对流系统。决策树则对对流风暴进行分类,将对流单体分为“孤立脉冲风暴”“孤立强风暴单体”“多单体风暴”,将线性对流系统实现“前导层状云”“尾随层状云”“平行层状云”的分类。
综合利用卫星和雷达等多源数据,可以综合获取云和降水分类信息。匡秋明等(2017)提出了一种基于雷达、卫星、地面观测等多源数据的多视角学习晴雨分类方法,该方法应用随机森林方法分别对多视角进行样本学习,得到晴雨分类模型。结果表明,与单独使用卫星、雷达、地面观测站等单一数据源相比,该方法提高了1 km×1 km和6 min时空分辨率晴雨分类的准确率,降低了漏报率和空报率。
1.2 定量降水估计与监测利用卫星、雷达等遥感探测资料,进行定量降水估计,能够有效提高降水观测的时间和空间分辨率,同时对于无气象观测站点的区域,也是很好的补充。利用机器学习,能够有效拟合遥感探测数据与降水量的非线性关系,实现更精确和精细的降水估计结果。
基于MSG卫星的成像仪SEVIRI探测的云顶顶高、云顶温度、云相态和云水路径等因子, Kühnlein et al(2014a;2014b)利用随机森林、Meyer et al(2016)利用4种机器学习算法(RF、神经网络、平均神经网络、SVM)进行定量降水估计。他们首先区分降水区与非降水区,然后实现对流降水与非对流降水区域划分,最后对不同降水区域使用不同的降水反演因子,实现对中纬度地区全天候的定量降水估计。其中,各种降水区域的降水反演因子由机器学习通过卫星云图和雨量计观测到的降水量拟合得到(Ouallouche et al, 2018)。在此基础上,Lazri and Ameur(2018)将算法进行了升级,将支持向量机、神经网络和随机森林等算法进行了集成,同样利用MSG-SEVIRI数据集,改进了训练方式,将分类效果欠佳的样本进行了二次训练和预测,从而达到了比单个分类器更好的训练效果,最终其分类准确率可达到97.4%。
Meyer et al(2017)认为,如果将卫星云图上降水反演点周围的纹理特征等信息加入机器学习模型,将能有效地改进定量降水估计,因此构建了基于MSG和GLCM(grey level co-occurance matrix)的神经网络模型,结果却发现,在增加了反演格点周围纹理信息的情况下,可能由于神经网络模型无法有效提取空间纹理信息等原因,降水反演效果并没有明显改善。
利用雷达Z-R关系进行定量降水估计仍然具有较大的改进空间。邵月红等(2009)利用多普勒雷达的回波强度资料及相应的雨量计观测资料,通过前向反馈(BP)神经网络方法来估测临沂地区的降雨量,对比了Z-R关系估测的降雨量,表明BP神经网络估测精度要明显优于固定Z-R关系式,BP神经网络估测的降雨量与站点实测雨量吻合性较好,而固定Z-R关系式估测的降雨量存在不同程度的低估现象。Grams et al(2014)在雷达估测降水的基础上,引入快速更新循环分析场中的环境变量,对比了各种变量对于改善定量降水估计的作用,最后发现零度层高度和温度递减率对于改进雷达估测降水最为重要。利用决策树,融合雷达观测数据和数值分析场数据,得到比传统固定Z-R关系更为精确的降水估算。
基于双偏振雷达观测利用机器学习方法更进一步提高了雷达估测降水的精度。Islam et al(2012)集合并对比了支持向量机、神经网络、决策树、邻近聚类等算法,利用双偏振雷达观测反射率因子、差分反射率因子、交叉相关系数、速度和谱宽等,实现了地面杂波、海浪杂波以及其他异常回波的识别,识别准确率可达98%~99%,在去除杂波的基础上有效改进了雨量监测。
1.3 冰雹和雷暴大风监测冰雹和雷暴大风往往在局地性极强的对流性系统中发展而来,由于局地性很强,现有观测网依然难以完全捕捉(郑永光等,2017),具有很大的观测难度。在目前我国大范围取消人工观测的趋势下(中国气象局,2013),使得冰雹和雷暴大风的直接观测数据更显稀少。因此,采用雷达和卫星等观测资料进行冰雹和雷暴大风的识别,既非常重要,也显得很有必要。
目前气象业务中,由单站雷达PUP(principal user processor)系统生成的强冰雹指数,通常强冰雹空报率过高。王萍和潘跃(2013)为了解决这个问题, 依据概念模型对强冰雹回波单体特点的描述, 设计并实现了“悬垂度”等多个特征提取算法。以此为基础, 选用基于径向基核函数的非线性支持向量机得到强冰雹识别模型, 将待测样本远离最优分类超平面的相对程度定义为新冰雹指数。试验表明, 本方法较目前业务上普遍使用的冰雹指数法具有更高的命中率, 同时空报率大大降低。另外,为了区分短时强降水和冰雹天气,王萍等(2016)利用决策树算法,基于系统结构疏密性特征、移出率、液态水含量及累加液态水含量等特征,实现对冰雹和短时强降水的分类识别。试验表明,本文方法对雷达站50 km以内范围的雷暴系统产生的短时强降水击中率达到89.1%, 误报率为9.5%;冰雹的击中率为79.8%, 误报率为3.5%;平均临界成功指数达到80.0%。
相对于冰雹探测,雷暴大风的探测可借助我国稠密的自动气象站观测数据,在大风观测基础上,利用雷达、卫星资料进行质量控制,能够较好地实现雷暴大风的识别。李国翠等(2013)、周康辉等(2017)在地面气象观测站大风记录的基础上,结合多源数据(包括雷达、卫星、闪电、温度、露点等观测数据),利用模糊逻辑算法,实现对雷暴大风与非雷暴大风的有效识别,可在全国范围对雷暴大风进行实时监测。杨璐等(2018)基于雷达基数据和加密自动气象站数据,利用支持向量机算法建立了雷暴大风天气的有效识别模型。
1.4 风暴识别和追踪基于卫星、雷达、闪电等观测数据,利用机器学习算法,能够有效实现对对流系统的识别和追踪,提取对流系统的移动方向、移动速度等信息,为对流预警提供重要信息。
雷达观测能够提供近地面的风暴的三维结构特征,因此利用雷达数据可有效进行风暴的识别和追踪。Lakshmanan et al(2000)利用遗传算法,从雷达图像中逐层识别,进而实现对风暴的识别,能有效分辨对流系统的分裂和合并情况。在此基础上,Lakshmanan et al(2005)发展了中气旋识别算法,在三维雷达图像上识别风暴尺度的旋转,并建立神经网络,将中气旋特征和环境条件特征作为输入,进一步识别中气旋风暴是否会发展成龙卷,在实际应用中取得了很好的效果。
Haberlie and Ashley (2018a;2018b)基于雷达拼图数据,利用机器学习算法,构建了对流识别、追踪算法。首先,将雷达回波进行分割,识别并分割水平尺度大于100 km的深对流系统的连续或半连续区域。将分割好的对流系统,根据降水人为主观地为每个样本分配下列标签之一:(1)中纬度MCS,(2)无组织对流,(3)热带系统,(4)天气系统,(5)地面杂波和/或噪音。然后训练随机森林,梯度增强(gradient boosting)和XGBoost,结果表明算法具有良好的对流云识别效果。最后,在此基础上,利用空间匹配的方式,实现对MCS的追踪。
基于闪电数据的雷暴识别,追踪与外推算法也有一些尝试。侯荣涛等(2012)、周康辉等(2016)分别利用K近邻法(k-Nearest Neighbor,kNN)、密度极大值搜索算法等聚类算法,实现对闪电簇的识别,从而实现对雷暴活动区域的识别,进而分别利用路径曲线拟合、Kalman滤波器等算法,实现对雷暴的追踪与临近预报。
1.5 深度学习在强对流监测中的应用雷达、卫星等观测数据本质属于图像的范畴,而深度学习近年来在图像识别领域取得极大成功。因此,利用深度学习可以有效从雷达图像、卫星云图中识别出强对流天气。
利用深度学习,可以有效利用雷达探测的三维空间数据,提取冰雹事件的三维结构特征,如冰雹在即将发生或者发展过程中,在雷达回波图像上,具有很明显的诸如三体反射、弱回波区(WER)、回波悬垂等特征。Wang et al(2018)利用深度学习算法,基于单站雷达的三维探测数据,输入不同高度的雷达扫描切面,提取产生冰雹的对流云中的有界弱回波区等特征,从而取得比传统方法更好的冰雹识别效果。
最近,郑益勤等(2020)利用Himawari-8卫星图像,构建了用深度信念网络(DBN)进行强对流云团自动识别的方法,该方法可以有效识别处于初生到消散不同阶段的强对流云团,并在一定程度上去除卷云。与单波段阈值法、多波段阈值法和支持向量机这三种方法相比,其提出的方法能够提高强对流云团的识别精度(对流区域识别效果如图 1)。
深度学习也可以从气象要素场中识别天气系统。Lagerquist et al(2019)利用深度卷积神经网络,从温度、比湿、风场、位势高度等变量中,成功实现对冷锋和暖锋识别,通过与人工标记的冷锋和暖锋对比后发现,如果误差250 km以内算正确,其命中率达到73%,虚警率为35%,临界成功指数达到52%。
2 机器学习在强对流临近预报中的应用2005年,世界气象组织(WMO)定义的临近预报(或称为甚短时预报)为0~6 h的天气预报,现已得到了广泛认可(俞小鼎等,2012;Wilson et al, 2010;Sun et al, 2014)。不过我国预报业务通常将0~2 h的天气预报称为临近预报(俞小鼎等,2012),因此,本文将0~2 h的预报称为临近预报,2~12 h称为短时预报,12~72 h为短期预报。传统的线性外推算法无法判断对流的生消演变,利用机器学习算法,能够从雷达反射率因子、卫星云图等观测数据中,提取对流初生、发展、消散等特征,从而为判断对流演变起到一定作用。
2.1 基于雷达回波的外推预报将机器学习应用于强对流临近预报,最直观的设想是利用机器学习改进雷达回波外推预报。传统的外推方法,如TITAN(Dixon and Wiener, 1993)、SCIT(Johnson et al,1998)以及光流法(Bechini and Chandrasekar, 2017)等等,能够有效判断对流的移动趋势,但是无法判断对流系统的生消演变等特征,因此无法给出对流初生、增强或减弱等预报(Wilson et al, 1998)。利用机器学习,一定程度上能够克服上述问题。
Yu et al(2017)将过去时次的雷达回波反演的降水量、海拔、经纬度作为预报因子,构建随机森林和支持向量机,进行0~3 h降水量预报,并对比了随机森林和支持向量机的预报效果,结果表明两种算法都能较好地实现0~3 h降水量预报,而支持向量机在此任务中表现更好。Foresti et al(2019)从10年的雷达组合反射率图片中,识别和追踪对流系统,提取包括位置、风场、冻结层高度和时间等变量作为预报因子,应用神经网络,预报降水系统的加强与减弱。预报结果表明,神经网络能够有效预报对流系统的增强和减弱,预报均方根误差相对拉格朗日外推降低20%~30%。
2.2 基于静止气象卫星资料的临近预报静止气象卫星能够监测对流云形成初始阶段的相关特征,如云体厚度快速增加、云顶温度急剧下降、云顶相态的变化(Mecikalski et al, 2010a; 2010b)。因此,应用静止气象卫星监测数据,能够有效实现对对流初生(CI)的监测预警(Mecikalski and Bedka, 2006;Mecikalski et al, 2013;Walker et al, 2012)。
国内外研究人员开展了相关工作,基于静止气象卫星数据,开发了大量对流初生预报算法。但传统方法很大程度上依赖于研究人员的物理认识、统计结果和经验,针对卫星观测数据的物理特性,设计对流初生的判据。如当前美国静止气象卫星的CI采用的判据包括10.7 μm通道亮温低于0℃,10.7 μm通道亮温时间变化趋势小于-4℃/15 min等等。
基于卫星数据,应用机器学习方法能够自动实现CI的预测。Han et al(2015)利用通信与海洋气象卫星(COMS)成像仪数据,应用决策树、随机森林、支持向量机等方法,提取了卫星红外、可见光、水汽等通道中的对流初生特征,成功实现了对流初生判断与预报,对流初生预报的提前量达30~45 min。Bessho et al(2016)利用Himawari-8卫星中的多通道信息和通道变化趋势,以及简单的逻辑回归模型,实现对快速发展的对流区域(RDCAs)的识别,为即将发展的对流提供提前告警信息。Lee et al(2017)利用决策树、随机森林、逻辑回归等模型,基于Himawari-8成像仪的多通道数据,选取12个IF,提取其变化特征,进行对流初生的预报。
2.3 综合多源资料的临近预报静止气象卫星具备对对流初生的观测能力,观测对流云顶的发生发展特征;天气雷达观测对流风暴的内部分布特征;数值模式预报数据可提供对流发展的环境条件。多源观测数据表现形式、物理意义各异,如何将多源数据实现有效融合,也是当前面临的挑战之一。
机器学习算法能够自动学习并提取特征,为多源数据融合提供了新的思路。如Mecikalski et al(2015)基于静止气象卫星数据结合数值模式数据,选取了25个相关要素,利用逻辑回归和随机森林,实现了欧洲地区的对流初生预报。Ahijevych et al(2016)利用随机森林,融合雷达、卫星云图和数值模式数据,进行0~2 h的对流初生预报,模型有效探测了99%以上(总数550个)的初生系统。Han et al(2017)利用支持向量机算法,基于多普勒雷达数据和高分辨率分析场,自动提取雷暴发生发展特征,训练了预报模型,基于多普勒雷达四维变分分析系统(VDRAS)预报场实现了雷暴的临近预报(流程见图 2)。
Marzban and Witt(2001)和Lagerquist et al(2017)利用机器学习算法,融合使用雷达资料追踪的雷暴特征和对流系统附近的探空观测特征,对对流性大风和冰雹进行临近预报,结果表明,其不仅能够有效预测对流单体内部的大风(提前0~15 min),而且能够预测对流系统10 km以内范围的阵风锋大风(提前60~90 min),具有较好的实用价值。Czernecki et al(2019)利用随机森林,融合了雷达数据、闪电数据和再分析数据的对流参数,进行大冰雹的预报。结果表明,雷达数据在冰雹预报中起到主要作用,而对流参数作用也不可被忽视。McGovern et al(2014)构建了时空决策树模型,基于多源数据包括雷达、地面观测数据、飞机观测数据等,进行强对流天气(龙卷和对流颠簸)的预测。其预测模型能够清晰地显示各个预报因子的作用,从而为更好地理解强对流发展原因,提供较好的思路。
Apke et al(2015)则用机器学习方法分析了对流环境对于对流初生的作用,研究是否可以将对流参数引入,改进利用卫星进行对流初生的预报效果。他们应用主成分分析(PCA)和二次判别分析(QDA)进行了相关性分析。结果发现,CAPE和CIN对于改进卫星的对流初生预报具有积极的作用。在高CAPE、低CIN的环境下,对流初生具有更好的预报性。用QDA方法验证了,在实现卫星数据和数值模式预报数据融合应用的情况下,CI预报效果更好。
2.4 深度学习在临近预报中的应用利用深度学习强大的特征提取能力,能够提取对流系统在雷达回波上生消演变特征,进而为预报其生消演变提供有效参考。Shi et al(2015;2017)、Kim et al(2017b)、Wang et al(2017)、郭瀚阳等(2019)、施恩等(2018)、吴昆等(2018)针对雷达回波外推问题,根据对流系统的演变特征,提出相适应的深度学习网络,主要基于卷积神经网络和循环神经网络,自动学习对流系统的回波演变特征(典型深度学习网络结构如图 3),实现了雷达回波的外推预报,并具备一定对流系统生消演变的预报能力,检验表明,在TS评分上优于光流法、TITAN等传统外推方法。然而,目前深度学习外推随着时间推移,其空间分辨率呈现明显的下降,回波平滑问题较为严重,一定程度上影响业务应用效果。
深度学习也可提取VDRAS等快速变分同化分析场中的对流发生发展特征。Zhang et al(2017)基于雷达与实况再分析场,构建了深度卷积网络,实现了对流区(雷达反射率>35 dBz)的有效临近预报,由于算法自动提取了对流系统的时空演变特征,因此也具有对流发展的预报能力。
深度学习在融合多源观测数据进行临近预报方面,也存在巨大的潜力。深度学习能够综合提取多源观测数据中时间、空间上的有效信息。Zhou et al(2020)构建深度学习三维语义分割模型,从雷达回波、卫星云图、闪电密度等观测数据中提取闪电的时空发生、发展特征,实现了有效的0~1 h的闪电预报,且具备一定的对对流生消演变的预报能力。Sønderby et al(2020)构建了深度学习模型Metnet,综合使用卷积、LSTM(long short-term memory)、注意力机制等方法,利用卫星、雷达、降水等观测数据, 实现了更长时效(未来0~8 h)的降水预报模型。Metnet预报的时空分辨率可达到2 min、1 km,预测的1 mm降水准确率超过了快速更新同化高分辨率数值模式(HRRR), 展示了深度学习方法巨大的应用潜力。
3 机器学习在强对流短时和短期预报中的应用相对于临近预报中主要使用实时观测数据,短时和短期预报则更专注于数值预报模式的使用。目前,中央气象台强对流短期预报,主观预报使用的主要是“配料法”。该方法由Doswell III et al(1996)提出,在我国有了较多的发展与应用(张小玲等,2010;俞小鼎,2011)。
配料法确定预报的基本构成要素或“配料”,构成要素一般是相对独立的气象变量,给预报员提供了天气预报的清晰思路。基于不同天气的物理模型和“配料法”,中央气象台预报员设计了不同类型强对流天气发生发展的对流环境(水汽、动力、能量等方面)物理参数组合,给出了分类概率预报产品。强对流天气“配料法”等主观预报产品评估表明(吴蓁等,2011;唐文苑等,2017),预报员主观统计提取对流特征并经过“配料组合”得出的强对流预报结果具有较好的有效性和预报能力,但必然也会存在一定的局限性。在观测和模式预报产品越来越庞大的今天,预报员主观分析,提取对流发生发展特征,难度越来越大。因此,有必要利用各种机器学习算法进行上述工作。
3.1 基于探空观测的潜势预报探空数据能够提供当地的大气层结环境特征,为判断短时预报时效内对流是否发生提供有效依据。Sánchez et al(1998)、赵旭寰等(2009)、陈勇伟等(2013)、杨仲江等(2013)利用探空数据,基于神经网络建立了不同的地区的雷暴或冰雹预报模型,取得了较好的预报效果。Manzato(2013)同样利用探空反演的对流指数因子,构建多个神经网络模型,并用集成学习的思维、Bagging算法,实现集成学习,得到更有效的冰雹预报。
探空数据还能与其他数据进行综合使用。Billet et al(1997),利用探空数据(T850、零度层温度、平均风暴相对入流),结合雷达反演的VIL,构建回归模型,进行对冰雹和直径大于1.9 cm的大冰雹的概率预测。然而探空观测仅能代表当前的大气环境特征,因此预报的时效更短,更长时效的预报则依赖于数值天气预报。
3.2 基于全球数值预报模式的潜势预报李文娟等(2018)将随机森林算法应用于分类强对流的潜势预测,建立了四分类(短时强降水、雷暴大风、冰雹和无强对流天气)预报模型。选取物理意义明确的对流指数和物理量,开展强对流天气的分类训练,利用实时的NCEP预报场进行预报,结果表明整体误判率为21.9%,85次强对流过程基本无漏报,模型尤其适用于较大范围强对流天气。Herman and Schumacher(2018)利用NOAA全球集合预报系统数据,构建了随机森林模型,能够实现2~3 d的极端降水预报。为了应对极端降水的极端性,他们不仅将数值预报的对流指数和温压湿风等因子作为预报因子,同时选择了众多背景预报因子。背景预报因子包括1年和10年的格点ARI(average recurrence intervals)最大、最小、中位数值,1年和10年的区域ARI(average recurrence intervals)最大、最小、中位数值,以及经度和纬度值。Liu et al(2019),应用ERA-Interim再分析数据,用贝叶斯方法分析热力和动力因子与高频次闪电雷暴云的相关性,发现CAPE、CIN、底层风切变、暖云厚度等变量与高频次闪电雷暴云最为相关,为高频次闪电雷暴云的预报给予了启发。
3.3 基于高分辨率数值预报模式的强对流天气预报高分辨率数值模式,具有更高的时空分辨率,能够提供更精细的对流风暴系统结构特征,从而为强对流短时与短期预报提供更多的有效信息。Collins and Tissot (2015)选取了43个高分辨率数值模式预报的预报因子,训练了18个神经网络模型,其中9个做了特征选择,另外9个包含所有预测因子,展示了特征选取工作的重要性。最终得到预报效果最好的雷暴预报模型,其预报效果媲美于业务预报员。Gagne II(2016)基于CAPS(Center for Analysis and Prediction of Storms)的SSEF(Storm-Storm Scale Ensemble Forecast)集合预报模式,基于决策树算法,构建了方便预报员理解的冰雹预测决策树(图 4),能够直观展示通过决策树算法从大量数据中提取的判断流程。Whan and Schmeits(2018)利用对流可分辨模式HARMONIE-AROME数值模式的大量对流参数作为预报因子,训练了逻辑回归、决策树等模型,实现了荷兰地区的降水预报,结果表明其对于降水量大于30 mm·h-1的短时强降水也具有较好的预报效果。
Gagne II et al(2015;2017)对快速更新的高时空分辨率的数值模式预报做了更精细化的处理,将NWP输出的结果进行了风暴识别,将其识别结果与实况的雷达回波风暴单体进行匹配,然后对其是否发生冰雹进行预测。利用机器学习模型,从风暴的结构特征和对流参数特征,学习风暴单体是否会产生冰雹的特征,进而实现对冰雹的精细化预报。
3.4 深度学习在强对流短时和短期预报中的应用短时预报可利用深度学习融合实况观测数据和高分辨率数值模式数据。Geng et al(2019)和Lin et al(2019)利用数值预报模式WRF(Weather Research and Forecasting)和闪电观测实况,构建了基于ConvLSTM(convolutional long short-term memory) 的深度学习模型,用于提取数值模式数据和观测数据的时空变化特征,进而实现未来6 h或12 h的闪电预报。由于深度学习能够有效综合提取观测数据和数值预报模式数据的信息,因此其预报性能显著优于单纯依赖数值预报模式对流参数化方案的预报效果。而且,综合应用观测数据和数据预报模式数据的深度学习方法预报效果,也明显优于使用单一数据的深度学习方法效果。周康辉等(2021)基于多源观测数据和高分辨率数值天气预报数据的特性,构建了一个双输入单输出的深度学习语义分割模型,使用了包括闪电密度、雷达组合反射率拼图、卫星成像仪6个红外通道,以及GRAPES-3 km模式预报的雷达组合反射率等共9个预报因子。结果表明,深度学习模型能够较好地实现0~6 h的闪电落区预报,具备比单纯使用多源观测数据、HNWP数据更好的预报结果。深度学习能够有效实现多源观测数据和NWP数据的融合,预报时效越长,融合的优势体现的越明显。
短期预报可使用深度学习对全球数值天气预报模型进行释用。Zhou et al(2019)建立了6层的卷积神经网络,应用于分类强对流的潜势预测。利用NCEP再分析资料计算的超过100个对流指数和物理量,开展强对流天气的分类训练。训练好的模型接入实时的NCEP预报场进行预报。结果表明(如表 1),其预报效果能够为预报员给出有价值的参考。Zhou et al(2019)基于卷积神经网络的分类强对流预报产品已经成为中央气象台强对流天气预报重要的业务参考产品(张小玲等,2018)。
目前,机器学习在强对流监测、强对流短时临近预报与短期预报中,已经发挥了重要的积极作用,其应用效果往往优于原有的传统经验和方法。在样本标记充足、标记准确的情况下(如对流云识别、雷达回波外推、闪电预报等),机器学习尤其是深度学习,能够从海量数据中有效提取特征,进而进行有效预报;在样本稀缺且样本标记不确定性较大的情况下(如冰雹、龙卷等极端强对流天气),不管是深度学习或传统机器学习解决此类问题的能力有待进一步提高。总体而言,机器学习目前存在以下问题,未来在以下方面会继续发展。
4.1 存在的问题(1) 相对对流天气未发生(负样本)频率,对流天气的发生(正样本)频率明显偏低。因此存在严重的正负样本不平衡问题。而且,由于对流系统尺度较小,观测网络经常存在漏观测的情况,因此正负样本不平衡的问题进一步突出。目前,有一些相关的算法可解决正负样本不平衡问题,然而对于极端天气事件,其样本不平衡问题仍然非常显著,对于机器学习模型的训练属于一大挑战。
(2) 由于机器学习各类算法,本质在于提取特征和标记的相互联系,因此对于特征和标记的质量要求极高。特征和标记的质量越高,其算法分类的效果越好。因此,算法仍然非常依赖观测数据、数值模式预报等输入数据质量。而这些基本数据也是大气科学发展的基础,由此可见,机器学习在大气科学中的应用效果,仍然与大气科学的发展基础息息相关。
(3) 在强对流监测预报中,大部分问题可以归为分类问题,如对流云识别、强对流天气识别、对流初生预报、基于数值预报模式的强对流分类预报等。目前从各项研究结果看来,强对流监测预报中的分类问题,应用机器学习算法效果显著(Zhou et al,2019; Wang et al, 2018)。降水量预报属于回归问题,应用机器学习方法也有较明显的改进(邵月红等,2009;Meyer et al,2017))。深度学习雷达回波外推也属于回归问题,虽然检验指标优于传统方法,但是始终存在图像模糊的问题(Shi et al, 2015;2017),应用效果仍待进一步改进。无监督学习,如聚类算法、主成分分析等,在强对流天气领域应用场景有限。由此可见,借鉴目前深度学习等技术的发展趋势,未来可侧重用分类的思路解决强对流监测预报中的相关问题。
(4) 根据“没有免费的午餐定理(No Free Lunch Theorem)”(Wolpert and Macready, 1997),没有一种机器学习算法,包括深度学习,能够在所有气象应用场景中都取得最好的应用效果。因此,我们仍然需要全面了解各种机器学习的算法的优缺点,根据使用场景选取最合适的算法。未来,各种传统算法依然会在各自擅长的领域中频繁现身。此外,我们也可以使用多种机器学习算法集成的方法,以达到更好的预报效果。
(5) 极端强对流天气事件,比如阜宁龙卷(郑永光等,2016b)、开原龙卷(张涛等,2020;郑永光等,2020)、2017年5月7日广州暴雨(田付友等,2018)等,一直以来,属于天气预报领域的重大挑战。对于机器学习而言,由于极端天气样本极其稀缺,因此,直接构建这样的预报模型可能具有较大的难度。这种大气科学的难题,同样也是机器学习的重要挑战,必须通过熟练使用各类机器学习算法,尝试采用迁移学习等方法对此问题进行研究。
(6) 深度学习训练过程涉及到大量的并行运算,因此,目前对于高端GPU显卡或者云计算资源的使用不可或缺。对于深度学习网络,其运算需求往往非常巨大。因此,可以预见,未来高性能计算能力建设中,高性能GPU并行计算能力或者云计算资源的建设应该会加速推进。
(7) 目前,机器学习算法可以基于雷达或者卫星观测资料提取对流初生等特征,进行有效的临近预报。然而,其尚不能完全考虑大气运动的基本物理规律,因此短期内不能代替数值预报模式进行基于物理方程的数值预报。
4.2 未来发展尽管目前机器学习在强对流监测和预报中依然存在一些制约,但机器学习所展示出来的性能表现,表明其在未来应该会成为我们越来越有力的工具(Reichstein et al,2019)。未来机器学习应当会在以下几个强对流天气监测和预报方面进一步发展:
(1) 利用机器学习方法进行多源数据的更有效融合应用,从而更好地实现强对流的监测和临近预报。卫星、雷达、闪电、自动气象站等观测数据,各有优势与劣势,如果充分发掘各自的优点,进行综合应用,最大化地体现观测数据的优势将成为未来强对流监测和临近预报的一大挑战。此外,高频次的观测数据还可以与高时空分辨率、快速更新同化的数值模型进行有效融合,实现临近预报到短时预报的无缝过渡。
(2) 如果能对风暴的不同阶段的演变特征实现有效识别,将能更好地实现强对流天气的提前预警。可以尝试利用机器学习,进行中气旋、上冲云顶、弓状回波等特征的识别,相对于直接利用天气现象作为标记,对于冰雹、雷暴大风、龙卷等强烈对流天气能起到更加提前的预警效果。
(3) 依托数值预报模式,利用机器学习,进行数值模式预报订正和释用,将进一步提升和改进预报水平。数值模式依靠大气运动规律,对大气运行进行计算,而机器学习通常只是拟合预报因子和标记间的相关关系,并不注重其物理规律。将数值模式与机器学习相结合,能实现物理规律和相关关系的更好结合,进一步提升模式预报结果的深度应用。机器学习算法如何与物理规律相结合进一步提升监测和预报能力依然任重道远
(4) 利用机器学习可实现强对流规律和物理原理的进一步认识。目前,除了决策树等算法,大部分算法拟合过程犹如“黑箱”,虽然其预报效果较通常的统计方法或者主观方法有所提升,但是其过程通常无法理解。目前,将深度学习特征提取过程可视化,也已经成为一个热点研究方向(Yosinski et al, 2015; Rudin, 2019; McGovern et al, 2019),通过这样的可视化与解释,应当会对气象学者进一步理解中小尺度天气现象有启发。
5 结论强对流天气监测和预报一直是气象学中最具挑战的领域之一。为了提升其水平,气象学和相关领域的专家在不断求索,迄今为止已经取得了重大进展(张小玲等,2018;McGovern et al, 2017;Haupt et al, 2018),但与穷究大气变化规律的终极目标仍很遥远(许小峰,2018)。以机器学习为代表的人工智能的运用,为强对流的监测和应用提供了新的途径和方法(Karpatne et al, 2019)。
尽管目前机器学习等人工智能技术在多个行业中的应用都如火如荼,但是机器学习并不是万能的。机器学习在大气科学领域的应用基础仍然依赖于高质量的观测数据、可靠的数值模式预报结果以及深刻的天气原理认识,且要根据不同的应用场景结合物理机理选择合适的机器学习方法。究其本质,机器学习只是一个工具,并不能替代基础天气观测数据、数值预报模式、天气学和大气动力学基础理论发展的研究。在利用人工智能技术发展天气预报技术的同时,也需时刻牢记大气科学基础理论才是强对流天气预报的基础和土壤。
白慧卿, 方宗义, 吴蓉璋, 等, 1998. 基于人工神经网络的GMS云图四类云系的识别[J]. 应用气象学报, 9(4): 402-409. Bai H Q, Fang Z Y, Wu R Z, et al, 1998. Identification about four kinds of cloud systems in GMS images based on neural network[J]. J Appl Meteor Sci, 9(4): 402-409 (in Chinese).
|
陈勇伟, 郑涛, 王汉堃, 等, 2013. 基于BP神经网络模型的雷电潜势预报[J]. 干旱气象, 31(3): 595-601. Chen Y W, Zheng T, Wang H K, et al, 2013. Thunderstorm potential prediction based on back propagation neural network[J]. J Arid Meteor, 31(3): 595-601 (in Chinese).
|
郭瀚阳, 陈明轩, 韩雷, 等, 2019. 基于深度学习的强对流高分辨率临近预报试验[J]. 气象学报, 77(4): 715-727. Guo H Y, Chen M X, Han L, et al, 2019. High resolution nowcasting experiment of severe convections based on deep learning[J]. Acta Meteor Sin, 77(4): 715-727 (in Chinese).
|
侯荣涛, 朱斌, 冯民学, 等, 2012. 基于DBSCAN聚类算法的闪电临近预报模型[J]. 计算机应用, 32(3): 847-851. Hou R T, Zhu B, Feng M X, et al, 2012. Prediction model for lightning nowcasting based on DBSCAN[J]. J Comput Appl, 32(3): 847-851 (in Chinese). DOI:10.3969/j.issn.1001-3695.2012.03.012
|
胡凯, 严昊, 夏旻, 等, 2017. 基于迁移学习的卫星云图云分类[J]. 大气科学学报, 40(6): 856-863. Hu K, Yan H, Xia M, et al, 2017. Satellite imagery cloud classification based on transfer learning[J]. Trans Atmos Sci, 40(6): 856-863 (in Chinese).
|
匡秋明, 杨雪冰, 张文生, 等, 2017. 多源数据融合高时空分辨率晴雨分类[J]. 软件学报, 28(11): 2925-2939. Kuang Q M, Yang X B, Zhang W S, et al, 2017. Fusion of multi-source data for rain/no-rain classification with high spatiotemporal resolution[J]. J Software, 28(11): 2925-2939 (in Chinese).
|
李国翠, 刘黎平, 张秉祥, 等, 2013. 基于雷达三维组网数据的对流性地面大风自动识别[J]. 气象学报, 71(6): 1160-1171. Li G C, Liu L P, Zhang B X, et al, 2013. Automatic identification of ground thunderstorm gale based on the radar mosaic 3D data[J]. Atca Meteor Sin, 71(6): 1160-1171 (in Chinese).
|
李文娟, 赵放, 郦敏杰, 等, 2018. 基于数值预报和随机森林算法的强对流天气分类预报技术[J]. 气象, 44(12): 49-58. Li W J, Zhao F, Li M J, et al, 2018. Forecasting and classification of severe convective weather based on numerical forecast and random forest algorithm[J]. Meteor Mon, 44(12): 49-58 (in Chinese).
|
邵月红, 张万昌, 刘永和, 等, 2009. BP神经网络在多普勒雷达降水量的估测中的应用[J]. 高原气象, 28(4): 846-853. Shao Y H, Zhang W C, Liu Y H, et al, 2009. Application of back-propagation neural network in precipitation estimation with Doppler radar[J]. Plateau Meteor, 28(4): 846-853 (in Chinese).
|
施恩, 李骞, 顾大权, 等, 2018. 基于卷积神经网络的雷达回波外推方法[J]. 计算机应用, 38(3): 661-665. Shi E, Li Q, Gu D Q, et al, 2018. Weather radar echo extrapolation method based on convolutional neural networks[J]. J Comput Appl, 38(3): 661-665 (in Chinese).
|
田付友, 郑永光, 张小玲, 等, 2018. 2017年5月7日广州极端强降水对流系统结构, 触发和维持机制[J]. 气象, 44(4): 469-484. Tian F Y, Zheng Y G, Zhang X L, et al, 2018. Structure, triggering and maintenance mechanism of convective systems during the Guangzhou extreme rainfall on 7 May 2017[J]. Meteor Mon, 44(4): 469-484 (in Chinese).
|
唐文苑, 周庆亮, 刘鑫华, 等, 2017. 国家级强对流天气分类预报检验分析[J]. 气象, 43(1): 67-76. Tang W Y, Zhou Q L, Liu X H, et al, 2017. Anlyisis on verification of national severe convective weather categorical forecasts[J]. Meteor Mon, 43(1): 67-76 (in Chinese).
|
万赟, 2016. 从图灵测试到深度学习: 人工智能60年[J]. 科技导报, 34(7): 26-33. Wan Y, 2016. From turing test to deep learning: artificial intelligence 60 years[J]. Sci Technol Rev, 34(7): 26-33 (in Chinese).
|
王静, 程明虎, 2007. 用神经网络方法对雷达资料进行降水类型的分类[J]. 气象, 33(7): 55-59. Wang J, Cheng M H, 2007. Precipita-tion echo classification of radar reflectivity with artificial neural network[J]. Meteor Mon, 33(7): 55-59 (in Chinese). DOI:10.3969/j.issn.1000-0526.2007.07.006
|
王萍, 高毅, 李聪, 2016. 50 km以内雷暴系统的分类识别方法研究[J]. 气象, 42(2): 230-237. Wang P, Gao Y, Li C, 2016. Method study of classification and recognition of thunderstorm system less than 50 km[J]. Meteor Mon, 42(2): 230-237 (in Chinese).
|
王萍, 潘跃, 2013. 基于显著性特征的大冰雹识别模型[J]. 物理学报, 62(6): 069202. Wang P, Pan Y, 2013. Severe hail identification model based on saliency characteristics[J]. Acta Phys Sin, 62(6): 069202 (in Chinese).
|
王婷波, 周康辉, 郑永光, 2020. 我国中东部雷暴活动特征分析[J]. 气象, 46(2): 189-199. Wang T B, Zhou K H, Zheng Y G, 2020. Statistic Analysis of Thunderstorm Characteristics in Central and Eastern China[J]. Meteor Mon, 46(2): 189-199 (in Chinese).
|
王秀荣, 毛卫星, 郭进修, 2007. 2004年主汛期我国强对流天气灾害统计特征[J]. 自然灾害学报, 16(1): 27-30. Wang X R, Mao W X, Guo J X, 2007. Statistics features of strong convection wea-ther disaster in China in 2004 main flood period[J]. J Nat Disasters, 16(1): 27-30 (in Chinese). DOI:10.3969/j.issn.1004-4574.2007.01.006
|
吴昆, 梁伟, 王书强, 2018. 基于3D卷积神经网络的区域降雨量预报[J]. 图像与信号处理, 7(4): 200-212. Wu K, Liang W, Wang S Q, 2018. 3D convolutional neural network for regional precipitation nowcasting[J]. J Image Signal Process, 7(4): 200-212 (in Chinese).
|
吴蓁, 俞小鼎, 席世平, 等, 2011. 基于配料法的"08.6.3"河南强对流天气分析和短时预报[J]. 气象, 37(1): 48-58. Wu Z, Yu X D, Xi S P, et al, 2011. Analysis of the 3 June 2008 Henan severe convection event with ingredients based method[J]. Meteor Mon, 37(1): 48-58 (in Chinese).
|
许小峰, 2018. 从物理模型到智能分析——降低天气预报不确定性的新探索[J]. 气象, 44(3): 341-350. Xu X F, 2018. From physical model to intelligent analysis: a new exploration to reduce the uncertainty of weather forecast[J]. Meteor Mon, 44(3): 341-350 (in Chinese).
|
杨璐, 韩丰, 陈明轩, 等, 2018. 基于支持向量机的雷暴大风识别方法[J]. 应用气象学报, 29(6): 680-689. Yang L, Han F, Chen M X, et al, 2018. Thunderstorm gale identification method based on support vector machine[J]. J Appl Meteor Sci, 29(6): 680-689 (in Chinese).
|
杨仲江, 蔡波, 刘旸, 2013. 利用双隐层BP网络进行雷暴潜势预报试验——以太原为例[J]. 气象, 39(3): 377-382. Yang Z J, Cai B, Liu Y, 2013. Experimental research on thunderstorm forecasting with double hidden layer BP neural network: case study on Taiyuan[J]. Meteor Mon, 39(3): 377-382 (in Chinese).
|
俞小鼎, 2011. 基于构成要素的预报方法——配料法[J]. 气象, 37(8): 913-918. Yu X D, 2011. Ingredients based forecasting methodology[J]. Meteor Mon, 37(8): 913-918 (in Chinese).
|
俞小鼎, 周小刚, 王秀明, 2012. 雷暴与强对流临近天气预报技术进展[J]. 气象学报, 70(3): 311-337. Yu X D, Zhou X G, Wang X M, 2012. The advances in the nowcasting techniques on thunderstorms and severe convection[J]. Acta Meteor Sin, 70(3): 311-337 (in Chinese). DOI:10.3969/j.issn.1004-4965.2012.03.003
|
张涛, 关良, 郑永光, 等, 2020. 2019年7月3日辽宁开原龙卷灾害现场调查及其所揭示的龙卷演变过程[J]. 气象, 46(5): 603-617. Zhang T, Guan L, Zheng Y G, et al, 2020. Damage survey of the 3 July 2019 Kaiyuan tornado in Liaoning Province and its evolution revealed by disaster[J]. Meteor Mon, 46(5): 603-617 (in Chinese).
|
张小玲, 陶诗言, 孙建华, 2010. 基于"配料"的暴雨预报[J]. 大气科学, 34(4): 754-766. Zhang X L, Tao S Y, Sun J H, 2010. Ingredients-based heavy rainfall forecasting[J]. Chin J Atmos Sci, 34(4): 754-766 (in Chinese). DOI:10.3878/j.issn.1006-9895.2010.04.08
|
张小玲, 杨波, 盛杰, 等, 2018. 中国强对流天气预报业务发展[J]. 气象科技进展, 8(3): 8-18. Zhang X L, Yang B, Sheng J, et al, 2018. Development of operations on forecasting severe convective weather in China[J]. Adv Meteor Sci Technol, 8(3): 8-18 (in Chinese).
|
赵旭寰, 王振会, 肖稳安, 等, 2009. 神经网络在雷暴预报中的应用初步研究[J]. 热带气象学报, 25(3): 357-360. Zhao X H, Wang Z H, Xiao W A, et al, 2009. A preliminary study of neural network based short-term thunderstorm forecast[J]. J Trop Meteor, 25(3): 357-360 (in Chinese). DOI:10.3969/j.issn.1004-4965.2009.03.015
|
郑益勤, 杨晓峰, 李紫薇, 2020. 深度学习模型识别静止卫星图像海上强对流云团[J]. 遥感学报, 24(1): 97-106. Zheng Y Q, Yang X F, Li Z W, 2020. Detection of severe convective cloud over sea surface from geostationary meteorological satellite images based on deep learning[J]. J Remote Sens, 24(1): 97-106 (in Chinese).
|
郑永光, 蓝渝, 曹艳察, 等, 2020. 2019年7月3日辽宁开原EF4级强龙卷形成条件、演变特征和机理[J]. 气象, 46(5): 589-602. Zheng Y G, Lan Y, Cao Y C, et al, 2020. Environmental conditions, evolution and mechanisms of the EF4 tornado in Kaiyuan of Liaoning Province on 3 July 2019[J]. Meteor Mon, 46(5): 589-602 (in Chinese).
|
郑永光, 陶祖钰, 俞小鼎, 2017. 强对流天气预报的一些基本问题[J]. 气象, 43(6): 641-652. Zheng Y G, Tao Z Y, Yu X D, 2017. Some essential issues of severe convective weather forecasting[J]. Meteor Mon, 43(6): 641-652 (in Chinese).
|
郑永光, 田付友, 孟智勇, 等, 2016a. 2016a."东方之星"客轮翻沉事件周边区域风灾现场调查与多尺度特征分析[J]. 气象, 42(1): 1-13. Zheng Y G, Tian F Y, Meng Z Y, et al, 2016a. Survey and multi scale characteristics of wind damage caused by convective storms in the surrounding area of the capsizing accident of cruise ship "Dongfangzhixing"[J]. Meteor Mon, 42(1): 1-13 (in Chinese).
|
郑永光, 朱文剑, 姚聃, 等, 2016b. 风速等级标准与2016年6月23日阜宁龙卷强度估计[J]. 气象, 42(11): 1289-1303. Zheng Y G, Zhu W J, Yao D, et al, 2016b. Wind speed scales and rating of the intensity of the 23 June 2016 tornado in Funing County, Jiangsu Province[J]. Meteor Mon, 42(11): 1289-1303 (in Chinese).
|
郑永光, 周康辉, 盛杰, 等, 2015. 强对流天气监测预报预警技术进展[J]. 应用气象学报, 26(6): 641-657. Zheng Y G, Zhou K H, Sheng J, et al, 2015. Advances in techniques of monitoring, forecasting and warning of severe convective weather[J]. J Appl Meteor Sci, 26(6): 641-657 (in Chinese).
|
中国气象局, 2013. 综合气象观测系统发展规划(2014—2020年)[Z]. China Meteorological Administration, 2013. Comprehensive Meteorological Observation System Development Plan(2014-2020)[Z](in Chinese).
|
周康辉, 郑永光, 蓝渝, 2016. 基于闪电数据的雷暴识别、追踪与外推方法[J]. 应用气象学报, 27(2): 173-181. Zhou K H, Zheng Y G, Lan Y, 2016. Flash cell identification, tracking and nowcasting with lightning data[J]. J Appl Meteor Sci, 27(2): 173-181 (in Chinese).
|
周康辉, 郑永光, 王婷波, 等, 2017. 基于模糊逻辑的雷暴大风和非雷暴大风区分方法[J]. 气象, 43(7): 781-791. Zhou K H, Zheng Y G, Wang T B, et al, 2017. Fuzzy logic algorithm of thunderstorm gale identification using multisource data[J]. Meteor Mon, 43(7): 781-791 (in Chinese).
|
周康辉, 郑永光, 王婷波, 2021. 利用深度学习融合NWP和多源观测数据的闪电落区短时预报方法[J]. 气象学报, 79(1): 1-14. Zhou K H, Zheng Y G, Wang T B, 2021. Very short-range lightning forecasting with NWP and observation data: a deep learning approach[J]. Atca Meteor Sin, 79(1): 1-14 (in Chinese).
|
Ahijevych D, Pinto J O, Williams J K, et al, 2016. Probabilistic forecasts of mesoscale convective system initiation using the random forest data mining technique[J]. Wea Forecasting, 31(2): 581-599. DOI:10.1175/WAF-D-15-0113.1
|
Apke J M, Nietfeld D, Anderson M R, 2015. Environmental analysis of GOES-R proving ground convection-initiation forecasting algorithms[J]. J Appl Meteor Climatol, 54(7): 1637-1662. DOI:10.1175/JAMC-D-14-0190.1
|
Bechini R, Chandrasekar V, 2017. An enhanced optical flow technique for radar nowcasting of precipitation and winds[J]. J Atmos Oceanic Technol, 34(12): 2637-2658. DOI:10.1175/JTECH-D-17-0110.1
|
Bessho K, Date K, Hayashi M, et al, 2016. An introduction to Himawari-8/9—Japan's new-generation geostationary meteorological satellites[J]. J Meteor Soc Japan Ser II, 94(2): 151-183. DOI:10.2151/jmsj.2016-009
|
Billet J, DeLisi M, Smith B G, et al, 1997. Use of regression techniques to predict hail size and the probability of large hail[J]. Wea Forecasting, 12(1): 154-164. DOI:10.1175/1520-0434(1997)012<0154:UORTTP>2.0.CO;2
|
Collins W, Tissot P, 2015. An artificial neural network model to predict thunderstorms within 400 km2 South Texas domains[J]. Meteor Appl, 22(3): 650-665. DOI:10.1002/met.1499
|
Czernecki B, Taszarek M, Marosz M, et al, 2019. Application of machine learning to large hail prediction-the importance of radar reflectivity, lightning occurrence and convective parameters derived from ERA5[J]. Atmos Res, 227: 249-262. DOI:10.1016/j.atmosres.2019.05.010
|
Dixon M, Wiener G, 1993. TITAN: thunderstorm identification, tracking, analysis, and nowcasting—a radar-based methodology[J]. J Atmos Oceanic Technol, 10(6): 785-797. DOI:10.1175/1520-0426(1993)010<0785:TTITAA>2.0.CO;2
|
Doswell III C A, Brooks H E, Maddox R A, 1996. Flash flood forecasting: an ingredients-based methodology[J]. Wea Forecasting, 11(4): 560-581. DOI:10.1175/1520-0434(1996)011<0560:FFFAIB>2.0.CO;2
|
Foresti L, Sideris I V, Nerini D, et al, 2019. Using a 10-year radar archive for nowcasting precipitation growth and decay: a probabilistic machine learning approach[J]. Wea Forecasting, 34(5): 1547-1569. DOI:10.1175/WAF-D-18-0206.1
|
Gagne II D J, 2016. Coupling data science techniques and numerical weather prediction models for high-impact weather prediction[D]. Norman: University of Oklahoma.
|
Gagne II D J, McGovern A, Brotzge J, 2009. Classification of convective areas using decision trees[J]. J Atmos Oceanic Technol, 26(7): 1341-1353. DOI:10.1175/2008JTECHA1205.1
|
Gagne II D J, McGovern A, Brotzge J, et al, 2015. Day-ahead hail prediction integrating machine learning with storm-scale numerical weather models[C]//Proceedings of the Twenty-Seventh IAAI Conference. Austin: AAAI.
|
Gagne II D J, McGovern A, Haupt S E, et al, 2017. Storm-based probabilistic hail forecasting with machine learning applied to convection-allowing ensembles[J]. Wea Forecasting, 32(5): 1819-1840. DOI:10.1175/WAF-D-17-0010.1
|
Geng Y L A, Li Q Y, Lin T Y, et al, 2019. LightNet: a dual spatiotemporal encoder network model for lightning prediction[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage: ACM: 2439-2447.
|
Grams H M, Zhang J, Elmore K L, 2014. Automated identification of enhanced rainfall rates using the near-storm environment for radar precipitation estimates[J]. J Hydrometeorol, 15(3): 1238-1254. DOI:10.1175/JHM-D-13-042.1
|
Haberlie A M, Ashley W S, 2018a. A method for identifying midlatitude mesoscale convective systems in radar mosaics.Part I: segmentation and classification[J]. J Appl Meteor Climatol, 57(7): 1575-1598. DOI:10.1175/JAMC-D-17-0293.1
|
Haberlie A M, Ashley W S, 2018b. A method for identifying midlatitude mesoscale convective systems in radar mosaics.Part II: tracking[J]. J Appl Meteor Climatol, 57(7): 1599-1621. DOI:10.1175/JAMC-D-17-0294.1
|
Han H, Lee S, Im J, et al, 2015. Detection of convective initiation using meteorological imager onboard communication, ocean, and meteorological satellite based on machine learning approaches[J]. Remote Sens, 7(7): 9184-9204. DOI:10.3390/rs70709184
|
Han L, Sun J Z, Zhang W, et al, 2017. A machine learning nowcasting method based on real-time reanalysis data[J]. J Geophys Res: Atmos, 122(7): 4038-4051. DOI:10.1002/2016JD025783
|
Harris R J, Mecikalski J R, Mackenzie Jr W M, et al, 2010. The definition of GOES infrared lightning initiation interest fields[J]. J Appl Meteor, 49(12): 2527-2543. DOI:10.1175/2010JAMC2575.1
|
Haupt S E, Kosovć B, McIntosh S W, et al, 2018. 100 years of progress in applied meteorology.Part III: additional applications[J]. Meteor Monogr, 59: 24.1-24.35.
|
Herman G R, Schumacher R S, 2018. Money doesn't grow on trees, but forecasts do: forecasting extreme precipitation with random forests[J]. Mon Wea Rev, 146(5): 1571-1600. DOI:10.1175/MWR-D-17-0250.1
|
Hinton G E, Salakhutdinov R R, 2006. Reducing the dimensionality of data with neural networks[J]. Science, 313(5786): 504-507. DOI:10.1126/science.1127647
|
Islam T, Rico-Ramirez M A, Han D W, et al, 2012. Artificial intelligence techniques for clutter identification with polarimetric radar signatures[J]. Atmos Res, 109-110: 95-113. DOI:10.1016/j.atmosres.2012.02.007
|
Johnson J T, MacKeen P L, Witt A, et al, 1998. The storm cell identification and tracking algorithm: an enhanced WSR-88D algorithm[J]. Wea Forecasting, 13(2): 263-276. DOI:10.1175/1520-0434(1998)013<0263:TSCIAT>2.0.CO;2
|
Karpatne A, Ebert-Uphoff I, Ravela S, et al, 2019. Machine learning for the geosciences: challenges and opportunities[J]. IEEE Trans Knowl Data Eng, 31(8): 1544-1554. DOI:10.1109/TKDE.2018.2861006
|
Kim S, Hong S, Joh M, et al, 2017b. DEEPRAIN: ConvLSTM network for precipitation prediction using multichannel radar data[J/OL]. arXiv preprint arXiv: 1711.02316.
|
Kim M, Im J, Park H, et al, 2017a. Detection of tropical overshooting cloud tops using Himawari-8 imagery[J]. Remote Sens, 9(7): 685. DOI:10.3390/rs9070685
|
Krizhevsky A, Sutskever I, Hinton G E, 2012. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc: 1097-1105.
|
Kühnlein M, Appelhans T, Thies B, et al, 2014a. Improving the accuracy of rainfall rates from optical satellite sensors with machine learning — a random forests-based approach applied to MSG SEVIRI[J]. Remote Sens Environ, 141: 129-143.
|
Kühnlein M, Appelhans T, Thies B, et al, 2014b. Precipitation estimates from MSG SEVIRI daytime, nighttime, and twilight data with random forests[J]. J Appl Meteor Climatol, 53(11): 2457-2480.
|
Lagerquist R, McGovern A, Gagne II D J, 2019. Deep learning for spatially explicit prediction of synoptic-scale fronts[J]. Wea Forecasting, 34(4): 1137-1160.
|
Lagerquist R, McGovern A, Smith T, 2017. Machine learning for real-time prediction of damaging straight-line convective wind[J]. Wea Forecasting, 32(6): 2175-2193.
|
Lakshmanan V, Rabin R, DeBrunner V, 2000. Identifying and tracking storms in satellite images[C]//Proceedings of the 10th Conference on Satellite Meteorology and Oceanography and Second Conference on Artificial Intelligence. Long Beach: AMS: 171-176.
|
Lakshmanan V, Stumpf G, Witt A, 2005. A neural network for detecting and diagnosing tornadic circulations using the mesocyclone detection and near storm environment algorithms[C]//21st International Conference on Interactive Information Processing Systems. San Diego: American Meteorological Society.
|
Lazri M, Ameur S, 2018. Combination of support vector machine, artificial neural network and random forest for improving the classification of convective and stratiform rain using spectral features of SEVIRI data[J]. Atmos Res, 203: 118-129.
|
LeCun Y, Bengio Y, 1995. Convolutional networks for images, speech, and time series[M]//Arbib M A. The Handbook of Brain Theory and Neural Networks. Cambridge: MIT Press: 255-258.
|
LeCun Y, Bengio Y, Hinton G, 2015. Deep learning[J]. Nature, 521(7553): 436-444.
|
Lee S, Han H, Im J, et al, 2017. Detection of deterministic and probabilistic convection initiation using Himawari-8 advanced Himawari imager data[J]. Atmos Meas Tech, 10(5): 1859-1874.
|
Lin T Y, Li Q Y, Geng Y A, et al, 2019. Attention-based dual-source spatiotemporal neural network for lightning forecast[J]. IEEE Access, 7: 158296-158307.
|
Liu N N, Liu C T, Tissot P E, 2019. A Bayesian-like approach to describe the regional variation of high-flash rate thunderstorms from thermodynamic and kinematic environment variables[J]. J Geophys Res: Atmos, 124(23): 12507-12522.
|
Manzato A, 2013. Hail in northeast Italy: a neural network ensemble forecast using sounding-derived indices[J]. Wea Forecasting, 28(1): 3-28.
|
Marzban C, Witt A, 2001. A Bayesian neural network for severe-hail size prediction[J]. Wea Forecasting, 16(5): 600-610.
|
McGovern A, Elmore K L, Gagne D J, et al, 2017. Using artificial intelligence to improve real-time decision-making for high-impact weather[J]. Bull Amer Meteor Soc, 98(10): 2073-2090.
|
McGovern A, Gagne II D J, Williams J K, et al, 2014. Enhancing understanding and improving prediction of severe weather through spatiotemporal relational learning[J]. Mach Learn, 95(1): 27-50.
|
McGovern A, Lagerquist R, Gagne II D J, et al, 2019. Making the black box more transparent: understanding the physical implications of machine learning[J]. Bull Amer Meteor Soc, 100(11): 2175-2199.
|
Mecikalski J R, Bedka K M, 2006. Forecasting convective initiation by monitoring the evolution of moving cumulus in daytime GOES imagery[J]. Mon Wea Rev, 134(1): 49-78.
|
Mecikalski J R, Li X L, Carey L D, et al, 2013. Regional comparison of GOES cloud-top properties and radar characteristics in advance of first-flash lightning initiation[J]. Mon Wea Rev, 141(1): 55-74.
|
Mecikalski J R, Mackenzie W M Jr, Köenig M, et al, 2010a. Cloud-top properties of growing cumulus prior to convective initiation as measured by meteosat second generation.Part I: infrared fields[J]. J Appl Meteor Climatol, 49(3): 521-534.
|
Mecikalski J R, Mackenzie W M Jr, König M, et al, 2010b. Cloud-top properties of growing cumulus prior to convective initiation as measured by meteosat second generation.Part II: use of visible reflectance[J]. J Appl Meteor Climatol, 49(12): 2544-2558.
|
Mecikalski J R, Williams J K, Jewett C P, et al, 2015. Probabilistic 0-1-h convective initiation nowcasts that combine geostationary satellite observations and numerical weather prediction model data[J]. J Appl Meteor Climatol, 54(5): 1039-1059.
|
Meyer H, Kühnlein M, Appelhans T, et al, 2016. Comparison of four machine learning algorithms for their applicability in satellite-based optical rainfall retrievals[J]. Atmos Res, 169: 424-433.
|
Meyer H, Kühnlein M, Reudenbach C, et al, 2017. Revealing the potential of spectral and textural predictor variables in a neural network-based rainfall retrieval technique[J]. Remote Sens Lett, 8(7): 647-656.
|
Ouallouche F, Lazri M, Ameur S, 2018. Improvement of rainfall estimation from MSG data using random forests classification and regression[J]. Atmos Res, 211: 62-72.
|
Reichstein M, Camps-Valls G, Stevens B, et al, 2019. Deep learning and process understanding for data-driven Earth system science[J]. Nature, 566(7743): 195-204.
|
Rudin C, 2019. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead[J]. Nat Mach Intell, 1(5): 206-215.
|
Russakovsky O, Deng J, Su H, et al, 2015. ImageNet Large Scale Visual Recognition Challenge[J]. International J Compu Visi, 115(3): 211-252.
|
Sánchez J L, Marcos J L, de la Fuente M T, et al, 1998. A logistic regression model applied to short term forecast of hail risk[J]. Phys Chem Earth, 23(5/6): 645-648.
|
Schultz C J, Petersen W A, Carey L D, 2009. Preliminary development and evaluation of lightning jump algorithms for the real-time detection of severe weather[J]. J Appl Meteor Climatol, 48(12): 2543-2563.
|
Shi X J, Chen Z R, Wang H, et al, 2015. Convolutional LSTM network: A machine learning approach for precipitation nowcasting[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge: MIT Press: 802-810.
|
Shi X J, Gao Z H, Lausen L, et al, 2017. Deep learning for precipitation nowcasting: a benchmark and a new model[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc. : 5622-5632.
|
Sønderby C K, Espeholt L, Heek J, et al, 2020. MetNet: a neural weather model for precipitation forecasting[J/OL]. arXiv preprint arXiv: 2003.12140.
|
Sun J Z, Xue M, Wilson J W, et al, 2014. Use of NWP for nowcasting convective precipitation: recent progress and challenges[J]. Bull Amer Meteor Soc, 95(3): 409-426.
|
Szegedy C, Toshev A, Erhan D, 2013. Deep neural networks for object detection[C]//Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc. : 2553-2561.
|
Tebbi M A, Haddad B, 2016. Artificial intelligence systems for rainy areas detection and convective cells' delineation for the south shore of Mediterranean Sea during day and nighttime using MSG satellite images[J]. Atmos Res, 178/179: 380-392.
|
Walker J R, MacKenzie W M Jr, Mecikalski J R, et al, 2012. An enhanced geostationary satellite-based convective initiation algorithm for 0-2-h nowcasting with object tracking[J]. J Appl Meteor Climatol, 51(11): 1931-1949.
|
Wang P, Lv W, Wang C, et al, 2018. Hail storms recognition based on convolutional neural network[C]//2018 13th World Congress on Intelligent Control and Automation (WCICA). Changsha: IEEE.
|
Wang Y B, Long M S, Wang J M, et al, 2017. PredRNN: Recurrent neural networks for predictive learning using spatiotemporal LSTMs[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc. : 879-888.
|
Whan K, Schmeits M, 2018. Comparing area probability forecasts of (extreme) local precipitation using parametric and machine learning statistical postprocessing methods[J]. Mon Wea Rev, 146(11): 3651-3673.
|
Wilson J W, Crook N A, Mueller C K, et al, 1998. Nowcasting thunderstorms: a status report[J]. Bull Amer Meteor Soc, 79(10): 2079-2100.
|
Wilson J W, Feng Y R, Chen M, et al, 2010. Nowcasting challenges during the Beijing Olympics: successes, failures, and implications for future nowcasting systems[J]. Wea Forecasting, 25(6): 1691-1714.
|
Wolpert D H, Macready W G, 1997. No free lunch theorems for optimization[J]. IEEE Trans Evol Comput, 1(1): 67-82.
|
Xu J W, Wang P, Xie Y Y, 2009. Image segmentation of typhoon spiral cloud bands based on support vector machine[C]//2009 International Conference on Machine Learning and Cybernetics. Hebei: IEEE, 2: 1088-1093.
|
Yosinski J, Clune J, Nguyen A, et al, 2015. Understanding neural networks through deep visualization[J/OL]. arXiv preprint arXiv: 1506.06579.
|
Yu P S, Yang T C, Chen S Y, et al, 2017. Comparison of random forests and support vector machine for real-time radar-derived rainfall forecasting[J]. J Hydrol, 552: 92-104.
|
Zhang W, Han L, Sun J Z, et al, 2017. Application of multi-channel 3D-cube successive convolution network for convective storm nowcasting[J/OL]. arXiv preprint arXiv: 1702.04517.
|
Zhou K H, Zheng Y G, Dong W S, et al, 2020. A deep learning network for cloud-to-ground lightning nowcasting with multi-source data[J]. J Atmos Ocean Technol, 5: 927-942.
|
Zhou K H, Zheng Y G, Li B, et al, 2019. Forecasting different types of convective weather: a deep learning approach[J]. J Meteor Res, 33(5): 797-809. DOI:10.1007/s13351-019-8162-6
|