2. 辽宁省营口市气象局, 营口 115001;
3. 成都信息工程大学, 成都 610621
2. Yingkou Meteorological Office of Liaoning Province, Yingkou 115001;
3. Chengdu University of Information Technology, Chengdu 610621
鸟类是自然界的重要组成部分,它们在生态系统中扮演着至关重要的角色。鸟类种类繁多,数量众多,它们的迁徙、栖息、繁殖等行为对环境的变化和生态平衡有着重要影响。每年有数以万计的鸟类为了适应生存环境的变化,从一个栖息地转移至另一个栖息地,人们把这种鸟类对特定条件的适应性反应称为迁徙。鸟类的迁徙不但影响了各个地区的生态平衡,同时也影响着全球的整体生态系统。由此可见,鸟类是生态环境中重要的组成部分,其活动反映了生态系统的健康状况。昆虫和飞鸟回波是天气雷达上常见的生物回波,是晴空回波的主要成因之一(Alerstam and Bäckman,2018),国内有研究者发现飞鸟回波在天气雷达反射率产品上呈现明显的圆环形态特征(姚文等,2022),通过天气雷达对鸟类的识别和观测,可以更好地了解鸟类的活动规律和生态习性,为生态保护和生物多样性保护提供科学依据。同时,在航空技术高速发展的今天,飞机已然成为日常化的交通工具之一,飞机航行的安全显得愈发重要,而鸟类活动产生的杂波干扰对语音、数据等信号的传输质量造成干扰,严重影响了飞机航行的安全性与可靠性(陈唯实等,2022)。
应用雷达开展动物迁徙研究已经超过70年。早在20世纪40年代,研究者就发现雷达数据中有非军事和非降雨回波特征的像素点,并对其进行了深入的研究。Lack and Varley(1945)的研究表明鸟类反射的电磁波能够被雷达设备检测到,这为雷达探测生物研究开启了一个新的篇章。Buss(1946)对军事雷达检测到的大量假回波进行了分析,最后确定了回波来源为信天翁和军舰鸟。Rainey(1955)对雷达检测到蝗虫的可行性进行了理论分析,认为雷达平面位置显示器PPI在观察蝗虫方面优于全球定位系统GPS Ⅲ,并应用1954年3月22日波斯湾地区的蝗灾个案证实该理论。美国气象学者证实了WSR-88D气象雷达能够为候鸟的长途迁徙以及当地的固定飞行活动提供详尽的资料(Gauthreaux and Belser, 1998;Zrnic and Ryzhkov, 1998;Jatau et al,2021)。Zrnic and Ryzhkov(1998)提出可以应用天气雷达观测数据研究空中的鸟、虫等生物学特征,同时大范围的鸟类活动也会反过来影响天气雷达的气象回波探测效果,因此,开展雷达生物学方面的研究显得越来越重要。
近年来,人工智能领域里最受关注的两个研究方向是深度学习和机器学习,其中深度学习是通过模拟大脑神经元的连接方式,从海量数据中学习并提取复杂的特征,具有高效的数据处理能力(LeCun et al,2015)。Girshick et al(2014)提出了卷积神经网络(convolutional neural network,CNN),之后Girshick(2015)又提出了快速区域卷积神经网络(fast region-based convolutional neural network,Fast R-CNN),通过引入多任务损耗函数,将特征抽取、对象分类、位置定位等环节进行端对端优化,在保留R-CNN良好识别精度的前提下,显著提高目标识别速度。深度学习可以应用在航空、新能源、生物、计算机等各个领域(仝卫国等,2018;常洪彬,2022;刘谭等,2024;申通等,2024),其优越的性能也得到了众多气象研究者的关注(刘俊等,2022;胡家晖等,2022;杨绚等,2022;陈鹤等,2022;罗文杰等,2023;黄兴友等,2024)。深度学习可以从海量的气象数据中通过数据驱动自动地提取多层特征,从原始数据中提取由低层到高层、由具体到抽象、由一般到特定语义的特征,国内外气象学者应用深度学习开展气象研究并取得了一定的进展(Haberlie and Ashley, 2019;Reichstein et al,2019;蒋薇等,2021;黄兴友等,2021;周康辉等,2021;皇甫江等,2022;庄潇然等,2023)。在雷达相关研究方向上,黄兴友等(2021)采用神经网络模型作为网络架构实现了雷达回波的外推;南刚强等(2021)使用深度学习中的深度神经网络(deep neural network,DNN)进行中尺度对流系统的特征识别和追踪,取得了很好的追踪结果;曹伟华等(2022)采用深度学习网络模型开展京津冀地区精细尺度降水滚动式临近预报试验和对比分析,证明深度学习模型对降水消亡过程的时空演变趋势刻画更好,尤其更适用于降水消亡过程的临近预报;张林等(2023)以天气雷达观测中的故障、电磁干扰等异常数据为研究对象,构建卷积神经网络、图像语义分割网络两种模型架构,应用于单站雷达异常数据检测与识别,可以从基数据端直接消除故障等异常数据,提高天气雷达网观测数据质量;张亚萍等(2024)利用深度网络的显著目标检测算法,输入天气雷达反射率因子拼图,建立强降水落区预报模型,预报未来30 min强降水落区,可以有效补充雨量计布设稀疏地区的强降水监测和预报信息;王善昊等(2024)基于深度学习架构,融合天气背景物理量,研究天气雷达回波外推改进的可行性,引入物理量后有效提升了雷达回波外推的准确度,证明基于MR-ConvLSTM架构训练的雷达回波外推模型有较强的泛化能力。与传统的目标识别算法相比较,基于深度学习的目标识别算法在识别精度、时间复杂度等方面都有明显的优越性(李志安等,2024)。以上研究表明,深度学习方法在天气雷达数据应用方面已初步发挥应用潜力。
YOLO(You Only Look Once)是在2015年提出的基于单个神经网络的目标检测系统,以其杰出的实时检测速度成为目前主流的开源检测算法之一(Redmon and Farhadi, 2018)。从提出至今,该算法经过了从YOLOv1到YOLOv9的迭代和发展,徐彦威等(2024)对各版的整体框架进行了横向分析,介绍其在各领域的发展现状,并探讨了YOLO算法的四个研究方向。在具体应用中,研究者会根据具体需求对YOLO算法进行改进,如:钱伍等(2022)针对交通检测提出改进YOLOv5的交通灯检测算法;苏俊楷等(2023)为了解决玉米叶部病害识别技术落后、效率不高、精度不够的问题,提出一种改进的YOLOv5算法识别玉米病害。YOLOv5算法是目前人工智能领域多目标识别和追踪应用较多的轻量化卷积神经网络之一,本文将基于飞鸟回波在天气雷达反射率产品上的圆环形态图像特征,采用YOLOv5算法与多目标跟踪算法(deep learning based simple online and realtime tracking,DeepSort)相结合的改进算法分别对鸟回波进行识别和追踪,以提高在复杂环境中的跟踪精度。开展我国天气雷达生物回波自动识别研究,通过识别和追踪鸟杂波,可以实现对鸟类的有效监控和管理,减少鸟杂波对信号的干扰,降低航空事故的风险,保障航空安全。
1 鸟回波在雷达反射率产品中的具体特征近年来,国内有研究者在使用新一代天气雷达体扫数据(张晶等,2024)对鸟类活动的探测过程中,寻找到了鸟回波在天气雷达产品中的一些具体特征(姚文等,2022;赵子杭等,2024)。研究者经过长时间的观测以及大量的数据分析,以营口单、双偏振天气雷达对辽河三角洲及附近湿地鸟类活动探测情况为例,发现飞鸟回波在反射率产品上呈现明显的圆环形态特征(图 1),反射率因子最强可以达40 dBz以上(姚文等,2022),在对应的速度产品等雷达图上也可以看到明显的辐散特征(图略),差分反射率、相关系数等产品上也存在一定规律性(图略)。经过长时间的观测发现,飞鸟回波的雷达反射率随时间变化而变化(图 1)。
![]() |
图 1 2019年9月15日营口天气雷达0.5°仰角辽河湿地附近鸟类回波反射率因子变化(姚文等,2022) 注:红圈为鸟类回波位置, 图中时间为北京时。 Fig. 1 Changes of reflectivity factors of bird echoes near Liaohe Wetland at 0.5° elevation of Yingkou Weather Radar on 15 September 2019 (cited from Yao et al, 2022) |
鉴于研究已表明飞鸟回波在雷达反射率图上具有较为明显的图像特征,本文基于此,结合深度学习技术,对具有鸟类回波的雷达反射率图像进行特征提取,并对提取的特征参数进行训练、识别,以期为后续鸟类相关的研究提供数据参考。
2 YOLOv5与DeepSort算法与优化 2.1 YOLOv5算法本文基于YOLO系列中YOLOv5对鸟类回波进行识别和追踪。该框架采用Fast R-CNN实现快速目标检测方法,相比于传统的目标检测算法,其性能更加优越,是一种应用于目标检测的深度学习算法,其原理是深度学习技术中的卷积神经网络,它可以自动提取图像当中的特征,并将特征应用于识别和分类。YOLOv5模型由三个主要部分组成:骨干网络、特征金字塔和输出层。骨干网络通常采用残差神经网络(residual neural network,ResNet)或匿名网络(Darknet)等现代卷积神经网络架构从原始图像中提取高级特征。特征金字塔则是一个多尺度处理模块,可以在不同尺度上对输入图像进行处理,以便检测不同大小和形状的物体。这种处理方式使得YOLOv5能够在各种场景下保持出色的性能,无论是大型物体还是小型细节,都能得到准确的检测结果。输出层包括分类器和回归器,用于预测每个物体的类别和位置。
YOLOv5在保持较高的检测准确率的同时,通过优化网络结构和使用更高效的计算方法,实现了更快的检测速度。YOLOv5使用CSPDarknet53作为其主干骨干网络,这是一种修改版的Darknet骨干网络,是基于Darknet53架构的深度学习模型,采用更细粒度的特征金字塔和更多层次的特征融合方法,具有更多的层次和改进的结构,可提高特征提取能力和检测精度,由53层卷积层组成。相比于Fast R-CNN,在同等条件下,YOLOv5能够更准确地定位和识别物体。
2.2 YOLOv5的算法改进添加注意力机制是YOLOv5算法常见的优化方案之一,可以提高模型在目标检测任务中的性能,同时使模型更加专注于图像中的重要区域,从而提高其检测能力。
在计算机视觉研究中,注意力机制广泛应用于两种主要类型:空间注意力和通道注意力。空间注意力用于捕捉像素级别的成对关系,而通道注意力则用于捕捉通道之间的依赖关系。两者结合会达到更好的效果,但也会带来大量的计算负担。因此本文引入轻量级注意力Shuffle Attention模块来解决这上述问题,该模块合理地融合了空间与通道两种注意力机制,模块结构如图 2所示。首先,采用空间注意力机制,将通道维度细致地划分为多个子特征,并同步地对这些子特征进行并发处理。然后,对于每一个子特征,模块巧妙地引入Shuffle单元,该单元不仅能够捕获空间和通道维度上的特征关联性,还确保了特征信息的全面捕捉。在完成了对每个子特征的处理之后,模块将所有子特征进行了集成,并通过“通道Shuffle”操作,实现了不同子特征间信息的交互与融合,进一步提升了模型对于特征的理解和表达能力。
![]() |
图 2 Shuffle Attention模块结构 注:w表示宽度,h表示高度,c表示通道数。图中可见,输入X沿着通道维度被拆分为g组子特征;任一子特征将又被拆分成两个分支,一个用于学习通道注意力特征,另一个用于学习空域注意力特征。 Fig. 2 Shuffle Attention module structure |
在YOLOv5中加入Shuffle Attention注意力机制,目标是突出关键特征信息,削弱次要的干扰因素,在兼容空间注意力机制与通道注意力机制的同时,减少计算开销,从而提高整体模型的准确性与有效性。
2.3 DeepSort目标跟踪算法DeepSort是一种基于深度学习的目标跟踪算法,是在SORT(simple online and realtime tracking) 算法的基础上发展而来的。通过增加级联匹配,并结合深度学习特征提取技术,能够更好地处理重叠目标和利用目标视觉特征,提高追踪的准确性和鲁棒性,其网络结构框架如图 3所示。DeepSort结合了YOLOv5的目标检测和目标识别技术,能够准确地检测和跟踪视频中的多个目标,并为每个目标分配一个唯一的编号。该算法使用卷积神经网络进行目标检测,然后使用外观描述符对目标进行特征提取和表示。DeepSort还采用了卡尔曼滤波和匈牙利算法来对目标进行关联和排序,从而实现多目标跟踪;通过持续更新目标的状态和外观信息,可以处理目标的遮挡、外观变化和丢失等问题,保持较稳定的跟踪效果,广泛应用于视频监控、自动驾驶、行人计数等领域,为目标跟踪任务提供了强大的性能和准确性。考虑其与DeepSort算法较好的兼容性,本文基于YOLOv5框架应用DeepSort算法对鸟回波进行轨迹追踪。
![]() |
图 3 DeepSort网络结构 Fig. 3 Diagram of DeepSort network structure |
卡尔曼滤波算法是DeepSort框架的主要构成算法之一,它利用一系列测量数据对系统状态进行估计和预测。卡尔曼滤波算法结合了系统动态模型和测量数据,通过对系统状态在不同时间点的分布进行估计,来获得对系统状态的最优估计值,其基本思想是通过动态模型对系统状态进行预测,然后利用测量数据对预测结果进行修正,以获得对系统状态更准确的估计。在对鸟回波的识别过程中,在连续的帧(一张天气雷达反射率图为一帧)中检测到鸟类回波后,需要对这些鸟类回波进行跟踪,卡尔曼滤波在此起到至关重要的作用,其通过预测与更新,依据前一帧的鸟回波状态预测下一帧的鸟回波状态,并利用当前识别到的鸟回波帧的测量值来更新预测。具体实施中相应分为预测阶段与更新阶段,具体步骤参见Kalman(1960),本文不做详细描述。
2.3.2 匈牙利匹配算法匈牙利算法是一种解决指派问题的优化算法,被广泛应用于目标检测领域中,尤其是在多目标追踪以及多目标检测任务中。在应用DeepSort(刘昱杉等,2023)对鸟回波进行追踪检测的过程中,使用该算法将当前帧的鸟回波坐标位置与下一帧的鸟回波的坐标位置相互匹配,确保所检测到的同一个鸟回波在前后帧的编号ID不发生改变。为解决卡尔曼滤波器的预测状态与测量状态之间的联系,匈牙利匹配算法是通过运动状态与外观特征这两个指标来实现的,而运动状态与外观特征又分别通过马氏距离和余弦距离来关联,最后对两个指标进行加权求和,从而得到最终结果。马氏距离又称为协方差距离,是一种估计两个未知样本数据集之间的相似程度的计算方法,并测量预测值与检测值的匹配程度。在DeepSort中,通过预测状态以及测量状态之间的马氏距离来整合物体的运动状态,同时也能通过马氏距离来计算跟踪目标的预测框与跟踪目标的检测框之间的具体差值,来预估跟踪状态的不确定性,详细算法和公式参见Wojke et al(2017),本文不做详细描述。
2.4 DeepSort算法优化在DeepSort算法中,IOU(intersection over union)是用于验证识别到的鸟回波目标检测边界框之间的重叠程度的重要指标(刘磊等,2024)。具体来说,在本文中IOU被用于连续的天气雷达反射率图中识别鸟回波特征并进行鸟回波目标关联,即在连续的帧之间关联相同的鸟回波目标,确保每个鸟回波目标的轨迹是连续且正确的。在DeepSort的实现中,IOU通过衡量当前帧中的鸟回波检测框与上一帧中的鸟回波跟踪框之间的重叠程度来决定哪些鸟回波检测框属于同一个鸟回波目标,从而提高跟踪精度,减少误检和漏检(刘磊等,2024),如式(1)所示。
$ \mathrm{IOU}=\frac{|A \cap B|}{|A \cup B|} $ | (1) |
式中:A∩B表示两个边界框重叠的面积,A∪B表示两个边界框的并集面积。
通常会设置一个IOU阈值,当两个边界框的IOU值大于这个阈值时,这两个框被认为是同一个鸟回波目标。适当的IOU阈值设置可以有效地关联连续帧中的鸟回波目标,提高跟踪鸟回波的精度和可靠性。
然而IOU匹配只考虑了两个边界框的重叠面积和并集面积,对于两个框的中心点距离并没有考虑在内,当检测到的鸟回波目标在外观特征中不匹配、同时预测框与检测框无重叠面积时,同一鸟回波目标的REID编号将发生改变。因此,基于此类缺陷,本文将DeepSort算法中的匹配机制替换为性能更加优越的DIOU(distance intersection over union) 匹配机制,以弥补上述缺陷。
DIOU是一种改进的边界框重叠测量方法,目的是解决IOU的一些不足之处。DIOU在计算边界框重叠度的基础上,引入了边界框中心点之间的距离,使得评价更加全面和准确(Zheng et al,2020), 如式(2)所示。
$ L_{\mathrm{DIOU}}=1-I_{\mathrm{IOU}}+\frac{\rho^2\left(b, b^{\prime}\right)}{c^2} $ | (2) |
式中: IIOU表示预测框与检测框的重叠区域与并集区域的比值, LDIOU表示预测框与检测框之间的距离交并比损失, b表示预测框的中心点, b′表示检测框的中心点, ρ则代表b与b′两个点的欧氏距离(如图 4中d所示长度), c为包围预测框和检测框的最小闭合区域的对角线长度(如图 4中c所示长度)。
![]() |
图 4 DIOU距离交并比示意图 Fig. 4 Schematic diagram of DIOU distance interaction ratio |
通过引入中心点距离的测量,DIOU能更准确地反映两个边界框的相对位置,在检测目标没有发生重叠的情况下,也能提供有效的相似性评估。当边界框的长宽比等外观特征发生一定范围内的变化时,相比于IOU而言,DIOU产生的影响相对较小,因此DIOU能更稳定地评估边界框的相似性。同时,在鸟回波的目标跟踪和检测任务中,DIOU通过综合考虑重叠度和位置距离,能更快速地排除不相关的目标,提高关联的效率和准确性。
3 数据处理及模型 3.1 鸟回波识别的数据处理及模型训练 3.1.1 试验数据集本文试验数据集使用2020—2023年8—10月营口天气雷达具有鸟回波特征的数据作为测试集,通过绘制鸟回波反射率因子图片产品,甄别筛选出1035张具有明显鸟类回波雷达反射率图的数据集,因此测试集更具有代表性。
3.1.2 数据集预处理考虑到训练时占用内存及运行速度,同时尽可能地兼顾图像的清晰程度,统一将雷达反射率图的分辨率调整为875像素×656像素,然后筛选并删除图像不清晰、鸟回波不明显的数据集,将筛选后的数据集通过数据增强技术,对图形进行90°旋转,以及水平和垂直位置的平移,以扩充数据集样本,从而达到增强模型的泛化能力的效果。再通过Labellmg标记软件对处理后的数据集进行鸟回波目标框标记,生成用于后续模型训练的YOLO数据格式。
3.1.3 模型结构YOLOv5模型的主要结构包括输入端、骨干网络、颈部以及预测四个部分。输入端处理输入图像,适配模型处理尺寸。骨干网络负责特征提取。颈部部分使用路径聚合网络(PANet)来增强特征之间的连接,提高特征的利用效率。预测部分则负责生成检测结果,包括分类和定位信息。
成本函数方面,YOLOv5采用了包括边界框回归损失、类别损失以及目标置信度损失的多部分组合。边界框回归损失用于精确目标位置,类别损失确保正确的目标识别,目标置信度损失则评估模型对检测到的目标存在的置信程度。这些损失函数共同作用,以优化模型在多目标检测任务中的整体性能。
3.1.4 模型训练本文在TensorFlow-gpu2.10版本的深度学习框架下采用YOLOv5网络实现鸟回波检测,用训练集将模型训练完成后,用测试集测试模型的识别效果。模型训练分为两个阶段,第一阶段设置迭代次数;第二阶段使用第一阶段训练生成的权重文件对数据集进行二次训练,持续迭代后直至损失函数区域稳定,得到模型最终权重文件。
随着训练次数的提升,模型的准确率与召回率逐渐提升,YOLOv5在鸟回波数据集上模型训练时间大约花费12小时,共1500个单次迭代。如图 5所示,在样本迭代900次左右接近最大值,在迭代超过1000次左右逐渐出现过拟合现象,在实际的识别效果中,合适的训练次数往往就能达到很好的识别效果,因此样本训练的次数选择在1000次较为合理。
![]() |
图 5 (a) 准确率与(b)召回率 Fig. 5 (a) Precision rate and (b) recall rate |
将生成的权重文件置于主目录下,修改调整相关数值参数,将需要预测的对象图片放入目标目录下进行预测,生成的可观测的预测图像如图 6所示,图中的bird指代检测到的鸟类回波,数值0.97表示类别置信度,这是一种衡量模型对检测结果信心的指标,取值范围是0~1。具体来说,这个值反映模型对某个目标属于检测出来的类别的确信程度,越接近1表示模型对这个预测结果越有信心。
![]() |
图 6 营口天气雷达2023年9月13日识别的飞鸟回波 注:红框为检测到的鸟类回波,bird为识别标记,数字为类别置信度。 Fig. 6 Identification of bird echoes by Yingkou Weather Radar on 13 September 2023 |
鸟回波追踪使用的数据集与鸟回波识别的数据集一致。
3.2.2 模型结构优化后的DeepSort模型的主要结构包括基于YOLOv5的目标检测器、特征提取器和跟踪处理器。首先使用YOLOv5检测视频帧中的目标,然后提取目标的外观特征。这些特征与卡尔曼滤波算法预测的运动特征结合,形成代价矩阵,再使用匈牙利算法进行目标匹配。跟踪处理器利用卡尔曼滤波进行目标状态的预测和更新,并通过级联匹配和优化后的DIOU匹配进行跟踪管理,包括轨迹的初始化和删除。
DeepSort的成本函数主要依赖于匈牙利算法计算得到的代价矩阵,该矩阵基于目标的外观和运动信息,优化了目标的匹配和跟踪效率,从而提高了多目标跟踪的准确性和鲁棒性。
3.2.3 试验过程鸟回波目标追踪项目分为两个试验模块。首先,在鸟类回波目标识别模块中,训练模型生成权重文件,以实现对鸟回波的识别检测,这个过程的试验方法与鸟回波检测的方法相似;其次,是应用DeepSort框架结合识别模型对鸟回波位置的追踪检测模块,此间会应用到鸟类回波目标识别模块中所生成的最终权重文件。值得注意的是,DeepSort的检测主体是视频文件,因此需要提供效果较好、时间较为连续的鸟回波移动轨迹视频,这也将直接对鸟回波目标追踪的最终效果产生影响。试验具体流程如图 7所示。
![]() |
图 7 鸟类回波目标跟踪流程图 Fig. 7 Flow chart of bird echo target tracking |
该追踪效果可以较为清晰地检测到多个鸟类回波的出现生成以及消失过程,基于外观描述在每个鸟回波上分配固定的ID,并且在鸟回波运动过程中能较为清楚地识别鸟回波运动位置变化,如图 8所示。
![]() |
图 8 营口天气雷达2020年8月24日多个鸟类回波目标追踪效果 注:红框为检测到的鸟类回波追踪对象,数字为鸟类回波ID编号。 Fig. 8 Effect of multiple bird echo target tracking by Yingkou Weather Radar on 24 August 2020 |
DeepSort使用卡尔曼滤波来预测每个目标的下一帧位置,然后通过匈牙利算法将当前帧中的检测结果与上一帧中的已跟踪目标进行关联。通过计算相关度和距离等指标,找到最佳匹配的目标。基于此类原理,本文将在移动检测过程中进一步优化,并添加鸟回波的移动轨迹坐标。
鸟回波的追踪轨迹是通过将目标物体的位置信息保存下来,并使用这些信息绘制物体的运动轨迹。使用OpenCV等图像处理库来实现轨迹的绘制,其绘制的几何中心点是目标检测框的几何中心点,中心点随着目标移动而变化,并记录几何中心点的移动路径,同时考虑到图像检测范围,设置最大轨迹长度,其检测框几何中心点的移动路径即为鸟类回波的移动轨迹,效果如图 9所示。
![]() |
图 9 营口天气雷达2023年10月7日鸟类回波目标轨迹追踪效果 注:红框为追踪到的鸟类回波目标检测框的几何中心点,黑线为追踪鸟类回波的移动轨迹, 数字为鸟类回波ID编号。 Fig. 9 Effect of bird echo target track tracking by Yingkou Weather Radar on 7 October 2023 |
建立坐标位置轴,根据坐标位置的变化,对几何中心点的变化做位置变更记录,生成位置移动表即为鸟回波位置坐标移动表。如表 1所示,坐标位置数据为取图像的几何中心位置,表示鸟回波相对运动情况,为当前位置鸟回波的x轴坐标与y轴坐标。
![]() |
表 1 鸟类回波位置变化 Table 1 Variation of bird echo position |
表 1中的坐标位置x表示边界框左上角的水平坐标,该值定义了边界框在图像中从左边缘开始的水平距离;坐标位置y表示边界框左上角的垂直坐标,该值定义了边界框在图像中从上边缘开始的垂直距离。坐标位置的数值均为像素,水平方向的单位换算为:0.1714 km/像素,垂直方向的单位换算为:0.2280 km/像素。在鸟回波目标追踪中,(x, y)数值用于确定鸟回波在每一帧中的位置,通过连续帧的(x, y)数值的变化,来直观地反映被追踪的鸟回波在反射率图像上位置的移动变化情况。
4 试验结果评估与总结 4.1 评估指标本文将引入精准度(P)、召回率(R)以及平均精准度(mean average precision,mAP)来对比改进后算法的差异性。精准度衡量的是模型的预测结果中有多少是准确的,召回率衡量的是模型对正样本的识别能力,分别如式(3)、式(4)所示。
$ P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}} $ | (3) |
$ R=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} $ | (4) |
式中:TP表示模型正确预测为正样本的数量;FP表示模型错误预测为正样本的数量;FN表示模型错误预测为负样本的数量。
平均精准度衡量的是模型在多个类别、多个阈值下的整体性能,通过综合考虑精准度和召回率,提供了一个全面的评价指标。mAP的求解首先需要确定一个阈值,通常阈值定为0.5,再计算每个类别的平均精准度,然后取所有类别的平均值;该指标的求解与精准度和召回率相关联。
同时,本文在鸟杂波目标追踪任务中,在基于YOLOv5-DeepSort算法的基础上,引入多目标跟踪准确率(multi-object tracking accuracy,MOTA)这一评估多目标跟踪算法性能的重要指标,它综合考虑了目标检测和跟踪过程中的多种错误,为鸟杂波目标追踪项目提供了一个相对全面的评价标准。
4.2 试验结果对比与分析 4.2.1 改进的YOLOv5算法对比分析使用Python3.7与TensorFlow-gpu2.10作为试验环境,分别对基于传统的深度学习目标检测算法Fast R-CNN和改进前的YOLOv5算与改进后的YOLOv5+Shuffle Attention(SA)算法进行鸟杂波检测试验。前后三次对比试验采取相同的调试参数、迭代次数,以及同样的原始数据集来训练网络模型,采用精准度、召回率以及平均精准度等指标,对改进算法前后三次试验进行参数对比评估。三次试验各项参数对比见表 2所示。
![]() |
表 2 Fast R-CNN与改进YOLOv5算法前后各项参数对比 Table 2 Comparison of parameters between the Fast R-CNN and the YOLOv5 algorithm before and after the improvement |
由表 2可知,在鸟杂波检测试验中,改进前后的YOLOv5算法在精确度与召回率等参数上均优于传统的深度学习目标检测算法Fast R-CNN。同时,在YOLOv5框架中引入SA注意力机制模块后,YOLOv5框架的精准度提升了2.6百分点,召回率提升了1.0百分点,阈值大于0.5的平均精准度提升了1.2百分点。综上所知,引入SA注意力机制的YOLOv5算法整体性能都得到了显著的提升。
4.2.2 改进的DeepSort算法对比分析使用对比参照试验等方式对本文所提出的改进前后DeepSort算法进行对比分析。在YOLOv5+DeepSort框架下,分别对改进前的IOU匹配机制与改进后的DIOU匹配机制进行性能评估。使用自采集的一段鸟回波轨迹视频进行对比试验,引入上文中所提到的MOTA指标以及鸟回波ID切换次数作为评估标准,试验结果如表 3所示。
![]() |
表 3 改进DeepSort算法前后各项参数对比 Table 3 Comparison of parameters before and after the improvement of DeepSort algorithm |
根据表 3可知,在将IOU匹配改进为DIOU匹配机制后,ID变化次数降低2次,同时,MOTA提高了4.5百分点,改进后的DIOU配机制使算法的整体性能得到明显提升。
为了进一步探讨DIOU匹配机制相对于改进前的IOU匹配机制在对鸟杂波追踪项目中有着明显的效果提升,选取同一鸟杂波轨迹视频中第5帧和第6帧的画面,进行对比分析,如图 10、图 11所示。
![]() |
图 10 营口天气雷达2020年8月24日改进前的IOU匹配机制鸟类回波追踪(a)第5帧追踪画面,(b)第6帧追踪画面 注:红框为检测到的鸟类回波追踪对象,数字为鸟类回波ID编号。 Fig. 10 IOU matching mechanism before the improvement for bird echo tracking by Yingkou Weather Radar on 24 August 2020 (a) Frame 5 tracking screen, (b) Frame 6 tracking screen |
![]() |
图 11 营口天气雷达2020年8月24日改进后的DIOU匹配机制鸟类回波追踪(a)第5帧追踪画面,(b)第6帧追踪画面 注:红框为检测到的鸟类回波追踪对象,数字为鸟类回波ID编号。 Fig. 11 Improved DIOU matching mechanism for bird echoe tracking by Yingkou Weather Radar on 24 August 2020 (a) Frame 5 tracking screen, (b) Frame 6 tracking screen |
在对图 10和图 11进行对比后,可以发现1号与2号鸟回波产生重叠遮挡时,在IOU匹配机制下,第5帧的1号鸟回波与2号鸟回波在第6帧时识别框与ID产生重叠与混淆显示;而在DIOU匹配机制下,第5帧的1号鸟回波与2号鸟回波在第6帧时刻依然能正确跟踪显示。这也说明相对于改进前的IOU匹配机制,改进后的DIOU匹配机制在目标监测物体发生重叠遮挡时,因为自身的优化算法依然能够正确地追踪检测目标,从而提高了整体网络的准确性与有效性。
5 结论与讨论相较于传统方法,基于YOLOv5与DeepSort的深度学习算法对天气雷达鸟杂波识别和追踪更具精确性与灵活性,能够清晰地确定鸟回波出现的位置以及移动的路径,为鸟类研究提供了较好的数据支撑。优化后的YOLOv5与DeepSort算法对雷达鸟回波进行识别和处理,可以在雷达回波图中准确定位鸟回波的位置与大小,为抑制雷达鸟杂波提供基础方法,进而减少天气雷达非气象回波,提高雷达数据质量和目标监测能力。同时,鸟杂波的识别与定位,也为雷达探测生物信号领域提供参考。
本文使用的试验方法,为天气雷达探测鸟类提供了一种新的解决方案,深度学习技术的应用提高了天气雷达探测鸟类的检测效率与精确度,同时也为研究鸟类的迁徙移动提供了技术参考与数据依靠。总体来说,深度学习在识别生物杂波方面的研究在国内外的进展都非常迅速,在算法设计、模型训练和优化等方面,国内外的相关研究都取得了一些有益的成果。然而在鸟类杂波的处理上,由于该类杂波具有复杂、不确定等特点,其在实际应用中仍有很多问题亟待解决。例如,如何设计更加有效的深度神经网络模型、如何提高训练数据的质量和数量、如何降低算法的复杂度和计算量等。
综上所述,在雷达探测技术日趋成熟的今天,深度学习在鸟杂波方面的实践应用国内尚处于起步阶段,仍存在许多挑战和难点,但雷达鸟杂波的识别和质量控制对气象预测、航空安全、低空经济等意义重大,应用深度学习技术识别鸟杂波的研究在未来具有巨大的前景与价值。
曹伟华, 南刚强, 陈明轩, 等, 2022. 基于深度学习的京津冀地区精细尺度降水临近预报研究[J]. 气象学报, 80(4): 546-564. Cao W H, Nan G Q, Chen M X, et al, 2022. A study on fine scale precipitation nowcasting in Beijing-Tianjin-Hebei Region based on deep learning[J]. Acta Meteor Sin, 80(4): 546-564 (in Chinese).
|
常洪彬, 2022. 基于深度学习的航空遥感图像目标检测算法研究[D]. 长春: 吉林大学. Chang H B, 2022. Research on object detection of aerial remote sensing images based on deep learning[D]. Changchun: Jilin University(in Chinese).
|
陈鹤, 蔡荣辉, 陈静静, 等, 2022. 基于深度学习方法的气温预报技术应用与评估[J]. 气象, 48(11): 1373-1383. Chen H, Cai R H, Chen J J, et al, 2022. Application and evaluation of temperature forecast based on deep learning method[J]. Meteor Mon, 48(11): 1373-1383 (in Chinese). DOI:10.7519/j.issn.1000-0526.2022.070101
|
陈唯实, 黄毅峰, 陈小龙, 等, 2022. 机场探鸟雷达技术发展与应用综述[J]. 航空学报, 43(1): 024758. Chen W S, Huang Y F, Chen X L, et al, 2022. Development and applications of airport avian radar: review[J]. Acta Aeronaut Astronaut Sin, 43(1): 024758 (in Chinese).
|
胡家晖, 卢楚翰, 姜有山, 等, 2022. 深度学习模型TAGAN在强对流回波临近预报中的应用[J]. 大气科学, 46(4): 805-818. Hu J H, Lu C H, Jiang Y S, et al, 2022. Application of deep learning model TAGAN in nowcasting of strong convective echo[J]. Chin J Atmos Sci, 46(4): 805-818 (in Chinese).
|
黄兴友, 马玉蓉, 胡苏蔓, 2021. 基于深度学习的天气雷达回波序列外推及效果分析[J]. 气象学报, 79(5): 817-827. Huang X Y, Ma Y R, Hu S M, 2021. Extrapolation and effect analysis of weather radar echo sequence based on deep learning[J]. Acta Meteor Sin, 79(5): 817-827 (in Chinese).
|
黄兴友, 张永轩, 李芳, 等, 2024. 利用雷达数据开展对流降水临近预报的循环神经网络方法试验[J]. 大气科学, 48(6): 2329-2341. Huang X Y, Zhang Y X, Li F, et al, 2024. Experimental study of convective precipitation nowcasting based on a recurrent neural network method and weather radar data[J]. Chin J Atmos Sci, 48(6): 2329-2341 (in Chinese).
|
皇甫江, 胡志群, 郑佳锋, 等, 2022. 利用深度学习开展偏振雷达定量降水估测研究[J]. 气象学报, 80(4): 565-577. Huangfu J, Hu Z Q, Zheng J F, et al, 2022. A study on polarization radar quantitative precipitation estimation using deep learning[J]. Acta Meteor Sin, 80(4): 565-577 (in Chinese).
|
蒋薇, 刘芸芸, 陈鹏, 等, 2021. 利用深度神经网络和先兆信号的江苏夏季降水客观预测方法[J]. 气象学报, 79(6): 1035-1048. Jiang W, Liu Y Y, Chen P, et al, 2021. Prediction of summer precipitation in Jiangsu Province based on precursory factors: a deep neural network approach[J]. Acta Meteor Sin, 79(6): 1035-1048 (in Chinese).
|
李志安, 林道程, 姜晓凤, 等, 2024. 基于改进YOLOv5算法和DeepSort算法的多目标检测和跟踪[J]. 济南大学学报(自然科学版), 38(5): 556-563. Li Z A, Lin D C, Jiang X F, et al, 2024. Multi-target detection and tracking based on improved YOLOv5 algorithm and DeepSort algorithm[J]. J Uni Jinan (Sci and Tec), 38(5): 556-563 (in Chinese).
|
刘俊, 唐佑民, 宋迅殊, 等, 2022. 深度学习在印度洋偶极子预报中的应用研究[J]. 大气科学, 46(3): 590-598. Liu J, Tang Y M, Song X S, et al, 2022. Prediction of the Indian Ocean dipole using deep learning method[J]. Chin J Atmos Sci, 46(3): 590-598 (in Chinese).
|
刘磊, 许明敏, 陆怡菲, 等, 2024. 基于SAM的输电线路异物自动检测与实例分割[C/OL]/浙江省电力学会2023年度优秀论文集[2025-01-02]. https://cpfd.cnki.com.cn/Area/CPFDCONFArticleList-LDND202407001.htm. Liu L, Xu M M, Lu Y F, et al, 2024. Automatic detection and instance segmentation of foreign objects on transmission lines based on SAM[C/OL]/Zhejiang Province Electric Power Society 2023 annual outstanding paper collection[2025-01-02]. https://cpfd.cnki.com.cn/Area/CPFDCONFArticleList-LDND202407001.htm (in Chinese).
|
刘谭, 刘娜, 刘贵平, 等, 2024. 深度学习方法在风电功率预测中的应用与研究方向概述[J]. 计算机科学与探索. Liu T, Liu N, Liu G P, et al, 2024. Overview of applications and research directions of deep learning methods for wind power prediction[J]. J Front Comput Sci Technol (in Chinese). DOI:10.3778/j.issn.1673-9418.2408090
|
刘昱杉, 刘卫康, 刘庆华, 等, 2023. 基于YOLOX结合DeepSort的船载车辆行人检测算法[J]. 计算机与现代化, (8): 60-67. Liu Y S, Liu W K, Liu Q H, et al, 2023. Shipborne vehicle and pedestrian detection algorithm based on YOLOX combined with DeepSort[J]. Comp Modern, (8): 60-67 (in Chinese). DOI:10.3969/j.issn.1006-2475.2023.08.010
|
罗文杰, 项杰, 杜华栋, 2023. 利用改进的GoogLeNet深度学习模型识别COSMIC-2掩星信号中的反射信号[J]. 大气科学, 47(3): 631-641. Luo W J, Xiang J, Du H D, 2023. Identification of the reflected signal in the COSMIC-2 occultation signal using the improved GoogLeNet deep learning model[J]. Chin J Atmos Sci, 47(3): 631-641 (in Chinese).
|
南刚强, 陈明轩, 秦睿, 等, 2021. 基于雷达组合反射率拼图和深度学习的中尺度对流系统识别、追踪与分类方法[J]. 气象学报, 79(6): 1002-1021. Nan G Q, Chen M X, Qin R, et al, 2021. Identification, tracking and classification method of mesoscale convective system based on radar composite reflectivity mosaic and deep learning[J]. Acta Meteor Sin, 79(6): 1002-1021 (in Chinese).
|
钱伍, 王国中, 李国平, 2022. 改进YOLOv5的交通灯实时检测鲁棒算法[J]. 计算机科学与探索, 16(1): 231-241. Qian W, Wang G Z, Li G P, 2022. Improved YOLOv5 traffic light real-time detection robust algorithm[J]. J Front Comput Sci Technol, 16(1): 231-241 (in Chinese).
|
申通, 王硕, 李孟, 等, 2024. 深度学习在动物行为分析中的应用研究进展[J]. 计算机科学与探索, 18(3): 612-626. Shen T, Wang S, Li M, et al, 2024. Research progress in application of deep learning in animal behavior analysis[J]. J Front Comput Sci Technol, 18(3): 612-626 (in Chinese).
|
苏俊楷, 段先华, 叶赵兵, 2023. 改进YOLOv5算法的玉米病害检测研究[J]. 计算机科学与探索, 17(4): 933-941. Su J K, Duan X H, Ye Z B, 2023. Research on corn disease detection based on improved YOLOv5 algorithm[J]. J Front Comput Sci Technol, 17(4): 933-941 (in Chinese).
|
仝卫国, 李敏霞, 张一可, 2018. 深度学习优化算法研究[J]. 计算机科学, 45(11A): 155-159. Tong W G, Li M X, Zhang Y K, 2018. Research on optimization algorithm of deep learning[J]. Comput Sci, 45(11A): 155-159 (in Chinese). DOI:10.11896/j.issn.1002-137X.2018.11A.029
|
王善昊, 胡志群, 王福增, 等, 2024. 基于ConvLSTM融合RMAPS-NOW数据的雷达回波外推研究[J]. 气象学报, 82(4): 554-567. Wang S H, Hu Z Q, Wang F Z, et al, 2024. Extrapolation of radar echo based on ConvLSTM with fusion of RMAPS-NOW data[J]. Acta Meteor Sin, 82(4): 554-567 (in Chinese).
|
徐彦威, 李军, 董元方, 等, 2024. YOLO系列目标检测算法综述[J]. 计算机科学与探索, 18(9): 2221-2238. Xu Y W, Li J, Dong Y F, et al, 2024. Survey of development of YOLO object detection algorithms[J]. J Front Comput Sci Technol, 18(9): 2221-2238 (in Chinese).
|
杨绚, 代刊, 朱跃建, 2022. 深度学习技术在智能网格天气预报中的应用进展与挑战[J]. 气象学报, 80(5): 649-667. Yang X, Dai K, Zhu Y J, 2022. Progress and challenges of deep learning techniques in intelligent grid weather forecasting[J]. Acta Meteor Sin, 80(5): 649-667 (in Chinese).
|
姚文, 张晶, 余清波, 等, 2022. 辽河三角洲湿地鸟类活动的双偏振天气雷达回波特征[J]. 气象, 48(9): 1162-1170. Yao W, Zhang J, Yu Q B, et al, 2022. Dual-polarization weather radar echo characteristics of avian activities in the Liaohe River Delta Wetland[J]. Meteor Mon, 48(9): 1162-1170 (in Chinese).
|
张晶, 姚文, 孙召平, 等, 2024. 双偏振天气雷达新体扫模式试验评估分析[J]. 气象, 50(10): 1201-1215. Zhang J, Yao W, Sun Z P, et al, 2024. Evaluation and analysis of experimental testing of dual-polarization weather radar's new volume coverage pattern[J]. Meteor Mon, 50(10): 1201-1215 (in Chinese). DOI:10.7519/j.issn.1000-0526.2024.080101
|
张林, 吴蕾, 李峰, 等, 2023. 基于深度学习的天气雷达异常数据识别技术[J]. 应用气象学报, 34(6): 694-705. Zhang L, Wu L, Li F, et al, 2023. Indentification of weather radar abnormal data based on deep learning[J]. J Appl Meteor Sci, 34(6): 694-705 (in Chinese).
|
张亚萍, 刘伯骏, 庞玥, 等, 2024. 应用深度网络的显著目标检测算法的强降水落区临近预报技术[J]. 气象学报. Zhang Y P, Liu B J, Pang Y, et al, 2024. A nowcasting technique for heavy rainfall areas using deep network for salient object detection[J]. Acta Meteor Sin (in Chinese). DOI:10.11676/qxxb2025.20240061
|
赵子杭, 庄庭, 李建勇, 等, 2024. 天津区域鸟类活动的双偏振天气雷达回波分析[J]. 气象, 50(9): 1142-1152. Zhao Z H, Zhuang T, Li J Y, et al, 2024. Analysis of dual-polarization weather radar echoes of bird activity in Tianjin Region[J]. Meteor Mon, 50(9): 1142-1152 (in Chinese).
|
周康辉, 郑永光, 韩雷, 等, 2021. 机器学习在强对流监测预报中的应用进展[J]. 气象, 47(3): 274-289. Zhou K H, Zheng Y G, Han L, et al, 2021. Advances in application of machine learning to severe convective weather monitoring and forecasting[J]. Meteor Mon, 47(3): 274-289 (in Chinese).
|
庄潇然, 郑玉, 王亚强, 等, 2023. 基于深度学习的融合降水临近预报方法及其在中国东部地区的应用研究[J]. 气象学报, 81(2): 286-303. Zhuang X R, Zheng Y, Wang Y Q, et al, 2023. A deep learning-based precipitation nowcast model and its application over East China[J]. Acta Meteor Sin, 81(2): 286-303 (in Chinese).
|
Alerstam T, Bäckman J, 2018. Ecology of animal migration[J]. Curr Biol, 28(17): PR968-R972. DOI:10.1016/j.cub.2018.04.043
|
Buss I O, 1946. Bird detection by radar[J]. The Auk, 63(3): 315-318. DOI:10.2307/4080116
|
Gauthreaux Jr S A, Belser C G, 1998. Displays of bird movements on the WSR-88D: patterns and quantification[J]. Wea Forecasting, 13(2): 453-464. DOI:10.1175/1520-0434(1998)013<0453:DOBMOT>2.0.CO;2
|
Girshick R, 2015. Fast R-CNN[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago: IEEE: 1440-1448.
|
Girshick R, Donahue J, Darrell T, et al, 2014. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE: 580-587.
|
Haberlie A M, Ashley W S, 2019. A radar-based climatology of meso- scale convective systems in the United States[J]. J Climate, 32(5): 1591-1606. DOI:10.1175/JCLI-D-18-0559.1
|
Jatau P, Melnikov V, Yu T Y, 2021. A machine learning approach for classifying bird and insect radar echoes with S-band polarimetric weather radar[J]. J Atmos Ocean Tech, 38(10): 1797-1812.
|
Kalman R E, 1960. A new approach to linear filtering and prediction problems[J]. J Basic Eng, 82(1): 35-45. DOI:10.1115/1.3662552
|
Lack D, Varley G C, 1945. Detection of birds by radar[J]. Nature, 156(3963): 446.
|
LeCun Y, Bengio Y, Hinton G, 2015. Deep learning[J]. Nature, 521(7553): 436-444. DOI:10.1038/nature14539
|
Rainey R C, 1955. Observation of desert locust swarms by radar[J]. Nature, 175(4445): 77.
|
Redmon J, Farhadi A, 2018. YOLOV3: an incremental improvement[EB/OL]. (2018-11-02). https://arxiv.org/abs/1804.02767.
|
Reichstein M, Camps-Valls G, Stevens B, et al, 2019. Deep learning and process understanding for data-driven earth system science[J]. Nature, 566(7743): 195-204. DOI:10.1038/s41586-019-0912-1
|
Wojke N, Bewley A, Paulus D, 2017. Simple online and realtime tracking with a deep association metric[C]//2017 IEEE international conference on image processing. IEEE. 3645-3649.
|
Zheng Z H, Wang P, Liu W, et al, 2020. Distance-IoU loss: faster and better learning for bounding box regression[C]//Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York: AAAI, 34(7): 12993-13000.
|
Zrnic D S, Ryzhkov A V, 1998. Observations of insects and birds with a polarimetric radar[J]. IEEE Trans Geosci Remote Sens, 36(2): 661-668. DOI:10.1109/36.662746
|