引言

农作物实景自动监测系统是借助机器学习、图像处理和无线多媒体网络技术和方法，利用电荷耦合器件(charge coupled device, CCD)传感器、图像采集器和通信装置，采集自然光照条件下农作物图像并传输至计算机终端，通过内置的图像识别算法提取图像特征参数，进而反演得到农作物生长特征信息(Sakamoto et al, 2010; Yu et al, 2013; 李翠娜等, 2016)。它具有24 h连续工作、时间分辨高、非接触、非破坏性等优点，是对传统农业气象观测的补充，在农业灾害监测领域有重要应用价值(武永峰等, 2010; 李修华等, 2011; 张雪芬等, 2012)。农作物实景监测具有野外观测特质，不同天气条件下其探测资料的精度有差异。桓宗圣等(2014)研究指出受雾-霾、雨雪等气象环境因素影响，由于大气散射作用，农作物图像对比度、颜色清晰度等特征改变，图像特征难以辨认，进而影响图像后期处理和农作物长势的客观判断。因此，开展系统的质量控制是合理使用农作物实景自动监测系统探测资料的基础。

传统的质量控制主要是根据气象学、天气学、气候学原理以及气象要素的时空变化规律和各要素间相互规律为线索，分析观测资料是否合理(Peterson et al, 1998; 熊安元, 2003; 金莉莉等, 2016)。其方法包括：范围检查、极值检查、内部一致性检查、空间一致性检查、气象学公式检查、统计学检查、均一性检查(任芝花等, 2010; 张乐坚等, 2016; 江勤等, 2017; 刘佩廷等, 2017; 王佳强等, 2018)。农作物实景自动监测系统探测资料主要包括农作物可视图像和农作物生长特征要素。这些要素不同于常规气象要素，传统的质量控制方法不能对其直接使用。目前国内外科学家在农业气象自动化监测领域研究重点主要集中在分割算法和图像特征提取算法等方面，针对农作物图像以及基于图像识别的农作物生长特征参数质量控制的研究很少(Sakamoto et al, 2011; 陆明等, 2011; 孙涛等, 2014; 刘夏等, 2015)。因此，亟需研制一套适用于农作物实景自动监测系统探测资料的质量控制方法。

目前农作物自动监测系统探测资料中的异常数据分为两类：图像像素缺失和图像污染。前者是通信或供电异常引起的图像关键信息缺失，后者是受雾-霾、雨雪和沙尘等气象环境因素引起的图像模糊。本研究利用郑州农业气象试验站、泰安农业试验站和固城生态与农业气象试验站农作物实景自动监测系统2010—2012年三年的农作物图像探测资料，设计了一套适用于这两类异常情况下的农作物实景自动监测系统质量控制方法，为业务中有效使用相关图像数据资料提供技术支撑。

1 试验情况

以矮杆和高杆代表作物玉米和小麦为研究对象，以郑州农业气象试验站(34.46°N、113.40°E)、泰安农业气象试验站(36.11°N、117.08°E)和固城生态与农业气象试验站(39.13°N、115.67°E)为主要研究区，试验区地势平坦，土壤类型为壤土。试验选择当地主栽夏玉米优质品种，分别为浚单20、郑单958和冀单32，行间距均为90 cm，行内距约为19 cm，成株株高250 cm左右，生育期为每年6—10月上旬，出苗至成熟期约需100 d；而当地主栽冬小麦品种，成株株高70 cm左右，生育期为每年10月至次年6月，出苗至成熟期约需250 d。

2 图像采集

农作物实景自动监测系统由CCD传感器、图像采集器、通信传输装置和数据处理终端组成。通过图像采集器设置CCD传感器每日09—16时整点拍摄作物图像，再利用通信传输装置通过无线网络将获取的农作物图像远程传输至数据处理终端，数据处理终端利用内置的图像识别算法实现农作物覆盖度和叶面积指数的实时自动计算。其中，CCD传感器镜头焦距为16 mm，图像采集器和CCD传感器离地高度分别为1和5 m，图像分辨率为2736 px×3648 px。

3 质量控制方法设计 3.1 图像像素缺失检测方法 3.1.1 图像像素缺失检测原理

本文提出了一种基于图像RGB颜色特征参数的图像像素缺失自动检测方法。

众所周知，RGB色彩模式使用RGB模型，为图像中每一个像素的RGB分量分配一个0~255范围内的强度值。例如：纯红色R值为255，G值为0，B值为0；白色R、G、B值都为255，而灰色的R、G、B三个值相等。当三色灰度数值相同时，产生不同灰度值的灰色调，即三色灰度都为0时，是最暗的黑色调；三色灰度都为255时，是最亮的白色调。CCD传感器拍摄农作物图像传输完成时是完整的彩色图像，当图像没有传输完全或传感器异常时，图像像素部分缺失，对于图像像素缺失，图像传输的质量控制算法会自动把缺失像素补充为默认的灰色。通过分析试验中图像像素缺失时的R、G、B值，发现当三者均为128时即为农作物图像缺失时的灰色调。

3.1.2 图像像素缺失检测流程

本文通过引入图像不完整率来定量评价图像缺失情况，即整幅图像缺失信息所占的像素数与整幅图像总像素数之比，以此作为图像质量控制的一个重要检测指标。以2011—2013年固城生态与农业气象试验站的农作物图像为训练样本，人工挑选出所有像素缺失图像，并统计历史图像缺失时不完整率，设定最小值作为图像像素缺失时质量控制的阈值。主要工作流程见图 1。首先输入农作物图像，接着计算整幅图像的不完整率判别农作物图像是否残缺。最后，若图像不完整率大于阈值，即视为不完整图像，不做进一步的图像污染检测。图 2为农作物完整图像和不完整图像示例。从图中可以看出图像下部有灰色，即为不完整部分。

图 3给出了固城生态与农业气象试验站所有样本的图像缺失以及分布比例。2011—2013年图像像素缺失样本共88个，其中图像不完整率在10%以下所占比例最低，占总样本数的6.8%，图像不完整率在90%以上所占比例最高，占17%，说明图像像素缺失严重。为了能尽可能检测到所有图像像素缺失样本，将图像不完整率最小值(即1.8%)作为阈值。

3.2 图像污染检测方法 3.2.1 图像污染检测原理

在基于图像RGB颜色特征参数的图像像素缺失自动检测基础上，农作物实景监测中还有可能出现镜头被灰尘或雾天污染等特殊情况，这些现象会直接影响到农作物的分割以及对覆盖度和叶面积指数的准确计算。图 4为图像污染时和图像清晰时的夏玉米冠层图像以及农作物分割实例。从图中可以看出，镜头被灰尘污染时，图像清晰度下降且偏色严重，土壤等背景像素也会呈现出一定的绿色，作物分割时误将某些土壤背景像素分割为作物，当清晰拍摄时，相机白平衡正常，不存在偏色情况，因此分割结果较为理想。相机镜头模糊影响了相机白平衡自动调节，使得相机拍摄的照片整体偏色严重。因此，当利用作物分割算法进行作物提取时与非模糊情况相比会产生较大差异。

为了解决以上问题，本文提出了一种基于暗通道先验直方图的图像污染检测方法。该方法源于对大量自然图像进行观测时所产生的一种先验知识/规律，即在大多数非天空图像块中，一些像素点在至少一个颜色通道中具有很低的强度值。He et al(2011)指出这样的图像块的最低强度具有非常低的值。基于这样的观测规律，可以从一个新的视角来研究此类现象：暗通道图像。暗通道图像即是获得给定图像的暗像素之后的图像，暗像素表示那些在给定图像块中拥有最低强度值的像素。暗通道图像的形式化表达如下式所示。

$ J_{\text {dark }}(x, y)=\min\limits_{c \in(R, G, B)}\left\{\min\limits_{x, y \in \Omega(x, y)}\left[J_{c}(x, y)\right]\right\} $

(1)

式中，J_c表示图像的R，G，B三个颜色通道的颜色值，Ω(x, y)表示以像素(x, y)为中心的图像块，(x, y)表示待检测图像像素的坐标值。

暗通道图像的灰度直方图[记为H(P)]实际上是灰度级的函数，描述图像中每一灰度级的像素个数(或某一灰度级像素出现的频率)：其横坐标是灰度级0~255，纵坐标表示图像中该灰度级出现的个数(频率)。形式化表示见式(2)和式(3)。

$ H(P)=\left[h\left(x_{1}\right), h\left(x_{2}\right), \cdots, h\left(x_{n}\right)\right] $

(2)

$ h\left(x_{i}\right)=\frac{S\left(x_{i}\right)}{\sum\limits_{j} S\left(x_{j}\right)} $

(3)

式中，h(x_i)代表第x_i阶灰度出现的概率，S(x_i)为灰度值为x_i的所有像素数量，$\sum\limits_{j} S\left(x_{j}\right) $为图像总的像素数。

图 5a和5d为被污染图像和未被污染原图，图 5b和5e为原图对应的暗通道图像，从图中可以发现，被污染图像的暗通道图像较未被污染图像灰度值整体偏高一些，图像整体更明亮一点。图 5c和5f展示了两个原始图像分别对应的灰度直方图特征，从图中可以明显地刻画出被污染图像灰度值整体偏高这一灰度分布特性，被污染图像灰度值较高集中在60~110左右，而未被图像污染灰度值则较低，主要集中在0~60左右。

确定了图像特征之后，下一步就是确定判别的方法。由于农业气象观测场景相对稳定，因此利用机器学习方法对图像是否被污染进行判别。采用支撑向量机(support vector machines，SVM)技术来完成训练与检测。支撑向量机是将核机制(Muller et al, 2001)应用到监督学习中的机器学习方法，它主要用来解决分类问题。一般来讲，一个分类任务通常由两部分组成，即训练阶段和测试阶段(或分类阶段)。在训练阶段中所采用的数据包括特征集和每个特征对应的类别标记。SVM的目标就是生成一个分类器模型，使之能够在测试阶段对给定的测试样本特征进行准确地分类。

假设给定一个训练集D，该训练集中包括n个训练样本，形式如下：

$ \boldsymbol{D}=\left\{\left(\boldsymbol{x}_{i}, y_{i}\right) | \boldsymbol{x}_{i} \in R^{p}, y_{i} \in\{-1, 1\}\right\}_{i-1}^{n} $

(4)

式中，y_i表示给定特征x_i的类别标签，x_i表示特征向量，在文中它表示一个256维的直方图特征H (p)，p为训练样本所在的特征空间维数。SVM将特征向量H(p)映射到一个更高维的空间，在这个空间里建立一个最大间隔超平面，以分开两类特征。在分开数据的超平面的两边建有两个相互平行的超平面，分隔超平面使得这两个平行超平面的距离最大化。

给定一组可分隔空间中的点集(特征)，肯定存在一个超平面π：w·x+b=0能够将这些特征x，i=1, …, n分割成两个不同的类别。因此，SVM最终是为了解决如下所示的二次规划问题：

$ \min\limits_{\boldsymbol{w}, \boldsymbol{ b}} \frac{1}{2}\|\boldsymbol{w}\|^{2} $

(5)

满足

$ y_{i}(\boldsymbol{w} \cdot \boldsymbol{x}+b) \geqslant 1 \quad i=1, \cdots, n $

(6)

对于非线性分类问题，SVM的处理方法是选择一个核函数k(·，·)，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。

3.2.2 图像污染检测方法流程

基于暗通道先验直方图的图像污染检测算法分为训练阶段和检测阶段。主要工作流程见图 6。

(1) 训练阶段：首先人工选取若干张正常图像和受污染图像分别作为正样本和负样本，组成训练样本集。然后获取正负样本图像的暗通道图像，并提取其暗通道直方图特征，再将该特征送入到SVM计算分割超平面或分类器。

(2) 检测阶段：先对待检测图像进行特征提取，即获取其暗通道直方图。再用训练得到的SVM分类器对该特征进行判断，确定其是否被污染。

通过该算法可以在出现异常情况时会立即自动提醒台站观测人员进行及时的维护，以避免影响后续的自动观测任务。

4 结果与分析 4.1 图像像素缺失检测方法检验

为了验证本算法的有效性，我们以河南、山东两地2010—2012年的作物序列为例进行试验。选择小麦和玉米两种作物序列共计9993张图像为对象，根据3.1节中设定的阈值对上述作物序列进行检验和分析，检测出图像不完整样本共99个(如图 7所示)，占总样本的1.0%。通过人工目视诊断分析，基于颜色特征参数的图像像素缺失检测算法准确率为100%，具体检出结果见表 1。

4.2 图像污染检测方法检验

为了验证本算法的有效性，我们以河南、山东和河北三地2010—2012年拍摄的作物序列为例进行试验。选择小麦和玉米两种作物序列作为考察对象。为了生成SVM分类器，从2010年拍摄的序列图像中获取正负训练样本，正样本为受污染的图像(图 8)，负样本为正常图像(图 9)，训练样本数量分别为100和250个。为了减少计算时间，我们将原始采集的图像从3648 px×2736 px降采样到600 px×450 px。此外，计算暗通道图像时图像块长宽设为15 px；对2011—2012年的序列图像进行随机采样作为最后的测试样本。

关于SVM分类器的参数，由于采用线性核进行训练和测试，因此只有惩罚因子C和最优分类超平面的参数需要学习。通过利用Chang and Lin(2011)提供的LIBSVM库，以上的参数都可以自动求解。

试验中利用准确率(precision)和召回率(recall)两个参数来评估算法的性能。真的正样本(true positives，t_p)表示利用自动检测方法获取到的受污染图像中，真正被污染的数量；假的真样本(false positives, f_p)表示利用自动检测方法获取到的受污染图像中，没有被污染的数量。准确率定义为t_p与标记为受污染图像总数(t_p与f_p之和)之比，召回率定义为t_p与真正受污染图像总数(t_p与f_n之和)之比，公式如下所示：

$ { precision }=\frac{t_{\mathrm{p}}}{t_{\mathrm{p}}+f_{\mathrm{p}}} $

(7)

$ {recall}=\frac{t_{\mathrm{p}}}{t_{\mathrm{p}}+f_{\mathrm{n}}} $

(8)

式中，假的负样本(false negative, f_n)表示利用自动检测方法获取到未被污染图像中真实被污染的数量。

一方面，当准确率越高时，自动检测算法所检测的结果就越可信；反之，越不可信。另外一方面，当召回率越高时，表示漏掉的数量就越少，越有利于保证后续的作物监测。因此，统计了6个序列自动检测算法的准确率和召回率，结果如表 2所示。6个序列的平均准确率为95.7%，平均召回率为87.5%。

经过分析，发现导致检测错误的主要原因包括：(1)户外强光照射下，图像出现亮斑使得图像呈现类似污染的特征(图 10a)；(2)镜头拍摄时由于其他原因没有聚焦在作物上导致图片模糊，而实际并非污染所致(图 10b)。此外，导致召回率不高的情况主要发生在算法判别临界区域，例如：发生局部污染而并非全局污染(图 10c)，或者是虽然受污染但是污染程度较低(图 10d)。

5 结论与讨论

(1) 本文分析2010—2012年郑州农业气象试验站、泰安农业气象试验站和固城生态与农业气象试验站作物图像探测资料中的异常数据特征，并设计了2类质量控制方法，即图像像素缺失检测和图像污染检测。其中，图像像素缺失检测采用基于图像RGB颜色特征参数的自动检测方法，图像污染检测则采用一种基于暗通道先验直方图的自动检测方法。

(2) 利用河南和山东两地2010—2012年三年的作物生长序列以及2011—2012年年河南、山东和河北三地的作物图像观测资料对质量控制方法的应用效果进行检验，结果表明两类检测方法均可有效识别出农作物图像资料中对应的异常数据。

(3) 图像像素缺失检测方法是通过引入图像不完整率定量评价图像像素缺失程度。试验结果表明，该方法能有效识别出因通信传输或CCD传感器异常导致的像素缺失图像，准确率达100%。

(4) 图像污染检测方法源于对大量自然作物图像进行观测时所产生的一种先验知识/规律，采用SVM方法对图像是否被污染进行自动判别。试验结果表明，该方法能有效识别出镜头被灰尘或雾天、雨天污染等引起的模糊图像，尤其是大面积污染(全局污染)图像，平均准确率为95.7%，平均召回率为87.5%。

(5) 该方法已初步应用于省级农业自动观测业务系统，满足了现有业务中图像质量控制的需要，论文中提供的异常图像的剔除方法确保了后续对观测作物的精细化提取与分析的需要。