柑橘木虱YOLO v8-MC识别算法与虫情远程监测系统研究

李善军1,2 梁千月1,2 余勇华1,2 陈耀晖1,2 付慧敏3 张宏宇4

(1.华中农业大学工学院, 武汉 430070; 2.农业农村部长江中下游农业装备重点实验室, 武汉 430070;3.广西桂北特色经济作物种质创新与利用重点实验室, 桂林 541000;4.华中农业大学植物科学技术学院, 武汉 430070)

摘要:柑橘木虱是黄龙病的主要传播媒介,其发生与活动可对柑橘果园造成毁灭性后果。为实现木虱虫情的高效监测,设计了一种集诱捕拍照、耗材更新、害虫识别与结果展示于一体的智能监测系统。设计了具备诱虫胶带自动更新、虫情图像实时获取功能的诱捕监测装置;应用选点裁剪、Mosaic数据增强(Mosaic data augmentation,MDA)和CA(Coordinate attention)注意力机制,改进了YOLO v8木虱识别模型;开发了Web和手机APP客户端,可实现虫情数据的可视化展示与远程控制。模型测试阶段,改进后的YOLO v8-MC召回率、F1值及精确率分别达到91.20%、91%、90.60%,较基准模型分别提升5.47、5、4.64个百分点;迁移试验中,模型召回率、F1值及精确率分别达到88.64%、87%、84.78%,且系统工作状态良好,满足野外使用需求。开发的智能监测系统能有效实现果园木虱虫情的远程监测,可为此类虫害防治管理提供有效手段。

关键词:柑橘木虱; 虫害监测; 诱捕监测装置; YOLO v8-MC

0 引言

黄龙病是一种毁灭性柑橘果树病害,严重威胁了我国广东、广西、福建等11个柑橘主产区柑橘产业的发展[1-2]。柑橘木虱是黄龙病的主要传播媒介[3-4],监测其虫情迁飞规律并限制虫情扩散,是防止黄龙病传播的有效手段。实际生产中,虫情估测一般由人工观测完成[5],但由于木虱虫体小且迁飞能力强,在果园环境中具有较高的隐蔽性,人工采样精度与效率往往较低。因此,开发更加高效精准的虫情监测方法,从而及时指导柑橘木虱防治工作的开展[6],对于遏制黄龙病的扩散十分重要且急迫。

监测木虱虫情变化首先需要对果园中的木虱高效诱捕,然后在诱捕的害虫中对木虱精准识别。由于木虱对黄色敏感的特性,可以使用黄色粘板对木虱进行诱捕[7-9],但需要人工布置大量的粘板以及对布满害虫的粘板进行更换,效率提升较为有限。另一方面,研究者也在尝试开发多种自动化的陷阱类仪器[10-12],利用特定波段的光、诱剂等诱源来捕捉害虫,然而这些方法尚未被证明对木虱有效。对于诱捕到的害虫,使用图像技术可以显著提升虫情识别的效率。早期研究者采用传统的机器学习技术,提取虫体纹理、面积、离心率等形态及颜色特征[13-16],并使用这些特征训练分类器来完成害虫的分类。然而,由于图像样本特征复杂和人工设计特征的主观性,这类方法的泛化能力一般较弱。近年来,由于深度学习技术在目标检测和图像分类任务中具有出色表现,已被广泛应用于病虫害监测领域[17-20]。目标检测算法主要分为以YOLO、SSD为代表的单阶段目标检测和以Faster R-CNN为代表的两阶段目标检测[21-22]。文献[23]研究了苹果果园害虫识别算法,其中改进的Mask R-CNN帧速率为4f/s,显著低于YOLO系列算法,实时性较差,在大批量图像检测中不具备优势。文献[24]提出了改进的YOLO v4-tiny模型,用于实现自然环境下的柑橘木虱识别。该模型图像处理速度为3.63 ms/f,模型内存占用量仅为24.5 MB,可实现果园环境下柑橘木虱快速准确的识别。然而,该模型的训练数据来源于人工采集的高清木虱图像,针对复杂背景中的木虱识别精度仍然未知。

针对上述问题,本研究构建集成黄色粘板诱虫、图像智能识别的柑橘木虱监测系统。首先,搭建能够自动更新与回收黄色粘板的柑橘木虱诱捕监测装置,实现果园环境下柑橘木虱长期全自动、高效率诱捕,并配备图像采集系统对诱捕的害虫进行拍摄;然后,采用选点裁剪及Mosaic数据增强的方式,削弱害虫样本不平衡现象对识别精度的影响;同时,选取YOLO v8模型为基准算法,并引入CA(Coordinate attention)注意力模块,提升对柑橘木虱目标检测精度;最后,开发虫情系统远程监测平台,实现对柑橘木虱虫情的及时预警。

1 材料与方法

1.1 图像采集装置设计

本文所开发的图像采集装置结构如图1所示,主要包含耗材更新机构与图像采集单元,前者用于诱虫耗材(宽度20 cm的带覆膜黄色粘性胶带)自动更新,后者负责收集果园中的害虫图像信息,两者协同工作保障图像采集功能正常实现。此外,该装置的运行能源由太阳能供电系统提供,满足长期无人环境下的拍摄需求。

图1 图像采集装置

Fig.1 Structure of pest monitoring device

1.太阳能供电系统 2.温湿度传感器 3.导向辊 4.旋转编码器 5.出料辊 6.限位开关 7.覆膜回收辊 8.图像采集模组 9.图像采集面 10.废料回收辊 11.香橙派 12.PLC模块 13.步进电机 14.粘虫胶带

所述耗材更新机构运行原理如图2所示,考虑到柑橘木虱的活动高度,设备中用于采样的黄色粘虫胶带中心设置在距离地面160 cm的高度。选用的诱虫耗材自出料辊处经过旋转编码器,其表面覆膜脱离胶带粘性面后被覆膜回收辊回收。同时,粘性胶带在装置内部的多个导向辊的作用下,被传动至工作区域,当到达更新周期时,由电机驱动废料回收辊实现回收。过程中,旋转编码器记录胶带位移并反馈至废料回收辊处,用以控制回收胶带长度,限位开关则记录覆膜回收信号。完成装置部署后,用户可根据观测需求设定单次诱虫周期。周期内,装置外侧粘虫胶带粘性面持续粘附害虫。诱虫周期结束后,装置回收外侧所有粘虫面至内部图像采集区域进行拍摄。

图2 诱虫耗材更新原理图

Fig.2 Schematic of principle of updating insect attractant consumables

害虫图像信息由定焦摄像模块(WSD-4K-V1.0,深圳纬视达公司)采集,该镜头焦距为2.8 mm,镜头视角为110°,其焦点与图像采集面间距122 mm,并与图像采集面中心点垂直。相机背面的LED灯带(20 W)用于增强和平衡摄影光照条件,创造具备漫反射的数据采集环境。在样本采集过程中,胶带每移动10 cm,摄像头采集一帧图像,总长140 cm的粘虫胶带总计被采样14次。完成单次周期的样本采集后,装置自动进入下一个诱虫周期。

1.2 数据集构建

1.2.1 图像样本获取

试验所用的柑橘木虱图像样本于2023年5—7月采自江西省赣州市柑桔研究所研究示范基地。针对1、2、3 d共3个诱虫周期,人工控制装置进行了10次采样,以获取不同密度的虫情样本。剔除无效区域图像后,总计获取包含柑橘木虱及其它多种类型害虫的图像420幅。如图3a所示,图像中捕虫面黏附有包含柑橘木虱在内的多种果园常见昆虫,并附着有一定量的杂质,可真实反映出果园场景下虫情状况。将此套图像作为构建虫情检测模型的数据集,按8∶2 划分为验证集和测试集,并对前者进行预处理。

图3 原始图像裁剪前后示意图(红色圆圈内为柑橘木虱,黄色方框内为裁剪区域)

Fig.3 Schematics of original image before and after cropping (Citrus psyllid was shown in red circle and cropped area was shown in yellow box)

1.2.2 数据筛选

本研究中,采集的原始图像尺寸过大,而其中木虱图像所占像素较少,可能造成图像缩放预处理过程中的木虱信息丢失。同时,部分取下的粘虫胶带中存在其他害虫数量偏多或空白区域面积较大的问题,会导致模型训练速度缓慢。为解决上述问题,本研究采用选点裁剪的方式对训练验证集进行数据清洗,即均衡地以各类害虫为中心裁剪获得512像素×512像素的方形图像区域,最终收集有效预处理图像3 200幅,图3b展示了部分裁剪图像。该方法能有效预防模型训练过程中木虱信息丢失的问题。图4展示了具有代表性的柑橘木虱及相似目标的形态,第1行和第2行为常见的木虱形态,3~5行为非木虱主要类型。

图4 典型样本形态

Fig.4 Schematic of typical sample morphology

1.2.3 数据标注

采用通用标注软件LabelImg标注训练测试集中木虱(MS)1 017个,其他昆虫及杂质(Others)5 978个,并将该集合按8∶2划分为训练集与验证集。同时,将测试集图像中的木虱全部标注,以供结果对比。

1.2.4 数据增强

本研究采用木虱中心化的方式构建训练测试集,而真实场景下的柑橘木虱在所拍摄区域中出现的位置具有不确定性。针对该问题,本研究采用Mosaic数据增强方法,对训练集进行扩充,使模型根据局部特征识别物体,以增强网络模型的鲁棒性与泛化性。

Mosaic数据增强(Mosaic data augmentation,MDA)[25]从训练集中随机读取4幅图像,如图5a所示,分别对4幅图像进行翻转、色域变化等操作后将其按顺序截取固定区域进行拼接,生成的图像分辨率仍为512像素×512像素。进行Mosaic数据增强后的效果如图5b所示。

图5 Mosaic数据增强效果图

Fig.5 Mosaic data augmentation effects

1.3 柑橘木虱识别算法

YOLO是一种流行的目标检测框架,YOLO v8则是YOLO系列的最新版本[26],本文选用YOLO v8作为基准网络并进行改进,在主干网络的3个特征图输出处分别添加CA注意力模块,进一步增强网络对柑橘木虱图像的特征提取能力。

1.3.1 CA注意力机制

注意力机制根据输入的重要性对特征进行自适应加权,可实现关键信息的动态选择,有利于改善网络模型对小目标的检测精度[27]。CA将位置信息嵌入到通道注意力中,比当前广泛使用的SE(Squeeze-and-Excitation)和CBAM(Convolutional block attention module)更有助于目标的定位,可以在不带来额外计算成本的前提下,提升网络精度[28]。其实现过程如图6所示,图中C为特征通道数,H为输入图像的高度、W为输入图像的宽度。

图6 坐标注意力机制

Fig.6 Coordinate attention mechanism

先将XRC×H×W的输入特征张量分别沿水平方向X和垂直方向Y进行平均池化,获取其在高度h和宽度w两个方向上的特征,即第c个通道的输出为

(1)

(2)

式中 高度h上的特征图

宽度w上的特征图

xc(h,i)——高度h在第c个通道的分量

xc(j,w)——宽度w在第c个通道的分量

该种编码方式使得注意力模块在解决序列数据单方向上的长程依赖问题的同时,保留另一个方向上的空间信息,帮助网络更加精准地定位目标。再将获得全局感受野的2个方向的特征图经1×1卷积、标准化和非线性激活函数获得特征图。经Sigmoid激活函数处理得到包含横向特征和纵向特征的中间特征fRC/r×(H×W),r为缩减因子,计算公式为

f=δ(F([zh,zw]))

(3)

式中 δ——非线性激活函数

F——卷积、标准化处理函数

[,]——特征张量合并运算符

zh——第c个通道高度h上的输出

zw——第c个通道宽度w上的输出

f分为2个独立的特征fhRC/r×HfwRC/r×W,分别使用另外2个1×1卷积和Sigmoid函数进行特征转换,使其维度与输入的X一致,转换过程为

(4)

(5)

式中 σ——Sigmoid激活函数

Fh——高度h上的卷积

Fw——宽度w上的卷积

fh——高度h上的特征张量

fw——宽度w上的特征张量

高度h方向特征权重

宽度w方向特征权重

将输出合并为权重矩阵用于计算注意力模块的输出,输出可表示为

(6)

式中 yc(i,j)——嵌入注意力模块后的输出特征图

xc(i,j)——输入特征图

c个通道上水平方向的注意力权重

c个通道上垂直方向的注意力权重

1.3.2 检测模型构建

YOLO v8的网络结构主要由输入端(Inputs)、主干网络(Backbone)、颈部网络(Neck)和检测头(Detection head)4部分组成。在本研究的模型训练过程中,Inputs对自制的柑橘木虱训练验证集引入Mosaic数据增强。而在测试过程中,Inputs采用重叠-切片(Overlap-tile)对输入的图像进行按序切片,设置重叠步长为256像素,并将所获固定512像素×512像素尺寸的RGB图像输入至Backbone。此操作可避免缩放造成的误差,并为目标区域提供相应的上下文信息。

YOLO v8的损失函数为回归损失和分类损失的组合。回归损失函数为CIOU Loss(Complete-IoU Loss)+DFL(Distribution Focal Loss),其中分类损失函数为VFL Loss,主要特点为正负样本非对称加权、突出正样本为主样本,从而解决本研究中柑橘木虱样本不平衡问题。

后处理阶段,通过非极大抑制(Non-maximum suppression,NMS)删除冗余预测框,保留置信度最高的识别结果,累计相应标签用于柑橘木虱计数。改进后的YOLO v8柑橘木虱检测网络整体架构如图7所示。

图7 改进后的YOLO v8网络结构图

Fig.7 Improved YOLO v8 network structure diagram

本研究于阿里云服务器部署柑橘木虱检测计数算法模型,建立服务端与客户端的数据通信,并搭载非关系型数据库MongoDB实现内部数据存储管理。

2 试验结果与分析

试验采用Pytorch深度学习框架,操作平台为Windows 10,GPU为GeForce RTX3070(8 GB显存),处理器为AMD Ryzen 7 5800H CPU 3.20 GHz,运行内存为32 GB。模型训练过程中,每个GPU分配2个线程,训练总轮次为100,初始学习率设置为0.001,动量为0.937,优化器采用Adam。每次试验过程随机重复3次,以3次试验结果的平均值计算最终评价指标结果。

利用召回率(Recall,R)、精确率(Precision,P)和F1值对模型检测性能进行评估。召回率用于衡量实际类别为柑橘木虱的样本中,模型检测为柑橘木虱的能力;精确率用于表示检测为柑橘木虱的样本中实际为柑橘木虱所占的比例;F1值为精确率与召回率的调和平均值,对2个指标的影响进行平衡。

2.1 不同算法对比

为客观评估不同卷积神经网络模型在本任务上的性能表现,分别使用Faster R-CNN、SSD、YOLO v3、YOLO v4、YOLO v5、YOLO v7、YOLO v8[29-33]及改进模型YOLO v8-MC在本文的数据集上进行测试,各网络虫情监测指标如表1所示。

表1 不同算法性能比较

Tab.1 Performance comparison of different algorithms %

模型召回率F1值精确率Faster RCNN72.807883.11SSD83.208893.69YOLO v380.838793.49YOLO v483.878892.91YOLO v582.678995.98YOLO v784.138993.48YOLO v885.738685.96YOLO v8MC91.209190.60

从表1中可知,作为基准网络,YOLO v8在召回率上表现最优,与其它基准网络相比高1.6~12.93个百分点。但该网络的F1值与精确率并不出众,这归因于模型对其它害虫的误判。由前述可知,召回率体现模型对柑橘木虱的检出能力,即召回率越高,木虱漏检数越少。考虑识别木虱为本研究的核心需求,故选择召回率最高的YOLO v8进行图像预处理与网络架构优化,最终构建的YOLO v8-MC在Mosaic数据增强与CA注意力机制的共同作用下,关键指标召回率升幅为5.47个百分点,达到91.20%。同时,模型在F1值与精确率上的不足也得到显著改善,分别提高至91%和90.60%。

2.2 消融试验结果

为评估前述两种优化方案的重要性与其对模型性能的贡献,基于YOLO v8开展消融试验,结果如表2所示,其中√表示采用该改进方式。

表2 YOLO v8模型的消融试验结果

Tab.2 Ablation experiment of YOLO v8 module %

MDACA召回率F1值精确率85.738685.96√89.339090.79√88.968887.07√√91.209190.60

使用Mosaic数据增强生成的检测模型较之基准网络,各性能指标均有显著提高。这可能是由于在该操作下,训练集中有效数据得到充分补充,且新增的样本使整体训练集图像中害虫分布更为丰富,增强了模型鲁棒性与泛化性,最终使得其在复杂状况下的虫情检测能力得到强化。同时,添加注意力模块有助于各类指标的提升,说明CA通过提升害虫特征区域权重,进一步优化了模型的性能。结合上述两种改进措施,检测模型获得了试验中最大的性能提升,召回率、F1值及精确率分别达到91.20%、91%、90.60%。

2.3 模型可视化分析与对比

图8为柑橘木虱图像的检测结果,对比了YOLO v8在改进前后的不同表现。图8b中,YOLO v8-MC能对图像中与柑橘木虱特征相似的其它种类昆虫进行有效识别,并检测出原始模型漏检的目标。该结果表明,在目标害虫小、辨识难度高的应用场景下,相较于YOLO v8模型检测结果(左图错检1只,右图错检1只、漏检1只),本文所提出的模型适应性良好,对柑橘木虱细节特征的分析能力更强。

图8 不同模型的原始图像检测结果

Fig.8 Original image detection results for different models

3 柑橘木虱监测系统设计与应用

本研究开发的柑橘木虱智能监测系统架构如图9所示,系统通过部署在果园内的诱捕监测装置(即1.1节的图像采集装置),远程获取害虫图像及温湿度、光照强度等环境信息,并应用物联网设备将其上传至云服务器,由深度学习模型开展对各类害虫的识别工作,以实现基于目标识别技术的远距离虫情自主分析。分析结果将被实时反馈至用户,以便其及时了解果园虫害状况,据此做出农业生产管理决策。

图9 柑橘木虱智能监测系统架构图

Fig.9 Smart monitoring system for Asian citrus psyllids

此外,本研究采用4G无线网络通信技术进行信息传输以保证野外害虫图像传输低延时、长连接。并选用WebSocket应用层连接协议及JSON数据格式进行数据通讯,实现各类设备的指令收发和状态上报。

为满足多类型用户使用需求,本系统集成柑橘木虱识别、结果可视化展示及远程装置控制等功能,并开发Web端和手机APP客户端两种图形化操作界面。用户可根据自身情况选择任一界面,经身份验证后进入系统,继而进行虫情检测与设备控制。

3.1 系统实现

Web端主要面向系统运维人员,用于对整个平台多场景、多设备、多用户的综合管理,其包括运营管理后台和用户控制平台。运营管理后台承担整个系统的总体管理和维护功能,具体包括对平台设备连接授权、用户管理、用户授权、参数设置及数据管理;用户控制平台则服务于虫情监测用户,其具备用户、设备、场地及虫情监测历史数据管理功能(图10)。

图10 系统Web前端界面

Fig.10 System front-end interface

对比而言,手机APP端更具便捷性,其仅通过主界面、虫情信息及设备控制等5个交互界面服务用户(图11)。系统功能仅由一部移动设备即可操作完成,不受场地及时间约束。

图11 系统APP界面

Fig.11 System APP interface

3.2 系统实地应用

为检验柑橘木虱智能监测系统在不同地点的应用效果,在2023年7月12—21日期间,将柑橘木虱监测设备应用于广西特色作物研究院。

为验证系统信息传输速度,通过手机应用程序控制拍摄程序启动,将50幅粘板图像传送至云服务器,单幅图像约1.3 MB,每幅图像上传的平均时间为1.136 s,传输速度约为1.14 MB/s,满足虫情监测实时性需求。

为检验该系统及检测算法的稳健性,设定3 d为单次采样周期,试验场景如图12a所示,用户设备上的应用程序如图12b所示,第1栏显示实时温湿度及光照信息,第2栏显示采集的已识别虫情图像及计数结果。每幅虫情图像中的真实木虱数量由3位具备丰富木虱形态识别经验的专家共同判定。经过实地多周期验证,该系统在对总计44只木虱计数时,成功检测到39只,系统的召回率、F1值及精确率分别达到了88.64%、87%和84.78%,表明其具备正确识别柑橘木虱并计数的能力。综上所述,本系统在不同地点迁移应用中,性能表现良好。

图12 系统测试结果

Fig.12 System test results

4 结论

(1)开发了一款针对柑橘木虱的自动化监测设备。该设备采用带覆膜黄色粘虫胶带为诱虫耗材,结合太阳能供电系统、耗材更新机构与图像采集单元,可在野外实现长期自动化木虱图像采集。

(2)制作了可用于模型训练与测试的黄板背景下柑橘木虱数据集,并采用选点裁剪方法解决数据集中样本不平衡问题,为进一步提升模型识别性能,应用Mosaic数据增强和CA注意力机制,改进了YOLO v8木虱识别模型,针对性地解决大尺寸图像数据中小目标检测的难点,实现了柑橘木虱精准识别和计数。改进后YOLO v8-MC模型的召回率、F1值及精确率分别为91.20%、91%、90.60%,较基准网络模型均有较大提升。且YOLO系列算法对比试验表明改进模型具有更好的识别效果。

(3)设计了一种集物联网设备、人机交互前端、数据服务后端于一体的木虱智能监测系统。其诱捕模式可迁移至其他小型害虫监测领域,具备实用价值。实地应用测试结果表明,该系统表现稳定,各功能模块运行正常。测试过程中,系统木虱检测的召回率、F1值及精确率分别达到了88.64%、87%和84.78%,满足柑橘木虱监测应用需求。

参考文献

[1] 陈凯男,李充璧.柑橘黄龙病研究概况[J].浙江农业科学,2015,56(7):1048-1050.CHEN Kainan, LI Chongbi. Overview of research on citrus Huanglongbing[J]. Zhejiang Agricultural Science, 2015,56(7):1048-1050.(in Chinese)

[2] 曾伟辉,陈亚飞,胡根生,等.SMS和双向特征融合的自然背景柑橘黄龙病检测技术[J].农业机械学报,2022,53(11):280-287.ZENG Weihui, CHEN Yafei, HU Gensheng, et al. Detection of citrus Huanglongbing in natural background by SMS and two-way feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022,53(11):280-287.(in Chinese)

[3] 刘丹,姚俊萌,余焰文,等.气候变暖背景下柑橘木虱在中国的适生区变化[J].植物保护学报,2021,48(4):872-881.LIU Dan, YAO Junmeng, YU Yanwen, et al. Suitable distribution changes of Asian citrus psyllid Diaphorina citri in China under global warming[J]. Journal of Plant Protection, 2021,48(4):872-881.(in Chinese)

[4] GRAFTON-CARDWELL E E, STELINSKI L L, STANSLY P A. Biology and management of Asian citrus psyllid, vector of the Huanglongbing pathogens[J]. Annual Review of Entomology, 2013, 58(1):413-432.

[5] 叶志勇,余继华,汪恩国,等.柑橘木虱种群空间分布型及抽样技术研究[J].中国植保导刊,2007(6):35-37.

[6] 翟肇裕,曹益飞,徐焕良,等.农作物病虫害识别关键技术研究综述[J].农业机械学报,2021,52(7):1-18.ZHAI Zhaoyu, CAO Yifei, XU Huanliang, et al. Review of key techniques for crop disease and pest detection[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7):1-18.(in Chinese)

[7] 肖德琴,黄一桂,张远琴,等.基于改进Faster R-CNN的田间黄板害虫检测算法[J].农业机械学报,2021,52(6):242-251.XIAO Deqin, HUANG Yigui, ZHANG Yuanqin, et al. Pest detection algorithm of yellow plate in field based on improved Faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(6):242-251.(in Chinese)

[8] 许炜明,李翌菡,张盛,等.有色黏虫板对柑橘木虱的监测及防治研究进展[J].热带作物学报,2017,38(1):183-188.XU Weiming, LI Yihan, ZHANG Sheng, et al. Advances in the monitoring and control of Diaphorina citri kuwayama by using color sticky traps[J]. Chinese Journal of Tropical Crops, 2017, 38(1): 183-188.(in Chinese)

[9] LI W, WANG D, LI M, et al. Field detection of tiny pests from sticky trap images using deep learning in agricultural greenhouse[J]. Computers and Electronics in Agriculture, 2021, 183:106048.

[10] SHE J, ZHAN W, HONG S, et al. A method for automatic real-time detection and counting of fruit fly pests in orchards by trap bottles via convolutional neural network with attention mechanism added[J]. Ecological Informatics, 2022,70:101690.

[11] 孙钰,张冬月,袁明帅,等.基于深度学习的诱捕器内红脂大小蠹检测模型[J].农业机械学报,2018,49(12):180-187.SUN Yu, ZHANG Dongyue, YUAN Mingshuai, et al. Detection model of in-trap red turpentine beetle based on deep learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12):180-187.(in Chinese)

[12] CHEN C, LIANG Y H, ZHOU L, et al. An automatic inspection system for pest detection in granaries using YOLO v4[J]. Computers and Electronics in Agriculture, 2022, 201:107302.

[13] 张永玲,姜梦洲,俞佩仕,等.基于多特征融合和稀疏表示的农业害虫图像识别方法[J].中国农业科学,2018,51(11):2084-2093.ZHANG Yongling, JIANG Mengzhou, YU Peishi, et al. Agricultural pest identification based on multi-feature fusion and sparse representation[J]. Scientia Agricultura Sinica, 2018, 51(11): 2084-2093.(in Chinese)

[14] 杨信廷,刘蒙蒙,许建平,等.自动监测装置用温室粉虱和蓟马成虫图像分割识别算法[J].农业工程学报,2018,34(1):164-170.YANG Xinting, LIU Mengmeng, XU Jianping, et al. Image segmentation and recognition algorithm of greenhouse whitefly and thrip adults for automatic monitoring device[J]. Transactions of the CSAE, 2018, 34(1): 164-170.(in Chinese)

[15] 杭立,车进,宋培源,等.基于机器学习和图像处理技术的病虫害预测[J].西南大学学报(自然科学版),2020,42(1):134-141.HANG Li, CHE Jin, SONG Peiyuan, et al. Studies on pest prediction based on machine learning and image processing technologies[J]. Journal of Southwest University (Natural Science Edition), 2020, 42(1): 134-141.(in Chinese)

[16] 曾伟辉,张文凤,陈鹏,等.基于SCResNeSt的低分辨率水稻害虫图像识别方法[J].农业机械学报, 2022, 53(9):277-285.ZENG Weihui, ZHANG Wenfeng, CHEN Peng, et al. Low-resolution rice pest image recognition based on SCResNeSt[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(9):277-285.(in Chinese)

[17] 梁勇,邱荣洲,李志鹏,等.基于YOLO v5和多源数据集的水稻主要害虫识别方法[J].农业机械学报, 2022, 53(7): 250-258.LIANG Yong, QIU Rongzhou, LI Zhipeng, et al. Identification method of major rice pests based on YOLO v5 and multi-source datasets[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(7): 250-258.(in Chinese)

[18] KASINATHAN T, SINGARAJU D, UYYALA S R. Insect classification and detection in field crops using modern machine learning techniques[J]. Information Processing in Agriculture, 2021, 8(3):446-457.

[19] 李善军,宋竹平,梁千月,等.基于X-ray和RGB图像融合的实蝇侵染柑橘无损检测[J].农业机械学报,2023,54(1):385-392.LI Shanjun, SONG Zhuping, LIANG Qianyue, et al. Nondestructive detection of citrus infested by Bactrocera dorsalis based on X-ray and RGB image data fusion[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(1):385-392.(in Chinese)

[20] 甘雨,郭庆文,王春桃,等.基于改进EfficientNet模型的作物害虫识别[J].农业工程学报,2022,38(1):203-211.GAN Yu, GUO Qingwen, WANG Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the CSAE, 2022, 38(1): 203-211.(in Chinese)

[21] 王春桃,梁炜健,郭庆文,等.农业害虫智能视觉检测研究综述[J].中国农机化学报,2023,44(7):207-213.WANG Chuntao, LIANG Weijian, GUO Qingwen, et al. Review on computer vision based detection of agricultural pests[J]. Journal of Chinese Agricultural Mechanization, 2023, 44(7): 207-213.(in Chinese)

[22] 慕君林,马博,王云飞,等.基于深度学习的农作物病虫害检测算法综述[J].农业机械学报,2023,54(增刊2):301-313.MU Junlin, MA Bo, WANG Yunfei, et al. Review of crop disease and pest detection algorithms based on deep learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023,54(Supp.2):301-313.(in Chinese)

[23] 王金星,马博,王震,等.基于改进Mask R-CNN的苹果园害虫识别方法[J].农业机械学报, 2023,54(6):253-263,360.WANG Jinxing, MA Bo, WANG Zhen, et al. Pest identification method in apple orchard based on improved Mask R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023,54(6): 253-263, 360. (in Chinese)

[24] 胡嘉沛,李震,黄河清,等.采用改进YOLO v4-Tiny模型的柑橘木虱识别[J].农业工程学报, 2021,37(17):197-203.HU Jiapei, LI Zhen, HUANG Heqing, et al. Citrus psyllid detection based on improved YOLO v4-Tiny model[J].Transactions of the CSAE, 2021, 37(17): 197-203.(in Chinese)

[25] 陈佳,丁奇安,刘龙申,等.基于YOLO v5与短时跟踪的鸡只呼吸道疾病早期检测[J].农业机械学报, 2023, 54(1): 271-279.CHEN Jia, DING Qi’an, LIU Longshen, et al. Early detection of broilers respiratory diseases based on YOLO v5 and short time tracking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(1): 271-279.(in Chinese)

[26] YANG Wenjie, WU Jiachun, ZHANG Jinlai, et al. Deformable convolution and coordinate attention for fast cattle detection[J]. Computers and Electronics in Agriculture, 2023, 211:108006.

[27] GUO M H, XU T X, LIU J J, et al. Attention mechanisms in computer vision: a survey[J]. Computer Vision and Pattern Recognition, 2022, 8(3): 38.

[28] LI Xu, PAN Jiandong, XIE Fangping, et al. Fast and accurate green pepper detection in complex backgrounds via an improved YOLO v4-tiny model[J]. Computers and Electronics in Agriculture, 2021, 191: 106503.

[29] 林相泽,张俊媛,徐啸,等.基于字典学习与SSD的不完整昆虫图像稻飞虱识别分类[J].农业机械学报,2021,52(9):165-171.LIN Xiangze, ZHANG Junyuan, XU Xiao, et al. Recognition and classification of rice planthopper with incomplete image information based on dictionary learning and SSD[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021,52(9):165-171.(in Chinese)

[30] 宁远霖,杨颖,李振波,等.基于改进YOLO v5的复杂跨域场景下的猪个体识别与计数[J].农业工程学报,2022,38(17):168-175.NING Yuanlin, YANG Ying, LI Zhenbo, et al. Detecting and counting pig number using improved YOLO v5 in complex scenes[J]. Transactions of the CSAE, 2022, 38(17): 168-175.(in Chinese)

[31] 赵春江,梁雪文,于合龙,等.基于改进YOLO v7的笼养鸡/蛋自动识别与计数方法[J].农业机械学报,2023,54(7):300-312.ZHAO Chunjiang, LIANG Xuewen, YU Helong, et al. Automatic identification and counting method of caged hens and eggs based on improved YOLO v7[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(7): 300-312.(in Chinese)

[32] 赵辉,黄镖,王红君,等.基于改进YOLO v7的农田复杂环境下害虫识别算法研究[J].农业机械学报,2023,54(10):246-254.ZHAO Hui, HUANG Biao, WANG Hongjun, et al. Pest identification method in complex farmland environment based on improved YOLO v7[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023,54(10):246-254.(in Chinese)

[33] 刘双喜,刘思涛,屈慧星,等.基于MS-YOLO v7的多尺度稻飞虱识别分类方法[J].农业机械学报,2023,54(增刊1):212-221.LIU Shuangxi, LIU Sitao, QU Huixing, et al. Multi-scale rice planthopper image recognition and classification based on lightweight MS-YOLO v7[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023,54(Supp.1):212-221.(in Chinese)

Research on Asian Citrus Psyllid YOLO v8-MC Recognition Algorithm and Insect Remote Monitoring System

LI Shanjun1,2 LIANG Qianyue1,2 YU Yonghua1,2 CHEN Yaohui1,2 FU Huimin3 ZHANG Hongyu4

(1.College of Engineering, Huazhong Agricultural University, Wuhan 430070, China 2.Key Laboratory of Agricultural Equipment in Mid-lower Yangtze River, Ministry of Agriculture and Rural Affairs, Wuhan 430070, China 3.Guangxi Key Laboratory of Germplasm Innovation and Utilization of Specialty Commercial Crops in North Guangxi, Guilin 541000, China 4.College of Plant Science and Technology, Huazhong Agricultural University, Wuhan 430070, China)

AbstractThe Asian citrus psyllid (ACP) serves as the primary vector for Huanglongbing (HLB), a citrus tree disease with potentially devastating consequences for citrus orchards. In order to achieve efficient monitoring of ACP populations, an intelligent monitoring system capable of insect trapping, pest identification, and result visualization was developed. A monitoring device equipped with an automatic renewal mechanism for the insect trapping tape and real-time image capturing was designed. To improve the performance of the YOLO v8 model for ACP recognition, targeted cropping and Mosaic data augmentation techniques were employed to effectively expand the ACP dataset, addressing issues related to limited sample size and constrained positioning in the datasets. The application of a coordinate attention (CA) mechanism guided the model to comprehensively consider both channel and spatial information, thereby enhancing its ability to accurately locate the target psyllids. Additionally, the Web interface and mobile APP were developed to enable data visualization and remote control. During the model testing phase, the improved YOLO v8-MC achieved significant better performance than the baseline model, reaching 91.20%, 91%, and 90.60% in terms of recall rate, F1 score, and precision, respectively. In the field experiment, the model exhibited a recall rate of 88.64%, an F1 score of 87% and a precision of 84.78%, and the system operated effectively, meeting the requirements for field applications. In conclusion, the intelligent monitoring system developed enabled remote monitoring of ACP populations in orchards, providing an efficient mehtod for the management and control of such pest infestations.

Key wordsAsian citrus psyllid; pest monitoring; trap monitoring device; YOLO v8-MC

中图分类号:S237

文献标识码:A

文章编号:1000-1298(2024)06-0210-09

OSID:

doi:10.6041/j.issn.1000-1298.2024.06.022

收稿日期:2023-11-02

修回日期: 2024-01-23

基金项目:国家柑橘产业技术体系项目(CARS-Citrus)、国家重点研发计划项目(2021YFD1400802-4、2020YFD1000101、2021YFD1400802-44)和柑橘全程机械化科研基地建设项目(农计发[2017]19号)

作者简介:李善军(1977—),男,教授,博士,主要从事丘陵山地智能装备研究,E-mail: shanjunlee@mail.hzau.edu.cn

通信作者:张宏宇(1965—),男,教授,博士,主要从事昆虫分子生物学与微生物学等研究,E-mail: hongyu.zhang@mail.hzau.edu.cn