草莓缺陷检测及可视化——高光谱成像技术

草莓没有较厚的果皮包裹，且果实十分柔软，因此在采摘、包装、冷冻储存、运输等过程中，容易形成机械损伤、发展快速无损的草莓缺陷检测与可视化技术迫在眉睫。赵路路等提出空间光谱变换网络(SSTN)，进行四类(健康、瘀伤、冻伤、感染)草莓高光谱数据分类。

研究背景

目前草莓采摘期后的品质检测一般采用人工目检，该方法存在着受主观影响大、效率低、准确性差等问题，且早期的淤伤、感染、冻伤等质量缺陷仅通过人工目测不易识别。因此，发展快速无损的草莓缺陷检测与可视化技术，对于发现草莓的早期缺陷、降低草莓的食品安全风险、预测草莓的货架期、研究草莓缺陷的发展规律、降低各环节的草莓浪费等具有重要意义，具有迫切的行业需求与较高的实际应用价值。

近年来，高光谱成像作为一种新兴的无损检测技术，由于集成了光谱信息和成像信息，且具有较高的光谱和空间分辨率，在水果品质与安全检测方面受到研究者的广泛关注。例如，Liu等使用连续投影算法(SPA)选择最佳波长，并比较偏最小二乘判别分析(PLS-DA)、支持向量机(SVM)和反向传播神经网络(BPNN)算法，以识别擦伤和真菌感染的草莓，基于全波段的支持向量机(SVM)模型最高分类精度达96.91%。Zhang等使用主成分分析(PCA)从草莓的光谱数据获取最佳波长后，基于特征光谱数据结合纹理特征建立支持向量机(SVM)分类模型，以区分三种成熟度的草莓，分类准确率达到了85%以上。Shen等采集不同冷藏时间草莓的可见光和近红外(Vis/NIR)光谱数据，基于竞争自适应重加权采样(CARS)选取特征波长后，建立偏最小二乘判别分析(PLS-DA)分类模型，其分类准确率达到97.4%。传统机器学习方法的局限性在于，一般采用平均光谱进行建模，未能充分利用草莓高光谱数据的图像信息，也较难通过该类方法实现缺陷的可视化与定位。

当前，深度学习方法，尤其是深度卷积神经网络(CNN)，在高光谱数据处理方面取得突破，逐渐成为高光谱数据处理的发展趋势。相比于上述传统方法仅采用草莓的平均光谱建模，卷积网络能够更好的利用草莓高光谱数据的空间信息，实现“光谱-空间”信息联合建模。Liu等创建一种用于光谱空间分类和有效波长选择的双分支卷积神经网络(2B-CNN)模型对健康草莓和淤伤草莓进行识别，通过同时提取光谱和空间信息，其判别准确率高达99%。Gao等采集早熟草莓和成熟草莓的高光谱图像并提取了前3个主成分空间特征图像，使用预训练好的AlexNet卷积神经网络对草莓成熟度进行分类，准确率达到98.6%。Chun等对比了1D-CNN、VGG-19和ResNet-50等基于卷积的深度网络，发现ResNet-50对于草莓的灰霉病感染具有最好的识别精度，并能够显著的提早灰霉病感染的识别期。卷积神经网络中的卷积窗具有良好的局部上下文建模能力，但是受到CNN的卷积窗尺寸限制，其信息感知域有限，难以处理高光谱数据中的长距离谱段或图像块的依赖关系。因此，也有学者利用空洞卷积网络等手段，来增大卷积操作的感知域，从而提升光谱数据处理过程中的长程相关性分析能力。

除了分类识别研究，也有不少研究者采用深度学习方法进行水果的缺陷可视化与定位方面的工作。这类研究主要分为两类，一类是直接采用深度网络进行缺陷区域定位。例如，Lu等采用YOLO网络并采用可见光图像和近红外图像对草莓缺陷进行定位，输出缺陷位置坐标。另一类方法采用类激活映射(CAM)方法，主要是梯度类激活映射(Grad-CAM)方法进行。田有文等采用im-ResNet50模型进行蓝莓果蝇病虫害的识别检测，并发现Grad-CAM可以实现病虫害部位的可视化。Echim等则采用Grad-CAM方法可视化草莓叶子上的病虫害侵害部位。目前Grad-CAM是最常见的可视化方式之一，但仍然存在着对梯度依赖大，网络梯度饱和或梯度消失的问题，使Grad-CAM的可视化出现错误或严重噪声。

研究方法

赵路路等提出空间光谱变换网络(SSTN)，进行四类(健康、瘀伤、冻伤、感染)草莓高光谱数据分类。该方法以VisionTransformer(ViT)网络为基础，以整个高光谱数据进行分块编码作为输入。与传统CNN的方法相比，ViT以具有多头注意力的Transformer为基本结构，因此具有更强大的全局建模能力，从而可以捕获长距离谱段或图像块之间的关系，使得高光谱数据的“全局图谱融合”建模成为可能。

此外，采用Score-CAM方法结合SSTN网络对草莓的淤伤、冻伤、腐烂等缺陷进行可视化。Score-CAM是Grad-CAM方法的进一步改进，它采用置信度来获得权重，从而摆脱了对梯度的依赖性，实现对草莓缺陷位置的高精度可视化与定位。此外，通过对比Score-CAM分别与SSTN、2D-CNN及注意力卷积网络(CBAM-CNN)结合的可视化效果图，可以分析不同注意力机制对于缺陷定位与可视化效果的影响，验证了多头注意力机制在缺陷可视化中的优势。

研究结论

采用高光谱成像技术结合深度学习实现草莓品质缺陷的识别与定位。分别建立1D-CNN、2D-CNN、CBAM-CNN和SSTN模型，进行健康、淤伤、冻伤、腐烂四种草莓的分类。结果表明，1D-CNN、2D-CNN、CBAM-CNN和SSTN在测试集上的总体准确率分别为95.61%、96.01%、97.64%和99.20%；其中，SSTN模型内部引入多头注意力机制，可以获取各光谱序列之间的关系，更好地捕捉光谱图像中的长距离依赖关系，并且可实现光谱信息与图像信息的同步提取与融合，其准确率、精准率、召回率、F1值优于其他对比方法。

使用Score-CAM结合2D-CNN、CBAM-CNN和SSTN模型，实现草莓的缺陷定位与可视化。结果表明，Score-CAM结合各类深度学习模型，均可成功可视化各类草莓缺陷的位置；其中SSTN由于采用了多头注意力机制，所得缺陷可视化图比CBAM-CNN采用的混合卷积注意力机制更加精确。综合实验结果表明，SSTN方法结合Score-CAM可成功实现健康与多种缺陷草莓的识别与分类，并准确实现缺陷的定位与可视化，为实现基于高光谱的草莓品质在线检测提供了方法。