ABFPN：一种面向小目标检测的多尺度特征融合网络

admin管理员组

文章数量:1446760

ABFPN：一种面向小目标检测的多尺度特征融合网络

一、前言

计算机视觉模拟了生物视觉，使用计算机及相关设备处理和分析图像和视频数据。计算机视觉在多个领域内受到极大关注，包括工业生产、农业、医疗健康等。计算机视觉任务主要分为四大类：图像分类、目标检测、语义分割和实例分割。

在这些任务中，目标检测因其在图像处理和模式识别中广泛的应用潜力而受到越来越多的研究关注。目标检测算法可以分为单阶段和双阶段算法。单阶段算法如YOLO、SSD和Corner Network等，能够直接获得目标的类别概率和位置坐标。双阶段算法则需要先获得区域提议，再对候选区域进行分类。传统的目标检测算法在处理小目标时性能较差，尤其是在工业应用中，目标尺寸对检测性能有重要影响。小目标检测的难点在于难以提取小目标的高级语义特征，且难以准确定位和分类。

为了应对这些挑战，提出了一种新颖的多尺度特征融合方法，即带平衡特征金字塔网络的空洞空间金字塔池化（Atrous Spatial Pyramid Pooling-Balanced-Feature Pyramid Network，简称ABFPN）。该方法充分利用了不同扩张率的空洞卷积运算符来增强特征融合，并采用跳跃连接来加强不同层级特征之间的交互。

二、方法论

1. 典型的目标检测框架结构

在一个典型的目标检测网络中，一般有四个基本组成部分:输入层、主干、颈部和检测头，典型的目标检测网络架构如图所示：

• 输入层：通过数据增强技术提升模型的鲁棒性，包括空间变换和颜色扭曲。
• 骨干网络（Backbone）：用于从输入图像中提取特征，常用的模型包括ResNet和DarkNet。
• 颈部（Neck）：进行特征融合，处理从骨干网络提取的特征，以适应不同的检测需求。例如，使用特征金字塔网络（FPN）进行路径聚合。
• 检测头（Detection Head）：负责目标的定位和分类，通常包括非极大值抑制（NMS）等后处理模块。

2. ABFPN：增强的特征融合方法

提出的ABFPN示意图如图中红色虚线框所示：

其中所提出的ABFPN是目标检测框架的颈部部分。在ABPFN中，设计了两个模块(skip-ASPP模块和balanced模块)进行特征融合。

• skip-ASPP模块：利用不同扩张率的空洞卷积运算符来扩大感受野，并使用跳跃连接来加强特征融合。
• balanced模块：由三个子模块组成，包括调整尺寸和平均块、空间非局部块和残差块，用于更有效地学习语义和细节信息。

3. 目标检测的鲁棒性增强策略

• 数据增强技术：使用AutoAugmentImage和Mixup方法，以增强模型对不同数据集的适应性。
• 骨干网络的改进：采用ResNeXt结构，引入SE注意力机制和可变形卷积运算符，以适应目标的不同几何变化。
• 检测头的改进：采用Cascade RCNN结构，使用CIoU损失和DIoU-NMS方法，以提高检测的准确性和鲁棒性。

三、在基准数据集上对提出的ASPP-Balanced-FPN进行评估

通过在多个公共基准数据集上进行广泛的实验，来验证所提出的ABFPN方法的有效性。

1. 实验设置和数据集

• 数据集：选择了三个著名的目标检测数据集进行评估，包括MS COCO2017、Pascal VOC07+12和VisDrone2019检测数据集。这些数据集包含了不同类别和尺寸的目标，适合用来评估小目标检测算法的性能。
• 实验环境：所有模型都在PaddlePaddle框架下训练，使用单个GPU Tesla V100进行实验。

2. 实验结果

COCO2017数据集：通过平均精度（AP）及其扩展指标（如AP\@50, APs, APm, APl）来评估模型性能。实验结果显示，ABFPN在小尺寸目标检测上相较于传统的FPN有显著提升。

VOC07+12数据集：使用平均精度均值（mAP）作为评估指标，实验结果表明ABFPN在该数据集上同样展现出优越的性能。

VisDrone2019数据集：这个数据集以检测远程感应器捕获的小型目标而闻名，实验结果显示ABFPN在处理这类复杂场景中的小目标检测任务时，性能优于传统FPN。

3. 消融研究

• 消融研究：通过逐步移除或替换ABFPN中的某些组件，来评估这些组件对整体性能的贡献。例如，移除跳跃连接或平衡模块，观察对检测精度的影响。
• 鲁棒性增强策略：评估了数据增强技术和改进的骨干网络等策略对模型性能的提升作用。

4. 实验分析

将ABFPN与其他先进的目标检测方法进行比较，如改进的YOLOv3、Faster RCNN等，以展示ABFPN在不同数据集上的性能优势。

通过详细的实验设置、结果展示和分析，全面地验证了ABFPN在小目标检测任务中的有效性和优越性。通过在不同的数据集和场景下进行评估，展示了ABFPN方法的泛化能力和实用性。

四、在PCB缺陷检测中的应用

1. IPDD框架

提出了一种改进的PCB缺陷检测（IPDD）框架，该框架包括输入层、骨干网络、颈部（使用ABFPN）和检测头（Cascade RCNN*）。

在训练过程中应用数据增强技术，如AutoAugmentImage和Mixup，以增强模型对不同缺陷类型的适应性和鲁棒性。选择增强的ResNeXt-152作为骨干网络，利用SE（Squeeze-and-Excitation）注意力机制和可变形卷积来提取特征。

利用ABFPN进行多尺度特征融合，增强小目标的特征表示能力。采用Cascade RCNN*作为检测头，使用CIoU损失和DIoU-NMS方法进行精确的定位和分类。

2. 评估结果和讨论

使用PKU公共PCB缺陷检测数据集，该数据集包含多种类型的缺陷，如缺失孔、鼠咬、开路、短路、毛刺和铜污染等。数据集显示在图中：

其中每种缺陷类型的数量绘制在图(a)中。area_ratio是ground-truth bounding box占整个图像的比例，也反映了待检测物体的相对大小。从图(b)中可以看出，几乎所有的缺陷在图像中只占据很小的区域，这给准确定位和分类带来了挑战。

通过平均精度（AP）、AP\@50、AP\@75、不同尺寸目标的平均精度（APs, APm, APl）和平均召回率（AR）等指标来评估模型性能。将IPDD框架与其他七种最先进的方法进行比较，包括Impro YOLOv3、FCOS、PP-Yolo、Impro Faster RCNN、TDD-Net、Deformable DETR和Sniper。实验结果表明，IPDD框架在所有评估指标上均优于其他方法。

结果显示，ABFPN显著提高了小尺寸缺陷的检测精度。

五、结论

文章总结了提出的IPDD框架在PCB表面缺陷检测方面的有效性，并提出了未来的研究方向，包括将IPDD框架应用于其他小目标检测任务、研究精确定位方法以及使用进化计算算法调整超参数。

本文标签： ABFPN一种面向小目标检测的多尺度特征融合网络