admin管理员组

文章数量:1487745

YoloV8改进策略:基于自研的图注意力机制改进

摘要

SE注意力机制是一种通过显式建模卷积特征的信道之间相互依赖性的方法,旨在提高网络产生的表示的质量。SE注意力机制包括两个步骤:Squeeze和Excitation。在Squeeze步骤中,通过全局平均池化操作将输入特征图压缩成一个向量,然后通过一个全连接层将其映射到一个较小的向量。在Excitation步骤中,使用一个sigmoid函数将这个向量中的每个元素压缩到0到1之间,并将其与原始输入特征图相乘,得到加权后的特征图。通过SE注意力机制,模型可以自适应地学习到每个通道的重要性,从而提高模型的表现能力。

图卷积是一种用于处理图结构数据的卷积操作。与传统的卷积操作不同,图卷积的输入是一个图形,包含节点和边,而不是一个二维或三维的张量。图卷积的目的是通过学习节点之间的关系来进行特征提取和分类等任务。具体来说,图卷积可以聚合邻近节点的特征,对更新后的节点特征进行激活函数操作,从而进行特征提取和分类。

我们将二者结合会怎么样呢?

代码语言:javascript代码运行次数:0运行复制
.2014.3001.5501

YoloV8官方结果

代码语言:javascript代码运行次数:0运行复制
YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 29/29 [
                   all        230       1412      0.922      0.957      0.986      0.737
                   c17        230        131      0.973      0.992      0.995      0.825
                    c5        230         68      0.945          1      0.995      0.836
            helicopter        230         43       0.96      0.907      0.951      0.607
                  c130        230         85      0.984          1      0.995      0.655
                   f16        230         57      0.955      0.965      0.985      0.669
                    b2        230          2      0.704          1      0.995      0.722
                 other        230         86      0.903      0.942      0.963      0.534
                   b52        230         70       0.96      0.971      0.978      0.831
                  kc10        230         62      0.999      0.984       0.99      0.847
               command        230         40       0.97          1      0.995      0.811
                   f15        230        123      0.891          1      0.992      0.701
                 kc135        230         91      0.971      0.989      0.986      0.712
                   a10        230         27          1      0.555      0.899      0.456
                    b1        230         20      0.972          1      0.995      0.793
                   aew        230         25      0.945          1       0.99      0.784
                   f22        230         17      0.913          1      0.995      0.725
                    p3        230        105       0.99          1      0.995      0.801
                    p8        230          1      0.637          1      0.995      0.597
                   f35        230         32      0.939      0.938      0.978      0.574
                   f18        230        125      0.985      0.992      0.987      0.817
                   v22        230         41      0.983          1      0.995       0.69
                 su-27        230         31      0.925          1      0.995      0.859
                 il-38        230         27      0.972          1      0.995      0.811
                tu-134        230          1      0.663          1      0.995      0.895
                 su-33        230          2          1      0.611      0.995      0.796
                 an-70        230          2      0.766          1      0.995       0.73
                 tu-22        230         98      0.984          1      0.995      0.831
Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image

改进一

测试结果

代码语言:javascript代码运行次数:0运行复制
YOLOv8l summary (fused): 340 layers, 44360368 parameters, 0 gradients, 165.3 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 15/15 [00:06<00:00,  2.22it/s]
                   all        230       1412      0.941      0.962       0.99      0.729
                   c17        230        131      0.983      0.977      0.995      0.814
                    c5        230         68      0.987          1      0.995      0.834
            helicopter        230         43      0.957      0.953      0.969      0.557
                  c130        230         85      0.965      0.969      0.989      0.635
                   f16        230         57      0.987       0.93      0.972      0.635
                    b2        230          2      0.842          1      0.995      0.589
                 other        230         86        0.9      0.944      0.967      0.504
                   b52        230         70      0.964      0.971      0.977      0.806
                  kc10        230         62      0.992      0.984      0.989      0.814
               command        230         40       0.98      0.975      0.995      0.816
                   f15        230        123      0.976      0.989      0.993      0.679
                 kc135        230         91      0.967      0.978      0.987      0.699
                   a10        230         27          1      0.768       0.97      0.531
                    b1        230         20      0.989          1      0.995      0.719
                   aew        230         25      0.912          1      0.993      0.803
                   f22        230         17      0.951          1      0.995      0.696
                    p3        230        105      0.998       0.99      0.995      0.807
                    p8        230          1      0.762          1      0.995      0.697
                   f35        230         32      0.983      0.969      0.993      0.568
                   f18        230        125      0.978      0.992      0.992      0.812
                   v22        230         41      0.985          1      0.995      0.701
                 su-27        230         31      0.986          1      0.995      0.826
                 il-38        230         27      0.975          1      0.995      0.786
                tu-134        230          1      0.617          1      0.995      0.895
                 su-33        230          2          1      0.585      0.995      0.849
                 an-70        230          2      0.782          1      0.995      0.796
                 tu-22        230         98      0.993          1      0.995      0.814
Speed: 0.2ms preprocess, 23.5ms inference, 0.0ms loss, 0.6ms postprocess per image

改进二

测试结果

代码语言:javascript代码运行次数:0运行复制
        YOLOv8l summary (fused): 304 layers, 43934384 parameters, 0 gradients, 165.1 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 15/15 [00:04<00:00,  3.20it/s]
                   all        230       1412      0.957      0.978      0.991      0.733
                   c17        230        131      0.957      0.992      0.989      0.819
                    c5        230         68      0.959      0.941      0.988      0.818
            helicopter        230         43      0.955      0.981      0.981      0.619
                  c130        230         85          1      0.974      0.995       0.66
                   f16        230         57      0.967      0.965      0.982      0.665
                    b2        230          2      0.875          1      0.995      0.597
                 other        230         86      0.968      0.977       0.98      0.561
                   b52        230         70      0.971      0.972      0.976      0.832
                  kc10        230         62          1      0.978       0.99      0.849
               command        230         40      0.952          1      0.995      0.844
                   f15        230        123       0.99          1      0.995      0.706
                 kc135        230         91          1      0.986      0.991      0.721
                   a10        230         27          1      0.752      0.976      0.436
                    b1        230         20      0.982       0.95      0.982      0.731
                   aew        230         25      0.944          1      0.995      0.791
                   f22        230         17      0.971          1      0.995      0.778
                    p3        230        105          1      0.987      0.995      0.799
                    p8        230          1      0.797          1      0.995      0.697
                   f35        230         32      0.948      0.969      0.991      0.568
                   f18        230        125      0.992      0.986      0.993      0.834
                   v22        230         41      0.991          1      0.995      0.685
                 su-27        230         31      0.972          1      0.995      0.851
                 il-38        230         27      0.985          1      0.995       0.84
                tu-134        230          1      0.794          1      0.995      0.895
                 su-33        230          2          1          1      0.995      0.585
                 an-70        230          2      0.862          1      0.995      0.796
                 tu-22        230         98      0.997          1      0.995      0.819
Speed: 0.2ms preprocess, 14.0ms inference, 0.0ms loss, 0.7ms postprocess per image
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。原始发表:2024-02-05,如有侵权请联系 cloudcommunity@tencent 删除测试函数模型数据网络

本文标签: YoloV8改进策略基于自研的图注意力机制改进