yolov5魔改教程之backbone
嗜睡的篠龙前言
本文使用的YOLOv5版本为v6.1,对YOLOv5-6.x网络结构还不熟悉的同学们,可以移步至:【YOLOv5-6.x】网络模型&源码解析
本文使用的YOLOv5版本为v6.1,根据不同的了解情况查看对应的文章。
- Post not found: yolo系列/简单谈谈yolov5-6-x-网络模型(含代码) 简单谈谈yolov5-6-x-网络模型(含代码)
- Post not found: yolo系列/yolov5魔改教程之backbone yolov5魔改教程之backbone
- Post not found: yolo系列/yolov5魔改教程之注意力机制 yolov5魔改教程之注意力机制
另外,本文所使用的实验环境为1个GTX 1080 GPU,数据集为 VOC2007
,超参数为 hyp.scratch-low.yaml
,训练200个epoch,其他参数均为源码中默认设置的数值。
YOLOv5中修改网络结构的一般步骤:
models/common.py
:在common.py
文件中,加入要修改的模块代码models/yolo.py
:在yolo.py文件内的parse_model函数里添加新模块的名称models/new_model.yaml
:在models
文件夹下新建模块对应的.yaml
文件
一、Shufflenetv2
Ma, Ningning, et al. “Shufflenet v2: Practical guidelines for efficient cnn architecture design.” Proceedings of the European conference on computer vision (ECCV). 2018.
论文简介
旷视轻量化卷积神经网络Shufflenetv2,通过大量实验提出四条轻量化网络设计准则,对输入输出通道、分组卷积组数、网络碎片化程度、逐元素操作对不同硬件上的速度和内存访问量MAC(Memory Access Cost)的影响进行了详细分析:
- 准则一:输入输出通道数相同时,内存访问量MAC最小
Mobilenetv2就不满足,采用了拟残差结构,输入输出通道数不相等
- 准则二:分组数过大的分组卷积会增加MAC
Shufflenetv1就不满足,采用了分组卷积(GConv)
- 准则三:碎片化操作(多通路,把网络搞的很宽)对并行加速不友好
Inception系列的网络
- 准则四:逐元素操作(Element-wise,例如ReLU、Shortcut-add等)带来的内存和耗时不可忽略
Shufflenetv1就不满足,采用了add操作
针对以上四条准则,作者提出了 Shufflenetv2
模型,通过 Channel Split
替代分组卷积,满足四条设计准则,达到了速度和精度的最优权衡。
模型概述
Shufflenetv2有两个结构:basic unit
和 unit from spatial down sampling(2×)
basic unit
:输入输出通道数不变,大小也不变unit from spatial down sample
:输出通道数扩大一倍,大小缩小一倍(降采样)
Shufflenetv2整体哲学要紧紧向论文中提出的轻量化四大准则靠拢,基本除了准则四之外,都有效的避免了。
为了解决 GConv(Group Convolution)
导致的不同group之间没有信息交流,只在同一个group内进行特征提取的问题,Shufflenetv2设计了Channel Shuffle操作进行通道重排,跨group信息交流。
1 | class ShuffleBlock(nn.Module): |
加入YOLOv5
common.py
文件修改:直接在最下面加入如下代码
1 | # ---------------------------- ShuffleBlock start ------------------------------- |
yolo.py
文件修改:在yolo.py的parse_model
函数中,加入conv_bn_relu_maxpool, Shuffle_Block
两个模块(如下图红框所示)
- 新建yaml文件:在model文件下新建yolov5-shufflenetv2.yaml文件,复制以下代码即可
1 | # YOLOv5 🚀 by Ultralytics, GPL-3.0 license |
二、Mobilenetv3
Howard, Andrew, et al. “Searching for mobilenetv3.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.
论文简介
MobileNetV3,是谷歌在2019年3月21日提出的轻量化网络架构,在前两个版本的基础上,加入神经网络架构搜索(NAS)和h-swish激活函数,并引入SE通道注意力机制,性能和速度都表现优异,受到学术界和工业界的追捧。
主要特点:
- 论文推出两个版本:Large 和 Small,分别适用于不同的场景
- 网络的架构基于NAS实现的MnasNet(效果比MobileNetV2好),由NAS搜索获取参数
- 引入MobileNetV1的深度可分离卷积
- 引入MobileNetV2的具有线性瓶颈的倒残差结构
- 引入基于squeeze and excitation结构的轻量级注意力模型(SE)
- 使用了一种新的激活函数h-swish(x)
- 网络结构搜索中,结合两种技术:资源受限的NAS(platform-aware NAS)与NetAdapt
- 修改了MobileNetV2网络端部最后阶段
模型概述
深度可分离卷积
Mobilenetv1提出了深度可分离卷积,就是将普通卷积拆分成为一个深度卷积(Depthwise Convolutional Filters
)和一个逐点卷积(Pointwise Convolution
):
Depthwise Convolutional Filters
:将卷积核拆分成为单通道形式,在不改变输入特征图像深度的情况下,对每一通道进行卷积操作,这样就得到了和输入特征图通道数一致的输出特征图,这样就会有一个问题,通道数太少,特征图的维度太少,能获取到足够的有效信息吗?Pointwise Convolution
:逐点卷积就是1×1
卷积,主要作用就是对特征图进行升维和降维,在深度卷积的过程中,假设得到了8×8×3
的输出特征图,我们用256个1×1×3
的卷积核对输入特征图进行卷积操作,输出的特征图和标准的卷积操作一样都是8×8×256
了
逆残差结构
深度卷积本身没有改变通道的能力,来的是多少通道输出就是多少通道,如果来的通道很少的话,DW深度卷积只能在低维度上工作,这样效果并不会很好,所以我们要“扩张”通道。
既然我们已经知道PW逐点卷积也就是1×1卷积可以用来升维和降维,那就可以在DW深度卷积之前使用PW卷积进行升维(升维倍数为t,t=6),再在一个更高维的空间中进行卷积操作来提取特征,这样不管输入通道数是多少,经过第一个PW逐点卷积升维之后,深度卷积都是在相对的更高6倍维度上进行工作。
Inverted residuals
:为了像Resnet一样复用特征,引入了 shortcut
结构,采用了 1×1 -> 3 ×3 -> 1 × 1
的模式,但是不同点是:
- ResNet 先降维 (0.25倍)、卷积、再升维
- Mobilenetv2 则是 先升维 (6倍)、卷积、再降维
SE通道注意力
SE通道注意力出自论文:《Squeeze-and-excitation networks》,主要是探讨了卷积神经网络中信息特征的构造问题,而作者提出了一种称为“Squeeze-Excitation(SE)
”的组件:
- SE组件的作用是:可以通过显示地建模通道之间的相互依存关系来增强通道级的特征响应(说白了就是学习一组权重,将这组权重赋予到每一个通道来进一步改善特征表示),使得重要特征得到加强,非重要特征得到弱化
- 具体来说,就是通过学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征
1 | class SELayer(nn.Module): |
h-swish激活函数
近似操作模拟swish和relu,公式如下:
h_swish(x) = x ∗ ReLU6(x + 3)/6、h_sigmoid(x)=ReLU6(X+3)/6
1 | class h_sigmoid(nn.Module): |
加入YOLOv5
common.py文件修改:直接在最下面加入如下代码
1 | # ---------------------------- MobileBlock start ------------------------------- |
yolo.py
文件修改:在yolo.py的parse_model
函数中,加入h_sigmoid,h_swish, SELayer, conv_bn_hswish, MobileNet_Block
五个模块- 新建
yaml
文件:在model文件下新建yolov5-mobilenetv3-small.yaml
文件,复制以下代码即可
1 | # YOLOv5 🚀 by Ultralytics, GPL-3.0 license |
三、Ghostnet
Han, Kai, et al. “Ghostnet: More features from cheap operations.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
论文简介
Ghostnet出自华为诺亚方舟实验室,作者发现在传统的深度学习网络中存在着大量冗余,但是对模型的精度至关重要的特征图。这些特征图是由卷积操作得到,又输入到下一个卷积层进行运算,这个过程包含大量的网络参数,消耗了大量的计算资源。
作者考虑到这些feature map层中的冗余信息可能是一个成功模型的重要组成部分,正是因为这些冗余信息才能保证输入数据的全面理解,所以作者在设计轻量化模型的时候并没有试图去除这些冗余feature map,而是尝试使用更低成本的计算量来获取这些冗余feature map。
模型概述
Ghost卷积部分将传统卷积操作分为两部分:
- 第一步,使用少量卷积核进行卷积操作(比如正常用64个,这里就用32个,从而减少一半计算量)
- 第二步,使用
3×3
或5×5
的卷积核进行逐通道卷积操作(Cheap operations)
最终将第一部分作为一份恒等映射(Identity
),与第二步的结果进行 Concat
操作
GhostBottleneck
部分有两种结构:
- stride=1,不进行下采样时,直接进行两个Ghost卷积操作
- stride=2,进行下采样时,多出来一个步长为2的深度卷积操作
加入YOLOv5
在最新版本的YOLOv5-6.1源码中,作者已经加入了Ghost模块,并在 models/hub/
文件夹下,给出了 yolov5s-ghost.yaml
文件,因此直接使用即可。
1 | class GhostConv(nn.Module): |