从 GoogLeNet 到 Inception-v4,再到 Inception-ResNet

PyTorch入门实战教程

GoogLeNet / Inception-v1 到 Inception-v4,Google 的这几个模型性能不断在改进。这篇文章,我们来回顾一下从 V1 到现在的 V4 都有哪些变化和改进的地方。

下图展示了从 V1 到 V4 各个模型的 top-1 accuracy,还对比了其它几个模型:

从上图可以看到,Inception-v4 的准确率甚至比 ResNet 还要高一点。

Inception-v1 到 Inception-v3

Inception-v1 / GoogLeNet

这是 Inception 的第一个版本,第一次引入了 Inception Module 的概念。如下图所示,左边是 Inception Module 的示意图,右边是带降维的 Inception Module:

而网络整体上长这样:

在 Inception Module 里,输入会分别经过 1×1,3×3,和 5×5 的卷积层和最大池化层,然后各个不同卷积大小的输出叠加在一起。这样做的好处是在设计网络的时候我们不用想着每层到底该用多大的卷积核大小。

Inception-v2 / BN-Inception

Batch Normalization(BN)在 Inception-v2 中被引入。上图是 BN 的原理示意图。在神经网络中,我们使用 ReLU 激活函数来解决梯度消失的问题,但是这也让每一层的输出结果不规则。如果能让结果在网络中一直能够保持一个特定的分布,则会更好一些。

Inception-v3

这个版本主要引入了 Factorization 操作,就是用两个一维卷积来代替二维卷积。这样做的好处是防止过拟合,参数也更少一点。例如 3×3 的卷机核参数数量为 9,要是用 3×1 和 1×3 两个卷积核代替,只有 3×1+1×3=6 个参数,参数数量减少了 33%。如下图所示:

Inception-v4

下图是 Inception-v4 的结构示意图:

最左边是整体结构,左边第二个是 Stem,右边三个分别是三种 Inception block。这个版本结合了前面三个版本的所有特性,BN 也包含在内,但图中并没有画出来。

Inception-ResNet-v1

如果将 Inception 和 ResNet 的思想结合起来,是这个样子:

在右边三个 Inception block 中,我们看到每一个都加了一条直接连接(shortcut)。ResNet 中已经证明直接连接可以有效地解决梯度消失问题,让网络可以更深。

Inception-ResNet-v2

如果将上面 Inception-ResNet-v1 中的 stem 替换成 Inception-v4 的 stem,我们就得到了 Inception-ResNet-v2:

如果将这个版本和 Inceotion-v4 做比较,可以看到这个版本收敛更快一点,结果也更好一点:

PyTorch 实现

相关论文

  1. [2017 AAAI] [Inception-v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
  2. [2015 CVPR] [GoogLeNet / Inception-v1] Going Deeper with Convolutions
  3. [2015 ICML] [BN-Inception / Inception-v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
  4. [2016 CVPR] [Inception-v3] Rethinking the Inception Architecture for Computer Vision
  5. [2016 CVPR] [ResNet] Deep Residual Learning for Image Recognition
  6. [2016 ECCV] [ResNet with Identity Mapping] Identity Mappings in Deep Residual Networks

文章由 PyTorch 中文网编译整理自 Medium

PyTorch入门实战教程
除特别注明外,本站所有文章均为 PyTorch 中文网原创,转载请注明出处:https://www.pytorchtutorial.com/googlenet-inception-v4-inception-resnet/

Leave a Reply

Your email address will not be published. Required fields are marked *

返回顶部