PyTorch 实现中的一些常用技巧

PyTorch入门实战教程

本文总结了一些网上大家贡献的 PyTorch 编程技巧、常见代码等,包含模型统计数据、参数初始化、参数正则化等常用方法。如果你在 PyTorch 编程中刚好遇到这些问题,希望这篇总结能帮助到你。如果你有好的代码,欢迎在评论区分享给大家哦。

模型统计数据(Model Statistics)

统计参数总数量

参数初始化(Weight Initialization)

PyTorch 中参数的默认初始化在各个层的 reset_parameters() 方法中。例如:nn.Linear 和 nn.Conv2D,都是在 [-limit, limit] 之间的均匀分布(Uniform distribution),其中 limit 是 1. / sqrt(fan_in) ,fan_in 是指参数张量(tensor)的输入单元的数量

下面是几种常见的初始化方式。

Xavier Initialization

Xavier初始化的基本思想是保持输入和输出的方差一致,这样就避免了所有输出值都趋向于0。这是通用的方法,适用于任何激活函数。

也可以使用 gain 参数来自定义初始化的标准差来匹配特定的激活函数:

参考资料:

He et. al Initialization

He initialization的思想是:在ReLU网络中,假定每一层有一半的神经元被激活,另一半为0。推荐在ReLU网络中使用。

正交初始化(Orthogonal Initialization)

主要用以解决深度网络下的梯度消失、梯度爆炸问题,在RNN中经常使用的参数初始化方法。

Batchnorm Initialization

在非线性激活函数之前,我们想让输出值有比较好的分布(例如高斯分布),以便于计算梯度和更新参数。Batch Normalization 将输出值强行做一次 Gaussian Normalization 和线性变换:

实现方法:

参数正则化(Weight Regularization)

L2/L1 Regularization

机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,称作L1正则化L2正则化,或者L1范数L2范数

L1 正则化和 L2 正则化可以看做是损失函数的惩罚项。所谓 “惩罚” 是指对损失函数中的某些参数做一些限制。

  • L1 正则化是指权值向量 \(w\) 中各个元素的绝对值之和,通常表示为 \({||w||}_1\)
  • L2 正则化是指权值向量 \(w\) 中各个元素的平方和然后再求平方根,通常表示为 \({||w||}_2\)

下面是L1正则化和L2正则化的作用,这些表述可以在很多文章中找到。

  • L1 正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择
  • L2 正则化可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合

L2 正则化的实现方法:

L1 正则化的实现方法:

Orthogonal Regularization

Max Norm Constraint

简单来讲就是对 w 的指直接进行限制。

PyTorch入门实战教程

Leave a Reply

Your email address will not be published. Required fields are marked *

返回顶部