PyTorch 学习笔记(三):自动求导

PyTorch入门实战教程

Backward过程中排除子图

pytorch的BP过程是由一个函数决定的,loss.backward(), 可以看到backward()函数里并没有传要求谁的梯度。那么我们可以大胆猜测,在BP的过程中,pytorch是将所有影响loss的Variable都求了一次梯度。但是有时候,我们并不想求所有Variable的梯度。那就要考虑如何在Backward过程中排除子图(ie.排除没必要的梯度计算)。

如何BP过程中排除子图? Variable的两个参数(requires_grad和volatile)

requires_grad:

变量的requires_grad标记的运算就相当于or。

如果你想部分冻结你的网络(ie.不做梯度计算),那么通过设置requires_grad标签是非常容易实现的。 下面给出了利用requires_grad使用pretrained网络的一个例子,只fine tune了最后一层。

volatile:

变量的volatile标记的运算也相当于or。

注意:volatile=True相当于requires_grad=False。但是在纯推断模式的时候,只要是输入volatile=True,那么输出Variable的volatile必为True。这就比使用requires_grad=False方便多了。

NOTE:在使用volatile=True的时候,变量是不存储 creator属性的,这样也减少了内存的使用。

为什么要排除子图

也许有人会问,梯度全部计算,不更新的话不就得了。

这样就涉及了效率的问题了,计算很多没用的梯度是浪费了很多资源的(时间,计算机内存)

文章来源:Keith

PyTorch入门实战教程

发表评论

电子邮件地址不会被公开。 必填项已用*标注

返回顶部