0°
PyTorch入门实战教程

Pytorch 源码与运行原理浅析 - 网络篇

记得当时刚刚接触的时候一直搞不明白,为什么自己只是定义了几个网络,就可以完整的训练整个模型,它背后的机制又是如何,搞明白了这个,才有可能去做更多的定制的更改,比如更改loss,反传方式,梯度下降机制,甚至自定义参数更新速率(比如学习率随着迭代轮数下降),文章比较浅显,希望各位大神不吝赐教。

知识储备

看此文章的前提,大概需要你写过一个利用pytorch的训练程序,哪怕官网上的MNIST

因为本文目的是告诉你为什么这么写

为什么不用TensorFlow

其实我之前是有用TF的,但是,emmmmmmmm.......

之后接触了Pytorch,那一整天都在感叹"还有这种操作?"

个人感觉TF不是一个易于理解和易于扩展的框架。

比如说,我想实现学习率随迭代轮数降低,需要修改哪些?

那么,让我们开始吧

从MNIST说起

网络定义篇

这一段是MNIST给的定义Net的代码,那么,让我们看一看,这一段代码说明了什么,首先,__init__方法直接定义了你的网络,这就是你的模型中含有的全部的东西,你的模型本身也只有__init__ 中的属性会被每一次训练的时候更改,可以说这个思路是十分的清晰了。

之后,是forward方法,这里定义了如何处理传入的数据(就是那个x),返回这个神经网络的output

这里,我把它比作名词和动词的关系,__init__()方法定义了网络本身,或者说定义了一个个的名词,而我们也需要一系列的"猜测"过程,猜出这些名词是什么。而forward()方法,则是一个个的动词,它提供了如何处理这些名词的方式。

而之后,我们来看看,运行的时候,发生了什么

首先,我们看看torch.nn.Module,看看它是如何定义的。

torch.nn.Module

(代码不完整,只截取了一段)

可以看到,Module类定义了一系列训练时使用的变量比如参数(感觉这是是缓存的参数,用来之后做参数更新用的),buffers,几个hooks(个人感觉这些hooks是之后与loss,反传之类的步骤通讯数据用的)

反传里面是有一个判断的逻辑,判断你的子类有没有定义网络,没有就报错(讲真,这个想法很棒啊QwQ,子类重写父类方法,没有重写就是个报错hhhhhh)

buffer和parameter的注册,这里有一点需要提醒,在你自定义的网络中,如果你用了类似

这种语句的话,pytorch是没有办法这个变量的,也不会参与之后的传参之类的

在定义了上面那句话之后你必须用类似

比如笔者自己的代码

建议使用方法1,因为Module类重载了__setattr__()方法,如下

其实差别不大,可以看到加了很多判断。

然后之后apply()方法

这两个方法就是更新参数的核心过程了,pytorch的更新参数最底层的方法都是这两个方法定义的。

之后的cpu(),cuda()之类的方法大家都知道是干什么的,我就不赘述了,啊,顺带提一句,这个cuda()方法是对每个变量都covert to cuda的,十分的方便。

训练过程的参数传递,这些方法完成了神经网络,Loss,梯度下降等算法等等一系列计算的之间的数据通信。

结语

先写到这里,nn.Module大概写了一半左右吧,希望各位大佬们给出建议QwQ。

文章来源:知乎

PyTorch入门实战教程
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论