10分钟快速入门 PyTorch (5) – RNN

PyTorch入门实战教程

前面一节我们讲了cnn以及如何使用pytorch实现简单的多层卷积神经网络,下面我们将进入rnn,对于rnn我也涉及不多,欢迎各位高手提出宝贵的意见。

关于rnn将分成三个部分,第一个部分先介绍rnn的基本结构以及在pytorch里面api的各个参数所表示的含义,下一个部分将介绍rnn如何在MNIST数据集上做分类,最后一个部分涉及一点点自然语言处理的东西。

文章目录

RNN

首先介绍一下什么是rnn,rnn特别擅长处理序列类型的数据,因为他是一个循环的结构

一个序列的数据依次进入网络A,网络A循环的往后传递。

这就是RNN的基本结构类型。而最早的RNN模型,序列依次进入网络中,之前进入序列的数据会保存信息而对后面的数据产生影响,所以RNN有着记忆的特性,而同时越前面的数据进入序列的时间越早,所以对后面的数据的影响也就越弱,简而言之就是一个数据会更大程度受到其临近数据的影响。但是我们很有可能需要更长时间之前的信息,而这个能力传统的RNN特别弱,于是有了LSTM这个变体。

LSTM

这就是LSTM的模型结构,也是一个向后传递的链式模型,而现在广泛使用的RNN其实就是LSTM,序列中每个数据传入LSTM可以得到两个输出,而这两个输出和序列中下一个数据一起又作为传入LSTM的输入,然后不断地循环向后,直到序列结束。

下面结合pytorch一步一步来看数据传入LSTM是怎么运算的

首先需要定义好LSTM网络,需要nn.LSTM(),首先介绍一下这个函数里面的参数

  • input_size 表示的是输入的数据维数
  • hidden_size 表示的是输出维数
  • num_layers 表示堆叠几层的LSTM,默认是1
  • bias True 或者 False,决定是否使用bias
  • batch_first True 或者 False,因为nn.lstm()接受的数据输入是(序列长度,batch,输入维数),这和我们cnn输入的方式不太一致,所以使用batch_first,我们可以将输入变成(batch,序列长度,输入维数)
  • dropout 表示除了最后一层之外都引入一个dropout
  • bidirectional 表示双向LSTM,也就是序列从左往右算一次,从右往左又算一次,这样就可以两倍的输出

是网络的输出维数,比如M,因为输出的维度是M,权重w的维数就是(M, M)和(M, K),b的维数就是(M, 1)和(M, 1),最后经过sigmoid激活函数,得到的f的维数是(M, 1)。

对于第一个数据,需要定义初始的h_0和c_0,所以nn.lstm()的输入Inputs:input, (h_0, c_0),表示输入的数据以及h_0和c_0,这个可以自己定义,如果不定义,默认就是0

第二步也是差不多的操作,只不多是另外两个权重加上不同的激活函数,一个使用的是sigmoid,一个使用的是tanh,得到的输出i_t\tilde{C}_t都是(M, 1)。

接着这个乘法是矩阵每个位置对应相乘,然后将两个矩阵加起来,得到的输出C_t是(M, 1)。

最后一步得到的o_t也是(M, 1),然后C_t经过激活函数tanh,再和o_t每个位置相乘,得到的输出h_t也是(M, 1)。

最后得到的输出就是h_tC_t,维数分别都是(M, 1),而输入x_t
维数都是(K, 1)。

可以通过这样定义一个一层的LSTM输入是10,输出是30

可以分别得到权重的维数,注意之前我们定义的4个weights被整合到了一起,比如这个lstm,输入是10维,输出是30维,相对应的weight就是30×10,这样的权重有4个,然后pytorch将这4个组合在了一起,方便表示,也就是lstm.weight_ih_l0,所以它的维数就是120×10

我们定义一个输入

x的三个数字分别表示batch_size为50,序列长度为100,每个数据维数为10

h0的第二个参数表示batch_size为50,输出维数为30,第一个参数取决于网络层数和是否是双向的,如果双向需要乘2,如果是多层,就需要乘以网络层数

c0的三个参数和h0是一致的

这样就可以得到网络的输出了,和上面讲的一致,另外如果不传入h0和c0,默认的会传入相同维数的0矩阵

这就是我们如何在pytorch上使用RNN的基本操作了,了解完最基本的参数我们才能够使用其来做应用。

本文代码已经上传到了github上。

文章来源:知乎专栏

本站微信群、QQ群(三群号 726282629):

PyTorch入门实战教程

发表回复

您的电子邮箱地址不会被公开。

评论列表(3)

      1. 按你的说法 batch_first = True的话,batch就变为第一个参数的位置,输入变成(batch_szie批尺寸,序列长度,input_size输入维数),那如果 batch_first = False的话,那应该是 (sequence_len序列长度, batch_szie批尺寸, input_size输入维数)

返回顶部