您的位置 首页 PyTorch 教程

如何在64位 Windows 下编译 PyTorch

PyTorch入门实战教程

各位,爱折腾的我又来啦!这次我准备搞点不一样的,在Windows搞定PyTorch的编译。

首先,我先简要介绍一下PyTorch吧。PyTorch是Facebook开发维护的一个符号运算库,可用于搭建动态的神经网络。它的代码简洁,优美,也具有很强的性能。举个例子,如果我们要在Theano或者TensorFlow下进行向量的运算,我们会先定义一个tensor,再对tensor做计算,然后定义一个function,最后调用函数并传入参数,获得输出。样例代码:

如果我们使用PyTorch呢,这样写就行了。

只需要定义变量,即可进行运算。是不是更加符合我们的思维呢?

最后我再引用一句话来宣传一波:

Matlab is so 2012.
Caffe is so 2013.
Theano is so 2014.
Torch is so 2015.
TensorFlow is so 2016. 😀

—Andrej Karpathy

‏It’s 2017 now.

让我们步入正题,看看如何在Windows下安装PyTorch。

先做一个友情提醒,如果不想折腾的话,对于Windows 10 用户,可以在WSL下进行体验,缺点是不能使用GPU进行计算的加速。或者你也可以等待官方放出正式的安装包。下面的安装过程是测试,不保证能够安装成功。

首先我们可以找到官方repo的相关issue。其中有一位大神已经为我们做好了大量的工作,他将他的代码存放在这里。当然你也可以直接使用我最终修改后的代码,就在他的基础上做了一点工作,不过我的代码通过了所有的CUDA单元测试,他的还没有。

首先,我们需要准备好安装所需要的工具,包括:

  • Visual Studio 2015 with Update 1及以上(不能是2013,2017,原因我下面会解释)
  • CMake
  • 一种BLAS运算库,比如Openblas或者Intel MKL
  • PyTorch的源码,从上面的地址获取
  • CUDA 7.5及以上
  • CUDNN 5.1.10及以上
  • Anaconda3 (Python版本3.5及以上)

安装步骤大致如下:

安装VS,CUDA,cuDNN, CMake,Anaconda。这没什么好多说的,至于为什么一定要VS 2015 Update 1及以上,其实这是我踩坑之后得到的宝贵经验。VS 2013对C99标准的支持比较弱, VS 2017 尚且不支持作为CUDA 8.0的编译器,而原生的VS 2015 会报一个莫名其妙的链接错误。选取Anaconda3的原因也是为了兼容C99。

添加环境变量,添加CMake和MSBuild的路径至PATH中。他们大概在这样的路径下:

定位到pytorch代码目录的torch\lib下面,我们新建一个目录tmp_install,在这个目录下面再新建一个目录lib,然后将blas相关的lib统统丢进去。然后对build_all.bat进行修改,定位到结尾,可以发现这样一段代码


可以将最后一行进行适当的修改,如使用OpenBlas可将其改为openblas.lib;如不打算使用blas,则将最后一行去掉。

打开一个CMD窗口,定位到pytorch代码根目录下,然后执行以下代码:

然后大家就可以喝喝茶,看看电影,度过这个漫长的编译时间。

检查一下torch\lib下是否包含THPP.dll,如果没有的话,说明编译失败了。看看之前的输出,想想问题大概出在哪里。

如果顺利的话,我们再键入最后两行命令。

如果没有报错的话,恭喜你,安装成功了。不过,还需要一些小小的操作。我们先找到cudart和cudnn模块,他们一般在这个位置:

将他们拷贝至Anaconda3的Lib\site-packages\torch\lib下面

如果你使用的是cudnn v5的话,打开Anaconda3的Lib\site-packages\torch\backends\cudnn下面的__init__.py。将_libcudnn函数中lib的定义修改为:

就这样,我们就完成了PyTorch在64位Windows下的安装。我们可以跑一下MNIST来测试一下:

为什么一定要在外层用主模块判断呢?其实是因为现在PyTorch在Windows下的Multi Processing库还存在一些问题,在DataLoader加载时,会用另外一个线程重新打开该文件,造成冲突。其他基本上没有太大的问题,可以正常使用。MNIST的运行实测如下图,跑的还是挺快的。

PyTorch入门实战教程

发表评论

电子邮件地址不会被公开。 必填项已用*标注

返回顶部