[莫烦 PyTorch 系列教程] 4.5 – DQN 强化学习 (Reinforcement Learning)

PyTorch入门实战教程

Torch 是神经网络库, 那么也可以拿来做强化学习, 之前我用另一个强大神经网络库 Tensorflow来制作了这一个 从浅入深强化学习教程, 你同样也可以用 PyTorch 来实现, 这次我们就举 DQN 的例子, 我对比了我的 Tensorflow DQN 的代码, 发现 PyTorch 写的要简单很多. 如果对 DQN 或者强化学习还没有太多概念, 强烈推荐我的这个DQN动画短片(如下), 让你秒懂DQN. 还有强推这套花了我几个月来制作的强化学习教程!

模块导入和参数设置

这次除了 Torch 自家模块, 我们还要导入 Gym 环境库模块.

神经网络

DQN 当中的神经网络模式, 我们将依据这个模式建立两个神经网络, 一个是现实网络 (Target Net), 一个是估计网络 (Eval Net).

DQN体系

简化的 DQN 体系是这样, 我们有两个 net, 有选动作机制, 有存经历机制, 有学习机制.

接下来就是具体的啦, 在 DQN 中每个功能都是怎么做的.

训练

按照 Qlearning 的形式进行 off-policy 的更新. 我们进行回合制更行, 一个回合完了, 进入下一回合. 一直到他们将杆子立起来很久.

所以这也就是在我 github 代码 中的每一步的意义啦.

文章来源:莫烦

PyTorch入门实战教程

Leave a Reply

Your email address will not be published. Required fields are marked *

1条评论

  1. 您好,强化学习里面 pytorch 实现cart pole 里面的奖励函数是是怎么做的,查了好多地方也只是用,官网也没找到各个参数的含义,虽然知道这样两个奖励函数是 离中心距离 还有 角度, 但是难受的是,想知道怎么得出来的,还有是从哪里能找到这些参数,请求太罗嗦了 :redface: :redface: :redface:

返回顶部