> For the complete documentation index, see [llms.txt](https://hujian.gitbook.io/deep-reinforcement-learning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://hujian.gitbook.io/deep-reinforcement-learning/fang-fa/jie-ji-you-xi/distributed-deep-q-learning.md).

# Gorila

> [Massively Parallel Methods for Deep Reinforcement Learning](https://arxiv.org/pdf/1507.04296.pdf)

我们提出了第一个用于深层强化学习的大规模分布式架构。 该体系结构使用了四个主要组件：产生新行为的并行的actor; 通过存储经验训练的并行leaner; 分布式神经网络来表示价值函数或行为策略; 一个分布式的经验池。 使用我们的架构来实施Deep Q-Network算法， 并应用于Arcade Learning Environment的49款Atari2600游戏，使用相同的超参数，在49场比赛中有41场超过了非分布式DQN，并且还减少了在大多数比赛中按照一定数量的顺序实现这些结果所需的时间。

## 方法

![](https://2281160879-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-LaNHyhKoX7GdL4Ytevq%2F-LaNII8X8nnM6zkOZPLK%2F-LaNIJW2Xq4nAjHT-Qki%2Fimage%20\(108\).png?generation=1553038396899633\&alt=media)

## 伪代码

![](https://2281160879-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-LaNHyhKoX7GdL4Ytevq%2F-LaNII8X8nnM6zkOZPLK%2F-LaNIJW4T_RWV5PrHA5a%2Fimage%20\(94\).png?generation=1553038397452567\&alt=media)