> For the complete documentation index, see [llms.txt](https://hujian.gitbook.io/deep-reinforcement-learning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://hujian.gitbook.io/deep-reinforcement-learning/qian-yan/yan-jiu-ping-tai/di-yi-ren-cheng-she-ji-you-xi.md).

# 第一人称射击游戏

最近，在第一人称射击游戏(FPS)中出现了更高级的视觉强化学习代理游戏环境。与ALE基准测试中的经典街机游戏不同，fps具有部分可观察状态的3D图形，因此是一种更现实的环境。通常情况下，视点是玩家控制角色的视点，尽管一些在FPS类别中广泛存在的游戏采用了过肩视点。FPS游戏的设计部分挑战在于简单快速的感知和反应，尤其是发现敌人并迅速瞄准他们。但也有其他认知挑战，包括在复杂的三维环境中定位和移动，预测多个对手的行动和位置，以及在一些游戏模式中基于团队的协作。如果使用视觉输入，则从像素中提取相关信息是一个挑战。

## ViZDoom

> [ViZDoom: A Doom-based AI Research Platform for Visual Reinforcement Learning](https://arxiv.org/pdf/1605.02097.pdf)

深度神经网络的最新进展已经导致有效的基于视觉的强化学习方法，其已被用于从像素数据获得Atari 2600游戏中的人级控制器。然而，Atari 2600游戏并不像真实世界的任务，因为它们涉及非逼真的2D环境和第三人称视角。在这里，我们提出了一个新的试验台平台，用于从原始视觉信息中加强学习研究，在半现实3D世界中采用第一人称视角。这款名为ViZDoom的软件基于经典的第一人称射击游戏Doom。它允许开发使用屏幕缓冲区玩游戏的机器人。 ViZDoom通过方便的用户场景机制轻量级，快速且高度可定制。在实验部分，我们通过尝试学习两种情况的机器人来测试环境：基本的移动和射击任务以及更复杂的迷宫导航问题。使用具有Q学习和经验重放的卷积深度神经网络，对于这两种情况，我们能够训练有能力的机器人，这些机器人表现出类似人的行为。结果证实了ViZDoom作为AI研究平台的实用性，并暗示在3D逼真的第一人称视角环境中进行视觉强化学习是可行的。

![](/files/-LaNIJjRZq-fvUeAcdEb)

## DeepMind Lab

> [DeepMind Lab](https://arxiv.org/pdf/1612.03801.pdf)

DeepMind Lab是第一人称3D游戏平台，专为研究和开发通用人工智能和机器学习系统而设计。 DeepMind Lab可用于研究自主人工代理如何在大型，部分观察和视觉多样化的世界中学习复杂的任务。 DeepMind Lab具有简单灵活的API，可以创建任务设计和新颖的AI设计，以便进行探索和快速迭代。 它由快速且广泛认可的游戏引擎提供支持，并为研究社区的有效使用量身定制。

![](/files/-LaNIJjTFyCrVPc7WKxO)