游戏通用性

能够解决一个问题并不能让你变得聪明；没有人会说Deep Blue或AlphaGo拥有一般智力，因为他们甚至不能玩跳棋(没有再训练)，更不用说煮咖啡或系鞋带了。要学习一般的智能行为，你不仅要训练一项任务，还要训练许多不同的任务。视频游戏被认为是学习一般情报的理想环境，部分原因是因为有很多视频游戏共享共同的界面和奖励惯例。然而，视频游戏中的深度学习的绝大多数工作集中在学习玩单一游戏，甚至在单一游戏中执行单一任务。

虽然深度基于RL的方法可以学习玩各种不同的Atari游戏，但是开发可以学习玩任何类型游戏的算法（例如Atari游戏，DOOM和星际争霸）仍然是一项重大挑战。对于特定类型的游戏，仍然需要花费大量精力来设计网络架构和奖励功能。

玩多个游戏的问题的进展包括Progressive neural networks，这允许学习新游戏（不会忘记以前学过的游戏）并通过横向连接利用先前学习的特征来更快地解决。但是，它们需要为每项任务分别设计网络。Elastic weight consolidation可以顺序地捕捉多个Atari游戏，并通过保护权重不被修改来避免灾难性遗忘，这对以前学过的游戏很重要。在PathNet中，进化算法用于选择神经网络的哪些部分用于学习新任务，展示ALE游戏的一些迁移学习性能。

在未来，将这些方法扩展到允许玩多个游戏是很重要的，即使这些游戏非常不同 - 大多数当前的方法都集中在ALE框架中的不同（已知）游戏上。这种研究的一个合适途径是Learning Track of the GVGAI竞赛。与ALE不同，GVGAI有一套潜在的无限游戏。 GVGAI最近的工作表明，无模型深度RL不仅适用于个人游戏，甚至适用于个人层面; 这在训练期间不断产生新的水平被抵消了。

多游戏问题的重大进展可能来自外部深度学习。 特别是，最近的Tangled Graph表示，一种遗传编程形式，在这项任务中显示出了希望。最近的IMPALA算法试图通过大规模缩放来解决多游戏学习问题，并取得了一些有希望的结果。