# Progressive Neural Networks > [Progressive Neural Networks](https://arxiv.org/pdf/1606.04671.pdf) 学习解决复杂的任务序列——同时利用转移和避免灾难性遗忘——仍然是实现人类智能的关键障碍。渐进式网络方法在这个方向上向前迈进了一步:它们不容易遗忘，且可以通过与之前学习过的特征之间的横向连接利用先验知识。我们在各种强化学习任务(雅达利和3D 迷宫)上对该架构进行了广泛的评估，并证明它优于基于预处理和微调的通用基准。利用一种新的灵敏度测量方法，我们证明了迁移发生在学习策略的低水平感觉层和高水平控制层。 ## 方法 ### Progressive Neural Networks 渐进网络以单列开始：一个 $$L$$ 层的深度神经网络且带有隐藏激活层 $$h\_{i}^{(1)} \in \mathbb{R}^{n\_{i}}$$ （ $$i \leq L$$ ），并且参数 $$\Theta(1)$$ 已经收敛。当切换到第二个任务时，参数$$\Theta(1)$$被“冻结”，并且参数$$\Theta(2)$$的新列被实例化（随机初始化），其中隐层 $$h\_{i}^{(2)}$$ 通过横向连接从 $$h\_{i-1}^{(2)}$$ 和$$h\_{i-1}^{(1)}$$接收输入，推广到第K个任务： $$ h\_{i}^{(k)}=f\left(W\_{i}^{(k)} h\_{i-1}^{(k)}+\sum\_{j\