deep-learning
  • 介绍
  • 统计学习
    • 线性模型
      • Factorization Machine
    • 集成学习
      • XGBoost
    • 概率图模型
      • Conditional Random Field
  • 优化
    • 学习方法
      • Efficient BackProp
      • 使用Numpy实现卷积神经网络（推导前馈和反向传播）
      • 梯度下降
      • L-BFGS
    • 正则化/归一化
      • Batch Normalization
      • Layer Normalization
      • Weight Normalization
    • 超参数
      • Xavier
      • Sharp Minima
  • 卷积网络
    • 卷积网络架构
      • Deconvolutional Networks
      • Spatial transformer network
      • ResNet
      • Xception
      • DenseNet
      • ShuffleNet
      • MobileNetV2
    • 目标检测
      • Fast R-CNN
      • Faster R-CNN
      • YOLOv3
      • Light-Head R-CNN
    • 语义分割
      • FCN
      • DeepLab V3+
      • Mask R-CNN
    • 风格迁移
      • A Neural Algorithm of Artistic Style
      • Deep Photo Style Transfer
      • Adaptive Instance Normalization
      • Fast Face-swap
    • 人脸识别
      • DeepFace
      • Deep Face Recognition
  • 循环和递归网络
    • 词向量
      • Word2Vec
      • BERT
    • 机器翻译
      • Neural Machine Translation
      • Google's neural machine translation system
    • 注意力机制
      • Transformer
      • Pointer Network
    • 文本分类
      • CNN
      • RCNN
    • 神经图灵机
      • Neural turing machines
      • Dynamic External Memory
  • 生成模型/无监督
    • 生成对抗网络
      • CGAN
      • DCGAN
      • CycleGAN
    • 自编码器
      • Auto-encoding variational Bayes
  • 深入理解
    • 卷积网络
      • Visualizing and Understanding Convolutional Networks
    • 模型蒸馏
      • Distilling the knowledge in a neural network
  • 元学习
    • Fine-tune
      • On First-Order Meta-Learning Algorithms
      • MAML
  • 自动机器学习
    • 超参数
      • Bayesian Optimization
      • PBT
    • 神经架构搜索
      • NAS
      • NASNet
      • DARTS
      • AMC
  • 硬件
    • CUDA
      • CUDA C Programming Guide
        • Introduction
        • Programming Model
        • Programming Interface
    • 分布式训练
      • Ring All Reduce
Powered by GitBook
On this page
  • 标准梯度下降
  • GD
  • BGD
  • 动量
  • Momentum
  • NAG
  • 自适应学习率
  • AdaGrad
  • RMSProp
  • AdaDelta
  • Adam
  • 性能比较

Was this helpful?

  1. 优化
  2. 学习方法

梯度下降

标准梯度下降

GD

假设要学习训练的模型参数为 WWW ，代价函数为 J(W)J(W)J(W) ，则代价函数关于模型参数的偏导数即相关梯度为 ΔJ(W)ΔJ(W)ΔJ(W) ，学习率为 ηtη_tηt​ ，则使用梯度下降法更新参数为：

Wt+1=Wt−ηtΔJ(Wt)W_{t+1}=W_{t}-\eta_{t} \Delta J\left(W_{t}\right)Wt+1​=Wt​−ηt​ΔJ(Wt​)

BGD

其中可以使用批量样本来估计梯度，提升梯度估计的准确性

Wt+1=Wt−ηt∑i=1nΔJi(Wt,X(i),Y(i))W_{t+1}=W_{t}-\eta_{t} \sum_{i=1}^{n} \Delta J_{i}\left(W_{t}, X^{(i)}, Y^{(i)}\right)Wt+1​=Wt​−ηt​i=1∑n​ΔJi​(Wt​,X(i),Y(i))

动量

Momentum

该方法使用动量缓冲梯度，减小随机梯度引起的噪声，并且解决Hessian矩阵病态问题（BGD在收敛过程中和正确梯度相比来回摆动比较大的问题）。

由于当前权值的改变会受到上一次权值改变的影响，类似于小球向下滚动的时候带上了惯性。这样可以加快小球向下滚动的速度。

{vt=αvt−1+ηtΔJ(Wt,X(is),Y(is))Wt+1=Wt−vt\left\{\begin{array}{l}{v_{t}=\alpha v_{t-1}+\eta_{t} \Delta J\left(W_{t}, X^{\left(i_{s}\right)}, Y^{\left(i_{s}\right)}\right)} \\ {W_{t+1}=W_{t}-v_{t}}\end{array}\right.{vt​=αvt−1​+ηt​ΔJ(Wt​,X(is​),Y(is​))Wt+1​=Wt​−vt​​

NAG

牛顿加速梯度（Nesterov accelerated gradient）是动量的变种。

Nesterov动量梯度的计算在模型参数施加当前速度之后，因此可以理解为往标准动量中添加了一个校正因子。在Momentun中小球会盲目地跟从下坡的梯度，容易发生错误。所以需要一个更聪明的小球，能提前知道它要去哪里，还要知道走到坡底的时候速度慢下来而不是又冲上另一个坡。

{vt=αvt−1+ηtΔJ(Wt−αvt−1)Wt+1=Wt−vt\left\{\begin{array}{l}{v_{t}=\alpha v_{t-1}+\eta_{t} \Delta J\left(W_{t}-\alpha v_{t-1}\right)} \\ {W_{t+1}=W_{t}-v_{t}}\end{array}\right.{vt​=αvt−1​+ηt​ΔJ(Wt​−αvt−1​)Wt+1​=Wt​−vt​​

自适应学习率

AdaGrad

独立地适应所有模型参数的学习率，缩放每个参数反比于其所有梯度历史平均值总和的平方根。具有代价函数最大梯度的参数相应地有个快速下降的学习率，而具有小梯度的参数在学习率上有相对较小的下降。

Wt+1=Wt−η0∑t′=1t(gt′,i)+ϵ⊙gt,iW_{t+1}=W_{t}-\frac{\eta_{0}}{\sqrt{\sum_{t^{\prime}=1}^{t}\left(g_{t^{\prime}, i}\right)+\epsilon}} \odot g_{t, i}Wt+1​=Wt​−∑t′=1t​(gt′,i​)+ϵ​η0​​⊙gt,i​

Adagrad 的主要优势在于不需要人为的调节学习率，它可以自动调节；缺点在于，随着迭代次数增多，学习率会越来越小，最终会趋近于0。

RMSProp

RMSProp算法修改了AdaGrad的梯度积累为指数加权的移动平均，使得其在非凸设定下效果更好。

{E[g2]t=αE[g2]t−1+(1−α)gt2Wt+1=Wt−η0E[g2]t+ϵ⊙gt\left\{\begin{array}{l}{E\left[g^{2}\right]_{t}=\alpha E\left[g^{2}\right]_{t-1}+(1-\alpha) g_{t}^{2}} \\ {W_{t+1}=W_{t}-\frac{\eta_{0}}{\sqrt{E\left[g^{2}\right]_{t}+\epsilon}} \odot g_{t}}\end{array}\right.{E[g2]t​=αE[g2]t−1​+(1−α)gt2​Wt+1​=Wt​−E[g2]t​+ϵ​η0​​⊙gt​​

RMSProp算法在经验上已经被证明是一种有效且实用的深度神经网络优化算法。目前它是深度学习从业者经常采用的优化方法之一。

AdaDelta

AdaDelta是对AdaGrad的扩展，最初方案依然是对学习率进行自适应约束，但是进行了计算上的简化。 AdaGrad会累加之前所有的梯度平方，而AdaDelta只累加固定大小的项，并且也不直接存储这些项，仅仅是近似计算对应的平均值。即：

nt=ν∗nt−1+(1−ν)∗gt2Δθt=−ηnt+ϵ∗gt\begin{array}{l}{n_{t}=\nu * n_{t-1}+(1-\nu) * g_{t}^{2}} \\ {\Delta \theta_{t}=-\frac{\eta}{\sqrt{n_{t}+\epsilon}} * g_{t}}\end{array}nt​=ν∗nt−1​+(1−ν)∗gt2​Δθt​=−nt​+ϵ​η​∗gt​​

在此处AdaDelta其实还是依赖于全局学习率的，但是作者做了一定处理，经过近似牛顿迭代法之后：

E∣g2∣t=ρ∗E∣g2∣t−1+(1−ρ)∗gt2Δxt=−∑r=1t−1ΔxrE∣g2∣t+ϵ\begin{array}{l}{E\left|g^{2}\right|_{t}=\rho * E\left|g^{2}\right|_{t-1}+(1-\rho) * g_{t}^{2}} \\ {\Delta x_{t}=-\frac{\sqrt{\sum_{r=1}^{t-1} \Delta x_{r}}}{\sqrt{E\left|g^{2}\right|_{t}+\epsilon}}}\end{array}E​g2​t​=ρ∗E​g2​t−1​+(1−ρ)∗gt2​Δxt​=−E∣g2∣t​+ϵ​∑r=1t−1​Δxr​​​​

此时，可以看出AdaDelta已经不用依赖于全局学习率了。

Adam

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。公式如下：

{mt=β1mt−1+(1−β1)gtvt=β2vt−1+(1−β2)gt2m^t=mt1−β1t,v^t=vt1−β2tWt+1=Wt−ηv^t+ϵm^t\left\{\begin{array}{l}{m_{t}=\beta_{1} m_{t-1}+\left(1-\beta_{1}\right) g_{t}} \\ {v_{t}=\beta_{2} v_{t-1}+\left(1-\beta_{2}\right) g_{t}^{2}} \\ {\hat{m}_{t}=\frac{m_{t}}{1-\beta_{1}^{t}}, \hat{v}_{t}=\frac{v_{t}}{1-\beta_{2}^{t}}} \\ {W_{t+1}=W_{t}-\frac{\eta}{\sqrt{\hat{v}_{t}}+\epsilon} \hat{m}_{t}}\end{array}\right.⎩⎨⎧​mt​=β1​mt−1​+(1−β1​)gt​vt​=β2​vt−1​+(1−β2​)gt2​m^t​=1−β1t​mt​​,v^t​=1−β2t​vt​​Wt+1​=Wt​−v^t​​+ϵη​m^t​​

其中， mtm_tmt​ 和 vtv_tvt​ 分别为一阶动量项和二阶动量项。 β1,β2β1, β2β1,β2 为动力值大小通常分别取0.9和0.999； m^t,v^t\hat{m}_{t}, \hat{v}_{t}m^t​,v^t​ 分别为各自的修正值。

性能比较

Previous使用Numpy实现卷积神经网络（推导前馈和反向传播）NextL-BFGS

Last updated 6 years ago

Was this helpful?