deep-learning
  • 介绍
  • 统计学习
    • 线性模型
      • Factorization Machine
    • 集成学习
      • XGBoost
    • 概率图模型
      • Conditional Random Field
  • 优化
    • 学习方法
      • Efficient BackProp
      • 使用Numpy实现卷积神经网络（推导前馈和反向传播）
      • 梯度下降
      • L-BFGS
    • 正则化/归一化
      • Batch Normalization
      • Layer Normalization
      • Weight Normalization
    • 超参数
      • Xavier
      • Sharp Minima
  • 卷积网络
    • 卷积网络架构
      • Deconvolutional Networks
      • Spatial transformer network
      • ResNet
      • Xception
      • DenseNet
      • ShuffleNet
      • MobileNetV2
    • 目标检测
      • Fast R-CNN
      • Faster R-CNN
      • YOLOv3
      • Light-Head R-CNN
    • 语义分割
      • FCN
      • DeepLab V3+
      • Mask R-CNN
    • 风格迁移
      • A Neural Algorithm of Artistic Style
      • Deep Photo Style Transfer
      • Adaptive Instance Normalization
      • Fast Face-swap
    • 人脸识别
      • DeepFace
      • Deep Face Recognition
  • 循环和递归网络
    • 词向量
      • Word2Vec
      • BERT
    • 机器翻译
      • Neural Machine Translation
      • Google's neural machine translation system
    • 注意力机制
      • Transformer
      • Pointer Network
    • 文本分类
      • CNN
      • RCNN
    • 神经图灵机
      • Neural turing machines
      • Dynamic External Memory
  • 生成模型/无监督
    • 生成对抗网络
      • CGAN
      • DCGAN
      • CycleGAN
    • 自编码器
      • Auto-encoding variational Bayes
  • 深入理解
    • 卷积网络
      • Visualizing and Understanding Convolutional Networks
    • 模型蒸馏
      • Distilling the knowledge in a neural network
  • 元学习
    • Fine-tune
      • On First-Order Meta-Learning Algorithms
      • MAML
  • 自动机器学习
    • 超参数
      • Bayesian Optimization
      • PBT
    • 神经架构搜索
      • NAS
      • NASNet
      • DARTS
      • AMC
  • 硬件
    • CUDA
      • CUDA C Programming Guide
        • Introduction
        • Programming Model
        • Programming Interface
    • 分布式训练
      • Ring All Reduce
Powered by GitBook
On this page

Was this helpful?

  1. 优化
  2. 超参数

Xavier

Understanding the difficulty of training deep feedforward neural networks

Previous超参数NextSharp Minima

Last updated 5 years ago

Was this helpful?