はい!今やってます!

Work Pertly, Live Idly

【WIP】【保存版】DeepLearning / 深層学習 関連 リンク 用語まとめ

概要

これが本当にわかりやすい http://www.yukisako.xyz/entry/backpropagation

基礎

パーセプトロン ディープラーニング 活性化関数 ReLU ステップ関数 シグモイド関数 バックプロパゲーション LSTM 出力層 恒等関数 ソフトマックス

損失関数はそのニューラルネットワークがどの程度の性能かを表すための関数です。基本的な関数は二乗和誤差などが挙げられます。 求める解に対して差が大きければ大きいほど性能が悪いと言えます。

勾配降下法をミニバッチで処理するから、確率的勾配降下法となる。

過学習 パラメーターが多く、表現力が高い場合、訓練データが少ない場合に起こる 100パーセントの認識精度はテストデータで過学習を起こしている場合がある。 Weight Decay(荷重減衰) Dropoutでニューロンをランダムに消しながら学習させて対処する

ハイパーパラメータ
各層のニューロンサイズ バッチサイズ、学習関数、Weight Decay

訓練データ、検証データ、テストデータとあるうち、検証データをつかってハイパーパラメーターを検証することが多い。 ハイパーパラメーターの最適化についてはランダムなサンプリングの他、ベイズ最適化などの方法があげられます。

ライブラリと開発環境

pyenv / virtualenv anaconda IPython Jupyter NumPy pandas SciPy matplotlib PIL(Python Image Library) scikit-learn

用語

  • pickle
  • nomalize
  • flatten
  • softmax
  • predict
  • accuracy
  • shape
  • batch処理
  • miniバッチ
  • loss 損失関数関数
  • 二乗和誤差 mean squared error
  • 交差エントロピー誤差 cross entoropy error
  • ミニバッチ
  • matplotlib.pylab
  • gradient 勾配
  • gradient descent method
  • learning rate 学習率 lr (ハイパーパラメーター)
  • hidden 隠れ層
  • iter iterate 繰り返し epocs
  • layer dense dropout
  • optimizer rmsprop
  • 二次元配列
  • 2値クラス配列
  • perplexity
  • input, forgat, output gate
  • fo-pooling
  • Linear(行列積
  • Bi-directional
  • Residual Connection
  • Zero-Shot
  • Mask Convolution
  • Attention
  • SL policy network(alpha go)
  • RL policy network(alpha go)
  • value network(alpha go)
  • モンテカルロ木探索
  • 畳み込み層
  • 全結合層
  • ソフトマックス
  • 損失関数
  • 誤差逆伝播

モデル / ネット

より良いモデルは、訓練に必要なデータ量が少なく、訓練に必要な時間が少なく、訓練の精度が高い - Residual Networks(ResNet) - identity skip connection path - ResNeXt - 自己回帰モデル - LightRNN - BlackOut for RNN - QUASI-RECURRENT NEURAL NETWORKS

  • Fractal Net
  • Deep Networks with Stochastic Depth
  • Residual Networks of Residual Networks(RoR)
  • Dilated Convolution Network

  • GNMT(Google’s Neural MAchine Translation)

  • Neural Architecture Search with Reinforcement Learning モデルもRNNで作ろう

  • DNC(Differentiable Neural Computers) 汎用型

論文

arxivで上げられた論文をサマってる。便利。 http://arxivtimes.herokuapp.com/

音声

  • Dilated Convolution
  • Residual Networks

動画

  • fractionally-strided spatio-temporal convolutions
  • fractionally-strided spatial convolutions
  • PredNet
  • Deep Predictive Coding Networks
  • ConvLSTM
  • Densely Connected Convolutional Networks

画像

  • Pixel RNN
  • Image-to-Image Translation with Conditional Adversarial Nets
  • Conditional GAN
  • PatchGAN
  • StackGAN

言語

  • Pointer Sentinel Mixture Model
  • Polnter Network
  • GNMT(Google’s Neural MAchine Translation)
  • ByteNet

評価 / テスト

コーパス TIMIT 音声認識 MNIST CIFER-100 画像 ILSVRC 2016 画像認識 DCGAN 画像生成?? Penn Treebank dataset(PTB) BLUE 翻訳?

実行環境

Google Cloud Machine Learning(GCP)