ディープラーニングの概要と手法
数百ステップに及ぶ長い時系列データを、ゲート機構を持たない単純なRNN(Simple RNN)で学習させたところ、系列の初期の情報がほとんど出力に反映されなかった。この現象の主な原因として最も適切なものはどれか。
- A全結合層のユニット数が不足しており、モデルの表現力が足りていないから
- B活性化関数にReLUではなくシグモイド関数を使っていないため、出力が不安定になっているから
- Cバッチ正規化を導入していないため、入力データのスケールが揃っていないから
- ✓時間方向に同じ重み行列を繰り返し掛け合わせて誤差を逆伝播するため、系列が長いほど勾配が消失または爆発しやすいから
解説
単純なRNNは時間方向に同一の重み行列を繰り返し適用して誤差逆伝播(BPTT)を行うため、系列が長くなるほど勾配が指数的に小さく(または大きく)なりやすい。これが長期依存の学習を困難にする勾配消失・爆発問題であり、LSTMやGRUのゲート機構がこの緩和に用いられる。
根拠シラバス項目: ディープラーニングの要素技術 - 回帰結合層