ディープラーニングの概要と手法
確率的勾配降下法(SGD)で学習を行ったところ、損失関数の等高線が細長い谷状になっている方向でパラメータの更新が大きく振動し、収束に時間がかかっている。この問題を緩和するためにモーメンタムを導入した場合の主な効果として最も適切なものはどれか。
- A各パラメータの学習率を勾配の2乗の移動平均に基づいて個別に自動調整する
- ✓過去の勾配の移動平均を更新方向に加味することで、振動を抑えながら一貫した方向への更新を加速する
- C学習の後半で学習率を段階的に小さくしていくことで収束を安定させる
- Dミニバッチごとに入力を正規化することで内部共変量シフトを抑える
解説
モーメンタムは過去の勾配の指数移動平均を更新量に加えることで、振動しやすい方向の更新を打ち消し合わせ、一貫した方向への更新を加速させる最適化手法である。
根拠シラバス項目: ディープラーニングの概要 - 最適化手法