深層学習の基礎（順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等）
ある画像分類モデルを学習率固定のSGD（確率的勾配降下法）で学習していたところ、損失が減少と増加を繰り返し収束しない状態になった。この問題への対処として最も適切なものはどれか。
- Aネットワークの層数を増やしてモデルをより複雑にする
- ✓学習率を下げる、またはモーメンタムやAdamなど適応的な最適化手法を導入する
- C正則化項を全て取り除いてモデルの表現力を高める
- Dバッチサイズを1に減らして勾配のノイズを増やす
解説
損失が振動して収束しないのは学習率が過大であることが主な原因として考えられ、学習率を下げるか、モーメンタムやAdamなどの適応的最適化手法を用いることで安定化できる。
根拠シラバス「深層学習の基礎 - 深層モデルのための最適化」