深層学習の基礎（順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等）
あるCNNを学習率0.1のSGDで学習していたところ、数エポック以内に損失値がNaNとなり学習が破綻した。この状況で最初に取るべき対応として最も適切なものはどれか。
- Aバッチサイズを大きくして学習を継続する
- Bエポック数を増やして様子を見る
- ✓学習率を下げる、または勾配クリッピングを導入する
- D学習率をさらに大きくする
解説
学習率が大きすぎると勾配更新のステップが過大になり損失が発散してNaNになることがある。この場合は学習率を下げるか、勾配爆発を抑える勾配クリッピングを導入するのが基本的な対処である。
根拠シラバス項目「深層モデルのための最適化」