深層学習の基礎(順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等)
ある画像分類モデルにおいて、ミニバッチサイズを非常に大きく設定して学習したところ、訓練精度は高いままテスト精度(汎化性能)が低下する現象が観測された。この現象への対処として最も適切なものはどれか。
- Aバッチサイズをさらに増やして安定性を高める
- ✓バッチサイズを小さくする、または学習率を調整する
- C損失関数の種類を変更する
- D学習率を極端に小さくして更新を止める
解説
バッチサイズを過度に大きくすると鋭い(sharp)極小解に収束しやすくなり汎化性能が低下することが知られている。バッチサイズを小さくする、または学習率をバッチサイズに応じて調整することが一般的な対処である。
根拠シラバス項目「深層モデルのための最適化」