深層学習の基礎（順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等）
バッチ正規化（Batch Normalization）とレイヤー正規化（Layer Normalization）の違いに関する記述として正しいものはどれか。
- ✓バッチ正規化はミニバッチ内で特徴量（チャネル）ごとに正規化するのに対し、レイヤー正規化は各サンプルごとに全特徴量にわたって正規化するため、バッチサイズに依存しない
- Bバッチ正規化は各サンプルごとに全特徴量で正規化し、レイヤー正規化はミニバッチ全体で特徴量ごとに正規化する
- C両者は正規化の対象が完全に同一であり、名称のみが異なる
- Dレイヤー正規化はバッチサイズが大きいほど推定精度が向上する手法である
解説
バッチ正規化はミニバッチ内のサンプル群を使い特徴量ごとに統計量を計算するのに対し、レイヤー正規化はサンプルごとに全特徴量の統計量を計算するため、バッチサイズが小さい場合やRNN・Transformerでも利用しやすい。
根拠シラバス「深層学習の基礎 - 深層モデルのための正則化」