深層学習の基礎（順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等）
重みの初期化手法であるXavier（Glorot）初期化とHe初期化の違いに関する記述として正しいものはどれか。
- AXavier初期化はReLU系の活性化関数を想定して分散を設計されており、He初期化はsigmoid/tanhを想定している
- ✓He初期化はReLU系の活性化関数によって出力の分散が半減することを考慮し、Xavier初期化より大きめの分散で重みを初期化する
- CXavierとHeの初期化はどちらも重みをすべて同じ定数値に初期化する手法である
- DHe初期化は主に再帰結合の重みに、Xavier初期化は畳み込み層の重みにのみ用いられる、用途が完全に異なる手法である
解説
Xavier初期化はsigmoidやtanhのような対称な活性化関数を想定して分散を設計している。He初期化はReLUによって負の値が0になり分散が半減することを考慮し、Xavierよりも大きめの分散で重みを初期化する。
根拠シラバス項目「順伝播型ネットワーク」