深層学習の基礎（順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等）
非常に長い時系列データを単純なRNN（vanilla RNN）で学習したところ、系列の初期に入力された情報が出力にほとんど反映されないという現象が生じた。この現象の主な原因として最も適切なものはどれか。
- ✓誤差を時間方向に逆伝播させる際、勾配が繰り返し乗算されることで指数的に減衰する勾配消失問題が生じているため
- Bモデルが訓練データに過学習しているため
- C学習率が小さすぎるため損失が全く減少していないため
- Dバッチサイズが大きすぎるため勾配の分散が大きくなっているため
解説
RNNでは時間方向の逆伝播（BPTT）において同じ重み行列が繰り返し乗算されるため、系列が長いほど初期時刻に関する勾配が指数的に減衰し、長期依存関係を学習しにくくなる。
根拠シラバス「深層学習の基礎 - リカレントニューラルネットワーク」