深層学習の基礎（順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等）
深層ニューラルネットワークの学習における勾配消失問題と勾配爆発問題の違いに関する説明として正しいものはどれか。
- A勾配消失は逆伝播時に勾配が指数的に増大する現象であり、勾配爆発は勾配が指数的に減衰する現象である
- ✓勾配消失は逆伝播時に勾配が層を遡るごとに指数的に減衰し浅い層のパラメータが更新されにくくなる現象であり、勾配爆発は勾配が指数的に増大し学習が不安定になる現象である
- C勾配消失と勾配爆発はいずれも学習率が小さすぎることのみに起因する
- D勾配消失はCNNに特有の現象であり、勾配爆発はRNNに特有の現象である
解説
いずれも逆伝播時の勾配の連鎖的な乗算に起因するが、勾配消失は値が小さくなり続けて浅い層が学習されにくくなる現象、勾配爆発は値が大きくなり続けて学習が不安定になる現象であり、両者は逆方向の現象である。
根拠シラバス「深層学習の基礎 - 深層モデルのための最適化」