ディープラーニングの概要と手法
活性化関数としてのシグモイド関数とReLU関数の違いに関する説明として、最も適切なものはどれか。
- Aシグモイド関数は出力が0か1のいずれかの二値のみを取るのに対し、ReLU関数は連続的な値を出力する
- ✓シグモイド関数は入力の絶対値が大きい領域で勾配がほぼ0になり勾配消失が起きやすいのに対し、ReLU関数は正の入力に対して勾配が常に1で保たれるため深い層でも勾配消失が起きにくい
- CReLU関数はすべての点で微分可能であるのに対し、シグモイド関数は原点で微分不可能である
- Dシグモイド関数の出力は負の値も取り得るのに対し、ReLU関数の出力は常に0から1の範囲に収まる
解説
シグモイド関数は入力の絶対値が大きくなると出力が飽和し勾配がほぼ0になるため、層を重ねると勾配消失が起きやすい。一方ReLU関数は正の入力に対して勾配が常に1であるため、深い層でも勾配が伝わりやすい。
根拠シラバス項目: ディープラーニングの概要 - 活性化関数