ディープラーニングの概要と手法
最適化手法Adamにおける1回のパラメータ更新の処理順序として、最も適切なものはどれか。
- Aパラメータ更新 → 勾配計算 → モーメント推定値の更新 → バイアス補正
- B勾配計算 → バイアス補正 → モーメント推定値の更新 → パラメータ更新
- ✓勾配計算 → 1次・2次モーメントの推定値を更新 → バイアス補正 → パラメータ更新
- Dモーメント推定値の更新 → 勾配計算 → パラメータ更新 → バイアス補正
解説
Adamはまず勾配を計算し、その勾配を用いて1次モーメント（勾配の移動平均）と2次モーメント（勾配の2乗の移動平均）の推定値を更新する。次にこれらの推定値の初期バイアスを補正し、補正後の値を用いてパラメータを更新する。
根拠シラバス項目: ディープラーニングの概要 - 最適化手法