深層学習の基礎（順伝播型ネットワーク、最適化、正則化、CNN、RNN、Transformer等）
L1正則化とL2正則化の違いに関する記述として正しいものはどれか。
- AL2正則化は重みの絶対値の和をペナルティとして課し、多くの重みを厳密にゼロにする効果がある
- BL1正則化とL2正則化はどちらも同じ勾配特性を持ち、実質的に得られる解に違いはない
- CL1正則化は重みの二乗和をペナルティとして課し、パラメータをスパースにする効果がある
- ✓L1正則化は重みの絶対値の和をペナルティとして課し、多くの重みを厳密にゼロにするスパースな解を生みやすい。一方L2正則化は重みの二乗和をペナルティとして課し、重み全体を滑らかに縮小させる
解説
L1正則化は絶対値和をペナルティとするため勾配の大きさが重みの値に依存せず一定となり、多くの重みを厳密にゼロにしやすい。一方L2正則化は二乗和をペナルティとするため、重みが大きいほど強く抑制され全体的になだらかに縮小する。
根拠シラバス項目「深層モデルのための正則化」