開発・運用環境（エッジコンピューティング、分散処理、アクセラレータ、環境構築）
分散深層学習における勾配の集約方式である「パラメータサーバー方式」と「All-Reduce方式」の違いに関する記述として正しいものはどれか。
- Aパラメータサーバー方式は各ワーカーがリング状に通信して勾配を集約するのに対し、All-Reduce方式は中央のサーバーが全ワーカーの勾配を集約する
- Bパラメータサーバー方式とAll-Reduce方式はいずれもモデル並列専用の手法であり、データ並列には利用できない
- CAll-Reduce方式は必ず単一のGPU内で完結する処理であり、複数ノード間の通信を必要としない
- ✓パラメータサーバー方式は中央のサーバーが各ワーカーから勾配を収集し集約・更新後に配布するのに対し、All-Reduce方式は中央サーバーを介さずワーカー間の通信のみで全ワーカーの勾配を集約する
解説
パラメータサーバー方式は中央集権的な構成をとるのに対し、All-Reduce方式はワーカー間の通信のみで勾配を集約・平均化する点が本質的な違いである。
根拠シラバス「開発・運用環境」内「分散処理」