開発・運用環境（エッジコンピューティング、分散処理、アクセラレータ、環境構築）
複数GPUを用いたデータ並列学習における1イテレーションあたりの一般的な処理の順序として、次の①〜④を正しい順序に並べたものはどれか。①各GPUに異なるミニバッチを配布する②各GPUがそれぞれ順伝播・逆伝播を行い勾配を計算する③All-Reduce通信により各GPUの勾配を集約し平均化する④集約された勾配を用いて各GPUのモデルパラメータを更新する
- A②→①→③→④
- B①→③→②→④
- ✓①→②→③→④
- D①→②→④→③
解説
データ並列学習ではまずミニバッチをGPUに分配し、各GPUが独立に順伝播・逆伝播を行い、その後All-Reduceで勾配を集約・平均化してから、統一された勾配でパラメータを更新するという順序になる。
根拠シラバス「開発・運用環境」分散処理