開発・運用環境（エッジコンピューティング、分散処理、アクセラレータ、環境構築）
分散深層学習における「データ並列」と「モデル並列」の違いに関する記述として正しいものはどれか。
- Aデータ並列はモデルを層ごとに分割して複数デバイスに配置する手法である
- Bモデル並列は各デバイスに同一データを与えて異なるモデルを学習させる手法である
- Cデータ並列とモデル並列はどちらも1つのGPUのみで実行される手法である
- ✓データ並列は各デバイスに同一のモデル全体を複製し異なるデータを処理するのに対し、モデル並列はモデルを分割して各デバイスに配置する
解説
データ並列は同一モデルを各デバイスに複製し異なるミニバッチを処理して勾配を集約する方式であり、モデル並列はモデル自体を層や部分に分割し各デバイスに配置する方式である。両者は分割対象が「データ」か「モデル」かで根本的に異なる。
根拠シラバス「開発・運用環境」分散処理