開発・運用環境（エッジコンピューティング、分散処理、アクセラレータ、環境構築）
モデル並列の代表的な手法である「パイプライン並列」と「テンソル並列」の違いに関する記述として正しいものはどれか。
- Aパイプライン並列はミニバッチを複数デバイスに分割するのに対し、テンソル並列は層を複数デバイスに分割する
- ✓パイプライン並列はモデルを層単位で複数デバイスに分割し各デバイスが異なる層の処理を担当するのに対し、テンソル並列は同一層内の行列演算を複数デバイスに分割して並列に計算する
- Cパイプライン並列とテンソル並列はどちらも同じ処理を指す用語であり、実装上の違いはない
- Dパイプライン並列は必ず単一デバイス内で実行されるのに対し、テンソル並列のみが複数デバイスを利用する
解説
パイプライン並列は層単位でモデルを分割し各デバイスが異なる層を担当するのに対し、テンソル並列は同一層内の行列演算そのものを複数デバイスに分割して並列計算する点が異なる。
根拠シラバス「開発・運用環境」内「分散処理」