開発・運用環境(エッジコンピューティング、分散処理、アクセラレータ、環境構築)
あるモデルのパラメータ数が非常に多く、単一GPUのメモリ容量に収まらないため学習を開始できない。この問題に対する最も適切な対応はどれか。
- Aバッチサイズをさらに大きくしてGPUの利用効率を上げる
- B学習率を大幅に下げてメモリ使用量を削減する
- C全結合層をすべて畳み込み層に置き換える
- ✓モデルの層を複数のGPUに分割して配置するモデル並列を採用する
解説
モデル自体が1台のGPUメモリに収まらない場合は、層を複数GPUに分割して配置するモデル並列を用いることで学習が可能になる。バッチサイズの拡大や学習率の変更ではモデル自体のメモリ不足は解消されない。
根拠シラバス「開発・運用環境」内「分散処理」及び「アクセラレータ」