開発・運用環境（エッジコンピューティング、分散処理、アクセラレータ、環境構築）
単一GPUでバッチサイズ32、学習率0.01で良好に学習できていたモデルを、データ並列で4台のGPUを用いて学習する際、各GPUに同じバッチサイズ32を割り当て全体のバッチサイズを128に拡大した。この場合に一般的に推奨される調整として最も適切なものはどれか。
- ✓全体のバッチサイズの増加に応じて学習率を大きくする
- B学習率は変更せずエポック数を4倍にする
- C各GPUのバッチサイズを1に減らす
- D勾配を各GPUで独立に破棄し同期しない
解説
データ並列によって実効バッチサイズが増加した場合、勾配のばらつきが減るため学習率をバッチサイズの増加比率に応じて大きくすることが一般的に推奨される（線形スケーリング則）。学習率を据え置くと収束が遅くなる。
根拠シラバス「開発・運用環境」分散処理