ディープラーニングの概要と手法
汎用的な大規模言語モデルを、特定ドメインのデータのみを用いて長時間ファインチューニングしたところ、元々持っていた一般的な言語能力や他タスクの性能が大きく低下してしまった。この現象を抑えるための工夫として最も適切なものはどれか。
- A学習率をさらに大きくし、ドメインデータへの適合を短時間で終わらせる
- ✓元の事前学習タスクに近いデータも一部混ぜて学習することで、破局的忘却(catastrophic forgetting)を抑える
- Cドロップアウト率を0に設定し、モデルの全パラメータを常に使用する
- Dバッチサイズを1に固定して、1サンプルずつ勾配を計算する
解説
特定ドメインのデータのみで長時間学習を続けると、事前学習で獲得した汎用的な能力が失われる破局的忘却が起こりやすい。元のタスクに近いデータを一部混ぜて学習するなどの工夫がこれを緩和する。
根拠シラバス項目: ディープラーニングの応用例 - 転移学習・ファインチューニング