機械学習の基礎および深層学習の応用(画像認識、自然言語処理、生成モデル、深層強化学習等)
RNNやSeq2seqモデルの学習で用いられるTeacher Forcingの説明として正しいものはどれか。
- A推論時にモデル自身の出力ではなく正解ラベルをすべて使い続ける手法である。
- B過学習を防ぐために一部のユニットの出力をランダムに0にする手法である。
- ✓学習時にデコーダの各タイムステップの入力として、モデル自身の予測ではなく正解(教師)のトークンを用いる手法である。
- D勾配のノルムが一定値を超えないように制限する手法である。
解説
Teacher Forcingは学習時にデコーダへの入力として1つ前のモデル自身の予測ではなく正解トークンを与えることで学習を安定化・高速化する手法である。推論時の話ではなく、Dropoutや勾配クリッピングとも異なる概念である。
根拠シラバス項目「自然言語処理」