機械学習の基礎および深層学習の応用（画像認識、自然言語処理、生成モデル、深層強化学習等）
BERTの事前学習タスクの一つであるMasked Language Model（MLM）の説明として正しいものはどれか。
- ✓入力トークン列の一部をランダムにマスクし、その位置のトークンを前後双方向の文脈から予測させるタスクである。
- B文の次の単語のみを、それ以前の単語列から一方向に予測する自己回帰的なタスクである。
- C2つの文が連続する文かどうかを二値分類するタスクである。
- D入力文を別の言語の文に変換するタスクである。
解説
MLMは入力系列の一部のトークンをマスクし、前後双方向の文脈情報を用いて元のトークンを予測させる事前学習タスクであり、これによりBERTは双方向の文脈表現を獲得する。一方向予測は自己回帰型言語モデルの特徴であり異なる。
根拠シラバス項目「自然言語処理」