機械学習の基礎および深層学習の応用（画像認識、自然言語処理、生成モデル、深層強化学習等）
Attention機構を備えたEncoder-DecoderモデルによるSeq2seqの推論において、①エンコーダが入力系列を処理し各タイムステップの隠れ状態を得る、②デコーダの現在の隠れ状態とエンコーダの各隠れ状態から注意重みを計算する、③注意重みでエンコーダの隠れ状態を加重和しコンテキストベクトルを得る、④コンテキストベクトルとデコーダの隠れ状態から次の出力トークンを予測する、という4つの処理を正しい順序に並べたものはどれか。
- A②→①→③→④
- ✓①→②→③→④
- C①→③→②→④
- D④→①→②→③
解説
まずエンコーダが入力全体を処理して隠れ状態を得た後、デコーダ側の状態を用いて注意重みを計算し、それに基づきコンテキストベクトルを構成して出力予測に用いるという流れが標準的な処理順序である。
根拠シラバス「深層学習の応用/自然言語処理」