ディープラーニングの概要と手法
Transformerなどで用いられるAttention機構の説明として、最も適切なものはどれか。
- A入力系列全体をあらかじめ定めた固定長のベクトルに圧縮し、そのベクトルのみから出力系列を逐次生成する仕組み
- B畳み込みフィルタを入力データ上でスライドさせながら局所的な特徴量を抽出する仕組み
- ✓クエリ・キー・バリューの3種類のベクトルを用い、クエリとキーの類似度に基づいて算出した重みでバリューを加重和し出力する仕組み
- D直前の時刻の隠れ状態のみを入力として受け取り、次の時刻の出力を逐次的に計算する仕組み
解説
Attention機構では、クエリとキーの類似度（内積など）を計算してソフトマックスで正規化した重みを求め、その重みでバリューを加重和することで出力を得る。これにより入力系列内の任意の位置の情報を直接参照できる。
根拠シラバス項目: ディープラーニングの要素技術 - Attention