数学的基礎（確率・統計、情報理論）
確率変数XとYの相互情報量I(X;Y)の説明として正しいものはどれか。
- AI(X;Y) = H(X) + H(Y) であり、両変数の情報量の総和を表す
- BI(X;Y)は常に負の値をとり、変数間の負の相関を表す
- ✓I(X;Y) = H(X) - H(X|Y) であり、一方の変数を知ることでもう一方の不確実性がどれだけ減少するかを表す
- DI(X;Y) = H(X|Y) - H(X) であり、条件付きエントロピーの差を表す
解説
相互情報量はI(X;Y)=H(X)-H(X|Y)で定義され、Yを観測することでXの不確実性（エントロピー）がどれだけ減少するかを表す非負の量である。
根拠シラバス:数学的基礎 - 情報理論（相互情報量）