数学的基礎（確率・統計、情報理論）
確率分布pとqについて、交差エントロピーH(p,q)、pのエントロピーH(p)、KLダイバージェンスD_KL(p||q)の関係として正しいものはどれか。
- ✓H(p,q) = H(p) + D_KL(p||q)
- BH(p,q) = D_KL(p||q) - H(p)
- CH(p,q) = H(p) - D_KL(p||q)
- DH(p,q)は情報エントロピーH(p)と独立であり、D_KL(p||q)のみで決まる
解説
交差エントロピーは分布pのエントロピーとKLダイバージェンスの和で表され、H(p,q)=H(p)+D_KL(p||q)が成り立つ。これは深層学習の損失関数として交差エントロピーが用いられる理論的背景でもある。
根拠シラバス:数学的基礎 - 情報理論（交差エントロピー、KLダイバージェンス）