フィッシャーの情報量（情報行列）
（シャノンの）情報量
情報量といった場合、シャノンの情報量を指すことが多い。そもそも情報量とは、ある事象が起こった時、その事象の発生がどれだけ珍しいかを表す量である。事情が珍しい程、値は大きくなる。実生活においても、珍しい出来事が起こった場合、そのインパクトは大きい。そのため、直感的にも納得しやすい定義に感じる。
情報量には「自己情報量」と「平均情報量」があり、それぞれ
- 自己情報量：
ある事象xについての情報量で、下式(1)で表現される。
ここでは事象の発生確率を表すものとする。
- 平均情報量：
ある確率分布についての情報量で、下式(2)で表現される。エントロピーとも言われる。
フィッシャー情報量（情報行列）
一方フィッシャー情報量とは、シャノンが定義した情報量とは異なり、尤度に注目した情報量である。対数尤度関数の二階の導関数の値の絶対値で表し、値が大きいほど情報量が高い（珍しい）となる。事象が１変量の場合は、"情報量"と呼称する。事象が多変量の場合は、"情報行列"となる。
