最尤推定とベイズ推定とMAP推定

最尤推定

　最尤推定とは、ある確率モデルが最も尤もらしい時のパラメータを推定する手法です。例えばコインの表・裏が出る確率を推定するモデルがある時、その確率はコインの状態 $θ$ に左右されます。よってコインの表・裏の出る確率を示すモデルは、
${ \displaystyle 確率モデル : P(x|θ)\\ 　　　　　　　 x: コインの表か裏かを示す確率変数\\ 　　　　　　　 θ: コインの状態。θ=\{θ_{1}, θ_{2}, ... , θ_{N}\} }$
として表されます。
　ここで、試行を繰り返して得たxの集合 $X=\{x_{1}, x_{2}, ... , x_{M}\}$ があるがパラメータ $θ$ の値が不明である時、パラメータ $θ$ がどのような値か推定することを考えます。確率モデル中のxは試行で得た固定の値とするため、確率モデルはパラメータ $θ$ を変数に持つ関数とみなせます。つまり確率モデルは、データXを取る時のパラメータ $θ$ の確率分布とみなせます。この確率分布の中で確率が最大となる $θ$ が、データXを得た時のパラメータとなります。この操作を、確率モデルに対する最大尤度の算出、すなわち最尤推定と呼びます。