ベイズ統計入門
普通の統計では統計モデルを仮定しそれによってデータをを説明する。そのモデルを規定する重要な要素がそのデータの母数(平均µ,分散σなど)。ベイズ統計ではその母数とベイズの定理を組み合わせる。
ベイズの定理
P(H|D)=( P(D|H)*P(H) ) / P(D)
このHを母数θと捉えていく。つまりP(θ|D)はDの時にデータの母数がθである確率となる。さらに、連続値を扱うためにベイズの定理を確率ではなく分布、確率密度関数として解釈する必要が出てくる。
解釈の変更
事前確率P(θ)=>事前分布π(θ)
尤度P(D|θ)=>尤度関数f(D|θ)
事後確率P(θ|D)=>事後分布π(θ|D)
また、分母P(D)はデータを得る確率でありそれはデータを得られた後、定数になるのでベイズの定理を簡単な式に少し変更することが出来る。事後分布は分布なんだから右辺とイコールじゃなくて比例でも分布の関係性に大きく影響はでないし求めたいのはその分布のy軸の値（たぶん確率とはまた違うが確率等をもとに出来上がったもの）自体ではなくて（それも大事だが）どのθが最も可能性が高いのかについて。だから分母はある種無視していい。と思う。たぶん。
ベイズ統計公式
事後分布π(θ|D) ∝ ( 尤度f(D|θ) * π(θ) )
このθはベイズの定理のHと違って複数の離散値も連続値も表すことが可能。∝は比例を意味しとる。
古典的な頻度派との違いは主に母数の扱いとその焦点。
頻度派<=>ベイズ
母数：定数<=>確率変数
焦点；定数の値<=>確率変数の分布
要は、頻度派では特定の母集団がいてその母数は定数(ただしその母数の本当の値は神のみぞ知る)。僕らの手元にはそのサンプルデータがあり行うことはそのサンプルデータがどれくらいのその母集団と近いか、どれくらいその母集団にとって一般的なサンプルなのかを見極めることによって母集団を推定するとかとか。翻ってベイズ統計では手元にデータがありそれをもとに母集団の母数の分布を求める。母集団はいろいろな可能性が考えられるけど現在のデータからするとこういう母集団の分布がありうるよねーみたいな。何が大きく違うっていうと特定の母集団があると決めつけるか、母集団もいろいろな可能性があるよねーとゆるりと考えるか。頻度派ではそのいろいろな可能性の部分をサンプルデータに任せてて、ベイズでは母集団がその任を負う。
次に具体例を。コインの表の出る確率をθとする。コインを3回投げて3回とも表だった。θの事前分布がベータ分布Be(2,2)の時にθの事後分布は？そしてその事後分布から推定するθの値は？
これを考える前に前提知識としてベイズ統計のアプローチについてもう少し知る必要がある。アプローチは大別して２つある。
1. 自然な共役分布；多少無理があっても事前分布と事後分布の分布のタイプをそろえることで、公式を用いて簡単に計算出来るモデルを作る
2. MCMC法；多少計算に正確さが欠けても複雑なモデルをそのまま扱う
今回は共役分布を利用する。となるとベータ分布の公式を把握する必要がある。ベータ分布Be(p,q)は当たり前ながら確率密度関数。
ベータ分布の公式
f(x)=k*x^(p-1)*(1-x)^(q-1)
※kは定数,p>0&&q>0
k= 1 / Be(p,q)
µ(平均値)=p/(p+q)
σ^2(分散)=pq/( (p+q+1)*(p+q)^2 )
M(最頻値)=(p-1)/(p+q+2)
この公式を用いて解いて行く。まず尤度f(D|θ)は表の出る確率がθであることから
尤度f(D|θ)=θ^3
事前分布π(θ)はBe(2,2)が与えられているので
π(θ)=k*θ^(2-1)*(1-θ)^(2-1)
=kθ(1-θ)
∝θ(1-θ)
事後分布∝尤度*事前分布なので
=(θ^3)*θ(1-θ)
=θ^(5-1)*(1-θ)^(2-1)
=Be(5,2)
よって事後分布はベータ分布Be(5,2)であることがわかった。
上記のことから2つの事象しか現れないベルヌーイ試行において以下のことが言える。
最後にベータ分布の平均、分散、最頻値を求める。
平均＝5/(5+2)=5/7
=0.74
分散= 5*2 / ( (5+2)^2 * (5+2+1) )
= 5/196
=0.026
最頻値=(5-1)/(5+2-2)
=0.8
よって平均を用いた場合0.74,最頻値の場合0.8の確率で表が出るコインだと考えられる。
