目でみる尤度関数 あるいは 目でみる事後分布






本当の尤度関数を見てみましょう。

事前分布として場所に よらず一定値のものを考えた場合には、 事後分布も尤度関数と同じ形をしていますから「目で見る事後分布」でもあります。

MATLAB プログラム: 尤度関数 , メトロポリス法 .

尤度関数は、サンプルの出方に依存して確率的に変動します。 ここで示しているのは、あるサンプルに対するものです。

参考として最尤推定量の位置も記入してありますが、 最尤推定量は真の分布が同じでもサンプルが変われば、まったく違った 位置になりますので、ここに書かれている位置は偶然のものです。


この例を見れば、「統計学はフィッシャーの漸近理論だけで十分」とは言えないことが 一目瞭然ですね。


Algebraic geometry is essential to new statistics


Algebraic geometry is essential to new statistics


Algebraic geometry is essential to new statistics


Algebraic geometry is essential to new statistics


Algebraic geometry is essential to new statistics


統計学の専門家のかたでも、しばしば次のように間違えます。

サンプルを X1, X2, ..., Xn としましょう。

「真の分布が統計モデルの特異点とぴったりと一致する ことは現実にはありえない.従って,n が大きくなれば, 事後分布は正規分布で近似できると考えてよい」

この考えかたは正しくありません。確かに,真の分布が 統計モデルの特異点とぴったりと一致することは現実には ありえないでしょう.その状況で n がどんな任意の定数よりも大き ければ事後分布は正規分布で近似できるでしょう.

しかしながら,n が相当に大きくても 特異点は統計的推測に甚大な影響を及ぼしていることがあり, 尤度関数や事後分布は 正規分布では近似できないことが起こるのです.次の例では, パラメータ数が2個で 真のパラメータにおけるフィッシャー情報行列は正定値ですが, n が一万でも,事後分布が正規分布では近似できない例です. 図中の○は事後分布からMCMC法でサンプルされたパラメータを, 赤い● は真のパラメータの位置を表しています.

Example of Posterior Distributions


正直なところ,このページの作者も,真のパラメータが (0.5, 0.3) で n が一万なら,事後分布はもう少し正規分布に近いのではないかと 思っていました.現実を自分の目で確かめる勇気は本当に大切です.

この例ではパラメータ空間が2次元なので目で見ることができるのですが, 現実の課題ではパラメータ次元が数十から数千ということも珍しくありません. そのような場合では,事後分布が正規分布で近似できるということは ほとんど期待できないように思われます.




AIC, TIC, BIC, DIC, MDL, カイ二乗検定は、どれも、尤度関数が 正規分布と同じ形をしていることを仮定した上で作られています。 上の尤度関数の形を見てもなお、それらを使っていて安心だと 言えるでしょうか。




AIC, TIC, BIC, DIC, MDL, カイ二乗検定が使えるかどうかが真の分布に依存しているということは、 真の分布が不明であるという実問題ではそれらは使えないということを意味しています。 特に、モデルの選択や検定において、その判断が分かれるところで 従来の方法は使えません。

一般の混合正規分布、人工神経回路網、ベイズネットワーク、 隠れマルコフモデル、ボルツマンマシン、縮小ランク回帰などでは、もっと パラメータ次元の大きなものが使われますので、事態はより一層深刻です。

この困難を克服するためには、真の分布に依存しない理論を作る必要があります。 すなわち、真の分布が統計モデルの特異点であってもなくても成立する一般の理論を 作る必要があります。代数幾何学に基づく新しい方法で、 その 理論 方法 は実現されました。

(注意)一般的には、「目で見るだけで物事を判断する」のはたいへん危険であることを忘れないでください。 ただし、この問題に限定すれば、数学的構造を考えれば考えるほど、数値的に実験してみればみるほど、 従来の方法は事実から遠いことがわかります。従来の方法で行われたモデルの設計や検定の結果は、 信頼できるものだったのでしょうか。


尤度関数の例をもっと見る




Sumio Watanabe Homepage