初めての WAIC と WBIC


Widely Applicable and Bayesian Information Criterion




Sumio Watanabe Homepage




なぜ,新しい理論と方法が必要なのでしょうか?

定義と説明は WAIC WBIC にあります.





具体的な例で説明します.混合正規分布を考えましょう.

モデル選択の問題:「サンプルを発生した真の分布は,いくつの正規分布からできているか?」





【実験例】真のパラメータ (0.5,0.3) で定まる確率分布から独立に X1, X2,...,Xn を 発生して,事後分布をMCMC法で作りました(事前分布は 0≦a≦1, -5≦b≦5 上の一様分布です).

図で,○は事後分布を表します. は真のパラメータです.




Example of Posterior Distributions


真のパラメータにおけるフィッシャー情報行列 I(0.5,0.3) は正定値です. 従って,n が『十分に大きければ』事後分布は正規分布で 近似できます(フィッシャーの漸近理論あるいはラプラス近似理論).

しかしながら, 上の図から事後分布は正規分布では近似できないことがわかります. n=10000は『十分に大きい』とはいえないわけです.情報量規準 AIC と BIC は 事後分布が正規分布で近似できないときには使えません.





統計学を学び始めた人が次のように考えるときがあります.

統計学を学び始めた人の意見:『特異点の集合はパラメータ集合の中の 測度ゼロの部分集合である.従って 真の分布が統計モデルの特異点に一致している確率はゼロであるから, n が十分に大きければ,フィッシャー漸近論は成立しているとしてよい』

この考え方は,統計的モデル選択,ハイパーパラメータの最適化, 統計的検定においては,正しくありません.

なぜなら,モデルの評価は,与えられた n において 適切な統計モデルは何か(注意)という問題を考えるからです. 例え n が大きくても,階層構造を持つ複数のモデルを比較する時,AIC や BIC は, 評価の判断が分かれるところで求めたい評価値にならないという欠点を持っています. 上記の例においては n=10000においてさえ AIC や BIC では正しい モデルの評価はできないのです.







一方,WAIC と WBIC は n=100でも正しくモデルの評価を行うことができます. なぜなら WAIC と WBIC はフィッシャー漸近論が成り立たなくても,それでも 成り立つ新しい理論を基礎としているからです.








(注意)「適切」とは,何についての適切なのでしょうか? 二つの規準があります. 【予測時の誤差を最小にしたい】あるいは【真のモデルを選ぶ確率を最大にしたい】. AICは前者を目標として作られています.BICは後者を目標として作られています.





Sumio Watanabe Homepage