繰りこみ可能とは








渡辺ホームに戻る




このページをご覧いただき、ありがとうございます。




尤度関数がガウス関数で近似できない場合でも成り立つ学習理論について、 その数学的な構造を説明するまとめを作ってみました。




特異学習理論まとめ(PDF)




深層学習・神経回路網・混合正規分布・ボルツマンマシン・ベイズネットワークなどの 複雑な構造を持つモデルの統計的推測について、 その予測精度を知るための方法は現状ではこの理論の他にはないと思います。




しかしながら、これまでの経験に基づいて統計的推測を行った結果、 この内容について学生のみなさまに関心を持っていただけることは ほぼ確率0であることがわかりました。




従ってここで述べることを講義・セミナー・研究課題などで解説することはないと思います。 万が一、興味があるひとは上記のPDFファイルを読んでみてください。




億が一、詳しい説明を知りたいと思われた場合には 「渡辺澄夫, ベイズ統計の理論と方法, コロナ社, 2012」にあります。




そうではあるのですが、学生のときに興味がないものでも、 社会に出てから仕事をする上で必要になるものもあります。




実務で統計学やデータ分析をされているかたの中には、 ここに書かれていることが必要になるかたもあるかもしれません。




ここに書かれている内容についての解説や実装プログラムはたくさん公開されています。 検索サイトや Github に行って「WAIC criterion」で探してみてください。










なぜ学習理論が作れたのか?




学習理論を作ることができた数学的な理由を以下に述べます。




以下で説明することは、上記のPDFファイルを理解するために必要なものではありませんので、 わからないことが書いてあっても気にする必要はありません。

   「なぜ複雑な構造の統計モデルに対しても学習理論が作れるのか」

という質問に対する答えは

   「パラメータ空間を(双有理写像で)変換することで事後分布が繰りこみ可能になるから」

ということになります。


それでは「繰りこみ可能」とはどんなことでしょうか。




それはデータに依存して定義される事後分布をデータに依存しない確率分布と データ数 n の関数を用いて記述することができるということです。


事後分布はデータに依存して確率的に変動しますので「確率分布に値をとる確率変数」であることに 注意してください。「確率分布に値をとる確率変数」がデータ数 n に対してどのような挙動を持つかを 明らかにすることができるということです。




データ











繰りこみ可能とは




「繰りこみ可能」とはどんなことかを例を用いて説明します。


(1) とても大きな自然数 n を考えましょう。 n 個の変数 (s(1),s(2),...,s(n)) の関数 H が与えられていて、確率分布 P が


P(s(1),s(2),...,s(n)) = (1/Z(n)) exp[ - H(s(1),s(2),...,s(n)) ]


と定義されているとしましょう。ここで Z(n) は正規化定数であり 分配関数 といいます。


(2) 分配関数 Z(n) の n に対する挙動が解明できたとき, 考えようとする問題が数学的に解決することが分かっていますので、 Z(n) を求めることが目標です。


(3) まず、n 番めの変数について和をとる操作を A* と書くと

Z(n) = (A*Z)(n-1)

となります。


(4) この『変数をひとつ減らす』という操作を n 回繰り返すことができれば


Z(n) = (A*Z)(n-1) = (A*A*Z)(n-2) = ・・・ = (A^n*Z)(0)


ですから目標に到達できることになります。


(5) 1回の操作 A が Z の空間にどのような作用をするかが分かっていると、 その操作を n 回繰り返した時にどうなるかがわかります。 そのような場合を「繰りこみ可能」と呼びます。


(6) n 回も和を取る計算をすると和がどんどん複雑になって行き、 わけがわからなくなるのでは、と感じるのは正常な感覚です。「繰りこみ可能」であるのは、 非自明な数学的法則が存在していて(本質的でない部分は取り除くことで) 和をとればとるほど数学的な本質だけが現れてくる 特別なケースであると考えることもできます。


(7) 現実の問題では n は無限大であることも多く、そのときには、この操作を無限回繰り返したときの 極限が問題になります。「繰りこみ可能」とは無限回の繰り返しが(本質的でない発散部分を除いて) 非自明な収束先を持つことであると考えることもできます。 また、このような考え方や方法を「繰りこみ理論」あるいは「繰りこみの方法」と呼びます。 上記の操作 A を繰り返すことが関数の空間に作用する「半群」になっていることから,この半群のことを 「繰りこみ群」と呼びます。「繰りこみ理論」は必ずしも全てが数学的に厳密であるわけではありませんが、 数学的に厳密な繰り込み理論も研究され存在しています。数学的対象としてもとても重要であることが知られています。


(8) どんな問題でも繰りこみ可能であるとは限りません。繰りこみ可能にならない例もあります。 (人間が理解できる現象であるということと繰りこみ可能であることは、ほぼ同義かもしれません)。


(9) いずれにしてもベイズ事後分布は正規分布で近似できない場合でも繰りこみ可能であることがわかりました。 従ってベイズ推測は人間が理解できる現象であり、そこではシンプルな数学的法則が成り立ちます。 その結果は実務において役立っています。


(10) 英語では、繰りこみのことを Renormalization といいます。直訳すると「再正規化」ですが、 これを「繰りこみ」としたのは名訳だと思います。







(参考)

「繰りこみ」という概念が生まれた故郷は量子電磁力学でした。しかしながら、繰りこみ理論は 生まれた故郷のもののほうが上記で説明したものよりも遥かに高度であり理解するのが難しいのではないかと思います。 一般に場の量子論に現れる繰りこみ群は(数学的にも物理学的にも) 多くの未解決問題を含んでいて、今日の数理物理学と理論物理学における最重要概念のひとつです。