代数幾何と学習理論









渡辺研究室

渡辺澄夫




学習理論の専門書: 代数幾何と学習理論(まえがきともくじ)(森北出版) アマゾンのページ
渡辺澄夫




この本は、代数幾何と学習理論の関係について、

できるだけ具体的に

説明したものです。 「代数幾何と学習理論」のあらすじ







要約

本書では、統計学における周辺尤度を F とし、 代数幾何学における実対数閾値を λとするとき、

(定理)  F = λlog n


が成り立つことを証明しています。ここで n はデータの数です。

(注) 代数幾何と学習理論という遠い場所にあると思われていたものが数学的に 結ばれたことにより、従来は不明であった問題が解決されつつあります。




(NEW) 本書に書かれていることに関連して、研究の進展がありました。 本書が出版された後、さらに、より基礎的な事柄が解明できました。

(1) ベイズ学習誤差の漸近形が得られ、ベイズ学習誤差とベイズ汎化誤差の 間に、モデル・事前分布・真の分布のどれにも依存しない一般的な関係があることが 分かりました。このことは、 学習の状態方程式 および 学習理論に現れる数学 で紹介しています。
(2) 学習の状態方程式に現れる汎関数分散の平均値は特異ゆらぎと名づけられた 双有理不変量であり、ベイズ汎化誤差の平均値である実対数閾値と合わせて二つの 不変量で学習の漸近理論が記述できることがわかりました。 二つの双有理不変量は、 統計的正則モデルのときにはどちらも(パラメータ空間の次元/2)になっていますが、 正則でないときには両者の値は、一般には、それとは異なります。また、二つの値は 一般には一致していません。
(3) 「学習誤差+汎関数分散」は、確率変数として「交差確認損失」と等しい ことがわかりました。 交差確認損失。「汎化誤差+学習誤差+汎関数分散」×n は定数(2λ)に確率収束します。 またベイズ学習にしばしば用いられる偏差情報量規準は、特異モデルでは 汎化誤差と同じ平均値は持たないこともわかりました。

これらの結果は、本書が書かれた後から解明できたことです。学習について、 さらに深い構造が解明されることが期待されます。それらは、また別の機会に まとめることができればと願っています。






本書の内容



代数幾何の入門部分、特異点解消定理、シュワルツ超関数論、経験過程論、などについて 基礎的な事柄をできる限り具体的に、誰でも理解できるように説明しています。 代数幾何の入門的な部分、特異点解消定理、超関数論、経験過程は、 具体的な事物として理工学においても大変に重要なものだと思いますが、 易しく説明してある本が意外に少ないのではないかと思います。本書では、 線形代数と初等微分積分を習ったことが あれば、それ以外の知識はまったく必要ありません。


(お願い) この本は、学生時代に、数学科・物理学科・情報学科などに在籍されて いなかった方を主な読者として想定しています。それらの学科で 学部3年までに習う基本的なことについても全て説明をしています。 従いまして、読者におかれましては、既にご存知のことが書かれている場所は、 どんどんスキップしてお読みくださいますようお願い申し上げます。また、 大切なことがらにつきましては、具体的な例を説明した後に数学的な記述を 書き、さらに、その後、また例を挙げたりしています。 「定義・定理・証明・例なし・解説なし」の潔い繰り返しの修練を積まれた先生には、 説明が冗長に感じられるものと思います。 そのような場所では、定義と定理のみ確認されて進んで頂きたくお願い 申し上げます。





◎この本のコンセプトは『天空に輝く数学』だけでなく『大地で咲いている数学』にも 関心を持ってくださる方に、十分に楽しんで頂きたい、というものです。 従いまして、例を中心として限りなく具体的に説明していることについて、 広く暖かいお心を持ちまして御理解いただき、楽しんで頂きたくお願い申し上げます。 数学・物理学・情報学で習う基礎概念が具体的な実世界に繋がっていることを、 楽しんで頂きたくお願い申し上げます。


◎この本を書いている間、ずっと次のことを考えていました。 「数学を学ばなかった人にとって、 最も『わかりやすい』説明とは、どうゆうものだろうか。 そもそも『わかる』とは 何なのか。この本は、 『理解できるための前段階として、具体的なものとして 実感できることが必要なのではないか』、という仮説に基づいて 書かれています。従って、この本が抽象的ではないという点を 批判しないで頂きたいと思います。むしろ、代数幾何を、これほどまでに 具体的に、実世界的に説明しているという点を味わって 頂きたいと思います。この本は、 『代数幾何の入門書を読むための準備をする本』を読み始めるよりもさらに前に、 代数幾何が、どんな具体的な世界と関係があるかを体験する本に 相当します。この本を読まれた後、代数幾何学の入門書を読むための 準備をする本をお読み頂ければ、そこで現れる概念がなぜ 大切であるのかについて初等的な準備と理解が得られるのではないかと 思われます。




◎ところで、物理学を学ばれている方にとって、この本は、 「観測値からスピンシステムの相互作用を推測するとき何が 起こるか」という問題を考えていると考えて頂いても よろしいでしょう。すなわち、この本は、 ランダムハミルトニアンによって定まる平衡状態の性質を 考える時に役立つのではないかと思います。有限次元の空間の 上の平衡状態を考えていますので、普通の問題では相転移が 生じないのですが、特異点の存在が実質的に相転移を存在 させます(互いに絶対連続ではない平衡状態が存在する)。 また、考察している問題は、可換なスピンシステムを 実験結果から推測するという問題と等価ですから、 物理学的にも、意味があるのではないかと思います。 この本では、可換なスピン代数の推測の問題を 考えているのですが、物理学者の先生には、ぜひ、 非可換な代数の推測の問題を扱う場合に拡張して頂きたいと 思います。(学習理論においては、パラメータが 物理量(observable)であり、対数尤度関数がハミルトニアンであり、 相互作用のランダムネスは学習データに起因するものに なります)。




◎さらにまた、統計学についてご存知の方がこの本を読まれれば、 次のことをお分かり頂けると思います。統計学における理論解析に おいて中心的な役割を果たすのは対数尤度比関数ですが、 対数尤度比関数は、 超関数の空間の上の確率過程と考えることにより、その 自然な性質を解き明かすことができるということを、この本は 主張しています。

対数尤度比関数を超関数の上の確率過程だと捉えることにより、 初めて、極めて強い特異性を持つ確率モデルについても、 その法則収束を厳密に示すことができるからです。 統計的正則モデルのように扱い易い対象を考えるときには、 このような設定は必要ないかも知れませんが、これから未来に 向かって、より複雑な構造を持つ確率モデルを扱うために、 超関数の空間が必要になるものと思います。

(お願い) 統計学という「実世界と対峙することを第一義とする学問」に おいて、必要もないのに理論の抽象化を求めることは無価値であると お考えの先生もたくさんいらっしゃるものと思います。しかしながら、 この本で申し上げたいことは、推測と検定で中心的な役割を 果たす対数尤度比関数の挙動を捉えるためには、どうしても、 代数幾何、特異点論、超関数論、経験過程論が必要になるということです。 必要もないのに、それらを導入しているのではありません。




◎もちろん、この本は、学習システムという実世界の 中にあって情報処理を行なっている具体物を対象としたものです。 混合正規分布、ベイズネットワーク、人工神経回路網、縮小ランク回帰、 隠れマルコフモデルなどの学習モデルは、音声認識や画像解析や ロボットコントロールや時系列予測や人間のモデリングや遺伝子解読など広く 情報工学において使われていますし、これからは、ますます広い 用途に用いられていくでしょう。そのような実際の世界の実用的な 問題と、代数幾何や超関数論や統計物理学が深く関連していることを 多くの方に楽しんで頂きたいと思います。『学習』という問題を 考えてゆくと、そこには、ほとんど全ての現代数学と、ほとんど 全ての理論物理学と不可分と言って良いほど強い関係を持つ場所が あります。


『学習』とは汲めども尽きぬ不思議の泉です。


◎代数学、幾何学、解析学、確率論、数理物理学、統計学、情報理論など、 厳密な理論科学を学んだことがある人が、『学習』の世界をのぞき込むとき、 そこに、自分自身の新しい姿を発見するはずです。そこには、新しい代数学、 新しい幾何学、新しい解析学、新しい確率論、新しい数理物理学、新しい 統計学、新しい情報理論があります。あなたにとっての『学習』の姿を 見つけ出して頂きたいと思います。





◎この本は、もともと2000年頃から書き始めたのですが、著者の怠慢により、 〆切を大幅に過ぎてしまい、多くの方に御迷惑をお掛けしました。 申し訳ございませんでした。特に、監修者の小川先生と森北出版の石田さんには、 本当にお世話になり、またご迷惑をおかけ致しました。ここに記して、 感謝申し上げます。




正誤表

誠に恐れ入りますが、ミスプリントが発見されて います。お読みくださった方には、 著者の不注意により、御迷惑をおかけして誠に申し訳 ありません。

正誤表(PDF) , 正誤表(dvi)

これらのミスは第2版では訂正されているものと思います。