最近の研究

業績一覧


ベイズ法における汎化誤差,自由エネルギー を特異点解消を用いて解析する

階層型ニューラルネットワーク, 縮小ランク回帰モデル,混合正規分布などは, パラメータが 特定不能になり,フィッシャー計量が縮退するという特徴をもつ. このような階層構造,内部構造を持つものは, 特異モデルとよばれており, パラメータを変えることできわめて多くの確率分布となりえる ことが証明されている. これらのモデルは,たとえば,モデル選択法 AIC, TIC, HQ, NIC, BIC, MDLなどは適用できず, 古典的な学習理論の枠組みの中では捉えることができない. したがって,近年急速に多くの理論の研究が始まった.
確率密度関数q(x)を持つ確率変数Xの入力の例,
が与えられたとき, ある条件付密度関数q(y|x)によって,出力の例
が得られたとする. すなわち,をサンプル数nの学習データとする. 学習モデルをp(y|x,w)とし, 事前分布をψ(w)とする. このとき,パラメータの事後確率は,
である.は正規化定数である. このとき,ベイズ推測による学習後の学習モデルは 次で与えられる:
カルバック情報量を
とする. 汎化誤差G(n)は サンプル に関する平均であるを用いて,
となる. 一方,経験カルバック情報量を
とし,この経験カルバック情報量を用いて
と定義される確率的複雑さは,
という関係をもつ. 学習モデルのゼータ関数を
とおく.zは一複素変数である. この関数はで正則で,全体に 有理型関数として拡張できることが知られている. さらに極は負の有理数である. この関数J(z) の最も原点に近い極を, その位数をとすると,G(n)が漸近展開可能であれば,
が成り立つ. ここで,O(1) は n の有界な関数である. 学習モデルのゼータ関数の極 は,特異点解消を用いれば計算できる量である.


    参考:Hironaka の定理, 学習システムの理論と実現, 森北出版.

しかし, 実はこのような数理の 確立にもかかわらず,計算を行うことは非常に困難であった. 特異点解消は,広中の定理により,ブローアップの 有限の手続きにより可能であることが保証されているが, 具体的に求めるのは難しいとされている. また,計算機による代数計算により行う方式も提案されているが, 情報学における学習モデルのカルバック情報量は中間ユニット数などの パラメータを含んでいるため,多項式の特異点解消よりも, さらに高度な面を含んでいる. また,他の問題点として,特異点が孤立していない,ニュートン図形が 退化している,などがあげられる. これらの特徴を持つ特異点は非常に複雑で代数幾何の分野でも あまり研究されていない. 実際,ゼータ関数の極の値に関しては, 概均質ベクトル空間などの特別な 場合にしか研究されていないのが実情である.


最近次のような結果を得た.
1 個の入力層, 1 個の出力層,任意個の中間層を持つ 三層ニューラルネットワークの場合は,
The zeta function of learning theory and generalization error of three layered neural perceptron,
数理解析研究所講究録, Recent Topics on Real and Complex Singularities, (2006) (in press) 論文.pdf.

および
特異点解消とニューラルネットワークのベイズ推定における汎化誤差,
電子情報通信学会和文論文誌DII, (2005) Vol.J88-D-II, No. 10, pp.2112-2124. 論文.pdf

英訳出版, Resolution of Singularities and the Generalization Error with Bayesian Estimation for Layered Neural Network,
Systems and Computers in Japan, John Wiley & Sons, Inc. (in press). 論文.pdf


において明らかにされている. 数理解析研究所講究録のほうは,真の分布が一般の場合, 電子情報通信学会和文論文誌のほうは,真の分布が0の場合である.

また,隠れ層の関数が線形の 三層ニューラルネットワークである縮小ランクモデル について
Stochastic Complexities of Reduced Rank Regression in Bayesian Estimation,
Neural Networks, (2005) No. 18, pp.924-933. 論文.pdf

において考察している.