学習理論・研究関連ページ





Mathematics





@ このページは研究室内オンリーです。

研究課題の例を紹介しています。

「学習モデルがサンプルから真の分布を推定するとき、その推定精度はどのくらいか」

を解明するための数理を求めていくと、その基盤には数学全般につながる構造が存在します。

また、そこには未解明の課題がたくさんあります。

(注意)数学的構造に関心のないかたは、この続きをお読みになる必要はまったくありません。




A 数学や理論において、どんな研究を行うかはもちろん自由です。

ここに書かれていることに関連して研究しなければならないということはまったくありません。

(注意)少しだけ眺めてみてこのページに関心がないことが確認できたかたは、そっとこのページを閉じましょう。




B しかしながら、万が一、 「まったくの自由では、何から始めたらよいのか、とっかかりがなくて困る」というかたは 数学的学習理論の最近の発展について下記の論文を読んでみたら参考になるかもしれません。

(注意)読んでみてやはり関心が持てないことが確認できたら、もっと関心が持てるものを探しましょう。 数学の世界はとても広いので、もっとあなたが好きなものが必ず見つかるはずです。

(注意)下記の論文は公表されています。億が一、下記に関連することで研究を始めたいにも関わらず、 入手が困難なかたは渡辺までご連絡をお願いします。




◆ (2020-1) Naoki Hayashi. Asymptotic Bayesian Generalization Error in Latent Dirichlet Allocation and Stochastic Matrix Factorization. vol.1, Article number: 69, SN Computer Science, https://doi.org/10.1007/s42979-020-0071-3
⇒ LDAと確率行列分解の等価性と実対数閾値の導出。

◆ (2020-2) 永安修也. 最適な確率分布が一意でないときのベイズ学習曲線. 信学技報, vol. 119, no. 453, NC2019-94, pp. 107-112, 2020年
⇒ 真の分布に対して最適な学習モデルが一意でないときの自由エネルギーの漸近挙動。

◆ (2020-3) 渡邉匠. 混合多項分布のベイズ汎化誤差の漸近挙動. 信学技報, vol. 119, no. 360, IBISML2019-18, pp. 1-8, 2020年
⇒ 混合多項分布の実対数閾値の導出。

◆ (2020-4) 田中来輝. Swish 関数を用いた階層型神経回路網の実対数閾値. 信学技報, vol. 119, no. 360, IBISML2019-19, pp. 9-15, 2020年
⇒ Swish関数を用いたニューラルネットの実対数閾値の解明。

◆ (2017-1) Kunihiro Kohjima. Phase Transition Structure of Variational Bayesian Nonnegative Matrix Factorization. Lecture Notes in Computer Science, Springer,2017, ISBN 978-3-319-68599-1 pp.146-154. doi.org/10.1007/978-3-319-68612-7_17
⇒ 非負値行列分解の変分ベイズ法における相転移構造の解明。

◆ (2017-2) Naoki Hayashi. Upper Bound of Bayesian Generalization Error in Non-Negative Matrix Factorization", Neurocomputing, Vol. 266C, pp.21-28, 2017.
⇒ 非負値行列分解の実対数閾値の導出。

◆ (2017-3) Mathias Drton, Martyn Plummer. A Bayesian information criterion for singular models. J. R. Statist. Soc. B. , Part 2, pp.1-38, 2017.
⇒ 新しい情報量規準 sBIC の導出と提案。

◆ (2016-1) Keisuke Yamazaki. Asymptotic accuracy of Bayes estimation for latent variables with redundancy. Machine Learning (2016) 102: pp.1-28, DOI 10.1007/s10994-015-5482-3.
⇒ 特異ケースにおける潜在変数の推定精度の解明。

◆ (2013-1) Keisuke Yamazaki, Daisuke Kaji. Comparing two Bayes methods based on the free energy functions in Bernoulli mixtures. Neural Networks, 44 pp.36-43, 2013.
⇒ 混合ベルヌーイ分布のベイズ法と変分ベイズ法の解明と比較。

◆ (2012-1) Kazuho Watanabe. An alternative view of variational Bayes and asymptotic approximations of free energy, Machine Learning, 86(2), 273-293, 2012.
⇒ 変分自由エネルギーの数学的構造の解明。

◆ (2012-2) Miki Aoyagi, Kenji Nagata. Learning coefficient of generalization error in Bayesian estimation and Vandermonde matrix type singularity. Neural Computation, vol. 24, No. 6, pp.1569 -1610, 2012.
⇒ ファンデアモンド型特異点の実対数閾値とその実験的検証。

◆ (2011-1) Daisuke Kaji. Two Design Methods of Hyperparameters in Variational Bayes Learning for Bernoulli Mixtures. Neurocomputing, Vol.74, No.11, pp.2002-2007, 2011, May.
⇒ ハイパーパラメータ決定における汎化誤差最小化と構造抽出の二つの方法。

◆ (2008-1) Kenji Nagata. Asymptotic Behavior of Exchange Ratio in Exchange Monte Carlo Method. International Journal of Neural Networks, Vol. 21, No. 7, pp. 980-988, 2008.
⇒ 交換モンテカルロ法の交換率と実対数閾値の関係の解明。

◆ (2008-2) 藤原香織. 特異モデルにおけるベイズ検定と時系列解析への応用. 電子情報通信学会論文誌D, Volume J91-D, No.4, pp.889-896, 2008.
⇒ 特異モデルにおけるベイズ検定法の提案と実現。

◆ (2006-1) Shinichi Nakajima. Generalization Performance of Subspace Bayes Approach in Linear Neural Networks. IEICE Transactions, Vol.E89-D, no.3, pp.1128-1138, 2006.
⇒ 縮小ランク回帰の経験ベイズ法での汎化誤差を導出。

◆ (2006-2) Kazuho Watanabe. Stochastic complexities of gaussian mixtures in variational bayesian approximation. Journal of Machine Learning Research, Vol.7, pp.625-644, 2006.
⇒ 変分ベイズ自由エネルギーの漸近挙動を初めて解明。

◆ (2005-1) Miki Aoyagi. Stochastic Complexities of Reduced Rank Regression in Bayesian Estimation. Neural Networks, No. 18, pp.924-933, 2005.
⇒ 縮小ランク回帰の実対数閾値を全ての場合に厳密に導出。

◆ (2003-1) Keisuke Yamazaki. Singularities in mixture models and upper bounds of stochastic complexity. International Journal of Neural Networks. Vol.16, No.7, pp.1029-1038,2003.
⇒ 混合正規分布の実対数閾値について解明した先駆的な研究。




用語の確認

(1) 実対数閾値とは何ですか。 答え
(2) 変分ベイズ法とは何ですか。 答え
(3) 混合正規分布とは何ですか。 答え
(4) 行列分解あるいは縮小ランク回帰とは何ですか。 答え
(5) 正則なモデルとは何ですか。特異モデルとは何ですか。 答え
(6) 交差検証(クロスバリデーション)とは何ですか。 答え
(7) 周辺尤度とは何ですか。 答え
(8) 具体的に研究を始めたいです。 答え