今までは平方完成とか特定の分布の関数形への「当てはめ」をしてパラメータの事後分布を求めていたが，変分推論ではパラメータの分布をそれぞれの積として表し，平方完成とは違う形で関数形を求める．全分布 $p(X, Z)$ の形から関数形が自動的に決まる．

混合ガウス分布の最尤推定を解く手法のひとつとしてEMアルゴリズムを導入する．

SVMとRVM

ガウス過程回帰など

誤差逆伝播法の公式を並べておこうと思う(特にN個のデータをバッチ形式で入力する際の公式)．

初心者がニューラルネットワークを実装する際に気をつけておきたいことは，逆伝播では順伝播の値をキャッシュする必要があるということである．

“Decision Making under Uncertainty"を参考にしている．Monte Carlo Tree Search(MCTS)はアルファ碁にも用いられたことで有名である．

木の上の再帰関数だから競プロ的な雰囲気で理解したほうが良いのかも．

ベイズ線形回帰はガウス分布の計算をすれば導出できるが．個人的にはエビデンス近似がこの章のキモ．

前半のパラメトリック分布は計算すればよいので省略．ノンパラメトリックな密度推定についてメモりたい．

読んでいて詰まったところをメモっていく．