第３回 パターン認識と機械学習(PRML) 復習レーン に参加してきた

PRML 勉強会

第３回 パターン認識と機械学習(PRML) 復習レーン に参加してきました。

ATND: PRML復習レーン（第3回） : ATND
Google Group: Google グループ

Twitter Time Lineまとめ(Togetter)と、各講師の方々の資料、メモを、覚書きとして以下に記載します。
※各講師資料、アップされたら追加更新します。

Togetter

第3回 パターン認識と機械学習 復習レーン #PRMLrevenge #03 - Togetter

第2章（前回）のおさらい

2.1 ([Twitter:@ajiyoshi])

2.2-3 ([Twitter:@nokuno])

PRML復習レーン 2.3 ガウス分布
View more presentations from nokuno.

ベイズ学習.pdf
id:nokuno さんのエントリ：http://d.hatena.ne.jp/nokuno/20100703/1278172465

2.4 ([Twitter:@_kohta])

PRML_2.3.1~2.3.3
View more presentations from kohta.

§2.3.4 - 5 ([Twitter:@sleepy_yoshi])

§2.3.4 ガウスの最尤推定

・十分統計量
・平均の最尤推定解
・分散の最尤推定解
・最尤推定解の期待値

§2.3.5 逐次推定

全てのデータ点を一括処理することが不可能な大規模データを扱う
・平均の最尤推定量
・Robbins-Mornoアルゴリズム
　尤度関数の当該パラメータの停留点(最尤値)を算出する
・ガウス分布の平均の逐次推定

§2.3.6 ([Twitter:@takmin])

§2.3.6 ガウス分布に対するベイズ推論

[経歴] 画像認識のサービス開発・研究
　技術連載記事：OpenCVで学ぶ画像認識：特集｜gihyo.jp … 技術評論社
　顔ちぇき：http://www.mobilefactory.jp/service/kaocheki/
　コンピュータビジョン最先端ガイド勉強会：Google グループ

資料：ガウス分布に対するベイズ推論

Chapter2.3.6
View more presentations from takmin.

id:takmin さんのエントリ：第三回「パターン認識と機械学習」読書会復習レーンで発表してきました - takminの書きっぱなし備忘録 @はてなブログ

§2.3.7〜9 ([Twitter:@naoya_t])

§2.3.7 Studentのt分布

・外れ値の影響を受けづらい。ガウス分布に対し裾野が長いため(ガウス分布の無限和になっている）
・ガウス分布で、ガンマ分布を事前分布とし精度を積分消去
・ν=1で Cauchy分布
・ν→∞で 平均μ、精度λのガウス分布になる
・最尤解はEMアルゴリズムで算出

参考：t分布 - Wikipedia, コーシー分布 - Wikipedia

§2.3.8 周期変数

関連：ベッセル関数 - Wikipedia,フォン・ミーゼス分布 - Wikipedia

§2.3.9 混合ガウス分布

・十分な数のガウス分布をそれぞれの平均と分散を調整しつつ線形結合。ほぼ任意の連続なみづど関数を任意の精度で禁じできる。
・最尤推定解をEMアルゴリズム

※関連：「第3回データマイニング+WEB勉強会＠東京」でR言語を用いた 混合分布を用いたクラスター分析を紹介していますR勉強会： 第３回データマイニング+WEB 勉強会＠東京 (Tokyo.Webmining#3) を開催しました−「R言語による クラスター分析 -活用編-」 - hamadakoichi blog

§2.4 ([Twitter:@jaisalmer992])

§2.4 指数型分布族

・ベルヌーイ分布(Bernoulli Distribution)
・ロジスティックシグモイド分布 (Logistic Sigmoid Function)
・多項分布 (Multinominal Function)

§2.4.1 最尤推定と十分統計量
§2.4.2 共役事前分布
§2.4.3 無情報事前分布

§2.5 ([Twitter:@sleepy_yoshi])

§2.5ノンパラメトリック法

・ヒストグラム推定法
ヒストグラムを一度推定した後はデータ保持の必要がない。

2.5.1 カーネル密度推定法

・原点を中心とするカーネル立方体の領域内の点の数を数える。
・イメージ：データ点を中心とするガウス分布を考える。

2.5.2 最近傍法

・各領域の中に入る点の数を固定する。入るまで領域を広げる。
・k近傍分類器：イメージ; k個の要素の多数決で結果を決める。
・誤分類率

参考：http://www.sakurai.comp.ae.keio.ac.jp/classes/infosem-class/2009/06Bayes.pdf

§3.1 [Twitter:@smly]

エントリ：http://d.hatena.ne.jp/smly/20100630/1277904761

3.1 線形基底関数モデル
3.1.1 線形基底関数モデル最尤推定と最小二乗法
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数が多次元の場合

関連：Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition.

基調講演 グラフスパース化[Twitter:@smly]

・b-マッチンググラフ による効率的なスパース化

・既存研究：半教師あり語義曖昧性解消。グラフスパース化 (k近傍グラフ)。
・半教師あり学習は計算量が大きい。データ類似度のO(n^2)の
・PVM(Zhang+, ICML 2009)
・AGR(Weit, ICML 2010):予測値を、アンカーポイントの予測値の線形結合として決める。

書籍

パターン認識と機械学習 上 - ベイズ理論による統計的予測

パターン認識と機械学習 上 - ベイズ理論による統計的予測

パターン認識と機械学習 下 - ベイズ理論による統計的予測

パターン認識と機械学習 下 - ベイズ理論による統計的予測

。

エントリ

関連