ノンパラメトリックベイズ |
| 講演者 |
持橋大地（NTT） |
| 題目 |
Nonparametric Bayes for Non-Bayesians [スライド] |
| 概要 |
最近, ノンパラメトリック・ベイズ法とよばれるベイズ統計モデルが脚光を浴びているが, 理論的な前提の難解さのために, 多くの人にとってその本質がわかりにくい面があると思われる。そこで本チュートリアルでは,
* ノンパラメトリックベイズ法とは何か? どんなモデルがあるのか?
* どうして推定が可能なのか?
* どのような応用があるのか?
* 興味を持った場合, どうやって勉強したらいいのか?
* 未来にどのように発展するのか?
のような疑問に答える形で, ノンパラメトリック・ベイズ法の世界の全体像について
ご紹介したい。
誰でも聞いていただけるものとするが, ベイジアンの方にとっても最近の展望を与え,
研究に資するものとしたい。
|
| |
|
| 講演者 |
上田修功（NTT） |
| 題目 |
クラス数未知での半教師あり学習 |
| 概要 |
従来のクラス分類問題での半教師あり学習では，全てのクラス
ラベルなしデータは，ラベルありデータに付与されたクラスの何れか
に属すという暗黙の仮定の下でモデル化されている．それ故，ラベルなしデータに，ラベルありデータのクラスの何れにも属さないデータが含まれる場合，そのようなデータを従来の半教師あり学習の枠組みで利用すると，分類性能の向上が期待できず，場合によっては，少数のラベルありデータのみで学習した分類器よりも分類性能が劣化するという問題が生じる．本講演では，この問題に対処すべく，近年，無限要素混合モデルとして著名な，ディリクレ過程混合(Dirichlet Process Mixture)モデルを，無限要素・無限クラス混合モデルとして拡張したモデルとその学習アルゴリズムについて述べる． |
| |
|
| 講演者 |
栗原賢一（Google） |
| 題目 |
ディリクレ過程混合分布を用いたグラフデータのクラスタリング [スライド] |
| 概要 |
データを何らかの基準を用いて互いに近いデータ点のグループを作ることをクラスタリングと呼ぶ。データ点に対して何らかの生成モデルを仮定した時、その生成モデルの混合分布を用いることでクラスタリングを行う手法がある。例えば混合正規分布を仮定することで、超球状の形のクラスタにデータを分けることができる。本講演ではグラフのクラスタリングの一手法を紹介する。つまり、グラフの集合を与えられた時、類似したグラフのグループに分けることを目的とする。例えばタンパク質等の化学物質は原子をグラフのノード、化学結合をエッジと考えることによりグラフを用いて自然に表現できる。
まず、グラフに対する生成モデルを紹介する。次に、ディリクレ過程混合分布を用いたクラスタリングを紹介する。一般にグラフに対するアルゴリズムは計算量が大きくなる。そこで、計算量を抑えるためのアルゴリズムを紹介する。 |
| |
|
自然言語処理 |
| 講演者 |
松本裕治（奈良先端大） |
| 題目 |
機械学習による自然言語処理の諸問題 [スライド] |
| 概要 |
90年代に大規模な言語データの利用が可能になり，種々のアノテーションが施された言語データの整備が進むにつれ，言語処理のあらゆる側面に機械学習に基づく手法がが用いられるようになった．分類学習や系列ラベリングなど単純な学習アルゴリズムの適用から始まり，近年では，構造データのラベリング，素性マイニング，異なるレベルのタスクの同時ラベリング，局所素性と大域素性の有効利用など多くの困難な問題やそれに対する解決手法が提案されている．自然言語処理におけるこれまでの機械学習の適用を概観し，特に，統語解析など構造学習を例題として，機械学習に基づく言語処理にどのような問題があり，どのように解決しようとされてきたか，また，残された未解決問題や今後の展望について述べる．
|
| |
|
最適化と機械学習 |
| 講演者 |
脇隼人（電通大） |
| 題目 |
半正定値計画問題と多項式最適化問題への応用について [スライド] |
| 概要 |
最適化問題のクラスの中に, 半正定値計画問題と呼ばれる凸最適化問題が存在する. 半正定値計画問題とは, (1) 線形計画問題と同様に, 双対定理などが成立し, (2) 主双対内点法と呼ばれる手法で, その大域的最適値の近似値を得ることができ, そのソフトウェアも充実している. (3) さらに, 制御, 組合せ最適化, 統計, 建築など多くの分野で利用されている. 応用の一つとして, 多項式最適化問題とばれる最適化問題への応用があげられ る. 多項式最適化問題とは, 多項式の等式,不等式で記述される集合上で多項 式の大域的最小値や大域的最小解を求める問題であり, 凸性や単峰性は仮定さ れていない. 最近,この多項式最適化に対して, LasserreやParriloが独立に, 半正定値計画問題を利用して, 最小値や最小解を求める手法を提案した. 本講 演では, 学習理論と半正定値計画問題の関連についてではなく, 半正定値計画 問題とLasserreやParriloの多項式最適化問題への応用, そして, その改良や 最近の進展について述べる. |
| |
|
| 講演者 |
北原知就（東工大） |
| 題目 |
ミニマックス確率マシンとその拡張について [スライド] |
| 概要 |
ミニマックス確率マシンはLanckrietらによって提案された2クラス判別法である。 これは、各クラスの平均と分散共分散行列が与えられているときに、各クラスに対して可能なすべての分布形を考えたときの最悪の場合の誤判別率を最小にする線形判別法である。 このときの線形判別関数は2次錐計画問題を解くことによって得られることが知られている。本講演では、まずミニマックス確率マシンについて概説し、多クラス線形判別、2次判別への拡張について発表する。多クラス線形判別では、2クラスの場合が自然に拡張でき、2次錐計画問題に帰着 されることを示す。2次判別では、簡単な凸解析によって、最適な2次判別関数として線形関数が含まれることを示す。 |
| |
|
| 講演者 |
岡本吉央（東工大） |
| 題目 |
木分解とグラフ・アルゴリズム (最適化と数え上げ) [スライド] |
| 概要 |
与えられた有限無向グラフに含まれる指定された部分構造で最適なものを 見つける (最適化)，あるいは，部分構造を数える (数え上げ) ことは一般 に難しい問題であるが，グラフの木幅と呼ばれるパラメータが小さい場合 にこれらの問題のいくつかは効率よく解けることが知られている．アルゴ リズムではグラフの木分解と呼ばれる構造を用い，その上で動的計画法を 適用している．実を言うと，これはベイジアン・ネットワークにおける確 率推論のためのジャンクション・ツリー・アルゴリズムと深く関係してい る．本講演では，木分解に関わるアルゴリズムに関してグラフ・アルゴリ ズムや離散最適化の世界で常識になっている事項を紹介する． |
| |
|
密度比推定の手法と応用 |
| 講演者 |
杉山将（東工大） |
| 題目 |
密度比推定の手法と応用 [スライド] |
| 概要 |
確率密度関数の推定は統計的機械学習における最も難しい問題の一つとして認 識されており，何らかの学習問題を解く際に確率密度の推定を避けることは精 度のよい学習結果を得るために非常に重要である．このような考え方は「Ｖａ ｐｎｉｋの原理」としても知られており，精度の良いパターン認識手法として 知られているサポートベクターマシンはこの原理に従っている．
本講演では，我々が最近導入した新しい統計的機械学習の枠組みを紹介する． この枠組みの特徴は，様々な機械学習問題を確率密度関数の比の推定問題に帰着させるところにあり，確率密度推定を経由せずに密度比を直接推定することにより，Ｖａｐｎｉｋの原理に従う良質な学習結果が得られる．この密度比を用いる枠組みには，非定常環境適応，ドメイン適応，マルチタスク学習，外れ値検出，時系列の変化点検知，特徴選択，次元削減，独立成分分析，条件付き確率推定，二標本検定など様々な機械学習の問題が含まれるため，極めて汎用的である．
密度比推定の代表的な手法の原理を解説するとともに，ブレインコンピュータインターフェイス，ロボット制御などへの応用例も紹介する．
|
| |
|
学習と制御：ロボットへの応用 |
| 講演者 |
藤本健治（名大） |
| 題目 |
ハミルトン系の変分対称性と学習制御 [スライド] |
| 概要 |
制御工学の分野での学習制御とは，入出力データのみから， ある与えられた制御性能を表す評価関数を最小化するような 制御入力や補償器のパラメータを決める手法をさす． とくに，比較的自由度の高い評価関数に対して有限個のパラメータを学習する 反復フィードバックチューニングおよび，制御目標は軌道追従制御に限るが ノンパラメトリックな制御入力を学習対象とする反復学習制御などが知られている．
発表者らのグループで開発している手法は，上記の代表的な手法と異なり， 制御対象をハミルトン系という物理的な系を表すモデルに制限し， その変分対称性とよばれる性質を用いることにより，
比較的自由度の高い評価関数に対して，ノンパラメトリックな制御入力を 学習できるものとなっている． これまでに通常のマニピュレータの制御，移動体の最適軌道生成， 脚ロボットの最適歩容生成などの問題にこの学習制御法を応用している． 本発表では，制御工学における他の学習法との比較をまじえながら， 提案法とその応用を概説する． |
| |
|
| 講演者 |
森本淳（JST-ICORP/ATR） |
| 題目 |
行動学習のための特徴抽出 |
| 概要 |
人間もロボットも，環境から得られる情報をもとにタスク達成のために適切な行動選択を行うことが求められる．ところが，人間やヒューマノイドロボットのように多くのセンサをもつシステムにおいて適切な行動則を獲得することは，入力状態空間が高次元になるために一般に困難である．しかし一方で，ある一つのタスク達成のために考慮すべき特徴量は必ずしも高次元でない可能性がある．
ここでは，多くのセンサ情報が得られる場合に，回帰問題における次元削減法にもとづいて，タスクに対する適切な行動則の改善を可能とするための特徴抽出法について議論する．
応用例として，ヒューマノイドロボットの歩行運動学習に向けた取り組みについて 紹介する． |
| |
|
| 講演者 |
内部英治（沖縄先端大） |
| 題目 |
内発的報酬と外部報酬による強化学習 |
| 概要 |
強化学習をロボットの行動学習などに適用するためには，行動の結果を 適切に評価する報酬関数の設計が重要となる．近年，学習者自身が報酬 関数を自律的に生成する内発的報酬に基づく強化学習という考えが提唱 されている．内発的報酬は環境の効率的な探査や外部報酬への誘導に 用いられるだけではなく，学習目的を自律的に発見するための枠組みとして 期待されている．しかし従来研究では外部報酬と内発的報酬の干渉について 余り議論されていない．この問題に対処するために我々は外的報酬によって 与えられる制約を満たしながら，内発的報酬の平均を最大化するような 制御則を学習する制約付き方策勾配強化学習を提案する．さらにこの枠組みを 用いて内的報酬そのものを複数のロボット集団によって獲得する方法を 紹介する．内発的報酬の違いによって各ロボットの学習過程は異なり，結果として多様な行動が獲得できることを述べる． |
| |
|
| 講演者 |
矢入健久（東大） |
| 題目 |
センサデータの次元削減による地図作成と自己位置推定 |
| 概要 |
知能移動ロボット研究において，環境地図作成と自己位置推定の問題は長年に渡って主要テーマとなってきた．特に，この10年間はSLAM(Simultaneous Localization and Mapping)と呼ばれる確率推論に基づく方法論が広く普及し，この分野の主流となっている．SLAMの基本的な考えは，事前に与えられた状態遷移モデルと観測モデルを用いて，センサーデータからロボットの位置・姿勢および外部特徴群の位置を拡張カルマンフィルタや連続モンテカルロ法などによってMAP推定することである．
一方，近年，非線形次元削減法や半教師あり回帰学習法などの機械学習手法をロボットの観測履歴データに適用することによって，状態遷移・観測モデルを必要とせずに地図作成や自己位置推定を行うアプローチが静かに注目を浴びつつある．このアプローチでは．全特徴に関するロボットの観測履歴データをマトリクスとして表現したとき，行ベクトルおよび列ベクトルをそれぞれ低次元のデカルト空間に埋め込むことが地図作成と自己位置推 定に対応する．本発表では、この次元削減による地図作成・自己位置推定問題へのアプローチについて，従来研究・関連研究を概観しつつ，発表者らの最近の取り組みを紹介する予定である．
|
| |
|
| 講演者 |
稲邑哲也（NII） |
| 題目 |
ヒューマノイドロボット間の対話に基づく感覚運動パターンの抽象化空間の適応的獲得 [スライド] |
| 概要 |
著者らは従来までに，ヒューマノイドロボットにおける感覚運動パターンに対 して，未知パターンを基本動作の組み合わせとして認識し，逆に基本動作の合 成によって新規の動作を生成する事が可能である，原始シンボル空間と呼ばれ る空間表現を提案してきている．この手法では隠れマルコフモデル(HMM)を用 いて基本動作の感覚運動パターンをモデル化し，HMM間の類似性をBhattacharyya距離で計量し，多次元尺度法を用いて空間内の状態点として配 置することで空間を形成していた．本手法を応用することで未知の動作でも抽 象化表現を用いた模倣を実現していたが，他者自己双方が同一の原始シンボル 空間を持つという仮定を用いていた．他者と自己で身体的特性が異なる場合に は，それぞれの原始シンボル空間を構築し，各基本動作に対応する状態点（原 始シンボル）同士を一対一に対応させる事が必要となる．本発表では従来研究 で問題となっていたこの点について，ロボット同士が対話を行うことで双方が持つ原始シンボル空間同士の対応関係を獲得する手法について述べる． |
| |
|
複雑ネットワークと機械学習 |
| 講演者 |
増田直紀（東大） |
| 題目 |
複雑ネットワーク入門、および、シナプス学習を通じたニューラル・ネットワークの生成について [前半部分のスライド] |
| 概要 |
本講演の前半では、複雑ネットワークの入門的事項を解説する。 後半では、シナプス学習を通じたニューラル・ネットワークの生成について紹介する。 ニューロンの発火時刻に依存するようなニューロン間の結合強度の可塑性(Spike-timing dependent plasticity) は、脳の神経系で多く見られる。 そこで、発表の後半では、このようなシナプス学習を通じて、フィードフォワード・ネットワークが自己組織的 に生成されやすいことを、結合振動子系を用いた解析を通じて紹介する。 |
| 備考 |
後半部分の参考文献：
・ ニューラルネットワーク
N. Masuda, H. Kori. Formation of feedforward networks and frequency synchrony by spike-timing-dependent plasticity. Journal of Computational Neuroscience, 22, 327-345 (2007).(Journal of Computational Neuroscience)
Y. K. Takahashi, H. Kori, N. Masuda. Self-organization of feedforward networks, emergent pacemakers, and entrainment by spike-timing-dependent plasticity. (Preprint: arXiv:0809.1127)
・ 病院内のネットワーク解析
T. Ueno, N. Masuda. Controlling nosocomial infection based on structure of hospital social networks. Journal of Theoretical Biology, 254, 655-666 (2008). (ScienceDirect)(Preprint: arXiv:0803.1879)
・その他、著者のウェブサイトにも、いくつかの参考文献があります。 |
| |
|
| 講演者 |
加藤幹生（mixi） |
| 題目 |
mixiにおけるソーシャルネットワーク分析 [スライド] |
| 概要 |
mixi は1500万人（2008年7月13日現在）が参加するソーシャルネットワーキングサービス(SNS)である。 SNSとは、インターネット上で友人ネットワークを形成し、日記やコミュニティ等を介して友人同士がコミュニ ケーションを行うためのサービスである。mixiは月間136億ページビュー（2008年6月現在）を超え、日本で最も利用されているSNSとなっている。 本講演では、まず、マイミクシィの数の制限などのmixiの仕様を説明した後、リンク数・クラスタ係数・各ユー ザまでの最短距離などmixiのネットワークの特徴を紹介する。 次に、「おすすめマイミクシィ」「おすすめコミュニティ」「コミュニティブラウザ」など、mixiでのネットワ ーク分析の取り組みについて紹介する。この中にはすでにサービスに取り入れられているものもあるので、多数 のアクセスがある中でサービスを提供するための工夫についても紹介する。 最後に、現在mixi が取り組んでいる問題もいくつか紹介を行う。 |
| |
|
| 講演者 |
山田武士（NTT） |
| 題目 |
無限関係モデルとその周辺 [スライド] |
| 概要 |
ネットワークもしくはグラフとは、あるドメインに属する要素集合をノード群とし、ノード間 に観測される関係の有無や強さをリンクとして表現した、関係データの表現と考えることができる。 例えば友人ネットワークの場合、ノードは人を、リンクは友人であるかないか、もしくはその親密度を表現する 。 さらに複数のドメインにまたがる場合、例えば、著者、論文、語彙の間に観測される、ある著者がある論文を執 筆する、ある論文はある語彙を含む、ある論文はある論文を引用する、などのより複雑な関係は、二部グラフ、 三部グラフ等のより複雑なグラフで表現することができる。 無限関係モデル（Infinite Relational Model: IRM)は、このように一般には複数のドメイン間に観測される複 雑な関係に基づき、各ドメインをクラスタリングし、同時に、クラスタ間のマクロな関係を明らかにするモデル である。 ノンパラメトリックベイズの考え方に基づき、データの複雑度に応じて、適切なクラスタ数を自動的に推定でき る点に特徴がある。 本モデルは、ネットワーク解析における、コミュニティ抽出法のベイズ的拡張と考えることもできる。 本講演ではIRMとその派生モデルについてそれらの関係や学習法などを中心に説明する。 |
