大規模最適化およびリスク指向最適化の最新解法
日時: 11/9 (水) 13:00-15:30
オーガナイザー: 比戸将平 (IBM) [趣旨説明]
大規模凸最適化問題に対する勾配法
機械学習の分野に現れる最適化問題の多くは凸計画問題である．それらの問題は，扱うデータ数に応じて，大規模になりやすい．また，その制約条件は非負制約，単体制約など，簡単な式で表されることが多い．そのような特徴をもつ凸計画問題の解法として，目的関数の勾配だけを用いた手法，勾配法が広く利用されている．勾配法は，高精度の解を求めるには適していないが，機械学習などで必要とされる精度の解を求める上では十分効率のよい手法である．本講演では，勾配法の中でも近年注目を浴びている近接勾配法の概説を行う．特に，Bregman関数と局所的エラーバウンド性の２つの見地から，理論および実践上，高速化する工夫について述べる．
大規模半正定値計画問題に対するソフトウェアと高速＆安定計算による解決 –理論からスパコンまで–
最適化手法とコンピュータが生まれてからの約６０年間、常に計算機、最適化アルゴリズム共に進歩を遂げてきました。 優れた理論から必ずしも優れたソフトウェアが生まれるとは限らないのですが、今回の講演では 1990年代半ばに誕生した半正定値計画問題(SDP)に対する理論（主双対内点法）を題材に取って、この理論がその後どのような経緯を辿って、ソフトウェア化された後にスパコン上で大規模計算が行われるようになったのかについてお話したいと思います。内容は最適化理論から応用分野、ソフトウェア化、大規模計算までと多岐に及びます
不確実な最適化問題に対するロバスト最適化
不確実性を含んだ最適化問題のモデル化とその解法として，1998年に Ben-Tal & Nemirovskiがロバスト最適化を提案して以来，数理最適化分野ではロバスト最適化に関する研究が注目を集めている．ロバスト最適化の解法に関する研究も進み，適用先も機械学習分野や金融工学分野を含め広範囲に広がっている．本発表では，ロバスト最適化の基礎的事項について簡単に紹介をしたい．さらに，判別問題に対するロバスト最適化モデルを提案し，サポートベクターマシンを含む，いくつかの既存の判別モデルを含むことを示したい．
時間整合的マルコフ決定過程
ビジネスや日常において逐次意思決定をする際に、将来のコストや利得はしばしば確率的にしか分からない。このような状況において最適な意思決定をするための形式的な手法としてマルコフ決定過程が研究されてきており、マーケティング等に応用されてきた。特に、大きな損失を避けるような意思決定をするために、各種のリスク考慮型マルコフ決定過程も提案されてきている。ところが、従来のリスク考慮型マルコフ決定過程には、意思決定者の嗜好を十分に広くモデル化することができないか、合理的な意思決定につながらない、という難点がある。具体的には、期待効用、割引期待効用などの標準的なリスク指標では、表現できる意思決定者の嗜好が限られていることを示す。また、条件付バリューアットリスクなどのリスク指標に基づいて逐次意思決定すると、合理的な意思決定にはつながらないことを示す。更に、従来のリスク指向型マルコフ決定過程の持つ難点を克服するために、反復的リスク指標という概念を用いて、時間整合的マルコフ決定過程というクラスを定義する。
関係データとテンソル分解
日時:11/10(木) 9:00-11:00
オーガナイザー:冨岡亮太（東京大学） [趣旨説明]
テンソル分解を用いた関係データのモデリングとその応用
WWW ネットワーク，センサデータ，DNA マイクロアレイなど，オブジェクト間の多項関係を定量化したものを関係データと呼ぶ．一般的に，m項関係を表現する関係データは m 次のテンソル(あるいは m 次元配列) として表現されるが，要素数が m乗のオーダで増加し高次元となるため直接の解析は難しい．テンソル分解はこれら高次のテンソルデータを少数のパラメータで表現することで情報の圧縮，特徴抽出，可視化，データ補完を可能とする．本発表ではテンソル分解の基本モデルや実問題への応用例を簡単に紹介する．またベイズ統計の観点から見たテンソル分解の確率的解釈についても議論する．
非定常な時系列関係データの解析に関する研究
近年、多くの研究者が関係データ解析に取り組んでいる。その中でも、アイテムやユーザ間の関係の時間的な変化を明らかにする時系列関係データ解析が注目を集め始めている。特に我々は、実際の関係データで観察される非連続・非定常な変動の解析に着目している。しかし、このような時間変化は、関係の時間発展に連続性を仮定する手法では表現が困難である。そこで、本発表では非定常な構造変化の表現に適した確率的生成モデルを紹介し、その解析結果を説明する。また、現在我々が検討している時系列関係データ解析の次の課題についても簡単に説明する予定である。
Relation Extraction from the Web — Webからエンティティ間の意味的関係抽出に関する研究
Web上に人物、組織、地名など様々なエンティティに関する情報が溢れており、これらのエンティティの間に多様な意味的関係が存在している。膨大なWebのテキストデータからこれらの関係に関する情報を抽出し、構造化し、検索可能にする重要性が増している。教師あり学習を用い、エンティティ間の特定の意味的関係(semantic relations)を学習するいわゆる教師あり関係学習(supervised relational learning)手法ではWebに存在する全ての関係を学習することは困難である。一方、教師なし関係学習(unsupervised relational learning)ではユーザーが必要とする関係が必ず学習できる保証がなく、教師あり関係学習に比べ、その認識精度も低い。そこで、本講演ではある意味的関係に関する既存の学習データを用い、別の関係を学習する関係のドメイン適応(relation adaptation)の手法を紹介する。更に、ある関係と別の関係の間の対応関係をどのように表現し、抽出できるか、抽出した関係間の対応関係を用い、どのように転移学習ができるかなど詳しく説明する。
特別招待講演
日時:11/10(木) 11:15-12:30
Computational Challenges in Graph Mining
Professor Karsten M. Borgwardt
(Machine Learning & Computational Biology Research Group
Max Planck Institute for Developmental Biology and
Max Planck Institute for Intelligent Systems, Tubingen)
次世代DNAシーケンサ技術が求める知的情報処理技術
日時: 11/10 (木) 13:30-15:30
オーガナイザー: 大羽成征（京都大学）
次世代シーケンサ解析で新たに求められる機械学習
次世代シーケンサは既存のDNA配列を読む機械であるシーケンサが
非常に大規模，高速かつ安価になった機械であり，現在医学・生命科学で最も革新を起こしている機器の一つです．この機械の登場によって，生命科学のデータの量，質が向上しているだけでなく，データの種類も多様化しており，これらのデータを複合的に解析する技術が求められています．本講演では，次世代シーケンサの導入からスタートし，この機械の登場によって，新しく生まれているデータの種類の概観を示した上で，次世代シーケンサ解析で要求が高まるであろう，新たな機械学習の問題を示します．
医学研究における次世代シーケンサ技術の活用
久木田洋児（大阪成人病センター） [資料]
次世代シーケンサ技術により、現実的なコストでヒトの全ゲノム塩基配列解析を個人レベルで行うことが可能となっている。医学研究分野での利用は医療の飛躍的な進展に貢献するものと期待される。大阪府立成人病センターでは、次世代シーケンサによる遺伝性が疑われる癌患者の原因遺伝子探索や癌患者血液中の微量突然変異検出法の開発を行っている。本発表では医学研究における次世代シーケンサ技術の活用事例や我々の経験したデータ解析における問題点等を実験者の立場から述べる。
網羅的なRNAの同定、定量、ネットワーク解析における計算機解析
川路 英哉（理化学研究所）
ゲノムにコードされている情報を機能させる上で最初のステップが、ゲノムDNAの塩基配列を鋳型にRNAを合成する転写である。そのRNAをプロファイルするためにDNAシーケンサがこれまで使われてきており、次世代シーケンサの登場によって、RNAプロファイルの能力が飛躍的に向上した。本発表では、DNAシーケンサを利用したRNAプロファイリングの概観と、そこで実際に用いられている計算機的手法について紹介する。
物理計測とベイズ的方法
日時:11/11(金) 9:00-12:00
オーガナイザー:池田思朗（統計数理研究所） [趣旨説明]
意思決定の脳科学におけるベイズ的モデルの有用性
春野雅彦 (NICT)
脳内では外界の認識と意思決定が同時に統合的に行われる。また、このような
脳内メカニズムの解明するためには多人数、多次元の脳活動データを解析
する必要がる。このような事情から、近年ベイズ的アプローチが盛んに用い
られるようになってきた。 今回は情動的な文脈情報がヒトの強化学習に与える
影響というベイズ的課題におけるヒトの行動、脳活動解析にベイズ的モデル
を適用するという研究を題材にベイズ的モデルの有用性について考えたい。
データ同化による地球磁気圏撮像観測の活用
中野慎也 (統計数理研究所)
地球磁気圏は，宇宙空間の中でも地球のごく近傍(高度数万km程度)を占める領域で，気象衛星や放送衛星，GPS衛星などが飛んでいる領域でもある．地球磁気圏では，磁気嵐やオーロラの発生の原因となる様々な興味深い現象が起こっており，人工衛星による観測などを用いて盛んに研究がなされている．人工衛星で計測できるのは，基本的に衛星の飛んでいる場所の物理量のみであるため，磁気圏全体の描像を把握することは容易ではないが，近年，地球磁気圏のプラズマ(高温の電離した気体)の分布を，離れたところから写真のような形で撮影する「撮像観測」と呼ばれる技術によって，磁気圏のグローバルな変動を捉えることができるようになりつつある．撮像観測によって得られる「写真」の一枚一枚には，プラズマがどう空間的に分布しているかという情報しかないが，一定の時間間隔で連続して撮影した写真を使って，プラズマ分布の変化を追うことで，プラズマの速度に関係し，地球磁気圏の様々な現象に関わっている重要な物理量でもある電場の分布を推定することができる．我々は，撮像観測データを比較的単純な物理モデルと組み合わせることで，プラズマの速度場，電場の空間分布の推定を行っている．観測データと物理モデルとを組み合わせて系全体の時間発展を推定することを，地球科学の分野では「データ同化」と呼ぶ．データ同化では，最尤法に基づく方法もあるが，ベイズ統計に基づいた方法もよく用いられ，我々も後者を用いている．そこで，まずベイズ統計に基づくデータ同化手法について述べ，また，実際にデータ同化を用いて撮像観測データから得られる地球磁気圏の描像について紹介する．
宇宙物理学におけるベイズ的モデルの応用
宇宙物理学の特徴の１つは、研究対象に全く「手」が届かないことである。少なくとも数光年先の現象が研究の対象であるため、自ら現場まで出かけていくことはもちろん、機械を現場まで送り込むこともできない。地上では再現が困難な大規模で高エネルギーな現象を相手とするため、現象そのものを実験することもできない。そのため、対象から情報を得るには光（＝電磁波）を観測する以外に手段がない。しかしその場合、我々は2次元の天球面に投影された情報しか得ることができず、天体の奥行きの情報は手に入らない。また、遠方の天体の幾何構造を分解して観測することは難しく、多くの場合「点」にしか見えない。したがって、光のスペクトルや時間変動などから、天体の3次元構造を探る試みは以前から行われてきた。ベイズ的なモデルは宇宙物理学の分野でもこの10年で急速に応用が広がっている。我々の研究グループもここ数年、ベイズ的な手法を使った研究に取り組んでいる。本講演では、宇宙の観測とその実際について概説した後、我々の最近の研究として、時間変動を利用した放射源の成分分離や、天体の3次元構造のトモグラフィー的な再構成について紹介する。
単タンパク分子のX線回折と位相復元
池田思朗 (統計数理研究所)
本講演では X線回折画像からの位相復元問題に対する新たな手法を紹介する．これまで位相復元問題に用いられていた手法は，SN比の高い場合には効果的に位相復元ができるが，今後X線自由電子レーザーによって得られるであろう生体単タンパク分子の回折画像は雑音が大きく，これまでの手法は充分ではない．この問題に対してベイズ統計に基づく新たな位相復元手法を提案する．数値実験の結果，提案手法は現実的な雑音下であっても充分に位相復元を行えることが示せた．
オンライン予測
日時: 11/11 (金) 13:00-15:00
オーガナイザー: 畑埜晃平（九州大学）[趣旨説明]
組み合わせ論的オンライン予測問題
オンライン予測の基礎的なモデルであるエキスパート統合問題は，情報圧縮，ルーティング，投資などの幅広い応用を持つ．また，バンディット問題とオンライン凸最適化問題は，エキスパート統合問題の自然な拡張になっている．本発表では，まず，これらの概要について述べた後，エキスパート集合がグラフや順列などの離散構造を持つ概念から定義される場合の統合アルゴリズムの設計と解析手法について解説する．
バンディットの理論と応用
K腕バンディット問題とは，アームがK本付いたスロットマシンを使って繰り返しプレーする場合， 毎回1本のアームを選ぶとすると期待利得を最大にするにはどのようにアームを選択すれば良いかという 問題である。この問題は「知識の獲得と利用のトレードオフ」を克服すべき典型的な問題として知られている. 報酬が確率的に決まる設定においては1950年代から研究されてきたが，最近では報酬生成モデルに 確率的な仮定をおかない設定も盛んに研究されている.また，コンピュータ・インターネットの発展に 伴い，探索木における準最適解の探索，WWW上の広告配信・リコメンデーション，ネットワークにおける サーバーやルートの選択などの応用でも使われることが多くなり，実用的な方式も開発されて来ている. これらの最近の発展を中心にバンディットの理論と応用について概観する.
オンライン凸最適化と線形識別モデル学習の最前線
線形識別モデルとオンライン凸最適化を組み合わせることで，大量のデータを利用した高速な学習と識別が可能となっており，自然言語処理，画像解析 など多くの分野で広く利用されている．この組み合わせは古くはパーセプトロンから始まっているが，近年，理論，実用面で多くの発展があり，より速 い学習，コンパクトなモデル，ノイズへの高い耐性を達成できるようになってきた．本発表では，基礎から最新の話までの発展の流れを俯瞰すると共 に，今後の発展の方向性について解説する．
CV/PRで独自の進化を遂げる学習・最適化技術
日時: 11/11 (金) 15:15-16:45
オーガナイザー: 木村 昭悟（NTT） [趣旨説明]
画像認識検索における特徴量表現
近年，大規模な画像データを用いた画像認識が注目されている．大規模な画像データを活用するにはスケーラビリティを維持するために線形識別機を用いることが一般的である．線形の識別機であっても十分な識別能力を発揮するためには画像特徴をどのように表現するかが鍵となるため，画像表現手法に関して研究が精力的に進められている．本講演では，画像表現手法のトレンドを紹介すると共に，それらの関係性について解説を行う．
メモリベースパーティクルフィルタ： 状態履歴に基づく事前分布予測と対象追跡
コンピュータビジョンにおける課題のひとつとしてオブジェクト追跡があり、ロボットビジョン、サーベイランス、対話シーン分析など様々なアプリケーションに利用されている。オブジェクト追跡手法として、パーティクルフィルタが広く利用されている。パーティクルフィルタは、事前確率分布と観測尤度を用いた事後確率分布の推定と、事後確率分布と対象のダイナミクスに基づく事前確率分布の予測を繰り返し行う。多くのパーティクルフィルタでは、ダイナミクスとしてランダムウォークモデル、線形予測モデルなどの単純なモデルを用いた。そのため、急激な動きのオブジェクトを見失う問題があり、さらに一度見失うと追跡の再開が困難であるという問題があった。そこで我々は、過去の状態が繰り返し現れる性質（時間的再現性）に着目したダイナミクスのモデル化に取り組んでいる。本発表では、時間的再現性に基づく事前分布予測を組み込んだパーティクルフィルタである、メモリベースパーティクルフィルタ、およびメモリベースパーティクルフィルタによる顔姿勢追跡を紹介する。