The hierarchical Dirichlet process (HDP) is a powerful Bayesian nonparametric approach to modeling groups of data which allows the mixture components in each group to be shared. However, in many cases the groups themselves are also in latent groups. In order to utilize the unknown category information of grouped data, we present the hybrid nested/hierarchical Dirichlet process (hNHDP), a prior that blends the desirable aspects of both the HDP and the nested Dirichlet Process (NDP). Specifically, assuming a group of data as an object, we introduce a clustering structure for the objects. The prior distribution for each cluster is a realization of a Dirichlet process. Moreover, the set of cluster-specific distributions can share part of atoms between groups, and the shared atoms and specific atoms are generated separately. We apply the hNHDP to document modeling and bring in a mechanism to identify discriminative words. An efficient Markov chain Monte Carlo scheme is developed for posterior inference. We illustrate the model using both simulation study and experiments on real datasets.

インターネット上のデータや諸機関が収集した大規模データ（ビッグデータと呼ばれる）については、その有効な利用を巡る議論が活発になされている。しかし、個人に係わる情報である場合、ビッグデータ利用において個人特定をできることがプライバシー保護の観点から問題であることが指摘され、プライバシー保護データマイニングの分野でk-匿名化手法の研究が進んだ。例えば、個人の滞在場所履歴のデータベースでk-匿名化を行うと、k-匿名化のためにある広さの領域が設定される。その中に消費者金融の店が含まれていれば、自分がその店に行っていなくても、消費者金融に行ったことが疑われる。つまり、個人が自身に直接関係しない情報で否定的な事情を疑われること、すなわち濡れ衣の被疑はこれまで見過ごされてきた問題であろう。消費者金融の場合、就活や婚活の最中に濡れ衣を被ると実質的な被害が大きい。この発表では、このような問題意識からk-匿名化と濡れ衣の関係について考察する。

We consider learning the possible causal direction of two observedvariables in the presence of latent confounding variables. Severalexisting methods have been shown to consistently estimate causaldirection assuming linear or some type of nonlinear relationship andno latent confounders. However, the estimation results could bedistorted if either assumption is actually violated. In this talk, wefirst propose a new linear non-Gaussian acyclic structural equationmodel with individual-specific effects, which allows latentconfounders to be considered. We then propose an empirical Bayesianapproach for estimating possible causal direction using the new model.We demonstrate the effectiveness of our method using artificial andreal-world data.

自己組織化写像（ＳＯＭ）は、高次元空間にあるデータの広がりを低次元多様体を用いて近似することによりデータの関係や構造を可視化することを目的とする学習モデルである．しかしながら、その学習結果はＳＯＭの初期値や学習アルゴリズムの設定によって変化するため学習結果の適切さを評価することは困難であった．与えられたデータと最も近いＳＯＭの代表点との二乗距離の総和によって定義される誤差を用いて学習結果の評価を行う方法が知られているが，この方法では学習結果にねじれが含まれていても学習モデルが複雑になれば評価が良好になるという問題点があった．本研究ではＳＯＭの学習アルゴリズムが複数の異なる学習結果を生じさせることを利用して，学習結果同士の対応づけを用いて学習の適切さを評価する方法を提案し，その有効性を実験的に明らかにする．提案する方法は，まず二つの異なるＳＯＭの学習結果の代表点同士の最も近い対応を表現する対応行列を作成し，その後に代表点を微小変化させたときの対応点の変化のギャップの大きさを算出するものである．多数のＳＯＭの学習結果において任意の二つの間の対応ギャップを計算し総和を取ることで提案する指標を求める．提案手法により次の二つのことが可能になることを明らかにする．(1) 等価でないＳＯＭの学習結果が多数得られたときに，どの学習結果がデータに対して適切であると考えられるかの指標が得られる．(2） 等価でないＳＯＭの学習アルゴリズムが複数与えられたときに，どの学習アルゴリズムがねじれの少ない学習結果を与えやすいかについての指標を与えることができる．実験では人工的に作成したデータに対して提案方法が適切な結果を与えることを明らかにし，その後に実世界データに対する適用を行い結果を報告する．

Web サイトのレコメンド機能は，提示した商品の購入情報をフィードバックし履歴に追加することで，予測の修正を逐次的に行う．このように，予測の提示とフィードバック情報の入力を繰り返し，予測の精度を高める問題はオンライン予測問題としてモデル化される．オンライン予測問題は，次のように定式化される．各試行t = 1,2,…,T において，以下の(1)〜(3) が行われる．(1) アルゴリズムは，予測空間から予測値を選び出力する．(2) 環境は損失関数をアルゴリズムに与える．(3) アルゴリズムは損失を被る．アルゴリズムの累積損失と，最適な予測値を用いて予測したときの累積損失の差をリグレットという．オンライン予測を行うアルゴリズムの性能は，リグレットの上界で評価される．予測空間を行列の集合とし，行列特有の制約を加えることで，予測対象の特徴を表現した問題設定が提案されている．オンライン予測問題では，予測空間上に適当なダイバージェンスを導入し，時刻t+1での予測値を，時刻t での予測値とのダイバージェンスと，t での損失関数の和を最小化するよう与えるアルゴリズムの設計指針が知られている．この設計指針に従い，Tsuda らは，von Neumann ダイバージェンスを用いて導出したMatrix Exponentiated Gradient (MEG) 法を提案し，半正定値対称行列のオンライン予測アルゴリズムを与え，損失関数が2 次関数の場合の性能評価を行った．Hazan らは，損失関数が線形の場合のMEG 法の性能を評価した．von Neumann ダイバージェンスと並び，Burg ダイバージェンスはよく用いられるが，損失関数が線形の場合は解析されていなかった．本研究では，損失関数が線形である半正定値対称行列のオンライン予測に対し，Burg ダイバージェンスを用いて更新を行ったときのリグレットの上界について評価し，MEG 法と比較する．

電動車椅子の自動操縦や荷物運搬ロボットなどの実現を目指し、屋外市街環境を走行する移動ロボットのナビゲーション(自律的に目的地に到達する)のための道路認識手法について述べる。 本研究の目的は入力画像中の道路及び道路境界の物体種別を認識することである。画像中の物体認識は長年にわたり様々な研究が行われてきており、未だに難しい課題である。特にこの問題においては視点や照明条件の違いによる見えの変化や、舗装道路・歩道・コンクリート塀など見た目の特徴が近い物体があるなどの難しさがある。画像をsuperpixelに分割し、各superpixelに物体種別 (歩道、車道、壁、植物、縁石、ガードレール、白線のいずれか) を割り当てる問題を考える。この問題に単純にSVMを適用した場合認識率は低い。提案手法では地図の情報を利用してこの認識精度を高めることを目指す。提案手法は事前情報として電子市街地図とその上でのおおまかなロボット位置が与えられているものと仮定し、それを利用して画像中物体の認識精度を高めるものである。電子市街地図に歩道・車道・建物などの3種類の領域情報が与えられているものと仮定し、地図中の各領域および境界線に各物体クラスが存在する確率を統計的に調査して与える。この情報は例えば「歩道と車道の境界には壁よりも縁石があることが多い」といったものである。これらをベイズ推定の事前確率として利用する。物体の観測尤度はLSPC(確率密度比推定に基づく他クラス分類法)を利用して計算し、事前確率と観測尤度を組み合わせた事後確率最大化問題として定式化する。各superpixelを頂点、隣接関係を辺とするグラフを考え、グラフカットによるエネルギー最小化によって最適なラベルを推定する。千葉県習志野市の市街環境で収集した72枚の画像データを用いて分類実験を行った結果、SVM単独による認識精度は48.0%であったのに対し、事前情報を利用した提案手法では81.6%に認識精度が向上した。

コンテキスト広告はオンライン広告の一形態であり、一般的にニュースやブログ記事のページに表示されるテキスト広告である。コンテキスト広告における重要な課題として、広告効果とユーザー体験の両方を満たすように、ウェブページの内容とユーザー情報に適合した広告を、どのように選択するかが挙げられる。単純なアプローチでは、広告とウェブページの類似度はそれら二つの間の単語の重なりによって表現される。しかしながら、このアプローチはウェブページ上の語彙が広告の語彙と異なる場合には有用ではない。この語彙のミスマッチの問題を打開するため、意味カテゴリや隠れクラスを用いた先行研究がなされている。これらのアプローチでは、カテゴリやクラスを用いることができるように広告検索のシステムを拡張する必要がある。また、カテゴリやクラスタの数を持続的にメンテナンスすることは実用上簡単なことではない。そこで、本研究では、広告リクエスト時のコンテキスト情報を、広告のテキスト空間へ変換する手法を提案する。コンテキスト情報とは、ウェブページのテキスト情報に加えて、ユーザーの属性や行動情報などを含む。広告テキスト空間への変換は行列の形で表現され、過去のクリックデータを用いて機械学習によって推定される。この変換は、コンテキスト情報のベクトルと、学習によって得られた変換行列の演算によって行われるため実装が容易であり、既存の広告検索システムの内部に手を加える必要がない。一般的に、コンテキスト情報と広告テキスト空間の次元数はともに大きく、変換行列も巨大になる。本研究では、この巨大な変換行列を効率的に学習するために二段階のアプローチをとる。まず、過去のクリック率を用いた指標に従い、各コンテキスト特徴量に関連した広告テキスト特徴量を選択し、その後行列の学習を行う。この手法をYahoo!ディスプレイアドネットワークの配信システムログを用いて評価し、ベースラインの手法よりも良い結果が得られることを確認した。

次のような勝敗予測問題を考える．チームの集合S = (1,2,‥,m) を固定する．各試行 t = 1, 2,‥,T において，（i）予測者に対戦する2 チーム i_t と j_t （i_t, j_t \in S） が提示される．（ii）予測者はその対戦結果を予測する．予測は，任意の2 チーム間の対戦結果を事例空間とする確率分布モデルから適当な分布パラメータを選び，そのモデルに基づいて「チームi_t がチーム j_t に勝つ確率」を実数 p_t \in [0,1] として出力することで行われる．（iii）予測者は，チーム i_t が勝ったとき，損失 -ln p_t を，チーム j_t が勝ったとき損失 -ln(1-pt) を被る．（引き分けはない．）予測者の目標は，累積損失をできるだけ小さくすることである．予測者の性能は，予測者の累積損失と全ての事例(i_1 , j_1) , (i_2 , j_2), ‥ ,(i_T , j_T ) に対する最尤推定パラメータの累積損失との差（リグレット）により評価する．本研究では，確率分布モデルとして，Bradley-Terry モデル（BTモデル）を考える．BTモデルは，2 チーム間の対戦成績から各チームの強さパラメータの推定を行い，チームのランキングを求めるために提案された確率モデルである．また，現実の試合結果の多くがBT モデルに近いことが知られており，メージャーリーグのチーム力分析や，チェスの世界ランキングなどに用いられている．しかし，BT モデルに対して，最尤推定アルゴリズム[2] は知られているが，オンライン予測の分野でのリグレット解析は知られていない．そこで，まずオンライン凸最適化の手法を用いたBT モデルのオンライン推定アルゴリズムを提案し，そのリグレット上界を与える．次に，提案手法の問題点を挙げ、実際に提案手法が有効でない試合結果が存在することを証明する．また，提案手法に不利な人工データを用いた実験を行い，その結果を示す．最後に，最尤推定アルゴリズム[2] をオンライン予測に適用した新たな手法を紹介する．

We consider the computer graphics problem of automatically generating sumi-e style drawings using reinforcement learning. In our previous work presented at ICML2012, a brush agent was trained to generate smooth strokes to fill given boundaries under a pre-designed reward function. In this presentation, we extend this work and learn the reward function from user’s real brush stroke data by inverse reinforcement learning. This allows the brush agent to mimic the personal drawing style of the user. The effectiveness of our method is illustrated through experiments.

本研究は，ある事象を複数の観点から観測することができる場合の外れ値検出に関するものである．本研究で開発した手法を用いることで，各観点での観測を独立に確認するだけで判断できる外れ値だけではなく，複数観点での観測の間でのクラスタリングに不整合が生じる外れ値についても同時に検出が可能である．提案手法では，従来手法と異なり，各観点におけるクラスタ数を同一に揃えておく必要はなく，各観点の潜在的なクラスタ数をデータから自動的に獲得しつつ，それらクラスタリング結果の不整合性から外れ値を検出する．直感的かつシンプルで，非常に高速に動作する点も，本提案手法の大きな利点である．

大きな地震の後にはおびただしい数の余震が起こり、強い余震は被災地に追加的な被害をもたらす可能性がある。そのため被害を軽減する事を目的として、大きな余震の予測がこれまで行われてきた。例えば日本では気象庁が余震の確率的予測を行っており、典型的に本震後一日以上たってから予測が行われている。しかしながら、本震後数ヶ月に起こる大きな余震のうち約半数は、本震後一日以内に起こる事が知られており、より迅速に予測を行う事が望ましい。迅速の予測を行う上で問題になるのが、本震直後には地震観測網の検出能力を超える数の余震が起こるため、多くの余震が観測から漏れてしまうという事である。このようなデータの欠損が、初期の段階で正確な予測モデルをたてる事を難しくしている。そこで我々は、不完全な観測データから、実際にはどの程度の数の地震が起こっていたかを推定するために、データの欠損を特徴づける量である非定常な地震の検出確率を経験ベイズ法により推定する統計手法を開発した。そしてこの方法と、既存の余震の統計モデル（大森?宇津則、グーテンベルク−リヒター則）を組み合わせる事で、本震後約３時間後から精度の高い余震の確率予測が可能である事を、2011年東北地方太平洋沖地震の余震発生データを用いて実証した[1]。さらにこれらの結果に加えて本発表では、大森?宇津則を拡張したETASモデルを用いた予測方法についての検証や、その意義等などについての議論を行う予定である。[1] T. Omi, Y. Ogata, Y. Hirata and K. Aihara, “”Forecasting large aftershocks within one day after the main shock””, Scientific Reports 3, 2218 (2013).

推薦システムを構築するための協調フィルタリング手法をはじめ様々な応用をもつ行列補完問題は近年盛んに研究されている。しかし現実に得られる関係データ行列は疎であることが多いため、そのままアルゴリズムを適用すると過学習により大幅に精度が下がってしまう恐れがある。そこで補完の対象となる行列とは別の関係行列が持つ情報を利用するという転移学習の考え方に基づく行列補完手法が提案されている。本研究では、行と列のインデックスの定義域を共通にもつ複数の行列を対象として、そのうちのひとつに着目して補完を行う問題を考える。この問題は3階のテンソル型データ（多次元配列）の特定のスライス（行列）に着目して補完を行う問題であると考えることができるため、我々はこの問題を「集中型テンソル補完問題」と呼び、その解法を提案する。提案手法は、Panら(AAAI’10)による同一定義域間の行列転移学習法とMorenoら(CIKM’12)による異種定義域・複数行列からの行列転移学習法を組み合わせたモデルに対する簡便な解法となっており、いくつかのデータを用いた実験によって、転移学習を用いない方法や単一行列からの行列転移学習よりも優れた補完精度を示すことを確認した。

We consider online Markov decision processes, where the reward function is time dependent and can be even altered adversarially. The difficulty of the online setting is that the agent does not know anything about future environments. In this presentation, we give a proof that the regret against the best offline policy for an online policy gradient algorithm is O(log T), where T is the number of steps.

機械学習において，欠測を含むデータからの学習は重要な課題である．本研究では，制約付きボルツマンマシン（Restricted Boltzmann Machine; RBM）の，欠測データからの学習に焦点を当てる．RBMは無向グラフィカルモデルで表される潜在変数モデルであり，深層学習（Deep Learning）の実現を支える要として近年注目されている．欠測データからのRBMの最尤推定においては，欠測データ本来の尤度やその勾配計算が困難であることが問題となる．従来この計算困難性を回避するため，各データ点に異なるRBMモデルを仮定した代替の尤度を用いる方法がとられてきた．しかし，代替尤度によって学習されたモデルと，本来の尤度によって学習されたモデルとの関係は明らかになっていない．両者の関係を明らかにすることで，従来手法の妥当性の検証や，望ましい性質を持った新たなアルゴリズムの開発につながることが見込まれる．本発表では，代替尤度と本来の尤度との関係を評価し，その差がある量によって抑えられることを示す．またこの知見から新しいRBM学習アルゴリズムを提案する．提案手法は，本来の尤度の下界の単調増加を保証するという新しい性質を持っている．本発表では，提案手法と従来手法を数値実験により比較し，さらなる改善の余地について考察する．

Crowdsourcing is a promising tool for cheaply collecting labels from workers. Since workers are non-experts with various reliabilities, the collected labels are usually noisy. A standard solution is to assign each sample to multiple workers and combine the collected labels by voting. However, how to adaptively assign samples to be labeled to workers especially in a fixed budget scenario is still an open research question. In this presentation, we propose a novel strategy for budget allocation and adaptive task assignment in crowdsourcing and demonstrate its usefulness in experiments.

近年ハンドジェスチャー認識はHuman-computer interactionの分野で注目されている。本研究では、3次元Haar特徴を改良しそれを用いたハンドジェスチャー認識の手法を提案する。3次元Haar特徴は映像に対する特徴量で高速に計算することができ、歩行者認識の分野ですでに成功を収めている。我々はこの3次元Haar特徴に照明変化に頑強になるように改良を加えた。実験ではハンドジェスチャーデータセットを用いて提案手法と既存手法とを比較した。その結果、提案手法が一番よい精度であった。

Conditional density estimation is useful in analyzing complex datapossessing asymmetry, heteroscedasticity, and multimodality.Recently, the least-squares conditional density estimator (LSCDE) wasproposed and shown to be promising. However, estimating theconditional density is still challenging when the conditioningvariable has high dimensionality. In this presentation, we propose tocombine LSCDE with dimensionality reduction. Our key idea is, insteadof just performing LSCDE after sufficient dimensionality reduction(SDR), to perform LSCDE and SDR simultaneously in a integrated mannerbased on a square-loss variant of the conditional entropy. Weillustrate the usefulness of the proposed method through experiments.

緑内障は進行性の慢性疾患であり、その進行状況を早期から予測することは臨床において治療方針を決定するのに役立つ。従来の臨床における進行予測は患者個人ごとに線形回帰を用いており、ある程度の精度を保証する結果を得るには数回の測定が必要となる。本研究では空間特徴及び進行特徴の2段階からなる分析手法を提案する。まず行列分解により各患者から抽出した特徴を用いてクラスタリングを行うことで、視野障害の空間的パターンが類似している患者を集め、次に、視野障害の空間パターンが似た患者群に対し、重症の患者の症状は軽症の患者のある時間経過後の観測結果であると仮定し、時間シフト付き線形回帰による予測手法を定式化した。また、視野障害のパターンが似た患者同士でも進行速度が異なる患者が存在することから、進行速度クラスタリングによる予測手法を定式化した。緑内障患者データに対し交差確認法による性能評価を行った結果、提案手法は測定回数が極めて少ない状態において従来手法による予測精度を有意に上回ることが検証された。また、ある程度の測定回数がある状態でも、提案手法は従来手法の性能と同等かそれ以上の精度を持つことを確認した。

本発表では，いくつかの文脈自由言語の部分族について，理論的な精度保証のある確率的な学習が可能であることを示す．形式言語のアルゴリズム的な学習の研究において，文脈自由言語の学習は重要かつ困難な課題とされてきたが，近年 Distributional Learning と総称されるアプローチがブレークスルーをもたらし，いくつもの文脈自由言語の豊かな部分族が多様な学習枠組みにおいて効率的に学習可能であることが明らかにされてきた． Distributional Learning では，学習者は，与えられたサンプルの各文から，部分文字列とその前後の文脈とを分解・抽出し，どの部分文字列と文脈の再合成が学習対象言語に所属するか否か，部分文字列と文脈の関係を観察することで，文法を構築していく．従来の Distributional Learning の主要な結果では，アルゴリズムは教師に対する質問を用いて合成された文の対象言語への所属を判定しているが，実際の応用では教師は存在しないことが多く，これらの成果はもっぱら理論的なものにとどまっていた．実際の学習環境では正例のみが与えられることが多いため，正例のみから高確率高精度(PAC)で学習するアルゴリズムがより実践的であり，望ましい．本発表では，質問による所属判定を正例の出現頻度の観察で置き換えることで，先行研究で質問を用いて学習されていたいくつかの文脈自由言語の部分クラスが，ある条件下で，正例のみからPAC学習可能になることを示す．

We propose a method to estimate non-Gaussian components and their dependency structures. In this method, the statistical dependencies are defined by linear and energy correlations, and the structure among the components is determined by dependency parameters. By estimating the parameters from data, the structure can be flexible. In fact, the proposed method includes independent component analysis and its recent variant, correlated topographic analysis as special cases. We show that the components and dependency parameters can be estimated for several kinds of artificial data. Finally, to show the performance to real data, we apply it to natural images and outputs of simulated complex cells, and the results indicate the underlying relationship of estimated features.

本研究では，ボルツマンマシンのための新たなパラメーター推定法を提案する．ボルツマンマシンに対する最尤推定量は陽には求まらないため，勾配法でパラメーターを推定する．勾配の計算に必要な正規化項の計算は，指数オーダーの計算量を必要とするため，多くの近似計算法が提案されている． 本研究では，正規化項の計算をすることなく構成可能なボルツマンマシンのパラメーターの推定量を提案する．提案する推定量は，ある凸損失関数の最小化により定義され，一致性を持つ．

混合モデルや隠れマルコフモデルといった，離散隠れ変数モデルに対するモデル選択基準として因子化情報量基準(Factorized Information Criteria, FIC)が近年提案された．FICは漸近的に周辺尤度に一致し，最大化アルゴリズムの計算コストも低いことが知られている．本研究では，情報行列の漸近性質を解析することで，隠れ特徴モデルへFICを拡張した。また提案手法がIndianBuffet Processなどの他のベイズ的手法に比べ高速かつ高精度であることを計算機実験で確認した．

We consider the problem of learning a classifier only from positive and unlabeled samples. In this setting, a classifier can be successfully learned if the class prior is known. However, in practice, the class prior is unknown and must be estimated from data. In this presentation, we propose a method to estimate the class prior only from positive and unlabeled samples, and illustrate the superiority of the proposed method on benchmark datasets.

クラスタリングを行う際にラベルつきデータを活用する学習は半教師あり学習として知られている。本研究ではラベルつきデータとクラスタリングの対象となるデータでクラス事前確率が異なる状況を考える。生成モデルを用いた一般的なクラスタリングにおいてＥＭアルゴリズムを用いた最尤クラスタリングが主流であるが、完全データの周辺尤度を用いるベイズクラスタリングが高精度であることが示されている。本研究では上記のような半教師あり学習においてクラスタリング精度を導出し、ベイズクラスタリングが最尤クラスタリングに比べ有利であることを理論的に証明する。クラス数が減少する場合も解析が可能であり、クラスタリング精度の主要項が大きく変化することがわかった。

最適制御則から得られる状態系列をもとに、対応するコスト関数を推測する枠組みを逆強化学習と呼び、模倣・転移学習などの新しい手法として注目を集めている。通常の強化学習と異なり逆強化学習は不良設定問題であるため、様々な制約条件を導入することが適切なコストを推定するために必要である。近年、線形可解マルコフ決定過程に基づく強化学習法が提案されている。これは報酬・コスト関数を巧妙に制限することで、本来解くべき非線形微分方程式を線形微分方程式に変換した点に特徴がある。この枠組みでは、最適な状態遷移確率は学習前の（制御されていない）確率遷移確率と負の価値関数を指数関数によって変換したものの積に比例する形で記述される。この線形可解マルコフ決定過程を逆強化学習に適用した従来研究としてDvijotham and Todorov (2010)がある。彼らは従来の逆強化学習よりも高速に価値関数とコストを推定できることを示している。しかし彼らの手法は離散状態問題に対しては極めて有効であるが、連続状態問題に対しては困難な最適化問題を解く必要がある、また環境の遷移モデルが単純なものに限定されるといった問題があった。本研究では従来法の問題設定を捉え直すことで、負の価値関数を指数変換したものが最適な状態遷移確率と学習前の遷移確率の比で表現されることに着目する。この新しい設定のもとで、密度比推定の計算法を利用した効率の良い価値関数推定法を提案する。二つの条件付き確率の密度比を同時分布の密度比に変換するために状態に関する事前分布を導入することで、これまでに提案されている様々な密度比推定のアルゴリズムが適用できる。いったん価値関数が推定されれば、報酬予測誤差の最小化によって報酬・コストを決定できる。提案手法をまずマウンテンカーなどのベンチマーク課題に適用し、従来法、条件付き分布を個別に推定し比を計算する方法、密度比を直接推定する方法と比較し、逆強化学習が密度比推定によって効率よくとけることを示す。次にヒトの行動解析課題に適用する。タスクとしては振り子の振り上げ・安定化課題を取り上げ、複数の被験者のデータを解析する。実験結果より、実験条件ごとに異なるコストを用いている被験者もいれば、ほとんど同一のコストを用いている被験者も存在することを示し、提案手法が被験者の学習目的をうまく推定できることを示す。

DNAシーケンサーやタイピング技術の向上にともない、遺伝子情報を手に入れることが容易になった。そのため、この遺伝子情報をいかに活用していくかということは非常に重要な問題となってくる。そこで、本研究では遺伝子情報の中でも個人差を生み出す要因であるSNPに着目し、遺伝子疾患の原因となっているSNP間相互作用を見つけ出すことを可能にするアルゴリズムを提案する。これまで、単体のSNPが原因となって疾患が発現する場合についての研究はされてきたが、SNP間相互作用をターゲットとした研究はほとんど存在しなかった。それは、SNP間相互作用を見つけるには数百万単位で存在するSNPの組み合わせを考慮する必要があるためである。現在の高性能なコンピュータを用いれば2次の相互作用に限定した探索は行うことができるが、2次以外の相互作用は無視することになってしまう。さらに、3次以上になってくると組み合わせの数が膨大になってしまうため、3次以上の相互作用を見つけることは不可能である。つまり、3次以上のSNPの組み合わせ全てを探索するには、コンピュータの能力に頼りきったアルゴリズムでは膨大な計算時間が必要となってしまうために現実的な計算時間を実現することができないのである。そこで、本研究では統計的手法を用いて無駄を省いた効率的な探索を行うことで計算時間を短縮し、次数を限定することなくマルチにSNP間相互作用を探すことができるアルゴリズムを提案する。

ヒトゲノムの解読によって約30億塩基対から成るヒトの塩基配列全体の99.9%は個体間に違いはないが、残りの0.1%は個体間に違いがあることが明らかになった。この残りの0.1%はSNP（Single Nucleotide Polymorphism: 一塩基多型）と呼ばれ、1つのSNPだけでなく複数のSNPが相互作用することで容姿や体質、疾患や薬剤効果など様々な個体差を引き起こすと考えられている。つまり、SNP解析は疾患原因遺伝子の特定やテーラーメイド医療の実現、薬剤開発に役立てることができる。しかし、現状ではまだ実現できていない。それは個体差に関与するSNPの数は1つとは限らず、複数のSNPが相互作用していることがあるからである。一人当たりのSNPの数は数百万〜一千万塩基と膨大であるため、SNPの組み合わせの数はさらに膨大になる。これらすべてを直接的に計算する場合、膨大な計算量と多大な計算時間がかかるのでSNP解析の実用は困難である。従ってより効率的に個体差に関与するSNPを特定する手法を考える必要があるが、SNP解析ではどのSNPが関与しているかということ以前にどれだけのSNPが関与しているかが不明である。そこでどれだけのSNPが個体差に関与するかというSNP間相互作用の次数をカーネル法によって推定し、SNP解析の効率化を目指す。

混合モデルに基づく通常のトピックモデルとは異なり、Hoff(2002)のLatent space modelsの考え方に基づき単語に潜在座標を明示的に与え、その上でのガウス過程を考えることで、より高精度な文書モデルが得られることを示す。本研究は潜在層が二値ではなく、ガウス分布に従うRBMのベイズ生成モデルともみなすことができ、二値のRBMと異なり局所解に陥ることがなく、MCMCで容易に最適化できる。語彙や文書の共変量も利用することができるため、そうした実験も同時に行った。Exponential tiltingを行った測度の推定問題について議論したい。

We study map-matching, the problem of estimating the route that is traveled by a vehicle, where the points observed with the Global Positioning System are available. A state-of-the-art approach for this problem is a Hidden Markov Model (HMM). We propose a particular transition probability between latent road segments by the use of the number of turns in addition to the travel distance between the latent road segments. We use inverse reinforcement learning to estimate the importance of the number of turns relative to the travel distance. This estimated importance is incorporated in the transition probability of the HMM. We show, through numerical experiments, that the error of map-matching can be reduced substantially with the proposed transition probability.

脳内での情報表現はスパイクと呼ばれる神経細胞のインパルス信号によりなされている. Edgar Adrianによって発見された筋張力と神経細胞の発火頻度の相関関係は, スパイク列の発火頻度に神経情報が含まれていることを示唆するものであり, この仮説は一般にRate codeと呼ばれる. 近年は他にも多くの仮説も提唱されているが, その中でRate codeと対立し比較されるのはTemporal codeと呼ばれるスパイク時刻に着目したコーディング様式である. 　しかし, RateおよびTemporal codeは概念として相互排他であるわけではなく, 厳密な違いを定義することは難しい. スパイク時刻を定義するには時間幅を設ける必要があるが, 観測されるスパイクは有限の幅を持っており, またスパイク時刻をバースト的な活動が発生する時刻と解釈しなおすことも可能である. RateおよびTemporal codeはスパイク列の発火頻度の変化の速さをもって区別すべきであるという主張もなされているが, 確率的な振る舞いを持つスパイク列の発火頻度を一意に決定することは不可能である. 　今回我々はスパイク列の発火頻度をアナログ信号とデジタル信号に区別することで, 単一スパイク列からコーディング様式を選択することを提案する. 神経細胞の発火頻度が時間的に連続に変化するか, 二値の値を取るかを区別することは, 発火頻度に含まれた情報が時間発展する量としての二次元の情報であるか, バーストが起こる時間のみの一次元の情報であるかを区別することであり, 本質的にRate対Temporal codeの関係性に近い. このため, 我々は連続および二値の発火頻度を推定する2つの確率モデル(それぞれ, the empirical Bayes modelと the hidden Markov model) によりスパイク列の発火頻度を推定, これらのモデルの推定制度を比べることでスパイク列の発火頻度をアナログとデジタル信号に分類した. コーディング様式の選択手法の正当性はシミュレーションにより確認し, サルの視覚に関連した領野より計測されてスパイクデータに手法を適用することで各領野において用いられているコーディング様式に違いがあることを示した.

近年，独立成分分析の金融データへの応用が注目されている．これは，共通の隠れた要因を持つと思われるような，並列に進行する金融の時系列データ，すなわち為替レートや日々の株の売買価格などに対し，独立な潜在変数の線形結合によって生成されていると見なし独立成分分析を行うことにより，それらを駆動している機構を解明するという着想に依っている．本稿では，観測された多変量時系列データにおける急激な振る舞いの変化を，独立成分分析で得られた潜在変数上で捉える手法を提案する．すなわち，観測変数が独立な潜在変数に従って生成されていると仮定し，観測変数を見ているだけでは必ずしも捉えられない振る舞いの変化点を，潜在変数上で捉えることにより何らかの有用な知見を得ようとするものである．本手法が検知することのできる変化は二種類である．一つは，一部の潜在変数上，すなわち独立成分上に起こる著しい振る舞いの変化である．各独立変数に対して変化点検知の手法を独立に用いることで検知する手法を提案した．もう一つは，潜在変数の次元の変化，すなわち独立成分数の増減である．これは潜在的な構造の変化であり，動的モデル選択を適用することでその構造変化を追跡する．

本研究では，異常の発生前後のセンサーデータを対比することでそこから異常に寄与しているセンサーを発見する異常箇所同定手法を提案する．従来の方法とは異なり，提案法では問題を「正常なセンサーの同定問題」として定式化し，同定された正常センサー群の補集合として異常センサー群を得る．具体的には，まず異常発生前後のデータをそれぞれ重み付きグラフへと変換し，次にこれら2つのグラフ間の変化を表現する””k-疎部分グラフ””を見つけ出す疎部分グラフ問題を解いて正常センサー群を推定する．疎部分グラフ問題は一般にNP困難であるが，我々は既存の整数計画ソルバーを用いることでセンサー数が100程度の問題までは十分に扱えることを実証し，さらにより大規模の問題へ対応するための凸近似解法を提案する．また，複数の人工データおよび実データ実験により提案法が従来法よりも高い異常箇所同定性能を有することを確認した．

クラウドソーシングとは、不特定多数のワーカーに仕事を依頼するシステムの総称である。企業がクラウドソーシングを用いて仕事を依頼する際には、仕事のインスタンスに企業の秘匿情報が含まれることが多い。例えば、文字の書き起こしの仕事では元の書類、音声の書き起こしの仕事では音声、写真のタグ付けでは写真自体に秘匿情報が含まれる。そのため企業がクラウドソーシングを用いることが困難となっている。しかし、その数理的な扱いの困難さゆえに、インスタンスプライバシの保護を目的とした研究はほとんど行われていない。本研究ではインスタンスプライバシを保護しつつ仕事を依頼する手法として分割統治法を提案する。インスタンスを細かく分割して仕事を依頼し、得られた成果物を統合することで元のインスタンスに対する成果物を得るという手法である。提案手法を写真中の顔を隠すタスクに適用し、プライバシ保護と成果物の品質に関する性能を実験的に評価し、手法の有用性を検証する。

計算機性能の向上とアルゴリズム面の進歩により、タンパク質の折り畳みやリガンド結合などの生体内イベントを分子動力学法(Molecular Dynamics, MD)を用いてシミュレーションすることが可能となった。MDから得られたタンパク質モーションの時系列データからの特徴的モーション抽出が、折り畳みなどのメカニズムに対する詳細な理解につながると期待されている。タンパク質モーション時系列データからの特徴的モーション抽出のために、これまでに主成分分析を用いたEssential Dynamics Analysisなどが提案されてきた。しかし、線形手法に基づく手法ではタンパク質の非線形モーションを扱いにくいという問題がある。一方で、非線形性を扱うことのできる多様体学習に基づく手法では、タンパク質形状の急激な変化や、時系列データのサブサンプリングによって複数のデータ多様体が形成された場合に、多様体のユークリッド空間への埋め込みが難しくなり、非線形モーションの特徴を反映しにくいという問題がある。本研究では、データが複数の多様体に分割された場合にも適用可能な非線形なタンパク質モーションの抽出手法の提案を行った。本手法では、多様体学習の代表的な手法であるIsomapのアイディアに基づいて、各データのk-近傍グラフを構成することにより、データ多様体を近似する。この際に従来法とは異なり、分割された部分グラフの埋め込みを行わずに各部分グラフ1つのクラスタとみなし、クラスタを頂点、クラスタ間の遷移を辺とする有向グラフを構成する。構成された有向グラフはタンパク質の状態遷移を表すグラフとみなせるため、これを状態遷移グラフと呼ぶ。状態遷移グラフの各辺における構造変化を可視化することにより、タンパク質のモーションを抽出することができる。提案手法によるタンパク質の非線形モーション抽出可能性を確認するために、Ensignらによって構築されたニワトリのVillin Headpieceドメイン(HP-35 NleNle)のモーション時系列データに対して、提案法を適用した。その結果、HP-35 NleNleの末端部分の回転によってα-helixが形成される様子などを抽出可能であることが確認された。

推薦システムは、ユーザーがアイテムに評価した評価値を学習して構築される。しかし、ユーザーの評価には偏りがある。ユーザーはすべてのアイテムに評価するのではなく、評価したいアイテムを選ぶ。そのため、ユーザーが付ける評価値は高くなる傾向がある。その評価値だけを用いて構築された推薦システムは、アイテムの評価値を高く予想してしまう。これを防ぐために、あるユーザーがあるアイテムに評価していない場合、その評価値は低いとみなす手法が有効であることが近年の研究で知られている。つまり、欠損値を低い評価値とみなすものである。また、推薦システムを構築する際に、低い評価値とみなした欠損値を既存の評価値に比べてどの程度重視するかが重要であり、重み付けして取り扱う。私達の研究で、その重み付けが一様の場合には、人気のないアイテムの評価値が過剰に低く予測されることを指摘する。そこで、その問題を解消するために、アイテムの人気に応じた重み付けを提案する。この重み付けは１つのパラメータのみを用いており、パラメータの決め方も容易である。さらに、パラメータがある一定の範囲にある時、推薦システムは高い性能を示す。

Non-negative Tensor Factorization (NTF)は、非負テンソルをスパースかつ理解しやすい因子行列に分解する技術であり、欠損値推定やノイズ除去、辞書学習などの分野で広く利用されている。しかし、NTFはテンソルに占める零要素の割合が大きくなるにつれ、その汎化性能が悪化する問題をもつ。この問題を解決するために、本研究ではNon-negative Tensor Factorization (NMTF)を提案する。NMTFは、分解対象のテンソルとインデクスを共有する補助テンソルを同時に分解する。NMTFは、補助テンソルによって上記の零要素の割合が大きい場合の問題を緩和する。本研究では、一般化KLダイバージェンスを用いてNMTFの定式化を行う。次に補助関数法を用いてパラメータの局所最適解を求める乗法的更新則を導出する。人工データセットと実データセットを用いた評価実験を行い、NMTFのNTFに対する定量的優位性を示す。また、評価実験で用いたYelp（オンラインレビューサービス）データセットから得られた因子行列を時空間パタンとして可視化し、NMTFの定性的な優位性を確認する。

構文解析を用いて文法を考慮した単語の共起情報を活用し、web文書を対象とした評判分析、特に評判の要約（属性とその内容の特定）を目指す。トピックモデル、教師あり学習によるアプローチの有効性を検討する。

代表的な半教師あり学習法である Semi-Supervised Gaussian Mixture Model とSemi-Supervised Support Vector Machine，さらにカーネルロジスティック回帰を半教師あり学習に新たに拡張した手法であるSemi-Supervised Kernel Logistic Regression のそれぞれを，加速度データに適用して，分類性能の比較検討を行なう．

カーネル法はデータをより高次元な特徴空間へ写像する手法である。特徴空間における線形部分空間はデータ空間における非線形な部分集合に相当する。このことを利用してデータが持つ非線形な構造を取り出すことが可能になる。Scholkopfらによって提唱されたカーネル主成分分析(Kernel Principal Component Analysis、KPCA)は、カーネル法によって特徴空間上に写像されたデータに対して主成分分析を行う手法である。カーネル法による学習能力はカーネルパラメータの値に大きく依存する。カーネル法の能力を最大限に引き出すためには最適なカーネルパラメータを設定する必要があるが、その設定方法は未解決の問題であり、抽出されるデータ構造がカーネルの最適化に対してユニークであるかどうかについても解明されていない。本研究では、カーネル関数としてよく利用されるガウスカーネルをもとにカーネルパラメータの最適化を行い、抽出されるデータ構造がユニークであるかどうかについて実験的検討を行った。第１主成分(PC1)と第２主成分(PC2)の累積寄与率を目的関数として採用し、マルコフ連鎖モンテカルロ法による最大化を行った。MCMC法における定常状態における累積寄与率の値とPC1-PC2プロット(PC1を横軸、PC2を縦軸にサンプルをプロットしたグラフ)におけるサンプル集合の形状を考察した。ディスカッショントラックにおける発表では、計算機実験の結果を紹介し、異なる局所解において抽出される非線形構造は一般に局所解に応じて異なりユニークとは限らないこと、および、累積寄与率が最大となる解において抽出される非線形構造がユニークであるかどうかの検討について述べる。

近年，文書データの大規模化が進み，それらを組織化して管理する技術の必要性が増大している．一方，MEDLINEなどにおける文書データは人手によって付与されたカテゴリ階層を持ち，人の効率的な情報へのアクセスを補助している．しかし，新しい概念や話題は日々現れるため，ある新しい概念を含む文書を既知階層中のあるノードに配置するだけでは，情報へのアクセスの効率性が損なわれる可能性がある．そこで，ノードの挿入・分割の示唆を行う応用技術への活用を目的として，既知である観測カテゴリ階層も利用した，データに潜在する概念の階層を発見する技術が必要とされる．潜在トピックで構成される木構造の階層を大規模な文書データから学習する手法として，hierarchical Latent Dirichlet Allocation (hLDA)に代表される階層的トピックモデルが存在する．特に，カテゴリ階層が付与された文書データを対象として，その階層を教師情報として利用して，階層の葉ノードの潜在的な子孫ノードをデータから学習するSemi-Supervised Hierarchical LDA (SSHLDA)が提案されている．SSHLDAは従来の階層的トピックモデルよりモデリング性能が改善されることが報告されている．しかし，SSHLDAを含む従来手法は観測階層の葉ノードにのみ文書が配置されたデータを対象としており，任意ノードに文書が配置されたデータを対象としたモデルは我々の知る限り存在しない．先に述べた応用技術を考慮したとき，階層中のどのノードに対しても子孫潜在ノードを推定できる手法が必要になると考えられる．そこで，我々は観測階層の任意ノードから子孫潜在ノードを学習できるトピックモデルであるGeneralized SSHLDA (G-SSHLDA)を提案する．G-SSHLDAによって観測階層中の任意ノードから子孫潜在ノードを学習し，その後に接ぎ木ノードの選択を行うことで，観測ノードと潜在ノードが統合されたカテゴリ階層が得られる．実験では，MEDLINEデータセットに対して提案モデルと関連モデルの推定を行い，推定されたトピック階層の質を定量的・定性的に評価し、比較する．また，カテゴリ階層に配置される文書データの増加による階層の構造変化の予測のような，提案手法の応用可能性を示すための実験について検討する．

教師なしで多対多対応を見つけるための潜在変数モデルを提案する。提案法では複数のドメインのデータが共通の潜在構造を持つと仮定する。異なるドメインのデータをドメイン固有の関数を用いて共有の潜在空間に写像し、潜在空間上で全データをクラスタリングすることにより、多対多対応を見つける。提案法ではドメイン間の距離尺度や対応事例などの教師情報を必要としない。実験により従来法よりも高い精度でマッチングできることを示す。

近年、文字列、木構造、グラフ構造など非ベクトル型データとして表現される構造データに対する学習の重要性は年々増加している。このような構造データに対する強力な学習手法の一つとしてカーネル法があり、代表的な学習器としてサポートベクトルマシン(SVM)がある。しかし、一般にカーネル関数を用いたSVM学習の計算量は入力のデータ数nについてO(n^2)であり、大規模データに対する学習は困難である。本発表では木の垂直方向のパスを特徴として用いる部分パス木カーネルに着目し、切断法とXBWというラベル付き木に対する簡潔データ構造を用いることで、高速かつ非常に省メモリである学習アルゴリズムを提案する。提案アルゴリズムの時間計算量はデータ数n、木構造の平均ノード数TについてO(nT^2)であり、データ数に関して線形である。なおかつ空間計算量は、木構造のラベル数をΣとすると、ラベル付き木の情報論的下限である2nT+nTlogΣに漸近する。

脳波データに基づいて脳内部状態のデコーディングを行うさい、頭表上に空間的に分布する複数チャネル時系列信号の特徴抽出が重要である。このさい、脳波にコーディングされた情報が何らかの時空間構造を持つことが想定されるが、その具体的な姿はあらかじめ十分に明らかではない。一方で、脳波信号の中にはデコードしたい情報ラベルに関係のない活動も現れていることは明らかであるため、必要な特徴を抽出する一方で、不必要な特徴はノイズとして捨てねばならない。そこで我々は、まず各チャネルの脳波信号時系列にウェーブレット変換を施すことによって基礎となる特徴量を網羅的に抽出した後、この結果を深層神経回路網モデルでまとめあげるアーキテクチャによって、時空間構造を用いた特徴に基づく判別関数を得る工夫を行った。さらに、深層神経回路網のプレトレーニング過程にデコード対象ラベルを含まないデータを利用することによっても性能改善を図った。実験では、教師付き学習と、半教師付き学習の2種設定のもとで性能を比較し、ラベル無しデータ利用の効果を示す。また、学習の内部的途中過程の様子についても可視化して基底学習の効果を考察する。

データ解析を外部委託する仕組みの一つに、Kaggle等のデータ解析コンペティションがある。データ解析コンペティションを用いると、複数のデータ解析技術者にデータ解析を依頼することができる。具体的には、何らかの予測を行いたいデータと予測結果の正解を提出し、予測モデルの構築を依頼する。数週間〜数ヶ月程度のコンペティション開催期間中、参加者達はモデルを適宜提出し、予測精度を他の参加者と競い合いながらモデルの改善に取り組み優勝を目指す。特定の問題において高い予測精度の達成を目指す場合、洗練された汎用的なアルゴリズムが最良であるとは限らず、しばしば、単純な手法にデータ固有のヒューリスティックスを組み合わせた方法がいい場合もある。多数のデータ解析技術者それぞれが独自の技能・センスを駆使して予測モデルの構築に取り組むデータ解析コンペティションは、予測モデルのさまざまな可能性を多人数に試してもらう新しいデータ解析アプローチを提供していると捉えることもできる。さらに、提出された多様な予測モデルを組み合わせることで、優勝モデルを上回る予測モデルを構築できる可能性もある。我々は、国内のデータ解析コンペティションプラットフォームであるCrowdSolvingにおいて実際にデータ解析コンペティションを開催し、優勝モデルの予測精度が、既存の汎用的な手法を用いて構築したモデルの精度を上回ることを確認した。さらに、参加者の予測結果を組み合わせて構築したモデルが、優勝モデルよりも高い予測精度を達成することを確認した。

近年，ソーシャルネットワークサービス（SNS）の発展に伴い，Web上で外国語学習者同士が協力して学習を行う「語学学習用SNS」の利用が定着してきた．このようなサービスには，smart.fm（現iKnow）やLang-8が挙げられる．語学学習用SNSの友人関係は，通常のSNSと同様，ユーザをノードとみなしたグラフを用いて表現可能である．語学学習用SNSでは，グラフに加えて，個々のユーザ（ノード）に対して語学学習履歴（過去に学習した語・フレーズと，それらを記憶している度合い）の情報が紐付いている．本研究の目的は，次の2点である．１）まず，心理言語学・社会言語学的な興味から，語彙力と友人関係の相関の程度を明らかにしたい．また，語学学習履歴は，氏名・性別・友人関係などと異なり，個人情報としてどの程度厳密に管理すればよいのかが分かっていない．そこで，２）語学学習履歴から，どの程度友人関係が予測し得るのかを明らかにしたい．本研究では，2010年7月にsmart.fmのAPIを通じて収集したデータに対して，友人関係を枝とみなしたグラフを作り，その上で，ロジスティック回帰によるリンク予測を行う[Oyama04,鹿島07]．また，リンク予測とは別に，項目反応理論を用いて，語学学習履歴から，学習者の語彙力を推定する．学習者の語彙力を特徴量として，リンク予測に寄与する程度を見ることにより，１）に回答する．また，語彙力に限らず，語学学習履歴全てから様々な特徴量を抽出し，それらの特徴量がリンク予測に寄与する程度を見ることにより，２）に回答する．

近年，ソーシャルメディアを典型としてネットワークとして表現できるデータが多く存在する．このネットワークデータを分析することにより，コミュニティを発見して有用な知見を得たり，未観測のリンクを予測することなどが重要な課題となっている．また，様々なネットワーク構造を持つ情報の増加により，ネットワークに対するベイズ的アプローチによるモデリングが盛んに研究されている．代表的なモデルとしてトピックモデルがあり，その代表として潜在的ディリクレ配分法(LDA)が挙げられる．これは，ネットワークだけでなく文書など多様なデータに適用されている．また，別のアプローチとして確率論的ブロックモデル(StochasticBlock Models:SBM)が挙げられる．これは，ネットワークのクラスタリングタスクなどに使われてきた．これらのベイズ的アプローチの流れを受けた，混合メンバーシップ・ブロックモデル(Mixed Menbership Stochastic Blockodels:MMSB) というモデルがある．これはLDAとSBM の概念を組み合わせ，ネットワークのモデリングを行うモデルである．ノードに潜在的なグループを割り当て，グループ対に対してリンクが生成される尤度を推定する．従来は，コミュニティ発見などに用いられてきており，その表現能力は従来のモデルよりも高いことが示されている．しかし，この手法は，観測されたネットワーク構造全体を通して学習することを仮定している．従って、リンク予測が求められるたびに全グループを決定しなければならない．つまり，既存手法では，時間とともに情報が増加するという現実的特徴に対応することが容易ではない．そこで本稿では，最初に，パーティクルフィルタと呼ばれる逐次モンテカルロ法によるMMSBの逐次推定を検討する．次に，時間の経過に伴ったネットワークの変化を捉え，変化が起こった場合に選択的に過去を破棄する手法(time-dependent algorithm)を提案する．そして，e-mailデータセットを用いてモデル推定時間とその精度を比較した．その結果，パーティクルフィルタの有効性を示すことができた．また，過去を破棄する手法をパーティクルフィルタに組み合わせることにより，通常のパーティクルフィルタを上回る精度を示すことが出来た．

本研究では, 確率密度関数 p(x) の対数の x に関する微分 (以下, 対数密度微分と呼ぶ.) を推定する問題を考える. 最も単純な方法は, 確率密度関数を推定後, その対数とその微分を計算することであろう. しかし, 高次元空間で精度良く確率密度関数を推定することは困難であり, また, 仮に確率密度関数を推定できたとしても, その対数密度微分が推定できているとは限らない. そこで本発表では, Hyv?rinen (2005) による score matching 法の考え方を用いて, 対数密度微分を直接ノンパラメトリック推定できる手法を提案し, その有効性を数値実験により示す.

本発表では，時系列臨床データの変化点抽出における説明変数の選択と考察について報告する。慢性心不全の患者が腎機能障害を併発すると，薬物治療が難しくなる。これは，心不全の治療に用いられる薬の一部が腎機能を悪化させるためである。こうした状態下の治療は治療指針が確立されておらず，そのため医師の試行錯誤に委ねられている。そこで，慢性心不全の薬物療法において，患者の状態が悪化した際に医師がどのような対処（処方の変化）を行っているかを解析することを目指している。患者の状態は検査値を離散化して分類することが多い。しかし，今回用いた検査値（BNP，CRE）の変動幅は患者ごとに大きく異なるため分類が難しい。そのため，絶対値によって一律に分類できないような検査値において，いかに正確に興味のある変化点を検出できるかが課題となった。約40種の薬剤について処方の変化（開始，終了，増量，減量など）をビットベクトルで表現し，その際の検査値（BNP，CRE）の変化量との関連をLasso回帰によって解析した。検査値の悪化や改善の際に見られる処方変化の頻出パターンを抽出した。

The Markov chain is a convenient tool to represent the dynamic systems, where stochastic transition takes place between internal states. A Markov chain is characterized by initial-state probabilities and a state-transition probability matrix. In the traditional setting, a major goal is to figure out properties of a Markov chain given those probabilities. Here we tackle an inverse version of the problem, where those probabilities are inferred from observations at a limited number of states. The observations include the frequency of visiting a state and the rate of reaching a state from another. Practical examples of this task include traffic monitoring systems in cities, where we need to infer the traffic volume on every single link on a road network from a very limited number of observation points. We formulate this task as a regularized optimization problem. Using synthetic and real-world data sets including city traffic monitoring data, we demonstrate the effectiveness of our method.

本発表では、無限関係モデル(Infinite Relational Model, IRM)に対する周辺化変分ベイズ法による推論についての検討を報告する。これまで、多くの確率モデルのベイズ推論では周辺化ギブスサンプリングが最も正確であり、一方で変分ベイズ法は決定的かつ収束保証があったがしばしば局所解にトラップされ質の悪い解を与えることがある、というトレードオフが認識されていた。周辺化変分ベイズ法はこのトレードオフを高いレベルで達成する学習法である。LDAをはじめとするトピックモデルに対する学習では、周辺化ギブスサンプリングに匹敵する品質の解を少ない繰り返し計算回数で達成することが多数報告されている。しかし、トピックモデルはシンプルな混合モデルであり、さらに複雑な構造を持つモデルに対する周辺化変分ベイズ法の有効性の検証はHMM, PCFGなどを例外としてまだ手付かずである。本発表では、関係データクラスタリング手法であるIRMに対する周辺化変分ベイズ法の有効性を検証する。変分下限の定義に基づいて、テイラー展開との組み合わせによるアルゴリズムの導出を行った。複数のデータに対して周辺化ギブスサンプリングおよび変分ベイズ法と比較した結果、良好な結果を得ることが確認できた。

確率的生成モデルにおいて，観測変数と潜在変数との間の関係を定量的に評価することは，モデルの開発，利用，理解のために重要である．学習後のモデルにより推定あるいはサンプルされた潜在データは，様々な情報処理タスクや，次層のモデルの学習対象データとして利用されている．多くの生成モデルが提案されている中で，潜在データの利用効果をより高めていくには，生成モデルのどのような性質が，観測変数と潜在変数間のどのような関係性に影響を与えるのかを，様々な側面から定量的に明らかにしていく必要がある．そのための観測変数と潜在変数の関係の定量的な評価指標の一つとして，本発表では，latent-observed dissimilarity (LOD) を提案する．LOD は，データが与えられたとき，観測変数の確率と潜在変数の確率とがどの程度似た振る舞いを示すかを評価する（非）類似度の指標である．観測変数の空間と潜在変数の空間とは別の空間であるため，両者の確率分布に対して，KLダイバージェンスのような非類似度をそのまま定義することはできない．そこで，提案指標では，観測変数の空間上に，観測変数が与えられたもとでの潜在変数の情報量の期待値に基づいて確率分布を定義し，その定義された分布と観測変数の分布とに対して非類似度を評価する．数値例として，変数の独立性や条件付き独立性に関する仮定の異なる数種類のモデルの学習結果を提案指標を用いて評価し，モデルの仮定の違いが，提案指標および既存の指標にどのように反映されるかを示す．

一般に探索空間の大きな問題に対する学習は、困難である。強化学習においては、高次元状態空間をもつ問題がそれに該当する。状態価値関数も方策関数も状態の関数であるため、高次元の状態空間をもつ問題に対してはその自由度を制約するために適切な低い自由度をもつ関数の学習に置き換えることが重要となる。本研究では、高次元状態空間を有するが、初期状態が限られている問題を想定し、状態空間に非依存でかつ時刻依存の関数の学習を提案する。これによって大幅な探索空間の圧縮が可能となり、状態空間の大きな問題への適用が可能となったり、状態空間の小さな問題においても学習の高速化が可能となる。本手法を猫ひねり問題と呼ばれる非ホロノミック拘束をもつシステムの制御に適用した際の結果を、最近の方策勾配法であるGPOMDPによる結果と比較することで、その有効性を議論する。

We propose a training algorithm for Restricted Boltzmann Machines (RBMs) that maximizes data information encoded in their hidden units. When RBMs are applied to continuous data, such as natural images, they tend to gain less-informative, uniform feature detectors. Such detectors often degrades the system performance on various kinds of tasks including classification. We hypothesized that such uniform detectors are generated due to strong generalization power of RBMs and developed a regularized RBM algorithm that maximizes data information encoded by RBMs. Experiments on natural images revealed that our algorithm successfully suppress the generation of uniform detectors.

近年，確率分布の代わりにカーネル平均を使ってベイズ推論を行うカーネルベイズ推論の研究がされている．基本的推論方法であるカーネル和公式やカーネルベイズ則が提案され，時系列モデル(kernel HMM)や, 強化学習(MDP, POMDP，PSR)への応用研究がされている．カーネル平均は，確率分布の特徴空間(再生核ヒルベルト空間)での平均で与えられ，正定値カーネルは，カーネル平均によって確率分布が一意に定まるように特性的カーネルが使われている．R^d上の平行移動不変な正定値カーネルが特性的カーネルとなるための必要十分条件は，正値関数のフーリエ変換のサポートがR^d全体になることが知られている．本研究では，確率分布の無限分解可能性に着目したカーネル平均の考察を行う．特に，特性的カーネルの十分条件として，一般に対称かつ無限分解可能な確率密度を正値関数とする平行移動不変カーネルは特性的カーネルになることを示す．特殊な場合として，このクラスに属する対称安定分布と対称一般化双曲型(GH)分布が作る特性的カーネルを考えた場合，安定分布と一般化双曲型(GH)分布の部分クラスであるnormal inverse Gaussian (NIG)分布とvariance gamma (VG)分布のカーネル平均は，同じクラスに属する確率密度関数で与えられることを示す．通常，カーネル平均の推定量は特徴写像の線形和で構成されるが，新しく(陽に得られる)これらカーネル平均の線形和を使って推定量を構成することなどが考えられる．カーネル和公式や,カーネル平均から混合分布を使って確率密度を復元する際の混合比の学習などへの応用を考えることができる．

ネットワーク上のクラスタ構造の推定のために，無限関係モデルがこれまでに提案されている．本研究では，無限関係モデルの変分ベイズ学習に注目する．無限関係モデルは通常の変分ベイズ法と，周辺化変分ベイズ法を適用できる．本研究では，これらの推論アルゴリズムをそれぞれ導出し，実際のネットワークデータに対して評価を行った．実験結果より，ネットワーク内のリンクの密度に応じて，アルゴリズムの優劣関係が変化することが示唆されることを確認した．

癌はゲノムの病気である．化学物質や放射能，炎症など外部の刺激により引き起こされたゲノム変異により，細胞の生理学的な性質が変化し，増殖の異常等をきたすことにより癌は生じる．近年のハイスループットシークエンス技術の発展により，癌ゲノムにおける後天的変異の網羅的な検出が可能になった．これに伴い，癌ゲノムにおける変異のパターン(以後mutation signature)とゲノム変異を引き起こす変異原との関連性が少しずつ明らかになりつつある．例えば，皮膚がんにおけるUV radiationは C > T ( G > A) の変異を誘導し，喫煙者の肺癌では C > A (G > T) 変異が有意に多いことが観察されている． さらに，変異塩基の前後のコンテクストも重要な情報であることが分かり，例えば，APOBEC酵素は，TpCpNの塩基において C>T の変異を誘導することが発見された．癌ゲノムの変異プロファイルから有意に生じているmutation signatureを抽出し，癌細胞の分類を行うアプローチとしては，Nonnegative Matrix Factorizationを用いたアプローチが提案されており，このアプローチにより近年，7042の癌ゲノムデータから得られた変異プロファイルが解析され，21のmutation signatureがあることを示された(Alexandrov et al., Nature, 2013)．さらに，有意に生じているmutation signatureを新たな統計学的な方法論によりマイニングすることで，癌の効果的な分類法の開発，癌の発病機序のメカニズムの理解につながることが期待されている．本発表においては，癌に変異が生じる過程をHierarchical Dirichlet Process（HDP, Teh et al., JASA, 2006）に基づいた確率モデルとして表現した，新たなmutation signatureの抽出のための統計モデルを提案する．また，提案したモデルと，自然言語分野において重要なモデルであるLatent Dirichlet Allocation(LDA, Blei et al., JMLR, 2003)や，HDP-LDAとの関連性についての議論を行う．

ニュースサイトやソーシャルブックマークなどのCGMにおいて、自動的なタグ付けやタグ推薦の機能は、サービスの利便性向上のために重要な要素である。これらの機能を実現するために、異なる評価軸を重視する様々な手法が提案されてきた。しかし上述のようなCGMでは生成されるデータ量が多いため、このようなビッグデータに対してタグ付けを行うには、評価軸の中でも処理速度とスケールアウト性（分散処理可能か）を重視した手法を提案する必要がある。本発表では、精度を損なわずに処理速度を向上させる、文書への自動タグ付け手法の検討を行う。

　道路ネットワーク上の交通流の状態を把握する手法として，車両感知器やプローブカーがある．車両感知器は，道路上に設置された固定式されており，定常的にデータを収集することが可能であるが，固定式装置のため空間カバー範囲が限定されており，主要走路を中心に感知器は設置されているため，大きな空間的な欠損を含んでいる．また，プローブカーを利用した観測では，GPS(Global Positioning System) 受信機を搭載した車両が衛星通信により車両の存在位置を特定し，位置と時間が秒単位で記録を行う．プローブカーデータは，車両自体がセンサーとなるため，空間的に広範囲な交通情報が収集可能であるが，時間帯，区間ごとに取得データ数にばらつきがあり，またプローブデータを提供できる車両数は限定的であるため，時空間的に大きな欠損を含む．このように，観測可能な交通状態データには時空間的な制約が存在する．　しかし，これらのモニタリングをネットワーク全体に広げることは，費用面でも情報効率性の面でも望ましくない．人々の日々の交通行動は全くランダムなものではなく，その結果として生じるネットワーク状況にも，一定のパターンや統計的性質が生まれるだろう．このようなネットワーク上の交通状態を統計的に把握するモデルは，実用上有用である．　これまでに，ガウシアングラフィカルモデルを用いて，車両感知器やプローブカーデータなどの部分的な道路交通情報から，交通状態が不明な道路の状態の予測を行った，片岡ら（2012）の研究がある．しかし，片岡らの方法では，確率モデルのパラメータ推定において，全道路リンクの交通状態データが必要という問題点があった．　そこで本研究の目的は，長期間にわたって収集された，未観測道路を含む道路リンクの部分観測データを用いて，統計的に確率モデルを推定を行うことである．具体的には，上記のような時空間的な観測上の制約が存在するプローブカーデータに対して，EMアルゴリズムを用いることにより，片岡らのモデルによる予測のためのパラメータ推定を行う手法を提案し，得られた確率モデルを用いて，未観測道路リンクの交通状態の補間推定を行う．

低品質な画像データの時系列から、そこに写り込んだ道路の交通速度を推定する問題を考える。通常、隣接フレーム間における車両の移動距離を計算することで交通速度を求めるが、移動距離の計測を行うには隣接する複数フレームにおいて同一の車両が写り込んでいる必要がある。しかしながら、そのレベルの高フレームレートな時系列画像データが得られることは必ずしも一般的ではない。例えば、インターネット上に公開されている多くのウェブカメラ画像は、画像の取得間隔が数秒に１回以下に設定され、同一車両の追跡は困難である。本研究では、隣接する時系列画像間で同一の車両が写らない程に低フレームレートな場合において、時系列画像データから交通速度推定を行う方法を提案する。提案法では、まず各画像内の車両台数を推定し、車両台数時系列の観測過程を、速度をパラメータとして持つ確率モデルで表現する。その上で、そのパラメータの推定問題をフルベイズ推定の枠組みで解く。実データを用いた実験において、低フレームレート条件でも提案法が良好に速度推定を行えることを確かめた。

データ分析手法の1つに，潜在的ディリクレ配分法（Latent Dirichlet Allocation: LDA）を典型とするトピックモデルが挙げられる．トピックモデルとは，ある文書集合に対して，文書と単語の間にトピックという潜在変数を仮定し，文書における単語はそのトピックの混合分布から生成される，と仮定した確率的生成モデルである．トピックモデルは，文書データに限らず，様々なグループ構造を持つデータに応用することで情報検索や情報推薦などに役立てることができる．LDAはパラメトリックベイズモデル，すなわちトピック数が事前に与えられることを想定したモデルである．与えられたデータに対し最適なトピック数を決定することはしばしば容易でない．この問題を解決するためにノンパラメトリックベイズアプローチである階層ディリクレ過程（Hierarchical Dirichlet Processes: HDP）をLDAに適用することでデータから最適なトピック数を自動で推定することができる．しかしながら，階層ディリクレ過程を用いたLDAはそうでない場合と比べ多大な計算コストがかかるので，大規模なデータを学習するには膨大な計算時間が必要となる．この問題を解決するために本研究では，階層ディリクレ過程の推定のため，サンプリングスキームの1つであるChinese Restaurant Franchiseに基づく推定手法を分散並列化することにより，より大規模なデータに対してより効率的な推定の実現を目指す．また，クラウド環境にて実データを用いた実験を行い，提案手法の有効性およびその特性を示す．

心不全患者の状態を決める指標としてBNPとCREという検査値を用い、患者の状態に対して医者が薬剤の処方という行動を行うMDPモデルを考える。利用される薬剤は有効成分の分類（中分類）で14種類あり、患者の状態に応じてどのような処方が適切であるかを強化学習によって知りたいが、既に14種類ではデータ数に対して状態空間が広すぎることが分かっている。14種類の中には似たような効果を持つものもあり、それらは医学的知識によって3種の大分類にまとめられることが分かっているが、行動集合の要素が3個では小さすぎて意味のある解析にならなかった。そこで、ある分類は中分類のまま残し、まとめられる薬剤だけをまとめる行動集合圧縮を行った。元データは東京大学附属病院循環器内科に入院したことのある患者の一部についての、検査値履歴と投薬履歴である。今回は検査値と投薬を一つのエピソードとして、その予測精度をクロスバリデーションにて評価し、最適な薬剤の分類を調べた。

確率密度関数の比を推定することにより，異常値検出，非定常環境適応，次元削減などの様々な機械学習問題を解くことができる．これまでに，最小二乗法に基づく密度比推定法が，解の精度，計算速度，安定性，実用性などの観点で特に有効であることが示されてきた．本発表ではこの手法を改良し，データが逐次的に与えられる状況で効率の良いオンライン密度比推定アルゴリズムを提案する．