ポスタープレビュー

概要集

T2-01: Analysis of Dropout in online learning

発表者：Kazuyuki Hara (Nihon Univ.)

概要：ドロップアウトはアンサンブル学習と類似の学習法であるが、その効果を解析した研究がまだ少ない。我々も学習の正則化におけるドロップアウトの効果を実験的に解析している。本研究ではまだあまり研究が行われていない、オンライン学習でドロップアウトを用いた場合の効果について実験的に検討した、今回は特に３層の教師ネットワークの中間ユニット数Mと生徒ネットワークの中間ユニット数KがK>Mの場合にドロップアウトを用いると、冗長なネットワークを刈り込むような効果があることを示した。

T2-02: Binary Classification from Positive-Confidence Data

発表者：Takashi Ishida (SMAM/UTokyo/RIKEN)，Gang Niu (UTokyo/RIKEN)，Masashi Sugiyama (RIKEN/UTokyo)

概要：Reducing labeling costs in supervised learning is a critical issue in many practical machine learning applications. In this paper, we consider positive-confidence (Pconf) classification, the problem of training a binary classifier only from positive data equipped with confidence. Pconf classification can be regarded as a discriminative extension of one-class classification (which is aimed at “describing” the positive class), with ability to tune hyperparameters for “classifying” positive and negative samples. Pconf classification is also related to positive-unlabeled (PU) classification (which uses hard-labeled positive data and unlabeled data), allowing us to avoid estimating the class priors, which is a critical bottleneck in typical PU classification methods. For the Pconf classification problem, we provide a simple empirical risk minimization framework and give a convex formulation for linear-in-parameter models that can be implemented easily and computationally efficiently. We also theoretically establish the consistency and generalization error bounds for Pconf classification, and demonstrate the practical usefulness of the proposed method through experiments.

T2-03: CNNの特徴マップを用いた回転角推定の連続実行による回転画像認識

発表者：片山 錦 (金沢大)，山根 智 (金沢大)

概要：畳み込みニューラルネットワークの畳み込み層において抽出した特徴マップを数フレーム分累積した新しい特徴マップを生成する。生成された特徴マップはニューラルネットワークに入力され動画像のフレームの予測に利用される。

T2-04: マージン最大化距離学習におけるセーフスクリーニング

発表者：吉田知貴 (名工大)，竹内一郎 (名工大/物質・材料研究機構/理研)，烏山昌幸 (名工大/物質・材料研究機構/JST)

概要：マージン最大化距離学習とは, 同じクラスのサンプル同士が近づき, 異なるクラス同士が離れるようなマハラノビス距離を学習するものである. この学習には, 非常に多いサンプルの3つ組を考えなければならず, 学習に時間がかかる. しかし, 学習の前や途中に最適解の存在範囲を考えることで, 実際に学習に必要なサンプルの3つ組を大幅に減らすこと(スクリーニング)ができ, 学習時間を減らすことができる. この論文では, スクリーニングに利用できる複数のバウンドを導出し, 計算機実験によりその効果を比較・検討する.

T2-05: エンタングルメント・エントロピーを用いた畳み込みニューラルネットワーク

発表者：江口 脩 (福岡大)，田中 勝 (福岡大)

概要：本稿では，エンタングルメント・エントロピーを用いて入力データの識別にとって不要な情報を削減する過程をもつCNNを提案する．従来のCNNはプーリング層で抽出された情報の抽象化を行い，ドロップアウトによりアンサンブル学習のような効果を持たせることで識別を行っている．このプーリング層の役割を識別に不要な情報の削減過程とみなし，またドロップアウトは選択されなかったユニットが次に選択されたときにはネットワークの出力に対するノイズの役割をしロバストな識別を実現しているのではないかという仮定を置き，この仮定に基づき，フィルターの出力に対してエンタングルメントエントロピーのドミナントな固有値のみを用いて出力を再構成し，これを出力とし後の層へ渡し，識別を行う．なお，誤差の逆伝搬に関しては従来と同様な手法を利用する．このようなCNNによるmnistを用いたときの識別結果について紹介する．

T2-06: Multi-Task Learning with Positive and Unlabeled Data and Its Application to Mental State Prediction

発表者：Hirotaka Kaji (Toyota Motor)，Hayato Yamaguchi (Toyota Motor)，Masashi Sugiyama (RIKEN/UTokyo)

概要：現実の問題では、ラベルありデータの取得コストの高さなどから少量の学習データしか用いることができない状況は多い。このような問題に対処するため、マルチタスク学習と正例とラベルなしデータからの学習を組み合わせた学習法を提案する。

T2-07: 報酬重み付き密度推定による階層強化学習

発表者：長 隆之 (東大/理研)，杉山 将 (理研/東大)

概要：複数のモードを持つ報酬関数に対して最適な方策を学習するための階層強化学習の手法を提案する．階層強化学習においては，複数の下層方策を学習し，与えられた条件に応じて適切な下層方策を選択する上層方策を学習することが必要になる．提案手法では，報酬重み付き密度推定を介して下層方策の数および配置を自動的に決定する．本研究では，軌道計画などのタスクに提案する階層強化学習法を適用し，その性能を示す．

T2-08: PCD法に基づいた畳み込み制約付きボルツマンマシンの学習法の改良

発表者：石 涼介 (茨城大)，須田玲輝 (茨城大)，竹田晃人 (茨城大)

概要：本研究では畳み込み制約付きボルツマンマシン(CRBM)を使用した手書き数字認識を行い，その際扱う学習法の改良を目的とする．CRBMが数字認識を行う過程で学習するパラメータとしてカーネルフィルタやバイアスなどが挙げられるが，これらのパラメータのより効果的な学習を目指し本研究ではPersistent Contrastive Divergence 法(PCD 法)という 学習法を利用する．PCD 法におけるハイパーパラメータの最適値はスタンダードな学習法であるContrastive Divergence法(CD 法)と同じであるか明らかではない．そこで数値実験によりPCD 法の最適値を調べ，CD 法との差異を考察する．

T2-09: カウントデータに関する多次元ヒストグラムのビン幅最適化

発表者：武藤健介 (東大)，坂本浩隆 (東大)，松浦慧介 (東大)，有馬孝尚 (東大)，岡田真人 (東大)

概要：J-PARCの4SEASONSによる中性子散乱実験により，4次元の中性子散乱強度データが大量に得られている．得られた強度データの前処理として，従来は研究者が経験的にビン幅を決め，データのヒストグラム化を行ってきた．そこで，本研究では多次元ヒストグラムのビン幅最適化を自動化するアルゴリズムを提案する．本研究では4次元データと，そこから抽出した2次元データに対して提案手法を適用し，得られた最適ビン幅の比較を行った．

T2-10: べき乗則をもとにした津波高予測のための非線形パラメトリックモデル

発表者：吉川真史 (東大)，五十嵐康彦 (JST)，村田 伸 (東大)，馬場俊孝 (徳島大)，堀 高峰 (海洋研究開発機構)，岡田真人 (東大)

概要：海溝型地震の際，津波被害に対応するために，津波高を予測する必要がある．大規模計算によって取得されるシミュレーションデータを用いて，津波高予測のモデルが開発されている．本研究では和歌山県沖合で運用されている地震・津波観測監視システム(DONET)で観測される水圧計データと実際に到来する津波高との間に，べき乗則による非線形な関係があるということを見出し，非線形のパラメトリックなモデルを提案した．そして，予測実験を行うことによって従来手法との精度の比較を行い，特に外挿の精度が改善されることを確かめた．

T2-11: 多次元系列における変化点検出のためのSelective Inference

発表者：梅津佑太 (名工大)，竹内一郎 (名工大/理研/物質・材料研究機構)

概要：脳波やパネルデータなどの多次元系列において, 構造変化を検出することは重要な課題である. アドホックな変化点検出手法は多数報告されているが, その統計的有意性に関する議論は多くない. これは, 1次元の場合とは異なり, 統計量の分布の導出が困難なためである. 一方, 統計的変化点検出は, 検出された変化点に対する事後推論と解釈できる. 本研究では, Selective Inferenceのアイデアを用いることで, 多次元系列の変化点検出問題を定式化する.

T2-12: 劣モジュラ最大化に対する高速な最良優先探索 (1日目 T1-27 に移動しました)

発表者：坂上晋作 (NTT)，石畠正和 (北大)

概要：ナップサック制約付きの単調劣モジュラ最大化問題に対し，高速な最良優先探索法を提案する．提案法は指数的な計算量を必要とし得る一方で，任意のa (0<=a<=1) に対しa-近似解を出力することができる．提案法では探索時に用いるヒューリスティック関数値の計算を劣モジュラ最大化問題に帰着し，その上界値を高精度に計算する方法を用いて高速化を実現する．

T2-13: 複数の画像事前分布の組み合わせにBayes最適化を用いた圧縮センシングによるCT画像再構成

発表者：菅 智徳 (早大)，井上真郷 (早大)

概要：X線CTは医学的に有用な検査の1つであるが，発がんリスクを高める被ばくを伴うという問題がある． 圧縮センシング技術を用いることで，X線の投影回数を減らすことにより被ばく線量を抑えた観測データから画像を再構成することができる．本研究ではwavelet変換とTotal Variationによるスパース性を事前分布に用いたモデルをFCSAにより解く。結果，得られた画像の質は従来のARTに事前分布を組み込んだ手法に比べて向上した．

T2-14: Selective inferenceに基づくactive learningの選択バイアス補正

発表者：稲津 佑 (理研)，竹内一郎 (名工大/理研/物質材料研究機構)

概要：与えられたデータから回帰モデルを構成し, 予測値を最大とする点における値を実際に観測してくるというアクティブラーニングの設定を考える. この規則の良さを評価するために, 候補点における値の期待値が現状よりも優れているかどうかの仮説検定問題を考える. しかしながら, 古典的な検定手法で上記のような仮説を検定すると, 選択バイアスが生じ, p値を誤って評価してしまう. 本研究では, selective inference の考え方を導入することで,
正しいp値の評価を行う.

T2-15: 2つの疎な行列からなる行列分解問題の変分ベイズ法による解析法の検討

発表者：玉井智貴 (茨城大)，竹田晃人 (茨城大)

概要：行列分解問題は，観測された行列に対し，積の形で観測行列を再現するような複数の低ランク行列を求める問題であり，協調フィルタリングや感情分析，薬の相互作用の分析等へ広く応用されている．我々はこの問題を解くために近似推論法の一つである変分ベイズ法を用いる．先行研究において，観測行列及び加法的ノイズ行列の各成分が独立にガウス分布に従う場合，分解された低ランク行列の変分ベイズ法による解析解が知られている．そこで我々は，観測行列が２つの疎行列の積から成ると仮定した場合に，変分ベイズ法による問題の解析法を検討した．今回の発表では，事前分布として指数分布を仮定し，近似的に導出した変分ベイズ解の解析結果および数値実験の結果を示す予定である．

T2-16: Generative Adversarial Networksを用いた確率的識別モデルから訓練データ生成分布の推定

発表者：草野光亮 (筑波大)，佐久間 淳 (筑波大)

概要：機械学習を利用したサービスにおいて，オフライン環境で予測を行う場合など，予測モデルを外部に公開しなければならない場合がある．しかし，訓練データやその生成分布が秘密情報である場合，公開された予測モデルから訓練データ生成分布が第三者に推定される可能性がある．
本稿では，この攻撃を定式化し，攻撃アルゴリズムとして Generative Adversarial Network を用いた手法を提案する．実験により，攻撃者が攻撃対象であるラベルのサンプルを知識として持っていなくとも，補助データを活用し，攻撃者が訓練データ生成分布を推定することができることを示した．

T2-17: Tree-reweighted近似によるIsing逆問題の解

発表者：佐野 崇 (産総研)

概要：我々はランダムな相互作用を持つIsingスピンモデルにtree-reweighted(TRW)近似を適用し、
スピン相関から相互作用を求めるIsing逆問題の式を導いた。
近似の精度を評価するために、全結合、2次元格子、3次元格子のモデルに対して、サンプルされた相関から重みを再構成する数値実験を行った。
その結果、特に引力相互作用が強い領域で、TRW近似はBethe近似よりも精度が良く、それ以外の領域でも同等の精度を与えた。

T2-18: EMDを用いたタイヤセンシングのための特徴抽出法

発表者：石井啓太 (ブリヂストン)，後藤嵩人 (ブリヂストン)，松井知子 (統計数理研)，ギャレス ピーターズ (HW)，ノーディーン アザウイ (UCA)

概要：This paper describes a novel feature-extraction method for classifying road conditions by using acceleration signals that are measured using tire-mounted sensors. We acquired road data under two conditions: dry and wet. The acceleration signals are caused by the revolution of a tire on a momentary scale; therefore, frequency analysis based on Fourier transforms should not be applied to our signals. In this study, empirical mode decomposition (EMD) was employed to extract features, because the method is suitable for nonlinear and unstable data. By using the features, the calculation cost was significantly reduced and road classification was accomplished with more than 95% accuracy.

T2-19: 敵対的生成モデルを用いた近傍法に基づく異常検知

発表者：但馬慶行 (日立)

概要：昨今、設備や機器の様々なデータが収集できるようになってきた。これに伴い、データを用いた異常検知へのニーズが高まっている。その手法としてしばしば近傍法が用いられるが、すべてのデータを保持する必要があるなど実用上の問題がある。これに対し本研究では、条件付けした敵対的生成モデルを構築し、それから得られるサンプルに近傍法を適用する手法を提案する。実験の結果、提案手法は少数サンプルであっても高い性能が得られることを確認した。

T2-20: スペクトル分解におけるλ-スキャン法の提案

発表者：本武陽一 (東大)，五十嵐康彦 (物質・材料研究機構)，竹中 光 (東大)，永田賢二 (産総研)，岡田真人 (東大)

概要：スペクトルデータを単峰性基底関数の和としてモデル化するスペクトル分解は，スペクトルデータ解析において有用である.これまでに永田らのベイズ推定による手法や五十嵐らのL1VMによる手法が提案されたが，大きな計算量や低いピーク分解性能等の困難点があった.そこで本研究では，スペクトル分解を近似的な基底の全探索とその基底空間での線形回帰に分離して解く，スペクトル分解におけるλ-scan法を提案し高速化や性能向上を実現した.

T2-21: ガウス過程とベイズ最適化を用いた近似的ハイパーパラメータ分布推定

発表者：片上 舜 (東大)，坂本浩隆 (東大)，岡田真人 (東大)

概要：ベイズ推定の計算コストを低減するため，ベイズ最適化およびガウス過程の手法を用いて，少数の分布サンプリングから近似的にベイズ事後確率分布およびその最大値を推定する手法を提案する．本研究では，事後分布を少数のサンプルからガウス過程によって補間する．またベイズ最適化を用いて分布の最大値を少数のサンプルから推定する．本発表では，マルコフ確率場モデルのハイパーパラメータ推定を対象に手法の有効性を検証した．

T2-22: Good Arm Identification via Bandit Feedback

発表者：Hideaki Kano (UTokyo/RIKEN)，Junya Honda (UTokyo/RIKEN)，Kentaro Sakamaki (UTokyo)，Kentaro Matsuura (Johnson & Johnson)，Atsuyoshi Nakamura (HU)，Masashi Sugiyama (RIKEN/UTokyo)

概要：多腕バンディット問題には，報酬確率が未知の複数台のスロットマシンの中から，
最も報酬確率が高いスロットマシンを識別する最適腕識別という定式化がある．
しかし，最適であっても報酬確率が低い場合，応用上は興味がないことが多い．
そこで，我々は，報酬確率がある一定のしきい値を超えるスロットマシンを優先的に識別する問題を優良腕識別として定式化する．

T2-23: 複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 ～ プラトー現象の再検討 ～

発表者：吉田雄紀 (東大)，唐木田 亮 (産総研)，岡田真人 (東大/産総研/理研)，甘利俊一 (理研)

概要：ニューラルネットワークの学習を困難にする要因の一つに，学習の中途にて誤差が停滞する「プラトー現象」が挙げられる．その根本原因として，ニューラルネットワークの構造がもたらす「特異領域」がプラトーをもたらすと以前より考えられてきた．しかしながら最近は，ネットワークが複数個の出力をもつ場合にプラトーが生じづらくなる可能性が示唆されている．本研究では，複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスを統計力学的手法により解析し，プラトー現象が生じやすい条件を，理論および実データによる検証により明らかにした．

T2-24: ラベル拡張を考慮した劣モジュラ性に基づく能動学習

発表者：木村正成 (筑波大)，若林 啓 (筑波大)

概要：一般的な能動学習の目標は，手動で正解ラベルを付与した際に最も高性能な分類器の構築を達成できるデータを選択することである．
本稿では，選択したデータの正解ラベルが得られた際に，その情報を用いてさらにラベルを増やすラベル拡張を適用することを考慮した能動学習手法を提案する．
提案手法ではグラフ構造と，ラベル拡張を行うソースノードを増やしていく際の劣モジュラ性に着目することで，単純にランダムなデータの選択をするよりも良い性能の学習器を構築することを目指す．
実験では，提案手法と既存の能動学習の手法をベンチマークデータに適用し，比較することで，それを上回る結果が得られることを示す．

T2-25: Learning theory and algorithms for shapelets and other local features

発表者：Daiki Suehiro (Kyushu Univ./RIKEN)，Kohei Hatano (Kyushu Univ./RIKEN)，Eiji Takimoto (Kyushu Univ.)，Shuji Yamamoto (Keio Univ./RIKEN)，Kenichi Bannai (Keio Univ./RIKEN)，Akiko Takeda (ISM/RIKEN)

概要：We consider binary classification problems using local features of objects. One of motivating applications is time-series classification, where features reflecting some local closeness measure between a time series and a pattern sequence called shapelet are useful. In this paper, we formulate a class of hypotheses using local features, where the richness of features is controlled by kernels. We derive generalization bounds of sparse ensembles over the class which is exponentially better than a standard analysis in terms of the number of possible local features. The resulting optimization problem is well suited to the boosting approach and the weak learning problem is formulated as a DC program.

T2-26: 対数線形モデルの学習におけるL1正則化後の最尤推定の効果

発表者：高畠一哉 (産総研)，赤穂昭太郎 (産総研)

概要：L1正則化法はパラメータ数の低減による構造学習とパラメータ学習を同時に行う方法と考えられる．本論文では対数線形モデルの学習において単純にL1正則化法を用いた場合と，L1正則化法に構造学習のみを行わせしかる後に最尤推定によりパラメータ推定を行う場合の性能比較を理論と実験により行う．

T2-27: 一般化ラベルノイズモデルにおける分類問題について

発表者：須子統太 (早大)，堀井俊佑 (早大)

概要：近年，ラベルにノイズが含まれる場合の分類アルゴリズムに関する研究が行われている．
本研究ではラベルに対するノイズ混入における一般化モデルを提案する．これにより，半教師学習，正例とラベルなしデータによる学習，外れ値を含むデータに対する分類問題，など様々な学習問題を統一的に記述する．
そのもとでEM，変分ベイズアル，MCMC法などの学習アルゴリズムに関する数値実験を行う．

T2-28: Graph Product Multilayer Network型Gauss Markov確率場の構造学習

発表者：高品佑也 (早大)，井上真郷 (早大)

概要：確率変数間のグラフ構造の推定は、多変量解析や異常検知など様々な用途で有用である。Gauss Markov確率場の構造推定を効率的に行う手法として、graphical lassoがある。一方で、グラフに階層構造がある場合、全体のグラフはいくつかのグラフのグラフ積で表現できる場合があり、そのようなネットワークをGraph Product Multilayer Network(GPMN)と呼ぶ。本稿では、GPMN型のGauss Markov確率場に対する構造学習手法を提案する。

T2-29: Learning Algorithm in Molecular Adaptation

発表者：Nobuyuki Takahashi (Hokkaido Univ. of Education, Hakodate)

概要：Systematic change in response time of molecular systems under external field pulse was examined for underlying conformational defect relaxation based on molecular dynamics simulation of polarization switching in comparison with several machine learning algorithms. We show polarisation switching response time is dependent on conformational defects and the packing disorder. The switching process forces to move the defects and deforms the packing order. The repeated switching causes the “trained” states of molecules synchronised in the ordered packing domain. The “trained” states return to the “unlearned” states depending on the temperature after time long enough to relax the packing order and the conformation without the field. The motion of defects resembles the back-propagation resulting the parameter changes.