各発表に割り振られている数字が発表番号です
1 : 閾値法における閾値パラメータの決定法について
山崎遼也, 田中利幸 （京都大学, 京都大学）
順序回帰で用いられる閾値法は，説明変数の一次元変換(1DT)を学習し，その1DTが実数直線上にあるクラス数個の区間の何番目に属するかに応じてデータを分類する．既存法では，区間を分離する閾値が1DTの学習結果やタスクに関係なく予め設計されている．本研究では，学習された1DTに対する経験タスクリスク最小化を緩和した問題を通じて閾値を効率的に学習することを提案し，数値実験で提案法が既存法の分類性能を改善したことを確認した．
2 : 汎関数分散を用いた過剰パラメータモデルの汎化誤差推定
奥野彰文, 矢野恵佑 （統計数理研究所, 理研AIP, 統計数理研究所）
WAICのペナルティ項として用いられる汎関数分散はサイズが固定された特異モデルの汎化誤差を推定できるが，ニューラルネットワークなど過剰パラメータのモデルに適用できるか明らかになっていない．本研究ではその線形化として過剰パラメータ線形回帰を考え，汎関数分散が汎化誤差の漸近不偏推定量となることを示す．ランジュバン動力学を用いた汎関数分散の推定法も提案する．
3 : Nonparametric Invertible Regression Between Closed Hypercubes
奥野彰文, 今泉允聡 （統計数理研究所,理研AIP, 東京大学）
We study a nonparametric invertible regression, which estimates invertible continuous functions between [-1,1]^d. Invertible function estimation is one of the fundamental forms of shape-restricted estimation problems used in various domains, especially for generative models. Whereas the consistency and universality of some estimators have been well developed in this problem, their efficiency has not been fully clarified. In this study, we evaluate a minimax rate of L2 risks for the regression with Lipschitz invertible functions.
4 : γ-ABC: 頑健なダイバージェンス推定量を用いた外れ値ロバストな近似ベイズ計算
藤澤 将広, 手嶋 毅志, 佐藤 一誠, 杉山 将 （東京大学/理研AIP, 東京大学/理研AIP, 東京大学, 理研AIP/東京大学）
近似ベイズ計算は，疫学・天文学等の幅広い分野で，シミュレーションモデルの推論に用いられる尤度フリー推論法であるが，外れ値が存在すると，その推論精度は著しく悪化する．本研究は，γ-ダイバージェンスのノンパラメトリック推定量の導出を通して，「再下降性」と呼ばれる，外れ値の影響を無視できる性質を持つ尤度フリー推論法を初めて確立するものである．また，提案法は，機械学習ライブラリ「ABCpy」に搭載されている．
5 : 多層ニューラルネットワークモデルに基づくmatrix reordering
渡邊千紘, 鈴木大慈 （東京大学, 東京大学，理研AIP）
Matrix reordering (MR)とは，行列データにおける行と列の順を並べ替えることで，その潜在的な構造パターンを可視化する手法である．本研究では，新たにMRのための多層ニューラルネットワークモデルを提案する．これにより，観測行列からMRに用いる特徴を自動抽出することが可能になる．また，モデルにより再構成された出力行列を用いて，観測行列の大局的な構造パターンを可視化することができる．
6 : Neural Tangent Kernelを用いたSoft Tree Ensembleの解析
加納龍一, 杉山麿人 （国立情報学研究所, 総合研究大学院大学）
Neural Tangent Kernelを用いて、(Softな)決定木アンサンブルの挙動の理論解析を行った。その結果、無限本の木によるアンサンブル学習を考える場合には、分岐のルールを同じ深さで共有したとしても誘発されるカーネルに変化がないことや、深すぎる木では誘発されるカーネルが0に張り付き汎化性能の劣化が発生することなど、幾つかの非自明な性質を示すことに成功した。
7 : Fenchel-Young Losses with Skewed Entropies
包 含, 杉山 将 （東京大学/理化学研究所, 理化学研究所/東京大学）
We study class-posterior probability estimation (CPE) for binary responses where one class has much fewer data than the other. For example, events such as species co-occurrence in ecology and wars in political science are often much rarer than non-events. Logistic regression has been widely used for CPE, while it tends to underestimate the probability of rare events. Its main drawback is symmetry of the logit link—symmetric links can be misled by small and imbalanced samples because it is more incentivized to overestimate the majority class with finite samples. Parametric skewed links have been proposed to overcome this limitation, but their estimation usually results in nonconvex optimization unlike the logit link. Such nonconvexity is knotty not only from the computational viewpoint but also in terms of the parameter identifiability. In this paper, we provide a procedure to derive a convex loss for a skewed link based on the recently proposed Fenchel-Young losses. The derived losses are always convex and have a nice property suitable for class imbalance. The simulation shows the practicality of the derived losses.
8 : 欠損付き教師あり予測問題のための新しい変分推論法
宮口航平, 勝木孝行, 古関聰, 岩森俊哉 （IBM東京基礎研究所, IBM東京基礎研究所, IBM東京基礎研究所, IBM東京基礎研究所）
教師あり予測問題において特徴量に欠損がある場合の代表的な手法が二つある。一つは欠損値補完と予測を同時に（あるいは順番に）行う生成的手法であり、もう一つは欠損値を特徴量に組み込みそのまま予測を行う識別的手法である。本発表では両手法の強みを兼ね備える第三の手法に着目し、その計算上の困難を克服するための新しい変分推論法を提案する。また提案法の有効性を数値実験によって実証する。
9 : Top-k決定リストとその最適化
佐々木 耀一, 岡嶋 穣 （NEC/北海道大学, NEC）
本発表では，解釈可能な予測モデルの一つである決定リストを一般化した，Top-k決定リストを提案する．Top-k決定リストは，従来の決定リストと同様に決定ルールのリストで表現されるが，予測時には入力に対して条件を満たす上位k個の決定ルールを予測に用いる．また，Top-k決定リストの最適化に対して，整数線形計画問題への変換を用いた最適化手法を与える．
10 : ZDDを用いた Fitted Q-iteration の高速化
梶野洸 （IBM Research – Tokyo）
ベルマン最適作用素を適用する際、取りうる行動に関して行動価値関数の最大値を求める操作が必要になる。一般の離散行動空間では、全ての行動に対する行動関数の値を求める必要があり、特に行動空間が巨大な場合には膨大な計算時間が必要となる。本発表では、行動価値関数が線形かつ状態行動対の特徴がバイナリの場合に、ZDDを用いてベルマン最適作用素を高速に適用する手法を提案する。また分子最適化問題でその有用性を検証する。
11 : 四人トーラスヘビゲームにおける深層強化学習とゲーム木探索
大渡勝己, 田中一樹, 甲野佑 （株式会社ディー・エヌ・エー/株式会社QUANTUM, 株式会社ディー・エヌ・エー, 株式会社ディー・エヌ・エー）
本研究では、古典的なビデオゲームであるヘビゲームをトーラス盤上で行う「Hungry Geese」ゲームに対して、トーラス盤面の構造を活用した深層強化学習と、多人数ゲームの性質を考慮した敵対的かつ楽観的なゲーム木探索を適用し、両者をアンサンブルしたエージェントを作成した。Kaggleプラットフォーム上での大会において、この手法をベースとして875チーム中1位を獲得し有効性を示した。
12 : ノード周辺の特徴量分布を考慮して畳み込みを行うGNNの検討
春田秀一郎, 小西達也, 黒川茂莉 （KDDI総合研究所, KDDI総合研究所, KDDI総合研究所）
本発表では、ノード周辺の特徴量分布を考慮して畳み込みを行うGNN (Graph Neural Network) について検討する。GNNの手法の多くは、扱うグラフのノードが周辺のノードと類似する傾向を持つということを暗黙的に仮定しているため、仮定に沿わないノードでは表現能力が悪化する。そこで、提案手法では、隣接ノードの特徴量から計算可能な周辺特徴量分布に対してアテンション機構を用いることで、周辺の分布に応じたノードの特徴表現を得ることを目指す。オープンデータセットを用いた評価により、提案手法の有効性を示す。
13 : 深層生成モデルによるリズムアクションゲームのチャート生成
高田 敦史, 山﨑 大地, 劉 立坤, 吉田 雄大, ガンバト ニャムフー, 下斗米 貴之, 山元 大賀, 櫻井 大督, 濱田 直希 （KLab株式会社, KLab株式会社, 九州大学, KLab株式会社, KLab株式会社, KLab株式会社, 九州大学, 九州大学, KLab株式会社, 理研AIP）
深層生成モデルを用いたリズムアクションゲームのチャート生成の事例について報告する．KLab株式会社で運用するリズムアクションゲームのチャートの特性を考慮した新しい深層生成モデルとデータ増強を開発し，拍情報を付加した楽曲データで学習した．既存のチャート生成モデルの課題であった低難易度チャートの生成において特に大きな改善がみられた．チャート生成Webシステムの導入により，作業時間が約50%削減された．
14 : Deep Clustering via Mutual Information Maximization with Local Smoothness and Topological Invariant Constraints
Zhang Yuhui, 和田裕一郎, 後藤海人, 日野祐作, 金森敬文 （東工大, 富士通/理研AIP, , NTT data, 東工大/理研AIP）
We propose a deep clustering method called MIST (Mutual Information maximization with local Smoothness and Topological invariant constraints). Given an unlabeled dataset and the number of clusters, our method groups the data points into clusters. Our method use Neural Networks to maximize Mutual Information with 1) local smoothness constraint, and 2) topological invariant constraints (via Neighbor Graphs and Contrastive Learning methods). MIST can handle not only high-dimensional data with simple topology but also low-dimensional data with complex topology. We also demonstrate the efficiency of our method on various synthetic and real-world datasets while comparing to existing methods.
15 : Dirichlet Multinomial Mixture モデルを用いた教師なし家庭内音響シーン分析
佐土原健 （産業技術総合研究所）
独居高齢者等の見守りを目的として、宅内に設置したマイクで収録した音から生活行動を推定する音響シーン分析を教師なし学習で行った結果について報告する。CNNや事前学習モデルのファインチューニングを行うに十分な量の生活行動ラベルが付与されたデータを得ることが困難なため、ラベルなしデータから学習可能な HMM,LDA,DMMを検討した結果、DMMが最も高精度の行動モデルを学習できた。
16 : Lower-Bounded Proper Losses for Weakly Supervised Classification
吉田 周平, 竹之内 高志, 杉山 将 （NEC/理研AIP, 政策研究大学院大学/理研AIP, 東京大学/理研AIP）
This paper discusses the problem of weakly supervised classification, in which instances are given weak labels that are produced by some label-corruption process. We derive conditions under which loss functions for weak-label learning are proper and lower-bounded — two essential requirements in class-probability estimation. Specifically, we use a dualized version of the Savage representation to characterize proper weak-label losses and find conditions for them to be lower-bounded. This leads us to a novel regularization scheme called generalized logit squeezing. Furthermore, we experimentally demonstrate the effectiveness of our proposed approach, as compared to improper or unbounded losses.
17 : 脆弱性骨盤骨折自動診断への３次元深層学習モデルの応用
山本侃利, 藤田大介, Rashedur Rahman, 八木直美, 林 圭吾, 圓尾明宏, 村津裕嗣, 小橋昌司 （兵庫県立大学, 兵庫県立大学, 兵庫県立大学, 姫路獨協大学, 製鉄広畑記念病院, 製鉄広畑記念病院, 製鉄広畑記念病院, 兵庫県立大学）
近年, 増加傾向にある高齢者の脆弱性骨盤骨折は，CT画像上では捉えづらい．骨折の誤診後，様々な合併症を引き起こす可能性があり，患者の容体が危ぶまれる．従来手法では，2次元画像解析に基づくため，３次元画像で診断される脆弱性骨折の検出は困難であった．
そこで我々は，骨表を重心に割り当てた立方体内において骨折度合いを算出するボーリング調査法を模した自動骨盤骨折検出法(BSFD法; boring survey based fracture detection)を提案する．
18 : 残差の独立性に基づく動的モード間の因果構造の探索
児島歩武, 河原由伸 （九州大学, 九州大学/理化学研究所）
動的モード分解（DMD）は、適用されるデータの生成機構に内在するダイナミクスを、固有の周期性と減衰率を持つモードへと分解する手法として広く応用されている。一方で、多くの複雑な現象では、このようなモードは相互に、または因果的に関連し合うことが知られている。そこで本発表では、動的モード分解による近似の残差を解析することで、動的モード間の因果構造を同定する方法を提案し、その数値的検証についても報告する。
19 : リザバー計算機における普遍性と高次統計量
春名純, 兎子尾理貴, 中野直人 （京大理, 京大国際高等教育院）
In this work, we give a comprehensive study of the dependence of reservoir computer’s performance on the network structures: network size and distribution function of random coupling constants. First, based on the path integral method, we clarify the universal behaviour of the random network dynamics in the thermodynamic limit, which depend only on the asymptotic behavior of the second cumulant generating functions of the network coupling constants. We derive the effective equation of motion of the neurons and suggest the importance of higher-order statistics for some specific random networks. We also give some comments on the relation with the sparse network and the regularization with spectral radius of the coupling matrix. Subsequently, according to these general descriptions, the relation between the computational power of the reservoir computer and the network parameters is investigated in detail by numerically evaluating the phase diagrams in the steady network states, memory capacity, and the computational power in the chaotic time series predictions, for various types of universality classes.
20 : 特徴選択アルゴリズムに対するホモトピー法を用いたより強力な選択的推論
三輪大貴, 杉山一弥, Vo Nguyen Le Duy, 竹内一郎 （名古屋工業大学, 名古屋工業大学, 名古屋工業大学,理研, 名古屋工業大学,理研）
データ駆動型仮説に対して選択バイアスを考慮可能な新たな検定の枠組みとしてSelective Inference(SI)が研究されている. 本研究では, 従来のSI手法の問題点である検出力の低さをホモトピー法を用いて解決する. また, 先行研究で扱われていたSFS,LARS,LASSOに対するSIについて本手法を適用し, pythonパッケージとして公開する.
21 : 最適輸送理論を用いた異なるドメインのユーザの類似性判定
草野元紀, 小山田昌史 （NEC, NEC）
マーケティング活動において、自社データだけでは知り得ない顧客の価値観や趣味嗜好を別ドメインデータでの類似するユーザから収集することは良く行われている。従来では、本名や年齢性別などからユーザの類似性を定めているが、個人情報保護やステレオタイプの課題がある。本講演では、価値観や趣味嗜好に直結する行動履歴のみを使い、ドメイン間の差異の調整に役立つ最適輸送理論を活用してユーザ類似度の計算方法を提案する。
22 : 全バンディット及び線形部分観測に基づく組合せ最適腕識別問題
Yihan Du, 黒木 祐子, Wei Chen （Tsinghua University, 東京大学/理研AIP, Microsoft Research）
実世界における多くの意思決定は組合せ構造で特徴付けられる．組合せ最適腕識別問題は組合せ的行動を逐次的にサンプルしながら，高確率で最適な行動を見つける問題である．本発表ではアームの部分集合のみに教師信号がある弱い観測に対して，全域木・パス・マッチングなど一般的な組合せ構造を扱える枠組みを提案する．そして提案手法の標本複雑度(出力までに要したサンプル数)の上界を与え計算機実験により妥当性を確認した．
23 : 深層学習システムStanzaにおけるSSD-SGDを用いた学習の高速化
亀田陸太 （金沢大学）
パラメータサーバ(PS)システムで分散深層学習(DDL)を行う場合,PSとワーカー間で膨大なデータの送受信を行うため,学習時間が増大する.DDLシステムStanzaでは,PSシステムと比べより高速な学習を実現している.しかし,Stanzaでの大規模な学習モデルを用いた学習は,PSシステムに比べ約1.3倍しか高速化ができていない.そこで,大規模な学習モデルを用いた学習でもより高速化できる方法として,StanzaにSSD-SGDと呼ばれるSGDを適用した新しいDDLシステムを提案する.
24 : 生物集団の軌跡から相互作用の規則を学習するための拡張行動モデル
藤井 慶輔, 武石 直也, 筒井 和詩, 藤岡 慧明, 西海 望, 田中 良弥, 福代 三華, 井出 薫, 河野 裕美, 依田 憲, 高橋 晋, 飛龍 志津子, 河原 吉伸 （名古屋大/理研AIP/JSTさきがけ, 西スイス応用科学大/理研AIP, 名古屋大, 同志社大, 基生研/学振, 名古屋大, 同志社大, 同志社大, 東海大, 名古屋大, 同志社大, 同志社大, 九州大/理研AIP）
生物集団の移動系列に内在する個体間の相互作用の規則を抽出することは様々な分野での課題である。本研究では、行動生態学のルールベース理論モデルを深層学習を用いた行動モデルへと拡張し、移動系列からグレンジャー因果（GC)を学習する枠組みを提案する。本手法は、時間変化するGCの解釈可能な符号を提供できる。特定の個体が近づいたり離れたりする現象を例とし、合成データでの検証と、様々な生物集団への応用を示す。
25 : 感受性の変動幅に制限をもつ意見最適化問題に対する射影勾配法
丸茂直貴, 宮内敦史, 武田朗子, 田中輝 （東京大学, NTTCS研, 東京大学, 東京大学, 理研AIP, 東京大学）
大衆の意見を誘導するための方法論は、古くから活発に研究されてきた。近年、個人の感受性を操作することで大衆の意見を誘導するモデルがAbebeらにより考案され、Chanらによって多項式時間の厳密解法が設計された。しかしながら、上記のモデルでは個人の感受性を自由に操作できるため、現実的な解が得られるとは限らない。本研究では、個人の感受性の変動幅に制限をもつモデルを導入し、射影勾配法を設計した。
26 : グレーボックス深層生成モデルの学習
武石 直也 （西スイス応用科学大/理研AIP）
深層生成モデル（本発表では特に変分オートエンコーダ）において、生成過程（デコーダ）がニューラルネットと事前知識によるモデル（例：物理的な支配法則）からなる場合を考える。そのようなグレーボックスモデルは学習効率や潜在変数の解釈性などの点で有利であるが、学習の際には、ニューラルネットが事前知識モデルを無視しないように注意する必要がある。本研究では両者のバランスをとって学習するための正則化法を提案する。
27 : Eigenvectors of Fisher Information Matrix for Simple ReLU Networks
武石 啓成, 飯田 昌澄, 竹内 純一 （九州大学大学院システム情報科学府, 九州大学大学院システム情報科学府, 九州大学大学院システム情報科学研究院）
In learning neural network parameters, it is important to examine the Fisher information matrix (FIM).
We investigate the FIM for a one hidden layer network with the ReLU activation function and identify the main eigenvalues and eigenvectors of the FIM under some conditions.
28 : Particle Stochastic Dual Coordinate Ascent: Exponential convergent algorithm for mean field neural network optimization
大古 一聡, 鈴木 大慈, 二反田 篤史, Wenny Wu （東京大学, 東京大学, 九州工業大学, トロント大学）
平均場の設定で線形収束を達成する二層ニューラルネットワークの最適化アルゴリズムを提案する．平均場極限において学習はパラメータの確率分布の凸最適化として定式化できる．本研究では，その双対問題がデータ数次元の凸最適化問題に帰着されることを利用し，確率的双対座標降下法を用いた新しいアルゴリズムを提案する．さらに分布を粒子で近似する離散化誤差も考慮に入れ，従来法より効率的な総計算量を達成できることを示す．
29 : 階層構造に対応したAttention付ニューラルネットワークによる特許文書のIPC予測
星野雄毅, 内海祥雅, 松田義郎, 齋藤歩美, 田中義敏, 中田和秀 （東京工業大学, 楽天株式会社, 楽天株式会社, 楽天株式会社, 東京工業大学, 東京工業大学）
現在すべての特許文書には技術内容に応じて，国際特許分類（以下IPC）が与えられる．現在IPCは特許審査官が全て人手で付与しており，その自動化は審査官の負担を軽減し，審査の効率化につながると考えられる．一方で，現在IPC予測には既存手法が存在するが，予測精度が低いことなどから実用化には至っていない．そこで本研究では予測精度を向上させたモデルを提案し、その有効性について実際の特許データを用いて検証した。
30 : 予測クラスの相違に基づく深層ニューラルネットワークの不確実性推定
松永 直輝, 斎藤 奨, 中野 鐵兵, 小川 哲司 （早稲田大学, 早稲田大学/知能フレームワーク研究所, 早稲田大学/知能フレームワーク研究所, 早稲田大学）
アンサンブル学習によって構築した複数のモデルの予測クラスが完全に一致しない出力を不確実とみなすことで，実社会のデータセットでにおける繁雑な閾値調整を実質的に不要とした「使いやすい」不確実性推定手法を提案した。
本研究では，畜産業支援において重要な課題である映像からの繁殖牛の分娩検知を題材とし，提案手法によってネットワークの誤分類画像を効率的に抽出できることを確認した。
31 : 見間違えのある繰り返しゲームのためのActor-Critic型強化学習
坂本 充生, 阿部 拳之, 岩崎敦, （電気通信大学大学院情報理工学研究科, 株式会社サイバーエージェント, 電気通信大学大学院情報理工学研究科）
本研究では，プレイヤが相手の行動を見間違えうる繰り返し囚人のジレンマにおいて強化学習がどのような協力的／非協力的振る舞いを獲得するかを吟味する．
実験の結果，提案したNeural Replicator-Mutator Dynamics (NeuRMD)が獲得した戦略が，見間違えが起きても協力状態を回復しやすい戦略，Win-Stay，Loss-Shiftに相当することを明らかにした．
32 : 店舗のテキスト情報とユーザ，店舗の訪問時間の傾向を用いた訪問予測手法
壺内 陸友, 野村 ひかる, 原 隆浩, 米川 慧, Li Zhi, 天方 大地, 前川 卓也, 黒川 茂莉 （大阪大学情報科学研究科マルチメディア工学専攻, 大阪大学情報科学研究科マルチメディア工学専攻, 大阪大学情報科学研究科マルチメディア工学専攻, KDDI総合研究所, 大阪大学情報科学研究科マルチメディア工学専攻, 大阪大学情報科学研究科マルチメディア工学専攻, 大阪大学情報科学研究科マルチメディア工学専攻, KDDI総合研究所）
近年，位置情報を用いたサービスの普及により企業の効率的な集客施策のため，ユーザの行動履歴から特徴を捉え，将来の訪問予測を行うPOI推薦の研究が盛んに行われている．本研究ではWi-Fiのアクセスポイントで収集された実データを用いて，ユーザの訪問履歴をテキストとみなし作成した埋め込み表現に加え，ユーザ，店舗のそれぞれの訪問が起こる時間帯の傾向を用いた手法により訪問予測を行った．
33 : 非同期分散モデル学習のための陰的確率的勾配分散縮小法
丹羽健太, Guoqiang Zhang, Bastiaan Kleijn, Noboru Harada, Hiroshi Sawada, Akinori Fujino, （NTT, University Technoloigy of Sydney, Victoria University of Wellington, NTT, NTT, NTT, ）
非同期分散型の連合学習(Federated learning)について研究している。確率的分散縮小法と主双対法の双方を包含する学習アルゴリズムを構成した。統計的偏りのあるデータにロバストな学習を実現できることを実験的に確認した。
34 : 神経細胞イメージングデータのパラメータ事後分布推定
斎藤陽平, 竹田晃人 （茨城大, 茨城大）
神経細胞のCaイメージングの時系列データから、スパイク時系列の推定を行う。先行研究と同様、p次の隠れマルコフモデルでモデル化を行うが、我々はモデルパラメータをベイズ推定する。事後分布に収束するLangevin equationを構成し、確率シミュレーションを用いて事後分布からサンプリングを行う。Langevin equationのdrift termの推定には、隠れマルコフ特有の計算アルゴリズムを適用する。
35 : 血液検査値項目間の共分散を考慮した疑似データの作成
古川哲, 香川璃奈, 城真範, 赤穂昭太郎 （産総研, 筑波大, 産総研, 産総研）
筑波大学病院全科で得られた静脈血の検査値を３パラメータの対数正規分布でフィッティングし、分散共分散行列を作成した。今回そこから共分散を考慮して、擬似的な血液検査値セットを生成する方法を実装したので紹介する。
36 : 多レベル最適化問題に対する勾配法
佐藤瞭, 田中未来, 武田朗子 （東京大学, 統計数理研究所/理研AIP, 東京大学/理研AIP）
最適化問題のうち一部の変数が別の最適化問題の最適解となっているものを2レベル最適化問題と呼び，この構造が多重になったものを多レベル最適化問題と呼ぶ．本研究では2レベル最適化問題に対する勾配法を多レベル最適化問題に対して拡張した．提案法について理論的性質を解析したほか，データ汚染を想定したハイパーパラメータ最適化問題を3レベル最適化問題として解き，ノイズに頑健な予測結果が得られることを確認した．
37 : DEEP SELF-SUPERVISED LEARNING OF SPEECH DENOISING FROM NOISY SPEECHES
眞田雄太郎, 中川匠, 和田裕一郎, 高梨耕作, Zhang Yuhui, 徳山喜一, 金森敬文, 山田知典 （東京大学, 東京工業大学/理研AIP, 富士通/理研AIP, 理研AIP, 東京工業大学, 東京工業大学, 東京工業大学/理研AIP, 東京大学）
In speech domain, self-supervised denoising methods using DNNs (Deep Neural Networks) have attracted many researchers’ interest recently. Though all such methods require no clean speech data, they employ the different noise assumption. In our scenario, a set of noisy speech data is given, and any two data in the set do not share the same clean. The noise on each data has a Gaussian distribution. We aim to obtain a DNN based denoiser to estimate all clean data in the set. Design of our objective is inspired by our proving proposition and previous cosine-similarity based loss in the supervised scenario.
38 : ガウス過程Koopmanモード分解
川島貴大, 日野英逸 （総合研究大学院大学, 統計数理研究所/理研AIP）
Koopmanモード分解は多次元系列データを支配する潜在的なダイナミクスを抽出するための枠組みであり，動的モード分解などを用いることによって線形ダイナミクスでの近似解を得ることができる．本研究ではKoopmanモード分解に対応する確率的生成モデルを考え教師なしガウス過程として定式化することで，非線形性の強い系からでもそのダイナミクスならびに低次元潜在変数を推定する方法を提案する．
39 : 対数線形モデルの期待値保存則に基づく高速な低タッカーランク近似
ガラムカリ和, 杉山麿人 （NII/総研大, NII/総研大）
非負テンソルのランク１近似の厳密解に基づく高速な低タッカーランク近似法を発表する．本研究では，非負テンソルを対数線形モデルで表現された確率分布と対応付け，低ランクテンソルに対応する確率分布からなる部分空間を構成し，この部分空間への射影を実施する．この射影において，確率分布の期待値の一部が値を変えないという性質を用いることで，ランク１近似の厳密解に基づく高速な低タッカーランク近似が可能になった．
40 : 擬似異常データ生成による異常検知
村瀬博典, 福水健次 （総合研究大学院大学, 統計数理研究所）
異常検知は正常データと予期せぬデータを区別することを目的とした手法である．稀な異常データの収集にはコストがかかるため，正常データのみを用いた教師なし学習による異常検知手法が多く提案されている．本研究では深層生成モデルの一つである敵対的生成ネットワーク(Generative Adversarial Networks: GAN)に着目する．ジェネレータへ異常な潜在変数を与えることで擬似異常データを生成し、それらをディスクリミネータの訓練に加えることで異常検知を試みる．
41 : ガウス過程事前分布を用いた部分線形モデルによる異質因果効果推定
堀井俊佑 （早稲田大学）
近年，異質因果効果の推定はその重要性から様々な分野で注目を集めている．本研究では，異質因果効果を推定するために，ガウス過程事前分布を用いた部分線形モデルを提案する．部分線形モデルとは，線形成分とノンパラメトリック成分が加法的に構成されるセミパラメトリックモデルである．本研究では，モデルのノンパラメトリック成分と，処置変数の異質因果効果の両方をガウス過程事前分布でモデル化する．
42 : RKHMの関数データへの応用
橋本悠香, 石川勲, 池田正弘, 紅村冬大, 勝良健史, 河原吉伸 （NTTネットワークサービスシステム研究所 / 慶應大学, 愛媛大学 / 理研AIP, 理研AIP / 慶應大学, 慶應大学 / 理研AIP, 慶應大学 / 理研AIP, 九州大学/ 理研AIP）
RKHM (Reproducing kernel Hilbert C*-module)はRKHS (Reproducing kernel Hilbert space)の一般化であり，RKHSは複素数値関数の空間であるのに対し，RKHMはC*環に値を持つ関数の空間である．C*環は複素数の空間の拡張で，関数空間や作用素の空間などが例として挙げられる．本発表ではC*環として関数空間を設定した場合のRKHMを用いることで，RKHSを用いたカーネル法を関数データの解析へ拡張でき，関数データの関数としての性質を捉えたり抽出したりできることを示す．
43 : Transfer learning for out-of-distribution generalization
豊田祥史, 福水健次 （総合研究大学院大学, 総合研究大学院大学,統計数理研究所）
画像からの物体検出タスクにおける背景情報などといった,学習に寄与すべきでない環境要因の排除は,分布外汎化に欠かせない重要な課題である. 本研究では,環境に不変な特徴量を目標タスクと異なる補助的なサンプルから転移する,転移学習の新たなコンセプトを提案する. 学習の目的関数,モデル選択法を提案し,数値実験にてその有効性を実証する.
44 : 情報量の下界に基づく制約付きベイズ最適化
竹野思温, 田村友幸, 設楽一希, 烏山昌幸 （名古屋工業大学,理化学研究所, 名古屋工業大学, 大阪大学,ファインセラミックスセンター, 名古屋工業大学）
情報量に基づくベイズ最適化は広く用いられているが, 制約付き問題ではより複雑な近似が必要となり, 従来法の単純な拡張では近似した相互情報量が負になり得るなどの問題が生じる．本研究では, 計算の容易な情報量の下界に基づく制約付きベイズ最適化法を提案し, 非負性を含む従来のアプローチでは示されていない利点をいくつか導出した．また，計算機実験を通じて提案法の有効性も確認した.
45 : 時相深層展開の提案とその非線形制御への適用
岸田昌子, 小蔵正輝 （国立情報学研究所, 大阪大学）
本発表では、時相深層展開を用いて、制約付き非線形システムの確率離散時間最適制御問題を解く手法を紹介する。我々が提案する時相深層展開は、モデルベースの深層学習の手法である深層展開の考え方に基づき、動的システムの状態遷移をDNNの層に展開し、各層が各時刻での制御入力を決定するパラメータを持つようにするものである。このDNNを訓練することで、他の手法では解くことが困難な最適制御問題の解が得られる。
46 : カスケードタイプの多ステージプロセスに対するベイズ最適化
草川隼也, 竹野思温, 稲津佑, 沓掛健太郎, 岩崎省吾, 中野高志, 烏山昌幸, 宇治原徹, 竹内一郎 （名古屋工業大学, 名古屋工業大学, 名古屋工業大学, 理化学研究所, 名古屋工業大学, 名古屋大学, 名古屋工業大学, 名古屋大学, 名古屋工業大学, 理化学研究所, ）
カスケードプロセスと呼ばれる, ある工程での出力が次の工程へ入力される多段階のプロセスは製品・材料等の製造過程においてよく現れる.
実世界の多くの場合において, カスケードプロセスは未知関数であり観測に高いコストが要求されるため, 可能な限り少ないコストでの最適化は重要な課題である.
本研究では, ベイズ最適化に基づいたカスケードプロセスの効率的な最適化アルゴリズムを提案する.
47 : Tree-Wasserstein距離のための教師あり学習
竹澤祐貴, 佐藤竜馬, 山田誠 （京都大学 理研AIP, 京都大学 理研AIP, 京都大学 理研AIP ）
文書間の距離を測る時Wasserstein距離は有用だが，高い計算コストがかかる．そのため近年線形時間で計算できる，木上のWasserstein（TW）距離の研究が盛んに行われている．しかし,これらは木を教師無しで作り,教師付きデータからTW距離の木構造を学習する手法はない.本研究では，文書のクラスラベルを用いてTW距離のための木構造を学習する手法を提案し，文書分類の精度が向上することを示した．
48 : 損失関数を使った2次のJensen不等式とその変分推論への応用
二見太, 岩田具治, 上田修功, 佐藤一誠, 杉山将 （NTT, NTT, NTT, 東京大学, 東京大学）
本発表ではParticle variational inference（PVI）という変分推論の一種の汎化性能に関して議論を行う。PVIはベイズの事後分布を経験分布により近似する手法で、その柔軟性と計算効率の良さから様々なモデルに応用されてきた。我々は今回、PVIの汎化性能について2次のJensen不等式といわれる道具を使い、PACベイズの理論の観点から経験分布のばらつきの汎化誤差にもたらす影響について議論する。また本理論により導出された新しいPVIについても紹介する。
49 : 反実仮想的なセグメンテーションによる機械学習モデルの解釈
住谷祐太 （電気通信大学Ⅰ類庄野研究室）
機械学習モデルの解釈手法の一つに, 反実仮想的な説明による解釈が存在する. 反実仮想を考慮すると, 観測データに対する予測値を仮に変化させた時に必要となる特徴量の情報を説明できる. 通常, 説明には何通りかの種類が存在するが, その数が増えると解釈が複雑化してしまうという問題が生じる. そこで本研究では, 膨大な反実仮想的な説明による解釈を, その潜在構造から表現する手法を提案する.
50 : 対照的自己教師付き表現学習おける負例数の解析
野沢健人, 佐藤一誠 （東京大学/理化学研究所, 東京大学）
敵対的自己教師付き表現学習は、大量の負例によって後続タスクの分類性能を向上させることが実験的に報告されているが、既存の理論解析では大量の負例は分類性能を下げることが示されている。本研究では、クーポンコレクタ問題を用いた解析の枠組みを提案することで、実験的な挙動を説明可能なバウンドを導出する。複数のデータセットで提案解析が成り立つことを検証した。
51 : イジングマシンを用いたブラックボックス多目的最適化手法の構築
山下将司, 松森唯益, 滝雅人, 門脇正史, 田中宗 （慶應義塾大学, 株式会社デンソー, 株式会社デンソー, 株式会社デンソー, 慶應義塾大学）
ブラックボックス離散最適化問題に対してイジングマシンを適用する手法として、FMQAが知られている。先行研究においてFMQAは、制約条件がなく、かつ、陽に与えられていない単一の目的関数からなる問題を対象としていた。そこで我々は、複数の目的関数が陽に与えられていない場合の問題にFMQAを適用する方法の構築を行った。本講演では、我々の手法の妥当性検証を行った結果について報告する。
52 : カーネルテンソル分解を用いた教師無し学習による変数選択法とバイオインフォマティクスへの応用
田口善弘, ターキー・ターキー, （中央大学）
従来から提案していたテンソル分解を用いた教師無し学習による変数選択法をカーネルトリックに拡張し、バイオインフォマティクスへと応用した
53 : 群畳み込みニューラルネットに対するリッジレット変換
園田翔, 石川勲, 池田正弘 （理研AIP, 愛媛大・理研AIP, 理研AIP）
群畳み込みニューラルネットの積分表現 S[γ](x):=∫γ(a,b)σ(a*x-b)dadb が定める積分方程式 S[γ]=f に対し，解作用素（リッジレット変換）を導出しました．
54 : ガウス過程による地球物理学データの逆解析
岡崎智久, 上田修功 （理化学研究所）
地球物理学では、観測データの逆解析により、地球内部の状態・運動を推定する。主要な逆解析手法である基底関数展開の方法には、高次元データに対し計算量が大きくなるという課題（次元の呪い）がある。そこで本研究では、ガウス過程を逆問題に応用することで、次元の呪いを回避する新たな定式化を提案する。地殻内の応力場逆解析に適用し、従来法では解析が計算量的に困難であった応力場の時間変化を推定できることを議論する。
55 : スキップコネクション付きニューラルネットワークの理論解析
和田孝喜, 竹之内高志 （公立はこだて未来大学, 政策研究大学院大学）
スキップコネクションは層数の多いニューラルネットワークの性能を改善することが経験的にわかっている一方で、その理論解析は十分ではない。そこで我々は近年注目されているニューラルタンジェントカーネルの理論を用いてスキップコネクションを持つニューラルネットワークの性質を解析し、スキップコネクションを持たないニューラルネットワークとの比較を行った。本発表ではその比較結果について紹介する。
56 : 非凸スパース正則化による信号復元とアルゴリズム軌道の制御
坂田綾香, 小渕智之 （統計数理研究所, 京都大学）
非凸制約を用いたスパース信号復元法は、多数の準安定状態の出現による難しさが存在することが知られる。一方で筆者らは理論的にも復元可能とされるパラメータ領域においてアルゴリズムの収束性に問題が生じることを発見し、その背後に引き込み領域の縮小という現象があることを特定した。この問題を非凸性制御とよぶ方法により一部解決できることを紹介する。
57 : Mediated Uncoupled Learning: Learning Functions without Input-output Correspondences
山根 一航, 本多 淳也, Florian Yger, 杉山 将 （Université Paris Dauphine-PSL/理研AIP, 京都大学/理研AIP, Université Paris Dauphine-PSL/理研AIP, 理研AIP/東京大学）
Supervised learning requires paired data of input $X$ and output $Y$, which, however, can be difficult to collect in practice. We consider the task of predicting $Y$ from $X$ when we have no paired data of them, but we have two separate, independent datasets of $X$ and $Y$ each observed with some mediating variable $U$: $S_X={(X_i, U_i)}$ and $S_Y={(U′_j, Y′_j)}$. We propose a method that directly learns $Y=f(X)$ by training $f(X)$ to mimic $h(U)$ which is trained to predict $Y$.
58 : シンプレクティック随伴変数法による高速省メモリなNeural ODEの勾配計算
松原崇, 宮武勇登, 谷口隆晴， （大阪大学, 大阪大学, 神戸大学）
neural ODEはニューラルネットワークで微分方程式を学習できます．しかし，同じネットワークを何度も使うため，誤差逆伝播法での訓練には非常に大きなメモリが必要です．一方，数値積分を用いる随伴変数法は省メモリですが，数値誤差を抑えるため計算コストが増大します．本研究ではシンプレクティック数値積分法を用いる手法とチェックポイント法を組み合わせ，省メモリ性と高速な計算の両立を提案します．
59 : 量子計算機を利用した知識グラフ埋め込みの検討
黒川茂莉, 斉藤和広, 別府翔平 （KDDI総合研究所, KDDI総合研究所, KDDI総合研究所）
知識グラフを構成する実体や関係を埋め込み、知識グラフに欠損している未知のリンクを予測し補完する方法が知られている。この知識グラフ埋め込みでは、知識グラフに表現される複雑な関係性を評価することが求められ、評価の計算量が膨大となり得る。本発表では、知識グラフの複雑な関係性を量子の重ね合わせ状態として表現し、量子計算機を利用し高速化する手法の検討および評価を行う。
60 : 相対密度比推定のためのメタ学習
熊谷 充敏, 岩田 具治, 藤原 靖宏 （NTT, NTT, NTT）
密度比は２つの確率密度の比として定義され，機械学習における重要な量として知られている．とくに，密度比の有界拡張である相対密度比はその安定性から異常検知等の多くの応用で有用である．しかし、データが少ない場合，(相対)密度比推定を精度よく行うことは困難である．本研究では，これに対処するため，相対密度比のためのメタ学習法を提案する．相対密度比推定，異常検知，データセット比較の３種の機械学習問題において提案法の有効性を実験的に示す．
61 : CT-XAFSから3次元物質構造を同定するための機械学習
土野哲郎, 志賀元紀 （岐阜大学）
材料科学において、複数の成分を含有する物質・材料の３次元の微細構造を正確に同定することは、新規材料設計や検査において重要な課題である。この課題に対して、試料を回転させながらX線吸収スペクトルを計測するCT-XAFS解析が有効であるものの、そのデータサイズやノイズの影響のため、解析法の高速化や高精度化に課題が残されている。本発表では、我々が開発している教師なし学習に基づく手法を紹介する。
62 : 分散確率的勾配降下法のための超勾配に基づくハイパーパラメータ最適化
寺下直行, 原聡 （日立製作所, 大阪大学）
分散確率的勾配降下法 (DGD) のための超勾配計算アルゴリズムを提案する。このアルゴリズムは、時変で有向なグラフを有するDGDによって学習されたモデルの出力のハイパーパラメータに関する微分である超勾配を、学習時の通信制約下で計算する。提案アルゴリズムで得られる超勾配に基づくハイパーパラメータ最適化が、DGDで学習される深層学習モデルの性能を向上させることを実験で示した。
63 : 再分類タスクのためのクラス間類似度を用いた予測結果の補正
榎本 昌文, 董 于洋, 野澤 拓磨, 小山田 昌史 （NEC, NEC, NEC, NEC）
既存の分類システムで分類済みのインスタンスを、新たな分類システムで再分類することは、データの相互運用性向上とデータ統合の実現にとって重要である。本発表では、再分類タスクを解くために、識別モデルの予測結果を補正する手法を提案する。提案手法は、既存の分類システム・新たな分類システムに関する学習済み識別モデルと、補助情報であるクラス間の類似度を用いて、二つの分類システムの同時識別モデルを学習する。
64 : ベイズモデル選択による深層学習アルゴリズムの勾配ベースハイパーパラメータ最適化について
幡谷龍一郎, 中山英樹 （東京大学）
本研究はニューラルネットワークを用いた機械学習アルゴリズムに対してベイズモデル選択を適用し、評価データを用いずにハイパーパラメータ最適化を行うことを検討する。ベイズモデル選択に必要となるニューラルネットワークパラメータのヘッセ行列対数行列式の効率的な推定方法を比較し、評価データの確保が難しい弱教師あり学習アルゴリズムの損失関数に対する勾配ベースハイパーパラメータ最適への応用を示す。
65 : 画像外観検査における異常の種類にロバストな検知手法
八嶋晋吾 （デンソーアイティラボラトリ）
画像における教師なし異常検知は、学習時に正常データしか与えられないという性質上、運用時に検知できる異常の種類がモデルに大きく依存する。今回は、2つの主要な教師なし異常検知手法である、再構成誤差を目的関数とするAutoEncoderと、特徴量の圧縮を目的関数とするDeep One-class Classificationと呼ばれる手法が、検知する仕組みに関して互いに相補的な性質を持つことに着目し、それらを組み合わせた手法により実際に性能が向上することを確認した。
66 : データ拡張による因果グラフ的事前知識の予測モデリングへの活用
手嶋毅志, 杉山将 （東京大学・理化学研究所, 理化学研究所・東京大学 ）
因果グラフはデータの生成過程の知識の簡潔な表現法である。因果グラフが（ドメイン知識などから）既知のとき、そこからデータ分布の条件付き独立性（CI）を読み取れる。しかし、この知識を予測モデリングに活用する方法は自明ではない。本発表では、因果グラフが持つCIの知識を、データ拡張法により機械学習に取り入れる方法を提案し、その理論解析と計算機実験による少数データ領域での予測性能改善の結果を紹介する。
67 : Gradient Descent Algorithm with Path Kernel-based Machine
西澤 渉, 今泉允聡 （東京大学, 東京大学）
Characterization of learners obtained by gradient descent (GD) is gaining importance in recent machine learning, e.g. neural tangent kernel. It was recently found that every model learned by GD with a sufficiently small learning rate is approximately characterized by a path kernel, which is defined as a gradient integrated along with a learning path by GD. In this study, we develop a learning method by exploiting the path kernel. Specifically, we develop a new two-step algorithm that consists of GD on parameters as the first step and functional GD as the second step. The functional GD is associated with the reproducing kernel Hilbert space (RKHS) associated with the path kernel. As a result, we show the global convergence of the proposed algorithm and derive the optimal convergence rate. In addition, the two-step algorithm covers a broad range of models e.g. deep neural network.
68 : イジングマシン向けビット幅削減アルゴリズムの動的プロセスの解析
菊池脩太, 戸川望, 田中宗 （慶應義塾大学, 早稲田大学, 慶應義塾大学）
イジングマシンは、組合せ最適化問題を高効率に解くと期待されている。しかし、イジングマシンには入力するイジングモデルの係数の大きさ（ビット幅）に制限があり、性能を十分に引き出せていなかった。これを解決するための先行研究として、補助スピンを追加することでビット幅を削減する手法が提案されている。本研究では、シミュレーテッドアニーリングに対してこの先行研究のアルゴリズムを用いる際の動的プロセスを解析した。
69 : Denoising Autoencoderによる異種特徴量データの欠損値補完
大西健史, 高谷智哉, 梶洋隆, 杉山将 （トヨタ自動車株式会社, トヨタ自動車株式会社, トヨタ自動車株式会社, 理化学研究所/東京大学）
Autoencoder(AE)は画像や文章などのデータレコードの汎化・次元圧縮のために広く利用されている．しかし一般にレコードが単一の特徴量タイプで構成されることは少ない．一般にはカテゴリカル特徴量（例：形）や連続特徴量（例：大きさ）など，異なる単位や複雑性を持つ特徴量で構成され，AE適応の際の課題となる．本発表では，上記課題に対するDenoising AEを用いた欠損値補完について報告する．
70 : Time-contrastive learningを用いた多次元十分統計量を持つ指数型分布族情報源の非線形独立成分分析
JIANG XINHENG, 奥野彰文, 下平英寿 （京都大学情報学研究科, 統計数理研究所、理化学研究所AIPセンター, 京都大学情報学研究科、理化学研究所AIPセンター）
Time contrastive learning (TCL)は観測値に付与された時系列ラベルを分類することによりニューラルネットワーク(NN)を用いた非線形ICAモデルを学習させる．既存研究の実験ではガウス情報源で1次元の十分統計量を利用しているが，本研究では多次元の十分統計量を考える：実装としてNN内部の特徴量次元を増やし，NNの構造を限定することで性能が向上することを実験で示す．
71 : LEA-Net: Layer-wise External Attention Network for Efficient Color Anomaly Detection
片渕凌也, 徳永旭将 （九州工業大学）
既存のCNNモデルによる異常検知の精度向上を目的とした, Layer-wise External Attention Network (LEA-Net)を提案する. LEA-Netは, 教師なし学習で得られるAnomaly Mapから生成される異常領域を強調したAttention Mapを用いて, 異常検知モデルの中間層にVisual Attentionを適用することで, 中間層において異常部分を強調することができる.
72 : 潜在表現の部分情報量分解に基づくエンタングルメント解析
得居誠也, 佐藤一誠 （東京大学, 東京大学）
部分情報量分解を用いて情報の分配という観点からエンタングルメントを解析する枠組みを提案する．提案手法は，これまでの手法では捉えられなかった多変数にわたるエンタングルメントを検出できる．提案手法を用いて変分オートエンコーダを解析した結果，異なる手法で学習された表現におけるエンタングルメントには多様な傾向が見られ，それぞれに対し脱エンタングルメントに向けた異なるアプローチが必要となることがわかった．
73 : 深層学習を利用した高炉内の異常検知
木崎亮介, 西郷浩人 （九州大学大学院 システム情報科学府, 九州大学 システム情報科学研究院）
鉄鋼産業では設備投資が巨額であり、操業の効率化によるメリットが大きい。しかしながら現状は人が状況やデータから判断し、操業データが有効に活用されていない為に機械学習の利活用が期待されている。
そこで、本研究では画像(2D)と動画(3D)をそれぞれ入力とし、高炉内の異常と正常の分類器をCNNにより構築した。画像(2D)に比べて動画(3D)の分類精度(AUC)が約54%良い結果を得ており、時系列の利用が有効であることを示唆している。
74 : 時間的非定常性を仮定した神経集団推定モデル
木村俊, 竹田晃人 （茨城大学大学院, 茨城大学大学院）
様々な脳機能の実現に寄与している無数の神経細胞の活動は，睡眠や覚醒等の脳状態によって細胞間の機能的結合強度が変動することで，刺激に対する応答が時間的に非定常であることが知られている．本研究では，神経回路網の構造解析を目的として，活動が同期しているニューロン群である神経集団の構造に時間的非定常性を仮定し，集団構造の動的挙動を推定するベイズ推定モデルを提案する．
75 : 人工事例生成と能動学習に基づくモデル圧縮
畠山優太, 岡嶋穣 （日本電気株式会社, 日本電気株式会社）
モデル圧縮は、訓練事例から生成した人工事例に教師モデルの予測を割り当てることで、生徒モデルの精度を引き上げる手法である。本発表では、人工事例生成によるモデル圧縮に能動学習を組み合わせることで効率的に精度を改善させる手法を提案する。解釈性の高いルールベースモデルの精度改善への応用を見据えて、決定木を生徒モデルとした実験を行い、既存手法よりも少ない人工事例追加で精度が効率的に向上することを示す。
76 : CNNを用いた顔認証に対するマスク着用の影響と改善方法の検討
溝田十悟, 徳永旭将 （九州工業大学大学院情報工学府 学際情報工学専攻 徳永研究室, 九州工業大学 大学院情報工学研究院 知能情報工学研究系 准教授）
マスク着用時の顔認証は, withコロナ時代において重要な課題である。本研究では, CNNによる顔認識がマスク着用/非着用にどの程度影響を受けるか検証する。マスク着用時画像は, The CMU Multi-PIE face databaseの顔画像に対し, 擬似的なマスク画像を合成することで作成した。講演では, 性別と年齢のクラス分類について, マスク着用の影響の評価を行った結果と, 認識精度改善に向けた展望を述べる。
77 : 性能保証制約をもつ文脈付き組合せセミバンディット
竹村慧 （NECデータサイエンス研究所）
バンディット問題は逐次的意思決定問題の一つであり、データの無い状態から、データ集め（探索）と集めたデータに基づく最適化（活用）のトレードオフを取る意思決定によって、報酬の和を最大化することを目的とする。基本的な問題設定では最終的な報酬和で性能が評価されるが、実用上は常に一定以上の性能が求められる場合がある。本研究では性能保証制約をもつ問題に対する手法を提案し、理論解析と数値実験によって評価する。
78 : 可逆ニューラルネットのSobolev空間における普遍性について
手嶋毅志, 石川勲, 東條広一, 大野健太, 池田正弘, 杉山将 （東京大学/理化学研究所, 愛媛大学/理化学研究所, 理化学研究所, 理化学研究所, 理化学研究所）
本研究では可逆ニューラルネットワーク（INN）のSobolev空間における普遍性、すなわち、高階の微分係数を込めた近似能力について考察を行い、十分な表現力を持つための簡明な十分条件を証明した。またこの結果を用いてSum-of-square flow (SOS)やNeural ODE(NODE)によるINNがSobolev空間において普遍性をもつことを示した。更に、そのようなINNはTotal Variationの意味で絶対連続確率測度の空間での普遍性を持つことも示した。
79 : Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
TRAN QUANG THIEN, 福地一斗, 秋本洋平, 佐久間淳 （筑波大学, 理研AIP, 筑波大学, 理研AIP, 筑波大学, 理研AIP, 筑波大学, 理研AIP）
We aim to explain a black-box classifier with the form: `X is classified as Y because X has A, B and does not have C’ in which A, B, and C are high-level concepts. The challenge is that we have to discover useful concepts for the explaining the classifier in an unsupervised manner. We first introduce a structural generative model that is suitable to discover such concepts and propose a learning process to encourages certain concepts to have a large causal influence on the classifier output. Our method also allows easy integration of user’s prior knowledge to induce high interpretability of concepts. We demonstrate that our method can discover useful binary concepts for explanation.
80 : 協調フィルタリングにおける非負行列因子分解の過剰パラメータ化に関する研究
川上雄飛, 杉山麿人 （総合研究大学院大学/国立情報学研究所, 総合研究大学院大学/国立情報学研究所）
過剰パラメータ化は機械学習における重要なテクニックの一つとして知られている．本研究では協調フィルタリングにおける非負行列因子分解（NMF）の過剰パラメータ化について実験的に評価した．過剰パラメータ化されたNMFはより良い予測性能が得られ，またGNNなどのベースライン手法と比肩する予測性能が得られることもわかった．さらに，パラメータ数を増やしていくにつれて二重降下のような現象が観測された．
81 : 言語の違いに頑健なText-to-Imageモデルの構築に向けた展望
仲地早司, 徳永旭将 （九州工業大学 大学院情報工学府 学際情報工学専攻 システム創成情報工学分野, 九州工業大学 大学院情報工学研究院 知能情報工学研究系）
Text-to-Imageタスクでは, 英語以外のテキスト入力を想定した研究は少ない。
言語に依存せず機能するText-to-Imageモデルを構築できれば, 自動翻訳への応用など様々な展開が期待できる。
本研究では, 同一の画像に対して英語と日本語を入力とした場合のText-to-Image変換結果を比較し,言語に依存するText-to-Imageタスクの困難性を明らかにするとともに, 言語の違いに頑健なText-to-Imageモデルの確立を目指す。
82 : 中間層出力の射影に基づいた分布外検知による性能と軽量性の両立
上松和樹, 春木耕祐, 木村光宏, 瀧本崇博, 中川英之 （株式会社東芝, 株式会社東芝, 株式会社東芝, 株式会社東芝, 株式会社東芝）
深層学習モデルは、学習時に使用したデータセットと全く異なるデータセットに対しても、学習データに似た最終出力を示すことが知られている。本発表では、モデル中間層出力の重み行列への射影成分を利用した分布外検知手法を提案する。中間層出力の学習データ分布を用いる既存手法と比べ、同程度の検知性能を少ない計算コストで達成可能なことを示す。また、重み行列の安定ランクと分布外検知性能との相関についても議論する。
83 : 用量反応臨床試験における強化学習による最適な患者の割り付け
松浦健太郎, 本多淳也, Imad El Hanafi, 寒水孝司, 坂巻顕太郎 （東京理科大学, 京都大学/理研AIP, ENSTA Paris/理研AIP, 東京理科大学, 横浜市立大学）
薬剤の投与する用量と効果の関係（用量反応曲線）を推定し最終的な用量を正しく選ぶことは、臨床試験において重要なプロセスである。これらを実現するため、候補となる用量にどのように患者を割り付ければ良いか複数の研究が報告されている。それらの手法は漸近論に基づいており、現実的な設定では性能が悪いことが多い。本研究では、適切に状態と報酬を定義した強化学習を用いることで、性能の良い患者の割り付けを実現する。
84 : Expert advice problem with noisy low rank loss
Yaxiong Liu, Xuanke Jiang, Kohei Hatano, Eiji Takimoto （Kyushu University/RIKEN, Kyushu University, Kyushu University/RIKEN, Kyushu University）
We consider the expert advice problem with a low rank but noisy loss sequence, and this is a generalization of the works of former researchers, which contains additional assumptions. In this presentation, we propose an algorithm, where we reconstruct the kernel under the assumptions, that the low rank loss is noised and there is no prior information about kernel. Besides, both in experiments and regret analysis, the proposed algorithm performs better than former works.
85 : CGから実写への転移学習におけるスケーリング則
Hiroaki Mikami, Kenji Fukumizu, Shogo Murai, Shuji Suzuki, Yuta Kikuchi, Taiji Suzuki, Shin-ichi Maeda, Kohei Hayashi （PFN, ISM, PFN, PFN, PFN, U-Tokyo, PFN, PFN）
物体検出など正解ラベルが限られた実写タスクを解く方法としてCGデータを用いた事前学習が実応用で用いられるようになってきた．CGでは真のラベルが常に得られるため正解データをほぼ無制限に増やすことができるが，一方CGデータの増加が実写の性能向上にどのように寄与するかは明らかでなかった．本研究では事前学習に用いたデータ数と実写タスクでの性能が簡単な法則に従うことを示し，理論と実験の両面から検証を行った．
86 : 小規模データセットでも学習可能な条件付き敵対的生成ネットワーク
齋藤隆丞, 蛭田興明, 橋本敦史, 栗原聡 （慶應義塾大学大学院理工学研究科, 慶應義塾大学大学院理工学研究科, 慶應義塾大学大学院理工学研究科/オムロンサイニックエックス株式会社, 慶應義塾大学大学院理工学研究科）
本研究では芸術作品などの比較的小規模なデータを対象として条件付きGANを学習する手法を提案する．このために小規模データセットで高品質なデータを生成できるFastGANを拡張したConditional FastGANを提案する。実験では小規模データセットとして手塚治虫作品から抽出した顔画像と多様な向きの顔写真からなるMUCTデータセットを用い，条件に応じて実写と漫画を切り替えた生成に成功した．
87 : L1正則化付き逆イジング問題の理論解析：統計力学的アプローチ
Xiangming Meng, 小渕智之, 樺島祥介 （東京大学, 京都大学, 東京大学）
レプリカ法を用いてL1正則化付き逆イジング問題の学習性能の理論解析を行った．教師イジングモデルとして相互作用網がツリー状かつ相互作用の強さが強すぎないことを仮定し，コスト関数はロジスティック回帰の負の対数尤度（一致性有り），二乗誤差（一致性無し）の場合を調べた．いずれの場合も精密な漸近的結果を導き，イジングスピン数Nに対しサンプル数M = O(logN)であれば，相互作用網の完全復元が可能であることを示した．
88 : 逆イジング問題におけるL1正則化付き線形回帰のモデル整合性の証明
Xiangming Meng, 小渕智之, 樺島祥介 （東京大学, 京都大学, 東京大学）
逆イジング問題をL1正則化付き線形回帰で解いた場合，真の相互作用網がツリー状であるときには，その構造の完全復元が可能であることが示されている．本研究ではこれの証明を与える．二乗誤差は一致性を示さないコスト関数であるが，期待二乗誤差を最小化する推定量は，相互作用網の構造に関しては真のものと整合性が取れることが示せ，これにさらに一致性があるに適用できるprimal-dual witnessを拡張適用することで，全体の証明が構成される．
89 : ユーザ-アイテム間の関係パスによる複数の説明が可能な推薦
茅根宏介, 中村篤祥 （北海道大学大学院情報科学院, 北海道大学大学院情報科学研究院）
様々なオブジェクトとその間の関係による嗜好伝搬度を重み付グラフで表現し, ユーザに対する高推定嗜好度のアイテムを深さ優先探索により求める推薦法を提案する. 提案法では, 説明として貢献度の高い複数の関係パスを表示できる. 実データによる実験では, 提案法は既存の高性能推薦法に近い推薦精度を示した. 推薦アイテムを高貢献度の関係パスごとに分類することで, 異なるタイプの推薦リストが得られることを検証した.
90 : 新しい汎化指標に基づく学習則とテスト損失分布の変容
マシュー ホーランド （大阪大学）
「汎化能力をどう測るか」という問いを起点に、従来の期待損失に限らず、損失分布のさまざまな性質を考慮した「望ましい学習後のテスト分布」のデザインを考究する。その第一歩として、位置とばらつきと裾の重さの比重を柔軟に調節できる汎化指標クラスの導入がもたらす影響を入念に検証し、学習前の指標選択による学習後の損失分布の明確な変容を確認することができた。
91 : ニューラルネットワークの枝刈り最適化における再ランダム化について
千々和 大輝, 山口 真弥, 井田 安俊, 馬越 健治, 井上 知洋 （NTT, NTT, NTT, NTT, NTT）
近年の宝くじ仮説の研究により、重みがランダムに初期化されたニューラルネットワーク(NN)を枝刈りすることで、それより対数関数倍だけ小さな任意のNNを近似できることが知られている。本研究では枝刈りの過程で重みを繰り返しランダム化することで、近似可能なNNのネットワークサイズを「対数関数倍だけ小さい」から「定数倍だけ小さい」に改善できることを理論的に示し、実験的にも精度向上することを示した。
92 : 時間変動パラメータ推定のための微分値学習
浦田淳司, 望月陽介 （東京大学, 東京大学）
行動選好が日々変化する災害復旧期を想定した大規模交通シミュレータの行動パラメータ推定方法を提案する．日々の復旧期行動の観測をインプットとし，行動パラメータを高速に更新するため，予め，パラメータ空間内の損失関数の勾配方向（微分値）を学習しておく．観測データ取得後，学習モデルにより勾配方向を高速に算出し，勾配降下法の要領で，最尤なパラメータを得る．基礎的な数値計算により，微分値学習の精度を示す．
93 : 遷移的転移学習に関する一検討
米川慧, 春田秀一郎, 小西達也, 麻生英樹, 黒川茂莉 （KDDI総合研究所, KDDI総合研究所, KDDI総合研究所, KDDI総合研究所, KDDI総合研究所）
モダリティ間の対応付きデータを利用する遷移的転移学習の枠組みを用いると，あるモダリティのドメインで学習させたモデルを，モダリティの異なる別のドメインに適用可能とすることができる．この枠組みは，自己教師あり学習，ファインチューニング，疑似ラベル法，などを組み合わせて実現することができる．各ドメインのサンプルサイズのバランスに応じて，精度低下を抑える組み合わせ方が異なることを実験的に示す．
94 : 深層学習による診断の不確実性を定量・補正する手法の提案
Takahiro Mimori, Keiko Sasada, Hirotaka Matsui, Issei Sato （RIKEN AIP, Kumamoto University Hospital, Kumamoto University, Kumamoto University, The University of Tokyo / ThinkCyte Inc）
医療現場では、症例の識別だけでなく予測確率の信頼性も求められている。一方で、専門家の判断に不一致が見られることもあり、セカンドオピニオンの指標として重要である。本研究ではラベルの不確実性を考慮し、確率予測の評価指標を proper scoring rules に基づいて導出した。また、深層学習による学習済み分類モデルの予測分布を補正し、事後確率やラベル不一致の予測を改善できることを示す。
95 : 領収書からの情報抽出における座標特徴の利用がタグ信頼度に与える影響
保坂大樹, 髙橋寛治 （Sansan株式会社, Sansan株式会社）
領収書などの帳票からの情報抽出において、テキストの座標特徴を利用することにより抽出性能が向上することが実験的に示されている。また、情報抽出タスクでは、タグの信頼度に閾値を設けて出力を制御することで、適合率と再現率の調整が可能になる。本研究では、テキストのグラフ構造に基づく情報抽出モデルを英語の領収書データに適用し、座標特徴を用いることでタグの信頼度のより正確な評価が可能になることを示す。
96 : 逐次ベイズフィルタによる潜在時系列モデルの変分推論
石曽根毅, 樋口知之, 中村和幸 （明治大学, 中央大学, 明治大学）
時系列データから潜在的な時系列モデルを推論するための手法として多様な Sequential VAE (SVAE) が提案されてきている．本発表では，SVAE に逐次ベイズフィルタリングの手法を適用することによる理論的・実験的な結果について示す．
97 : DAG上の時間非整合な行動モデルにおけるコスト推定
赤木康紀, 浅見太一, 杵渕哲也 （NTT 人間情報研究所, NTT 人間情報研究所, NTT 人間情報研究所）
何らかの目標を達成するための人間の逐次的な意思決定のモデリング手法として，Oren and Kleinberg (2014) によってDirected Acyclic Graph(DAG)及び準双曲割引を用いた時間非整合性を持つモデルが提案され，その定性的な性質が調べられている．本研究では，このモデルにおいて，実際の人間の行動データからそれぞれの行動をとるために必要なコストを推定する手法を提案する．
98 : マルコフ連鎖モンテカルロメタツリー法
中原悠太, 齋藤翔太, 風間皐希, 于文斌, 一條尚希, 松嶋敏泰 （早稲田大学, 群馬大学, 早稲田大学, 早稲田大学, 早稲田大学, 早稲田大学）
決定木に関する従来研究には，各ノードに特徴量が割り当てられた木グラフによって予測関数を表現する立場と，データ生成確率モデルを表現する立場があるが，本研究では後者をとる．後者の立場では，特徴量割り当てパターン，木グラフを確率変数と捉えることで，ベイズ最適な予測式が得られているが，その効率的な計算法は確立されていない．そこで本研究では，MCMC法による特徴量割り当てパターンの事後確率計算法を提案する．
99 : 特異点を利用した変分ベイズ疎行列分解アルゴリズムの事前分布パラメータ自動調整
川澄亮太, 竹田晃人 （茨城大, 茨城大）
発表者らは以前の研究で、疎行列分解問題の解析解の表現を変分ベイズ法と摂動展開を用い求めた。本発表では、得られた解析解に含まれるラプラス事前分布由来の補正項の特異点を求めることにより、ラプラス事前分布パラメータの適切な値を自動的に調整しながら疎行列分解問題を解くアルゴリズムを提案する。疎行列分解の数値実験の結果は予め解として用意した疎行列の高い再現性を示しており、提案手法の有効性を強く示唆する。
100 : Class-Sensitive Loss: Improving the Recall of a Particular Class without Sacrificing Accuracy
西山大輝, 福地一斗, 秋本洋平, 佐久間淳 （筑波大学大学院システム情報工学研究群, 筑波大学システム情報系/RIKEN AIP, 筑波大学システム情報系/RIKEN AIP, 筑波大学システム情報系/RIKEN AIP）
多クラス分類モデルの実世界応用では誤判定が重大な損失に繋がるクラスのRecallが高くある必要がある。本研究ではAccuracyを保ちつつ特定クラスのRecallを改善できる損失関数を提案する。最後の全結合層の重みと特徴ベクトルのなす角度の大きさで分類を考え、提案手法ではその角度に特定クラスの学習に対してペナルティを課す。これは特定クラスの角度分散を相対的に低下させ、Recall改善に効果がある。
101 : 報酬がアームを引く間隔に依存する場合のバンディットアルゴリズム
谷本悠斗, 福水健次 （総合研究大学院大学, 統計数理研究所）
多くのバンディットアルゴリズムは報酬の定常性を仮定しているが， 商品の推薦をする場合，同じ商品ばかりを勧めることが指摘されている．本研究では，引いたアームの報酬は低下するが，引かないと報酬が徐々に回復するケースを考えた．最後にアームを引いた時からの経過ラウンド数を状態とし，アーム毎のQ関数を用いたQ学習を提案した．シミュレーションの結果，提案アルゴリズムが優れたパフォーマンスを得られることを示した．
102 : 深層強化学習アルゴリズム UNREAL における補助タスクの重要度の推定方法
新谷光祐, 山根智, （金沢大学大学院, 金沢大学大学院, ）
近年、学習データを用意しなくても学習を進めることができる強化学習が注目されている。
また、UNREALは複数の補助タスクを用いることで、強化学習が苦手としている報酬が疎である環境での学習を改善した。
本研究では、UNREALの学習において、それぞれの補助学習がどれくらい学習に必要であるかを推定することでさまざまな環境に対応できる手法を提案する。
103 : BERTのパラメータを用いた最適輸送距離に基づく言い換え識別の性能評価
山際宏明, 横井祥, 下平英寿 （京都大学大学院, 東北大学大学院・理化学研究所革新知能総合研究センター, 京都大学大学院・理化学研究所革新知能総合研究センター）
最適輸送に基づく方法は共通語が含まれていない場合でも文の類似度を計算できるが、文中の語順を考慮することができない。そこでBERTが語順をencodeする構造を持つ事に着目し、事前学習済みのBERTに文を入力した際のパラメータを用いた最適輸送距離を考える。同じ単語で異なる意味となる文を含むデータセットを用いて、提案手法と最適輸送距離を用いた既存手法との性能を比較し、結果について考察する。
104 : Locally stationary wavelet過程に基づくベイジアンウェーブレット分解
荒木 貴光 （IBIS Data株式会社）
Non-decimated離散ウェーブレット分解は，時系列データの分解信号に対象のスケールと異なるスケールの成分がノイズとして含まれるケースがある．時系列データがLocally stationary wavelet過程 (LSW過程)に従うと仮定してこの問題の原因を特定し，一致推定量を代入したLSW過程を用いて分解信号をベイズ推定する方法を提案する．従来よりノイズの少ない分解信号が提案手法によって得られることを数値実験で確認する．
105 : Classification from Positive and Biased Negative Data with Skewed Labeled Posterior Probability
渡邊翔太朗, 松井秀俊 （滋賀大学, 滋賀大学）
二値分類問題において，一方のラベルのデータが一部だけ偏って得られている状況を考える．本報告では，正のデータと，観測に偏りのある負のデータから，二値分類問題を学習する弱教師あり学習法である，PbN (Positive and biased Negative)分類問題にアプローチする新しい方法を提案する．本研究では，観測データが正である事後確率を表す信頼度の歪みによる悪影響を相殺する方法を組み込む．数値実験と実データ解析を通して，提案手法の有効性を検証する．
106 : ルールリストに対するRashomon集合の厳密計算と予測多重性解析
又 康太, 金森 憲太朗, 有村 博紀 （北海道大学, 北海道大学, 北海道大学）
近年，機械学習の信頼性評価にRashomon集合（訓練誤差が所与の閾値以下となるモデルの集合）が注目されている．本研究では，ルールリストの族に対して，Rashomon集合を厳密に求める問題を考察する．この問題に対して，最適ルールリストの学習手法CORELSを拡張し，厳密アルゴリズムを提案する．その上で予測多重性（Marx+, ICML’20）等，モデル空間の不均一性を計算するための方法を説明する．
107 : 単語の頻度情報と分散表現のノルムの関係性
大山百々勢, 横井祥, 下平英寿 （京都大学工学部情報学科・理化学研究所革新知能統合研究センター, 東北大学大学院・理化学研究所革新知能統合研究センター, 京都大学大学院・理化学研究所革新知能統合研究センター）
単語分散表現は自然言語処理の必須ツールであるが、単語の統計学的特徴と分散表現の幾何学的特徴の関係性は理論的に明らかになっていない。本研究ではSkip-gram with Negative Samplingで獲得される単語分散表現を単語周辺の条件付き確率分布のパラメータと見なして線形変換を施す。これにより単語の頻度に関する特徴が分散表現のノルムにエンコードされることを理論と実験により明らかにした。
108 : 負例サンプリングに基づく損失関数の非凸性 -知識グラフの埋め込みにおける分析-
上垣外英剛, 林克彦 （東京工業大学, 群馬大学）
我々は現在様々なタスクにおいて使用されている，負例サンプリングに基づく損失関数の勾配を解析することで，この関数が非凸であり，部分的にのみ凸であることを示した．さらに我々は，この性質を考慮した上で，学習を効率的に進めるために必要なノイズ分布及びサンプル数についての条件を調査した．知識グラフの埋め込みを対象とした実験の結果，この条件を満たすことで，知識グラフの補完精度が向上することを確認した．
109 : Deviation-Based Learning
小宮山純平,野田俊也 （ニューヨーク大学,東京大学）
カーナビゲーションを想定される応用として、推薦者が２つの選択肢のどちらが良いかを推薦するシステムを考える。ユーザ側と推薦システム側がそれぞれ情報を持ち、ユーザが「推薦者によって選ばれた」ことを考慮に入れて合理的な判断をすると、システムはユーザの持つ情報を学習できないことを示す。システムが２つの選択肢の価値が近いということを伝えられる設定だと、推薦システムはユーザの持つ情報を学習できることを示す。
110 : 学習済み埋め込み空間における集合演算
石橋陽一, 横井祥, 須藤克仁, 中村哲 （奈良先端大, 東北大/理研, 奈良先端大/JSTさきがけ, 奈良先端大）
単語埋め込みは自然言語処理の基盤的な道具であり品質評価は重要な課題である。本研究では学習済み埋込空間上での集合の表現と集合演算を実現し評価へ応用する。我々は量子力学で提案されたHilbert空間上の集合演算である量子論理に着目し、埋込空間で集合と集合演算を表現する。実験では埋込空間上で量子論理による集合演算が可能であること、量子論理に基づく評価が後段タスクのスコアと高い正の相関を持つことを示した。
111 : ニューラルシンプレクティック形式とそれによる一般座標系でのハミルトン方程式の学習
陳 鈺涵, 松原 崇, 谷口 隆晴 （神戸大学, 大阪大学, 神戸大学）
本研究では，ニューラルネットワークを用いてデータからシンプレクティック形式を学習するモデルを提案する．既存手法の多くではデータが一般化座標および一般化運動量で表されると仮定されているが，通常，一般化運動量はラグランジアン，従って，未知のエネルギー関数に依存する．これに対し，提案手法は，座標系に依存しない幾何学的表現に基づき，データに隠された未知のハミルトニアン構造を任意の座標系で抽出可能である．
112 : ハミルトニアンニューラルネットワークの理論評価とKAM理論への応用
陳 鈺涵, 松原 崇, 谷口 隆晴 （神戸大学, 大阪大学, 神戸大学）
近年，物理現象の観測データから深層学習により運動方程式を学習する手法が注目されている．本発表では，そのような手法のうち，ハミルトニアンニューラルネットワークと呼ばれる手法について，その性能を理論的に評価する．また，この評価から，学習されたモデルは真の方程式の摂動とみなせる．そこで，ハミルトン系に対する代表的な摂動理論であるKAM理論への応用についても述べる．
113 : 継続学習における転移と忘却: NTK regimeのレプリカ解析
唐木田亮, 赤穂昭太郎 （産業技術総合研究所, 産業技術総合研究所）
継続学習や転移学習など複数のタスクを順番に学習する枠組みは応用の観点から注目を集めているが、性能の向上や劣化について理論的な理解は限定的である。そこで本研究ではNeural Tangent Kernel (NTK) regimeにおける線形モデルの継続学習を解析し、知識転移および破滅的忘却の特徴づけを行う。負の転移を防ぐためには、異なるタスク間の教師信号の類似だけでなく、サンプル数の均衡が重要なことを明らかにする。
114 : 最大エントロピー逆強化学習の性能のより詳細な理論評価
中口悠輝 （NEC）
人手による報酬関数設計を回避するため、熟練者の軌跡から報酬関数を推測する逆強化学習の研究が近年盛んである。前回は、逆強化学習で主流の最大エントロピー逆強化学習にて、推測された報酬関数の性能（その最適方策が真の報酬をどれだけ稼ぐか）の劣化が二つの要因に分解できることを指摘し、より評価しやすい式へそれぞれ変形した。今回はそれらの表式の理論解析を進め、サンプルサイズを用いて具体的にオーダー評価を与える。
115 : メスバウアー分光スペクトルデータに対するベイジアンモデル選択
森口椋太, 片上瞬, 永田賢ニ, 水牧 仁一朗, 岡田真人 （東京大学, 大学院理学系研究科, 東京大学, 大学院新領域創成科学研究科, 国立研究開発法人物質・材料研究機構, 統合型材料開発・情報基盤部門, 公益財団法人高輝度光科学研究センター, 東京大学, 大学院新領域創成科学研究科）
物性物理や材料科学において、メスバウアー分光スペクトルデータから観測対象の磁性や電子状態に関する物理量の推定が行われている。
現状のメスバウアー分光スペクトルデータの解析は、パラメータフィッティングに際して恣意的に制限を施した最小二乗法を用いたり、追加実験により推定モデルを絞り込むなど信頼度評価が難しく高い実験コストが求められる。本研究では、これらの問題をベイズ推論により解決する手法を提案する。
116 : An online semi-definite programming with a generalised log-determinant regularizer and its applications
Yaxiong Liu, Ken-ichiro Moridomi, Kohei Hatano, Eiji Takimoto （Kyushu University/RIKEN, SMN Corporation, Kyushu University/RIKEN, Kyushu University）
Our paper considers the follow-the-regularized-leader algorithm with a generalised log-determinant regularizer for online semi-definitne programming problem with bounded Gamma-trace norm. Meanwhile, we can with mistake-driven technology reduce the online binary matrix completion with side information problem to above OSDP problem, and acheive the optimal mistake bound.
117 : 脳画像のローカルな表現 （キャンセル）
大北 剛, 平野 北斗, 森山 幹太 （九州工業大学, 九州工業大学, 九州工業大学）
血腫拡張のマーカーとなる脳血腫の分類問題は, 背景となる脳内での構造に依存するために構造の知識をもっていることが有利に働く. 血液はCT上では白く見えるが, この白さだけを見ていると誤った分類に導くことを防止する. ラベリングコストが大きいためにラベルのないデータも多い条件の下で, 深層学習でローカルな表現を用いてアプローチするやり方での結果を論じる.
118 : 複数の脈派抽出領域と独立成分分析を用いたサーマルカメラによる非接触バイタルセンシング手法の提案
野見山 陸, 徳永 旭将 （九州工業大学, 九州工業大学）
心拍に伴う皮膚温度の微小な変化を利用することでサーマルカメラ映像から脈拍数が推定できることが知られている．一般的にカメラベースで抽出される脈波は信号強度が低く，様々なノイズに大きく影響を受ける．そこで本研究では顔の異なる領域から複数の脈波を抽出し，独立成分分析を用いて脈波とノイズの重畳する信号を分離させることでSNRを向上させる手法を提案する．
119 : 幾何学的構造を考慮した3次元点群のための深層生成モデル
木村匠, 松原崇, 上原邦昭 （神戸大学, 大阪大学, 大阪学院大学）
物体形状の表現として、その取り扱いやすさより３次元点群が注目されており、補間や合成といったタスクに深層生成モデルが有用である。しかし、従来の生成モデルは物体の幾何学的構造を無視した不自然な結果を得る傾向にあった。本研究では、潜在ラベルで条件付けした写像を用いた生成モデルを提案する。各ラベルに対応する写像で、多様体のチャートのような性質を再現することで、幾何学的構造を正確に表現することを可能にした。
120 : ノイズ付き勾配法を用いた教師生徒設定における二層ReLuニューラルネットワークの学習
秋山俊太, 鈴木大慈 （東京大学大学院情報理工学系研究科, 東京大学大学院情報理工学系研究科・理研AIP）
教師生徒設定とは，あるニューラルネットワーク (教師)を別のニューラルネットワーク (生徒)で学習する枠組みを指す．この設定に対する理論的課題の一つに，生徒による教師パラメータの学習可能性が挙げられる．二層ReLUネットワークの場合にこの学習可能性を示した既存研究では，教師生徒双方に強い制約が置かれている．本発表ではLangevin動力学に基づくノイズ付き勾配法の適用により制約の改善を試み，得られている結果を紹介する．
121 : GANにおける画像の真偽判定を用いた正則化項の導入
今出晋靖, 山根智 （金沢大学 計算機ソフトウェア研究室, 金沢大学 計算機ソフトウェア研究室）
生成モデルであるGANは識別器と生成器の学習の均衡をうまく取ることで学習を効果的に進めることができる。そこで識別器が生成器から出力されたデータの真である確率を出力することに着目し、真偽の判定が曖昧である時に大きくなり、明確に真偽の判定を行なっているときには小さくなる正則化項を識別器の損失関数に導入することによって、学習がどのように進むのかを実験を通して検証した。
122 : 集合組み込みベクトルを用いたAttentionベースの順不変集合データマッチング
中村晟人, 八谷大岳 （和歌山大学システム工学部, 和歌山大学大学院システム工学研究科）
集合データマッチングでは，集合内のアイテム間、集合間に対し順不変なスコアの計算が必要である．既存法は，attentionにより抽出された複数アイテムの特徴量ベクトルに対し後処理的にpoolingを用いて順不変な集合代表ベクトルを得る．本研究では，集合データに予め学習可能なベクトルを組み込み，attentionの過程で効率よく集合代表ベクトルを抽出する手法を提案する．MNISTを用いた集合間マッチングのトイ問題での実験を通し本提案手法の有効性を示す．
123 : ハイブリッド型バンディットアルゴリズム
伊藤伸志 （日本電気株式会社）
バンディット問題の研究領域においては，確率的モデルや敵対的モデルなどのさまざまな環境モデルが考察され，それぞれのモデルに適したアルゴリズムが提案されてきた．これらの結果を実問題に応用するとき，適切なアルゴリズムの選定がむずかしいという課題がある．この課題に対応するため，さまざまな環境モデルに自動的に適応して効果的に動作するアルゴリズムを提案する．
124 : 深層学習の予測結果に寄与する因子の大規模な解析に伴うノイズの影響の低減
大里直樹, 浜田道昭 （早稲田大学, 早稲田大学）
バイオインフォマティクス分野で、ヒトの組織や細胞の遺伝子の発現量の変化を学習・予測し、発現量の変化に関わる因子やメカニズムを予測できれば、疾患の予防や治療に役立つ。多数の因子を同時に解析したときにノイズの影響が大きいと考えられ、深層学習のネットワークの重み係数や正則化による制御やStructured Sparsity Learningによる解析を進めており、学習過程の特徴抽出の改善も期待される。
125 : 教育における説明性・解釈性としての「難しさ」
江原 遥 （東京学芸大学 教育学部）
深層学習は予測性能での成功の反面、予測理由がわかりにくい説明性の問題が知られている。機械学習の教育応用では予測理由として「この部分が難しいから」等、部分の難しさによる説明が有用である。画像等と異なり、言語ではテキストの部分単位である語の難しさについて、応用言語学等で研究の蓄積がある。本発表では、テキストの難しさ判定器の注意重み等に着眼し、これを語の難しさとして解釈できるか実験的に確かめ、議論する。
126 : Few-shot 学習における典型分類器に関する理論解析
侯明程, 佐藤一誠 （東京大学, 東京大学）
Few-shot 学習において、メタ学習に基づいてクラス毎に典型を作成して典型分類器を構成するPrototypical Networkがよく使われている。近年の研究では、事前学習においてメタ学習ではなく通常のクラス分類を行い、テスト時に転移学習を行うことでメタ学習を用いる手法と同程度の性能が出ることを示している。しかし転移学習を行うことによりハイパーパラメータの増加と新しいクラスへの素早い適応が困難になる。そこで本研究ではメタ学習することなくかつ転移学習もせずに同程度の性能を出すために、典型分類器の解析を行った。典型分類器の分類リスクに関する汎化バウンドを導出し、そのバウンドがノルムの分散に依存することを示した。ノルムの正規化とクラス分類の埋め込み空間への射影を行うことでメタ学習を用いる手法及び転移学習を用いる手法と同程度かそれ以上の性能が得られることを実験的に確認した。
127 : JPEGの画像表現を用いた画像生成の高速化
大北 剛, 管谷克彦, 坂本 比呂志 （九州工業大学, 九州工業大学, 九州工業大学, ）
JPEG圧縮はDCT係数の形式に象徴されるが、ここでは, JPEGの画像表現を用いて画像生成を高速化する手法を提案する.