各発表に割り振られている数字が発表番号です．ポスター資料画像※のパスワードはslackにて配布します．※ファイルサイズが大きいのでご注意ください．

１日目（11月21日（月）14:00-17:30）
発表一覧 / ポスター配置図 / ポスター資料画像※公開終了しました

２日目（11月22日（火）13:30-16:30）
発表一覧 / ポスター配置図 / ポスター資料画像※公開終了しました

2022/11/21(月)

1-001: 時系列信号クラスタ推定を目的としたベイズ生成モデルの表現能力拡張

発表者: 木村俊; 竹田晃人 (茨城大; 茨城大)
概要: 発表者らは，時系列信号である神経活動データから活動の同期するニューロン群である機能的神経クラスタを推定する手法について取り扱ってきた．推定手法では，入力となる時系列信号をベイズ生成モデルによって表現し，MCMC法により推定を行っている．本発表では，非定常性を持つより一般的な信号からクラスタを推定することを目的として，ソフトクラスタリングが可能となるように拡張されたモデルについて取り扱う予定である．

1-002: Feature Selection for Discovering Distributional Treatment Effect Modifiers

発表者: 近原鷹一; 山田誠; 鹿島久嗣 (NTT; 京都大学; 京都大学)
概要: 薬剤効果や教育プログラムの効果など，処置効果が各個人間で異なるとき，その違いが各個人のどの特徴によって生じるかを理解することは重要である．本研究では，処置効果の平均値にのみ着目する既存手法では重要な特徴を見落とす危険性があることを指摘し，この問題を解決するため，処置効果の分布を考慮した特徴重要度尺度を，カーネルMMDを用いて定式化し，その推定量に基づく特徴選択法を提案する．※AI・機械学習分野の難関国際会議UAI2022に採択された内容です

1-003: Bayesian Sequential Experimental Design for a Partially Linear Model with a Gaussian Process Prior

発表者: 堀井俊佑 (早稲田大学)
概要: We study the problem of sequential experimental design to estimate the parametric component of a partially linear model with a Gaussian process prior. We consider an active learning setting where an experimenter adaptively decides which data to collect to achieve their goal efficiently. The experimenter’s goals may vary, such as reducing the classification error probability or improving the accuracy of estimating the parameters of the data generating process. This study aims to improve the accuracy of estimating the parametric component of a partially linear model. Under some assumptions, the parametric component of a partially linear model can be regarded as a causal parameter, the average treatment effect (ATE) or the average causal effect (ACE). We propose a Bayesian sequential experimental design algorithm for a partially linear model with a Gaussian process prior, which is also considered as a sequential experimental design tailored to the estimation of ATE or ACE. We show the effectiveness of the proposed method through numerical experiments based on synthetic and semi-synthetic data.

1-004: 過剰リスクに基づく統計的不確実性の解析と変分推論への応用

発表者: 二見太; 岩田具治; 上田修功; 佐藤一誠; 杉山将 (大阪大学; NTT; NTT; 東京大学; 東京大学)
概要: 本研究では変分ベイズ等の近似推論を使った場合における、データの不足を表す統計的不確実性を過剰リスクに基づいて解析した。統計的不確実性は予測器の分散や相互情報量として定量化されることが多いが、そうした尺度のデータ数に対する依存性や汎化能力との関係を明らかにした。また解析を通し従来のKL情報量最小化などの変分推論で統計的不確実性がどのように目的関数に現れるのかを明らかにし、それをもとに新たな変分推論を提案した。

1-005: 神経細胞イメージングデータの事後分布およびスパイク推定

発表者: 斎藤陽平; 竹田晃人 (茨城大; 茨城大)
概要: Caイメージングによる蛍光強度時系列から、細胞位置及びスパイク時系列の推定を行う。先行研究と同様、p次隠れマルコフモデルを用いるが、我々はモデルパラメータをベイズ推定する。Stein variational gradient descent を用いて、事後分布からモデルパラメータをサンプリングし、細胞位置を推定する。さらに得られたパラメータから、スパイク時系列の期待値を推定する。

1-006: 低ランク行列式点過程の最尤推定

発表者: 川島貴大; 日野英逸 (総研大; 統数研/理研AIP)
概要: 行列式点過程は要素数Nの全体集合からその部分集合をランダムに生成する確率分布であり，要素間の共起の様子や斥力をモデリングすることができる．行列式点過程はNxN半正定値行列のパラメータに支配されるが，とくにパラメータに低ランク性を仮定した際の効果的な最尤推定アルゴリズムは未発達である．そこで本発表では低ランク行列式点過程のための最尤推定アルゴリズムを提案する．

1-007: MDL原理に基づく離散変数間の未観測共通原因の検知

発表者: 小林将理; 宮口航平; 松島慎 (東京大学; IBM東京基礎研究所; 東京大学)
概要: 本研究では，2つの離散確率変数間の因果関係を4つのカテゴリに分類し，未観測共通原因に関する仮定を置かずに因果関係を推定する手法を初めて提案した．提案手法は各因果モデルに対する観測データの符号長を記述長最小（MDL）の原理に基づいて計算し，最小符号長をもたらすモデルを選択する．人工と実世界のデータを用いて，提案手法が未観測共通原因の検出に有効であること，推論精度の点で既存手法を上回ることを示した．

1-008: 大規模文書データからの話題検出に適したニューラルトピックモデルのk-means法を利用した事前分布構成法

発表者: 北野智也; 宮武勇登; 降籏大介 (大阪大学大学院情報科学研究科; 大阪大学サイバーメディアセンター; 大阪大学サイバーメディアセンター)
概要: 大規模文書データの話題検出に従来利用されてきたBayes型トピックモデルは高性能だが，莫大な計算コストを要する．一方，近年の深層学習を応用したニューラルトピックモデルは効率的に学習でき，従来モデルの性能を上回ることもあるが，最適化オプションの微調整に莫大な試行錯誤を要する．本発表では学習量削減に向けて，低コストで文書間の意味の差異を獲得できるk-means法を利用した事前分布の構成方法を提案する．

1-009: 機械学習による糖尿病発症予測の試み–BMIによるサブグループ化と予測精度–

発表者: 福原志音; 伊藤遼; 戸邉一之; 奥牧人; 四方雅隆; 春木孝之; 木村巌; 永田義毅; 山上孝司; 上田肇一 (富山大学大学院理工学教育部; 富山大学大学院理工学研究科; 富山大学附属病院第一内科・富山大学未病研究センター; 富山大学学術研究部薬学・和漢系・富山大学未病研究センター; 富山大学附属病院第一内; 富山大学学術研究部都市デザイン学系・富山大学未病研究センター; 富山大学学術研究部理学系・富山大学未病研究センター; 一般財団法人 北陸予防医学協会 予防医学研究室; 一般財団法人 北陸予防医学協会 予防医学研究室; 富山大学学術研究部理学系・富山大学未病研究センター)
概要: 健康診断データの複数の検査項目を説明変数とする糖尿病発症・非発症の2クラス分類問題を機械学習アルゴリズムで解くことを試みた。予測法の精度を最大化する説明変数の組み合わせを見つけるため，全探索を行った．学習データを，BMIが25以上と25未満にグループ化すると，各グループにおいて精度の高い説明変数の組み合わせが変化することを発見したのであわせて報告する．

1-010: ファン動翼面上における遷音速境界層流れの速度変動の予測可能性 -リザーバーコンピューティングの導入-

発表者: 長野雅樹; 難波江佑介; 後藤田浩; 榎本俊治; 賀澤順一; 西澤敏雄 (東京理科大学大学院; 東京理科大学; 東京理科大学; 宇宙航空研究開発機構; 宇宙航空研究開発機構; 宇宙航空研究開発機構)
概要: 本研究では，航空エンジンのファン動翼を模擬した単翼面上での層流から乱流への遷移過程を伴う境界層流れを対象とし，reservoir computingと情報理論の観点から速度変動の予測とダイナミクスの基礎的な解明を試みる．

1-011: 最適輸送を用いた力学系のパラメータ推定の簡便な数値計算

発表者: 福島真太朗; 加藤整 (トヨタ自動車株式会社; トヨタ自動車株式会社)
概要: 本研究では，時間発展が常微分方程式により記述される連続力学系のパラメータを推定する問題について考える．近年，十分な時間にわたりデータが観測されない場合に対しても系のパラメータを推定できるように，最適輸送理論に基づく推定手法が提案されている．しかし，この手法は計算コストが高いという問題がある．そこで，不変測度を推定する際に，適応的なグリッドサイズの導入等の簡便な数値計算法を提案する．

1-012: 帯観測モデルに基づくスパーススペクトル推定

発表者: 上村京也; 小渕智之; 田中利幸 (京大院情報; 京大院情報; 京大院情報)
概要: 分光分析では一般的に，狭い測定窓を用いた測定範囲の走査によって測定感度を犠牲にして高解像度スペクトルを得る．本研究では，帯観測という低解像度観測手法を設計し，これとLasso推定とを組み合わせたBM-lassoを提案した．BM-lassoの性能を確率伝搬法と密度発展法とに基づく解析及び数値シミュレーションによって評価したところ，提案手法は従来観測手法に比べてより高精度，高感度，高特異度を示すことが明らかとなった．

1-013: 基底選択を伴うベイズ推定アルゴリズム開発とX線回折データへの応用

発表者: 村上諒; 松下能孝; 永田賢二; 庄野逸; 吉川英樹 (電通大; 物材機構; 物材機構; 電通大; 物材機構)
概要: X線回折（XRD）は，結晶構造を分析でき，広く活用される計測手法である．XRDスペクトルの解析では，事前に結晶構造を仮定して必要がある．そのため，膨大な結晶構造の候補の中から研究者の経験と知識により絞り込みを行う必要がある．結晶構造因子を基底関数としたXRDスペクトル解析に，指示ベクトルを導入する．そして，ピークパラメータと指示ベクトルを同時に最適化する．これにより，本手法は結晶構造の自動同定を実現する．

1-014: 核磁気共鳴法へのデータ駆動科学的アプローチ

発表者: 上田朔; 片上舜; 吉田章吾; 小山岳秀; 中井祐介; 水戸毅; 水牧仁一郎; 岡田真人 (東京大学新領域創成科学研究科; 東京大学新領域創成科学研究科; 兵庫県立大学大学院理学研究科; 兵庫県立大学大学院理学研究科; 兵庫県立大学大学院理学研究科; 兵庫県立大学大学院理学研究科; 東京大学新領域創成科学研究科)
概要: 核磁気共鳴法（NMR）は物理学，化学，薬学など幅広い分野で利用される測定手法である．例えばNMRスペクトルは分子構造の同定に用いられているが，スペクトルだけでなく「信号がどれだけの速さで減衰するか」という動的なデータからもさまざまな情報が得られる．今回は後者の動的なデータからベイズ推論によってモデル選択・パラメータ推定を行い，緩和の物理的過程の数やバンドギャップなどの物理的な情報が得られることを紹介する．

1-015: ナノシート収率予測のための少数の化学実験データにおける ベイズモデル平均化による変数選択の信頼性評価

発表者: 並内優樹; 北村優佳; 大日方孝輝; 緒明佑哉; 岡田真人; 五十嵐康彦 (筑波大学システム情報工学研究群; 慶應義塾大学理工学部; 東京大学理学系研究科; 慶應義塾大学理工学部; 東京大学新領域創成科学研究科; 筑波大学システム情報工学研究群)
概要: 一般的に化学の実験データは少数であるため、少数データから予測に重要な変数選択に対する信頼性評価が必要となる。そこで本研究では、ナノシートの合成実験で得られる少数の収率データに対して、全状態探索によるモデル構築の結果からベイズモデル平均化によって特徴量の事後確率を導出し、変数選択を行った。そして、データ数に対する変数選択の信頼性について検証を行った。

1-016: SEG-GRAD-CAMとInsertion Metricを用いたU-Netの判断根拠可視化

発表者: 吉本達也; 原聡 (神戸製鋼所; 大阪大学)
概要: U-NetのようなEncoder-Decoder構造のモデルにおける判断根拠可視化手法としてSEG-GRAD-CAMが提案されているが、各階層で得られるヒートマップの相対的重要度が分からないという問題がある。本発表では、ヒートマップのInsertion Metricを計算することで、各ヒートマップの重要度評価を行う手法について述べる。また、自動溶接を行うための溶融池画像認識モデルを対象に、判断根拠可視化結果を考慮したデータオーグメンテーションによりモデル性能が改善した結果を示す。

1-017: 一定以上の再現率を保証しながら適合率を最大化する機械学習法 – 表面欠陥疵の検査画像分類を例として –

発表者: 田中哲生; 芦田強; 鷲尾隆 (神戸製鋼所技術開発本部デジタルイノベーション技術センターAI・データサイエンス推進室; 神戸製鋼所技術開発本部デジタルイノベーション技術センター計測技術研究室; 大阪大学産業科学研究所第1研究部門知能推論研究分野)
概要: 金属製品では表面に異常がないか画像検査を行っている。検査画像が膨大なため異常検出に機械学習分類器を適用する場合があるが、実際の異常（正例）を正しく異常と判定する割合（再現率）を一定基準以上に制約しつつ、異常と判定された中で実際に異常である割合（適合率）を最大化するように分類器を学習して実装した事例はない。今回はそのような分類器学習方法の検討結果について報告する。

1-018: 個体群動態解析のためのNeural Lagrangian Schrodinger Bridgeの提案

発表者: 越塚毅; 佐藤一誠 (東京大学)
概要: Population dynamics is the study of temporal and spatial variation in the size of populations of organisms and is a major part of population ecology. One of the main difficulties in analyzing population dynamics is that we can only obtain observation data with coarse time intervals from fixed-point observations due to experimental costs or measurement constraints. Recently, modeling population dynamics by using continuous normalizing flows (CNFs) and dynamic optimal transport has been proposed to infer the sample trajectories from a fixed-point observed population. While the sample behavior in CNFs is deterministic, the actual sample in biological systems moves in an essentially random yet directional manner. Moreover, when a sample moves from point A to point B in dynamical systems, its trajectory typically follows the principle of least action in which the corresponding action has the smallest possible value. To satisfy these requirements of the sample trajectories, we formulate the Lagrangian Schrodinger bridge (LSB) problem and propose to solve it approximately by modeling the advection-diffusion process with regularized neural SDE. We also develop a model architecture that enables faster computation of the loss function. Experimental results show that the proposed method can efficiently approximate the population-level dynamics even for high-dimensional data and that using the prior knowledge introduced by the Lagrangian enables us to estimate the sample-level dynamics with stochastic behavior.

1-019: マルコフ連鎖を使った連続性の強い検査値時系列の生成

発表者: 城真範; 香川璃奈 (産総研; 筑波大)
概要: 無作為にとった血液検査値は対数正規分布に従うが、個体間に比べて個体内の検査値時系列の連続性が強いため、分布から単にサンプリングした値を結んでも実データに比べて連続性の強い時系列が実現できない。今回は開始点のみを対数正規分布からサンプリングし、MCMCを参考に提案分布の幅を狭くとったマルコフ過程を用いて、十分長い時系列であれば対数正規分布に従うが、短い場合には連続性の強い時系列データを作成した。

1-020: シミュレーションモデル間の機械学習によるブリッジ手法

発表者: 清川裕; 山崎啓介; 齊藤敦美; 山田聡; 小森悠斗; 時枝 紘史 (NEC; 産総研; NEC; NEC; 産総研; NEC)
概要: 本発表では、パラメータによって出力の値域が異なる2つのシミュレーションモデル間を相互変換するモデルブリッジ手法と結果を紹介する。近年、計算時間の削減とシミュレーションモデルの表現を担保する技術を開発することが重要視されている。解決手段の一つとして、発表者のグループは、シミュレーションを入出力関係を表すモデルとみなし、機械学習モデルとの関連性をメタ学習するモデルブリッジ技術を提案した。モデルブリッジ技術の応用として、2つの異なる実行時間と出力値域をもつモデル間の学習について取り組んだ結果を紹介する。

1-021: XPSシミュレータを用いたベイズ的スペクトル解析

発表者: 町田惇; 永田賢二; 村上諒; 篠塚寛志; 庄野逸; 吉川英樹; 岡田真人 (東京大学; 物質・材料研究機構; 電気通信大学; 物質・材料研究機構; 電気通信大学; 物質・材料研究機構; 東京大学)
概要: XPS（X線電子分光法）は物質の表面分析で広く使われている測定手法である．近年，XPSの計測をモデル化したシミュレータとしてSESSA（Simulation of Electron Spectra for Surface Analysis）が開発されているが，条件を与えてスペクトルを生成するといった利用に現状とどまっている．本研究では，シミュレータを介した汎用的な推定法の確立としてSESSAを用いたベイズ推定手法を提案する．人工的に生成されたデータに対して本手法を適用し，有効性を明らかにする．

1-022: 分子最適化手法の評価方法に関する考察

発表者: 梶野洸; 宮口航平; 恐神貴行 (IBM; IBM; IBM)
概要: 所望の物性値をもつように分子構造を最適化する手法が様々提案されている．これらの手法は主にシミュレーションにより評価・比較されているが，既存の評価方法がハックされて意味のある比較になっていないという指摘がある．本発表では，既存の評価方法が正しくない評価値を出す仕組みを考察するとともに，ハックされにくい評価方法にするための指針を議論する．

1-023: 抗がん剤第I相臨床試験における最大耐用量推定のための能動的レベル集合推定

発表者: 瀬野圭一朗; 松井孝太; 松井茂之 (名古屋大学; 名古屋大学; 名古屋大学, 統計数理研究所)
概要: がん第I相臨床試験の目的は新規開発薬剤の最大耐用量(MTD)の推定である．MTDは，安全面で許容される最大の用量であり，第II相試験の推奨用量の基準となる．本研究ではMTDの推定を，許容される最大の毒性発現確率を閾値とする用量空間の領域分割問題として定式化する．提案法である能動的レベル集合推定は，この問題に対して用量反応関係の単調性や過大用量の制御を考慮し，効率かつ安全なMTDの推定を実現する．

1-024: 状態密度に基づく特徴量合成アプローチの有意性評価

発表者: 大日方孝輝; 五十嵐康彦; 永田賢二; 袖山慶太郎; 岡田真人 (東大; 筑波大; NIMS; NIMS; 東大新領域)
概要: マテリアルズ・インフォマティクスにおける機械学習適用事例の一つに，基本特徴量に種々の算術を適用して高次元特徴量を合成し，特徴量選択によって有用な記述子を探索する試みが行われている．しかし，選択されたモデルの有意性・信頼度は評価されておらず，知見抽出への貢献は難しい．本研究では評価指標に関する状態密度を計算することで，同程度の性能のモデルの数を定量的に推定し，選択されたモデルの有意性を評価する．

1-025: 教師無し機械学習を通じた地震の時空間分布に関するデータ構造把握の試み

発表者: 久保久彦; 木村武志; 汐見勝彦 (防災科学技術研究所; 防災科学技術研究所; 防災科学技術研究所)
概要: 地震が発生すると、地震の発生場所および断層運動様式に関する情報であるモーメントテンソル解が、地震波形記録のルーティン解析に基づき推定されている。本研究では、長期間にわたるモーメントテンソル解のカタログに、UMAPによる次元削減とDBSCANによるクラスタリングという教師無し機械学習を適用することで、地震の時空間分布に関するデータ構造の把握および新たな情報抽出を試みる。

1-026: 金属組織画像におけるテクスチャ特徴量を利用したマテリアルズインフォマティクス

発表者: 遠藤瑛泰; 澤田浩太; 古谷佳之; 永田賢二; 吉川英樹; 庄野逸 (電気通信大学; 物質・材料研究機構; 物質・材料研究機構; 物質・材料研究機構; 物質・材料研究機構; 電気通信大学)
概要: 構造物の損傷や破壊などの状態を明らかにするために、材料組織の画像解析が行われている。判断には熟練者の知識や経験が不可欠であるが、熟練者の減少や技術伝承の観点からデータ解析技術開発が求められている。そこで本研究では、構造材料組織画像に対して、画像からの特徴量抽出および機械学習を適用した解析手法の提案を行う。

1-027: パーセプトロン学習におけるセル移植

発表者: 石﨑龍之介; 杉山麿人 (国立情報学研究所; 国立情報学研究所)
概要: 本発表では、パーセプトロン内のセルの活性に基づいて、パーセプトロンのセルを学習中に移植することを提案し、層の表現力とニューラルネットワークの性能の両方が向上する事を示す。教師あり学習における分類タスクにおいて、移植後のモデルの精度や移植先の層の相互情報量等の観点から、提案手法がニューラルネットワークの性能と表現力の両方にどのように影響するかを実験的に評価する。

1-028: 信号雑音分離による行列分解アルゴリズムの解析手法の発展と評価

発表者: 玉井智貴; 川澄亮太; 竹田晃人 (ABB日本ベーレー㈱; 中央大; 茨城大)
概要: 行列分解問題を解く手法の一つに、変分ベイズ法に基づく数値アルゴリズムがある。我々は以前のIBISで神経回路網理論で用いられる信号雑音分離法を援用した簡約ダイナミクスを提案し、アルゴリズムの収束性の解析と提案手法の適用限界を議論した。本発表では、観測行列に含まれる外部ノイズ成分の影響を考慮することで解析手法を再検討し、外部ノイズ分散や干渉ノイズ分散に着目して手法の適用限界を考察する予定である。

1-029: 順序回帰のための表現力の高い単峰尤度モデル

発表者: 山崎遼也; 田中利幸 (京都大学情報学研究科システム科学専攻; 京都大学情報学研究科)
概要: 順序回帰は，離散目的変数Yが説明変数Xに対して「自然な順序関係」を持つような(X,Y)に従う順序データの分類問題である．本研究では，「自然な順序関係」の一つの特徴付けとして「Xで条件づけられたYの条件付き確率分布の単峰性」を想定し，単峰性が保証される単峰尤度モデルの開発を行った．提案モデルは，先行単峰尤度モデルと比較して表現力が高く，その一つは任意の単峰条件付き確率分布を表現できるモデルである．

1-030: Transformer-based fully trainable model for point process with virtual sequence vectors and its experimental evaluation

発表者: Fumiya Nishizawa; Sujun Hong; Hirotaka Hachiya (Graduate School of System Engineering, Wakayama University; Graduate School of System Engineering, Wakayama University; Graduate School of System Engineering, Wakayama University)
概要: Recently, a Transformer-based partially trainable point process has been proposed, where a feature vector is extracted from past event sequence to predict the future event. However, high dependencies of the feature on last event and limitation of handmade designed hazard function would cause deterioration peformance. To overcome these problems, we propose a Transformer-based fully trainable point process, where multiple trainable vectors called virtual event sequence vectors are embedded into the past event sequence and are transformed through an attention mechanism to realize adaptive and general approximation and prediction. We show that our proposed method outperforms existing methods, and that the virtual event sequence vectors are effective in predicting the next event through experiments on synthetic data with Hawkes process and real-world event data on seismic and police call.

1-031: 部分空間同定法を用いたカルマンフィルタによる時系列データの逐次予測

発表者: 川内陽平; 清水優祐 (城西大学理学研究科; 城西大学理学部)
概要: 時系列分析に用いられるモデルの一つとして、状態空間モデルが知られている。本発表では、時系列データを部分空間同定法により学習し初期モデルの推定を行ったのちに、カルマンフィルタを用いて状態の予測値を算出し、新たなデータの流入に対してモデルの推定と予測を適応的に効率よく行う手法を提案する。また、数値実験の結果を報告し、理論の正当性を保証する。

1-032: Denoising Cosine Similarity: A Theory-Driven Approach for Efficient Representation Learning

発表者: 中川匠; 眞田雄太郎; 和井田博貴; Zhang Yuhui; 和田裕一郎; 髙梨耕作; 山田知典; 金森敬文 (東京工業大学/理研AIP; 東京大学; 東京工業大学; 東京工業大学; 富士通/理研AIP; 理研AIP; 東京大学; 東京工業大学/理研AIP)
概要: In representation learning, the training dataset is commonly assumed to be clean. However, in practice, observed data is usually contaminated by noise. Recent studies demonstrate that such noise interferes with a Neural Network (NN)-based encoder learning good representations for downstream tasks. The goal of Denoising Representation Learning (DRL) is to build an efficient NN-based encoder for downstream tasks by only using a set of noisy data. To our knowledge, the DRL setting has not been heavily studied. Researchers have separately worked on the following problems; i) denoising and ii) representation learning. In each problem, numerous studies have demonstrated that the Cosine-Similarity (CS) loss efficiently works. Our paper proposes a modified CS loss called the denoising CS (dCS) loss for DRL. The dCS loss is defined without clean data. We prove that learning with the dCS loss is equivalent to that with the CS loss via clean data in the sense of expectation. Furthermore, we illustrate the benefits of dCS loss in numerical experiments.

1-033: Heterogeneous-featureを用いたマルチタスク転移学習

発表者: Runsen Li; 奥野彰文; 下平英寿 (京都大学/理研AIP; 統計数理研究所/理研AIP; 京都大学/理研AIP)
概要: 既存のマルチタスク転移学習はタスク間で同種の特徴量（homogeneous-feature）を用いるが，タスクごとに異なる特徴量（heterogeneous-feature）を用いることができない．本研究では特徴量変換を介して既存手法をheterogeneous-featureに拡張し，実データを用いて性能の改善を検証する．

1-034: Normalizing Flowを用いた段階的ドメイン適応

発表者: 佐川正悟; 日野英逸 (総合研究大学院大学/コニカミノルタ株式会社; 統計数理研究所/理化学研究所AIP)
概要: 段階的ドメイン適応は, ソース/ターゲットドメインの間で徐々にシフトする中間ドメインが利用できることを仮定した手法である. 既存研究では豊富な中間ドメインが利用できることを仮定しているが, 利用可能な中間ドメインの数が限られている状況はより現実的な問題設定であると考える. 我々は, この課題の解決策として生成モデルの一種であるNormalizing Flowを利用する方法を提案する.

1-035: Performance evaluation of a convolutional neural network with skip connections between hidden layers and the neighboring layer of the output layer

発表者: Hayato Tsubaki; Takatomi Kubo; Takeshi D. Itoh; Kazushi Ikeda (Graduate School of Science and Technology, Nara Institute of Science and Technology; Graduate School of Science and Technology, Nara Institute of Science and Technology; Graduate School of Science and Technology, Nara Institute of Science and Technology; Graduate School of Science and Technology, Nara Institute of Science and Technology)
概要: The skip connection was one of the biggest breakthroughs in the literature of deep learning. For example, skip connections in ResNet have enabled the training of deep convolutional neural networks (CNN) and have dramatically improved the performance of image processing. Such skip connections have an impact not only on performance but also on the structure of loss functions. Li et al. proposed a visualization method to capture the characteristics of the loss function. The shape of the loss obtained as a result of visualization is called a loss landscape. They insisted that sharpness/flatness of minimizers correlates well with generalization error with their method and that skip connections promote flat minimizers. Recently, a new type of skip connection has been proposed for neural networks, which directly connects the hidden layer to the neighboring layer of the output layer. Multi-level attention pooling (MLAP) is an example of a model with this type of skip connections, and it was proposed for graph neural networks (GNN). Compared to the residual connections of ResNet, MLAP has non-linear transformation of representations of hidden layers by attention pooling in the skip connection, while ResNet does not. MLAP has improved the performance in graph classification tasks by utilizing hierarchical graph representations from multiple hidden layers. Such neural network architectures that propagate representations in multiple hidden layers toward the output layer has been proposed rarely for non-GNN models. Therefore, in this study, we examine whether MLAP can contribute to the performance and flatness of the loss landscape of a CNN, which is one of the representative non-GNN models. We performed numerical experiments based on AlexNet models with MLAP to investigate the performance and sharpness/flatness of the loss landscape by training those models using the CIFAR-10 dataset. Experiments showed that the model with MLAP’s skip connection resulted in improved performance and smoother loss landscapes compared to the baseline model (AlexNet with attention pooling). These results suggest that the MLAP’s skip connection is effective in flattening loss landscapes, and this flattening results in less variation in the performance of the models.

1-036: Semiparametric Contextual Best Arm Identification with a Fixed Budget

発表者: 加藤真大; 今泉允聡; 石原卓弥; 北川透 (サイバーエージェント AI Lab; 東京大学; 東北大学; ブラウン大学)
概要: We study best-arm identification with a fixed budget and contextual (covariate) information in stochastic multi-armed bandit problems. In each round, after observing contextual information, we choose a treatment arm using past observations and current context. Our goal is to identify the best treatment arm, a treatment arm with the maximal expected reward marginalized over the contextual distribution, with a minimal probability of misidentification. First, we derive semiparametric lower bounds of the misidentification probability for this problem, where we regard the gaps between the expected rewards of the best and suboptimal treatment arms as parameters of interest, and all other parameters, such as the expected rewards conditioned on contexts, as the nuisance parameters. We then develop the “Contextual RS-AIPW strategy,” which consists of the random sampling (RS) rule tracking a target allocation ratio and the recommendation rule using the augmented inverse probability weighting (AIPW) estimator. Our proposed Contextual RS-AIPW strategy is optimal because the upper bound for the probability of misidentification by the strategy matches the semiparametric lower bound, when the budget goes to infinity and the gaps converge to zero. 

1-037: サポート・クエリセットの差異に基づくFew-shot画像分類タスクの難易度評価とその応用

発表者: 臼倉史朗; 延原肇 (筑波大学; 筑波大学)
概要: Few-shot画像分類において、タスク毎に難易度が大きく異なることが示されている。そこで、本研究では、サポート・クエリセットの差異に基づき、Few-shot画像分類タスクの難易度を定量評価する手法を提案する。評価実験では、提案手法により算出した難易度と、学習済みモデルの正解率との間で相関があることを確認した。また、提案手法のカリキュラム学習への応用について検討する。

1-038: 非同期分散型確率的勾配降下法における分散低減なHyper-Gradient推定手法

発表者: 寺下直行; 原聡 (日立製作所; 大阪大学)
概要: 函数定理、ノイマン級数近似およびモンテカルロ法に基づくヤコビアン逆行列の期待値推定における分散低減手法を提案する。提案手法による非同期分散型確率的勾配降下法におけるHyper-Gradient推定の分散低減を確認した。

1-039: グラスマン多様体の商構造を用いた正規化フロー

発表者: 谷髙竜馬 (三菱電機株式会社 情報技術総合研究所)
概要: 近年，データ空間が特定の多様体を成す場合に対称性を考慮する手法の研究が進んでいる．直交群に関する対称性を持つグラスマン多様体は，画像セット識別や点群識別において多くの有効性が報告されている一方で，近年生成モデルとして注目されている正規化フローによるアプローチは存在しなかった．本稿では，グラスマン多様体上のフローを学習するための理論およびアルゴリズムを提案する．提案手法が従来のフローベースのモデルとは異なり，高品質なサンプルを生成できることを理論および実験的に示す．さらに，DW4やLJ13のような粒子系やQM9の分子に対して，提案法が既存の手法を対数尤度において大幅に上回ることを示す．

1-040: Robust Data-driven PDE Discovery by Forward Best-subset Selection

発表者: Pongpisit Thanasutives; Takashi Morita; Masayuki Numao; Ken-ichi Fukui (Osaka University; Osaka University; Osaka University; Osaka University)
概要: In this presentation, we discuss a novel simplicity-guided method based on best-subset selection and robust numerical differentiation algorithms for data-driven discovery in scientific computing. Data-driven discovery mainly aims to find the parsimonious governing partial differential equation (PDE) that Pareto-optimally explains the hidden relationship within a given dataset. Suppose that an overcomplete candidate library is known, the problem is reducible to a best-subset selection from the candidates, e.g., spatial derivatives, which potentially approximate the system dynamics for the particular spatio-temporal measurements. Implementation of robust numerical derivative algorithms such as Kalman filtering differentiation computes the spatial derivatives. The prepared candidate library is Savitzky-Golay smoothed to construct a training set. We gather the possible models from the training set, then validate them back with the unsmoothed library: the validation set. We experiment with the Adaptive best-subset selection (ABESS) and Branch-and-bound based l0-penalized sparse regression (L0BnB) for forward gathering from low-complexity to high-complexity models. The aforementioned sparse solvers are efficiently modifiable to perform group selection and hence applicable for discovering parametric PDEs. To achieve the Pareto optimality in model validation, the evaluation metric is proportional to the decrease in Akaike information criterion per the increased number of support sizes. Transition to a model with the support size that minimizes such criterion is selected. Ultimately, an exhaustive search over every feasible model with the same optimal support size may be carried out to guarantee that the performance of the selected model is second to none. In our pilot study, the proposed method can recover the true governing PDE even under highly noisy situations, demonstrating stronger robustness than the previously proposed methods in the literature.

1-041: エネルギーの保存・散逸則を満たすガウス過程モデル

発表者: 田中佑典; 岩田具治; 上田修功 (NTT; NTT; NTT)
概要: データ駆動科学に基づき物理現象をモデル化することは，未知の現象の理解や予測につながる．本研究では，ハミルトン力学におけるシンプレクティック構造を組み込んだガウス過程モデル，および，変分推論に基づく学習アルゴリズムを提案する．評価実験では，ノイズを含み，かつ，スパースな観測が与えられた場合でも，エネルギーの保存・散逸則を満たしつつ現象を高精度に予測できることを示す．

1-042: ガウス過程の経路積分表現とその応用について

発表者: 金秀明; 浅見太一; 戸田浩之 (NTT人間情報研究所; NTT人間情報研究所; 横浜市立大学)
概要: ガウス過程はランダムな関数を定める確率過程であり、ベイズ推定における関数の事前分布として広く利用される。ガウス過程は通常、無限次元の多変量正規分布として表現されるが、観測データが独立同分布に従わない、例えば尤度が潜在関数の積分値を含む場合では、本表現は数理的な解析に適さない。本発表では、その解決策としてガウス過程の経路積分表現を導入し、変分法に基づく解析手法および我々の最近の成果について紹介する。

1-043: テンソルの部分二体相互作用近似

発表者: ガラムカリ和; 杉山麿人 (国立情報学研究所/総合研究大学院大学; 国立情報学研究所/総合研究大学院大学)
概要: テンソルのモード間の関係に注目するテンソル分解を提案する．分解表現に低ランク性を仮定する従来の分解は，再構成誤差の大域最適化が困難であった．本研究では，テンソルを複数のフルランク行列で近似する．再構成誤差をKL情報量で定義し，情報幾何学を用いることで凸最適問題として定式化できる．また本手法をテンソルネットワークで表現することで明らかになったテンソルリング分解との関連についても指摘する．

1-044: MGP縮退事前分布を用いたテンソル補完及びランク決定法

発表者: 高山拓夢; 本谷秀堅; Qibin Zhao; 横田達也 (名古屋工業大学; 名古屋工業大学; 理化学研究所革新知能統合研究センター; 名古屋工業大学, 理化学研究所革新知能統合研究センター)
概要: 本研究では，CP分解によるテンソル補完とランク決定の同時達成を目的とし，事前分布にMGPを用いたベイズCP分解を提案する．MGPは基底の大きさを減衰させる分布である．この分布の性質がモデルの冗長性を低くし，高精度なランク推定を実現させる．また，MGPはノイズに対する頑健性や推定時間の短縮に寄与する．人工データおよび画像データを用いた数値実験により，提案手法の有効性を示す．

1-045: Approximating 1-Wasserstein Distance with Trees

発表者: 山田誠; 竹澤祐貴; 佐藤竜馬; 包含; Zornitsa Kozareva; Sujith Ravi (OIST/Kyoto University/RIKEN; Kyoto University / RIKEN; Kyoto University / RIKEN; Kyoto University; Meta AI; SliceX AI)
概要: The Wasserstein distance, which measures the discrepancy between distributions, shows efficacy in various types of natural language processing and computer vision applications. One of the challenges in estimating the Wasserstein distance is that it is computationally expensive and does not scale well for many distribution-comparison tasks. In this study, we aim to approximate the 1-Wasserstein distance by the tree-Wasserstein distance (TWD), where the TWD is a 1-Wasserstein distance with tree-based embedding that can be computed in linear time with respect to the number of nodes on a tree. More specifically, we propose a simple yet efficient L1-regularized approach for learning the weights of edges in a tree. To this end, we first demonstrate that the 1-Wasserstein approximation problem can be formulated as a distance approximation problem using the shortest path distance on a tree. We then show that the shortest path distance can be represented by a linear model and formulated as a Lasso-based regression problem. Owing to the convex formulation, we can efficiently obtain a globally optimal solution. We also propose a tree-sliced variant of these methods. Through experiments, we demonstrate that the TWD can accurately approximate the original 1-Wasserstein distance by using the weight estimation technique.  

1-046: スパース線形混合回帰のベイズ自由エネルギーを用いた混合数選択とデータのノイズレベルの関係

発表者: 小倉裕貴; 平川智也; 片上舜; 岡田真人; 永田賢二 (東大新領域; 東大新領域; 東大新領域; 東大新領域; NIMS)
概要: 混合回帰は特異モデルであるため、AICやBICなどの情報量基準を用いて混合数を選択することは適切ではない。そのため、本研究では特異モデルにも対応できるベイズ自由エネルギーを用いた。ベイズ自由エネルギーによって混合数選択を行う際、データに乗ったノイズレベルやモデルが仮定したノイズレベルによって異なる振る舞いを行う。本研究では人工データ解析の結果からノイズレベルと混合数選択の関係について言及する。

1-047: サーバ間のデータ分布の偏りに頑健な分散学習のためのモーメント加速最適化手法

発表者: 竹澤祐貴; 包含; 丹羽健太; 佐藤竜馬; 山田誠 (京都大学, 理研AIP; 京都大学; NTTコミュニケーション科学基礎研究所; 京都大学, 理研AIP; OIST, 京都大学, 理研AIP)
概要: 分散学習において、最も単純なモーメント加速手法はDistributed SGDm (DSGDm)である。しかし、DSGDmは各サーバの持つデータ分布が偏っている時、モーメント加速なしのDistributed SGDより、かえって収束率が低下し、精度も低下してしまう。本研究では、Momentum Trackingという収束率がデータ分布の偏りに依存しない分散学習のためのモーメント加速手法を提案する。

1-048: シミュレーションと機械学習モデルの連携技術とその展開

発表者: 山崎啓介; 齊藤敦美; 清川裕; 山田聡 (産総研; NEC; NEC; NEC)
概要: 演繹計算によるシミュレーションと帰納計算による機械学習モデルを融合し、新しいモデリング技術を開発することが近年重要視されている。発表者のグループではシミュレーションを入出力関係を表すモデルとみなし、機械学習モデルとの関連性をメタ学習するモデルブリッジ技術を提案した。本発表ではシミュレーション最適化のリアルタイム化や、サロゲートモデルとしてDNNを活用する大規模化など実用的課題について取り組んだ成果を紹介する。

1-049: Cancer Outlier Profile Analysisに対する選択的推論

発表者: 佐藤瑞起; 生田真也; 杉山一弥; 江本遼; 松井孝太; 松井茂之; 竹内一郎 (名古屋工業大学; 名古屋工業大学; 名古屋工業大学; 名古屋大学; 名古屋大学; 名古屋大学; 名古屋大学)
概要: 医療において重要な分析の一つにCancer Outlier Profile Analysis（COPA）がある．これは，がん患者に対して異常な遺伝子を発見することが目的であり，多くの研究がされてきた．しかし，実際の解析では結果そのものが有用であることは少なく，得られた結果に関する何らかの知見を得ることが重要となる．本研究では，選択アルゴリズム後の推論として研究されているSelective Inference（SI）をCOPAに対して導入し有用な結果が得られることを提案する．

1-050: サンプリングに基づく選択的推論

発表者: 杉山一弥; 津田宏治; 竹内一郎 (名古屋工業大学; 東京大学; 名古屋大学)
概要: データ駆動型仮説に対する選択バイアスを補正した新たな統計的推論の枠組みとして選択的推論が盛んに研究されている．選択的推論ではデータからその仮説が選ばれたという事象を与えた下での条件付き分布に基づいて統計的推論を行うが，Lassoやk-meansといった一部の選択アルゴリズムを除いて条件付き分布を正確に求めることは困難である．本研究では，MCMCサンプリングにより，選択アルゴリズムに依らずに使える選択的推論手法を提案する．

1-051: 反復型自己学習アルゴリズムの典型性能評価

発表者: 髙橋昂 (東大理 知の物理)
概要: 本研究では取得データの一部にしか教師ラベルが付与されていない、半教師あり学習による分類の問題を扱う。特に、ラベルなしデータに対するラベルの予測と、予測ラベルを真のラベルとみなして教師あり学習を行うプロセスを繰り返し行う自己学習アルゴリズムをレプリカ法を用いて解析する。学習を行う回数だけレプリカ法を繰り返し利用することによって、各学習ステップでの汎化誤差が完全に特徴づけられること、及びどのような条件下で自己学習アルゴリズムが効率的に汎化性能を改善するのかを検証した結果を報告する。

1-052: バイアス修正項を凸結合に拡張したSinkhorn divergenceの検討

発表者: 三輪恭平; 西山悠 (電気通信大学; 電気通信大学)
概要: Sinkhorn divergence (SD)は2つの確率分布α,β間のエントロピー正則化最適輸送のバイアスを,α=βとSD(α,β)=0が必要十分条件になるように修正したdivergenceである．本研究ではバイアス修正項を凸結合に拡張したSDを提案しその性質を調べる．提案手法はSDの性質を引き継いでいる．1次元分布間の簡単な最適化の設定で，確率分布が従来法 (SD最小化)より効率的な経路を辿る数値例と, バイアス修正項の与える影響を示す.

1-053: Multi-class Classification from Multiple Unlabeled Datasets with Partial Risk Regularization

発表者: Tang Yuting; Lu Nan; Zhang Tianyi; Sugiyama Masashi (The University of Tokyo/RIKEN; The University of Tokyo/RIKEN; The University of Tokyo/RIKEN; RIKEN/The University of Tokyo)
概要: Recent years have witnessed a great success of supervised deep learning, where predictive models were trained from a large amount of fully labeled data. However, in practice, labeling such big data can be very costly and may not even be possible for privacy reasons. Therefore, in this paper, we aim to learn an accurate classifier without any class labels. More specifically, we consider the case where multiple sets of unlabeled data and only their class priors, i.e., the proportions of each class, are available. Under this problem setup, we first derive an unbiased estimator of the classification risk that can be estimated from the given unlabeled sets and theoretically analyze the generalization error of the learned classifier. We then find that the classifier obtained as such tends to cause overfitting as its empirical risks go negative during training. To prevent overfitting, we further propose a partial risk regularization that maintains the partial risks with respect to unlabeled datasets and classes to certain levels. Experiments demonstrate that our method effectively mitigates overfitting and outperforms state-of-the-art methods for learning from multiple unlabeled sets.

1-054: 確率分布の空間上での２クラス判別に向けて

発表者: 藤木淳; 赤穂昭太郎 (福岡大学; 産業技術総合研究所)
概要: 確率分布のなす空間における計量や距離はユークリッド空間のそれらとは異なるため、確率分布のなす空間において，垂直であることを利用した分析手法に関しては論じられてきたが具体的な距離の値の大小に基づく分析手法はあまり考えられてこなかった。そこで本発表では指数型分布族のなす空間における2クラス判別問題について考察した．この問題自体は非常に難解であるため解決していないが、これまでわかったことについて発表し、広く意見を募る。

1-055: 点群に対するdata-drivenな位相的データ解析手法

発表者: 西川直輝; 池祐一; 山西健司 (東京大学; 東京大学; 東京大学)
概要: 位相的データ解析では，点群データに対して，各点を中心とする球体を大きくしていき，その和集合を考えることで位相的な性質を捉える．しかしながら，球体の半径をすべて一様に大きくしていく古典的手法は外れ値に対して頑健でないという問題がある．本研究では，半径の増大の仕方をデータからタスクに合わせて学習するdata-drivenな手法を提案し，その有効性を示す実験結果について述べる．

1-056: Portilla-Simonceli Statisticsを用いた磁区パターン画像の解析

発表者: 内海理史; 村上諒; 水牧仁一朗; 赤井一郎; 辻駿哉; 庄野逸 (電気通信大学; 電気通信大学; 高輝度光科学研究センター; 熊本大学; 電気通信大学; 電気通信大学)
概要: 磁性材料における磁区パターン画像と異方性と呼ばれる物性パラメータとの関連性を調査した．磁区パターン画像は迷路構造や島構造といった様相を示すが，定量評価にPortilla & Simoncelli 特徴量(PSS)を導入し特徴量選択を行った．この結果，異⽅性を表すのに，磁区の構造を抽出していると考えられるECO(Energy Cross Orientation)と呼ばれる特徴量が迷路構造を表すのに重要であることが示唆された．

1-057: Dimensionality Selection of Hyperbolic Graph Embeddings using Decomposed Normalized Maximum Likelihood Code-Length (MDL原理を用いた双曲埋め込みの次元選択)

発表者: 結城凌; 池祐一; 山西健司 (東京大学)
概要: Graph embedding methods are effective techniques for representing nodes and their relations in a continuous space. Specifically, hyperbolic space is more effective for embedding graphs with tree-like structures than Euclidean one. Then it is critical how to select the best dimensionality of the hyperbolic space where a graph is embedded. This is because we cannot distinguish nodes well with too low a dimensionality, whereas the embedded relations are affected by irregularities of data with too high a dimensionality. We consider this problem from the view of statistical model selection for latent variable models. We then propose a novel methodology for dimensionality selection on the basis of the minimum description length principle. The key idea is to make the latent variable modeling of hyperbolic embeddings and to employ the decomposed normalized maximum likelihood code-length as an evaluation criterion. We empirically demonstrate the effectiveness of our method through the synthetic and real datasets.

1-058: ビームサーチ推論のための強化学習

発表者: 森村哲郎; 大田和寛; 阿部拳之; 張培楠 (株式会社サイバーエージェント; 株式会社サイバーエージェント; 株式会社サイバーエージェント; 株式会社サイバーエージェント)
概要: 近年、広告文生成や文章要約など自然言語生成の進展が著しい。推論時、一般に言語モデルにビームサーチを適用して文章を生成するが、従来の言語モデルの強化学習はランダムサンプリングによる生成を想定している。つまり、学習時と推論時の生成方法にギャップがあり、学習の効果が制限されている可能性がある。本研究では、本ギャップを解消するため、複数系列を生成する強化学習法を提案し、数値実験により有効性を確認する。

1-059: Study on Reinforcement Learning-Assisted Reaction Design and Discovery

発表者: Hongyuan Guo; Koji Tabata; Yoshihiro Matsunaga; Tamiki Komatsuzaki (Research Institute for Electronic Science, Hokkaido University; Research Institute for Electronic Science, Hokkaido University; Institute for Chemical Reaction Design and Discovery, Hokkaido University; Research Institute for Electronic Science, Hokkaido University)
概要: We study a hierarchical bandit algorithm whose target value is defined by the set of expected rewards. In this problem setting, several sets of arms are given and the agent is asked to identify which set of arms maximizes the target value by repeatedly sampling from the arms. We propose a two-layered bandit algorithm for this task. The algorithm chooses one set of arms by a posterior-based policy such as Thompson sampling and chooses one arm to get a better estimation of the target value by an index-based policy. We show the effectiveness of our proposed algorithm through a simulation experiment for a task to find the most site-selective catalyst for a chemical reaction.

1-060: 定義域分割と局所探索に基づく効率的な極小点列挙

発表者: 木原健太; 本多淳也 (京都大学/理研AIP; 京都大学/理研AIP)
概要: 本研究はガウス過程(GP)を用いたブラックボックス関数での極小点列挙を考える。この問題では、離散化した定義域の各点が極小か否かを判定する既存法が知られているが、急峻な極小点と平坦な極小点を同時に推定できない問題があった。これに対して提案法は、定義域を逐次分割し、局所的なGPモデル上で極小点探索を行う。これにより、既存法が失敗するようなテスト関数に対しても提案法が有効であることを実験的に確かめた。

1-061: 性質の異なる媒体を横断した広告予算の動的配分

発表者: 柴田一輝; 熊谷雄介; 本多淳也 (博報堂DYホールディングス; 博報堂DYホールディングス; 京都大学)
概要: 広告予算配分問題は，所与の総予算をいつ，どの広告媒体に，どれくらい割り当てるかを決める逐次意思決定問題である．特に広告媒体においては，広告出稿からそのフィードバックまでに遅延が生じる媒体や広告取引に不確実性が伴う媒体など，さまざまな性質や商習慣を持つものが混在しており，それらを考慮する必要がある．本研究では，この問題を解決する手法を提案し，実データを用いた実験によってその性能を検証する．

1-062: 劣ガウスバンディットに対するトンプソンサンプリングの適用と理論解析

発表者: 鈴木和也; 本多淳也 (京都大学/理研AIP; 京都大学/理研AIP)
概要: バンディット問題では、複数の選択肢の中から一つだけを選んで報酬を得ることを繰り返し、累積報酬の最大化を目指す。この問題では、トンプソンサンプリングとよばれる方策が、計算が効率的かつ幾つかのモデルで漸近最適となることが知られている。本研究では報酬が劣ガウス分布に従うモデルに対し、トンプソンサンプリングに基づく方策を提案し、数値的に有効性を確かめるとともに理論保証の一部を与える。

1-063: 分布シフトによるバイアスを考慮した最適な方策外評価法の提案

発表者: 宮口航平; 梶野洸 (IBM Research; IBM Research)
概要: 方策外評価とは，与えられた方策の価値をオフラインデータから推定する問題であり，オフライン強化学習をはじめとするデータに基づく意思決定自動化のために必要不可欠な技術要素でもある．その実用上の大きな課題として，データを集める際に用いられる方策（行動方策）と評価対象の方策（評価方策）のズレが大きい場合に正確な方策外評価が困難であることが知られている．本研究では，そのようなズレを原因として生じる回避不能なバイアスの存在と性質を調べ，方策価値を区間で推定することの必要性について論じる．また，回避不能なバイアスから自然に区間推定量の最適性が導かれることを示し，そのような最適性を満たす新たな方策外評価の手法を提案する．

1-064: Measuring Lower Bounds of Local Differential Privacy via Adversary Instantiations in Federated Learning

発表者: 松本茉倫; 高橋翼; リュウセンペイ; 小口正人 (お茶の水女子大学; LINE株式会社; LINE株式会社; お茶の水女子大学)
概要: Local differential privacy (LDP) gives a strong privacy guarantee to be used in a distributed setting like federated learning (FL). LDP mechanisms in FL protect a client’s gradient by randomizing it on the client; however, how can we interpret the privacy level given by the randomization? Moreover, what types of attacks can we mitigate in practice? To answer these questions, we introduce an empirical privacy test by measuring the lower bounds of LDP. The privacy test estimates how an adversary predicts if a reported randomized gradient was crafted from a raw gradient g1 or g2. We then instantiate six adversaries in FL under LDP to measure empirical LDP at various attack surfaces, including a worst-case attack that reaches the theoretical upper bound of LDP. The empirical privacy test with the adversary instantiations enables us to interpret LDP more intuitively and discuss relaxation of the privacy parameter until a particular instantiated attack surfaces. We also demonstrate numerical observations of the measured privacy in these adversarial settings, and the worst-case attack is not realistic in FL. In the end, we also discuss the possible relaxation of privacy levels in FL under LDP.

1-065: ユーザとの対話を通した特徴量関連度指標の統合による特徴選択

発表者: 鈴木浩史; 岩下洋哲; 高木拓也; 原聡 (富士通; 富士通; 富士通; 大阪大学)
概要: 解釈可能性は機械学習モデルを意思決定に用いる際に必要不可欠である。一方で、解釈可能でもユーザ知識にそぐわない不適切な特徴量による予測は信頼を欠く。その単純な解決策は、ユーザへの質問を通して関連度の高い特徴量を知ることである。しかし、これにはユーザと開発者の間で長時間の対話を必要とする。そこで本研究では、ユーザ知識を代替する複数の特徴量関連度指標を統合し、効率的な質問を行う手法を提案する。

1-066: DNN駆動型仮説に対するConditional Selective Inference

発表者: 三輪大貴; Vo Nguyen Le Duy; 竹内一郎 (名古屋工業大学; 名古屋工業大学, 理研; 名古屋大学, 理研)
概要: データから機械学習などを用いて仮説を生成するデータ駆動型仮説が様々な分野で用いられている。ただし、データ駆動型仮説の信頼性は仮説選択バイアスの影響によって、従来の統計的仮説検定で評価することができない。本発表では、近年盛んに研究が行われているConditional Selective Inferenceの枠組みを用いて、DNNを使ったデータ駆動型仮説に対する適切な検定方法を提案する。

1-067: 境界値分析に基づく決定木アンサンブルモデルのテスト手法

発表者: 吉村玄太; 三塚由浩 (三菱電機株式会社; 三菱電機株式会社)
概要: ブラックボックスのソフトウェアテスト技法である境界値分析に基づいて，決定木アンサンブルモデルのテストを試みた結果を紹介する．入力領域に対する訓練済みモデルの出力領域を保証するテスト条件について，各決定木の分岐条件を参照して境界値を生成することでテスト条件を違反するサンプル・領域を抽出する手法を提案し，実データに適用した実験結果を紹介する．

1-068: 決定木学習の安定化

発表者: 原聡; 𠮷田悠一 (大阪大学; 国立情報学研究所)
概要: 決定木は解釈性の高いモデルの一つである。しかし、従来の決定木の学習方法では、訓練データの摂動（例えばデータ1点の削除）に対して決定木の構造が大きく変化することがある。これは決定木を通じて我々が読み取るデータの解釈や意思決定のプロセスが大きく変化しえる不安定なものであることを示唆している。そこで、本研究では決定木の学習を安定化させ、構造変化の少ない安定した決定木を学習する方法を提案する。

1-069: アダプティブ感度分析による3D-CNNにおける判断根拠の呈示

発表者: 内山友樹; 枌尚弥; 新沼厚一郎; 福井和広 (筑波大学; 筑波大学; 富士通; 筑波大学)
概要: 本発表では，深層学習ベースの動画認識において標準的に使われている3D-CNNの判断根拠を可視化する方法を提案する．提案法は入力の一部領域を遮蔽した際のネットワークの出力応答を測るオクルージョン感度分析に基づき，遮蔽する3次元領域をオプティカルフローの時間連続性と空間局所性に基づいてアダプティブに設定する．行動認識データセットで行った可視化や定量的な比較実験を通して，提案法の優位性を確認した．

1-070: 細胞のセグメンテーションデータ作成と公開

発表者: 東裕介; 大浪修一 (理化学研究所; 理化学研究所)
概要: 動物の発生における組織・形態形成では、細胞の成長や分化に加え、形態が重要な役割を果たしている。本研究では、線虫C. elegans の初期胚発生において出現する全細胞のセグメンテーションデータを52個体分作成して、元画像と共に我々のデータベースSSBDで公開した。このデータから既に、形状変化の高い再現性と固有性が確認されているが、さらなる解析による新たな発見や、より高精度の認識方法の開発等が期待される。

1-071: バンディット問題における Best-of-Both-Worlds 方策の進展：構造的バンディットと分散依存リグレット

発表者: 土屋平; 伊藤伸志; 本多淳也 (京都大学, 理研AIP; 日本電気株式会社; 京都大学, 理研AIP)
概要: バンディット問題においては確率的・敵対的設定という2つの理論的枠組みがある．近年はその両方の設定で同時に最適性を達成する方策が考案されており，これらはBest-of-Both-Worlds (BOBW)方策とよばれる．本研究では，フィードバックグラフからのオンライン学習や部分観測問題など，より現実的な設定におけるBOBW方策，および分散依存のリグレット上界を達成するBOBW方策を提案する．

1-072: 検証器つきモデルの汎化性能解析

発表者: 西野正彬; 中村健吾; 安田宜仁 (NTTコミュニケーション科学基礎研究所; NTTコミュニケーション科学基礎研究所; NTTコミュニケーション科学基礎研究所)
概要: 機械学習モデルを用いた予測が与えられた仕様を満たすことを保証する検証器をモデルに付与したときに、モデルの汎化性能がどのように変化するかを解析した。

1-073: Concept Bottleneck構造が線型神経回路網におけるBayes汎化誤差に与える影響の理論解析

発表者: 林直輝; 澤田好秀 (株式会社アイシン Tokyo Research Center; 株式会社アイシン Tokyo Research Center)
概要: 神経回路網（NN）の解釈性を向上させる手法として Concept Bottleneck Model (CBM) が知られている．しかしCBMの導入によってNNの汎化性能がどのような影響を受けるかは明らかにされていなかった．本研究では，3層線型NNの中間層にCBMの構造を導入した際におけるベイズ汎化誤差の厳密な漸近形を導出し，CBMがない場合に比べてベイズ汎化誤差がどのように変わるかを解明する．

1-074: Sample Complexity of Learning Heuristic Functions for Greedy-Best-First and A* Search

発表者: 坂上晋作; 大城泰平 (東京大学; 東京大学)
概要: A* 探索は大規模グラフ上の経路探索に対する強力な手法であり，近年では A* 探索のヒューリスティック関数を過去のデータから学習するアプローチが有望視されている．本研究では，ヒューリスティック関数の学習のサンプル複雑度を議論する．具体的には，n 個の頂点上でランダムに経路探索問題が与えられるとき，A* 探索の期待性能を保証するのに必要なサンプルサイズは n に対してどのように依存するかを議論する．

1-075: Mechanism Learning for Trading Networks

発表者: Takayuki Osogami; Segev Wasserkrug; Elisheva S. Shamash (IBM Research – Tokyo; IBM Research – Haifa; Technion – Israel Institute of Technology)
概要: We study the problem of designing mechanisms for trading networks that satisfy four desired properties: dominant-strategy incentive compatibility, efficiency, weak budget balance (WBB), and individual rationality (IR). Although there exist mechanisms that simultaneously satisfy these properties ex post for combinatorial auctions, we prove the impossibility that such mechanisms do not exist for a broad class of trading networks. We thus propose approaches for computing and learning the mechanisms that satisfy the four properties, in a Bayesian setting, where WBB and IR, respectively, are relaxed to ex ante and interim. For computational and sample efficiency, we introduce several techniques, including game theoretical analysis to reduce the input feature space. We empirically demonstrate that the proposed approaches successfully find the mechanisms with the four properties for those trading networks where the impossibility holds ex post.

1-076: 固定時間最適腕識別におけるミニマックス最適アルゴリズム

発表者: 小宮山純平; 土屋平; 本多淳也 (ニューヨーク大学; 京都大学/RIKEN AIP; 京都大学/RIKEN AIP)
概要: 固定時間の最適腕識別問題について議論する。この問題では、最適腕の誤識別確率がサンプル数に対して指数的に下がることが知られているが、この指数のレート（肩の上の定数）についてはあまり知られていない。本論文では、ミニマックスの意味で最適なレートを最適化問題の解として与える。また、固定信頼度の問題との性質の違いについても議論する。

1-077: 任意の二分木構造に対するTree Neural Tangent Kernel

発表者: 加納龍一; 杉山麿人 (国立情報学研究所/総合研究大学院大学; 国立情報学研究所/総合研究大学院大学)
概要: Soft Treeは、勾配法を用いて分割規則を更新する決定木の変種である。本研究は、従来完全二分木に対してのみ成立していたSoft Tree Ensembleが誘発するNeural Tangent Kernelに関する理論を任意の二分木構造へ対して拡張する。この結果を用いることで、各深さにおける葉の数が同じであれば、たとえ非同型の木であっても関数空間における学習挙動や汎化性能は全く同じになることを発見した。

1-078: Multiview Representation Learning from Crowdsourced Triplet Comparisons

発表者: Xiaotian Lu (京都大学大学院 情報学研究科 知能情報学専攻鹿島・山田研究室)
概要: Crowdsourcing has been used to collect data at scale in numerous fields. Triplet similarity comparison is a type of crowdsourcing task, in which crowd workers are asked the question “among three given objects, which two are more similar?”, which is relatively easy for humans to answer. However, the comparison can be sometimes based on multiple views, i.e., different independent attributes such as color and shape. Each view may lead to different results for the same three objects. Although an algorithm was proposed in prior work to produce multiview embeddings, it involves at least two problems; (1) the existing algorithm cannot independently predict multiview embeddings for a new sample, and (2) different people may prefer different views.
In this study, we propose an end-to-end inductive deep learning framework to solve the multiview representation learning problem. The results show that our proposed method can obtain multiview embeddings of any object, in which each view corresponds to an independent attribute of the object. We collected two datasets from a crowdsourcing platform to experimentally investigate the performance of our proposed approach compared to conventional baseline methods.

1-079: 人工知能技術の導入加速を支援するオープンソースソフトウェア aiaccel の紹介

発表者: 大西正輝; 坂東宜昭; 竹長慎太朗; 逸見一喜 (産業技術総合研究所; 産業技術総合研究所; 筑波大学; 筑波大学)
概要: 深層学習を代表例とする人工知能技術を現場に導入するためにはハイパパラメータの調整などの属人的な作業が発生する．本発表では産総研で開発しているハイパパラメータ最適化を人工知能処理向け計算インフラストラクチャ（ABCI）で行うことを目的としたオープンソフトウェア aiaccel （アイアクセル）について紹介する．

1-080: 畳み込みリカレントニューラルネットワークを用いた航空機エンジン用シングルセクタ二段ステージ燃焼器で発生する燃焼振動の事前検知

発表者: 岸谷宣成; 後藤田浩; 吉田征二; 庄司烈 (東京理科大学; 東京理科大学; 宇宙航空開発研究機構; 宇宙航空開発研究機構)
概要: 本研究では, 畳み込みリカレントニューラルネットワークを用いて燃焼状態を判別し, 航空機エンジン用シングルセクタ二段ステージ燃焼器で発生する燃焼振動の前兆を捉えるための事前検知法を提案する. 

1-081: 効率的な勾配正則化アルゴリズムとその陰的バイアスの解析

発表者: 唐木田亮; 高瀬朝海; 早瀬友裕; 大沢和樹 (産総研; 産総研; クラスター; ETH Zurich)
概要: 勾配ノルムを陰にあるいは陽に正則化すると汎化性能が向上することが深層学習において経験的に報告されている. 本研究では陽な正則化のアルゴリズムをいくつか検討し,　有限差分が低い計算コストで高い汎化性能を達成することを明らかにする. また, 対角線形ネットの理論解析により, 有限差分のステップサイズを大きくとると, ある種の望ましい陰的バイアスが生じることを示す. これは実験と整合する結果を与える.

1-082: 対照損失と教師付き分類損失の差について

発表者: 包含; 長野祥大; 野沢健人 (京都大学; 東京大学/理研AIP; 東京大学/理研AIP)
概要: 対照学習（contrastive learning）は意味上似ている正例が近く、似ていない負例が遠くなるようなデータ表現を学習する枠組みである。近年は学習した表現の下流分類タスクでの性能解析が行われているが、負例数に関して理論と実験の間に依然ギャップがある。本研究では対照損失による分類損失の理論上界・下界を大幅に改善し、負例数の増加に伴う実験的な分類性能の向上の説明を試みた。

1-083: 大域特徴を考慮した同変グラフニューラルネットワークによる物理現象の学習

発表者: 堀江正信; 三目直登 (株式会社科学計算総合研究所, 筑波大学; 筑波大学)
概要: 物理現象の学習・予測を機械学習で行うことにより計算速度・予測精度の向上が期待されている。本発表では、幾何情報を汎用的に取り扱えるE(n)-同変性を持つグラフニューラルネットワークに、非線形ソルバの理論から導かれる大域的な情報を考慮する機能を付与することによる学習の高精度化について議論する。提案手法では、既存の数値解析・機械学習手法と比較して計算速度・計算精度の点で優位性があることが実証された。

1-084: Graph Convolutional Networkによる有機イオン伝導性材料の電気伝導率の予測精度向上

発表者: 楠田真大; 畠山歓; 五十嵐康彦 (筑波大学システム情報系; 早稲田大学先進理工学部 応用化学科; 筑波大学システム情報系)
概要: グラフニューラルネットワークによる物性予測が盛んに行われている．本研究では、グラフニューラルネットワークとしてGraph Convolutional Networkに用いることで、全固体リチウムイオン電池などに用いられる有機イオン伝導性材料における電気伝導率の予測の精度を向上し，さらにネットワークの構成や手法の違いによる予測精度への検証を行った．

1-085: 輝度特徴と色特徴の混合率の変化に対する画像分類の整合性評価

発表者: 緒方貴紀; 田中正行; 佐藤育郎 (東京工業大学; 東京工業大学; 東京工業大学)
概要: 一般的な画像分類器では，RGB表現のように輝度情報と色情報が特定の要領で混合された信号を入力として用いる．物体の輪郭の表現には前者が，テクスチャの表現には後者がそれぞれ主な役割を担うことから，特徴抽出における両者の重要性は分類の対象，つまりクラスや各々のインスタンスに依存すると考えられる．本検討では，輝度特徴と色特徴の混合率の変化に対して分類スコアが大きく変化する標本を特定しその傾向を調査した．

1-086: 医療画像診断のための弱教師あり学習を用いた確信度付き良悪性分類手法

発表者: 永野由貴斗; 瀬尾茂人; 多根井智紀; 草田義昭; 松田秀雄 (大阪大学大学院情報科学研究科; 大阪大学大学院情報科学研究科; 大阪大学大学院医学系研究科; 大阪大学大学院医学系研究科; 大阪大学大学院情報科学研究科)
概要: 医療画像は一般画像と比較して、アノテーションの付与や画像自体の収集が難しいといった特徴がある．また、機械学習による自動診断にあたっては、確信度や判断理由の提示も重要な課題である．本研究では、小サンプルでアノテーションの不完全な医療画像データを対象とした良悪性分類手法を提案する．画像をグリッド状に分割し、特徴量を得てクラスタリングを行い、その結果より確信度や判断理由等の情報を含んだ診断を行う．

1-087: Koopman作用素を用いたニューラルネットワーク解析

発表者: 橋本悠香; 園田翔; 石川勲; 二反田篤史; 鈴木大慈 (NTT; 理研AIP; 愛媛大学; 九州工業大学; 東京大学)
概要: Koopman作用素は関数の合成に関する線形作用素であり，力学系の解析に用いられてきた．Koopman作用素を用いると，関数の合成が作用素の積として表せるという利点がある．本研究では，ニューラルネットワークの合成の構造を，Koopman作用素の積として表すことでニューラルネットワークの解析を行う．具体的には，Rademacher complexityの評価や，その表現力との関連性について議論する．

1-088: Slimmable Pruned Neural Networks

発表者: 倉津秀彬 (北海道大学 アルゴリズム研究室)
概要: 本研究は、先行研究であるSlimmable Neural Networksを拡張し、本研究で提案するmulti-base pruning, efficient pruning, channel sortingと近年注目を浴びているweight-sharing NASの手法を組み合わせ、新しくSlimmable Pruned Neural Networksを提案する。提案手法は「単一ネットワークに複数のサブネットワークを埋め込み動的に経路選択する」という先行研究の特徴を保持しつつ、同時に大幅な精度向上を実現した。また一部のモデルにおいてNAS手法に匹敵する圧縮レベルを実現しつつ訓練時間をNASに比べ大幅に短縮することに成功した。

1-089: Earth Mover’s Distanceを用いた深層学習の学習過程の解析

発表者: 加藤聡太; 堀田一弘 (名城大学)
概要: 本研究では, 深層学習モデルの学習を特徴量の情報輸送の最適輸送問題として捉え, 特徴量間のEarth Mover’s Distance (EMD)を測定することで, 深層学習の学習過程の解析および新たな学習収束条件の考案を目的とする. 深層学習モデルを用いたクラス分類での実験の結果, 学習が進むごとに特徴抽出器と識別器間のEMDは大きくなり, また学習中にDeep Double Descentが発生した場合, EMDは最大値を迎え, その後下がることを確認し, Deep Double DescentとEMDの関係性を示した.

1-090: GANの潜在空間における非線形な属性座標系の学習

発表者: 青嶋雄大; 松原崇 (大阪大学大学院基礎工学研究科; 大阪大学大学院基礎工学研究科)
概要: GANは高精度に画像を生成できる．また，潜在空間における経路に沿って潜在変数を更新し，生成される画像を編集する手法が提案されてきた．しかし，線形な経路に沿った更新では編集の精度に限界があり，非線形な経路に沿った更新では複数属性の可換な編集ができない．本研究では潜在空間における非線形な属性座標系を学習する手法を提案する．実験から，既存の手法よりも高精度かつ複数属性の可換な編集が可能なことを示す．

1-091: Decoding trusting behaviors in depression based on Bayesian hierarchical model

発表者: 曹子牧; ドードレンモニカ夏美; 松島敏夫; 疋田貴俊; 加藤隆弘; 本田直樹 (京都大学・生命科学研究科; 大阪大学 蛋白質研究所; 九州大学大学院医学研究院 精神病態医学; 大阪大学 蛋白質研究所; 九州大学大学院医学研究院 精神病態医学; 京都大学・生命科学研究科, 広島大学・統合生命科学研究科, 自然科学研究機構 生命創成探究センター)
概要: Trusting behaviors that rely on first impressions can occur at any time in daily life. For example, voting and business activities can be seen as kinds of trusting behaviors. In particular, when it comes to psychotherapy, trust in the doctor will help in the communication between patients and doctors. Studies have been conducted using a type of economic game, the trust game, and found that depressed people have a significant low level of trust in people. This low level was reflected in simulated investment activities where patients took longer time to make decisions and invested lower amounts of money. However, we still do not know the mechanism of the decision-making underlying low trusting behaviors. In this study, we describe the trust game using mathematical modeling. In the trust game, the participant evaluates the trustworthiness and attractiveness of the photo of a partner and then makes a decision about how much money to give to the partner. We assume that there are objective values for the trustworthiness and attractiveness of photos of partners, and then the participant weight these two values to obtain an evaluation of whether the partner is worth investing in and make a decision on whether to invest and how much to invest based on this evaluation. For this process, we design a Bayesian hierarchical model and optimize the parameters based on a machine learning approach. Comparing the differences of each parameter in the model between healthy controls and depressed patients, we can describe the specific explanation for the low trust behavior in the depressive state.

1-092: DC計画問題の応用によるスパースICAの提案

発表者: 遠藤優介; 竹田晃人 (茨城大; 茨城大)
概要: ICA (独立成分分析)は多次元信号の解析手法の一つであり，音源等の信号分離や特徴抽出に利用されている．しかし一般的にはICAの結果は複雑で解釈困難な場合が多い．そこで本研究では結果の解釈可能性の向上のために，ICAの代表的な手法であるFastICAにスパース制約を課しかつ求解にDC(Difference of Convex functions)計画問題を応用したスパースICAを提案する．

1-093: 高次元ベイズ推論のための分子動力学を用いたサンプリング手法

発表者: 森口椋太; 片上舜; 永田賢ニ; 水牧仁一朗; 岡田真人 (東京大学, 大学院理学系研究科; 東京大学, 大学院新領域創成科学研究科; 国立研究開発法人物質・材料研究機構, 統合型材料開発・情報基盤部門; 公益財団法人高輝度光科学研究センター; 東京大学, 大学院新領域創成科学研究科)
概要: 近年、計測科学において旧来の最小二乗法などではなく，ベイズ推論などの機械学習手法を用いた推論が普及している。ベイズ推論では，サンプリング手法によって事後分布を推定するが，一般的に使用されているサンプリング手法では高次元になるとサンプリング効率が下がり，高次元ベイズ推論が困難になっている。この問題を解決するために，我々は高次元ベイズ推論を可能にする分子動力学を用いたサンプリング手法を提案する。

1-094: フランク・ウルフ法としてのブースティング

発表者: 三星諒太朗; 畑埜晃平; 瀧本英二 (九州大学/理研AIP; 九州大学/理研AIP; 九州大学)
概要: 本研究ではソフトマージン最適化のためのブースティングを考える．これは計算時間の理論保証を持ち，かつ実際に高速なものはまだ知られていない．本研究では，マージン最大化ブースティングにフランク・ウルフ法に基づく統一的な見方を与え，かつこの両方の目標を達成するブースティングの枠組みを提案する．

1-095: 主成分分析を用いたベイズ最適化向け転移学習

発表者: 増井秀之; Diego Romeres; Daniel Nikovski (三菱電機株式会社; Mitsubishi Electric Research Labs; Mitsubishi Electric Research Labs)
概要: 情報幾何に基づいたガウス過程回帰に対する主成分分析（GP-mPCA）を応用し、ベイズ最適化向けの転移学習（BO-mPCA）を提案する。まず、ソースタスクのGPRを低次元多様体上に射影する。そして、その多様体上でターゲットタスクに合うGPRを探索し、それを事前分布として利用する。本提案法をハイパーパラメータ最適化のベンチマークで評価した結果、効率的な探索が出来ることを確認した。

1-096: Discrete-Convex-Analysis-Based Framework for Warm-Starting Algorithms with Predictions

発表者: 大城泰平; 坂上晋作 (東京大学; 東京大学)
概要: Augmenting algorithms with learned predictions is a promising approach for going beyond worst-case bounds. Dinitz, Im, Lavastida, Moseley, and Vassilvitskii (2021) have demonstrated that a warm start with learned dual solutions can improve the time complexity of the Hungarian method for weighted perfect bipartite matching. We extend and improve their framework in a principled manner via discrete convex analysis (DCA), a discrete analog of convex analysis. We show the usefulness of our DCA-based framework by applying it to weighted perfect bipartite matching, weighted matroid intersection, and discrete energy minimization for computer vision. Our DCA-based framework yields time complexity bounds that depend on the l_\infty-distance from a predicted solution to an optimal solution, which has two advantages relative to the previous l_1-distance-dependent bounds: time complexity bounds are smaller, and learning of predictions is more sample efficient. We also discuss whether to learn primal or dual solutions from the DCA perspective.

1-097: カーネル平均埋め込みを用いたベイズ最適化

発表者: 山田聡; 山崎啓介; 鷲尾隆 (NEC/産総研/BIRD; 産総研/BIRD; 大阪大学/BIRD)
概要: ベイズ最適化は、ブラックボックス関数をサロゲートモデルで近似して最適解を逐次的に探索する手法である。ガウス過程回帰は、サロゲートモデルとして使われることが多いが、入力で条件付けた出力の条件付き確率分布がガウス分布の場合しか表現できない。本発表では、非ガウス分布も表現できるカーネル平均埋め込みをサロゲートモデルに用いたベイズ最適化を提案する。

1-098: サブモジュラー最適化による不明な状況下でもロバストな推薦リスト生成

発表者: 佐藤政寛 (富士フイルム株式会社)
概要: ユーザー属性やコンテキストが不明な場合、推薦精度は低下する。これは行動履歴と推薦すべきアイテムの関係が、ユーザー属性やコンテキストによって変わることに起因する。そこで本研究では、ユーザー属性やコンテキストがどの場合であっても推薦リストに１つ以上正解を含むためのリスト最適化を提案する。hit rateの期待値はサブモジュラー関数であるため、サブモジュラー関数の平均値または最小値の最大化問題を扱う。

1-099: 決定ダイアグラムに基づく拡張定式化

発表者: 黒河祐太; 三星諒太朗; 浜崎晴輝; 畑埜晃平; 瀧本英二; Horakou Rahmanian (九州大学; 九州大学/理研AIP; 九州大学; 九州大学/理研AIP; 九州大学; Amazon)
概要: 整数係数の線形制約の集合に対して拡張定式化の構築手法を提案する．提案手法はまず（１）制約行列を表現する決定ダイアグラムを構築し，（２）決定ダイアグラムに基づく拡張定式化を与える．この拡張定式化は元の問題の制約数には依存せず，決定ダイアグラムのサイズにのみ依存する．整数計画問題と1ノルム正則化ソフトマージン最適化問題に対して提案手法の有効性を計算時間・最大メモリ使用量の観点から示す．

1-100: Reducing Communication in Federated Learning with a Novel Single-Loop Variance Reduction Method

発表者: 大古一聡; 秋山俊太; 村田智也; 鈴木大慈 (東京大学, 理研AIP; 東京大学; 東京大学, NTTデータ数理システム; 東京大学, 理研AIP)
概要: 連合学習における各通信ラウンドでは，一部のクライアントのみをサンプルして通信量の削減を目指すことが多い．しかし，多くの先行研究では，サンプリングによる誤差が収束解析において支配的になっている．この問題に対処するため，我々は新しい一重ループの分散縮小勾配法を構築し，連合学習に応用した．提案する連合学習手法は，１次及び２次の最適点を求めるほぼ最適な通信回数・通信量と，PL条件下での線形収束を保証する．

1-101: Lasso, Ridge, and Elastic Net Regularized Generative Adversarial Networks for Single Image Super-Resolution

発表者: Supatta Viriyavisuthisakul; Natsuda Kaothanthong; Parinya Sanguansat; Minh Le Nguyen; Teeradaj Racharak; Choochart Haruechaiyasak; Toshihiko Yamasaki (Japan Advanced Institute of Information Technology and Sirindhorn International Institute of Technology; Sirindhorn International Institute of Technology; Panyapiwat Institute of Management; Japan Advanced Institute of Information Technology; Japan Advanced Institute of Information Technology; National Electronics and Computer Technology Center; The University of Tokyo)
概要: Generative Adversarial Networks (GAN) have demonstrated an excellent ability to reconstruct the detail of a low resolution image to recover realistic details of a superresolution image. Recently, noise Enhanced Super Resolution GAN plus (nESRGAN+) produces photo-realistic images, where the stochastic variation is added to a generator for generalizing the local perception without global effect. However, the visual quality of the reconstructed result lacks hallucinated detail and suffers from unpleasant artifacts. To address this problem, we propose to incorporate L1, L2, and elastic net regularization in the generator when optimizing the loss function to improve the super-resolution images. Our results show that the proposed methods can help the generator achieve the better visual quality with more realistic textures than the state-of-the-art methods, as well as enhance the image quality assessment metrics. The average PSNR, SSIM, and LPIPS were 27.90 dB, 0.8234, and 0.1911, respectively. Furthermore, it improves the process of generating details more consistently even in early iterations.

2022/11/22(火)

2-001: ポアソン分布を用いたX線吸収スペクトルの解析

発表者: 柏村周平; 片上舜; 岩満一功; 熊添博之; 永田賢二; 岡島敏浩; 赤井一郎; 岡田真人 (東京大学理学系研究科; 東京大学新領域創成科学研究科; 熊本大学技術部; 熊本大学産業ナノマテリアル研究所; NIMS; あいちシンクロトロン光センター; 熊本大学産業ナノマテリアル研究所; 東京大学新領域創成科学研究科)
概要: X線吸収スペクトルとは，物質に様々なエネルギーのX線を照射した際の吸収率データである．吸収率は入射量と吸収量の比である．従来の解析では，吸収率データを解析対象とし，ガウス分布に従うデータ生成を仮定した解析手法が用いられてきた．我々はこのモデルを再考する．吸収量データがカウントデータであることに注目し，ポアソン分布を尤度モデルとしてベイズ推論を行う．この手法の有効性を人工データ解析で示す．

2-002: HDP-NP-HSMM を用いた教師なし音素認識

発表者: 三村知洋; 石黒慎; 鈴木喬; 山田曉 (NTTドコモ; NTTドコモ; NTTドコモ; NTTドコモ)
概要: 人間は認識を容易にするために、知覚された連続情報をセグメントに分割することができる。たとえば、人間の幼児は連続的な音声信号から認識可能な音素認識や単語分割を行なっていることが知られている。本研究ではNeural processとHDP-HSMMを用いて教師無しで連続時系列データをセグメントに分割できる計算論モデルを提案する。

2-003: 悲観的重み付き因果推論

発表者: 谷本啓 (NEC)
概要: 因果推論では、過去の意思決定と異なる分布をもつ意思決定方策を精度よく評価することを目指す。この分布のシフトを重点サンプリングによってサンプル重み付き学習に還元することが広く行われている。しかし、推定した確率の逆数をとるため重みが極端になりしばしば学習が不安定である。そこで本提案では、過去の意思決定方策の不確実性を考慮して悲観的に重みを推定しつつ学習を進めることで、安定した学習を可能にする。

2-004: Platform Information Design on Online Freight Exchange

発表者: Donghao Zhu (Techinical Unversity of Munich, Germany)
概要: We are presenting one of our works which motivated from practical problems, and targeting for a Reinforcement learning application. Freight exchanges provide an example of two-sided digital platforms where shippers and carriers get matched dynamically. The market is fragmented, with many exchanges competing for small- or medium-sized firms on both sides. The information displayed about the queue length indicates the expected waiting time and causes users to either balk before entering the queue or renege while waiting. This has significant impact on platform revenue. Different information policies can be observed in the field. When should platforms reveal such information? Information design has received increasing attention in economic theory. The information policy in platforms with dynamic arrival of supply and demand requires new models. We use queueing theory from an information design perspective to investigate the optimal information design for maximizing the platform’s expected revenue. We derive the optimal information design by comparing the resulting steady-state distribution of the underlying Markov chains. If arrival rates are sufficiently different on both sides, a differentiated information policy that hides the information for the side with the larger arrival rate is optimal. If arrival rates of both sides are sufficiently high, displaying the queue-length information increases the expected revenue. For endogenous arrival rates, considering the impact of service quality on user arrival rate in the context of multiple platform providers, the recommendations regarding the optimal information policy remain qualitatively the same but revenue effects become much more pronounced. Queueing the shipper or carrier side with the higher arrival rate increases expected revenue, and the expected queue length determines the optimal information policy. Different information policies should be used depending on arrival rate and system load. It is important to consider user behavior in the context of multiple platform providers via endogenous arrival rates. Keywords: Freight Exchange, Stochastic Modeling, Markov Chain, Information Design, Queueing

2-005: 衛星放射スペクトル情報から大気中の温室効果ガス量を求める ー衛星リトリーバル手法の超高速化に向けた機械学習的試みー

発表者: 八代尚; 染谷有; 梶原隆文; 金川元信 (国立環境研; 国立環境研; 日本電気; EURECOM)
概要: 日本の温室効果ガス(GHG)観測技術衛星いぶき（GOSAT）シリーズは、地球の大気に含まれるGHG濃度を宇宙から観測し、脱炭素社会へ向けた各国のGHG排出量把握等に役立てられている。本研究では、物理モデルに基づく大気放射伝達シミュレーションとMAPによるGHG濃度の逆推定について、カーネル法を用いたデータ駆動型アプローチに置き換え、高精度を保ちつつ計算時間を劇的に短縮することを目指している。

2-006: (この発表は1-101に移動しました)

2-007: ベイズ推論による光吸収スペクトルのスペクトル分解

発表者: 竝河伴裕; 永田賢二; 片上舜; 水牧仁一朗; 岡田真人 (東京大学; 国立研究開発法人物質・材料研究機構; 東京大学; 公益財団法人高輝度光科学研究センター; 東京大学)
概要: スペクトルデータの解析の際に, ベイズ推論を用いたスペクトル分解が有効であることが知られている. 本発表では, 二項分布モデルを導入し, データが成功率として得られる光吸収スペクトルなどにおける, ベイズ推論の拡張について説明する. データのノイズや成功率の大きさによって, スペクトル分解ができず, 実験が失敗したとされてきたスペクトルデータに対して, 本発表の手法を適用し, その有効性を示す.

2-008: テンソル分解・主成分分析を用いた教師無し標準偏差最適化変数選択法の遺伝子発現プロファイル、メチル化プロファイル、ヒストン修飾解析への応用

発表者: 田口善弘 (中央大学)
概要: 主成分分析を用いた教師無し学習による変数選択法を１０年前に、テンソル分解を用いた教師学習による変数選択法を５年前に提案し、バイオインフォマティクスに成功裏に応用してきたが、Ｐ値のヒストグラムが帰無仮説であるガウス分布と整合的ではない、偽陰性が大量にあると思われる、などの欠点があった。この欠点が標準偏差の最適化だけでほぼ解消されることを発見したので報告する。

2-009: カーネル法を用いた衛星放射スペクトル情報からの大気中温室効果ガス量の推定

発表者: 梶原隆文; 染谷有; 金川元信; 八代尚 (NEC; 国立環境研; EURECOM; 国立環境研)
概要: 日本の温室効果ガス(GHG)観測技術衛星いぶき（GOSAT）シリーズは、地球の大気に含まれるGHG濃度を宇宙から観測し、脱炭素社会へ向けた各国のGHG排出量把握等に役立てられている。本研究では衛星情報にカーネル法を用い、1)関数回帰による大気放射伝達計算の高速化と、2)近似ベイズ計算(ABC)によるGHG濃度の推定を行う。

2-010: 小角散乱法の計測データを用いた試料パラメータのベイズ推定

発表者: 林悠偉; 片上舜; 桑本滋生; 永田賢二; 水牧仁一朗; 岡田真人 (東京大学大学院新領域創成科学研究科; 東京大学大学院新領域創成科学研究科; 公益財団法人高輝度光科学研究センター; 国立研究開発法人物質・材料研究機構; 公益財団法人高輝度光科学研究センター; 東京大学大学院新領域創成科学研究科)
概要: 小角散乱法の計測データから試料のモデルパラメータを推定する手法を提案する．従来の解析では解析者の主観が入る場合や局所解に陥る可能性があるが，結果の信頼度を評価することは難しい．提案手法は，計測データからモデルパラメータをベイズ推定することによってこれらの問題を解決する．提案手法は信頼度や高い推定精度だけではなく，計測時間や計測データの角度領域に対する推定可能性の転移点に関する視座を与える．

2-011: 機械学習・深層学習を用いた高炉の教師なし異常検知

発表者: 板倉健大; 西郷浩人 (九州大学大学院 システム情報科学府; 九州大学 システム情報科学研究院)
概要: 鉄鋼産業では設備投資が巨額であり，操業の効率化によるメリットが大きい．しかしながら現状は人が状況やデータから判断し，操業データが有効に活用されていない為に機械学習の利活用が期待されている．本研究では複数の教師なし学習モデルを用いて，高炉内の異常と正常の分類器を構築し，時系列を考慮しないモデルが，考慮するモデルよりも良い精度を記録した．これについて考察を行った．

2-012: 推薦システムの信頼度を活用したバイアス補正

発表者: 暮石航大; Wu Shuting; 加藤真大; 冨樫陸; 安井翔太 (CyberAgent)
概要: 本研究では，Implicit Feedbackから推薦システムのモデルをバイアスなく学習するため，推薦システムの予測リスクの推定方法について検討する．具体的には，Relevance Score(推薦システムにおける信頼度)を活用したバイアス補正の方法を提案する．提案方法では，既存方法と比較して理論的に良い性質(分散が小さい,ノイズへの頑健性)があるだけでなく，実験においても良い性能が示されている．

2-013: ベイズ最適化に基づく化学反応条件の効率的な探索手法

発表者: 橋場峻一; 田畑公次; 松村祥宏; 小松崎民樹 (北海道大学総合化学院; 北海道大学電子化学研究所; 北海道大学電子化学研究所; 北海道大学電子研究所)
概要: ベイズ最適化と特徴量選択を組み合わせた化学反応条件の探索手法を提案する。化学反応の反応分子の候補を部分構造の出現回数により特徴ベクトルに変換したのち、(1)現時点までに観測された分子に対する特徴選択、(2)ランダムフォレスト回帰による目的関数のサロゲートモデル作成、(3)獲得関数に基づく次に観測する分子の決定、を繰り返して、与えられた基準を超える分子を効率よく探索する。

2-014: 時系列ラベルを用いた物体検出による筋線維再生の定量評価の提案

発表者: 山岡悠; 瀬尾茂人; 深田宗一朗; 松田秀雄 (大阪大学大学院情報科学研究科; 大阪大学大学院情報科学研究科; 大阪大学大学院薬学研究科; 大阪大学大学院情報科学研究科)
概要: 筋組織は傷害や疾病によって損傷する一方で，その再生プロセスは組織再生モデルの一つとして確立されてきた．ただし同サンプルの筋線維であったとしても，組織の領域ごとで再生レベルが異なったり専門家の評価にもバラツキがあったりと，再生レベルの標準化・定量化が求められる．本研究では，機械学習的手法を用いて組織中の筋線維状態から筋出力に相当するCSA(生理的断面積)などを推測し回復の評価を試みる

2-015: ヘリカル式核融合炉におけるスパースな動的モード分解を用いた放射崩壊予測

発表者: 鈴木瑛介; 横山達也; 坂本隆一; 河原吉伸; 山田弘司; 五十嵐康彦 (筑波大学システム情報系; 量子科学技術研究開発機構; 自然科学研究機構 核融合科学研究所, 東京大学大学院新領域創成科学研究科; 大阪大学大学院情報科学研究科, 理化学研究所　革新知能統合研究センター; 東京大学大学院新領域創成科学研究科; 筑波大学システム情報系)
概要: ヘリカル式核融合炉における放射崩壊を予測することが重要な問題である．そこで本研究では，複数の計測値に関する時系列データを用いた放射崩壊予測を行うために，得られた時系列データに対してスパース化しつつ動的モード分解を行ない，得られた動的モードを用いることで放射崩壊時と安定時の二値分類を行った．これにより，従来手法に比べて高い精度での放射崩壊予測を実現した．

2-016: 自己教師ありViTによる3Dモーションデータ検索

発表者: ニャムフーガンバト; 加納基晴; 吉田雄大; 下斗米貴之; 濱田直希 (KLab株式会社; KLab株式会社; KLab株式会社; KLab株式会社; KLab株式会社)
概要: ゲームや映画などの3Dコンテンツ開発は年々大規模化しており、なかでも3Dキャラクターのモーションデータの制作コストは大きな割合を占める。制作を効率化するために3Dモーションの検索が必要とされている。本研究では3Dモーション検索のための自己教師ありViTを提案する。実際のゲーム製品の3Dモーションデータを用いて、提案手法を既存のCNNベースの手法および教師ありViTと比較し、精度向上を示す。

2-017: スパースモデリングを用いたマルチフレーム超解像による放射光顕微分光画像への展開

発表者: 関根正大; 永村直佳; 日野英逸; 岡田真人; 五十嵐康彦 (筑波大学システム情報系; JSTさきがけ, 物質・材料研究機構; 統計数理研究所, 東京大学理学系研究科・理学部; 筑波大学システム情報系, JSTさきがけ)
概要: 本研究では，放射光を用いた顕微分光によって計測画像を対象にしたスパースモデリングを用いたマルチフレーム超解像解析を行った．複数の低解像度画像による超解像を実材料および標準試料として微細加工金パターンの計測データに適用し，分解能やPSNRによる精度向上を行なうと共に，熱ドリフトや振動，チャージングによるアーティファクトの軽減について検証を行った．

2-018: Fairness-aware federated learning for heterogeneous clients using clustered-distillation

発表者: 長尾祐一; 米谷竜; 斎藤英雄 (慶應義塾大学; 慶應義塾大学, オムロンサイニックエックス株式会社; 慶應義塾大学)
概要: Federated learning (FL) is a decentralized learning framework in which distributed clients collaboratively learn a neural-network model under the coordination of a central server without sharing their own local data. In this work, we address the problem of improving fairness among clients when there is heterogeneity in the distributions of their data as well as in the architecture of models they locally train. Considering the fairness under these two heterogeneous factors requires a novel approach since existing work has separately addressed fairness and architecture heterogeneity. To this end, we develop a two-step fairness-aware federated learning approach. The proposed method first shares knowledge among clients with similar data distributions via distillation. It then applies model-agnostic FL for groups of clients training the same architecture models to improve performance, especially for lower-performing clients. Experimental results on image classification tasks demonstrate that our approach can improve per-client classification performance with fewer communication rounds, while reducing performance variance across clients.

2-019: 一部地点の交通量とコネクティッドカーのデータを用いた未計測地点の交通量の推定

発表者: 笹井健行; 井上雅章; 勇嘉偉; 福島真太朗 (トヨタ自動車株式会社; トヨタ自動車株式会社; トヨタ自動車株式会社; トヨタ自動車株式会社)
概要: 道路の正確な交通量の把握は、大型商業施設の立地計画やイベント開催時の交通流制御等への応用が期待される。しかし、交通量の計測はコストが高く、入手可能な地点はごく一部に限られる。一方、近年はコネクティッドカーから、時空間の網羅性が高い運転操作・車両挙動等のデータが収集されている。本発表では、一部地点の交通量データとコネクティッドカーのデータを補完し合うことによる未計測地点の交通量の推定手法を提案する。

2-020: 複数実験結果を用いたベイズ推論によるパラメータ推定

発表者: 西村怜; 片上舜; 永田賢二; 水牧仁一朗; 岡田真人 (東大新領域; 東大新領域; NIMS; JASRI; 東大新領域)
概要: 物理現象のメカニズムを理解するためには，多角的な測定と結果の統合的な解釈が必要である.本発表では，ベイズ推論に基づき結果の統合的な解釈を行う方法としてベイズ統合を提案する.単純なハミルトニアンで説明できる4f電子系に焦点をあてる.測定は磁化率測定と比熱測定を対象とする.異なる2つの測定データを用いてシミュレーションを行い，ベイズ統合により精度が向上することを示す.

2-021: 生体分子構造の遅い運動を捉えるための表現学習

発表者: 石曽根毅; 松永康佑; 渕上壮太郎; 中村和幸 (明治大学; 埼玉大学; 京都大学; 明治大学)
概要: 生体分子の特徴を理解するためには，エネルギー的な最安定構造だけでなく，構造の動的変化を解明する必要がある．生体分子には複数の時間スケールの運動が存在し，折り畳みなど遅い運動が主要な構造変化を形成する．本研究では，遅い運動を低次元で表現する手法を提案し，実験結果を報告する．

2-022: 補足情報の重要性を考慮したマルチモーダル知識グラフ埋め込み

発表者: 濱健太; 松原崇 (大阪大学 大学院基礎工学研究科; 大阪大学  大学院基礎工学研究科)
概要: 情報検索において重要な知識グラフは、規模が大きくなると情報の不足や誤りが増加する。そこで、欠損の補完に画像などの補足情報を活用し、複数の知識グラフから同じ対象を見つけて統合する手法が考案されている。しかし、既存手法は補足情報自体の不足や誤りにより、検索精度が低下する。本研究は、対象やそれが持つ補足情報を確率分布として埋め込み、重要性をその狭さで表現する手法を提案し、既存手法を上回る精度を達成した。

2-023: GW距離による最適輸送を用いたマルチモダリティデータ統合

発表者: 西健太郎 (広島大学)
概要: 生命科学では、注目する対象に対して多角的にデータを得ている。しかし、それらのデータは高次元かつ非ペアであることが多く、モダリティ間の関係性を見つけることは困難である。本研究では、データを低次元に埋め込み、モダリティ間の対応関係を最適輸送で学習することにより、データを統合する。また、最適輸送のコストとしてGromov-Wasserstein距離を用いることにより異なる低次元空間間の輸送を実現した。

2-024: 免疫シーケンスデータによる感染履歴検知のための省データな解析手法

発表者: 堅山耀太郎; 小林徹也 (東京大学大学院工学系研究科; 東京大学大学院生産技術研究所)
概要: 免疫細胞はそれぞれ固有の受容体をセンサとして持ち、受容体をコードする遺伝子は配列データとして取得できる。この配列の集合からいくつか疾患の感染履歴の有無を判定する研究が行われてきた。しかし、従来手法では大量の検体が必要であり、免疫シーケンスデータの解析が幅広い疾患へ応用されることを妨げていた。本研究では従来手法と比較し、検体数が少ない場合にも精度が維持される手法を提案した。

2-025: 双方向の表示順バイアスを考慮したランキング学習

発表者: 翁啓翔; 西村直樹; 成民濟; 小林健; 中田和秀 (株式会社リクルート; 株式会社リクルート; 東京工業大学; 東京工業大学; 東京工業大学)
概要: 推薦システムにおいて、クリック等の情報から、アイテムが表示された順位のバイアス等を除去しながらユーザの嗜好を学習する方法が盛んに研究されている。本研究では一方が嗜好を表明し、他方が承諾した際に成約するプラットフォームでのバイアスについて考察する。このとき、最初に嗜好を表明する側に加え、承諾する側に関しても表示順位のバイアスが生じる。このような双方向のバイアスを考慮したランキング学習を提案する。

2-026: 修正ラベル平滑化の提案

発表者: 山崎遼也; 田中利幸 (京都大学情報学研究科システム科学専攻; 京都大学情報学研究科)
概要: 従来のロジスティック回帰（LR）がone-hotターゲット（例：(0,1)）を用いるところを，ラベル平滑化の下でのLR（LSLR）は平滑化されたターゲット（例：(0.1,0.9)）を用いる．本研究は，ロジットが極端な値を取りにくくなることが利点とされてきたLSLRに対して，別の解釈を与え，それに基づきLSLRの修正版を提案し，ロジットが極端な値を取りうる修正版の有効性を実験的に確認した．

2-027: 量子アニーリングを用いた機械学習によるユーザーの年代推定

発表者: 木内美波; 中島寛人; 澤紀彦; 工藤和恵 (お茶の水女子大学大学院; 日本経済新聞社; 日本経済新聞社; お茶の水女子大学大学院)
概要: 日経電子版のユーザーの利用環境や読んだ記事などの情報が含まれているデータから、ユーザーの年代を推定する分類問題を解く。問題は量子アニーリングを用いたQBoostというアンサンブル学習の手法で解く。この手法は精度が悪い弱学習器を組み合わせて強学習器を作成するが、その組み合わせを量子アニーリングによって最適化する。本研究では精度の向上のためにパラメータの調整やデータの処理を行なった。

2-028: 非負値二値行列因子分解を用いた協調フィルタリング

発表者: 照井雪乃; 濱川洋平; 辰村光介; 工藤和恵 (お茶の水女子大学; 東芝; 東芝; お茶の水女子大学)
概要: 協調フィルタリングは、ユーザのアイテムに対する評価値データをもとに、未評価のアイテムに対する評価値を予測し推薦を行う、推薦システムの手法の一つである。本研究では協調フィルタリングに非負二値行列因子分解（NBMF）を用い、評価値行列を非負値行列とバイナリ行列に分解し、これをもとに予測評価値の行列を生成する。バイナリ行列の算出には、イジングマシンを利用する。

2-029: Unified Surrogate Bounds for Kernel-based Contrastive Unsupervised Representation Learning

発表者: 和井田博貴; 和田裕一郎; Andeol Leo; 中川匠; Zhang Yuhui; 金森敬文 (東京工業大学; 富士通株式会社/理研AIP; Institut de Mathematiques de Toulouse/Universite de Toulouse/CNRS; 東京工業大学/理研AIP; 東京工業大学; 東京工業大学/理研AIP)
概要: Contrastive learning is an efficient and popular approach of unsupervised representation learning. To theoretically explain why and how contrastive learning works, existing studies establish surrogate bounds of downstream performance by common contrastive losses such as InfoNCE. However, these bounds lack the applicability to recent successful contrastive losses (e.g., decoupled contrastive losses). In this paper, we introduce a simple and general framework termed Kernel Contrastive Learning (KCL), which can be related to not only common contrastive losses but also recent ones as mentioned above. We present new surrogate upper bounds of KCL for the supervised classification error. Our bounds explain how representations are learned in the reproducing kernel Hilbert space during the pretraining stage of KCL. In addition, a refined generalization error bound for the empirical kernel contrastive loss is provided.  We also present results of numerical experiments that collaborate our theoretical findings.

2-030: TVACLMの動的計画法を用いた最適化

発表者: 伊従寛哉; 武田優真; 松島慎 (東京大学; 東京大学; 東京大学)
概要: 順序回帰問題の教師あり学習においては，未知のデータに対する予測性能の高さとともに，学習したモデルが解釈性を持つことも重要である. 本発表では予測性能と解釈性の両方に優れている全変動正則化付き加法累積ロジットモデル(TVACLM) を提案する. さらに動的計画法を用いたその効率的な学習アルゴリズムを提案し、勾配法と比較した結果を示す。

2-031: 有限混合モデルのクラスタ数の実数値化と構造変化予兆検知への応用

発表者: 浦野健人; 山西健司 (東京大学; 東京大学)
概要: 有限混合モデルに対してクラスタの比率の偏りやクラスタ間の重なりを考慮して連続値でクラスタサイズを定義した概念としてMixture Complexity (MC)がある。本研究では、複数の混合数Kをとり得る場合に、MCを拡張して実数値のクラスタ数概念を提案する。これをクラスタリング構造変化予兆検知に応用し、その有効性を実証する。また、有限混合モデルに限らない潜在変数モデルへの適用についても考察する。

2-032: 中間特徴量の統合による深層学習モデルのアンサンブルに関する研究

発表者: 橋本智洋; 黒瀬優介; 日高雅俊; 原田達也 (東京大学; 東京大学, RIKEN AIP; 東京大学; 東京大学, RIKEN AIP)
概要: 複数の深層学習モデルを統合することは、より良い精度を得るための有力な手段として知られる。最もよく知られた手法としては出力を平均するアンサンブルがあるが、出力だけでなく中間特徴量レベルでの統合を行うことでさらに良い表現を得られることが期待される。我々は、複数のモデルを密に繋ぎ、追加訓練を行うことで、初期値や勾配の共有を必要としない統合手法を提案する。画像分類タスクによって本手法の有効性を検証した。

2-033: 全変動正則化を用いた加法モデルによる効率的な2値分類手法の研究

発表者: 武田優真; 伊従寛哉; 松島慎 (東京大学; 東京大学; 東京大学)
概要: 全変動による目的関数の正則化はデータへの局所的適合性が高く、過学習を起こしにくいという利点がある。本研究では全変動正則化を用いた加法モデルによる分類手法の開発を目的とする。学習過程における目的関数の最小化問題は従来の手法ではデータ数nに対しO(n^2)の計算量を必要とする。本研究では動的計画法を用いた方法を提案し、O(n)の計算量で最小化問題が解けることを示した。

2-034: 統計的機械学習の圏論的構成

発表者: 加藤整 (トヨタ自動車株式会社)
概要: 圏論は数学的構造を俯瞰し、構造間の関係性を記述する道具を提供する抽象代数の1つである。近年、機械学習の中核となる手法である自動微分、誤差逆伝播法、回帰型神経網等についての圏論的理解が進みつつある。統計的機械学習においてもマルコフ圏の適用によるベイズ更新といった手法での進展がありつつも、更なる理解が期待される。本研究では制限ボルツマン学習を圏論で捉えなおし、その構成アプローチを提案する。

2-035: C*Netのパラメータ近似のためのカーネル関数の検討

発表者: 幡谷龍一郎; 橋本悠香 (RIKEN ADSP; NTT/RIKEN AIP)
概要: C*環に値を持つパラメータにより特徴付けられるC*Netの数値実験では、C*環の元を計算機上で表現するためにカーネル関数の係数として扱い近似する。本研究ではこのカーネル関数の選択が学習に与える影響についての考察を行う。

2-036: 差分部分空間を用いた特異スペクトル解析に基づく変化検知

発表者: 金井拓海; 枌尚弥; 牧淳人; 福井和広 (筑波大学; 筑波大学; スウェーデン王立工科大学; 筑波大学)
概要: 差分部分空間を特異スペクトル解析に導入した時系列データからの変化検知手法を提案する．特異スペクトル解析に基づく従来手法では，信号部分空間の最小角を変化度と定義していた．本研究では，信号部分空間の微小な幾何変動を捉えるために，差分ベクトルの一般化である差分部分空間の方向と体積から新たな変化度を定義し性能向上を目指す．公開データセットを用いた実験により提案手法の有効性を評価する．

2-037: エントロピー正則化付き最適輸送を用いた漸進的ラベル伝播法

発表者: 有竹俊光; 日野英逸 (統計数理研究所; 統計数理研究所, 理研AIP)
概要: 半教師付き学習（SSL）では，少数のラベル付き標本と多数のラベルなし標本を用いて，未知の標本に対してより良く汎化するモデルを学習する方法を考える．特に，SSLでは標本から構成されるグラフを介して，ラベル情報を伝搬させるグラフベースの手法がよく用いられる．近年，最適輸送問題の解から構成したグラフを利用するoptimal transport propagation（OTP）が提案されている．しかし，OTPはラベル付き標本からラベルなし標本への輸送のみを考慮しており，ラベルなしデータ間の関係は考慮されない．一方，本論文ではラベル付き，ラベルなし標本両方からなる同一データセット間のエントロピー正則化付き最適輸送を考え，全標本の関係を考慮したグラフを構成する．ラベル情報はOTPと異なり，構築されたグラフを介して徐々に伝搬し，伝搬ステップの反復によりラベルなし標本のラベルを推定する．また，伝搬ステップをマルコフ過程と見なし，固有値分解を用いた提案手法の解析も行う．

2-038: 二値制約非負値行列因子分解による画像分類手法

発表者: 朝岡日向子; 工藤和恵 (お茶の水女子大学/株式会社リコー; お茶の水女子大学)
概要: 非負値行列因子分解は従来特徴抽出の手法として使われてきたが、画像のクラス分類器としての応用を提案する。画像データとラベル情報を行列に変換し、特徴を表す基底行列と係数行列に分解してクラス分類に活用する。提案手法で画像分類を行い、必要な学習データ数・特徴数などの観点から、全結合型ニューラルネットワークと比較した結果を示す。また、係数行列には二値制約を設け、量子アニーリング手法で特徴選択の最適化を行う。

2-039: 回帰問題に対する凸クラスタリングによるマルチタスク学習

発表者: 岡崎彰良; 川野秀一 (電気通信大学 大学院情報理工学研究科; 九州大学 大学院数理学研究院)
概要: マルチタスク学習とは，複数のデータ集合を統合し，モデル化を行う機械学習手法である．回帰問題に対して，クラスタリングによるマルチタスク学習を行う方法として，ネットワークlassoが知られている．本報告では，クラスタ間の関係性に敏感なネットワークlassoの問題点を克服するため，凸クラスタリングの目的関数を正則化項として採用するマルチタスク学習手法を提案する．また，数値実験を通して，提案手法の有効性を検証する．

2-040: Neural ODEに対するSecond Order Adjoint法を用いた二次最適化手法

発表者: 羽田充宏; 岩崎悟 (大阪大学; 大阪大学)
概要: 本研究ではNeural ODEと呼ばれるニューラルネットモデルに対してSecond Order Adjoint法と呼ばれるAdjoint法の拡張にあたるアルゴリズムを用いることで効率的にヘッセ行列を計算できることを示した．また提案手法を用いてヘッセ行列の情報まで考慮した二次最適化手法を適用した数値実験を行い，従来最適化手法よりも効率よく学習を行えることを確認した．

2-041: 相互作用情報量による能動学習

発表者: 坂本航太郎; 有竹俊光; 日野英逸 (統計数理研究所; 統計数理研究所; 統計数理研究所, 理研AIP)
概要: 限られたコストの中で高精度の予測モデルを得る方法論として能動学習がある．Houlsby et al. (2011) による予測分布とパラメータの事後分布の相互情報量が最大のサンプルを獲得するBayesian Active Learning by Disagreement (BALD) が提案されており，Kirsch et al. (2019) はBatchBALDとして深層学習への拡張を行った．バッチ内の相関については考慮がある一方，バッチ間の相関については不十分である．そこでco-informationのような３体以上の確率変数を比較する情報量を用いた獲得関数によってBatchBALDの改良を検討する．

2-042: ラベルの階層性による不変学習

発表者: 豊田祥史; 福水健次 (総合研究大学院大学; 総合研究大学院大学, 統計数理研究所)
概要: 学習時とテスト時の分布が異なる場合の識別手法として(統計的)不変学習というコンセプトが近年注目されている. しかし, その方法の実装は, 学習時に必要とされるデータのアノテーションコストが高いことにより, 資金的障壁が高いことが知られている. 本研究はそのアノテーションコストを, ラベルの階層性を用いて落とす, 新たな不変学習フレームワークを提案する.

2-043: 単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す

発表者: 大山百々勢; 横井祥; 下平英寿 (京都大学; 東北大学/理研AIP; 京都大学/理研AIP)
概要: 単語ベクトルの長さが意味の強さをエンコードするという経験的な知見に理論的枠組みを与える．意味の強さを測る指標として，単語がもつKullback-Leibler(KL)情報量から出現頻度のバイアスを除去したものを提案する．Skip-gram with Negative Samplingで得られる単語ベクトルのノルムの2乗はKL情報量，つまり意味の強さに相当することを理論と実験で示す．

2-044: 馬蹄事前分布によるベイジアン連結lassoを用いたロジスティック回帰モデリング

発表者: 書川侑子; 川野秀一 (電気通信大学大学院情報理工学研究科; 九州大学大学院数理学研究院)
概要: データのスパースな構造を捉えるモデリング手法の一つにベイジアン連結lassoがある．ベイジアン連結lassoは回帰係数と連続する回帰係数の差にラプラス分布を仮定することで両者を0に縮小し，変数選択と回帰係数の併合を行う．しかし，ラプラス分布は非0と推定されるべき部分を過度に縮小する傾向がある．この問題を解決するため，馬蹄事前分布を用いたロジスティック回帰モデルを提案する．数値実験を通し提案手法の有効性を検証する．

2-045: 深層サポートベクトルデータ記述法（DSVDD）におけるファインチューニングの効率化と異常検知への適用

発表者: 土尾崇太; 北村拓也 (富山高等専門学校; 富山高等専門学校)
概要: 本研究では，深層サポートベクトルデータ記述法（DSVDD）におけるファインチューニングの効率化と異常検知への適用を提案する．本手法では，特徴抽出部である畳み込みニューラルネットワーク（CNN）に事前学習モデルであるEfficient Netを用い，あらかじめSVDDによりサポートベクトル（SV）を求める．次に，SVを用いてファインチューニングすることで，SVを分類できる効率的な特徴抽出が可能である．

2-046: ハイパースペクトル画像分類における畳み込みSVM

発表者: 田村明人; 北村拓也 (富山高等専門学校; 富山高等専門学校)
概要: 本研究では，ハイパースペクトル画像分類問題における畳み込みサポートベクトルマシン（CSVM）を提案する．畳み込み層では3次元フィルタを用い，フィルタはSVMにより最適化する．このとき，画像の向きの変化などに対応するため，反転・回転させた画像を含めてフィルタを最適化する．これにより周囲の特徴量を考慮した分類が可能となり，通常のSVMに比べて高い汎化能力が期待できる.

2-047: モーメント伝播型GELUを用いた決定論的ベイジアンニューラルネットワーク

発表者: 平山侑樹; 高前田伸也 (東京大学大学院情報理工学系研究科; 東京大学大学院情報理工学系研究科)
概要: ベイジアンニューラルネットワークは予測の不確実性を取り扱うことのできる手法である。その推論手法の一つである決定論的変分推論は、中間層の出力のモーメントを計算することで予測分布を計算するが、非線形関数においてテイラー展開を必要とし、計算コストが高く、非線形性を導入するための適切な関数であるとは言えない。本発表では、高速・解析的にモーメントを伝播することのできる非線形関数MP-GELUを提案する。

2-048: １クラス畳み込みELMによる異常検知

発表者: 大上雄大; 北村拓也 (富山高専; 富山高専)
概要: One-class Extreme Learning Machine（OC-ELM）は, 異常検知において高い汎化能力を示すが, 画像による異常検知では, データを平坦化してから入力するため, 汎化能力が低い. そこで本研究では, １クラス畳み込みELM（OC-CELM）を提案する. 本手法では, 畳み込み層においてELMを用いた自己符号化器により特徴抽出を行い, 画像に対する異常検知性能を向上させる. 

2-049: Kernel Kalman Rule とKernel Bayes’ Rule の数値的比較

発表者: 崎田健太郎; 西山悠 (電気通信大学; 電気通信大学)
概要: Gebhardtらは再起的な最小二乗法に基づきKernel Kalman Rule (KKR)を提案し, 人工数値実験とHuMoDのデータを通して3つのKernel Bayes’ Rule (KBR)と比較し, 有効性を示した. 本ポスターでは, Stochastic Volatilityモデルや, 混合正規分布ノイズモデル等, その他の観測モデルでKKRと3つのKBRを比較する.

2-050: Boostingとリグレット解析に基づくクラス不均衡データに対するクラス分類性能均衡化

発表者: 斉藤優也; 松尾信之介; 内田誠一; 末廣大貴 (九州大学; 九州大学; 九州大学; 九州大学/理研AIP)
概要: クラスインバランス問題に対して，事前に定めた各クラスの重みを用いる一般的な対策では，その効果に理論的な保証がない．そこで本研究では，Boostingの枠組みを用いて，各クラスの重みを繰り返し更新しながら学習器を構築するアルゴリズムを提案する．リグレット解析により，クラス分類性能の均衡化に関する保証を与える．

2-051: AutoformerとBayes by Backpropを用いた信頼度つき時系列予測

発表者: 中田秀基; 麻生英樹 (国立研究開発法人産業技術総合研究所; 国立研究開発法人産業技術総合研究所)
概要: AutoformerなどのTransformerをベースとした時系列予測技術が提案されているが、これらの信頼度推定については明らかになっていない。本発表では、Autoformerに対してBayes by Backpropを適用することで信頼度推定を行ったので報告する。

2-052: Quantum ridgelet transform: Winning lottery ticket of neural networks with quantum computation

発表者: Hayata Yamasaki; Sathyawageeswar Subramanian; Satoshi Hayakawa; Sho Sonoda (The University of Tokyo; University of Warwick; University of Oxford; RIKEN AIP)
概要: High-dimensional ridgelet transform has been a fundamental mathematical tool for studying shallow wide neural networks with a single hidden layer in an over-parameterized regime. However, the practical applicability of the ridgelet transform to conducting learning tasks was limited since its numerical implementation by conventional classical computation requires an exponential runtime as data dimension increases. To address this problem, we here develop a quantum algorithm for ridgelet transform, quantum ridgelet transform. This algorithm uses quantum computation for implementing ridgelet transform of a quantum state efficiently within a linear runtime. As an application, we also show that the quantum ridgelet transform can be used as a fundamental subroutine in finding a sparse representation of shallow wide neural networks by sampling a subnetwork that is trainable in isolation without conducting the large-scale optimization of the original network, establishing an efficient way of demonstrating the lottery ticket hypothesis in this regime. These results open an avenue of quantum machine learning for accelerating learning tasks with conventional classical neural networks.

2-053: 形状データのクラスタリング方法といくつかの問題における性能比較

発表者: 岩田一貴 (広島市立大学)
概要: 形状データとは，複数のデータ点が構成する形や分布に意味があるようなデータのことである．形状データを解析するときは，平行移動・回転・拡大縮小などの特定の変換に対して意味が不変であるようにしたい．この発表では，主に事前にクラスタ数を指定せずに実行可能なクラスタリング方法を上記の要望を満たすように拡張する．また，アメフトの陣形の判別などの問題において，それらの拡張された方法の性能を比較する．

2-054: 最適方策を学習可能なインタラクティブ模倣学習

発表者: 中口悠輝; 窪田大 (NEC)
概要: 模倣学習は強化学習の問題を何らかの教師の情報を参考に解く。典型手法の行動模倣では共変量シフトを生じて長期的な問題に適用できなかったが、インタラクティブ模倣学習は教師モデルからオンラインでフィードバックを得ることでこの課題を解決した。一方、インタラクティブ模倣学習の既存手法では、教師が生徒モデルの最適方策と異なる場合に生徒が最適方策を学習できなかった。本研究ではその課題を解決する新規手法を提案する。

2-055: Thresholded Lasso Bandit

発表者: 蟻生開人; 阿部拳之; Alexandre Proutiere (サイバーエージェント/KTH; サイバーエージェント; KTH)
概要: 本研究では、高次元文脈付きバンディット問題に対する期待累積報酬最大化のためのアルゴリズムとして、台推定と値推定とを明示的に切り分けて利用する、Thresholded Lasso Banditアルゴリズムを提案する。提案アルゴリズムに対して、いくつかの仮定の下での非漸近的な理論解析を示す。さらには実験的な性能を確認し、先行研究との比較を行う。

2-056: 動的環境におけるエキスパート問題に対する計算効率の良いアルゴリズム

発表者: 竹村慧 (NECデータサイエンス研究所)
概要: 本発表では、動的リグレットを評価指標としたエキスパート問題を考察する。既存のアルゴリズムは、ある時点での1回の意思決定に必要な時間/空間計算量が過去の意思決定回数tに対して線形オーダーであったり、意思決定の際に解く部分問題に解析解が存在しなかったりした。それに対し、リグレット保証を損なわずに、時間/空間計算量がtに対して対数オーダーかつ部分問題が解析解をもつようなアルゴリズムを提案する。

2-057: 報酬が過去の履歴に依存する場合のバンディットアルゴリズム

発表者: 谷本悠斗; 福水健次 (総合研究大学院大学; 統計数理研究所)
概要: バンディットアルゴリズムでは通常，報酬の定常性を仮定しているが， 商品推薦においては，同じ商品を勧めてしまうことが指摘されている．本研究では，直近に引いたアームの報酬は低下し，引かないと報酬が徐々に回復する場合を考えた．アームを引かなかった間隔を状態としてアーム毎にQ関数を用いたQ学習を提案し，通常のQ学習より優れたパフォーマンスを得られることをシミュレーションで示した．

2-058: モデルベースメタ強化学習のための重み付きモデル推定

発表者: 菱沼徹; 泉田啓 (京都大学; 京都大学)
概要: 本研究では、モデルベースメタ強化学習において潜在変数を持つ遷移モデルを推定する方法を考える。現在までに収集したデータの分布とそれを用いてプラニングした方策を用いた将来のデータ分布の間の共変量シフトが存在するため、これを考慮した重要度重み付け尤度に基づいて遷移モデルを推定する手法を検討する。数値実験を通じて、通常の重み無し尤度に基づくモデル推定とこの手法を比較検証する。

2-059: 対戦ゲーム「逆転オセロニア」における深層強化学習エージェントの作成

発表者: 大渡勝己; 甲野佑 (株式会社ディー・エヌ・エー; 株式会社ディー・エヌ・エー)
概要: 本研究では対戦ゲーム「逆転オセロニア」においてトッププレーヤー相当との評価を受けたAIエージェントについて紹介する。逆転オセロニアは6×6のリバーシをベースとして、約6000種類のキャラクターが持つスキルを活用しながらダメージを与え合う複雑なゲームである。発表ではプレーヤーのデッキ情報と盤面情報を統合する深層ニューラルネット、ユーザー棋譜を補助的に利用した並列強化学習の工夫について議論する。

2-060: 自然言語処理タスクにおける機械学習モデルに対する解釈アルゴリズムの忠実性の評価

発表者: 佐藤光; 山口勇太郎; 原聡 (大阪大学; 大阪大学; 大阪大学)
概要: 近年では、複雑な機械学習モデルを説明しようとする解釈アルゴリズムが数多く提案されている。しかし、それらがモデルの振る舞いを忠実に表しているのか、ユーザーが漠然と納得できる解釈を与えているに過ぎないのかを区別し、評価するのは容易ではない。本研究では、自然言語処理において高い性能を記録しているモデルの振る舞いを、既存の説明手法がどれほど忠実に表せているのか、Q&Aタスクを用いて評価する方法を提案する。

2-061: Fine-tuningにおけるFisher情報量を用いたバイアス緩和

発表者: 寺元陶冶; 鈴木健二 (ソニーグループ株式会社; ソニーグループ株式会社)
概要: 機械学習において人種などのセンシティブ属性よって差が出ないことが求められている．従来手法の敵対的追加学習によるバイアス緩和は，精度低下が課題である. そこで，本研究ではfine-tuning時にfisher情報量を用いて正則化する手法を提案する．年収予測での人種間の差をadultデータセットを使いバイアス緩和の検証をしたところ，精度低下は従来手法が5%に対して提案手法は3%であった．

2-062: 機械学習モデルの公平性テスト手法VBT-Xと今後の展望

発表者: 趙振江(Zhao Zhenjiang); 戸田貴久; 北村崇師 (電気通信大学/産業技術総合研究所; 電気通信大学; 産業技術総合研究所)
概要: 機械学習の普及に伴い，機械学習モデルの公平性についての懸念が高まっている．機械学習モデルの公平性テストとは，モデルに含まれる公平性に違反する差別データを検出する技術である．Verification Based Testing (VBT)はSharmaらによって開発された，形式検証技術を基にしたテスト手法である．本発表では，VBTにハッシュサンプリングと呼ばれる技術を適用して，多様な差別データをサンプリングできるようにする手法(VBT-X)について紹介する．その他，更なる改良の可能性，差別データの多様性，公平性以外への拡張などのVBT-Xに関連する課題についても議論する．

2-063: 公平性を考慮した大規模推薦システム

発表者: 富樫陸; 阿部拳之 (株式会社サイバーエージェント; 株式会社サイバーエージェント)
概要: 実用的な推薦システムにおける手法は，高い計算効率性を達成する必要がある．昨今注目されている公平性に関する指標は，本質的に並列計算が困難であり実用上の課題が多い．本研究では，公平性を考慮した推薦システムの実現に向けて，新たに設計した公平性指標を含む，目的関数最適化のための協調フィルタリングとADMMに基づく高並列アルゴリズムを提案する．また，提案する最適化アルゴリズムの収束性を理論的，および実験的に示す．

2-064: Towards Practical Federated Learning with Differential Privacy

発表者: リュウセンペイ; 長谷川聡; 高橋翼 (LINE株式会社)
概要: Recent studies of distributed computation with formal privacy guarantees, such as differentially private (DP) federated learning, leverage random sampling of clients in each round (privacy amplification by subsampling) to achieve satisfactory levels of privacy. Achieving this however requires precise and uniform subsampling of clients as well as a highly trusted ochestrating server, strong assumptions which may not hold in practice. In this paper, we explore a more practical protocol, self check-in, to resolve the aforementioned issues. The protocol relies on client making independent and random decision to participate in the computation, freeing the requirement of server-initiated subsampling, and enabling robust modelling of client dropouts. Our protocol has immediate application to employing intermediate trust models, i.e., shuffle models, for realizing distributed learning in practice. To this end, we present a novel analysis based on R{\’e}nyi differential privacy (RDP) that improves in privacy guarantee over those using approximate DP’s strong composition at various parameter regimes for self check-in. We also provide a study of Gaussian mechanism in the shuffle model using RDP. Empirical studies are given to demonstrate the efficacy of learning as well.

2-065: 小さくて高精度な決定木集合に対する多次元分割表の効率良い計算

発表者: 白井渉太; 有村博紀 (北海道大学; 北海道大学)
概要: 説明可能性の観点から，本稿ではデータ上で定まる小さくて高精度な決定木全体の概要情報として，決定木に関する各種の形状属性や非線形なモデル評価スコアからなる$k$個の観測指標に関して，決定木全体から得られる$k$次元の分割表の利用を提案する．さらにある十分条件の下で，小さくて高精度な決定木全体に対する$k$次元の分割表を，最適決定木の計算と同程度の計算時間領域で計算するアルゴリズムを与え，計算量を解析する．

2-066: ベイズ決定理論に基づく機械学習ライブラリ：BayesML 0.2.0

発表者: 中原悠太; 齋藤翔太; 島田航志; 飯窪祐二; 風間皐希; 一條尚希; 松嶋敏泰; BayesML Developers (早稲田大学; 群馬大学; 早稲田大学; 早稲田大学; 早稲田大学; 早稲田大学; 早稲田大学; https://yuta-nakahara.github.io/BayesML/developers.html)
概要: 本研究ではベイズ機械学習ライブラリBayesMLを開発する．BayesMLはPyMCなどのライブラリと異なり，実装済み確率モデルをインポートするだけでそれ専用の高速アルゴリズムによる分析を実行できる．この点ではScikit-learnなどのライブラリに近いが，それらのAPI（fit, predict）はベイズ決定理論にはそぐわない．そこでベイズ決定理論の基本構造を反映したAPIを独自に開発する．

2-067: Tutti: データアノテーション用システム開発・運用基盤

発表者: 斎藤奨; 中野鐵兵; 小川哲司 (早稲田大学, ㈱知能フレームワーク研究所; 早稲田大学, ㈱知能フレームワーク研究所; 早稲田大学)
概要: 機械学習のためのアノテーションに用いるデータ入力UIの構築・運用を支援する基盤「Tutti」を発表する。Tuttiは、i) ページビューを容易に設計する仕組みや画面遷移ルール定義機能による、高速かつ柔軟なUI開発と、ii) タスク自動割り当て機能やクラウドソーシング連携機能による、容易なアノテーション作業の運用、を特徴とする。この２つの側面より、アジャイルな試行による高品質なデータ収集を支援する。

2-068: Variance-Aware Estimation of Kernel Mean Embedding

発表者: Geoffrey Wolfer; Pierre Alquier (理化学研究所)
概要: An important feature of kernel mean embeddings (KME) is that the rate of convergence of the empirical KME to the true distribution KME can be bounded independently of the dimension of the space, properties of the distribution and smoothness features of the kernel. We show how to speed-up convergence by leveraging variance information in the RKHS. Furthermore, we show that even when such information is a priori unknown, we can efficiently estimate it from the data, recovering the desiderata of a distribution agnostic bound that enjoys acceleration in fortuitous settings. We illustrate our methods in the context of hypothesis testing and robust parametric estimation.

2-069: データ圧縮機械としてのスピングラスの研究

発表者: 村山立人; 斉藤朝輝; Peter Davis (公立小松大学; 公立はこだて未来大学; 株式会社テレコグニックス)
概要: スピングラスの平衡状態は、相互作用の配位パターンが圧縮された結果だと考えられる。本発表では、この自然による符号化の過程に、さらに仮想的なデータ処理を加えた「通信路」の潜在的性能を情報理論で分析することで、スピングラスの協同現象を捉えるための全く新しい処方箋を紹介する。データ圧縮機械としてのスピングラスの性能限界が解明されると、その磁性体としての物理的性質も厳密に議論できることは興味深い。

2-070: Last-Iterate Convergence with Full- and Noisy-Information Feedback in Two-Player Zero-Sum Games

発表者: 阿部拳之; 蟻生開人; 坂本充生; 豊島健太郎; 岩崎敦 (株式会社サイバーエージェント; 株式会社サイバーエージェント; 電気通信大学; 電気通信大学; 電気通信大学)
概要: 本研究では，二人零和ゲームにおけるナッシュ均衡を学習するためのアルゴリズムとしてMutant Follow-The-Regularized-Leader (M-FTRL)を提案する．毎期のフィードバックとして完全な勾配情報を得る場合，ノイズ付きの勾配情報を得る場合のそれぞれにおいて，M-FTRLによって更新される戦略が近似的なナッシュ均衡へと収束することを理論的，および実験的に示す．

2-071: 最適パラメータの学習モデルが一意でないときのベイズ学習の漸近解析

発表者: 永安修也; 渡辺澄夫 (東京工業大学数理計算科学専攻)
概要: ベイズ推測は広く用いられている統計的手法である．従来の学習理論における汎化誤差や自由エネルギーの漸近挙動は，平均対数損失関数を最小にする学習モデルがパラメータに依存しない場合について解明されてきた．本研究では，最適パラメータの学習モデルが確率分布として一意にならない場合において汎化誤差と自由エネルギーの漸近挙動を解析し，サンプル数の増大に伴い汎化誤差が大きくなるケースが存在することを明らかにする．

2-072: ベイズ相関均衡とno-regret dynamics

発表者: 藤井海斗 (国立情報学研究所)
概要: 同じベイジアンゲームを何度も繰り返すなかで、各プレイヤーがオンライン学習のアルゴリズムに従って戦略を更新する状況を考える。収束先として想定されるのは、相関均衡のベイジアンゲームへの一般化（ベイズ相関均衡）だが、自然な一般化は複数知られている。本研究ではそれぞれに対応するリグレットを定義し、上界と下界について議論する。

2-073: Incision Trajectory Tracing for Electrosurgical Navigation by CNN-based Extraction Method of Knife Contacted Frames (※ポスター変更)

発表者: Yu Chun Wang; Naoto Ienaga; Yoshihiro Kuroda (University of Tsukuba; University of Tsukuba; University of Tsukuba)
概要: Recently, image-guided surgical navigation for understanding the internal structure of the organ under operation has been actively studied due to the incomplete visual feedback on the complex surgical procedure. For adapting a dynamic change of the surgical scene, it is necessary to acquire the exact location of the incision and update the 3D organ model. However, the conventional approaches still remain weak points such as false detection, feature points extracted incorrectly or inevitable time delay due to the requirement of the future frames. For the surgery operated by an electric knife, the high temperature of the electric knife rapidly raises tissue’s temperature. A novel extraction method of knife contacted frames using the thermal images is proposed to avoid false prediction and to overcome the incision trajectory prediction delay. We first apply the pre-trained EfficientNet to the thermal image to distinguish the “contact or not” condition of each frame according to the diffusion on the surface of the tissue to avoid false detection. Next, connect the hottest point of each “contact” frame to generate incision trajectories. Without the requirement of the future frames, the time delay can be reduced. We verified the accuracy of the incision trajectory from the proposed method and compared to the conventional method which shared the same dataset. The results suggested an average 0.72 mm error from the ground truth trajectory which leads to a half error rate compared to the ConvLSTM method. In this study, we proposed a novel method to overcome the disadvantages of false detection and the time delay from the conventional method.

2-074: 平均化確率的勾配降下法による平坦性を指向する帰納バイアスの強化

発表者: 菊池竜平; 前田修吾; 二反田篤史 (九州工業大学; 九州工業大学; 九州工業大学/理研AIP)
概要: 確率的勾配降下法は平坦性を指向する帰納バイアスによって高い汎化性能を達成することが知られている．しかし，このバイアスと収束性の間にはステップサイズの大きさによるトレードオフが存在する．具体的には，大きなステップサイズはバイアスを強化するが収束を不安定にする．本研究では，平均化確率的勾配降下法によってこのトレードオフが緩和されることを理論的に示し，また，これにより精度も向上することを実験的に示した．

2-075: Graph Neural Network-based Clustering of Architecture Pattern in Neural Architecture Search

発表者: 逸見一喜; 谷垣勇輝; 川上健太; 大西正輝 (筑波大学・産業技術総合研究所; 産業技術総合研究所;筑波大学・産業技術総合研究所; 産業技術総合研究所)
概要: 深層学習は近年様々な分野に応用されているが，データセットごとに最適なネットワークの大きさや種類が異なるため，ネットワーク自体を最適化するNASが盛んに研究されている．しかし，最適化したネットワークの特徴を可視化する方法は確立されておらず，類似した構造の探索や複数の構造比較が困難である．そこで本研究では，Graph Neural Networksを用いて新たな特徴分析が可能なNAS手法を提案する．

2-076: 画像分類ニューラルネットワークの活性化パターンを利用した弱点群の特定手法

発表者: 大島浩資; スンカンロウ; 石濱直樹 (JAXA; JAXA; JAXA)
概要: DNNのテスト手法の多くは誤動作する入力を1件ずつ特定するものである。DNN利用時の不具合を防ぐため，誤動作が起こりやすい入力の傾向を特定したいが、1件ずつのテストから傾向を特定することは難しい。そこで本研究は、DNNの活性化パターンをクラスタリングすることにより、誤動作が起こりやすい入力グループ(弱点群)を特定する。画像分類DNNを対象とした実験の結果、正解率の低いクラスターを特定した。

2-077: 空間周波数損失を用いた畳み込みニューラルネットワークによる画像生成

発表者: 市村直幸 (産業技術総合研究所)
概要: 本研究では，畳み込みニューラルネットワーク(CNNs)による画像生成のための空間周波数損失(Spatial Frequency Loss: SFL)を提案する．提案するSFLでは，CNNsの周波数応答を解析するために，バンドパス特性をもつDoG(Difference of Gaussian)フィルタバンクをCNNsに付加する．画像のサブバンド毎の損失を求めると，どの帯域の空間周波数が順伝播において欠落しているかを判断できる．その結果に基づきサブバンドに重み付けして学習を行うと，生成画像の画質が向上することを示す．

2-078: 局所解多様体上の運動から見る確率的勾配降下法の陰的バイアス

発表者: 吉田周平 (NEC)
概要: 本発表では、確率的勾配降下法（SGD）が局所最適解の成す多様体（局所解多様体）上で従う確率微分方程式（SDE）を導出し、SGDの陰的バイアスを明らかにする。具体的には、バッチサイズと時間スケールに比例するパラメータnが大きい極限で、SGDの時間発展が局所解多様体上のあるSDEの解に収束することを示す。このSDEは陰的バイアスに相当する決定論的なドリフト項を持ち、本研究がその明示的な公式を与える。

2-079: ODE-Netの平均場制御問題による定式化と，その解存在について

発表者: 磯部伸 (東京大学大学院数理科学研究科)
概要: 深層構造をODEとして連続化し，学習を最適制御問題として定式化することで，学習によって得られるDNNを解析しようとする試みがある．この解析手法を正当化するには，対応する最適制御問題に解が存在することが必要である．しかし，ReLUなどの非有界な活性化関数を用いる状況では，その存在は全く自明ではない．本発表では，パラメータが属する空間の適切な設定と変分法の直接法により，解の存在を証明する．

2-080: Bert Fine-Tuningの安定性に関する調査

発表者: 山田真徳 (NTT社会情報研究所)
概要: BertのFine-Tuningはデータによっては不安定であることが知られている。不安定さの原因は2つあり、１つは学習の初期に勾配消失が発生すること、２つめは勾配消失が発生しなくてもデータを見せる順番で最終的な精度のばらつきが大きいこと。本発表では１の原因の調査と２に関してはMomentum SGDを使うことで緩和できることを紹介する。

2-081: 1対他損失切り替えによる敵対的学習の頑健性向上

発表者: 金井関利; 山口真弥; 山田真徳; 高橋大志; 大野乾太郎; 井田安俊 (NTT; NTT, 京大; NTT; NTT docomo, 京大; NTT; NTT)
概要: 深層学習の頑健性を高めるため敵対的学習が用いられる。敵対的学習の困難さを軽減するため、重み付き交差エントロピーでサンプルごとに重みづける方法が提案された。しかしこれはAuto-Attackのような精巧な攻撃に弱いことが知られている。本研究では、この脆弱性の原因がlogit marginの大きさにあることをつきとめ、その改善方法として1対他損失を用いる方法を提案する。

2-082: Mnemonic Codeを利用したAIの情報忘却に関する研究

発表者: 山下智也 (NTT社会情報研究所)
概要: AIの普及に向けて、AIを介した情報漏洩の問題は解決すべき課題である。本論文では、AIモデルが持つ情報を忘却させることで、この問題の解決を目指す。本論文では、Mnemonic Codeを利用した学習を行い、学習済みのAIモデルのモデルパラメータに適切なノイズを乗せることでAIモデルが持つ所望の情報を忘却させる手法を提案する。実験によって、提案手法の有効性を確認する。

2-083: On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning

発表者: 高木志郎 (個人事業主)
概要: We empirically investigate how pre-training on data of different modalities, such as language and vision, affects fine-tuning of Transformer-based models to Mujoco offline reinforcement learning tasks. Analysis of the internal representation reveals that the pre-trained Transformers acquire largely different representations before and after pre-training, but acquire less information of data in fine-tuning than the randomly initialized one. A closer look at the parameter changes of the pre-trained Transformers reveals that their parameters do not change that much and that the bad performance of the model pre-trained with image data could partially come from large gradients and gradient clipping. To study what information the Transformer pre-trained with language data utilizes, we fine-tune this model with no context provided, finding that the model learns efficiently even without context information. Subsequent follow-up analysis supports the hypothesis that pre-training with language data is likely to make the Transformer get context-like information and utilize it to solve the downstream task.

2-084: GL-CANomaly: Global and Local adversarial image completion networks for anomaly detection

発表者: 石本宝; 中西慶一; 堀三晟; 徳永旭将 (九州工業大学; 九州工業大学; 九州工業大学; 九州工業大学)
概要: 本稿は欠損補完を用いた画像の再構成による異常検知手法を提案する。本手法は, 訓練においてAutoencoderとGANを組み合わせたモデルで, 多様なマスクをかけた良品画像の欠損補完を行う。推論では, マスクをラスタスキャンして得られた補完画像から再構成画像を生成する。訓練に多様なマスクを用いることで, 異常ごとに最適化されたマスクによる推論が可能となり, 再訓練のコストを軽減することを目的とする。

2-085: 入出金ネットワークを用いた信用リスクスコアリング

発表者: 川原一修 (Japan Digital Design)
概要: 本研究では企業間の入出金ネットワークを信用リスク分析に用いる上で課題となるグラフノード間の異質性（Heterogeneity）の問題を解決するためAdaptive Graph Convolution using Generalized Pagerankを例として、異質性を考慮した深層グラフネットワークの利用が有効か検証を行った。

2-086: 群畳み込みニューラルネットのリッジレット変換

発表者: 園田翔; 石川勲; 池田正弘 (理研AIP; 愛媛大・理研AIP; 理研AIP)
概要: ニューラルネットS[γ]に対するリッジレット変換R[f]とは，与えられた関数fに対し，ニューラルネットがfを表す（つまりS[γ]=fとなる）ようなパラメータ分布γを与える分解作用素Rである．フーリエ表示を用いることで，群畳み込みニューラルネット（GCNN）に対するリッジレット変換を導出した．応用として，多様な有限幅隠れ1層GCNNの普遍性が統一的に示せるようになった．

2-087: クラス事前確率を用いた分布を仮定しない半教師ありコスト関数とその応用

発表者: 中西慶一; 片渕凌也; 堀三晟; 徳永旭将 (九州工業大学; 九州工業大学; 九州工業大学; 九州工業大学)
概要: 本稿は半教師あり学習のためのコスト関数を提案する。それは, 半教師あり学習のために拡張された二値分類損失関数とクラス事前確率罰則項から構成される。クラス事前確率罰則項により, データにおける正例の割合が推測できる場合, ラベルなしデータを直接的に訓練に活用できる。少量のラベルありデータセットや不均衡なデータセットにおいて, 提案するコスト関数は既存のコスト関数と比較し, 優れた性能を示すことを確認した。

2-088: 異なる列をもつ表データ間の転移学習を可能とする Transformer の事前学習法

発表者: 大西颯真; 大野健太; 林浩平 (明治大学; 株式会社Preferred Networks; 株式会社Preferred Networks)
概要: 深層学習モデルは事前学習により大きな恩恵を受ける．しかし表形式データのドメインにおいて，既存モデルの多くは事前学習時とファインチューニング時で列が同一であるという制約を持つ．本研究では，Transformerに列を区別する埋め込みを加えることによって，未知の列を持つデータセットへのファインチューニングを可能にした．事前学習なしのモデルに比べ，提案手法による精度向上が確認できた．

2-089: プルーニングによるコードブック量子化のクラスタリング手法

発表者: 大原遼太郎; 川口博 (神戸大学)
概要: コードブック量子化は深層ニューラルネットワークのパラメータをクラスタリングし非線形な間隔の代表地に置き換え圧縮する。クラスタリングは代表地を基づき行われ、代表地はクラスタリング結果に基づき学習されるため、適切なクラスタリングを行うことは困難である。本研究ではパラメータを隣接する代表地の重み付き和とみなし、プルーニングすることで、クラスタリングと代表地の学習を同時に実現することを目指した。　

2-090: 低次元構造を持つデータに対するニューラルネットワークの良性過学習の解析

発表者: 秋山俊太; 大古一聡; 鈴木大慈 (東京大学; 東京大学, 理研AIP; 東京大学, 理研AIP)
概要: 古典的な統計理論に反して, 深層学習などの巨大な機械学習モデルはデータを補間しても優れた汎化性能を示すことがある. このような現象は良性過学習と呼ばれ, 近年主に線形モデルに対してその理論的背景が研究されてきた. 本研究では, 低次元構造を持つ入力を考え, 真のモデルが他のニューラルネットワークで記述される場合に, 勾配法で学習されたネットワークがその潜在的な特徴を学習し, 良性過学習を達成し得ることを示した.

2-091: 階層的な順序共変性を考慮した時系列予測

発表者: 馬上凌; 椋田悠介; 原田達也 (東京大学; 東京大学, RIKEN AIP; 東京大学, RIKEN AIP)
概要: 株価や気象などに代表される時系列データは，複数の系列同士が相互に影響しあっている場合がある．系列同士が影響しあうのと同様に，系列が所属するクラス同士も影響しあっており，系列同士は階層的な依存構造をなしていると考えた．ここでクラスとは，会社を例にすればその会社の業種のことである．本研究では，この時系列同士の階層的な依存関係を捉えた予測を行うモデルを構築した．

2-092: Dynamics of Deep Neural Network: A Functional and Diffusion Process Approach

発表者: 西澤渉; 今泉允聡 (東京大学; 東京大学)
概要: The aim of this study is to analyze the dynamics of neural networks using a functional and diffusion process approach. To be more specific, we derive the stochastic differential equations that describe how neural networks evolved as a consequence of stochastic gradient Langevin dynamics. These equations allow us to explore the dynamics of finite-width neural networks such as ergodicity.

2-093: 適応的疑似ラベル更新によるクラス比率からの学習

発表者: 松尾信之介; 備瀬竜馬; 内田誠一; 末廣大貴 (九州大学; 九州大学; 九州大学; 九州大学)
概要: Learning from Label Proportions (LLP) 問題に対し，オンライン予測理論を用いた新しい疑似ラベル手法を提案する．LLP問題とは，各インスタンスのラベルは未知である一方，インスタンスの集合であるバッグのラベル比率は既知という問題設定である．バッグサイズが多くなるにつれ精度低下が起こる従来法に比べ，本手法はバッグサイズに対してロバストな手法である．

2-094: Pre-training music transformer with masked-language model

発表者: Yingfeng Fu; Yusuke Tanimura; Hidemoto Nakada (University of Tsukuba; AIST; AIST)
概要: Pre-training driven by vast data has shown great power in natural language understanding. The idea has also been applied to symbolic music. However, many existing works using pre-training for symbolic music are not general enough to tackle all the tasks in musical information retrieval, and there is still space to improve the model structure. To make up for the insufficiency and compare it with the existing works, we employed a BERT-like masked language pre-training approach to train a stacked MusicTransformer on MAESTRO dataset. Then we fine-tuned our pre-trained model on several symbolic music understanding tasks. In the work, our contribution is 1)we improved MusicBERT by modifying the model structure. 2)be- sides the existing evaluation downstream tasks, we complemented several downstream tasks, including melody extraction, emotion classification, and composer classification. We pre-trained the modified model and existing works under the same condition. We make a comparison of our pre-trained model with the previous works. The result shows that the modified model is more powerful than the previous models with the same pre-training setting.

2-095: マウス聴覚皮質コラムの音響誘発応答を模擬する電気刺激印加系列の推定法

発表者: 舘野高 (北海道大学)
概要: For the development of artificial hearing devices (or implants) applied to the auditory central nervous system, it is necessary to determine the spatio-temporal patterns of pulse trains for electrical stimulation to evoke the neural activity induced in the brain by acoustic signals. However, no study has revealed what kind of sequence patterns of electrical pulses can be suitable to encode the acoustic signals. In this study, we developed a method to evoke the neural activity by electrical stimulation on the basis of the neural activity recorded in single columns of the mouse auditory cortex. First, in response to the stimulation of an electrical pulse, the evoked neural activity obtained at different laminar points in the auditory cortex was used as response templates. Next, we propose a method to synthesize an acoustic stimulation response as a linearly weighted sum of those templates. In our presentation, we will discuss how to efficiently calculate the coefficients of linear sums and the latency timings of the response templates during electrophysiological experiments. These results can contribute to the development of artificial hearing devices in our future work.

2-096: 自由エネルギー原理に基づくリスク選択行動のモデリング

発表者: 東野伊織; 横山寛; 雨森賢一; 本田直樹 (広島大学大学院統合生命科学研究科; 広島大学大学院統合生命科学研究科; 京都大学高等研究院ヒト生物学高等研究拠点; 広島大学大学院統合生命科学研究科, 京都大学大学院生命科学研究科, 自然科学研究機構生命創成探求センター(ExCEELS))
概要: ヒトの意思決定過程を説明する数理的アプローチの一つにベイズ脳仮説がある。これはヒトの意思決定は、周囲の情報（現在）と経験的記憶（過去）を統合し、最適化されているという考え方だ。しかし、既存手法の多くは、過去の経験と現在の状態の間でゆらぐ葛藤のプロセスは無視している。本研究では、過去の経験と現在の情報による葛藤を反映したベイズ的意思決定の自由エネルギー原理による定式化を試みる。

2-097: 冗長な観測値を持つ非定常な環境における目的志向な環境推定

発表者: 高橋春輝; 深井朋樹; 酒井裕; 竹川高志 (工学院大学; 沖縄科学技術大学院大学; 玉川大学; 工学院大学)
概要: 実問題の意思決定では，観測値が報酬に無関係な要素を含むため，課題に特化した小さな状態空間は環境の真の状態空間よりも最適戦略の学習が速くなる．本研究では，冗長な観測値を報酬駆動なクラスタリングにより最適行動が可能な最小の状態空間を推定するモデルを提案し，オンラインでモデルベースな戦略学習を行う．実験では，課題に特化した状態空間に基づく戦略学習が環境の非定常性への追従と速度の点で有利となることを示す．

2-098: 目的関数が未知の凸制約付き最適化問題に対する局所線形回帰を用いた解法

発表者: 山根大輝; 田中未来; 小林健; 中田和秀 (東京工業大学; 統計数理研究所・理化学研究所; 東京工業大学; 東京工業大学)
概要: 本発表では目的関数が未知の凸制約付き最適化問題を扱う．この問題を解くための素朴な手法としては，データから推定した関数を目的関数とする最適化問題を解く方法が考えられる．しかし，目的関数の推定に非線形なモデルを用いると，得られる最適化問題は一般に非凸になり解きづらい．そこで本研究では，目的関数の勾配を局所線形回帰で得られる回帰係数で代替することで，近似的に1次の最適化手法を実行する手法を提案する．

2-099: 機械学習とイジングマシンによるブラックボックス多目的最適化手法の提案

発表者: 山下将司; 関優也; 松森唯益; 滝雅人; 門脇正史; 田中宗 (慶應義塾大学; 慶應義塾大学; 株式会社デンソー; 株式会社デンソー; 株式会社デンソー; 慶應義塾大学)
概要: 機械学習を利用しイジングマシンで目的関数が陽に表されていない最適化問題(ブラックボックス最適化問題)を解く手法としてFactorization Machine with Annealing (FMA)が知られている．我々は，多目的最適化問題を対象にFMAを適用する手法を構築した．本講演では，FMAによる最適解探索精度と機械学習段階における推定精度の関係性を検証した結果を報告する.

2-100: Toward optimal complexities for cross-device federated learning under less heterogeneity

発表者: 大古一聡; 秋山俊太; 村田智也; 鈴木大慈 (東京大学, 理研AIP; 東京大学; 東京大学, NTTデータ数理システム; 東京大学, 理研AIP)
概要: 連合学習の中でも，特にクライアントに非常に多数のエッジデバイスを用いて行うcross-device設定を考える．我々はまず，平滑性の仮定の下で，提案手法のクライアント間の均一性に依存した解析を行い，最適通信回数・最適通信量を達成することを示す．さらに，各クライアントの内部計算量の削減も行い，その後提案手法や既存手法がクライアント間の通信回数・通信量と内部計算量のトレードオフを持っていることを説明する．

2-101: 従属構造とバイアスを持つ劣勾配近似による確率的鏡像降下法

発表者: 仲北祥悟 (東京大学)
概要: 確率的鏡像降下法は劣勾配の確率的近似に従属構造があっても、ミキシング条件を満たすならば収束することが知られる。しかし一部の確率過程のオンライン推定問題においては、従属構造を持つ確率的近似は直接観測できず、その更なる近似しか得られない。本発表ではそのような二重の近似に基づく確率的鏡像降下法のリスク上界を示す。