各発表に割り振られている数字が発表番号です．ポスター資料はGoogle Driveにて配布します．

場所はイベントホール（1階）と21会議室・22会議室（2階）に分かれて実施します。下記の「ポスター配置図」をご覧ください。

１日目（10月30日（月）14:00-17:00）
発表一覧 / ポスター配置図

２日目（10月31日（火）14:10-17:10）
発表一覧 / ポスター配置図

2023/10/30(月)

1-001: 一般の確率モデルに対するロバストダイバージェンスの最小化

発表者: 奥野彰文 (統計数理研究所, 理研AIP)
概要: べき密度ダイバージェンスなど，ロバストダイバージェンスの最小化を介した推定は観測値に混入した外れ値の影響を軽減することが知られており，確率的な定式化との親和性の高さから盛んに研究されている．一方で式中に含まれる積分項は最適化が難しく，正規分布など一部の簡単な確率モデルのみで計算されてきた経緯がある．本研究では一般の確率モデルでの最適化法を提案する．詳細は https://arxiv.org/abs/2307.05251

1-002: iMixer: hierarchical Hopfield network implies an invertible, implicit and iterative MLP-Mixer

発表者: 太田敏博 (サイバーエージェント)
概要: In the last few years, the success of Transformers in computer vision has stimulated the discovery of many alternative models that compete with Transformers, such as the MLP-Mixer. Despite their weak inductive bias, these models have achieved performance comparable to well-studied convolutional neural networks. Recent studies on modern Hopfield networks suggest the correspondence between certain energy-based associative memory models and Transformers or MLP-Mixer, and shed some light on the theoretical background of the Transformer-type architectures design. In this work we generalize the correspondence to the recently introduced hierarchical Hopfield network, and find iMixer, a novel generalization of MLP-Mixer model. Unlike ordinary feedforward neural networks, iMixer involves MLP layers that propagate forward from the output side to the input side. We characterize the module as an example of invertible, implicit, and iterative mixing module. We evaluate the model performance with various datasets on image classification tasks, and find that iMixer reasonably achieves the improvement compared to the baseline vanilla MLP-Mixer. The results imply that the correspondence between the Hopfield networks and the Mixer models serves as a principle for understanding a broader class of Transformer-like architecture designs.

1-003: 事後分布からのサンプルに基づくベイズ最適化

発表者: 竹野思温; 稲津佑; 烏山昌幸; 竹内一郎 (理研AIP; 名工大; 名工大; 名大, 理研AIP)
概要: ベイズ最適化は観測に高いコストの掛かるブラックボックス最適化についてサンプル効率の良い最適化を目指す. 本発表では, まず著名なトンプソン抽出 (TS) アルゴリズムの既存結果よりタイトな期待リグレット上界を示す. 次に, 最適解のサンプルを用いるTSと対照的に最大値のサンプルを用いる乱択ベイズ最適化法が同等のリグレット上界を達成することを導出する. 最後にこれらの数値実験結果を示す.

1-004: Balancing Summarization and Change Detection in Graph Streams (グラフストリームにおける要約と変化検知のバランシング)

発表者: 福島真太朗; 山西健司 (トヨタ自動車株式会社/東京大学; 東京大学)
概要: This study addresses the issue of balancing graph summarization and graph change detection. Graph summarization is for compressing large-scale graphs into a smaller scale. However, the question remains: To what extent should the original graph be compressed? This problem is solved from the perspective of graph change detection, aiming to detect statistically significant changes using a stream of summary graphs. If the compression rate is extremely high, important changes can be ignored, whereas if the compression rate is extremely low, false alarms may increase, necessitating more memory. This implies that there is a trade-off between compression rate in graph summarization and accuracy in change detection. We propose a novel quantitative methodology to balance this trade-off to simultaneously realize reliable graph summarization and change detection. This study introduces a probabilistic structure of hierarchical latent variable model into a graph, thereby designing a parameterized summary graph on the basis of the minimum description length principle. The parameter specifying the summary graph is then optimized so that the accuracy of change detection is guaranteed to suppress Type I error probability (probability of raising false alarms) to be less than a given confidence level. First, we provide a theoretical framework for connecting graph summarization with change detection. Then, we empirically demonstrate its effectiveness on synthetic and real datasets.

1-005: 入力不確実性が存在する下での信用領域を用いたリスク尺度に対する多目的ベイズ最適化手法

発表者: 稲津佑; 花田博幸; 岩田和樹; 竹野思温; 竹内一郎 (名古屋工業大学; 理化学研究所; 名古屋工業大学; 理化学研究所; 名古屋大学)
概要: 本研究では, 入力不確実性存在下でのブラックボックス関数に関する一般のリスク尺度に対し, それらが定めるパレートフロントを効率的に同定する新しい多目的ベイズ最適化手法を提案する. ガウス過程を用いてリスク尺度に対する妥当な信用領域を構築し, 信用領域の適応的更新法を提案する．提案法は任意精度の解をいくらでも高い確率で返すことが可能であることを証明し，更に数値実験から実験的性能を評価する．

1-006: JetDMD: Rigged再生核Hilbert空間におけるデータ駆動型Koopman固有展開

発表者: 石川勳; 橋本悠香; 池田正弘; 河原吉伸 (愛媛大学; NTT; 理化学研究所; 大阪大学)
概要: 本研究では平衡点を持つ力学系において、新しい理論的枠組みを用いたデータ駆動的なKoopman作用素の固有値推定アルゴリズムを提案する。本アルゴリズムで推定される固有値は適切に構成されたGelfand三つ組を通して定義される汎函数上のKoopman作用素の固有値であることを証明し、これらの固有値を用いてKoopman作用素の固有展開が可能であることを示した。

1-007: 積分作用素を用いた非可換C*-algebra net

発表者: 幡谷龍一郎; 橋本悠香 (RIKEN ADSP, RIKEN AIP; NTT, RIKEN AIP)
概要: パラメータの値をC*環にもつニューラルネットであるC*-algebra netは，通常の実数パラメータのニューラルネットの一般化であり，関数や作用素をパラメータとして扱えるなど高い柔軟性を持つ．本発表では，積分作用素をパラメータとする非可換C*-algebra netを提案する．このニューラルネットは，時間と空間をパラメータに持つような二変数関数を入力として，積分作用素が左右から各変数に対して作用することで情報処理を行う．

1-008: ノイズラベルを含むデータに対する適応的サンプリングの枠組み

発表者: ソン ホン; 満尾成亮; 内田誠一; 末廣大貴 (九州大学; 九州大学; 九州大学; 横浜市立大学)
概要: 誤ってラベル付けがなされたデータは，適切な学習を阻害する．ノイズラベルを含むデータセットから，正しくラベル付けされたデータのみをサンプリングする技術が求められている．本研究では，各エポックにおける深層学習器の学習挙動をもとに，適応的にサンプリングを行う枠組みを提案する．リグレットに基づく理論的サポートとアルゴリズムの効率性を示す．また，実験により，既存手法に比べ計算効率と精度が向上したことを示す．

1-009: Steinの補題を適用したスコアマッチング

発表者: 長田元気 (LINE株式会社)
概要: Hyvarinenが提案したスコアマッチングの手法は、計算コストの高い、対数密度のヘシアンの計算を要す。回避策に、スライスドスコアマッチングおよび、拡散モデルと同義であるデノイジングスコアマッチングがあるのだが、それぞれの近似により生じる課題がある。我々はSteinの補題を用いた高速な手法を提案する。画像生成モデルへの適用にて、既存手法を上回る性能を獲得できることを示す。

1-010: 非スパースな高次元文脈付きバンディット問題

発表者: 小宮山純平; 今泉允聡 (ニューヨーク大学; 東京大学/理研AIP)
概要: 本研究では、文脈付き線形バンディット問題のうち、特徴量次元pが予算T以上、さらにはpが無限大になりうる高次元設定を扱う。この分野の多くの先行研究とは異なり、本研究は回帰係数にスパース性を課さない。代わりに、データ分布の実効ランクが小さいという仮定をおき、過剰パラメータ化モデルに関する最近の知見を活用する。本研究はExplore-then-Commit (EtC) アルゴリズムを提案し、このバンディット問題における性能を検証する。EtCアルゴリズムによるリグレットのTに関する最適レートを導出し、探索と利用をバランスさせることでこのレートを達成できることを示す。さらに、実効ランクが未知の場合でも最適なバランスを自動調整する適応的Explore-then-Commit (AEtC) アルゴリズムを提案する。一連のシミュレーションにより、提案アルゴリズムの性能を評価する。

1-011: Another look at spectral Renyi divergences: robustness in the frequency domain

発表者: 矢野恵佑; 畠哲也 (統計数理研究所; 広島大学)
概要: In this poster, we reveal a variational representation of spectral R\'{e}nyi divergence, from which the minimum spectral R\'{e}nyi divergence estimator is shown to be robust to outliers in the frequency domain, unlike the minimum Itakura-Saito divergence estimator, and thus it delivers more stable estimate, reducing the need for intricate pre-processing.

1-012: 任意の線形変換に基づく特徴空間での適応的ブロックスパース正則化

発表者: 古橋敬信; 本谷秀堅; 横田達也 (名古屋工業大学; 名古屋工業大学; 名古屋工業大学／理研AIP)
概要: 特定の線形変換を行うとブロックスパースになる信号を，凸最適化を用いて復元するための新たな方法を提案する．提案手法は，既存手法であるLOP-l2/l1の一般化であり，LOP-l2/l1と異なり，ブロックスパース性を持つ信号の復元を，微分などの非可逆な変換下で行うことができる．また，提案手法を解くための逐次アルゴリズムを導出し，これが最適解へ収束する条件を示す．

1-013: Categorification of Disentangled Representation Learning

発表者: Yivan Zhang; Masashi Sugiyama (The University of Tokyo/RIKEN; RIKEN/The University of Tokyo)
概要: Disentangling the factors of variation in data is a fundamental concept in machine learning and has been studied in various ways by different researchers, leading to a multitude of definitions, metrics, and methods. In this talk, I will introduce recent advances in disentangled representation learning from a categorical perspective. With category theory, we revealed the similarities and crucial differences in dealing with disentanglement definitions based on functions, equivariant maps, relations, and stochastic maps using the concepts of the cartesian and monoidal products. We also introduced a systematic approach for connecting logical definitions and quantitative metrics based on enriched category theory. Overall, the categorical framework can help researchers navigate different definitions, select appropriate evaluation metrics, and design effective learning algorithms.

1-014: FastDCFlow: Fast and Diverse Counterfactual Explanations Using Normalizing Flows

発表者: 住谷祐太; 庄野逸 (電気通信大学; 電気通信大学)
概要: Machine learning models, known for accurately predicting patterns from large datasets, are crucial in decision-making. As a result, counterfactual explanations methods explaining predictions by introducing input perturbations have become prominent. These perturbations often suggest how to alter predictions, leading to actionable recommendations. However, current techniques require re-solving optimization problems for each input change, making them computationally expensive. Additionally, traditional encoding methods inadequately address perturbations for categorical variables in tabler data. This paper presents “FastDCFlow”, an efficient counterfactual explanation method using normalizing flows. It captures complex data distributions, learning a meaningful latent space that retains proximity and improves predictions. For categorical variables, we employ “TargetEncoding” which respects ordinal relationships and includes perturbation costs. Our method outperforms existing ones in multiple metrics, striking a balance between trade-offs for comprehensive explanations.

1-015: 有限時間収束性による分散学習のための通信効率に優れたネットワーク構造

発表者: 竹澤祐貴; 佐藤竜馬; 包含; 丹羽健太; 山田誠 (京都大学・OIST; 京都大学・OIST; 京都大学・OIST; NTT コミュニケーション科学基礎研究所; OIST)
概要: 分散学習において、より速いconsensus rateを持つグラフをネットワークとして用いると、収束率や精度を向上させられる。しかし、consensus rateが速いグラフ、例えば指数グラフは、一般に最大次数が大きく、通信コストが大きくかかる。本研究では、Base-(k+1) Graphを提案し、Decentralized SGDを指数グラフよりも少ない通信コストでかつ速く収束させることができることを示した。

1-016: 入力データ分布に対する不確実性の下での分布ロバストな能動学習

発表者: 大藏芳斗; 稲津佑; 竹野思温; 花田博幸; 青山竜也; 田中智成; 赤羽智志; 小嶋信矢; 李翰柱; 竹内一郎 (名古屋大学; 名古屋工業大学; 理化学研究所; 理化学研究所; 名古屋大学; 名古屋大学; 名古屋大学; 株式会社デンソー; 株式会社デンソー; 名古屋大学/理化学研究所)
概要: 能動学習とは，機械学習アルゴリズムにデータを選択させることで効率的なモデルの学習を行う手法である．通常，訓練時とテスト時の入力分布は同じと仮定されるが，実際は訓練時とテスト時で入力分布は変わりうるため，この不確実性を考慮する必要がある．本研究では，入力分布の不確実性に対処するために分布ロバストという概念を取り入れる．これにより，入力分布に対する不確実性の下での分布ロバストな能動学習が可能となる．

1-017: 階層ディリクレ多項モデルの効率的な変分推論

発表者: 齋藤亘佑; 黒瀬雄大 (筑波大学; 筑波大学)
概要: ベイジアンネットワークの学習は、有向非巡回グラフの構造推定と条件付確率表の推定の2段階からなる。条件付確率表の推定において階層ディリクレ多項モデルを用いた場合、事後分布の計算が困難なため既存研究では変分近似を行っているが、解析的に計算できないパラメータを含んでおり数値的に求めている。本研究では解析的に計算できる変分パラメータを導入することで、より効率的な近似推論を検証する。

1-018: UUCによるClass Imbalance Dataからの高精度分類器学習

発表者: 横大路宗征; 鷲尾隆; 原聡; ホーランドマシュー (大阪大学産業科学研究所)
概要: UUC学習は、ラベル付きデータを得るのが困難あるいは高コストな場合に、正負の割合が異なる２つのラベルなしデータ事例集合から分類器を学習する手法である。一方、クラス割合が不均衡なインバランス学習データしかない場合に、しばしばクラス事前分布に拠らずにラベルを最尤推定したい場合がある。本研究では、このような場合にUUCを用いることで教師あり学習よりも高精度な分類器を学習可能であることを示す。

1-019: Online Adaptation to Continuous Distribution Shift

発表者: Yu-Jie Zhang; Zhen-Yu Zhang; Peng Zhao; Masashi Sugiyama (The University of Tokyo; RIKEN AIP; Nanjing University; RIKEN AIP/The University of Tokyo)
概要: The standard supervised learning paradigm works effectively when training data share the same distribution as the test samples. However, this stationary assumption is often violated in real-world applications, particularly when test data arrive in a sequential manner. In this work, we study the problem of continuous distribution shift, where the data distribution of the test stream changes over time. Focusing specifically on the label shift and covariate shift scenarios, we develop algorithms that can adaptively update the model to minimize its cumulative prediction risk. Our methods come with dynamic regret guarantees, indicating that they perform comparably to a clairvoyant who is aware of future distributions and makes optimal decisions at each step. Extensive experiments are conducted to validate the effectiveness of the proposed methods.

1-020: Generalizing Importance Weighting to A Universal Solver for Distribution Shift Problems

発表者: Tongtong Fang; Nan Lu;Gang Niu; Masashi Sugiyama (The University of Tokyo; University of Tübingen; RIKEN; RIKEN/The University of Tokyo)
概要: Distribution shift (DS) may have two levels: the distribution itself changes, and the support (i.e., the set where the probability density is non-zero) also changes. When considering the support change between the training and test distributions, there can be four cases: (i) they exactly match; (ii) the training support is wider (and thus covers the test support); (iii) the test support is wider; (iv) they partially overlap. Existing methods are good at cases (i) and (ii), while cases (iii) and (iv) are more common nowadays but still under-explored. In this paper, we generalize importance weighting (IW), a golden solver for cases (i) and (ii), to a universal solver for all cases. Specifically, we first investigate why IW may fail in cases (iii) and (iv); based on the findings, we propose generalized IW (GIW) that could handle cases (iii) and (iv) and would reduce to IW in cases (i) and (ii). In GIW, the test support is split into an in-training (IT) part and an out-of-training (OOT) part, and the expected risk is decomposed into a weighted classification term over the IT part and a standard classification term over the OOT part, which guarantees the risk consistency of GIW. Then, the implementation of GIW consists of three components: (a) the split of validation data is carried out by the one-class support vector machine, (b) the first term of the empirical risk can be handled by any IW algorithm given training data and IT validation data, and (c) the second term just involves OOT validation data. Experiments demonstrate that GIW is a universal solver for DS problems, outperforming IW methods in cases (iii) and (iv).

1-021: Binary Classification with Confidence Difference

発表者: Wei Wang; Lei Feng; Yuchen Jiang; Gang Niu; Min-Ling Zhang; Masashi Sugiyama (The University of Tokyo/RIKEN AIP; Nanyang Technological University; Alibaba Group; RIKEN AIP; Southeast University; RIKEN AIP/The University of Tokyo)
概要: Recently, learning with soft labels has been shown to achieve better performance than learning with hard labels in terms of model generalization, calibration, and robustness. However, collecting pointwise labeling confidence for all training examples can be challenging and time-consuming in real-world scenarios. This paper delves into a novel weakly supervised binary classification problem called confidence-difference (ConfDiff) classification. Instead of pointwise labeling confidence, we are given only unlabeled data pairs with confidence difference that specifies the difference in the probabilities of being positive. We propose a risk-consistent approach to tackle this problem and show that the estimation error bound achieves the optimal convergence rate. We also introduce a risk correction approach to mitigate overfitting problems, whose consistency and convergence rate are also proven. Extensive experiments on benchmark data sets and a real-world recommender system data set validate the effectiveness of our proposed approaches in exploiting the supervision information of the confidence difference.

1-022: 歪ノイズに基づくスパースなモード回帰

発表者: 小山和輝; 川島孝行; 藤澤洋徳 (総合研究大学院大学; 東京工業大学, 理化学研究所; 統計数理研究所,理化学研究所)
概要: 本発表ではノイズが歪正規分布に従う場合のLasso回帰問題を考える．類似の問題設定で既存研究の多くは位置パラメータへの回帰に注目しているものの，これは通常の歪正規分布では平均値でも中央値でも最頻値でもないため統計的な解釈性に問題がある．そこで本研究では，最頻値が常に位置パラメータと一致する性質を持った特定の歪正規分布に注目し，この分布に従う非対称ノイズを仮定したLasso回帰を提案する．

1-023: 3 次元オブジェクトの混合正規分布によるモデリングと追跡

発表者: 辻本将之; 本田理恵; 石川勲 (愛媛大学; 愛媛大学; 愛媛大学)
概要: 研究目的は、3次元の時系列データ上に存在するオブジェクトを、クラスタリングによるラベル分けで追跡することである。オブジェクトのモデリングには多変量混合正規分布を用い、クラスタリング手法は時間変化に対応したGreedy EMアルゴリズムを用いた。特に、先行研究で発生していた、スカラー値を持つグリッドデータに適用した際の追跡の安定性に関する問題点を解消する方法について検証した。

1-024: 分散最小化による能動的モデル選択

発表者: 松浦満; 原聡 (大阪大学; 大阪大学)
概要: ラベリングのコストは機械学習の実用において重要な課題である。この問題はモデルの学習時だけでなく、モデルの性能評価時にも発生する。本研究では、複数のモデルの候補から最も性能の良いモデルを限られたラベリングコストで選択する問題に取り組む。提案手法ではモデル間のテスト損失の差に着目し、この差を小さな分散で推定するのに有益な点を優先的にラベリングすることにより、コスト制約下でのモデル選択を実現する。

1-025: Identifying Important Group of Pixels using Interactions

発表者: 住安宏介; 川本一彦; 計良宥志 (千葉大学大学院融合理工学府; 千葉大学大学院工学研究院; 千葉大学大学院工学研究院)
概要: To better understand the behavior of image classifiers, it is useful to visualize the contribution of each pixel to the model prediction. In this study, we propose a method that efficiently and accurately identifies a group of pixels with a high contribution. The proposed method uses game-theoretic concepts, Shapley values and interactions, and takes into account the effects of pixel cooperation on model confidence. Theoretical analysis and experiments demonstrate that our method better identifies the pixels that are highly contributing to the model outputs than the widely-used visualization methods such as GradCAM and Attention rollout. While prior studies have suffered from the exponential computational cost in the computation of Shapley value and interactions, we show that this can be reduced to linear cost for our task.

1-026: 潜在的対称性と時系列予測

発表者: 後藤有輝; 熊谷亘; 三内顕義; 鄭晟徹; 塚本慧; 河野慎 (慶應義塾大学/理化学研究所; 東京大学/理化学研究所; 京都大学; 東京大学; 東京大学; 東京大学)
概要: 機械学習において、データに内在する対称性を教師なしまたは自己教師ありで学習する枠組みの構築は物理現象の時系列予測などへの応用のため、重要な研究課題となっている。本ポスターでは、3Dの回転やオクルージョンを含む画像をはじめとする系列データにも対応できるモデルとして、潜在空間における対称性を学習する生成モデルを提案し、さらに学習に対するある種の理論的保証を与える。

1-027: Fast and Multi-aspect Mining of Complex Time-stamped Event Streams

発表者: 中村航大; 松原靖子; 川畑光希; 梅田裕平; 和田裕一郎; 櫻井保志 (大阪大学産業科学研究所; 大阪大学産業科学研究所; 大阪大学産業科学研究所; 富士通; 富士通 大阪大学産業科学研究所)
概要: 複数の属性情報と時間情報を伴うイベントデータのストリームは, オンライン購買履歴 (商品, 価格, ブランド, 購入時刻) をはじめとして, 多様な状況下で収集されている. このような高次元・スパース・半無限長となるデータを簡潔かつ効果的に表現する二種類のパターンを定式化し、それらのパターンをリアルタイムに抽出するCubeScopeを提案する. ※Webマイニング分野の難関国際会議www2023に採択された内容です

1-028: ニューラルネットワークの二次制約なし二値最適化表現および量子アニーリングによるサンプリング

発表者: 佐々木司温; 大関真之 (東北大学情報科学研究科)
概要: ニューラルネットワーク(以下NN)の実運用をするにあたって、出力に関する説明性が問題になることがある。本研究では、学習済みのNNを二次制約なし二値最適化問題として捉え直すことで、量子アニーリングマシン上でNNの入出力に従うサンプリングができることを示した。また、条件付きサンプリングにより推論、出力を与えた上で入力の確認などが行えることを示した。

1-029: 並列化および加速法を用いた全変動正則化付き一般化加法モデル

発表者: 武田優真; 松島慎 (東京大学; 東京大学)
概要: 全変動正則化付き一般化加法モデル (TVGAM) は解釈性と予測性能の両面で高い性能を発揮するが既存手法と比較して学習時間が長いという問題があった。一般化加法モデルの学習アルゴリズムの一般化であるブロック座標降下法では近年並列化や加速のための手法が提案されている。本研究は並列化、加速されたTVGAM学習アルゴリズムを提案する。この手法により最適化と予測性能の両面で既存手法を上回ることを示した。

1-030: マルコフ連鎖モンテカルロ法による拡散確率モデルの画像生成品質向上

発表者: カン ウ; 中村和幸 (明治大学; 明治大学)
概要: 本発表では、拡散確率モデル（DPM）におけるサンプリングについて検討する。DPMにおけるサンプリングでは、一般にLangevin MCMCが使用される。しかし、手法の性質上、効率の悪いランダムウォークとなる。これに対し、Hamiltonian Monte Carlo（HMC）は、補助変数スキームを使用する確定的なMCMC法であり、サンプリング効率が見込まれる。そこで、HMCを使用するDPMの有効性について、数値実験結果と合わせて検討する。

1-031: DDPMにおけるノイズ分布についての考察

発表者: 海老澤優; 小林景 (慶應義塾大学大学院 理工学研究科)
概要: 近年、生成モデルの枠組みのひとつである拡散モデルが注目を集めている。 その中でDDPM(Denoising Diffusion Probabilistic Model)は拡散モデルの最も基本的なモデルである。本研究では、DDPMにおいて各ステップで加えるノイズを正規分布から他の分布に変更したときの学習、生成手法の提案や生成結果の考察を行う。

1-032: Neural Submodular Bregman Divergences

発表者: 木村正成; 川島 貴大; 相馬 輔; 日野英逸 (総合研究大学院大学 & ZOZO研究所; 総合研究大学院大学; 統計数理研究所; 統計数理研究所 & 理研AIP)
概要: ある凸関数が誘導するBregman divergenceは，2つのベクトル間の差異を評価する擬距離として非常に多くの応用先が知られており，さらにmetric learningの文脈でこのダイバージェンスの機械学習モデルによる近似も考えられている．本研究では，凸関数の離散版である劣モジュラ関数をニューラルネットワークで近似し，これを用いてBregman divergenceを定義することを考える．

1-033: 文表現学習における対照学習の幾何学的考察

発表者: 竹中誠 (三菱電機株式会社)
概要: 事前学習済みのBERTを用いる際，下流タスクでファインチューニングする前に対照学習の枠組みで追加学習することで下流タスクでの性能が向上することが知られている。 本発表では，BERTによる埋め込み空間の幾何学的特徴を眺めることで対照学習による性能向上の要因を考察する。

1-034: Koopman作用素表現を用いた深層ニューラルネットのリッジレット変換

発表者: 園田翔; 橋本悠香; 石川勲; 池田正弘 (理研; NTT; 愛媛大; 理研)
概要: 深層ニューラルネットが与えられた関数fを表現するためのパラメータを陽に与える作用素（深層リッジレット変換）を構成したので発表します．

1-035: 非対照学習における特徴正規化の役割について

発表者: 包含 (京都大学)
概要: 対照学習はデータ拡張で生成した正例の組は近く、それ以外の負例は遠くなるような引力と斥力によって特徴学習を行う自己教師あり学習の枠組みである。一方で BYOL や SimSiam に代表される非対照学習は正例のみで特徴学習を行うことで計算を高速化する手法であるが、素朴に考えると引力のみでは学習ダイナミクスが自明解に陥る崩壊現象が生じてしまう。本研究では、二層線形エンコーダの場合で非対照学習のパラメータ固有値の学習ダイナミクスを解析し、崩壊が発生しないメカニズムを調べた。既存の理論解析では特徴正規化を考慮していなかったため、正則化がある程度強いときに常に崩壊してしまう不自然な結果が見られていたが、特徴正規化を含めたダイナミクスの記述によると、初期状態では自明解しか存在しないダイナミクスであっても、学習途中に非自明解が出現するようなモードの変化が存在することがわかった。

1-036: 学習過程転移による深層学習の効率化

発表者: 千々和大輝 (日本電信電話株式会社)
概要: 本発表では、ニューラルネットワークのある初期値に対する学習過程が与えられたときに、それを適切に変換することで他の初期値に対する学習過程を効率的に生成する「学習過程転移」問題を提案し、これを解くためのアルゴリズムを導出する。アンサンブルや知識蒸留など類似した学習が複数回行われる際の学習コストを、学習過程転移により削減できることを説明する。

1-037: Fast Neural Architecture Search with Random Neural Tangent Kernel

発表者: Keigo Wakayama; Takafumi Kanamori (Tokyo Institute of Technology; Tokyo Institute of Technology/RIKEN)
概要: Neural architecture search (NAS) is very useful for automating the design of DNN architectures. In recent years, a number of methods for training-free NAS have been proposed, and reducing search cost has raised expectations for real-world applications. In a state-of-the-art (SOTA) training-free NAS based on theoretical background, i.e., NASI, however, the proxy for estimating the test performance of candidate architectures is based on the training error, not the generalization error. In this research, we propose a NAS based on a proxy theoretically derived from the bias-variance decomposition of the normalized generalization error, called NAS-NGE. Specifically, we propose a surrogate of the normalized 2nd order moment of Neural Tangent Kernel (NTK) and use it together with the normalized bias to construct NAS-NGE. We use NAS Benchmarks to demonstrate the effectiveness of the proposed method by comparing it to SOTA training-free NAS in a short search time.

1-038: Gröbner basis computation using Transformers

発表者: Hiroshi Kera; Yuki Ishihara; Yuta Kambe; Tristan Vaccon; Kazuhiro Yokoyama (Chiba University; Tokyo University of Science; Mitsubishi Electric Information Technology R&D Center; Université de Limoges; Rikkyo University)
概要: Solving a polynomial system, or computing a Gröbner basis, has been a fundamental task in computational algebra but is also known to be notoriously computationally expensive-doubly exponential time complexity in the worst case. In this paper, we first achieve the Gröbner basis computation through the training of a Transformer. The training requires many pairs of a polynomial system and Gröbner basis, thus motivating us to address two novel algebraic problems: random generation of Gröbner bases and backward Gröbner problem, thereby randomly sampled Gröbner bases are transformed back to non-Gröbner polynomial systems. We resolved these problems in the case of zero-dimensional radical ideals, which are important in various applications.

1-039: Permutation symmetryを用いたモデル合成

発表者: 山田真徳; 山下智久; 山口真弥; 千々和大輝 (NTT)
概要: モデル合成は、異なる学習済みモデルの重みを組み合わせ、新しいモデルを作る手法である。既存研究では同一データセット間での合成は可能だが、異なるデータセット間では難しいことが知られている。本研究では、凝縮したデータセットを用いた、異なるデータセット間のモデル合成を提案する。実験の結果、MNISTとFashion-MNIST間のモデル合成では、ベースラインと比較して25%の精度向上が見られた。

1-040: 単純なReLUネットワークにおけるMDL推定量のリスク上界

発表者: 武石啓成; 竹内純一 (九州大学; 九州大学)
概要: ReLU活性化関数を持つ2層ニューラルネットワークにおけるパラメータ推定問題を考える．Barron and Coverの理論(1991年)に基づき，二段階符号によって導出されるMDL推定量を用いることで，その統計的リスクの上界を議論する．

1-041: Towards structure-preserving physical-informed neural networks

発表者: 楚浩宇; 韦世奎; 宮武勇登; 降籏大介 (北京交通大学・大阪大学; 北京交通大学; 大阪大学; 大阪大学)
概要: Recently, there has been growing interest in using physics-informed neural networks (PINNs) to solve differential equations by incorporating the physics of a system through the loss of the neural networks. Compared with conventional numerical methods, PINNs have several advantages, such as being mesh-free and capable of solving both forward and inverse problems in a unified framework. However, the preservation of structure such as energy and symmetry in a suitable manner has yet to be established. This limitation could be a potential reason why the learning process for PINNs is not always efficient. Besides, there is little research on their applications on downstream tasks. To address these issues, we propose structure-preserving PINNs to improve their performance and broaden their applications for downstream tasks. Firstly, by introducing a loss function term related to the invariants or free energy of the system, the PINNs are able to learn the underlying structure of the differential equations, leading to improved accuracy in numerical solutions. Secondly, a framework of utilizing structure-preserving PINNs for image recognition tasks is designed. Here, the input image is treated as the initial value of the differential equation, and the network is trained by alternately solving the forward and inverse problems. In this scenario, preserving the PINNs’ dissipative property ensures the system’s stability. Consequently, the minor perturbations added to the input image will slightly change the output of the PINNs. Experiments results demonstrate that the proposed method preserves the structure of the differential equations to some extent, and significantly improve the numerical accuracy of PINNs for the system of ordinary differential equations (e.g. Lotka-Volterra equations), and partial differential equations (e.g. Allen-Cahn equation). Furthermore, the robustness of the model against random and adversarial perturbations on image data is enhanced.

1-042: Exchange means change: an unsupervised single-temporal change detection framework based on intra- and inter-image patch exchange

発表者: Hongruixuan Chen; Jian Song; Chen Wu; Bo Du; Naoto Yokoya (The University of Tokyo and RIKEN AIP; The University of Tokyo and RIKEN AIP; Wuhan University; Wuhan University; The University of Tokyo and RIKEN AIP)
概要: Change detection is a critical task in studying the dynamics of ecosystems and human activities using multi-temporal remote sensing images. While deep learning has shown promising results in change detection tasks, it requires a large number of labeled and paired multi-temporal images to achieve high performance. Pairing and annotating large-scale multi-temporal remote sensing images is both expensive and time-consuming. To make deep learning-based change detection techniques more practical and cost-effective, we propose an unsupervised single-temporal change detection framework based on intra- and inter-image patch exchange (I3PE). The I3PE framework allows for training deep change detectors on unpaired and unlabeled single-temporal remote sensing images that are readily available in real-world applications. The I3PE framework comprises four steps: 1) intra-image patch exchange method is based on an object-based image analysis (OBIA) method and adaptive clustering algorithm, which generates pseudo-bi-temporal image pairs and corresponding change labels from single-temporal images by exchanging patches within the image; 2) inter-image patch exchange method can generate more types of land-cover changes by exchanging patches between images; 3) a simulation pipeline consisting of several image enhancement methods is proposed to simulate the radiometric difference between pre- and post-event images caused by different imaging conditions in real situations; 4) self-supervised learning based on pseudo-labels is applied to further improve the performance of the change detectors in both unsupervised and semi-supervised cases. Extensive experiments on two large-scale datasets covering Hongkong, Shanghai, Hangzhou, and Chengdu, China, demonstrate that I3PE outperforms representative unsupervised approaches and achieves F1 value improvements of 10.65% and 6.99% to the state-of-the-art method. Moreover, I3PE can improve the performance of the change detector by 4.37% and 2.61%on F1 values in the case of semi-supervised settings. Additional experiments on a dataset covering a study area with 144 km2 in Wuhan, China, confirm the effectiveness of I3PE for practical land-cover change analysis tasks.

1-043: Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input

発表者: 高倉将吉; 鈴木大慈 (東京大学・理研AIP; 東京大学・理研AIP)
概要: 深層学習アーキテクチャの一つであるTransformerは自然言語や画像といった次元の高いデータに対して高い性能を示している．本研究では入力が無限次元で，真の関数が非等方的な滑らかさを持つという仮定の元でTransformerが経験誤差最小化によってほぼ最適な推定誤差を達成できることを示した．

1-044: ユーザーの好みを考慮した深層学習を用いた物体検出モデルのパラメータ調整

発表者: 竹長慎太朗; 辻栄翔; 尾崎嘉彦; 大西正輝 (筑波大学/産業技術総合研究所; 筑波大学/産業技術総合研究所; 産業技術総合研究所/グリー株式会社; 産業技術総合研究所)
概要: 畳み込みニューラルネットワークを用いて物体を検出する際，予測したバウンディングボックスの確信度に対する閾値と非極大値抑制を行うための閾値を決定する必要がある．しかし，一般的に認識性能の評価に使用されるmAPを最大化するようにこれらの閾値（パラメータ）を調整しても，ユーザーが期待する結果と大きな差があることが多い．本研究では，多目的最適化を用いてユーザーが期待するような結果が得えられることを示す．

1-045: Adversarial Training from Mean Field Perspective

発表者: 熊野創一郎; 計良宥志; 山崎俊彦 (東京大学; 千葉大学; 東京大学)
概要: Although adversarial training is known to be effective against adversarial examples, training dynamics are not well understood. In this study, we present the first theoretical analysis of adversarial training in random deep neural networks without any assumptions on data distributions. We introduce a new theoretical framework based on mean field theory, which addresses the limitations of existing mean field-based approaches. Based on the framework, we derive the (empirically tight) upper bounds of $\ell_q$ norm-based adversarial loss with $\ell_p$ norm-based adversarial examples for various values of $p$ and $q$. Moreover, we prove that networks without shortcuts are generally not adversarially trainable and that adversarial training reduces network capacity. We also show that the network width alleviates these issues. Furthermore, the various impacts of input and output dimensions on the upper bounds and time evolution of weight variance are presented.

1-046: Transformerを用いたフラクトグラフィ

発表者: 山中翔太; 有竹俊光; 天本義史; 本武陽一 (一橋大学大学院ソーシャル・データサイエンス研究科; 一橋大学社会科学高等研究院; 一橋大学大学院ソーシャル・データサイエンス研究科; 一橋大学大学院ソーシャル・データサイエンス研究科)
概要: 物体の破壊原因の調査において、その破壊断面の画像解析から破壊のタイプ等を推定するフラクトグラフィ（破面解析）がよく行われる。本武らは、自然画像で訓練された深層畳み込みニューラルネットワークを画像特徴量の抽出機として用いることで、破壊のタイプだけでなく力学特性値が推定可能だと示した。本発表では、近年活用が進むTransformer型ニューラルネットワークが、破面解析でも有効か検証した結果を紹介する。

1-047: V4D: Voxel for 4D Novel View Synthesis

発表者: Wanshui Gan; Hongbin Xu; Yi Huang; Shifeng Chen; Naoto Yokoya (The University of Tokyo and RIKEN AIP; South China University of Technology; Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences; The University of Tokyo and RIKEN AIP)
概要: Neural radiance fields have made a remarkable breakthrough in the novel view synthesis task at the 3D static scene. However, for the 4D circumstance (e.g., dynamic scene), the performance of the existing method is still limited by the capacity of the neural network, typically in a multilayer perceptron network (MLP). In this paper, we utilize 3D Voxel to model the 4D neural radiance field, short as V4D, where the 3D voxel has two formats. The first one is to regularly model the 3D space and then use the sampled local 3D feature with the time index to model the density field and the texture field by a tiny MLP. The second one is in look-up tables (LUTs) format that is for the pixel-level refinement, where the pseudo-surface produced by the volume rendering is utilized as the guidance information to learn a 2D pixel-level refinement mapping. The proposed LUTs-based refinement module achieves the performance gain with little computational cost and could serve as the plug-and-play module in the novel view synthesis task. Moreover, we propose a more effective conditional positional encoding toward the 4D data that achieves performance gain with negligible computational burdens. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance at a low computational cost.

1-048: 教師なしクラスタリングを用いたタンパク質機能予測

発表者: 水谷圭佑; 小林健; 朱博; 井上暁人; 北口哲也 (東京工業大学; 東京工業大学; 東京工業大学; 東京工業大学; 東京工業大学)
概要: アミノ酸配列はタンパク質の機能を決定する大きな要因であり，抗体と抗原の結合や遺伝子発現といったタンパク質の機能を配列から予測する研究が数多く行われている．配列内のアミノ酸は1つ1つ機能が異なり，似通った機能を持つものと全く異なる機能を持つものが存在する．本研究ではその性質を捉えるため，配列内のアミノ酸に対し教師なしクラスタリングを施し，タンパク質言語モデルと組み合わせた機能予測モデルを提案する．

1-049: 深層学習を用いた昆虫行動の時系列解析

発表者: 筒井奎剛; Phuoc Thanh Tran-Ngoc; Hirotaka Sato; 松原崇 (大阪大学基礎工学研究科; School of Mechanical and Aerospace Engineering Nanyang Technological University; School of Mechanical and Aerospace Engineering, Nanyang Technological University; 大阪大学基礎工学研究科)
概要: 自己組織化を用いて，昆虫の群れが行う協調動作をモデル化・制御することは，ロボットの代わりに難環境で自由に活動できるエージェントの実現につながる．そのためにはまず昆虫の個々の行動のモデル化が必要である．本研究では，昆虫の経路選択を時系列と見做し，深層学習を用いてモデル化を行った．その際，昆虫の主観的な座標系を用いることが重要であることを発見した．

1-050: データセットの特性を考慮したNeural Architecture Search

発表者: 逸見一喜; 谷垣勇輝; 大西正輝 (筑波大学, 産総研; 産総研; 産総研)
概要: Neural Architecture Search（NAS）は高精度なアーキテクチャが構築できる一方で，大量の計算リソースと時間が必要となる．また，日々新たなデータセットが生成されている．よって，新たなデータセットに最適なアーキテクチャが推測できれば，NASの効率化に繋がる．本研究では，データセットの特性を捉えたアーキテクチャの潜在特徴量空間から新たなアーキテクチャを生成するNAS手法を提案する．

1-051: 転移学習における効果的なデータ拡張の分析

発表者: 朴潤花; 高瀬朝海; 大西正輝; 亀山啓輔 (筑波大, 産総研; 産総研; 産総研; 筑波大)
概要: 一般に深層学習において学習済みモデルを目的のデータセットに転移学習する際，転移学習をしない場合と同様のデータ拡張手法を用いる．しかしデータ拡張はモデルやデータセットによって効果的な手法が異なるため，転移学習をする場合としない場合では効果的な手法が異なる可能性がある．そこで本研究ではAffinity，Diversityというデータ拡張の性能を定量化する指標を用いて，転移学習においてどのようなデータ拡張が効果的かを明らかにする．

1-052: 粒子型変分推論における深層展開の適用と性能向上

発表者: 河村祐弥; 高邉賢史 (東京工業大学; 東京工業大学)
概要: Stein Variational Gradient Descent (SVGD)は粒子型変分推論法として、サンプリング効率の高さと優れた収束性能で注目されている。しかし、多峰性確率分布の近似においては、粒子が局所的なモードに収束しやすい問題が存在する。本研究では、深層展開を適用して、これらのアルゴリズムの内部パラメータを学習可能にする新しい手法を提案する。計算機実験により、提案手法が収束速度と近似性能の両方で向上することを確認した。

1-053: 確率的ブロックモデルに基づく時系列信号クラスタ推定

発表者: 木村俊; 竹下晴山; 岩崎唯史; 竹田晃人 (茨城大; 茨城大; 茨城大; 茨城大)
概要: 発表者らは，時系列信号である神経活動データから活動の同期するニューロン群である機能的神経クラスタを推定する手法について取り扱ってきた．推定手法では，入力となる時系列信号をベイズ生成モデルによって表現し，MCMC法により推定を行っている．本発表では，時系列活動値データに加えてニューロン間の接続情報についても入力として与える確率的ブロックモデルに基づく生成モデルについて取り扱う．

1-054: 自由エネルギー原理に基づいたリスク選択行動における楽観・悲観バイアスのデータ駆動的解読

発表者: 東野伊織; 横山寛; 雨森賢一; 加藤利佳子; 伊東諒; 本田直樹 (広島大学; 滋賀大学; 京都大学; 京都大学; 京都大学; 広島大学)
概要: 我々は、リスクを取る際に楽観・悲観のバイアスが生じている。しかし、従来の研究ではこのような視点はなく、楽観・悲観バイアスを定量化するような手段もない。そこで本研究では脳が変分自由エネルギー（負の対数周辺尤度の上限）を最小化するように学習・行動しているという自由エネルギー原理に基づき、楽観・悲観バイアスのパラメータを導入した数理モデルを構築し、猿の行動データから楽観・悲観バイアスの逆推定を行った。

1-055: SyntheWorld: A Large-Scale Synthetic Dataset for Land Cover Mapping and Building Change Detection

発表者: Jian Song; Hongruixuan Chen; Naoto Yokoya (The University of Tokyo/Riken; The University of Tokyo/Riken; The University of Tokyo/Riken)
概要: Synthetic datasets, recognized for their cost effectiveness, play a pivotal role in advancing computer vision tasks and techniques. However, when it comes to remote sensing image processing, the creation of synthetic datasets becomes challenging due to the demand for larger-scale and more diverse 3D models. This complexity is compounded by the difficulties associated with real remote sensing datasets, including limited data acquisition and high annotation costs, which amplifies the need for high-quality synthetic alternatives. To address this, we present SyntheWorld, a synthetic dataset unparalleled in quality, diversity, and scale. It includes 40,000 images with submeter-level pixels and fine-grained land cover annotations of eight categories, and it also provides 40,000 pairs of bitemporal image pairs with building change annotations for building change detection. We conduct experiments on multiple benchmark remote sensing datasets to verify the effectiveness of SyntheWorld and to investigate the conditions under which our synthetic data yield advantages. The dataset is available at https://github.com/JTRNEO/SyntheWorld.

1-056: 製造データにおける特徴量選択手法としてのDirect LiNGAMの活用

発表者: 大庭孝之; 伊藤秀浩; 高部晃好; 稲垣和也; 清水昌平 (株式会社アイシン; 株式会社アイシン; 株式会社アイシン; 株式会社アイシン; 国立大学法人滋賀大学)
概要: 昨今の製造業では、DX化へ向けてデータ収集への取り組みが活発になってきており、目的変数に対し重要因子でない変数もデータ取得されている。 それらのデータに対し、分析する前のクレンジング手法として、相関係数によるFilter法やP値によるラッパー法があるが、疑似相関や結果因子も抽出される問題がある。 そこで目的変数に対し原因となる変数を抽出できるDirectLiNGAMを特徴選択手法として取り入れ、他の特徴量選択手法との比較を実施した。

1-057: Vicsek模型のクラスター構造

発表者: 宮原英之; 米木飛雄; Vwani Roychowdhury (北海道大学; 北海道大学; UCLA)
概要: Vicsek模型は元々鳥の集団運動を記述する模型として提案され、相転移が指摘された。しかし、Vicsek模型のクラスター構造についての研究は進んでいなかった。そこでDBSCANと呼ばれるクラスタリング・アルゴリズムを用いて、VIcsek模型のクラスター構造を明らかにする。

1-058: ベイズ最適化を用いた多様な解の探索

発表者: 伊藤凜 (三菱電機株式会社)
概要: 一般的な最適化問題では単一の最適な解を見つけ出すことを目的としているが、例えば最適化計算の後段階でのみ評価できる制約条件がある場合など、複数の多様な解を探索しておくことで全体としての効率化につながるケースもある。本研究ではベイズ最適化を用いて多様性を持った複数の解を探索する手法について提案する。

1-059: 交通理論に基づいた深層学習による渋滞長予測

発表者: 白上龍; 北原稔也; 竹内孝; 鹿島久嗣 (住友電工システムソリューション株式会社; 住友電工システムソリューション株式会社; 京都大学; 京都大学)
概要: 効果的な交通管制のため、正確な渋滞長予測が重要である。しかし渋滞長はその特徴的な性質から、速度などの他の交通変数に比べて予測が難しい。そこで我々は、交通理論と深層学習を融合させた渋滞長予測手法QTNNを提案する。実データを用いた実験で、QTNNは既存手法に比べて一時間後の渋滞長予測誤差を12.6%削減することに成功した。また、QTNNは理論に基づいているため、予測結果に対する高い説明可能性も有している。発表では、QTNNの仕組みと実験結果の詳細とを紹介する。

1-060: 分位点回帰を用いた電気自動車のドライブシャフトで発生するねじれ共振の予測

発表者: 國吉房貴; 稲積祐敦; 古賀敏之 (株式会社アイシン; 株式会社アイシン; 株式会社アイシン)
概要: 特定のパーセンタイル・ポイントを予測する回帰式を導くための分析手法の一つに分位点回帰があるが、振動データへの適用例はほとんど存在せず、その性能や有用性については明確ではない。本発表では、車両振動データにおいてContinuous Ranked Probability Score (CRPS)を最小化する学習を行った場合、MAEやMSEで捉えられなかったねじれ共振の振幅を早期に予測できることを示し、振動予測における分位点回帰の適用可能性を議論する。

1-061: Heterogeneous metric learning に基づく結晶構造予測

発表者: 草場穫; 劉暢; 吉田亮 (統計数理研究所; 統計数理研究所; 統計数理研究所)
概要: 本研究では、heterogeneous metric learningに基づくテンプレートベースの新たな結晶構造予測手法を提案する。本手法では、与えられた化学組成と結晶構造のペアが安定構造であるか否かを判別する関数を結晶構造データベースから学習し (入力: heterogeneousなペア, 出力: ２値ラベル)、その関数の評価値に基づいたテンプレー ト構造の提案によって結晶構造予測を行う。

1-062: 識別的離散ガウス過程潜在変数モデルによるユーザー選好の可視化

発表者: 竹原一彰; 持橋大地 (総合研究大学院大学; 統計数理研究所)
概要: ユーザーの選好(好き・嫌いの度合い)を可視化することは、推薦システムとユーザー双方にとって重要である。 システムにとっては推薦根拠を示すことが、ユーザーにとっては自身の選好について理解を深めながら探索を進め、納得した意思決定が可能になるからである。 本研究では、ユーザーの選好を低次元アイテム空間上の関数局面として可視化することを試みる。

1-063: Regression via Classificationを用いた回帰問題に対するストリーム型能動学習

発表者: 堀口翔太; 土肥宏太; 川口洋平 (日立製作所; 日立製作所; 日立製作所)
概要: ストリーム型能動学習では，逐次到着するサンプルに対して予測を行うとともにその不確実性を評価し，不確実性が高いサンプルにはラベルを付与してモデルを再学習する。分類問題に対しては予測クラスへの帰属確率に基づく不確実性評価を用いた様々な手法が提案されてきたが，回帰問題に対する検討は少ない。本研究では回帰問題を分類問題に変換し，分類問題向けに提案された能動学習の手法を回帰問題にも直接適用可能にした。

1-064: 生体分子トラジェクトリの表現学習

発表者: 石曽根毅; 松永康佑; 渕上壮太郎; 中村和幸 (明治大学; 埼玉大学; 静岡県立大学; 明治大学)
概要: 生体分子は，代謝やシグナル伝達など生体機能に密接に関わっている．生体分子のダイナミクスは，分子振動が支配的なピコ秒から集団運動や折り畳みが支配的な秒まで多様な時間スケールの現象を呈す．ダイナミクス解析には，マクロ状態の変化に重要な特徴を抽出することが不可欠である．本研究では，表現学習技術を生体分子トラジェクトリに応用した手法を紹介し，実際のトラジェクトリデータに適用した結果について述べる．

1-065: Implicit Neural Representationを用いたCT-XAFSの３次元成分同定

発表者: 土野哲郎; 志賀元紀; 相澤宏旭; 加藤邦人 (岐阜大学; 東北大学; 広島大学; 岐阜大学)
概要: 複数の方位からのX線計測によって得られるCT-XAFSデータを用いて、物質成分の３次元的な化学状態分布を同定することが可能である。本研究では、CT-XAFSデータ解析のためのImplicit Neural Representationを用いた３次元成分同定法を提案する。また、各物質間のXAFSスペクトルの相関が大きいデータに対して、損失関数に成分同定像同士の内積の平均を制約項として追加することで、制約項がない場合と比べて学習が良化することを示す。

1-066: 最適輸送を用いた種間データ変換

発表者: 西健太郎; 矢田祐一郎; 片岡優之介; 本田直樹 (広島大学統合生命科学研究科; 広島大学統合生命科学研究科; 広島大学統合生命科学研究科; 広島大学統合生命科学研究科)
概要: ヒトとマウスのデータ統合では共通の遺伝子の存在を仮定する場合が多く、種固有の遺伝子・細胞サブタイプなどに影響されて性能が下がってしまうという欠点がある。そこで、異なる距離構造を持つ確率分布を比較するための尺度であるGromov-Wasserstein距離を用いた最適輸送を用いることで、種間の違いに対してロバストな統合を実現した。 本手法をマウスとヒトの大規模遺伝子発現データに適用し、臓器単位で種間の細胞同士 の対応関係を得た。

1-067: 機械学習ベースの隠れ状態推定手法の比較と生物データへの応用

発表者: 谷本佑馬; 上村淳; 小林徹也 (東京大学大学院 情報理工学系研究科; 東京大学生産技術研究所; 東京大学生産技術研究所)
概要: システムの隠れた状態の推定は普遍的な問題である. 隠れ状態推定の手法として隠れマルコフモデル(HMM)があり, 近年機械学習の発展によりHMMを土台とした効率的な手法が提案されている. そこで本研究では, 時系列データに対し従来の混合ガウス分布ベースのHMMと新手法(正規化流やXGBベースのHMM)を適用し比較を行った. また生物データへの応用として, 細胞形態からの運動状態遷移ダイナミクスの推定を試みた.

1-068: 放射光メスバウアー分光の推定精度の基底関数依存性

発表者: SHIEH Binsheu; 増田亮; 筒井智嗣; 片上舜; 永田賢二; 水牧仁一朗; 岡田真人 (東京大学; 弘前大学; 公益財団法人高輝度光科学研究センター, 茨城大学; 東京大学; 物質・材料研究機構; 熊本大学; 東京大学)
概要: メスバウアー分光は、原子核におけるエネルギー準位間の遷移を利用して物質のミクロな性質を調べる技術である。放射光でのメスバウアー測定においては、計測時間窓という専門家の経験に頼った設定値が存在している。そこで本研究では、メスバウアー分光の基底関数の計測時間窓を決定するプロセスにベイズ推定を導入し、データそのものから計測時間窓によるメスバウアー分光における測定対象の精度を推定する手法を提案している。

1-069: 暗黙的マルチタスクRLのための方策適合

発表者: 山森聡; 森本淳 (ATR; 京都大学)
概要: 接触や衝突を含む動的動作生成タスクにおいて，方策パラメータの摂動はリターンの大きな差を生み出すことができる．例えば，サッカーでは，摩擦係数や衝突位置，加える力の僅かな違いによって同様のヘディング動作から全く異なる方向へボールが飛ぶ．しかし，異なる方向へのボールをヘディングするために全く異なる運動スキルが必要だとは考えづらい．本研究では，同一種の動作内における報酬関数によるゴールの違いや環境の物理パラメータの違いといった暗黙的な変化に適応するマルチタスク強化学習アルゴリズムを提案する．我々は，一脚ロボットモデルによるボールヘディングタスクを用いて，擦係数や目標位置の暗黙的なタスク変化に対する対応力を評価した．その結果，領域乱択化では対応できないタスク変化においても提案法は適応できることが示された．

1-070: 非定常環境における総エキスパート数が不明なエキスパート問題に対するアルゴリズムとMLOpsへの応用

発表者: 竹村慧; 松野竜太; 佐久間啓太 (NEC; NEC; NEC)
概要: 本研究では、動的リグレットを評価指標としたエキスパート問題の亜種を考察する。通常のエキスパート問題ではエキスパートは一定であり既知の値と仮定するが、本研究ではエキスパートは意思決定のたびに変化し得るうえにその総数は未知である。本発表では、そのような条件の下でもリグレット保証をもつアルゴリズムを提案する。また、予測モデルをエキスパートと見立てて提案アルゴリズムを予測モデルの運用へ応用した実験を示す。

1-071: パラメータ空間でのネットワーク混合を用いたマルチタスク強化学習による汎化方策群の獲得

発表者: 後藤祐汰; 山森聡; 八木聡明; 森本淳 (京都大学; 京都大学,国際電気通信基礎技術研究所; 京都大学; 京都大学)
概要: マルチタスク強化学習の文脈において，複数の方策をパラメータ空間で混合させながら各タスクに特化した方策を生成する枠組みが注目されている．そこで本研究では，パラメータ混合を用いるアプローチによって学習した方策群を用いた場合において，学習時とは異なる複数のタスクへ適応させた際の汎化性能について検証する．具体的には，脚ロボットのシミュレーション実験を通じて異なるタスクでの制御性能を評価する．

1-072: 多様な動作速度を含むエキスパートデータからの行動クローニング

発表者: 角田日維; 八木聡明; 山森聡; 森本淳 (京都大学; 京都大学; ATR/京都大学; 京都大学)
概要: 模倣学習では，時間的に均一なエキスパート動作軌道からの学習をおこない，同等の速度域において学習者が動作を生成することが一般的である。ところが，実際はエキスパートの動作速度は様々であり，また学習者が異なる速度で課題を達成できることが望ましい．本研究では，多様な速度の動作データから学習し，異なる速さでの動作生成を可能とする行動クローニング手法を提案し，マニピュレーション課題において評価をおこなう．

1-073: GraphWM: 類似グラフ環境における事前知識を活用した方策学習のための世界モデル

発表者: 河村和紀; 河野 慎; 松尾 豊 (東京大学; 東京大学; 東京大学)
概要: ゲームや交通ネットワーク、社会ネットワークなど、仮想世界や現実世界においてグラフで表される環境は多い。これらの環境で最適な方策を求めるための手法はいくつかあるが、既存の研究では、新たな方策を学習する際に類似した環境下で獲得した事前知識を有効に活用できていない。そこで、グラフで表される環境に対する事前知識を獲得した状態でより良い方策を学習する世界モデルであるGraphWMを提案する。

1-074: 目的条件付け終端価値推定とそれを用いたモデル予測制御

発表者: 森田光紀; 山森聡; 八木聡明; 杉本徳和; 森本淳 (京都大学; 京都大学; 京都大学; ATR（国際電気通信基礎技術研究所）; 京都大学)
概要: モデル予測制御は有望なロボット制御手法である一方、計算時間が課題である。そこで、終端価値の学習により計算コストを削減する手法が注目されているが、得られる価値は一つのタスクに特化し、汎用性を失う。そこで本研究では、目的条件付けして価値を学習し、上位のプランナーを併用することで柔軟にロボットを制御する手法を提案する。また、二輪脚ロボットのシミュレーション実験によって本手法の有効性を確認する。

1-075: 説明器に忠実な説明をさせるための最適化法

発表者: 吉川友也; 岩田具治 (千葉工業大学; NTT)
概要: 予測に対する説明の品質は、説明の忠実性、すなわち、説明が予測モデルの振る舞いをどれだけ正しく反映しているかで評価されることが多い。 説明の忠実性を定量評価するために、画像に対しては挿入・削除メトリクスがよく用いられる。 本発表では、微分可能な挿入・削除メトリクスを導入し、これを正則化に利用することで、説明器が忠実な説明を出力できるように予測モデルを最適化する方法を提案する。

1-076: ブースティングに基づく線形閾値関数のBDD構築とニューラルネットワークの検証への応用

発表者: 唐一平; 畑埜晃平; 瀧本英二 (九州大学＆RIKEN; 九州大学＆RIKEN; 九州大学)
概要: 深層学習によって得られたニューラルネットワークは認識器としての精度が高い一方，その構造の解釈が困難であるという問題がある．いくつかの先行研究はニューラルネットワークを等価な論理表現に変換し, その特性に対し検証技術を適用することを提案した. 本発表では，ブースティングに基づく，線形閾値関数を特定の形式のBDDに変換する方法を提案する.　線形閾値関数のマージンが大きい場合, 提案手法はより小さいBDDを生成できる.

1-077: 強化学習エージェントに対する標的型攻撃

発表者: 山辺翔二郎; 福地一斗; 佐久間淳 (東京工業大学 / RIKEN; 筑波大学 / RIKEN; 東京工業大学 / RIKEN)
概要: 強化学習エージェントに対する敵対的攻撃の多くはエージェントの獲得する報酬を低下させることを目的としており, 攻撃後の状態に関しては考慮されない. しかし,実際の攻撃においては単純に獲得スコアを低下させるのではなく, より具体的な行動を取らせるように設計されることが考えられる. そこで, 本研究ではエージェントの入力にノイズを加えることにより,行動, 状態を指定して攻撃を行う標的型攻撃手法を提案する.

1-078: 自己符号化器を用いた異常検知に対する選択的推論

発表者: 三輪大貴; Vo Nguyen Le Duy; 白石智洸; 勝岡輝行; 竹内一郎 (名古屋工業大学; 理研AIP; 名古屋大学; 名古屋大学; 名古屋大学/理研AIP)
概要: 異常検知のタスクにおいて、自己符号化器を正常画像のみで学習し、入力画像と再構成画像の差分を使って異常検知を行う手法が提案されている。 そこで、仮説検定の枠組みを用いて異常検出の信頼性を定量化することを考えるが、選択バイアスの存在により妥当な検定を行うことはできない。 本発表では，近年盛んに研究が行われている選択的推論を用いて，自己符号化器を用いた異常検知に対する妥当な検定方法を提案する。

1-079: 組合せ構造に対するベイズ最適化の後処理法の数値的検証

発表者: 森田圭祐; 西川宜彦; 大関真之 (東北大情報; 東北大情報/北里大物理; 東北大情報/東工大物理/東工大国際先駆研究機構/シグマアイ)
概要: 組合せ的な構造をもつ最適化問題に対しベイズ最適化をはじめとするブラックボックス最適化手法を用いる場合、目的関数を同一の入力値で複数回評価することが原因で大域的最適解を得るために多くのステップを要求する問題点をもつ。本研究は、組合せ構造上のベイズ最適化において、既知のサンプルの再サンプルを防ぐ単純な乱択事後処理の効果を数値的に検証し、後処理法が最適解を得るのに必要なステップ数を減少させる可能性を議論する。

1-080: 機械学習を組み合わせたマルコフ連鎖モンテカルロ法のNP困難問題への応用

発表者: 宮本誠也; 大関真之; 田中和之 (東北大; 東北大/東工大/シグマアイ; 東北大)
概要: マルコフ連鎖モンテカルロ（MCMC）法は統計物理学において度々用いられるサンプリング手法である．近年，機械学習を用いてMCMC法を高速化させる手法がいくつか提案されている．本研究では，自己回帰ニューラルネットワークと量子アニーリングマシンを組み合わせたMCMC法をNP困難問題である最大独立集合問題に対して適用し，従来手法と自己相関時間の逆温度の依存性などを比較して，性能を評価する．

1-081: 記述長最小原理に基づく混合データにおける未観測共通原因の検出

発表者: 小林将理; 宮口航平; 松島慎 (東京大学; IBM東京基礎研究所; 東京大学)
概要: 本研究では、２つの確率変数間の因果関係を、未観測共通原因が存在する場合も含めて4つのタイプに分類する因果探索手法を提案した。変数が連続変数の場合でも離散変数の場合でも適用可能である点が本研究の新規性である。提案手法では各因果モデルに対する観察データの符号長を計算し、記述長最小原理（MDL原理）に基づいてモデルを選択する。人工データと実世界のデータを用いてその有効性を検証した。

1-082: マルコフ確率場に基づくベイズ的位相回復計算

発表者: 上田朔; 片上舜; 岡田真人 (東京大学新領域創成科学研究科; 東京大学新領域創成科学研究科; 東京大学新領域創成科学研究科)
概要: 信号xの線形変換y = Axの各成分の絶対値が（一般にはノイジーなチャンネルを通じて）観測されたときにxを推定するという問題を位相回復と呼ぶ。実応用ではサンプリング数（yの次元）が少ない場合やノイズの大きい条件下でxを正しく推定できる手法が求められている。今回の発表では位相回復をベイズ推論の枠組みで定式化し、画像のデノイジングのための確率モデルとしてマルコフ確率場を利用した結果を示す。

1-083: Rethinking Warm-Starts with Predictions: Learning Predictions Close to Sets of Optimal Solutions for Faster L-/L♮-Convex Function Minimization

発表者: 坂上晋作; 大城泰平 (東京大学; 東京大学)
概要: An emerging line of work has shown that machine-learned predictions are useful to warm-start algorithms for discrete optimization problems, such as bipartite matching. Previous studies have shown time complexity bounds proportional to some distance between a prediction and an optimal solution, which we can approximately minimize by learning predictions from past optimal solutions. However, such guarantees may not be meaningful when multiple optimal solutions exist. Indeed, the dual problem of bipartite matching and, more generally, L-/L♮-convex function minimization have arbitrarily many optimal solutions, making such prediction-dependent bounds arbitrarily large. To resolve this theoretically critical issue, we present a new warm-start-with-prediction framework for L-/L♮-convex function minimization. Our framework offers time complexity bounds proportional to the distance between a prediction and the set of all optimal solutions. The main technical difficulty lies in learning predictions that are provably close to sets of all optimal solutions, for which we present an online-gradient-descent-based method. We thus give the first polynomial-time learnability of predictions that can provably warm-start algorithms regardless of multiple optimal solutions.

1-084: リプシッツベイズ最適化における終了基準と獲得関数の提案

発表者: 増井秀之; 中根滉稀 (三菱電機株式会社; 三菱電機株式会社)
概要: ベイズ最適化（BO）は、効率的に大域最適解を探索出来るブラックボックス最適化として知られている。しかし、探索回数次第では計算量が増加するため、適切な終了基準で探索を終える必要がある。 本発表では、大域最小値が未知である最小化問題に対して、評価関数がリプシッツ連続であると仮定することで、下界に基づいた終了基準と、その終了基準を利用した獲得関数を提案する。

1-085: 入力データ分布の変動にロバストなセーフ事例スクリーニング

発表者: 花田博幸; 赤羽智志; 稲津佑; 青山竜也; 大藏芳斗; 田中智成; 小嶋信矢; 李翰柱; 竹内一郎 (理化学研究所; 名古屋大学; 名古屋工業大学; 名古屋大学; 名古屋大学; 名古屋大学; デンソー; デンソー; 名古屋大学)
概要: データを継続的に収集するため，将来的に分布が変動しうることを想定した機械学習を考える．本研究ではサポートベクトルマシンなどの事例スパースな学習手法を想定し，この分布が一定の範囲で変化したとしても引き続き学習結果に影響しない訓練事例を同定する方法を考える．特に，分布の変動を訓練事例の重みの変化として扱い，かつその変化がL2ノルムで制限されるとき，具体的な計算方法を示すとともに実験的に性能を評価する．

1-086: 逆最適化に対するsuboptimality損失を用いた模倣性

発表者: 北岡旦; 江藤力 (NEC; NEC)
概要: 報酬関数の設計による人の手による縛りから解放されることは最適化の業務の上で求められている。本発表では、多目的最適化の逆問題をsuboptimality損失の最小化問題として定式化する。この損失に対し射影勾配法を適応することにより、多目的最適化に対する逆問題を解けることを紹介する。加えて、この逆問題が解けたとき、熟練者の報酬関数や最適解を学習者が模倣することを発表する。

1-087: Doubly Robust Mean-CVaR Portfolio

発表者: 中川慧; 阿部真也; 黒木誠一 (野村アセットマネジメント株式会社; 野村アセットマネジメント株式会社; 株式会社リクルート)
概要: In this study, we address the challenge of portfolio optimization, a critical aspect of managing investment risks and maximizing returns. The mean-CVaR portfolio is considered a promising method due to today’s unstable financial market crises like the COVID-19 pandemic. It incorporates expected returns into the CVaR, which considers the expected value of losses exceeding a specified probability level. However, the instability associated with the input parameter changes and estimation errors can deteriorate portfolio performance. Therefore in this study, we propose a Doubly Robust mean-CVaR Portfolio refined approach to the mean-CVaR portfolio optimization. Our method can solve the instability problem to simultaneously optimize the multiple levels of CVaRs and define uncertainty sets for the mean parameter to perform robust optimization. Theoretically, the proposed method can be formulated as a second-order cone programming problem which is the same formulation as traditional mean-variance portfolio optimization. In addition, we derive an estimation error bound of the proposed method for the finite-sample case. Finally, experiments with benchmark and real market data show that our proposed method exhibits better performance compared to existing portfolio optimization strategies.

1-088: 平滑畳み込みテンソル分解によるテンソル補完

発表者: 高山拓夢; 横田達也 (名古屋工業大学; 名古屋工業大学/理化学研究所革新知能統合研究センター)
概要: テンソル補完の新たなモデルとして、平滑畳み込みテンソル分解(SCTF)を提案する。SCTFは、遅延埋め込み空間におけるランク1分解の簡潔なモデルに相当し、かつ遅延埋め込み空間において直接最適化を行わないため、計算量が小さい。さらに、最適化において、因子テンソルに平滑制約項を割り当てることで、補完精度をさらに向上させる。また、音響データやMRI画像による補完実験を行い、提案手法の有効性を確認した。

1-089: ブラックボックス最適化に量子アニーリングを利用した交通渋滞の解消

発表者: 鹿内怜央 (東北大学)
概要: 量子アニーリングは、高速かつ高精度な計算手法として注目されており、交通信号機の最適化計算に適用する研究が行われている。既存研究の非現実的なモデル化に対し、本研究ではより現実的なモデルを構築した。その際、交差点間の相性を示すハイパーパラメータを決定することが必要であった。このパラメータを推定するために、ブラックボックス最適化を利用した手法が有効であることを明らかにする。

1-090: ブースティングに基づく高速なメタラウンディング

発表者: 三星諒太朗; 畑埜晃平; 瀧本英二 (九州大学/理研AIP; 九州大学/理研AIP; 九州大学)
概要: オンライン組合せ最適化で α-リグレットと呼ばれる量を小さくする手法の一つとして，メタラウンディングと呼ばれる連続空間の解から離散解を出力する手法が知られている．本研究では，先行研究にあるメタラウンディングより優れた理論保証を持つアルゴリズムを提案し，その実用性を数値実験で示す．

1-091: オンライン環境において公平な資源配分を実現するアルゴリズムに関する研究

発表者: 山田博瑛; 小宮山純平; 阿部拳之; 岩崎敦 (電気通信大学; ニューヨーク大学; 株式会社サイバーエージェント; 電気通信大学)
概要: 本研究では，オンライン環境において公平な資源配分を実現するアルゴリズムを扱う．資源配分における公平性には様々な概念があるが，本研究では参加者全員の効用の積であるナッシュ積を最大化することを目的とし，オンライン環境におけるフィッシャー市場の均衡解を求めるアルゴリズムを提案する．とくに，届けられる資源の価値が事前にはわからない環境で，アルゴリズムが事後的な最適解を漸近的に達成することを確認する．

1-092: 経験分布とリサンプリングを用いたfダイバージェンスに基づく推定

発表者: 小林真佐大; 渡辺一帆 (豊橋技術科学大学; 豊橋技術科学大学)
概要: ロバスト推定を行うために、ダイバージェンスに基づく推定法が研究されている。fダイバージェンスを用いて連続モデルの推定を行う場合、経験分布の代わりにカーネル密度推定量が必要とされる。しかしながら、カーネル密度推定量にはバンド幅選択の問題や高次元において推定効率が悪化するという問題がある。本研究では、fダイバージェンスの双対表現に基づいて、経験分布とリサンプリングによるパラメトリック推定法を提案する。

1-093: Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective

発表者: Wei Huang; Yuan Cao; Haonan Wang; Xin Cao; Taiji Suzuki (RIKEN AIP; The University of Hong Kong; National University of Singapore; The University of New South Wales; The University of Tokyo)
概要: Graph neural networks (GNNs) have pioneered advancements in graph representation learning, exhibiting superior feature learning and performance over multilayer perceptrons (MLPs) when handling graph inputs. However, understanding the feature learning aspect of GNNs is still in its initial stage. This study aims to bridge this gap by investigating the role of graph convolution within the context of feature learning theory in neural networks using gradient descent training. We provide a distinct characterization of signal learning and noise memorization in two-layer graph convolutional networks (GCNs), contrasting them with two-layer convolutional neural networks (CNNs). Our findings reveal that graph convolution significantly augments the benign overfitting regime over the counterpart CNNs, where signal learning surpasses noise memorization. These findings highlight a substantial discrepancy between GNNs and MLPs in terms of feature learning and generalization capacity after gradient descent training, a conclusion further substantiated by our empirical simulations.

1-094: Partial Concept Bottleneck Modelの実対数閾値とBayes学習への応用

発表者: 林直輝; 澤田好秀 (株式会社アイシン Tokyo Research Center; 株式会社アイシン Tokyo Research Center)
概要: 神経回路網の解釈性向上手法の一つであるPartial Concept Bottleneck Model（PCBM）はCBMと異なり，一部conceptは教師なしで学習することでアノテーションコストを下げ，汎化性能も改善する手法である．しかし汎化性能の改善度は理論的に明らかにされていなかった．本研究ではPCBMの実対数閾値を理論解析し，Bayes汎化誤差が少なくともどれだけ改善されるか明らかにした．

1-095: 最大値バンディット問題の UCB 理論と材料探索への応用

発表者: 吉川信明; 大野宏司 (株式会社豊田中央研究所)
概要: 報酬の最大値の最大化を目指す最大値バンディット問題の常時停止可能なオラクル解を提案し、漸近最適方策として期待改善量(EI)の信頼上界(UCB)が最大の腕を選ぶ方策を構築した。提案方策は単純なバンディット問題および分子探索のタスクで既存手法よりも良い性能を示した。飛びぬけた性能を持つ物質群の発見が求められる材料探索では最大値バンディット問題の設定が適していると考えられる。

1-096: Unified Risk Analysis for Weakly Supervised Learning

発表者: Chao-Kai Chiang; Masashi Sugiyama (The University of Tokyo; The University of Tokyo)
概要: Among the flourishing research of weakly supervised learning (WSL), we recognize the lack of a unified interpretation of the mechanism behind the weakly supervised scenarios, let alone a systematic treatment of the risk rewrite problem, a crucial step in the empirical risk minimization approach. In this paper, we introduce a framework providing a comprehensive understanding and a unified methodology for WSL. The formulation component of the framework, leveraging a contamination perspective, provides a unified interpretation of how weak supervision is formed and subsumes fifteen existing WSL settings. The induced reduction graphs offer comprehensive connections over WSLs. The analysis component of the framework, viewed as a decontamination process, provides a systematic method of conducting risk rewrite. In addition to the conventional inverse matrix approach, we devise a novel strategy called marginal chain aiming to decontaminate distributions. We justify the feasibility of the proposed framework by recovering existing rewrites reported in the literature.

1-097: Adversarial federated contextual bandits with large actions in packs

発表者: Liu, Yaxiong; Liew, Seng Pei; Cao, Yang; Nakamura, Atsuyoshi; Takahashi, Tsubasa (Hokkaido University/RIKEN; LINE Corporation; Hokkaido University; Hokkaido University; LINE Corporation)
概要: In this paper, we focus on the impact of large action set for the adversarial federated contextual bandits. First of all, we design a framework where all the actions are stored pack-wise in central server. Due to our framework, the running time and storage consumption for each local device are reduced, while the local device will only process a pack of actions allocated from the central server on each round. Next, we propose an algorithm to our learning framework. In our proposed algorithm, we make a trade-off between the communication cost and the approximation to the global optimal for all actions in hindsight. Our algorithm is tight with respect to the learning round $T$ as $\Theta(T^{2/3})$.

1-098: SGLDのための時間非依存な情報理論的汎化誤差上界

発表者: 二見太; 藤澤将広 (大阪大学/理研AIP; 理研AIP)
概要: 本研究では，確率的勾配Langevin動力学（SGLD）に対し，訓練データ分布と学習したパラメータ分布間の相互情報量に基づく新たな「情報理論的汎化誤差上界」を，訓練データの変化に対する出力の安定性の時間発展を追跡することで導出する．我々の汎化誤差上界は，既存上界の課題であったステップサイズに対する厳しい仮定を迂回しつつ，SGLDの最適化繰り返し数に伴う発散を回避することが可能である．

1-099: ハイパーグラフ上の非線形一般化勾配流とその情報幾何学構造

発表者: 小林徹也 (東京大学生産技術研究所 )
概要: Fokker-Plank(FP)方程式などで記述される連続多様体上の場のダイナミクスとその勾配流構造は、物理のみならず学習理論の基礎である。本発表では、ハイパーグラフ(離散多様体)上での非線形な場のダイナミクスを一般化勾配流として扱う。グラフ上マルコフ過程を含むこのダイナミクスの情報幾何学的構造を明らかにし、それがFP方程式の有するL2-Wasserstein幾何構造の一般化であることを示す。

1-100: オンライン意思決定問題における複数の観測量に同時に依存したリグレット上界を有する FTRL と，それを用いたスパース性依存上界やゲーム依存型上界，両環境最適性の実現

発表者: 土屋平; 伊藤伸志; 本多淳也 (京都大学，理研AIP; 日本電気株式会社; 京都大学，理研AIP)
概要: Follow-the-regularized-leader (FTRL) はオンライン意思決定問題において様々な環境適応性を達成可能な枠組みであるが，既存の技術では単一の観測量に依存したリグレット上界のみ達成可能であり，結果として複数の環境適応性を同時に実現することは困難であった．本研究では新たな適応的学習率の枠組みを考案し，スパース性やゲーム依存性，両環境最適性などの環境適応性を同時に実現する．

2023/10/31(火)

2-001: グラフ上の距離を用いたFused Gromov-Wasserstein最適輸送による変数の拡張に対するドメイン適応

発表者: 有竹俊光; 日野英逸 (一橋大学; 統計数理研究所, RIKEN AIP)
概要: ドメイン適応の目的はソースドメインのラベル付きデータに関する知識をターゲットドメインへと転移し，ドメイン間の差を吸収することである．本研究では，ターゲットドメインで新たな変数が観測される場合をドメインシフトとして扱い，これらのドメイン間の適応をFused Gromov-Wasserstein最適輸送問題として定式化する．また，ターゲットドメインの輸送コストとしてグラフ上の距離を利用することで，ターゲットドメインの標本が従う構造を考慮したドメイン適応可能性の初期的な結果を人工データ実験により示す．

2-002: シミュレーションパラメータ推定精度向上のためのサロゲートモデル構造最適化

発表者: 山崎啓介; Bojan Batalo; Lincon S. Souza (産総研; 産総研; 産総研)
概要: 現実のデータを再現するためのシミュレーションパラメータ最適化はキャリブレーションと呼ばれ運用前の重要な処理である。サロゲートモデルと過去データへのキャリブレーション結果を用いることで対象データにおけるキャリブレーションを高速に行う手法としてモデルブリッジが提案されている。本研究ではキャリブレーション精度を向上を目的とし、モデル選択や特徴量選択を応用したサロゲートモデル構造最適化手法を提案する。

2-003: 疎行列分解におけるパラメータ自動調整法の提案と有効性の検証

発表者: 川澄亮太; 竹田晃人 (茨城大; 茨城大)
概要: 疎行列分解問題について、以前の我々の研究ではラプラス事前分布の下での分解行列解の解析表現を変分ベイズ法により導いた。本発表では解析解中のラプラス事前分布のパラメータを動的に自動調整する疎行列分解アルゴリズムを構成することで、解として埋め込まれた疎行列が高精度で再現可能なことを示す。加えて、本提案手法と既存の疎行列分解アルゴリズムを比較し、本手法が人工データと実データの双方で有効に働くことを示す。

2-004: 動的モード分解を利用した時系列データの連続スペクトル構造の解析

発表者: 坂田逸志; 河原吉伸 (理研AIP; 大阪大学/理研AIP)
概要: 乱流などの非平衡の現象では、非周期的な構造が現れることが多い。従来のモデルベースの手法では、複雑な現象の詳細な解析は難しいため、データ駆動的な方法が求められている。本研究は、力学的特徴を抽出可能な作用論的解析に焦点を当てる。近年提案された動的モード分解をベースとした連続スペクトルを計算する手法を基に、データの背後にあるダイナミクスの連続スペクトルの構造を解析する手法の提案を行う。

2-005: γクロスエントロピーを用いたロバストVAEの提案

発表者: 梶大介; 小林真佐大; 渡辺一帆 (株式会社デンソー; 豊橋技科大; 豊橋技科大)
概要: VAE(Variational Autoencoder)はデータ生成やdisentangled representationによるデータ因子の抽出、異常検出など広く応用されている．一方、因子抽出や異常検出は外れ値データの影響を受けやすいためロバスト統計を用いた手法が提案されている．本研究ではγクロスエントロピーの上界を用いた新たなロバストVAEを提案し、その性能評価結果を報告する．

2-006: 不完全観測を含むセンサーデータからの回帰

発表者: 勝木孝行; 恐神貴之 (IBM東京基礎研究所; IBM東京基礎研究所)
概要: 本発表では現象の強度の回帰を扱う。学習データ内の正解出力は、その強度の観測結果であり実際の強度とは必ずしも一致せず、低い値の出力は実際の強度が低かった場合もしくは観測が不完全だったことを表す。観測値からこの不完全観測を同定できないため、学習結果にバイアスが生じる。比較的低い値を持つ正解出力を無視しラベルなしとして扱うことで、この不完全観測を含む学習データからバイアス無く学習を行う方法を提案する。

2-007: Mnemonic Codeを用いたAIモデルの情報忘却

発表者: 山下智也; 山田真徳; 柴田剛志 (日本電信電話; 日本電信電話; 日本電信電話)
概要: ディープラーニングは大幅な精度向上を達成し、様々な分野に応用されているが新たな問題も浮上している。ディープラーニングモデルが、倫理的な観点から好ましくない情報を持つことである。Machine Unlearning(MU)は、モデルから所望の情報を忘却することを目指す研究分野である。MUの素朴なアプローチは、望ましくないデータを取り除いた学習データでモデル全体を再学習させることである。しかし、モデル全体の再学習には膨大な時間がかかる。本論文では、追加の学習を必要としないMU法を提案する。提案手法では忘却対象の情報を保持するモデルパラメータにノイズを加える。フィッシャー情報行列(FIM)を用いて、忘却対象の情報を持つモデルパラメータを推定する。いくつかのベースラインとの比較実験を行い提案手法の優位性を確認する。

2-008: 偏微分方程式に対する空間縮約理論に基づくサロゲートモデル

発表者: 岩崎悟 (大阪大学)
概要: サロゲートモデルとは計算負荷が重い計算処理を代替する計算モデルであり，計算機援用工学などで活用されている．本研究では偏微分方程式の数値計算を肩代わりするサロゲートモデルを研究対象として，空間縮約理論と呼ばれる数学理論に基づくサロゲートモデルを提案し，その性能を数値的・理論的に解析することを目指している．進行中の研究であるため主にアイデアのみの紹介し，議論を中心に発表を行いたい．

2-009: Langevin型アルゴリズムによる非対数凹非平滑分布の近似サンプリング

発表者: 仲北祥悟 (東京大学大学院総合文化研究科)
概要: 本研究では、ポテンシャル関数が非凸かつ非平滑な目標分布に対する近似サンプリングアルゴリズムを提案し、そのサンプリング複雑性評価を与える。具体的には、勾配に対する近似的な軟化を導入したLangevinモンテカルロアルゴリズムの変形が、特に平滑性について弱い仮定の下で近似サンプリングを実現することを、またそのために必要な計算複雑性評価を示す。

2-010: タスク不変な表現学習のためのVAEの最適な事前分布

発表者: 高橋大志; 岩田具治; 熊谷充敏; 金井関利; 山中友貴; 山田真徳; 鹿島久嗣 (NTT; NTT; NTT; NTT; NTT; NTT; 京都大学)
概要: VAEは教師なし表現学習のための強力な潜在変数モデルだが、学習データ数が少ない時に性能が低下する。この問題を解決するため、複数タスクからタスク不変な潜在変数を学習する Conditional VAE (CVAE) が提案されている。しかし、 CVAEは潜在変数のタスクへの依存性が残ってしまう。本研究では、単純な事前分布がこのタスク依存性の一因であることを明らかにし、最適な事前分布を提案する。

2-011: Reservoir computing におけるランダムネットワークの普遍性と時系列モデルの再現性

発表者: 中野直人; 春名純一; 兎子尾理貴 (明治大学大学院先端数理科学研究科; 大阪大学量子情報・量子生命研究センター; 京都大学大学院理学研究科)
概要: 本研究では reservoir computing (RC) の学習性能について統計物理的に解析する．我々は経路積分表示を用いて，RC のランダムネットワークの確率分布がノード数無限大の極限において普遍類に分類され，同じ類に属するネットワークは漸近的に同じ力学を示すことを証明した．その普遍類による RC の学習性能の差異や，スピングラス模型の相図と類似の学習性能の傾向について紹介する．

2-012: 不完全な遷移データを用いたマルコフ連鎖の復元

発表者: 幸島匡宏; 倉島健; 戸田浩之 (NTT人間情報研究所; NTT人間情報研究所; 横浜市立大学)
概要: プライバシ保護や観測コストの問題等による網羅的なデータ収集の困難さから, 現実環境で収集される移動を表すデータの多くは欠損や欠落がある不完全な遷移のデータとして表現される. 本発表では, 近年我々が提案した不完全な遷移データから元のマルコフ連鎖を復元する２つの手法を紹介する. データ表現と生成過程の考察から遷移確率行列のべき乗の混合モデルおよびセンサーマルコフ連鎖に基づくモデルが導けることを示す.

2-013: 二種の可約な領域を用いたRecurrent Neural Networkの学習法

発表者: 若宮隆盛; 佐藤聖也 (東京電機大学; 東京電機大学)
概要: recurrent neural network (RNN)は学習の初期値によっては良質の解が得られない問題がある．近年，この問題を緩和するため，RNNの可約性に着目した方法であるreducible region descent (RRD)が提案された．RRDでは可約な領域を利用することにより良質の解が安定して得られたことが報告された．しかし，可約な領域を生成する方法は複数あり，RRDでは一種のみを利用した方法であった．そのため本研究では異なる可約な領域を生成する方法を利用した方法を提案し，RRDと比較する．

2-014: 神経活動データに対するスパース独立成分分析の適用と統計力学的手法に基づく性能解析

発表者: 遠藤優介; 竹田晃人 (茨城大学; 茨城大学)
概要: ICA(独立成分分析)等の行列分解は神経活動データ等の解析に用いられる．我々はfMRIデータに対し疎行列分解を適用することで，タスクと同期する時系列を抽出できることを過去の研究で示した．そこで，本研究では分解行列解に疎制約を課した新たなICAを提案し，fMRIデータの解析への有用性を評価する．加えて，提案手法の目的関数から統計力学における局所的な状態方程式を導出し，最適解について理論的解析を行う．

2-015: メタンガス発生予測のための水田周辺の気温予測モデル評価

発表者: 千葉圭梧 (明治大学)
概要: 水田の土壌に存在するメタン生成菌は有機物を代謝し、メタンガスを生成する。このメタンの温室効果は二酸化炭素の24倍として知られ、稲作は日本のメタン排出の45%を占める重要な要因となっている。将来のメタン発生予測のための第一歩として、周辺環境の予測が必要となる。本研究では、複数のモデルを使用して水田の気温の時系列予測を行い、各手法の予測精度を比較した。

2-016: 欠測データに対する機械学習モデルの判断根拠可視化

発表者: 風呂井啓人; 小林景 (慶應義塾大学大学院 理工学研究科; 慶應義塾大学大学院 理工学研究科)
概要: 協力ゲーム理論で用いられるShapley値を活用し，特徴量間の因果関係を反映しつつモデルの予測に対する判断根拠をグラフィカルに可視化する手法がShapley Flowである．しかしShapley Flowはデータに欠測がある場合に，特徴量間の因果関係を適切に反映することが困難である．本発表では欠測による手法への影響と解決策について議論する．

2-017: ２目的閾値バンディット問題の解法アルゴリズム

発表者: 鈴木理矩; 中村篤祥 (北海道大学大学院情報科学院; 北海道大学大学院情報科学研究院)
概要: ２次元の報酬が得られる多腕バンディット問題において，各次元の期待報酬が共に与えられた閾値以上である腕の集合を同定する２目的閾値バンディット問題を考える．固定信頼度設定におけるサンプル数の漸近的下界から導かれるD-Trackingアルゴリズムの有効性を検証する．１次元既存法の２次元拡張版との実験による比較では，D-Trackingがより少ないサンプルから閾値以上の腕集合の同定を行うことが確認できた．

2-018: 高次モーメントを活用したリスク回避型バンディット

発表者: 野永竣太; 田畑公次; 小松崎民樹 (北海道大学電子科学研究所; 北海道大学電子科学研究所; 北海道大学電子科学研究所)
概要: 確率的多腕バンディット問題における最適腕識別は、平均報酬が最大の腕を識別することである。しかし、治験などにおいては、薬効に対応する平均報酬の大きさだけではなく、投薬におけるリスク指標となる分散・歪度の大きさによる評価も重要となる。そこで、本研究ではこれら高次モーメントも目的関数に加え、多目的最適化問題としてこの問題を定式化し、より少ないサンプル数でパレート解を求めるバンディット手法を提案する。

2-019: レベル集合推定に基づく二値分類モデルの能動的評価

発表者: 落合拓真; 瀬野圭一朗; 松井孝太; 原聡 (名古屋大学; 名古屋大学; 名古屋大学; 大阪大学)
概要: 本研究では、効率的なモデルの性能評価のために、二値分類モデルのテスト誤差をデータへの少量のラベル付けで推定する手法を提案する。 提案手法では、テスト誤差推定の問題を損失関数のレベル集合推定の問題に帰着することで、テスト誤差推定に有効な点のみ能動的にラベル付けをする。複数のデータセット実験において、提案手法が既存手法よりも少ないラベル付けでテスト誤差が推定可能なことを確認した。

2-020: Hyperbolic space operations and general representations of relation and entity for knowledge graph embedding

発表者: Zhu Yihua; Hidetoshi Shimodaira (Kyoto University, RIKEN; Kyoto University, RIKEN)
概要: The primary goal of Knowledge Graph (KG) Embedding is to learn low-dimensional representations of entities and relations, enabling the prediction of missing facts. We aim to enhance Knowledge Graph Embedding (KGE) through advancements in three key aspects: addressing several relation patterns with appropriate operations in hyperbolic space, adopting general representation for relation and entity, and integrating Large Language Models (LLMs) along with logical rules. The empirical results indicate that we can get a more flexible and general KGE model with these three approaches.

2-021: Dimensionality and Curvature Selection of Graph Embedding using Decomposed Normalized Maximum Likelihood Code-Length

発表者: 結城凌; 鈴木惇; 山西健司 (Graduate School of Information Science and Technology, The University of Tokyo, Tokyo, JAPAN; Faculty of Natural, Mathematical & Engineering Sciences, King’s Colledge London, London, United Kingdom; Graduate School of Information Science and Technology, The University of Tokyo, Tokyo, JAPAN)
概要: Graph embedding methods are effective techniques for representing nodes and their relations in a continuous space. Recently, several studies tried to embed graphs in constant curvature manifolds such as Euclidean, hyperbolic, and spherical space. It is critical how to select the best space for the graph embedding, as well as its dimensionality. In this study, we focus on the aforementioned constant curvature manifolds and aim at the dimensionality and curvature selection from the viewpoint of statistical model selection for latent variable models. Thereafter, we introduce a latent variable model using wrapped normal distributions, which are the extension of Gaussian distribution for Riemannian manifolds. We then propose a novel methodology using decomposed normalized maximum likelihood code-length, which is based on the minimum description length principle. We empirically demonstrated the effectiveness of our method using both artificial and real-world datasets.

2-022: 最適輸送による臟器間ネットワークの幾何的解析

発表者: 片岡優之介; 矢田祐一郎; 本田直樹 (広島大学大学院統合生命科学研究科; 広島大学大学院統合生命科学研究科; 広島大学大学院統合生命科学研究科,京都大学大学院生命科学研究科, 自然科学研究機構生命創生センター(ExCELLS), 広島大学脳・こころ・感性科学研究センター)
概要: 臓器間ネットワークの破綻は疾患の原因と考えられる。シングルセル技術で一細胞の遺伝子発現を定量すると、臓器間の相互作用は、多次元の遺伝子発現分布を持つ細胞集団間の相互作用として理解され得る。本研究ではシングルセルRNA-seqデータを用いた臓器間の影響評価手法「OrganoMix」を開発した。OrganoMixは確率分布の距離空間に基づき、臓器内のある細胞種への他臓器の影響を幾何的に評価する。

2-023: ワッサースタイン計量の下での多変量ガウス分布間の回帰モデル

発表者: 岡野遼; 今泉允聡 (東京大学; 東京大学/理研AIP)
概要: 分布から分布を予測する回帰モデル（分布間回帰モデル）の構築を考える。分布が一次元の場合には先行研究があるが、多次元分布一般の場合への拡張が難しい。本研究では、多次元分布のクラスをガウス分布族に制限した場合の、分布間回帰モデルを提案する。具体的には確率分布の集合にワッサースタイン計量を導入し、その接空間にガウス分布を移し、行列間の線形回帰モデルに帰着させるという方法をとる。

2-024: 共有潜在空間上でのベイズ最適化による機械学習モデルとハイパーパラメータの同時選択

発表者: 石川和樹; 尾崎令拓; 神崎陽平; 竹内一郎; 烏山昌幸 (名古屋工業大学; 名古屋工業大学; 名古屋工業大学; 名古屋大学; 名古屋工業大学)
概要: 機械学習を用いて予測を行うとき，機械学習モデルとそのハイパーパラメータの最適な組み合わせを選択する必要がある．しかし，全ての機械学習モデルに対してそれぞれハイパーパラメータ選択を行うと最適化に多くの時間を必要とすることになる．本稿では異なる機械学習モデルのハイパーパラメータ空間を共通の潜在空間へ変換し，潜在空間上でベイズ最適化を行うことで効率的に最適な組み合わせを発見する手法を提案する．

2-025: S^2 への可逆な変換によるWassersteinロスを用いた三次元点群位置合わせ

発表者: 石川慧; 今泉允聡 (東京大学; 東京大学/理研AIP)
概要: 本研究では、点群オブジェクトの位置合わせに用いられる剛体変換行列を推定する問題について考える。この問題では、学習に用いられる損失関数として、点集合間のユークリッド距離を用いた関数がいくつか提案されている。しかし、そのような関数では、点群オブジェクトの形状を考慮しきれていない。そこで本研究では、点群がオブジェクトのサーフェス上に分布していることから本質的には2次元であることに注目した。提案手法では、点群オブジェクトを同相なS^2へと変換する可逆な関数を構成し、本質的な2次元情報を抽出後に分布間距離を最小化することで、位置合わせ精度を向上させる。

2-026: Extended Flow Matching Theory for Conditional Generation

発表者: 磯部伸; 小山雅典; 林浩平; 福水健次 (東京大学; Preferred Networks; Preferred Networks; 統計数理研究所)
概要: 条件付き生成は生成モデルにとって最も重要なタスクであるが、拡散モデルやFlow Matchingを含む現在の手法では、条件の一貫性を担保できない。 そこで我々は、一般化連続方程式と呼ばれる微分方程式に基づく、条件の連続性が担保されるような拡張Flow Matchingを提案する。 提案手法は、学習アルゴリズムが単純であるだけでなく、条件付き分布間のFlowも生成できることが理論的に保証される。

2-027: 行列式点過程によるグラフサンプリング

発表者: 鴨志田陸; 小林景 (慶應義塾大学大学院 理工学研究科; 慶應義塾大学大学院 理工学研究科)
概要: 対象となる離散的な集合から、部分集合をサンプリングする確率モデルに行列式点過程（DPPs）がある。行列式点過程では抽出するサンプルの出現確率を、要素自体の出現頻度と要素間の相違性の2つの情報を内包させた行列カーネルの行列式で与える。本発表では、グラフから部分グラフのサンプリングを、グラフラプラシアンをもとに構成したカーネルを用いて行い、その際に現れる性質について紹介する。

2-028: 局所探索型獲得関数に基づく能動的レベル集合推定法の提案

発表者: 國分裕太; 松井孝太; 沓掛健太郎; 熊谷亘; 金森敬文 (東京工業大学; 名古屋大学; 理化学研究所; 東京大学; 東京工業大学)
概要: 能動的レベル集合推定は、入力候補点集合をブラックボックス関数の出力が閾値を超える上位集合と，閾値を下回る下位集合に可能な限り少ないデータ数で分類するための方法である。本研究では、上位集合の期待改善量に基づく獲得関数であるMILEを拡張した局所探索型の獲得関数を提案する。また、人工データと材料科学分野の実データ解析を通して他の獲得関数との比較を報告する。

2-029: ロバスト凸クラスタリングによるマルチタスク学習回帰

発表者: 岡崎彰良; 川野秀一 (九州大学大学院数理学府; 九州大学大学院数理学研究院)
概要: マルチタスク学習とは，複数のタスクと呼ばれるデータ集合を統合し，モデル化を行う機 械学習手法である．回帰問題に対してマルチタスク学習を行う方法として，凸クラスタリ ングを利用した方法が存在する．本報告では，外れ値タスクの混入により，クラスタリン グが困難となる凸クラスタリングの問題点を克服するため，外れ値タスクを表すパラメー タを導入しその選択を行う．また，数値実験を通して，提案手法の有効性を検証する．

2-030: Adaptive Topological Feature via Persistent Homology: Filtration Learning for Point Clouds（フィルトレーション学習による点群のデータ駆動型位相的特徴量）

発表者: 西川直輝; 池祐一; 山西健司 (東京大学; 九州大学; 東京大学)
概要: 点群データを扱う機械学習手法に対し，パーシステントホモロジーを用いて得られる位相的特徴量を組み込むことで精度が向上する場合がある．そのような手法の性能は，フィルトレーション（空間の増大列）の選択に大きく依存する．本研究では、ニューラルネットワークを用いてデータからフィルトレーションを学習する手法を提案し，提案ネットワーク構造を正当化する理論的結果と，提案手法の有効性を示す実験結果について述べる．

2-031: Echo State Networkを用いた線虫C.elegansの嗅覚神経細胞AWAの膜電位応答の再現

発表者: 石橋涼輔; 高島康介; 中西慶一; 田向権; 田中悠一朗; 石原健; 佐藤則子; 徳永旭将 (九州工業大学; 九州工業大学; 九州工業大学; 九州工業大学/ニューロモルフィックAIハードウェア研究センター; 九州工業大学; 九州大学; 九州工業大学/九州大学; 九州工業大学/ニューロモルフィックAIハードウェア研究センター)
概要: ライブセルイメージング技術の進歩により，外部刺激に対する生物の神経細胞の膜電位やカルシウムイオン応答を細胞レベルで詳細に捉えることが可能となってきた．我々は，高エネルギー効率で自律的に動作する，少数細胞から構成される汎用的ニューロモルフィックシステムの実現を目指している．本研究では，線虫C.elegansの嗅覚神経細胞であるAWAの膜電位応答を，Echo State Networkを並列化したマルチスケールなリザバーモデルで再現する試みについて報告する．

2-032: 欠損値補完にTransformerを用いる場合のAttention Maskパターンの検討

発表者: 坂本啓太朗; 山口正一朗; 井形秀吉 (東京大学; 株式会社 Preferred Networks; 株式会社 Preferred Networks)
概要: 本研究では、欠損値補完にmasked autoencoderを用いる際、高い欠損率で訓練されたモデルが低い欠損率ではうまく補完できない問題を発見した。この理由として、注意機構には可変長の入力系列が適している仮説をたて検証した。実際に、デコーダ部分の注意機構が可変長の入力を受け付けるように工夫したことで、補完精度や計算量の観点で改善した。最後に、この仮説についてカーネル平滑化の観点から考察を行った。

2-033: Out-of-Distribution Optimality of Invariant Risk Minimization

発表者: 豊田祥史; 福水次 (統計数理研究所; 統計数理研究所)
概要: Deep Neural Networks often inherit spurious correlations embedded in training data and hence may fail to generalize to unseen domains, which have different distributions from the domain to provide training data. M. Arjovsky et al. (2019) introduced the concept out-of-distribution (o.o.d.) risk, which is the maximum risk among all domains, and formulated the issue caused by spurious correlations as a minimization problem of the o.o.d. risk. Invariant Risk Minimization (IRM) is considered to be a promising approach to minimize the o.o.d. risk: IRM estimates a minimum of the o.o.d. risk by solving a bi-level optimization problem. While IRM has attracted considerable attention with empirical success, it comes with few theoretical guarantees. Especially, a solid theoretical guarantee that the bi-level optimization problem gives the minimum of the o.o.d. risk has not yet been established. Aiming at providing a theoretical justification for IRM, this paper rigorously proves that a solution to the bi-level optimization problem minimizes the o.o.d. risk under certain conditions. The result also provides sufficient conditions on distributions providing training data and on a dimension of feature space for the bi-leveled optimization problem to minimize the o.o.d. risk.

2-034: 双方向TabGPTによる時系列データの欠損補間と未来予測

発表者: 小島亮一; 和田真弥 (KDDI総合研究所; KDDI総合研究所)
概要: 時系列データを生成するTabGPTの入力を双方向に拡張したモデルを提案する。本モデルは従来手法と比べて時系列データを高精度に欠損補間でき、さらに補間後のデータを用いた気象予測精度の向上にも寄与することを示す。

2-035: ニューラルネットのパラメータに作用する双対群と普遍性定理の表現論的証明

発表者: 園田翔; 伊師英之; 石川勲; 池田正弘 (理研; 大阪公立大; 愛媛大; 理研)
概要: ニューラルネットのパラメータにはデータ空間に作用している群が双対的に作用していることを発見した．この事実を利用して，ニューラルネットの普遍性定理を群表現論的な方法で証明した．

2-036: 物理現象の性質を導入したグラフニューラルネットワークによる物理シミュレーション

発表者: 堀江正信; 三目直登 (株式会社ＲＩＣＯＳ、JST さきがけ; 筑波大学)
概要: 物理現象の高速・高精度な予測のための手法として、機械学習が期待されている。しかし、ナイーブな機械学習手法では汎化性能に問題があることが多く、複雑な物理現象に対応することが難しい。そこで本研究では、複雑な幾何構造を取り扱うことができるグラフニューラルネットワークと数値解析手法との類似性に着目し、物理現象の性質を導入した機械学習モデルを構築し、物理現象の高精度な学習・予測を行うことを目指す。

2-037: EntProp: High Entropy Propagation via Auxiliary Batch Normalization Layers

発表者: 榎本昇平 (NTT ソフトウェアイノベーションセンター)
概要: 通常サンプルは通常BN層，高エントロピーサンプルは追加BN層を使用することで2つの異なるドメインからの学習を行い，標準精度とロバスト性の両方の向上を実現する．

2-038: 敵対的学習の目的関数の滑らかさの調査

発表者: 金井関利; 山田真徳; 高橋大志; 山中友貴; 井田安俊 (NTT; NTT; NTT; NTT; NTT)
概要: 敵対的学習は、敵対的攻撃に対する頑健性を向上させる有望な手法である。しかし、その性能は通常の学習と比較して十分ではない。本研究では敵対的学習の難しさを調べるため，その目的関数の滑らかさについて調査する．敵対的学習の目的関数の滑らかさは，攻撃の制約とその種類，入力に対する損失のヘッセ行列の最小固有値に依存することを示す．最後に目的関数の滑らかさの改善が敵対的学習の性能向上につながることを確認する．

2-039: 重み共有階層的softmaxのグレイコードによる並び替えを用いた整数値表現

発表者: 河内祐太; 吉田悠一 (株式会社デンソーアイティーラボラトリ; 株式会社デンソーアイティーラボラトリ)
概要: 画像座標値や音量等に、回帰でなく分類を用いるとタスク性能が上がることがある。 しかしながら、softmaxは整数表現としては自由度が高く非効率である。階層的softmaxの重み共有で2値符号化による圧縮された整数表現が可能だが、桁上がりで潜在表現が分断され学習に不向きである。 グレイコードで並べ替えることで桁上がりに起因する問題の抑制が可能と考え、素朴なsoftmaxや回帰と実験で比較する。

2-040: 過完備近似行列分解に基づくニューラルネットワークの可塑化

発表者: 鈴木藍雅 (大成建設 技術センター)
概要: 生物の大脳は発達後期においても、そのシナプス結合構造を柔軟に変化させ、多様な環境に適応する可塑性を持つ。しかし深層学習においては、学習済みモデルの追加学習の際に、問題の複雑度に応じて、そのモデル構造を適切に変化させる手法は確立されていない。本研究ではニューラルネットワークの全結合層を対象に、その重み行列に対する過完備行列分解に基づいて、適切な結合構造と学習初期値を同時に決定する手法を提案する。

2-041: Grokking in Linear Diagonal Neural Networks

発表者: 高倉将吉; 鈴木大慈 (東京大学・理研AIP; 東京大学・理研AIP)
概要: 近年，過適合した後も訓練を続けると突然汎化性能が改善するGrokkingと呼ばれる現象が注目を集めている．本研究では2層線形対角ニューラルネットワークと呼ばれるモデルにおいて，真の関数にスパース性がある場合にGrokkingが起こることを証明し，汎化が遅れる原因がパラメータの識別不能性にあることを示した．

2-042: DNNの学習過程における学習の早期停止タイミングを測る指標の提案

発表者: 出田大造; 宮武勇登; 降籏大介 (大阪大学大学院情報科学研究科; 大阪大学サイバーメディアセンター; 大阪大学サイバーメディアセンター)
概要: DNNを用いた深層学習では汎化性能が重要だが，SGD等の学習過程で既知のデータから汎化誤差を測ることは難しく，未知な部分が多い．これに対し，損失の平坦性に焦点を当てた研究が行われている．本発表では，平坦性の指標として異なるミニバッチデータに対する勾配のL2ノルムの分散を考え，これを学習の早期停止タイミングの指標として導入し，学習過程において汎化誤差が増加し始めると指標も増加する傾向を発見したことを報告する．

2-043: 縮約可能なU-Netの解析

発表者: 坂倉宏明; 野沢健人; 花岡昇平; 佐藤一誠 (東京大学; 東京大学 / 理研AIP; 東京大学; 東京大学)
概要: 医用画像分野ではU-Netが広く使われているが、プライバシー制約により外部リソースの利用が制限され医療機関によって実行可能なモデルサイズが異なる。本研究では、縮約可能学習アルゴリズムを用いて１度の学習で実行時にモデルを縮約することを考える。医用画像の特性としてサイズが大きく既存手法の適用が難しい。そのため既存手法の性質を分析し、より簡素化したアルゴリズムとしても縮約可能であることを示す。

2-044: 時系列データのための確率実現を介した拡散生成モデル

発表者: 田中亮悟; 河原吉伸 (九州大学数理学府; 大阪大学　大学院情報科学研究科)
概要: 拡散モデルは、特に高次元データにおいて優れた性能を有する深層生成モデルであり、画像生成を中心として広く研究されている。本研究では、拡散モデルのネットワーク構造に、確率実現アルゴリズムと呼ばれる時系列データの潜在構造を抽出する原理を援用し、データ中の動力学的特性を抽出する機構を組み込むことで、時系列データの推測に有意な特徴抽出とデータの生成を可能にする方法を提案する。

2-045: ニューロン対称性を排した効率的な訓練に向けた Orbifold Neural Network

発表者: 砂田浩幸; 菅野尚哉; 末武一馬 (東北大学; アイシン・ソフトウェア株式会社; アイシン・ソフトウェア株式会社)
概要: 機械学習の推論精度向上のために採用されるアンサンブル法では、多様性豊かな複数のモデ ルをサンプリング出来るかどうかがその成否を分ける。しかしニューラルネットワークは様々な対称性を含んでいるので、その多様性をパラメタ空間で測るのは適切でない。そこで我々はニューロンに対する置換群に基づく対称性を排除する方法としてパラメタ空間の orbifold化ー Orbifold Neural Network ーを提案する。

2-046: 2次元投射を用いたLiDAR点群のセグメンテーションのためのスケール同変畳み込み

発表者: 丸茂英敬; 松原崇 (大阪大学 基礎工学研究科; 大阪大学 基礎工学研究科)
概要: 自動運転に必要な周辺環境の認識において，LiDAR点群のセグメンテーションが注目を集めている．認識精度と計算効率を両立するために，点群を3次元空間で直接処理するのではなく，2次元に投射してからCNNなどで処理する手法が主流になっている．本研究では，物体距離に応じた画像内のスケールの違いに対応するために，新たなスケール同変畳み込みを導入し，パラメータ効率を向上させることで精度の向上に成功した．

2-047: 量子化回帰モデルの汎化誤差解析

発表者: 柏村周平; 坂田綾香; 今泉允聡 (東京大学理学系研究科; 統計数理研究所; 東京大学総合文化研究科)
概要: 量子化は深層学習などの学習器の計算コストを軽減する手法である． 量子化により，通常は連続値である重みを低ビットで離散化して処理を行うことで，学習及び予測の高速化やモデルの軽量化を可能にする． 本研究では，可解モデルとして線形モデルを対象とし，レプリカ法を用いて量子化が汎化誤差に与える影響を解析した．結果として，量子化を制御するハイパーパラメタに応じた汎化誤差の挙動や，問題の複雑さと対応するレプリカ対称性の破れが何度も見られる相図を得た．

2-048: 深層Fourier Neural Operatorはなぜ性能が悪いのか: カオスの縁の再考

発表者: 越塚毅; 藤澤将広; 田中佑典; 佐藤一誠 (東京大学; 理研AIP; NTT; 東京大学)
概要: 層数が増えると、Fourier Neural Operator (FNO)の学習は不安定になり、予測性能が悪化する。我々は、FNOの平均場解析を行い、全結合ネットワークとの類似性、および勾配消失/爆発を防ぐためにカオスの縁付近で初期化する必要性を示す。この分析に基づき、我々はHe初期化のFNO版を提案し、深層FNOの学習を安定化させることを示す。初期化の改善により、予測性能の劣化も緩和される。

2-049: Diffusion Models are Minimax Optimal Distribution Estimators

発表者: 大古一聡; 秋山俊太; 鈴木大慈 (東京大学，理研AIP; 東京大学; 東京大学，理研AIP)
概要: 統計的学習理論の立場から拡散モデルを分布推定問題として定式化し，その厳密な近似・汎化誤差解析を初めて与えた．主結果として，拡散モデルは (i)真の分布関数が良く知られた関数空間に入っている時，拡散モデルの出力データ分布と真の分布の距離は訓練データ数の増加に関して最適なオーダーで収束すること（分布推定器としてのミニマックス最適性），(ii)分布が低次元性を持つ時，その低次元構造に適応し次元の呪いを回避できることを示した．

2-050: 条件付き敵対的生成ネットワークの条件付加手法の回帰ラベルに適した選択について

発表者: 原周也; 降籏大介; 宮武勇登 (大阪大学大学院情報科学研究科; 大阪大学サイバーメディアセンター; 大阪大学サイバーメディアセンター)
概要: 条件付き敵対的生成ネットワーク(cGAN)には様々な条件付加手法が存在し，手法によって学習後の生成物の質が異なる．しかし，既存のcGANは主にクラスラベル用に設計されており，回帰ラベルに対してどの手法が適しているかは十分に研究されていない．本研究では，条件が回帰ラベルであるとき，入力層に結合する手法と中間層に結合する手法，また埋め込み層を通す手法と通さない手法を，生成物の質という観点で比較する．

2-051: 独立成分に基づく埋め込み表現の解釈と普遍的形状の解明

発表者: 大山百々勢; 山際宏明; 下平英寿 (京都大学/理研AIP; 京都大学; 京都大学/理研AIP)
概要: 本研究では、独立成分分析（ICA）で得られる単語埋め込みの独立な意味成分を手掛かりに、各種埋め込みの形状に普遍的な性質を明らかにする。具体的には、ICAが定める統計的に独立な基底がそれぞれ解釈可能な意味成分を表し、単語の意味情報はそれらの組み合わせで概ねスパースに表現されていることを示す。さらに、解釈可能な意味成分は言語の違いやモダリティの違いを超えて共通していることを明らかにする。

2-052: 情報理論に基づくshortcut学習の定式化と緩和手法

発表者: 村山浩理; 佐藤一誠 (東京大学; 東京大学)
概要: 深層学習における分類タスクで，クラスと偽相関がある単純な特徴を優先して学習して汎化が悪化してしまうshortcut学習が問題視されている．本研究では，深層学習と情報ボトルネックの関係を仮定し，shortcut学習をデータとその中間表現の相互情報量の過度な減少として定式化する．その上で，表現の圧縮を抑制する正則化によってshortcut学習を軽減する手法を提案し，この有効性を経験的に検証する．

2-053: TDbasedUFE and TDbasedUFEadv: bioconductor packages to perform tensor decomposition based unsupervised feature extraction

発表者: 田口善弘 (中央大学)
概要: Motivation: Tensor decomposition (TD)-based unsupervised feature extraction (FE) has proven effective for a wide range of bioinformatics applications ranging from biomarker identification to the identification of disease-causing genes and drug repositioning. However, TD-based unsupervised FE failed to gain widespread acceptance due to the lack of user-friendly tools for non-experts. Results: We developed two bioconductor packages-TDbasedUFE and TDbasedUFEadv-that enable researchers unfamiliar with TD to utilize TD-based unsupervised FE. The packages facilitate the identification of differentially expressed genes and multiomics analysis. TDbasedUFE was found to outperform two state-of-the-art methods, such as DESeq2 and DIABLO. Availability and implementation: TDbasedUFE and TDbasedUFEadv are freely available as R/Bioconductor packages, which can be accessed at https://bioconductor.org/packages/TDbasedUFE and https://bioconductor.org/packages/TDbasedUFEadv, respectively.

2-054: ニューラルネットワークの推論高速化に向けた重みパラメータの密・疎行列分解と量子化

発表者: 森政文 (株式会社デンソー)
概要: ニューラルネットワークの推論高速化手法の一つに、量子化がある.本研究では、重みパラメータを密・疎行列に分解し、それぞれに異なるビット幅やステップサイズで量子化する手法を提案する.この手法は外れ値による誤差を増大させずに、密行列のビット幅を小さくしパラメータサイズを圧縮することができる.実験にて代表的なニューラルネットワークモデルに対して提案手法を適用し、従来手法と比較してその有効性を検証した.

2-055: 擬似ゲーム画面によるUI検出モデルの学習データ生成

発表者: 加納基晴; 下斗米貴之 (KLab株式会社; KLab株式会社)
概要: 近年、モバイルゲーム市場の拡大に伴い、多様な条件下で動作テストが求められている。KLabはUIを検出して自動プレイするゴリラテストを開発してきた。網羅的なテストのために機械学習によるUI 認識精度の向上が必要になる。通常データセットの作成にはかなりの時間がかかるが、本研究ではアノテーション不要で学習データセットを作成する手法を提案する。実際のゲーム画面で既存手法と比較し、速度と精度の向上を示す。

2-056: 特徴抽出器としてデータに適したマザーウェーブレットの学習

発表者: 山本昌治 (株式会社東芝)
概要: ウェーブレットは、マザーウェーブレットと呼ばれる関数の畳み込み演算により信号の時間-周波数表現を得る解析手法である。得られるウェーブレット係数は特徴量として機械学習に使用されているが、データやタスクに適したマザーウェーブレットを選択する困難がある。本研究では連続ウェーブレット変換に使われるマザーウェーブレットをニューラルネットワークにより構成し、より良い特徴量を得るためにデータから学習を行う。

2-057: 言語モデルによる few-shot 推薦におけるバイアスとその除去

発表者: 熊谷雄介; 横井祥 (株式会社博報堂DYホールディングス; 東北大学・理化学研究所)
概要: 本研究では大規模言語モデル（LLM）による情報推薦に取り組む．プロンプトに複数の入出力例を入れる形式のfew-shot推薦は，学習を伴わないためプライバシー保護の面で期待が大きい．本研究では，こうしたfew-shot推薦がLLMの持つ単語分布とプロンプトからバイアスを受けるという経験的な結果を，32種のデータセットによる実験に基づき報告する．また，これらのバイアスを除去する方法を議論する．

2-058: 信号分解の残差によるバイオデータのノイズ除去

発表者: 志村諒; 佐藤政寛; 後藤健吾 (富士フイルム株式会社; 富士フイルム株式会社; 富士フイルム株式会社)
概要: 近年、計測装置の進歩により大量のバイオデータが計測可能となり 、様々なバイオデータを用いた研究がなされてきた。しかし、バイオデータは一般的に、標的細胞以外の細胞がノイズとして混入しやすい問題が知られている。そこで本研究では、信号分解の残差に着目して非標的細胞由来の信号を除去する手法を提案し、シミュレーションによる原理検証の他、公共がんデータによるがん分類問題やマーカー探索における検証を報告する。

2-059: Are abstract syntax trees natural? On the statistical predictability of source-code ASTs.

発表者: パツァキ・プロフィアペトル; 杉山麿人 (国立情報学研究所; 国立情報学研究所、総合研究大学院大学)
概要: Source code comes in different shapes and forms. Previous research has already shown code to be more predictable than natural language as well as highlighted its statistical predictability at the token level: source code can be natural. More recently, the structure of code – control flow, syntax graphs, abstract syntax trees etc. – has been successfully used to improve the state-of-the-art on numerous tasks: code suggestion, code summarisation, method naming etc. This body of work implicitly assumes that structured representations of code are similarly statistically predictable, i.e. that a structured view of code is also natural. This view should be made explicit and propose directly studying the Structured Naturalness Hypothesis. Beyond just naming existing research that assumes this hypothesis and formulating it, we also provide evidence in the case of trees: TreeLSTM models over ASTs for some languages, such as Ruby, are competitive with n-gram models while handling the syntax token issue highlighted by previous research ‘for free’. We find tree models to perform worse for other languages, such as Java or Python, suggesting that downstream task improvement is uncorrelated to the language modelling task. Further, we show how such naturalness signals can be employed for near state-of-the-art results on just-in-time defect prediction – a task similar to time-series anomaly detection – while forgoing manual feature engineering work.

2-060: 普遍性を持った回路による学習について

発表者: 斎藤陽平 (九州工業大学)
概要: 深層学習を回路実装するときは、連続時間の関数から連続時間の関数への写像を学習する。入力信号と教師出力の対応関係が因果的で時間不変で忘却効果を持つ状況は多く、入出力関係をsupノルムで近似可能な力学系の研究はすでになされており、アナログ回路による実装も紹介されていた。我々はICチップ程度のコンパクトな回路実装を目指し、普遍性を持つ力学系を再帰的ニューラルネットワークの形に変更した。

2-061: 音クリップごとの信号あり／なし情報のみからの正ラベルなし学習に基づく音響信号強調

発表者: 伊藤信貴; 杉山将 (東京大学; 東京大学)
概要: 音響信号強調は混ざった観測信号から音声等の目的信号を抽出する技術である。通常、各観測信号に対応する目的信号を教師情報として含む訓練データを用いて教師付き学習を行う。このデータは収録できずシミュレーションで合成する必要があり、実環境では従来法の性能が低下する場合がある。提案法は正ラベルなし学習という弱教師付き学習に基づき、クリップ毎の目的信号の有無を弱い教師情報に用い、実データでの訓練が可能である。

2-062: 一般化少ショット セマンティックセグメンテーションに対する簡単で効果的な方法

発表者: 坂井智哉; 勝木孝行; Haoxiang Qiu; 恐神貴行; 井上忠宣 (IBM; IBM; IBM; IBM; IBM)
概要: セマンティック・セグメンテーションでは、画像の各ピクセルがどのクラスに属するかを分類する。特に少ショット一般化セマンティック・セグメンテーションでは、新規クラスに対するラベル付きデータが少ない状況（少ショット）を考え、推論時に対象とするクラスとして基底クラスと新規クラスの両方（新規クラスのみではない一般化）を考える。この設定の下で、簡単でありながら最先端手法を超える性能が得られる手法を提案する。

2-063: マテリアルズインフォマティクスによる辞書学習を用いた伴流画像の特徴量の抽出

発表者: 水鳥雄太; 大平祐生; 青野 健; 五十嵐康彦 (筑波大学システム情報工学研究群; 住友重機械工業株式会社; 住友重機械マリンエンジニアリング株式会社; 筑波大学システム情報系)
概要: 多くの産業分野で，データを活用した製品および材料の開発が重要性を増している．本研究では，船舶の性能予測を例に伴流画像と呼ばれる実データを用いて，船舶性能と流体特性との関係性を解明し，性能予測モデルの向上を目指す．スパースモデリングを用いた特徴量学習手法である辞書学習を活用することで，新たな船型の開発と性能向上に貢献する特徴量を抽出した．本研究はデータ駆動型アプローチの産業分野での応用可能性を示唆している．

2-064: 深層学習を用いた勾配系の縮約モデリングとその解釈

発表者: 辻駿哉; 村上諒; 庄野逸; 本武陽一 (電気通信大学; 物質・材料研究機構; 電気通信大学; 一橋大学)
概要: 大自由度な現象の縮約モデルを構築することは重要かつ困難な課題である．本研究では，様々な現象でしばしば観測される勾配系の縮約モデルを，Hamiltonian Neural Networkに着想を得た深層学習モデルを用いてデータ駆動的に推定し，現象の有用な特性を抽出する一連の枠組みを提案する．さらに本稿では，提案枠組みを磁区パターンダイナミクスの数値計算データに適用した事例を紹介する．

2-065: 機械学習の術中脊椎機能モニタリングへの応用

発表者: 伊達俊坪; 世木直喜; 藤原幸一 (名古屋大学; 名古屋大学; 名古屋大学)
概要: 術中脊髄機能モニタリングとは，脊髄・脊椎手術中に定期的に体の各部位の筋電位信号を取得することで神経損傷のリスクを早期に検出する手法である．しかし，この手法には患者の状態の危険度を示す指標は存在せず，医師によってアラームポイントが異なるという問題がある．本研究では，このアラームポイント確立の前段階として，機械学習を用いて筋電位信号のみから患者の予後の予測を試みた．

2-066: 心拍変動解析を用いたレム睡眠行動障害患者における起立性低血圧を鑑別する機械学習モデルの開発

発表者: 小枝正汰; 藤原幸一; 角幸頼; 角谷寛 (名古屋大学; 名古屋大学; 滋賀医科大学; 滋賀医科大学)
概要: レム睡眠行動障害(RBD)は将来的に神経変性疾患に進展するリスクが高いことが知られており、早期介入が求められている。RBD患者の中には自律神経機能の失調による起立性低血圧(OH)がみられる患者がいる。起立負荷試験は、OHの有無を判定し、患者の自律神経の機能を評価する試験であるが、受傷リスクが大きい。本発表では、患者の安静時の心拍変動からOHの有無を判定する機械学習モデルを構築した結果を報告する。

2-067: コアシェル試料における小角散乱データのベイズ推論

発表者: 大山慶悟; 林悠偉; 桑本滋生; 片上舜; 永田賢二; 水牧仁一朗; 岡田真人 (東京大学大学院新領域創成科学研究科; 東京大学大学院新領域創成科学研究科; 公益財団法人高輝度光科学研究センター; 東京大学大学院新領域創成科学研究科; 国立研究開発法人物質・材料研究機構;公益財団法人高輝度光科学研究センター; 東京大学大学院新領域創成科学研究科)
概要: コアシェル試料の小角散乱データから試料パラメータをベイズ推定する手法を提案する。従来の解析法は、ハンドフィッティングや勾配法などを用いた最適化を行う過程を持つ。これらの解析では、用いた事前知識が客観的にわかりにくいことや、推定結果の信頼度を評価することが難しいという問題がある。本提案はベイズ統計の枠組みを用いて計測データからモデルパラメータを確率分布として推定することでこれらの問題を解決する。

2-068: X 線反射率データ解析におけるベイズ推論手法の開発

発表者: 町田惇; 渡辺剛; 水牧仁一朗; 永田賢二; 岡田真人 (東京大学; JASRI; 熊本大学; NIMS; 東京大学)
概要: X 線反射率法は，固体表面の物理的な特性や界面の構造を調べる実験技術であり，さまざまな材料科学の分野で用いられている．X線反射率法における従来の解析方法は膜構造モデルを仮定し，最小二乗法による最適化で実験データにモデルをフィットさせる方法が取られてきた．しかし，この方法でモデルパラメータを正しい値に収束させるには，良い初期値の選択が必要である．そこで，本研究では，ベイズ推論を用いて X 線反射率データの解析を行う手法を提案する．ベイズ推論による解析を行うことで，初期値の検討を行うことなく，一度の解析でパラメータの推定が可能になるほか，推定値の不確かさを評価することもでき，これにより計測限界を評価したり，ノイズが大きいような状況においても推定が可能であることを示した．

2-069: 教師のオフラインデータに基づくインタラクティブ模倣学習

発表者: 中口悠輝 (NEC)
概要: 模倣学習は強化学習の問題を何らかの教師の情報を参考に解くが、典型手法の行動クローニングでは共変量シフトが蓄積し長期的な問題に適用できなかった。インタラクティブ模倣学習は教師モデルからオンラインでフィードバックを得ることでこの課題を解決したが、効率的な学習には教師の価値関数へのアクセスが必要であった。そこで本研究では、オフラインデータしかない教師からもインタラクティブ模倣学習する方法を提案する。

2-070: 強化学習における安全探索のための一般化された定式化とアリゴリズムについて

発表者: 和地瞭良; 橋本航; 瀋迅; 橋本和宗 (LINE 株式会社; 大阪大学; 大阪大学; 大阪大学)
概要: Safe exploration is essential for the practical use of reinforcement learning (RL) in many real-world scenarios. In this paper, we present a generalized safe exploration (GSE) problem as a unified formulation of common safe exploration problems. We then propose a solution of the GSE problem in the form of a meta-algorithm for safe exploration, MASE, which combines an unconstrained RL algorithm with an uncertainty quantifier to guarantee safety in the current episode while properly penalizing unsafe explorations before actual safety violation to discourage them in future episodes. The advantage of MASE is that we can optimize a policy while guaranteeing with a high probability that no safety constraint will be violated under proper assumptions. Specifically, we present two variants of MASE with different constructions of the uncertainty quantifier: one based on generalized linear models with theoretical guarantees of safety and near-optimality, and another that combines a Gaussian process to ensure safety with a deep RL algorithm to maximize the reward. Finally, we demonstrate that our proposed algorithm achieves better performance than state-of-the-art algorithms on grid-world and Safety Gym benchmarks without violating any safety constraints, even during training.

2-071: ノミナルな環境に対してロバストな強化学習アルゴリズムの提案

発表者: 市原有生希; 内部英治 (奈良先端科学技術大学院大学,国際電気通信基礎技術研究所;国際電気通信基礎技術研究所)
概要: 強化学習の実世界応用における課題の一つは,シミュレーション環境と実際の物理環境との乖離である.この問題に対処するために開発されたロバスト MDPは実世界の変動に対して頑健なアルゴリズムを開発することが焦点とされている.本研究では,ノミナルな環境モデルと対応するソフト最適方策を正則条件として用いた学習したアルゴリズムを提案した.訓練時とテスト時での遷移確率が異なる場合で優れた性能を示した.

2-072: 拡散モデルによる移動ロボットの準最適経路生成

発表者: 平野皓己; 大野綾太; 武石直也; 矢入健久 (東京大学; 東京大学; 東京大学; 東京大学)
概要: ニューラルネットワークによって高速にロボットのプランニングを行うことが近年有望視されている。本研究では、車両型の移動ロボットの経路生成を扱う。数値最適化手法によって計算した最適な経路を訓練データとして、拡散モデルによる条件付き生成によってなるべく最適に近い経路を生成する問題について議論する。

2-073: Thompson Sampling for Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit

発表者: 中村紳太郎; 杉山将 (東京大学/理化学研究所; 理化学研究所/東京大学)
概要: We study the real-valued combinatorial pure exploration of the multi-armed bandit (R-CPE-MAB) problem. In R-CPE-MAB, a player is given \(d\) stochastic arms, and the reward of each arm \(s\in\{1, \ldots, d\}\) follows an unknown distribution with mean \(\mu_s\). In each time step, a player pulls a single arm and observes its reward. The player’s goal is to identify the optimal \emph{action} \(\boldsymbol{\pi}^{*} = \mathrm{argmax}_{\boldsymbol{\pi} \in \mathcal{A}} \boldsymbol{\mu}^{\top}\boldsymbol{\pi}\) from a finite-sized real-valued \emph{action set} \(\mathcal{A}\subset \mathbb{R}^{d}\) with as few arm pulls as possible. Previous methods in the R-CPE-MAB assume that the size of the action set \(\mathcal{A}\) is polynomial in $d$. We introduce an algorithm named the Generalized Thompson Sampling Explore (GenTS-Explore) algorithm, which is the first algorithm that can work even when the size of the action set is exponentially large in $d$. We also introduce a novel problem-dependent sample complexity lower bound of the R-CPE-MAB problem, and show that the GenTS-Explore algorithm achieves the optimal sample complexity up to a problem-dependent constant factor.

2-074: 決定木アンサンブルモデルの形式検証・要約

発表者: 吉村玄太; 松永沙織 (三菱電機株式会社; 三菱電機株式会社)
概要: 訓練済みの決定木アンサンブルモデルの形式検証手法について発表する．モデル構造を利用して入力領域を再帰的に分割しながら検証したい性質（入出力関係）を満たすか否かを判定し，性質を満たさない場合はその入力領域を人が理解しやすく要約する手法を提案する．提案手法を実装して実データに適用した実験結果も併せて紹介する．

2-075: Implementing Availability Attacks in Multi-DataSource Environments

発表者: Yu Zhe; Jun Sakuma (RIKEN AIP; 東京工業大学 RIKEN AIP)
概要: Availability attacks refer to a specific type of poison attack where training data is poisoned with imperceptible perturbations. The primary objective of these attacks is to make the data unexploitable by machine learning algorithms, thereby preventing unauthorized use of the data. While the realm of availability attacks on single dataset sources has been extensively studied, real-world scenarios often present a more complex picture. Attackers, in reality, might gather data from multiple sources. In such multi-source scenarios, the efficacy of attacks designed for single sources tends to diminish. This research aims to explore the dynamics of availability attacks in multi-source environments. Specifically, we aim to understand how data owners can protect their data when attackers will collect data from multiple sources.

2-076: 局所解釈可能なルールアンサンブル

発表者: 金森憲太朗 (富士通株式会社)
概要: ルールアンサンブルは，重み付きルールの線型結合に基づく解釈可能なモデルである．一般に，ルールモデルの解釈性はモデルを表現するために必要なルールの総数で評価されるが，予測精度を維持するためには多くのルールが必要となるため，両者の間にはトレードオフが存在する．本発表では，局所解釈性という新しい解釈性評価指標を導入することで，予測精度と解釈性を両立したルールアンサンブルモデルの学習法を提案する．

2-077: 対照損失に基づく文エンコーダーは各単語をその情報利得で重み付ける

発表者: 栗田宙人; 小林悟郎; 横井祥; 乾健太郎 (東北大学; 東北大学/理研AIP; 東北大学/理研AIP; MBZUAI/東北大学/理研AIP)
概要: 対照損失が自然言語文のエンコーダの質を向上させているが、その内部メカニズムについては理解が進んでいない。本発表では、対照損失を通じて学習された文エンコーダが、各単語を情報利得に基づいて重み付けられることを一定の仮定の下で示す。また、実際の文エンコーダも確かに情報利得に従って単語を重み付けていることを勾配に基づくモデル解釈結果との一貫性により確かめる。最後に、非対照損失との差からこの現象を議論する。

2-078: MANet: Mixed Attention Network for Visual Explanation

発表者: 白晶晶; 河原吉伸 (九州大学; 大阪大学/理化学研究所)
概要: In this work, we discuss visual explanation methods for CNNs, highlighting a shift from sole interpretation to using visual explanations to improve CNN performance. A novel network architecture, MANet is proposed to advance visual explanations through an adaptive feature refinement mechanism via a mixed attention module. Experimental results showed the great performance of MANet in various image recognition tasks and also demonstrated improved visual stability and consistency.

2-079: 視点の取り方に依存した決定論的カオスの試論

発表者: 城真範 (産総研)
概要: 複雑系の中で特に微細構造と大規模構造が相互依存している系の最適化を一般的に考えたい。そのため有限の空間に何かのパターンが存在する場合を考える。視点の大きさを変えたとき同じパターンが繰り返されるのがフラクタルである。それはくりこみ群として捉えられる一方で、一種のリミットサイクルである。では視点の大きさを変えたときのパターンが決定論的カオスになっている系はどう捉えたら良いかを考察する。

2-080: 「近似勾配流」が実現するSVGDのKL距離下での準線形収束保証

発表者: 藤澤将広; 二見太 (理研AIP; 大阪大学/理研AIP)
概要: 本研究では，無限粒子および有限ステップ幅の下でのStein変分勾度降下法（SVGD）が，近似分布と目標分布とのカルバック・ライブラー（KL）距離基準で，アルゴリズムの繰り返し数に対して準線形収束することを理論的に示す．これまでSVGDの収束性は，カーネル関数に基づく弱い距離尺度の下での保証に留まっていたが，我々が新たに定義する「近似勾配流」の概念が，困難であったKL距離での収束性保証を可能にする．

2-081: Learning and filtering stochastic nonlinear dynamics with embedded latent transfer operators

発表者: Ke Naichang; Kawahara Yoshinobu (Kyushu University; Osaka University/理化学研究所)
概要: We consider an operator-based latent Markov representation of a stochastic nonlinear dynamics, where the evolution of the latent state embedded in a RKHS is described with the corresponding transfer operator, and develop a spectral method to learn this representation based on the theory of stochastic realization. In addition, we address the generalization of sequential state-estimation (filtering) in stochastic nonlinear systems for the representation.

2-082: 因果推論に基づく悪性リンパ腫の定量評価基準構築に向けた拡散モデルによる反事実画像の生成

発表者: 古賀諒一; クグレマウリシオ; 横田達也; 大島孝一; 三好寛明; 永石美晴; 橋本典明; 竹内一郎; 本谷秀堅 (名古屋工業大学; 名古屋工業大学; 名古屋工業大学; 久留米大学; 久留米大学; 久留米大学; 理研; 名古屋大学; 名古屋工業大学)
概要: 本発表では因果推論に基づく悪性リンパ腫の定量評価基準構築に向けた取り組みについて報告する．悪性リンパ腫には70種類以上のサブタイプが存在するが，病理画像からサブタイプを判断するための定量的な基準は現在までに存在しない．因果推論に基づいて定量的な基準を獲得するための１つの手段として，サブタイプごとの反事実画像生成が求められる．本発表では，反事実画像の生成結果と因果推論の検討状況について報告する．

2-083: 巡回対称性を持つ最適輸送問題

発表者: 武田翔一郎; 赤木康紀; 丸茂直貴; 丹羽健太 (NTT; NTT; NTT; NTT)
概要: 本研究では巡回対称性を持つ最適輸送問題に対する高速なアルゴリズムを提案する．提案アルゴリズムは，巡回対称性を利用して元の最適輸送問題を少数の変数で構成される小さな最適化問題に帰着し，これを解くことで高速化を実現する．本稿では，人工データ及び実データを用いた実験によって提案アルゴリズムの有効性を報告する．

2-084: Faster Discrete Convex Function Minimization with Predictions: The M-Convex Case

発表者: 大城泰平; 坂上晋作 (東京大学;東京大学)
概要: Recent years have seen a growing interest in accelerating optimization algorithms with machine-learned predictions. Sakaue and Oki (NeurIPS 2022) have developed a general framework that warm-starts the L-convex function minimization method with predictions, revealing the idea’s usefulness for various discrete optimization problems. In this paper, we present a framework for using predictions to accelerate M-convex function minimization, thus complementing previous research and extending the range of discrete optimization algorithms that can benefit from predictions. Our framework is particularly effective for an important subclass called laminar convex minimization, which appears in many operations research applications.

2-085: 数値解析を使用したガラスシーリング材の物性値推定の試み -ベイズ最適化を用いた検討

発表者: 山崎泰知; 鈴木藍雅 (大成建設株式会社; 大成建設株式会社)
概要: ガラスの遮音性能の把握は，室内音環境などを把握する上で重要である．しかしながら，ガラスの遮音性能はガラスシーリング材に大きく依存することが知られており，その物性値の把握が課題である．そこで我々はベイズ最適化を用いて，ガラスの振動測定結果と数値解析結果から物性値推定を試みており，今回評価関数に実験値の信頼性を組み合わせた結果について発表を行う．

2-086: QUBO決定木：アニーリングマシンを用いた決定木学習技術

発表者: 八幡晃一郎; 森長大貴; 淺原彰規; 酒井優太 (日立製作所; 日立製作所; 日立製作所; 明治大学)
概要: アニーリングマシンはQUBO問題と呼ばれる二値変数の二次最適化問題を解くソフトウェア及びハードウェアの総称であり注目されている。発表者が提案したQUBO決定木では決定木の学習問題をQUBO問題に変換することで、複数の特徴量を組み合わせた分岐を可能とした。本発表では、QUBO決定木の概要と本技術で得られた分岐を表現する特徴量に関する分析結果について報告する。

2-087: Solving Choice-Based Linear Programs in Huge Scale

発表者: Donghao Zhu; Hanzhang Qin; Kenji Fukumizu (The Institute of Statistical Mathematics; National University of Singapore; The Institute of Statistical Mathematics.)
概要: オンラインショッピングのレコメンデーションの場合、ユーザーの規模はしばしば百万人を超えます。そのため、対応するビジネスモデルを最適化する際に(Linear program)は、その規模が巨大である(Huge-scale)と考えられ、新たな解決策を提案しています。我々は、離散化によって元のモデルを多数の小規模な問題に変換します(decentralization)。数値シミュレーションによれば、我々のアルゴリズムは元の最適解と比較してほとんど損失がなく、計算時間は大幅に短縮されます。

2-088: Symmetric Mean-field Langevin Dynamics for Continuous Minimax Problems

発表者: Juno Kim; 山本かけい; 大古一聡; Zhuoran Yang; 鈴木大慈 (東京大学; MIT; 東京大学; Yale; 東京大学)
概要: In this paper, we extend mean-field Langevin dynamics to continuous minimax problems for the first time with symmetric and provably convergent updates. We propose mean-field Langevin averaged gradient (MFL-AG), a single-loop algorithm with weighted gradient averaging, and prove average-iterate convergence to the mixed Nash equilibrium. We also study both time and particle discretization and prove a new uniform-in-time propagation of chaos result which accounts for the dependency of the particle interactions on all previous distributions. Furthermore, we propose mean-field Langevin anchored best response (MFL-ABR), a symmetric double-loop algorithm based on best response dynamics with linear last-iterate convergence. Finally, we conduct numerical simulations to demonstrate the long-term optimality of MFL-AG and MFL-ABR.

2-089: A Unified Discretization Framework for Differential Equation Approach with Lyapunov Arguments for Convex Optimization

発表者: 牛山寛生; 佐藤峻; 松尾宇泰 (東京大学大学院情報理工学系研究科; 東京大学大学院情報理工学系研究科; 東京大学大学院情報理工学系研究科)
概要: The differential equation (DE) approach for convex optimization, which relates optimization methods to specific continuous DEs with rate-revealing Lyapunov functionals, has gained increasing interest since the seminal paper by Su–Boyd–Candès (2014). However, the approach still lacks a crucial component to make it truly useful: there is no general, consistent way to transition back to discrete optimization methods. Consequently, even if we derive insights from continuous DEs, we still need to perform individualized and tedious calculations for the analysis of each method. This research aims to bridge this gap by introducing a new concept called “weak discrete gradient” (wDG), which consolidates the conditions required for discrete versions of gradients in the DE approach arguments. We then define abstract optimization methods using wDG and provide abstract convergence theories that parallel those in continuous DEs. We demonstrate that many typical optimization methods and their convergence rates can be derived as special cases of this abstract theory. The proposed unified discretization framework for the differential equation approach to convex optimization provides an easy environment for developing new optimization methods and achieving competitive convergence rates with state-of-the-art methods, such as Nesterov’s accelerated gradient.

2-090: Blurring mean shiftアルゴリズムの収束性解析

発表者: 山崎遼也; 田中利幸 (京都大学大学院情報学研究科; 京都大学大学院情報学研究科)
概要: Blurring mean shift (BMS)アルゴリズムは，カーネル密度推定値の極大化点を求めるMSアルゴリズムの更新式を修正した反復アルゴリズムであり，クラスタリングなどに使用される． 本研究では，BMSアルゴリズムを最適化アルゴリズムとして見られるような目的関数を与え，その最適化としての解釈と幾何的な理解に基づき収束性解析を行った． その結果，BMSアルゴリズムが多くのカーネルで三次収束，Epanechnikovカーネルで有限時間収束を達成することなどを示した．

2-091: 外れ値を含んだデータにおけるSGDの大域収束性について

発表者: 吉田直生; 今泉允聡; 仲北祥悟 (東京工業大学; 東京大学; 東京大学)
概要: 本研究ではSGD（Stochastic Gradient Descent，確率的勾配降下法）の大域収束性を理論的に解析した． SGDは機械学習一般で使われる方法だが，その収束先や収束の理論保証については未解明の部分が多い．本研究はデータに外れ値が含まれる場合を考え，このもとでSGDの大域最適解への収束が成立することを証明した．証明の方法としてPDMP（Piecewise Deterministic Markov Process，区分決定的マルコフ過程）への帰着とそのエルゴード性に関する議論を行なった．

2-092: Minimax Regret Analysis for Tuning Large Model with Small Sample

発表者: 宮口航平 (IBM Research)
概要: Consider the problem of efficiently utilizing finite data to train large models. To this end, we study adaptive minimax regret prediction with respect to infinite-dimensional linear models. As a result, a predictor with finite-sample near-optimality guarantee is obtained and its properties and practical implications are discussed.

2-093: 固定予算二腕最適腕識別における一様サンプリングの最適性について

発表者: 蟻生開人; Po-An Wang; Alexandre Proutiere (サイバーエージェント/KTH; サイバーエージェント/KTH; KTH)
概要: 本研究では、固定予算最適腕識別問題を考察し、特に二つの選択肢（腕）が存在する場合に焦点を当てる。この問題に対して、各選択肢を均等に試す、一様サンプリングが最適であることを明らかにする。証明の過程で、一様サンプリングを上回るアルゴリズムが存在するとすれば、そのアルゴリズムは必ず「安定性」を有していることを示す。本研究は、Qin(2022)にて提示された未解決問題に対して部分的解を提供するものである。

2-094: Learning in Multi-Memory Games Triggers Complex Dynamics Diverging from Nash Equilibrium

発表者: 藤本悠雅; 蟻生開人; 阿部拳之 (総研大統合進化, 東大生物普遍性, CyberAgent AI Lab; CyberAgent AI Lab, KTH; CyberAgent AI Lab, 電通大)
概要: Repeated games consider a situation where multiple agents are motivated by their independent rewards throughout learning. In general, the dynamics of their learning become complex. Especially when their rewards compete with each other like zero-sum games, the dynamics often do not converge to their optimum, i.e., the Nash equilibrium. To tackle such complexity, many studies have understood various learning algorithms as dynamical systems and discovered qualitative insights among the algorithms. However, such studies have yet to handle multi-memory games (where agents can memorize actions they played in the past and choose their actions based on their memories), even though memorization plays a pivotal role in artificial intelligence and interpersonal relationship. This study extends two major learning algorithms in games, i.e., replicator dynamics and gradient ascent, into multi-memory games. Then, we prove their dynamics are identical. Furthermore, theoretically and experimentally, we clarify that the learning dynamics diverge from the Nash equilibrium in multi-memory zero-sum games and reach heteroclinic cycles (sojourn longer around the boundary of the strategy space), providing a fundamental advance in learning in games.

2-095: Adaptive Lasso, Transfer Lasso, and Beyond

発表者: 高田正彬; 藤澤洋徳 (株式会社東芝;統計数理研究所)
概要: Adaptive Lassoは初期推定量で“割って”正則化をかけるのに対して，Transfer Lassoは初期推定量で“引いて”正則化をかける．この違いは，各手法の性質にどのような違いを生み出すだろうか．本研究では，各手法の理論的性質の違いを明らかにし，両者の利点を両立する新たな手法を提案する．さらに，数値実験により理論的性質が非常に良く再現されることを示す．

2-096: Zero-Variance Perturbation Utiity for Extensive-Form Games

発表者: 坂本充生; 阿部拳之; 蟻生開人; 岩崎敦 (サイバーエージェント; サイバーエージェント, 電気通信大学; サイバーエージェント, スウェーデン王立工科大学; 電気通信大学)
概要: ゲームの均衡学習では，摂動させた利得関数を用いて学習を安定化させる手法が一般的である．しかし，ポーカーのような膨大な状態数を持つ展開型ゲームでは，各反復ごとに一部の履歴をサンプルし，それをもとに戦略を更新することで計算量を削減するアプローチが典型的に取られるが，その枠組みに適した利得の摂動方法は未だに明らかになっていない． そこで，本研究では展開型ゲームの学習に適した利得の摂動方法を提案する．

2-097: 正測度空間の情報幾何学〜マルコフ過程に対する正測度理論の構築

発表者: 中島直道 (早稲田大学)
概要: 情報幾何学は，統計モデルを幾何学的な空間とみなしてその構造を探ることで統計科学や情報科学，機械学習等の理論基盤を幾何学的な視点から構築して整備するものである．甘利氏によって導入された有限集合上の確率分布族における正測度空間の理論はその空間の幾何構造を特徴づけるために重要な役割を果たす．本発表では，マルコフ過程に付随する遷移確率空間に対して正測度空間の理論の対応物を構築する．

2-098: A Slingshot Approach to Learning in Monotone Games

発表者: 阿部拳之; 蟻生開人; 坂本充生; 岩崎敦 (サイバーエージェント, 電気通信大学; サイバーエージェント, KTH; サイバーエージェント; 電気通信大学)
概要: 本研究では，ゲームのナッシュ均衡学習のために，与えられた基準点との距離が小さくなるように戦略の更新方向を摂動させる学習方法を提案する．まず，学習時に完全な勾配情報を得られる場合，ノイズ付きの勾配情報が得られる場合のそれぞれにおいて，提案手法によって学習させる戦略が近似的な均衡へと収束することを理論的に示す．さらに，定期的に基準点を更新することで，学習される戦略が真の均衡へと収束することを示す．

2-099: neighbor-transfer-exponentを用いた非絶対連続分布間の転移学習の誤差解析

発表者: 藤川光浩; 秋本洋平; 福地一斗; 佐久間淳 (筑波大学 / RIKEN; 筑波大学 / RIKEN; 筑波大学 / RIKEN; 東京工業大学 / RIKEN)
概要: 多くの転移学習の誤差の上界を与える理論では、転移先の分布の台が転移元の分布の台に含まれている場合に限り、転移が成功すると示す。しかし、実データにおいて上記の仮定が成立しない場合が多くあると考えられる。本研究では、回帰関数の平滑性と分類境界を考慮したデータ点の移動を考えることにより、上記の仮定が成り立たない場合においても、転移元のサンプルサイズの増加に対して減少するように既存の誤差の上界を改善する。

2-100: 組み合わせセミバンディット問題における報酬関数および組合せ制約とリグレット上界の関係性について

発表者: 原田翼; 伊藤伸志; 竹村慧 (東京工業大学; NEC; NEC)
概要: 組合せセミバンディット問題において，リグレット上界が一度に選べるアーム数の最大値Kに依存する問題とそうでない問題がある．このような差が発生する原因は報酬関数と組合せ制約の構造によるものである．本発表では，Kに依存しないリグレット上界が得られる既存の問題を参考にし，Kに依存しないリグレット上界を得るために報酬関数と組合せ制約が満たすべき十分条件を挙げ，その条件に当てはまる問題の例を紹介する．