最先端の数理統計学 2022/11/20（日） 10:10–12:10

オーガナイザ：矢野 恵佑（統計数理研究所）

清 智也（東京大学）

従属性のモデリングと情報幾何学

多変量データの従属構造を確率分布で表現する方法には、少なくとも3種類ある。一つは同時分布を直接指定する方法であり、多変量正規分布や多項分布はその例である。二つ目は回帰モデルである。回帰モデルでは応答変数の条件付き分布に主な関心があり、説明変数の従う分布には興味がない（nuisance）ことが多い。三つ目の方法は、全ての変数の周辺分布をnuisanceとし、周辺分布を与えたもとで同時分布を指定するというものである。その代表例は、量的データに対するコピュラモデルと、質的データに対する条件付きポアソンモデルである。本講演では、この第三の方法について、モデルと推測法の構造を情報幾何学の見地から整理する。最後に発表者らが最近提案した最小情報従属モデルについて紹介する。

鎌谷 研吾（統計数理研究所）

区分確定的マルコフ過程

区分確定的マルコフ過程(Piecewise deterministic Markov process: PDMP)をもちいたモンテカルロ法が注目されている．PDMPは離散時間のマルコフ連鎖ではなく，連続時間のマルコフ過程であり，その名の通り，区分確定的な動きとジャンプで構成されることが特徴である．このPDMPをもちいたモンテカルロ法が注目されるのは，スケーラブルベイズ計算への期待からだ．ベイズ的な解析は計算的困難がつきまとう．そのため大規模データ解析では，マルコフ連鎖モンテカルロ法のようなバイアスのなく時間のかかる手法よりも，大胆な近似を用いる手法が重宝される．PDMPを用いたモンテカルロ法ではそうした大胆な近似が必要ないとされる．実際には実装に必要な，ジャンプ時刻の生成は容易ではないから，今の段階では絵に描いた餅と言えるかもしれない．この手法が絵に描いた餅で終わるかどうか，今後の革新的発展を期待しつつ，手法の性質とその利点と欠点，および最近の理論的な発展について紹介する．

小池 祐太（東京大学）

高次元データに対する正規近似理論

独立な多次元確率ベクトルの和に対する正規近似の精度を評価する問題を考える．ここでは評価式が次元に対してどのように依存するかに興味があり，これは正規分布との距離の測り方によって大きく変わってくる．近年，Chernozhukov, ChetverikovおよびKatoの一連の研究によって，距離として矩形に関する一様距離（Kolmogorov距離の多次元化の１つ）をとれば，次元がサンプル数よりもはるかに大きいような状況でも非自明な評価が得られることが示された．これは他の典型的な距離には見られない特徴であり，非常に多数のパラメータを持つモデルに対する同時推測を行うのに有用である．本報告ではこの話題について概説したのち，評価の改善に関する最近の進展について報告する．

マルチメディアと機械学習 2022/11/20（日） 15:10–17:10

オーガナイザ：中山 英樹（東京大学）

Raphael Shu（AWS AI）

大規模言語モデルによるコード生成とその応用（Code Generation with Large Language Models – Recent Trend and Applications）

OpenAI Codexを始め、最近の大規模言語モデルは多くプログラミングコードを学習データに取り組んでいます。例えば、Bloom 176Bモデルでは、30%の英語文書に対し、13%のプログラミングコードが学習データに含まれています。本発表では、コード生成のために工夫したCodex, CogdeGen等の最近のモデルを紹介し、意味解析と自然文による自動コード補完における実応用例を紹介します。最後に、将来これらのモデルによって実現でき得る応用と、製品化する際に生じるグランディング問題やソーシャルリスク等について議論します。

高道慎之介（東京大学）

深層学習による音声合成の発展とその先

機械学習に基づく音声情報処理は，1980年代に始まり今なお進化し続けている．音声情報処理の一つである音声合成においては，基本タスク（例えば，使用人口の多い言語の読み上げ）の性能が人間に匹敵し，この数年で多くの音声関連サービスがローンチされた．この進化は，機械学習（系列変換モデル，深層生成モデル，自己教師あり学習），音声信号処理（微分可能な信号処理），および音声データベースの発展と整備に支えられてきた．本講演ではまず，機械学習に基づく音声合成の変遷に触れ，研究分野のこれまでの流れを整理する．次に，音声合成とその関連分野が次にどこに向かうのかについて，研究分野全体の潮流と講演者の私見を述べる．

大谷まゆ（サイバーエージェント）

広告を例とした深層生成モデルの応用と課題

深層生成モデルによる高品質なメディア生成が注目を集めるようになり、それらの技術を実世界のデザインへ活用する動きが急速に進んでいる。特に広告ドメインでは、大量のデザイン案を効率的に生成するだけでなく、膨大なデータから広告効果を予測し、より良い表現を模索することを可能とする新しいツールとなることが期待されている。本公演では広告制作を取り巻く要素技術として、我々が注目しているバナーデザイン生成や宣伝コピーの生成に通じる応用研究を紹介する。また生成されたテキストや画像を活用した広告制作事例やその課題について議論する。

力学系の作用素論的解析とその広がり 2022/11/21（月） 9:30–11:30

オーガナイザ：河原 吉伸（大阪大学）

河原 吉伸（大阪大学）

力学系の作用素論的解析と機械学習 〜 最近の話題を中心に

複雑な動力学の解析・予測は，多くの科学・工学分野において重要となる課題であり，これまで機械学習分野においても盛んに研究されてきた．近年，力学系の作用素表現に基づく解析 (作用素論的解析)，特にクープマン作用素を用いた解析が，その汎用性や物理的概念とのつながり，また当初流体分野で提案されたデータ解析手法である動的モード分解などの関連する推定法の発展もあり，多くの分野で注目を集めている．また作用素論的解析は，機械学習において議論されてきた手法との数理的親和性も高く，機械学習分野においてもその原理的応用に関する論文が散見されるようになっている．本講演では，力学系の作用素論的解析の背景やデータ解析の観点からの基礎的事項について概観するとともに，近年の機械学習分野における研究についていくつか主要なものを取り上げて紹介する．そして，著者なりの本領域における課題や展望についても議論する．

中尾 裕也（東京工業大学）

大自由度非線形力学系のKoopman作用素論に基づく次元縮約

実世界には流体現象に代表される大自由度非線形力学系として記述される多くの物理現象がある。一般に散逸のある力学系の状態変数は、状態空間が高次元であっても低次元の集合に漸近するため、そのような低次元集合上でのダイナミクスを少数個の良い変数で記述することができれば、系の解析や制御に有用である。近年注目されているKoopman作用素論は、系の観測量の時間発展に着目することによって、系の線形化と次元削減を系統的に行うことを可能とする。本発表では、Koopman作用素論による手法と従来の力学系の次元削減法、特に非線形振動の位相縮約法との関係を述べ、偏微分方程式系やネットワーク結合系の非線形ダイナミクスに対する次元縮約の例を紹介する。

橋本 悠香（NTT）

C*環の作用素論的データ解析への応用に向けて

作用素論的データ解析では，力学系によって特徴づけられるKoopman作用素やPerron-Frobenius作用素などの，無限次元空間上の線形作用素を用いて時系列データ解析を行う．C*環は複素数の空間の一般化であり，連続関数の空間や有界線形作用素全体の空間などを典型的な例として含む．発表者は近年C*環のカーネル法やニューラルネットワークへの応用について取り組んでおり，関数データの解析やニューラルネットワークの連続化に対する有効性を調べてきた．本発表では，これらのC*環の応用を紹介した上で，その作用素論的データ解析への応用について考える．作用素論的データ解析の課題の一つとして，作用素が無限次元で定義されていることに起因する解析の難しさの解決がある．C*環がこの問題を解決する一つの道具となり得ることを示し，このような方向性での今後の研究の発展に関して議論する．

微分方程式等で記述される力学系と機械学習 2022/11/22（火） 10:30–12:30

オーガナイザ：松原 崇（大阪大学）

武石 直也（西スイス応用科学大学）

力学系の機械学習における事前知識活用の方法

力学系の機械学習は、データをもとにした現象の予測・制御・解析等に有用である。その際（力学系に限らずとも同様だが）、対象の力学系に関する事前知識を帰納バイアスとして活用すれば予測性能や解釈性などを改善できると期待される。力学系に関する事前知識は、定性的な記述から微分方程式とその数値解法にいたるまで幅広い抽象度・形式で与えられ、それらをどのように機械学習で活用できるかは必ずしも明らかではない。本発表では、力学系の機械学習において様々な事前知識を活用する方法について、主に機械学習の方法論の観点から最近の動向を紹介する。また、関連する話題として、力学系に限らず数理モデル等のドメイン事前知識を機械学習で活用する方法についても触れる。

堀江正信（科学計算総合研究所・筑波大学）

物理現象の性質を反映させたグラフニューラルネットワークによる偏微分方程式の学習

物理現象を記述する偏微分方程式の学習・予測を機械学習で行うことにより、既存の数値解析と比較して計算速度・予測精度が向上することが期待されている。しかし、単純に機械学習を適用しただけでは物理現象の予測モデルとして十分でないことが多い。実用的な問題では、解析対象の形状が複雑かつ系の取りうる状態が多様であるため、これらに対応できる機械学習モデルの選択および開発が不可欠である。形状の複雑性については、形状をメッシュと呼ばれる多面体の集まりで表現し、それをグラフとみなした上でグラフニューラルネットワークを用いることが主流となりつつある。状態の多様性については、物理現象の性質、例えば回転や平行移動といった変換に対する物理現象の対称性を inductive bias として機械学習モデルに導入することが重要である。そこで、本発表では、講演者らの主要な研究成果である、回転・平行移動・鏡映に対して対称性を担保するグラフニューラルネットワーク[Horie et al. ICLR. 2021]およびそれをナビエ・ストークス方程式の学習に適用した研究[Horie and Mitsume. NeurIPS. 2022]を中心に、周辺分野の近年の発展について議論する。

谷口 隆晴（神戸大学）

幾何学的力学と深層学習の連携による物理現象の構造保存型モデリング

2019年に提案されたハミルトニアンニューラルネットワークをきっかけに，近年，深層学習によって物理現象をモデル化する研究が盛んに行われている．物理現象ではエネルギー保存則などの様々な物理法則が成立することが知られているが，このような研究では，保存則などの物理法則を守るようにモデルが設計されており，それによって，長期的な予測精度が向上することが報告されている．一方，20世紀半ばより，古典力学を，シンプレクティック幾何学などの幾何学に基づいて記述しなおす研究が進められている．そのような研究は幾何学的力学と呼ばれ，力学の様々な性質を，座標系に依存しない内在的な表現で調べることによって，より深く理解することが目標とされる．このような理論は，既に，物理シミュレーション手法の設計に応用されているが，本講演では，この理論の，深層物理モデルへの応用について紹介する．