須山 敦志（アクセンチュア）

ベイズ深層学習入門

近年データ解析の世界は大きな転換期を迎えており、特に2006年に発表された論文から一大ブームを巻き起こした深層学習は、大規模なモデルを大量データによって学習させることによって高精度な統計的予測を可能にした。一方で、大量データを取り扱う領域において実用面での要求も多様化しており、深層学習においてはモデルが出力する結果の解釈性や、予測の信頼性に関して課題があるとされている。また、単純な教師あり学習による回帰や分類だけではなく、データの自動生成など応用範囲も複雑かつ多岐にわたってきている。このような大量データ解析におけるニーズの多様化・用途の深化に対応するために、理論面と応用面の双方で実績の高いベイズ統計の考え方をベースに深層学習を解釈・発展させようという試みが広がっている。本チュートリアルでは、ニューラルネットワークやオートエンコーダといったモデルをベイズ的に取り扱うための方法や、それによって得られる利点を解説する。さらに、深層学習の研究で発見された効率的な学習方法に関してベイズ統計による解釈を試みる。

宮武 勇登（大阪大学 サイバーメディアセンター）

常微分方程式の数値解析とデータサイエンス

近年、情報学諸分野において、微分方程式の数値計算の重要性が高まっている。その背景には、物理学などを背景に持つモデルが情報学においても活用されていることにとどまらず、情報学、特にデータサイエンスに特有の新しいタイプの微分方程式も続々と登場していることがある。数値解析学においては、単に与えられた微分方程式に対して従来の視点でより良いアルゴリズムを設計したり、これまで物理学などを背景に持つ微分方程式に対して発展してきた研究を情報学へ橋渡ししたりするだけでなく、情報学に特有の設定で新たなアルゴリズムの開発や解析が進められている。一例を挙げれば、ODE-Netでは学習の際に随伴方程式と呼ばれる微分方程式を数値計算する必要があるが、随伴方程式のみを切り出し高精度な計算を試みることは実は適切ではなく、ではどのように計算すればよいか、という議論を行う必要がある。本チュートリアルでは、「誤差逆伝播法」と「ニュートンによるケプラーの第二法則の証明」の関係からスタートし、連続最適化・ODE-Net・動的低ランク近似といったテーマをキーワードに、情報学、特にデータサイエンスにおける常微分方程式の数値解析基盤について概観したい。

米谷 竜（OMRON SINIC X）

Federated Learningにおける典型的な課題と最近の展開

Federated Learning（連合学習）は、「サーバと接続された多数のクライアントが個別に学習データを保持している」という状況を想定した分散深層学習の枠組みである。「クライアントから直接データを集めることなく大規模な深層学習が可能である」という分かりやすい（が誤解も生みやすい）利点と、その背後にある学習アルゴリズムの簡潔さが相まって、2017年頃の黎明期から現在に至るまで、基礎と応用の両面で活発に研究が進められている。とりわけ基礎方面では、「学習データの分布がクライアントごとに未知かつ異なる場合にどう対応するか」「サーバ・クライアント間の通信をどのように効率化、安全化するか」といった典型的な課題に加えて、最近では「クライアントごとに計算・通信資源が異なる状況に対応できるか」「学習結果を各クライアント向けに最適化できるか」「教師無し学習や半教師有り学習、強化学習など様々な学習タスクに応用できるか」といった発展的な課題が注目を集めている。本チュートリアルではFederated Learningに関するこれらの課題を一望するとともに、それぞれに対する有名なアプローチを紹介する。

宮口 航平（IBM 東京基礎研究所）

汎化誤差解析から始める統計的学習理論入門

統計的学習理論とは機械学習アルゴリズムの統計的振る舞いを理解し裏付けを与えるための理論である．なかでも汎化誤差解析は汎化，すなわち有限個のデータから法則を抽出し未知のデータに当てはめるという，機械学習の最も基礎的な側面を取り扱うための道具であるが，それ自身今なお活発な研究が続く理論分野でもある．本チュートリアルでは，統計的学習理論の基本的な考え方と定式化について紹介したのち，「ラデマッハ複雑度を用いた上界」と「PAC-Bayes理論」という二つの代表的な汎化誤差解析の方法論を中心に，よく使われる汎化誤差バウンドとそれらの使い分けについて体系的に紹介する．また，深層学習の成功をきっかけに近年発展しつつある新しい汎化誤差解析の方法論についても紹介する．