企画セッション1： 機械学習と離散数学 （ 10:10 – 12:10 ）
企画担当：杉山麿人（NII）

グラフ文法を用いたグラフ生成　スライド

講演者１： 梶野洸（IBM）

グラフ文法とは形式文法の枠組みを文からグラフへ拡張したものである。その一例のハイパーエッジ置換文法は、非終端記号に相当するハイパーエッジをハイパーグラフに置き換える手続きを繰り返すことでハイパーグラフを生成する。このような文法を用いると、ハイパーグラフの生成を構文木の生成というより簡単な問題へ帰着できるため、グラフ生成への応用が期待できる。本講演ではまず文脈自由文法やハイパーエッジ置換文法の解説を行った後、データから文法を自動獲得する手法を解説する。さらにその応用例として化合物の構造式を表すための文法と化合物の生成モデルについて紹介する。

回帰による再帰型ニューラルネットワークからの重み付きオートマトンの抽出 スライド

講演者２： 関山太朗（NII）

本講演では実数値を出力とする再帰型ニューラルネットワーク(recurrent neural network; RNN)から重み付き有限オートマトン(weighted finite automaton; WFA)を抽出する手法について紹介する．本手法ではWFA抽出のためにBalleとMohriによって提案されたWFA学習アルゴリズムを用いる．BalleらのアルゴリズムをRNNに適用するためにはWFAとRNNの等価性判定と(等価でない場合，その証拠を提示する)反例探索の仕組みが必要となる．一般にRNNはWFAより表現力の高いモデルであるが，本手法ではRNNとWFAの状態空間を回帰によって対応付けることで等価性判定および反例探索の近似手続きを与える．本講演ではさらに提案手法によって抽出されたWFAの性能およびRNNの解釈・圧縮への応用可能性についても紹介する．

隣接代数と双対平坦構造を用いた学習 　スライド

講演者３： 杉山麿人（NII）

双対平坦構造を持つ統計多様体は，指数型分布族をはじめとして，機械学習の様々なモデルで現れる情報幾何的な空間である．本講演では，順序集合論における隣接代数と双対平坦構造が密接な関係を持つことを示し，その性質を利用した機械学習を紹介する．階層的な確率モデルの柔軟な設計が可能となるため，Gibbs分布の学習やテンソル分解，信号源分離など，様々なタスクへ応用することができる．

招待講演1：Data-Efficient Reinforcement Learning of Mechanical Control Systems
Marc Deisenroth（Imperial College London）（ 13:25 – 14:25 ）

In many high-impact areas of machine learning, we face the challenge of data-efficient learning, i.e., learning from sparse data. This includes healthcare, climate science, and autonomous robots. There are many approaches toward learning from sparse data. In this talk, I will discuss a few of them in the context of reinforcement learning. First, I will motivate probabilistic, model-based approaches to reinforcement learning, which allow us to reduce the effect of model errors. Second, I will discuss a meta-learning approach that allows us to generalize knowledge across tasks to enable few-shot learning.

Key references

• Marc P. Deisenroth, Dieter Fox, Carl E. Rasmussen, Gaussian Processes for Data-Efficient Learning in Robotics and Control, IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 37, pp. 408–423, 2015
• Steindór Sæmundsson, Katja Hofmann, Marc P. Deisenroth, Meta Reinforcement Learning with Latent Variable Gaussian Processes, Proceedings of the International the Conference on Uncertainty in Artificial Intelligence, 2018

Bio

Marc Deisenroth is the DeepMind Chair in Artificial Intelligence at University College London. He also holds a visiting faculty position at the University of Johannesburg. From 2014 to 2019, Marc was a faculty member in the Department of Computing, Imperial College London. Since September 2016, Marc has also been an advisor to PROWLER.io, a Cambridge-based startup. Marc’s research interests center around data-efficient machine learning, probabilistic modeling and autonomous decision making. Marc was Program Chair of EWRL 2012, Workshops Chair of RSS 2013 and received Best Paper Awards at ICRA 2014 and ICCAS 2016. In 2019, Marc co-organized the Machine Learning Summer School in London with Arthur Gretton. In 2018, Marc has been awarded The President’s Award for Outstanding Early Career Researcher at Imperial College. He is a recipient of a Google Faculty Research Award and a Microsoft PhD Grant. In 2018, Marc spent four months at the African Institute for Mathematical Sciences (Rwanda), where he taught a course on Foundations of Machine Learning as part of the African Masters in Machine Intelligence. He is co-author of the book Mathematics for Machine Learning, published by Cambridge University Press.