第55回 IBISML研究会

以下のスケジュールにて、電子情報通信学会 情報論的学習理論と機械学習 (IBISML) 研究会 (第55回) を開催します。今回はテーマを「生成AI、機械学習一般」とし、生成AI、機械学習の理論から応用までの研究に関する一般発表を広く募集します。是非ご発表をご検討ください。

開催概要

  • 日時：2024/12/20 (金)9:00 〜 21 (土)17:20
  • 場所：北海道大学大学院環境科学院棟講義室１
    　　（住所 〒060−0810 北海道札幌市北区北10条西5丁目）
  • 開催形態：ハイブリッド。聴講のみオンライン可。
  • 問合せ先：中村篤祥（北海道大学）atsu at ist.hokudai.ac.jp
  • 担当幹事：石田隆 (理化学研究所・東京大学), 烏山昌幸 (名古屋工業大学), 中村篤祥 (北海道大学), 本多淳也 (京都大学), 前田新一 (Preferred Networks)

プログラム

企画セッション（招待講演）

生成AIとその活用(1)  12/20 14:30-16:30
オーガナイザー：前田 新一(株式会社Preferred Networks)

  • タイトル： AI・自然言語処理、激動の五年間 －大規模言語モデルの現在、そして未来－
    講演者：笠井 淳吾 (株式会社Kotoba Technologies Japan)
    概要：私がアメリカの博士課程に在籍した期間は、まさに激動の５年間でした。ディープラーニングがNLPに与えた影響も束の間、BERTに始まり、GPT-2・GPT-3を経て、ChatGPT、大規模言語モデルの時代になりました。一体我々は何を学んだのでしょうか？今回は、弊社Kotoba Technologiesの音声分野での取り組みにも触れながら、私たちが考える自然言語処理の未来と希望を語れればと思います。
  • タイトル： PLaMo-100B-Instruct – 国産大規模言語モデル構築における事後学習の取り組み
    講演者：中郷 孝祐 (株式会社Preferred Elements)
    概要：現在、世界中で大規模言語モデル(LLM)の開発が盛んに進められているが、日本固有の文化・法律・倫理観などを理解したLLMの開発は、日本の産業力の強化および文化資産の維持にとって不可欠である。Preferred Networks (PFN)では、1000億パラメータを持つLLMであるPLaMo-100Bをフルスクラッチで学習した。本発表ではその事後学習フェーズにおける学習パイプライン構築について、および特に注力をしたデータ合成の取り組みについて紹介する。
  • タイトル： Finetuning or RAG? 医療ドメイン特化 LLM 構築に向けて
    講演者：岩澤 諄一郎 (株式会社Preferred Networks)
    概要：大規模言語モデル (LLM) は医療分野において診断補助・ナレッジ抽出など今後大きな役割を果たすことが期待されている。一方、医療ドメインで既存LLM を活用するにあたって、日本語医療の知識不足などさまざまな課題も見えてきている。本講演では、医療ドメインでLLM を使う際の課題に触れながら、継続事前学習・RAGを用いた医療ドメイン特化の取り組みについて紹介する。

生成AIとその活用(2)  12/21 09:00-11:00
オーガナイザー：前田 新一(株式会社Preferred Networks)

  • タイトル： 大規模言語モデルTanukiの対話・タスク遂行能力を向上させるための合成データ生成と活用
    講演者：畠山 歓 (東京科学大学)
    概要：大規模言語モデルのフルスクラッチ開発において大きな課題となったのが、ユーザーとの円滑な対話や、指示に従ってタスクを遂行する能力の向上であった。Common Crawlに代表されるインターネット系のコーパスには、当該タスクを習得するための十分量のテキストが含まれていないことが示唆された。そこでTanukiの開発においては、人工的に合成した数百億トークン以上のデータを事前学習させるアプローチを採用した。当日は詳細について紹介する。
  • タイトル： クイズが解ければ電話が取れる？　〜コールセンター業務の実際〜
    講演者：金本 勝吉 (リンカーズ株式会社)
    概要：質問応答は自然言語処理の分野で長く研究されてきたタスクです。本発表ではクイズを用いた日本語質問応答のコンペティション「AI王」に過去4回出場し、QuizKnockさんと早押しクイズで対戦するに至ったシステムについて、大規模言語モデルでもよく利用される検索を併用する構成を交えてご紹介します。また、この領域に着目した動機であるコールセンター業務について、実際にその現場を見てきた体験に基づき質問応答タスクと実務とのギャップや、実践で技術を利用する難しさについてもお話しします。
  • タイトル： 金融分野における大規模言語モデルの応用と特化型モデルの構築
    講演者：平野 正徳 (株式会社Preferred Networks)
    概要：大規模言語モデル(LLM)の登場による影響はドメイン知識を要する様々な分野にも波及している。本発表では、特に金融分野において、LLMの応用可能性や問題点に加え、金融に特化した特化型LLMの構築について紹介する。特に特化型LLMの構築においては、コーパスの作成からモデルの学習、LLMの評価のどのステップも非常に重要である。そこで、本発表では、金融に特化したLLMのベンチマークの構築や金融特化型モデルの学習を通じて得られた知見も含め紹介する。

参加申込

発表申込

  • 【発表申込締切】2024/10/25 (金)
  • 【原稿提出締切】2024/11/28 (木)
  • 申し込みは 「電子情報通信学会 研究会発表申込システム」 からお願いします。
  • 執筆・投稿の詳細は「研究会資料（技術研究報告）」のページを参照して下さい。