資料

勉強会で使用されたサーベイ・発表資料を公開しています。

日本語LLMまとめも公開しています。

• 2024-01-22
  • 観測データからのLLMの学習及び自己改善ループについて、因果推論手法との接地（京大 三内）
  • ichikara-instructionを使ったLLMの人間による評価とGPTによる評価の比較分析 （理研 関根）
  • Kotoba Tech.の状態空間モデルと音声能力開発 （Kotoba Tech. 小島）
  • 大規模言語モデルSwallow （東工大 岡崎、水木）
  • 安全性WG （関根）
  • コーパス構築WG （河原）
  • 評価・チューニングWG （宮尾）
  • モデル構築WG （鈴木）
• 2023-11-29
  • LLM-jp 状況報告（黒橋）
  • LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美）
  • ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク 近江）
  • 医療における大規模言語モデルの可能性と進歩（東大 小寺）
  • コーパス構築WG（河原）
  • モデル構築WG（鈴木）
  • 評価・チューニングWG（宮尾）
  • 安全性WG（関根）
• 2023-10-18
  • Heronを使ったV&Lの学習と応用（Turing 井ノ上）
  • Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」について（ELYZA 中村）
  • 大規模言語モデル PLaMo-13Bの事前学習（Preferred Networks 三上）
  • 大規模言語モデルの実ロボット応用例（東大 河原塚）
• 2023-09-04
  • Model imitationによるInstruction tuningのサーベイ（水木）
  • PEFT: LazyLoRA （Wu）
  • Stability AI Japanにおける大規模言語モデルの研究開発（Lee）
  • 生成AI構築と著作権（柿沼）
  • 日英2ヶ国語対応の大規模言語モデル “Weblab-10B” の構築（小島）
• 2023-07-20
  • ACL2023 参加報告 (児玉) (山田) (植田) (出口)
  • LLM周辺技術（2023年5月〜6月）（鶴岡）
• 2023-06-19
  • サイバーエージェント基盤モデルプロジェクトについて（石上・佐々木）
  • 日本語T5と学習におけるTips（西鳥羽）
  • ABCI グランドチャレンジ参加報告（坂口）
  • NICTでの大規模言語モデルの研究開発（鳥澤）
  • NII からの話題提供：ドメイン適応（相澤）
• 2023-05-15
  • PaLM2 Technical Report 論文紹介（岡崎）
  • 日本語の基盤モデルと言語理解ベンチマークの共進化に向けて（河原）
  • LLM サーベイ（河原・菅原・栗田）