資料

勉強会で使用されたサーベイ・発表資料を公開しています。

日本語LLMまとめも公開しています。

• 2025-2-25
  • LLM-jp 状況報告（黒橋）＜口頭報告のみ＞
  • 実環境インタラクションWG（尾形）[資料]
  • 安全性WG（関根）[資料] AISIの紹介（瀬光孝之/Japan AI Safety Institute) [資料]
  • モデル構築WG（鈴木）[資料]
  • マルチモーダルWG（岡崎, 前田）[資料]
  • コーパス構築WG（河原）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • DeepSeek R1 671Bで198トークン/秒を実現するデータフローアーキテクチャについて(林 憲一/SambaNova Systems) [資料]
  • PLaMo 2トークナイザについて（今城 健太郎/Preferred Networks) [資料]
  • LLM-jp-3の事前学習過程における下流タスク性能の分析（小田, 西田） [資料]
• 2025-1-14
  • LLM-jp 状況報告（黒橋）[資料]
  • モデル構築WG（鈴木）[資料]
  • マルチモーダルWG（岡崎）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • 実環境インタラクションWG（尾形）[資料]
  • コーパス構築WG（河原）[資料]
  • 「循環器内科での大規模マルチモーダルモデル開発（心電図・レントゲン）」(高橋淳一郎/東京大学)[資料]
  • 「レントゲン読影レポート生成モデルの開発」(馬場凱渡/東京大学)[資料]
  • 「高品質なLLMデータセットを開発するための取り組み」（寺澤友治朗/株式会社APTO)[資料]
  • 「合成データを用いた LLM の学習」(清丸）[資料]
• 2024-11-26
  • LLM-jp 状況報告（黒橋）＜口頭報告のみ＞
  • 大規模言語モデルTanukiの開発と評価 (畠山 歓/東京科学大学 物質理工学院 材料系) [資料]
  • 国際会議論文紹介（EMNLP2024）高木 [資料] 児玉 [資料] Liu [資料]
  • 安全性WG（関根）[資料]
  • コーパス構築WG（河原）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • 実環境インタラクションWG（尾形）[資料]
  • モデル構築WG（鈴木）[資料]
  • マルチモーダルWG（岡崎）[資料]
  • lm-jp-3-172bの学習状況についてのディスカッション（小田）[資料]
• 2024-10-29
  • LLM-jp 状況報告（黒橋）
  • BritLLM: Organising, producing, and publishing the first British Large Language Model (Pontus Stenetorp/NII)
  • PLaMo100Bの事前及び事後学習(三上裕明、中郷孝祐/株式会社Preferred Elements)[資料]
  • マルチモーダルWG（岡崎、笹川慶人、前田航希、杉浦一瑳）[資料]
  • モデル構築WG（鈴木）[資料]
  • コーパス構築WG（河原）[資料]
  • 評価・チューニングWG（宮尾）[資料]
  • 安全性WG（関根）[資料]
  • 実環境インタラクションWG (尾形）[資料]
• 2024-08-27
  • Web上の記事クローリングと著作権侵害（柿沼太一/STORIA法律事務所）
  • Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?（Qianying Liu/NII）
  • 実環境インタラクションWG（尾形）
  • コーパス構築WG（河原）
  • 評価・チューニングWG（宮尾）
  • マルチモーダルWG（岡崎）
  • 安全性WG（関根）
  • モデル構築WG（鈴木）
• 2024-07-30
  • LLM-jp 状況報告（黒橋）
  • オープンソースAIとは何か?「オープンソースAIの定義」ドラフト版の解説（佐渡秀治/LY Corporation）
  • Hallucination対策に関する最近の動向（蔦/NII）
  • コーパス構築WG（河原）
  • 安全性WG（関根）
  • 評価・チューニングWG（宮尾）
  • マルチモーダルWG（岡崎）
  • さくらクラスタの準備状況の報告（空閑/東大)
  • モデル構築WG（鈴木）
• 2024-06-25
  • LLM-jp 状況報告（黒橋）
  • 大規模言語モデルによる文書画像理解の最新動向（NTT田中)
  • Nejumi Leaderboard3の開発（W&B鎌田)
  • Sarashina: SB Intuitionsの日本語事前学習モデルの紹介（SB Intuitions高瀬）
  • Mechanistic Interpretabilityについて: Scaling Monosemanticity(Anthropic, 2024)の紹介（高木）
  • コーパス構築WG（河原）
  • モデル構築WG（鈴木)
  • 評価・チューニングWG（宮尾）
  • 安全性WG（関根）
  • マルチモーダルWG（岡崎）
• 2024-05-28
  • LLM-jp 状況報告（黒橋）
  • 1000億パラメータ規模の日本語LLMの開発（stockmark近江）
  • Databricksにおける生成AIの取り組み（Databricks弥生）
  • 他言語モデルの作成方法について（Lightblue Peter）　
  • コーパス構築WG（河原）
  • モデル構築WG（鈴木）
  • 評価・チューニングWG（宮尾）
  • 安全性WG（関根）
  • マルチモーダルWG（岡崎）
• 2024-03-26
  • LLM-jp 状況報告（黒橋）
  • ABEJAにおけるGeniacプログラムの取り組み（服部）
  • Prompt Tuning から Fine Tuning への移行時期推定（久保）
  • ichikara-instructionが生むハルシネーションを減らす実験、　LessNE実験（理研 関根）
  • 評価・チューニングWG（宮尾）
  • コーパス構築WG（河原）
  • 安全性WG（関根）
  • モデル構築WG（鈴木）
• 2024-1-22
  • 観測データからのLLMの学習及び自己改善ループについて、因果推論手法との接地（京大 三内）
  • ichikara-instructionを使ったLLMの人間による評価とGPTによる評価の比較分析 （理研 関根）
  • Kotoba Tech.の状態空間モデルと音声能力開発 （Kotoba Tech. 小島）
  • 大規模言語モデルSwallow （東工大 岡崎、水木）
  • 安全性WG （関根）
  • コーパス構築WG （河原）
  • 評価・チューニングWG （宮尾）
  • モデル構築WG （鈴木）
• 2023-11-29
  • LLM-jp 状況報告（黒橋）
  • LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美）
  • ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク 近江）
  • 医療における大規模言語モデルの可能性と進歩（東大 小寺）
  • コーパス構築WG（河原）
  • モデル構築WG（鈴木）
  • 評価・チューニングWG（宮尾）
  • 安全性WG（関根）
• 2023-10-18
  • Heronを使ったV&Lの学習と応用（Turing 井ノ上）
  • Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」について（ELYZA 中村）
  • 大規模言語モデル PLaMo-13Bの事前学習（Preferred Networks 三上）
  • 大規模言語モデルの実ロボット応用例（東大 河原塚）
• 2023-09-04
  • Model imitationによるInstruction tuningのサーベイ（水木）
  • PEFT: LazyLoRA （Wu）
  • Stability AI Japanにおける大規模言語モデルの研究開発（Lee）
  • 生成AI構築と著作権（柿沼）
  • 日英2ヶ国語対応の大規模言語モデル “Weblab-10B” の構築（小島）
• 2023-07-20
  • ACL2023 参加報告 (児玉) (山田) (植田) (出口)
  • LLM周辺技術（2023年5月〜6月）（鶴岡）
• 2023-06-19
  • サイバーエージェント基盤モデルプロジェクトについて（石上・佐々木）
  • 日本語T5と学習におけるTips（西鳥羽）
  • ABCI グランドチャレンジ参加報告（坂口）
  • NICTでの大規模言語モデルの研究開発（鳥澤）
  • NII からの話題提供：ドメイン適応（相澤）
• 2023-05-15
  • PaLM2 Technical Report 論文紹介（岡崎）
  • 日本語の基盤モデルと言語理解ベンチマークの共進化に向けて（河原）
  • LLM サーベイ（河原・菅原・栗田）