勉強会で使用されたサーベイ・発表資料を公開しています。
日本語LLMまとめも公開しています。
2025-2-25
- LLM-jp 状況報告（黒橋）＜口頭報告のみ＞
- 実環境インタラクションWG（尾形）[資料]
- 安全性WG（関根）[資料] AISIの紹介（瀬光孝之/Japan AI Safety Institute) [資料]
- モデル構築WG（鈴木）[資料]
- マルチモーダルWG（岡崎, 前田）[資料]
- コーパス構築WG（河原）[資料]
- 評価・チューニングWG（宮尾）[資料]
- DeepSeek R1 671Bで198トークン/秒を実現するデータフローアーキテクチャについて(林 憲一/SambaNova Systems) [資料]
- PLaMo 2トークナイザについて（今城 健太郎/Preferred Networks) [資料]
- LLM-jp-3の事前学習過程における下流タスク性能の分析（小田, 西田） [資料]
2025-1-14
- LLM-jp 状況報告（黒橋）[資料]
- モデル構築WG（鈴木）[資料]
- マルチモーダルWG（岡崎）[資料]
- 評価・チューニングWG（宮尾）[資料]
- 実環境インタラクションWG（尾形）[資料]
- コーパス構築WG（河原）[資料]
- 「循環器内科での大規模マルチモーダルモデル開発（心電図・レントゲン）」(高橋淳一郎/東京大学)[資料]
- 「レントゲン読影レポート生成モデルの開発」(馬場凱渡/東京大学)[資料]
- 「高品質なLLMデータセットを開発するための取り組み」（寺澤友治朗/株式会社APTO)[資料]
- 「合成データを用いた LLM の学習」(清丸）[資料]
2024-11-26
- LLM-jp 状況報告（黒橋）＜口頭報告のみ＞
- 大規模言語モデルTanukiの開発と評価 (畠山 歓/東京科学大学 物質理工学院 材料系) [資料]
- 国際会議論文紹介（EMNLP2024）高木 [資料] 児玉 [資料] Liu [資料]
- 安全性WG（関根）[資料]
- コーパス構築WG（河原）[資料]
- 評価・チューニングWG（宮尾）[資料]
- 実環境インタラクションWG（尾形）[資料]
- モデル構築WG（鈴木）[資料]
- マルチモーダルWG（岡崎）[資料]
- lm-jp-3-172bの学習状況についてのディスカッション（小田）[資料]
2024-10-29
- LLM-jp 状況報告（黒橋）
- BritLLM: Organising, producing, and publishing the first British Large Language Model (Pontus Stenetorp/NII)
- PLaMo100Bの事前及び事後学習(三上裕明、中郷孝祐/株式会社Preferred Elements)[資料]
- マルチモーダルWG（岡崎、笹川慶人、前田航希、杉浦一瑳）[資料]
- モデル構築WG（鈴木）[資料]
- コーパス構築WG（河原）[資料]
- 評価・チューニングWG（宮尾）[資料]
- 安全性WG（関根）[資料]
- 実環境インタラクションWG (尾形）[資料]
2024-08-27
- Web上の記事クローリングと著作権侵害（柿沼太一/STORIA法律事務所）
- Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?（Qianying Liu/NII）
- 実環境インタラクションWG（尾形）
- コーパス構築WG（河原）
- 評価・チューニングWG（宮尾）
- マルチモーダルWG（岡崎）
- 安全性WG（関根）
- モデル構築WG（鈴木）
2024-07-30
- LLM-jp 状況報告（黒橋）
- オープンソースAIとは何か?「オープンソースAIの定義」ドラフト版の解説（佐渡秀治/LY Corporation）
- Hallucination対策に関する最近の動向（蔦/NII）
- コーパス構築WG（河原）
- 安全性WG（関根）
- 評価・チューニングWG（宮尾）
- マルチモーダルWG（岡崎）
- さくらクラスタの準備状況の報告（空閑/東大)
- モデル構築WG（鈴木）
2024-06-25
- LLM-jp 状況報告（黒橋）
- 大規模言語モデルによる文書画像理解の最新動向（NTT田中)
- Nejumi Leaderboard3の開発（W&B鎌田)
- Sarashina: SB Intuitionsの日本語事前学習モデルの紹介（SB Intuitions高瀬）
- Mechanistic Interpretabilityについて: Scaling Monosemanticity(Anthropic, 2024)の紹介（高木）
- コーパス構築WG（河原）
- モデル構築WG（鈴木)
- 評価・チューニングWG（宮尾）
- 安全性WG（関根）
- マルチモーダルWG（岡崎）
2024-05-28
- LLM-jp 状況報告（黒橋）
- 1000億パラメータ規模の日本語LLMの開発（stockmark近江）
- Databricksにおける生成AIの取り組み（Databricks弥生）
- 他言語モデルの作成方法について（Lightblue Peter）
- コーパス構築WG（河原）
- モデル構築WG（鈴木）
- 評価・チューニングWG（宮尾）
- 安全性WG（関根）
- マルチモーダルWG（岡崎）
2024-03-26
- LLM-jp 状況報告（黒橋）
- ABEJAにおけるGeniacプログラムの取り組み（服部）
- Prompt Tuning から Fine Tuning への移行時期推定（久保）
- ichikara-instructionが生むハルシネーションを減らす実験、 LessNE実験（理研 関根）
- 評価・チューニングWG（宮尾）
- コーパス構築WG（河原）
- 安全性WG（関根）
- モデル構築WG（鈴木）
2024-1-22
- 観測データからのLLMの学習及び自己改善ループについて、因果推論手法との接地（京大 三内）
- ichikara-instructionを使ったLLMの人間による評価とGPTによる評価の比較分析 （理研 関根）
- Kotoba Tech.の状態空間モデルと音声能力開発 （Kotoba Tech. 小島）
- 大規模言語モデルSwallow （東工大 岡崎、水木）
- 安全性WG （関根）
- コーパス構築WG （河原）
- 評価・チューニングWG （宮尾）
- モデル構築WG （鈴木）
2023-11-29
- LLM-jp 状況報告（黒橋）
- LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美）
- ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク 近江）
- 医療における大規模言語モデルの可能性と進歩（東大 小寺）
- コーパス構築WG（河原）
- モデル構築WG（鈴木）
- 評価・チューニングWG（宮尾）
- 安全性WG（関根）
2023-10-18
- Heronを使ったV&Lの学習と応用（Turing 井ノ上）
- Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」について（ELYZA 中村）
- 大規模言語モデル PLaMo-13Bの事前学習（Preferred Networks 三上）
- 大規模言語モデルの実ロボット応用例（東大 河原塚）
2023-09-04
- Model imitationによるInstruction tuningのサーベイ（水木）
- PEFT: LazyLoRA （Wu）
- Stability AI Japanにおける大規模言語モデルの研究開発（Lee）
- 生成AI構築と著作権（柿沼）
- 日英2ヶ国語対応の大規模言語モデル “Weblab-10B” の構築（小島）
2023-07-20
- ACL2023 参加報告 (児玉) (山田) (植田) (出口)
- LLM周辺技術（2023年5月〜6月）（鶴岡）
2023-06-19
- サイバーエージェント基盤モデルプロジェクトについて（石上・佐々木）
- 日本語T5と学習におけるTips（西鳥羽）
- ABCI グランドチャレンジ参加報告（坂口）
- NICTでの大規模言語モデルの研究開発（鳥澤）
- NII からの話題提供：ドメイン適応（相澤）