LLM-jpについて

HOME - LLM-jpについて

LLM-jpについて

LLM-jpとは

LLM-jpは、国立情報学研究所の大規模言語モデル研究開発センターが主宰する研究者のコミュニティであり、日本発の大規模言語モデル開発プロジェクトの名称です。

大学や研究機関、企業など、所属を越えて研究者・開発者・実務家が集まり、オープンな大規模言語モデルの研究開発と、その知見の共有に取り組んでいます。

主な活動

Slackでの情報交換・質問
日々の議論や情報共有は、主にSlackで行っています。研究開発の話題や最新情報を共有し、分からないことを質問したり、参加者同士で意見を交わしたりしています。

ワーキンググループ（WG）での研究活動
研究テーマごとにWGを設け、議論や研究開発を進めています。活動には広く参加できるもののほか、研究発表や継続的な貢献など、参加に条件があるミーティングもあります。参加方法や条件は、Slack内のWGガイドをご確認ください。

月1回のLLM勉強会
研究の進捗や成果、関連技術について情報交換する場として、月1回のLLM勉強会を開催しています。開催予定や過去の資料については「LLM勉強会」のページをご覧ください。

研究成果の公開
開発したモデルやデータ、ツール、研究の過程で得られた知見を公開し、幅広い研究開発で活用できる環境づくりを進めています。

活動に参加するには

LLM-jpへの参加をご希望の方は、「参加方法」のページをご覧ください。

活動の背景と方針

問題意識

大規模言語モデル (LLM) の飛躍的な進展によって技術の「相転移」が起こり、社会変革を引き起こしつつあります。モデルの高機能性・汎用性に支えられて変革は全産業に波及し、幅広い科学技術研究にとっても必須の基盤となると期待されます。
この進展において真に健全な試行錯誤を促し、イノベーションを喚起するには、次の課題を解決する必要があります：
- LLMに関する技術課題：学習原理の数理的解明（創発や汎用性がどのように学習されるか）、効率性（データ/モデル効率、グリーン）
- LLMに関する社会課題：説明性・解釈性（ブラックボックス問題）、公平性（バイアス問題）、安全性（誤情報・ハルシネーション、個人情報、著作権問題、コンプライアンス）、信頼性（どう保証するか）
- LLMの多分野展開：医療・法律・教育等への展開、マルチモーダル情報・ロボット制御などとの結合
そのためには、完全にオープンで商用利用可能なモデルを継続的に構築し、課題解決の研究開発を進める必要があります。日本語の情報を十分にカバーし、使用のルール・入力情報の機密性が明確にコントロールできる等の要件も経済安全保障的な観点から必須と言えます。
現状では学習データまで含めて完全にオープンなモデルは限られており、加えて、海外では生成AIに関して大規模な投資が行われていますが、日本は大きく後れをとっています。

今後の方針

LLM の研究開発は日進月歩であり、日本においても世界の最新動向を踏まえながら上述の諸課題の解決に利用できるスケールのモデルを構築し、原理解明や透明性・信頼性の確保に継続的に取り組んでいく必要があります。
LLM 研究進捗のスピード感を考えると、研究開発プログラムのトップダウンな設計は必ずしも最適ではありません。最も重要なことは土壌を作ること、すなわち、計算基盤と言語モデル構築基盤（エンジニア等の人材を含む）を整備し、国内外の研究者が様々な試行錯誤を行う環境を構築することです。
2024年からは、文部科学省の「生成AIモデルの透明性・信頼性確保に向けた研究開発拠点形成」事業によりご支援をいただいて、上述の取組を進めています。