公開しているモデル・コーパス・ツール

LLM-jp で開発したモデルやツールを公開しています。

本ページで公開しているリソースをご利用される際は、論文や記事等で引用・言及していただけますと幸いです。
本モデルを活用される事業者におかれましては、「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」（令和7年12月19日 人工知能戦略本部決定）に則り、各自の責任において適切にご活用ください。

公開プラットフォーム

• モデル: https://huggingface.co/llm-jp
  • フラグシップモデルは https://chatbot-arena.apps.llmc.nii.ac.jp/ にてお試しいただけます
• コーパス: https://gitlab.llm-jp.nii.ac.jp/datasets
• ツール: https://github.com/llm-jp

主要なモデル

チューニング済みモデル

• LLM-jp-3.1-8x13b-instruct4
• LLM-jp-3.1-13b-instruct4
• LLM-jp-3.1-1.8b-instruct4

事前学習済みモデル

• LLM-jp-3.1-8x13b
• LLM-jp-3.1-13b
• LLM-jp-3.1-1.8b

マルチモーダルモデル

• LLM-jp-3-VILA-14B

事前訓練コーパス

• LLM-jp-corpus v4
• LLM-jp-corpus v3
• LLM-jp-corpus v2
• LLM-jp-corpus v1

チューニングデータ

• ac-self-inst
• aya-ja-evol-inst
• Synthetic-JP-EN-Coding-Dataset
• wizardlm8x22b-logical-math-coding-sft-ja
• FLAN
• AnswerCarefully
• magpie-sft-v1.0
• databricks-dolly-15k-ja
• oasst1-21k-en
• oasst1-21k-ja
• oasst2-33k-ja
• oasst2-33k-en
• hh-rlhf-12k-ja

その他のデータは公開されているものを元にしており、以下の「評価ツール」「チューニングスクリプト」からそれぞれ詳細が確認できます。

ツール

• 事前訓練コーパス構築スクリプト v2.0
• 事前訓練コーパス構築スクリプト v1.0
• トークナイザ
• 評価ツール
  • llm-jp-eval
  • llm-jp-judge
• チューニングスクリプト
  • trl ベース
    • SFT
    • DPO
  • Nemo-Aligner ベース (SFT と DPO の両方をサポート)

リーダーボード (Weights & Biases)

• llm-jp-eval
• Open LLM leaderboard （英語ベンチマーク）による日本語LLMの評価結果
• 日本語 VicunaQA ベンチマーク

全てのモデル

チューニング済みモデル

• LLM-jp-3.1
  • LLM-jp-3.1-8x13b-instruct4
  • LLM-jp-3.1-13b-instruct4
  • LLM-jp-3.1-1.8b-instruct4
• LLM-jp-3
  • LLM-jp-3-8x13b-instruct3
  • LLM-jp-3-172B-instruct3
  • LLM-jp-3-172B-beta2-instruct2 (アクセスに承認が必要です。再配布と一部の使途が制限されています。)
  • LLM-jp-3-172B-beta1-instruct (同上)
  • LLM-jp-3-13B-instruct3
  • LLM-jp-3-8×1.8b-instruct3
  • LLM-jp-3-7.2B-instruct3
  • LLM-jp-3-3.7B-instruct3
  • LLM-jp-3-1.8B-instruct3
  • LLM-jp-3-980M-instruct3
  • LLM-jp-3-440M-instruct3
  • LLM-jp-3-150M-instruct3
  • LLM-jp-3-8x13b-instruct2
  • LLM-jp-3-172B-instruct2
  • LLM-jp-3-13B-instruct2
  • LLM-jp-3-8×1.8b-instruct2
  • LLM-jp-3-7.2B-instruct2
  • LLM-jp-3-3.7B-instruct2
  • LLM-jp-3-1.8B-instruct2
  • LLM-jp-3-980M-instruct2
  • LLM-jp-3-440M-instruct2
  • LLM-jp-3-150M-instruct2
  • LLM-jp-3-13B-instruct
  • LLM-jp-3-7.2B-instruct
  • LLM-jp-3-3.7B-instruct
  • LLM-jp-3-1.8B-instruct
• 13B v2.0
  • LLM-jp-13b-instruct-full-dolly-ichikara_004_001_single-oasst-oasst2-v2.0
  • LLM-jp-13b-instruct-full-ac_001-dolly-ichikara_004_001_single-oasst-oasst2-v2.0
  • LLM-jp-13b-instruct-full-ac_001_16x-dolly-ichikara_004_001_single-oasst-oasst2-v2.0
• 13B v1.1
  • LLM-jp-13b-dpo-lora-hh_rlhf_ja-v1.1
  • LLM-jp-13b-instruct-full-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1
  • LLM-jp-13b-instruct-lora-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1
• 13B v1.0
  • LLM-jp-13B-instruct-full-jaster-v1.0
  • LLM-jp-13B-instruct-full-jaster-dolly-oasst-v1.0
  • LLM-jp-13B-instruct-full-dolly-oasst-v1.0
  • LLM-jp-13B-instruct-lora-jaster-v1.0
  • LLM-jp-13B-instruct-lora-jaster-dolly-oasst-v1.0
  • LLM-jp-13B-instruct-lora-dolly-oasst-v1.0

事前訓練済みモデル

• LLM-jp-3.1
  • LLM-jp-3.1-8x13b
  • LLM-jp-3.1-13b
  • LLM-jp-3.1-1.8b
• LLM-jp-3
  • LLM-jp-3-8x13b
  • LLM-jp-3-172B (アクセスに承認が必要です。再配布と一部の使途が制限されています。)
  • LLM-jp-3-172B-beta2 (同上)
  • LLM-jp-3-172B-beta1 (同上)
  • LLM-jp-3-13B
  • LLM-jp-3-8×1.8b
  • LLM-jp-3-7.2B
  • LLM-jp-3-3.7B
  • LLM-jp-3-1.8B
  • LLM-jp-3-980M
  • LLM-jp-3-440M
  • LLM-jp-3-150M
• 13B v2.0
  • LLM-jp-13B-v2.0
• 13B v1.0
  • LLM-jp-13B-v1.0
• 1.3B v1.0
  • LLM-jp-1.3B-v1.0

マルチモーダルモデル

• LLM-jp-3-VILA-14B

その他

• LLM-jp Modern BERT