Release

Models / Corpus / Tools ​

We have released the models and tools developed by LLM-jp.
Open platforms
Models
Fine-tuned / Pre-trained / Multimodal
Corpora
Pre-training Corpora / Data / Construction Scripts
Tools
Tools Evaluation & Training Utilities
Fine-tuned Models
LLM-jp-3.1-8x13b-instruct4
LLM-jp-3.1-13b-instruct4
LLM-jp-3.1-1.8b-instruct4
Pre-trained Models
LLM-jp-3.1-8x13b
LLM-jp-3.1-13b
LLM-jp-3.1-1.8b
Multi-model Models
LLM-jp-3-VILA-14B
Corpora for Pre-training
LLM-jp-corpus v4
LLM-jp-corpus v3
LLM-jp-corpus v2
LLM-jp-corpus v1
Evaluation and fine-tuning datasets
ac-self-inst​
aya-ja-evol-inst​
Synthetic-JP-EN-Coding-Dataset​
wizardlm8x22b-logical-
math-coding-sft-ja​
AnswerCarefully
magpie-sft-v1.0​
databricks-dolly-15k-ja​
oasst1-21k-en​
oasst1-21k-ja​
oasst2-33k-ja​
oasst2-33k-en​
hh-rlhf-12k-ja​
Tools
事前訓練コーパス構築スクリプト v2.0
事前訓練コーパス構築スクリプト v1.0
トークナイザ
[評価ツール]

llm-jp-eval​
[評価ツール]

 llm-jp-judge​
[チューニングスクリプト]


trl ベース SFT
[チューニングスクリプト]


trl ベース DPO
[チューニングスクリプト]


Nemo-Aligner ベース
※SFT と DPO の両方をサポート
Leaderboards (Weights & Biases)
Open LLM leaderboard
(英語ベンチマーク)による
日本語LLMの評価結果
日本語 VicunaQA
ベンチマーク
All Models
Fine-tuned Models
LLM-jp-3.1

LLM-jp-3.1-8x13b-instruct4

LLM-jp-3.1-13b-instruct4

LLM-jp-3.1-1.8b-instruct4

LLM-jp-3

LLM-jp-3-8x13b-instruct3

LLM-jp-3-172B-instruct3

LLM-jp-3-172B-beta2-instruct2

アクセスに承認が必要です。再配布と一部の使途が制限されています。

LLM-jp-3-172B-beta1-instruct

アクセスに承認が必要です。再配布と一部の使途が制限されています。

LLM-jp-3-13B-instruct3

LLM-jp-3-8×1.8b-instruct3

LLM-jp-3-7.2B-instruct3

LLM-jp-3-3.7B-instruct3

LLM-jp-3-1.8B-instruct3

LLM-jp-3-980M-instruct3

LLM-jp-3-440M-instruct3

LLM-jp-3-150M-instruct3

LLM-jp-3-8x13b-instruct2

LLM-jp-3-172B-instruct2

LLM-jp-3-13B-instruct2

LLM-jp-3-8×1.8b-instruct2

LLM-jp-3-7.2B-instruct2

LLM-jp-3-3.7B-instruct2

LLM-jp-3-1.8B-instruct2

LLM-jp-3-980M-instruct2

LLM-jp-3-440M-instruct2

LLM-jp-3-150M-instruct2

LLM-jp-3-13B-instruct

LLM-jp-3-7.2B-instruct

LLM-jp-3-3.7B-instruct

LLM-jp-3-1.8B-instruct

13B v2.0

LLM-jp-13b-instruct-full-dolly-ichikara_004_001_single-oasst-oasst2-v2.0

LLM-jp-13b-instruct-full-ac_001-dolly-ichikara_004_001_single-oasst-oasst2-v2.0

LLM-jp-13b-instruct-full-ac_001_16x-dolly-ichikara_004_001_single-oasst-oasst2-v2.0

13B v1.1

LLM-jp-13b-dpo-lora-hh_rlhf_ja-v1.1

LLM-jp-13b-instruct-full-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1

LLM-jp-13b-instruct-lora-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1

13B v1.0

LLM-jp-13B-instruct-full-jaster-v1.0

LLM-jp-13B-instruct-full-jaster-dolly-oasst-v1.0

LLM-jp-13B-instruct-full-dolly-oasst-v1.0

LLM-jp-13B-instruct-lora-jaster-v1.0

LLM-jp-13B-instruct-lora-jaster-dolly-oasst-v1.0

LLM-jp-13B-instruct-lora-dolly-oasst-v1.0

Pre-trained Models
LLM-jp-3.1

LLM-jp-3.1-8x13b

LLM-jp-3.1-13b

LLM-jp-3.1-1.8b

LLM-jp-3

LLM-jp-3-8x13b

LLM-jp-3-172B

アクセスに承認が必要です。再配布と一部の使途が制限されています。

LLM-jp-3-172B-beta2

アクセスに承認が必要です。再配布と一部の使途が制限されています。

LLM-jp-3-172B-beta1

アクセスに承認が必要です。再配布と一部の使途が制限されています。

LLM-jp-3-13B

LLM-jp-3-8×1.8b

LLM-jp-3-7.2B

LLM-jp-3-3.7B

LLM-jp-3-1.8B

LLM-jp-3-980M

LLM-jp-3-440M

LLM-jp-3-150M

13B v2.0

LLM-jp-13B-v2.0

13B v1.1

LLM-jp-13B-v1.0

13B v1.0

LLM-jp-1.3B-v1.0

Multi-model Models

LLM-jp-3-VILA-14B

Others

LLM-jp Modern BERT