公開しているモデル・コーパス・ツール
LLM-jp で開発したモデルやツールを公開しています。
公開プラットフォーム
主要なモデル
チューニング済みモデル
事前学習済みモデル
- LLM-jp-3-8x13b
- LLM-jp-3-172B (アクセスに承認が必要です。再配布と一部の使途が制限されています。)
- LLM-jp-3-13B
マルチモーダルモデル
事前訓練コーパス
チューニングデータ
- ac-self-inst
- aya-ja-evol-inst
- Synthetic-JP-EN-Coding-Dataset
- wizardlm8x22b-logical-math-coding-sft-ja
- FLAN
- AnswerCarefully
- magpie-sft-v1.0
- databricks-dolly-15k-ja
- oasst1-21k-en
- oasst1-21k-ja
- oasst2-33k-ja
- oasst2-33k-en
- hh-rlhf-12k-ja
その他のデータは公開されているものを元にしており、以下の「評価ツール」「チューニングスクリプト」からそれぞれ詳細が確認できます。
ツール
- 事前訓練コーパス構築スクリプト v2.0
- 事前訓練コーパス構築スクリプト v1.0
- トークナイザ
- 評価ツール
- チューニングスクリプト
- trl ベース
- Nemo-Aligner ベース (SFT と DPO の両方をサポート)
リーダーボード (Weights & Biases)
全てのモデル
チューニング済みモデル
- LLM-jp-3
- LLM-jp-3-8x13b-instruct3
- LLM-jp-3-172B-instruct3
- LLM-jp-3-172B-beta2-instruct2 (アクセスに承認が必要です。再配布と一部の使途が制限されています。)
- LLM-jp-3-172B-beta1-instruct (同上)
- LLM-jp-3-13B-instruct3
- LLM-jp-3-8×1.8b-instruct3
- LLM-jp-3-7.2B-instruct3
- LLM-jp-3-3.7B-instruct3
- LLM-jp-3-1.8B-instruct3
- LLM-jp-3-980M-instruct3
- LLM-jp-3-440M-instruct3
- LLM-jp-3-150M-instruct3
- LLM-jp-3-8x13b-instruct2
- LLM-jp-3-172B-instruct2
- LLM-jp-3-13B-instruct2
- LLM-jp-3-8×1.8b-instruct2
- LLM-jp-3-7.2B-instruct2
- LLM-jp-3-3.7B-instruct2
- LLM-jp-3-1.8B-instruct2
- LLM-jp-3-980M-instruct2
- LLM-jp-3-440M-instruct2
- LLM-jp-3-150M-instruct2
- LLM-jp-3-13B-instruct
- LLM-jp-3-7.2B-instruct
- LLM-jp-3-3.7B-instruct
- LLM-jp-3-1.8B-instruct
- 13B v2.0
- 13B v1.1
- 13B v1.0
事前訓練済みモデル
- LLM-jp-3
- LLM-jp-3-8x13b
- LLM-jp-3-172B (アクセスに承認が必要です。再配布と一部の使途が制限されています。)
- LLM-jp-3-172B-beta2 (同上)
- LLM-jp-3-172B-beta1 (同上)
- LLM-jp-3-13B
- LLM-jp-3-8×1.8b
- LLM-jp-3-7.2B
- LLM-jp-3-3.7B
- LLM-jp-3-1.8B
- LLM-jp-3-980M
- LLM-jp-3-440M
- LLM-jp-3-150M
- 13B v2.0
- 13B v1.0
- 1.3B v1.0