Open Japanese LLM Leaderboard の公開

日本語LLMの評価および分析を目的として、伝統的なタスクから現代的なタスクまでを網羅するオープン日本語LLMリーダーボードを公開しました。オープン日本語LLMリーダーボードは、LLM-jpとHugging Faceの協力により作成されました。

オープン日本語LLMリーダーボードでは、投稿されたLLMはHugging Faceの推論エンドポイントを用いて自動的に実行され、llm-jp-evalライブラリで評価されます。この評価プロセスでは、メモリ効率の良い推論を行うvLLMを利用しており、評価スコアの計算は全てmdxプラットフォーム上で行われます。

オープン日本語LLMリーダーボード: https://huggingface.co/spaces/llm-jp/open-japanese-llm-leaderboard

Hugging Face ブログ記事: https://huggingface.co/blog/leaderboard-japanese