問題意識
- 大規模言語モデル (LLM) の飛躍的な進展によって技術の「相転移」が起こっており、社会変革を引き起こすと予想されます。モデルの高機能性・汎用性に支えられて変革は全産業に波及しつつあり、幅広い科学技術研究にとっても必須の基盤となると期待されます。
- この進展において真に健全な試行錯誤を促し、イノベーションを喚起するには、次の課題を解決する必要があります：
- LLMに関する技術課題：学習原理の数理的解明（創発や汎用性がどのように学習されるか），効率性（データ/モデル効率，グリーン）
- LLMに関する社会課題：説明性・解釈性（ブラックボックス問題），公平性（バイアス問題），安全性（誤情報・ハルシネーション，個人情報，著作権問題，コンプライアンス），信頼性（どう保証するか）
- LLMの多分野展開：医療・法律・教育等への展開、マルチモーダル情報・ロボット制御などとの結合
- そのためには、完全にオープンで商用利用可能なモデルを継続的に構築し、課題解決の研究開発を進める必要があります。日本語の情報を十分にカバーし、使用のルール・入力情報の機密性が明確にコントロールできる等の要件も経済安全保障的な観点から必須と言えます。
- 現状では海外の一部の民間組織に研究開発が限定され、オープンな研究開発環境がないことが大きな問題です。加えて、世界的には大学（cf. 香港科技大）、多様な分野の研究機関（cf. NIH）においても大規模なGPU投資が行われていますが、日本は大きく後れをとっています。
今後の方針
- LLM の研究開発は日進月歩ではありますが、現状では GPT-3 級 (175B) のモデルにおいて創発が起こる可能性も示唆されており、知識蒸留などによる小さなモデルの検討はその後取り組むべきことと言えます。日本においても少なくともこのスケールのモデルを構築し、原理解明に取り組む体制を作る必要があります。
- LLM 研究進捗のスピード感を考えると、研究開発プログラムのトップダウンな設計は必ずしも最適ではありません。最も重要なことは土壌を作ること、すなわち、計算基盤と言語モデル構築基盤（エンジニア等の人材を含む）を整備し、国内外の研究者が様々な試行錯誤を行う環境を構築することです。