7月24日、フランスのスタートアップ企業により、革新的な大規模言語モデル「Mistral Large2」が発表されました。このモデルは、日本語対応のオープンソースLLM（大規模言語モデル）として、最高性能を誇ります。前日に発表されたLlama 3.1がGPT-4oを超える性能を持つと話題になった一方で、日本語対応の欠如が指摘されていました。Mistral Large2はそのギャップを埋め、日本語を含む多言語サポートを提供することで、LLM業界における新たな標準を確立します。
本記事では、Mistral Large2の詳細な魅力や特徴について掘り下げていきます。
Mistral Large2の魅力：多言語対応
Mistral Large2は128Kのコンテキスト長と123Bのパラメータ数を持ち、長い文章やデータにおいても高精度な処理が可能です。コンテキスト長はLlamaa3.1と同等の長さであり、少ないパラメータ数で効率的に高い性能を提供することができます。
-
対応言語
日本語、英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、アラビア語、ヒンディー語、ロシア語、中国語、韓国語など、多数の言語に対応しています。
（注：29日現在、Llama3.1は日本語対応していなく、開発中です。そのため、Mistral Large2は日本語対応している最高水準オープンソースLLMとなっています。）
これにより、国際的なビジネス展開や多文化環境での利用が容易になります。
Mistral Large2は多言語対応のMMLU（Massive Multilingual Language Understanding）において、約80％の高い性能を発揮しています。Llama 3.1 405Bと比較して、パラメータ数が約1/4でありながら、同等の性能を示しています。Mistral Large2はパラメータ効率が高く、少ないパラメータ数で高い多言語性能を示していることがわかります。
多様なプログラミング言語に対応するMistral Large 2の強み
Mistral Large 2は、特定の分野において最高水準の性能を誇る大規模言語モデルです。特に数学やコード生成において、その優れた性能とその効率性が際立っています。
1.多様なプログラミング言語をサポート
Python、Java、C、C++、JavaScript、Bash など 80 以上のコーディング言語をサポートしています。また、下図においてMistral Laarge2はHuman Eval、MBPP BASEといったコード性能を示すベンチマークにおいて高い性能を誇っています。オープンソースでありながら、GPT-4oに匹敵するレベルの性能を示しています。
2.最高水準のコード生成能力
Humann Evalでは、Claude3.5 sonnetやLlama3.1 405Bを上回る高い性能を示していいます。
また、Mistral Large2の大きな魅力である豊富なコード言語を示している表から多くの言語で高い性能を示しており、コード言語の性能アベレージもGPT-4oに1％で次ぐ高性能を示しているが、特にPython、Java、C++、TypeScriptで際立った性能を示しいていることがわかります。
3.高性能な数学的問題解決能力
数学的分野を示すGSM8KやMath Instructのベンチマークにおいても、Mistral Large 2は最高レベルの性能を示しています。オープンソースモデルながらも、123Ｂという少ないパラメータ数で数学的分野とコード分野の論理的分野において高い正確性と効率性を大きな魅力です。
4.Llama3.1を超える正確性と効率性
Mistral Large 2は、コード生成と数学的問題解決のベンチマークにおいて、パラメータ数が少ないにもかかわらず、Llama 3.1 405Bと比較しても同等以上の性能を示しています。具体的には、Mistral Large 2は123Bのパラメータ数で80%以上の精度を達成していますが、Llama 3.1 405Bは400B以上のパラメータ数を必要とします。この結果から、Mistral Large 2はパフォーマンスと効率性のバランスが非常に優れていることがわかります。
Mistral Large 2は、その正確性と効率性において、業界最高水準を示すモデルです。特に、少ないパラメータ数で高い精度を実現する点は、計算リソースやコストの面でも大きな利点となります。コード生成能力と数学的問題解決能力において非常に優れたパフォーマンスを発揮するMistral Large 2は、次世代のAIモデルとして大いに期待されています。
開発者に最適なMistral Large 2：オープンソースの利点と商用利用における制約
Mistral Large2はLlama3.1と同様にオープンソースモデルとしてHugging faceにて公開されています。そのため、自由に分析や開発が可能です。
Llama3.1はLlama 3.1 Community Licenseに同意すれば、無償で商用利用可能です。それに対し、Mistral Large2はMistral Research Licenseに同意して利用する必要があり、商用利用はできません。そのため、API利用には料金が必要です。
API料金(7月29日現在)
- 入力トークン: $3 / 1M
- 出力トークン: $9 / 1M
まとめ
-
高いコンテキスト長: Llama 3.1と並ぶ128kのコンテキスト長。
-
効率的なパラメータ数: 123Bのパラメータ数で、論理的能力においてGPT-4oと同等の最高水準を誇ります。
-
多言語対応: 日本語を含む多言語対応が可能で80を超えるコード言語を持つオープンソースモデル。
-
商用利用の制約: ライセンス登録が必要で商用利用には制限がある。
Mistral Large 2は、特に開発者や研究者にとって非常に価値のある選択肢となっています。その高い性能と効率性は、次世代のAI開発に大きな影響を与えることが期待されます。
現在、Mistral Large 2の論文は発表されていませんが、今後発表され次第、随時更新していきます。引き続きお楽しみにしていてください。
参考文献