Meta社が放つ革命的AI『Llama 3.1』：GPT-4oを超える無料オープンソースモデル

2024年7月23日、AI業界に革命が起こりました。Meta社が発表した次世代フラッグシップモデルLlama 3.1は、無料で使えるオープンソースモデルでありながら、GPT-4oを超える性能を誇ります。これは、以前に開発されたLLaMA 3の8Bおよび70Bモデルの次世代版であり、405Bパラメータを持つオープンソースモデルです。パラメータ数の大幅な増加により、性能が革新的に向上し、最先端モデルであるGPT-4に匹敵する性能を示しています。

従来、ChatGPTやClaudeなどのクローズドモデルがその高い性能から市場を独占していましたが、Llama 3.1の登場により、オープンソースモデルでも最高レベルの性能と同等のオープンソースモデルでも最高レベルの性能を実現できることが示されました。この発表は、今後のLLM業界に大きな革命を引き起こすと考えられます。これから、この新しいモデルについて詳しく解説していきます。

無料で利用可能なオープンソースモデル

LLM（大規模言語モデル）には大きく分けてオープンソースモデルとクローズドソースモデルの2つがあります。これまで、GPT-4やClaude 3.5 Sonnetなどのクローズドソースモデルが高い性能を持っていましたが、それに並ぶ性能のオープンソースモデルとしてLlama 3.1が登場しました。

クローズドソースモデルは、LLMの学習データや内部構造を公開せず、利用時にはAPI料金を支払う必要があります。それに対し、Llama 3.1はオープンソースモデルであり、無償で私的利用や商用利用が可能な点が大きな魅力です。また、内部構造も公開されているため、開発者からのフィードバックを受けて製品の有用性を向上させる取り組みも行っています。さらに、開発者や研究者が最高性能を誇るLlama 3.1を研究することができるため、LLMのさらなる発展が期待されます。

GPT-4oに並ぶ性能

Llama 3.1はコンテキスト長が8,192から128Kに拡張され、パラメータ数は405Bに増加しています。データの量と質が向上し、15Tを超えるトークンで学習されています。これは、前モデルのLlama 2の50倍の計算量です。アーキテクチャはトランスフォーマーモデルを採用しています。

4050億(405B)のパラメータ数は非常に大きいと感じるかもしれませんが、最先端モデルのClaude 3.5 SonnetやGPT-4oは推定パラメータ数が1兆を超えるとされています。それに対し、Llama 3.1は4050億（405B）なので相対的に小規模なLLMと言えます。それにもかかわらず、Llama 3.1はChatGPTやClaudeなどの大規模モデルに匹敵する性能を示しています。

Llama 3.1は、少ないリソースで高性能を発揮できるため、小規模なサーバー環境でも優れた性能を発揮するため、スタートアップ企業や教育機関でも手軽に導入できます。

GPT-4oやClaude 3.5 Sonnetなどの最先端モデルと比較すると、Llama 3.1は15のベンチマーク中、数学的推論GSM8Kなどの7つの分野で最高スコアを記録しています。さらに、GPT-4oと比較すると、15分野の中で9分野で高い性能を示しており、各分野で同等かそれ以上の性能を示しています。以下の図をご覧ください。

学部レベルの知識

Llama 3.1は、MMLUやMMLU PROのベンチマークで学部レベルの知識を示しています。これらのベンチマークは、多言語対応能力と大規模なマルチタスク言語理解の性能を評価します。Llama 3.1は、MMLUで88.6%、MMLU PROで73.3%という高いスコアを達成しており、他のモデルと比較しても優れた性能を示しています。

コード性能の進化

Llama 3.1は、HumanEvalとMBPP EvalPlusのベンチマークでコード生成能力を評価されています。HumanEvalで89.0%、MBPP EvalPlusで88.6%という高スコアを達成し、Claude 3.5 Sonnetと並ぶ高い性能を示しています。これにより、Llama 3.1は高品質なコード生成能力を持っていることがわかります。

数学的推論の強化

Llama 3.1は、GSM8KやMATHのベンチマークで高度な数学的推論能力を示しています。GSM8Kで84.5%、MATHで51.9%というスコアを達成し、教育や研究の分野での応用が期待されています。数学的な問題を解決するための強力なツールとして、Llama 3.1は高度な推論能力を発揮します。

長いコンテキストの理解

ZeroSCROLLS/QuALITYやNIH/Multi-needleのベンチマークでの高いスコアは、Llama 3.1が長い文脈を理解し、複雑なテキストを処理する能力に優れていることを示しています。ZeroSCROLLS/QuALITYで81.0%、NIH/Multi-needleで98.8%という高スコアを達成しており、これにより、ドキュメント生成や内容理解のタスクにおいて優れた性能を発揮し、複雑な情報を正確に把握することが可能です。

また、Llama 3.1は、クローズドモデルに匹敵する性能を持つオープンソースモデルとして発表されただけでなく、Llama 3の8Bおよび70BモデルもLlama 3.1にアップグレードされました。これらの小規模なモデルは、多くの分野で最先端の性能を示しています。

出典：https://ai.meta.com/blog/meta-llama-3-1/

知識の蒸留とオープンソースモデルの活用

Llama 3.1の405Bモデルの知識と生成能力は、より小さなモデルに蒸留することができます。このプロセスにより、大規模な「教師」モデルの優れた機能を、より小型で高速、かつコスト効率の高い「生徒」モデル（8Bまたは70B Llama 3.1など）に学習、移植することができます。合成データの生成や、命令の調整、知識の転送などのプロセスを通しいて、知識の蒸留によりLLaMA3.1の405Bモデルを教師として8B,70BモデルやほかのLLMに学習データを転送し、開発、教育することができます。

Llama 3.1の未来: マルチモーダル性能の開発とその可能性

LLaMA3.1(405B)の現在の機能にはマルチモーダル機能はありません。しかし、画像、音声、動画を統合したマルチモーダル性能を持つモデルの開発、検証中です。複数のモーダルを統合することで、より豊かなデータ理解と応用が可能になります。特に、複雑なタスク（例えば、視覚と音声の同時認識）での性能向上が期待されます。

マルチモーダル能力を持つAIは、教育、エンターテインメント、医療など、多岐にわたる分野での革新的な応用が期待されます。

同様に、多言語モデルの開発も進められており、Llama 3.1はスペイン語、ポルトガル語、イタリア語、ドイツ語、タイ語などの言語に対応しています。Metaは、「他のいくつかの言語」はまだトレーニング後の検証段階であり、将来リリースされる可能性があると発表しています。しかし、7月24日現在は、日本語は対応していません。

オープンソースの利点

開発者コミュニティの活用

Llama 3.1はオープンソースモデルとして公開されており、世界中の開発者や研究者が自由にアクセスして使用することができます。これにより、コミュニティ全体からのフィードバックや貢献を受けてモデルが継続的に改善されます。また、多様な視点や専門知識を持つ開発者が集まることで、問題解決のスピードが上がり、LLMの技術的なイノベーションが加速します。

透明性

Llama 3.1の学習データやモデルの内部構造が公開されていることは、透明性の高さを示しています。利用者はモデルがどのように学習され、どのように機能するのかを詳細に理解することができます。この透明性は、信頼性の向上に寄与し、特に研究者や開発者がモデルを評価し、改良を加える際に重要です。また、生成AIの大きな議題でもある倫理的な問題を回避にもつながります。

無償での利用

Llama 3.1はオープンソースモデルであり、個人利用や商用利用が無料で可能です。この点は特に、リソースが限られたスタートアップ企業や研究機関にとって大きな利点です。高性能なAIモデルを無料で利用できることで、イノベーションの障壁が低くなり、より多くの組織が最新の技術を活用できるようになります。また、クローズドモデルと比較してもAPI料金が不要であるため、運用コストが削減される点も大きな魅力です。

カスタマイズ性

Llama 3.1は、オープンソースで公開されているため、ユーザーが独自の用途に合わせてモデルを微調整することができる高いカスタマイズ性を備えています。具体的には、特定のデータセットを使用してモデルを再トレーニングすることが可能です。例えば、医療分野では医療記録データを用いたカスタマイズが可能であり、金融分野では市場データに基づくモデルの微調整が可能です。このような柔軟性は、さまざまな業界やニーズに対応するための強力なツールとなります。