「MiniMax-01」が示すオープンソースAI：画像認識×長文処理×格安APIを可能にしたMoE技術の可能性

by

2025年1月15日、中国のスタートアップAI企業が新しいAIモデル「MiniMax-01」を発表しました。このモデルはオープンソースでありながら、APIの価格が非常に低く、DeepSeek V3と同等のコストパフォーマンスを実現しています。その価格は、GPT-4oと比較して10分の1以下という破格の安さでありながら、性能は同等以上です。さらに、画像認識機能を搭載している点も大きな魅力です。

MiniMax-01は、DeepSeek V3との比較においてもいくつかの特徴があります。DeepSeekがOCR（文字認識）のみに特化しているのに対し、MiniMax-01は画像分析まで対応可能です。これにより、画像認識を必要とするマルチモーダルAIソリューションを低価格で活用できる点が、革新的と言えるでしょう。

また、コンテキスト長（処理可能な文脈の長さ）についても注目すべきポイントです。Claudeの200kやChatGPTの128kというコンテキスト長と比較して、MiniMax-01は4M（400万トークン）という圧倒的な長文分析能力を誇ります。これにより、複雑で長大なデータを扱うアプリケーションにおいて非常に強力なツールとなっています。

さらに、2024年末以降、中国企業からはGPT-4oと同等以上の性能を持ちながらも価格が10倍以上安いモデルが続々と登場しました。この動きによって、AI市場では激しい価格競争が巻き起こっています。こうした新しいAIモデルの多くは、「MoE（Mixture of Experts）」と呼ばれるアルゴリズムを採用しており、これが高性能と低コストを両立する鍵となっています。

本記事では、MoEの仕組みについて解説するとともに、画像認識やマルチモーダル対応が可能な格安オープンソースAIモデル「MiniMax-01」の特徴について詳しく紹介します。

 

目次

 

 

AIの革命を支えるMoE（Mixture of Experts）とは？：仕組みと活用法

MoE（Mixture of Experts）は、AIモデル内の複数の「専門家（Experts）」を入力データに応じて選択的に活用することで、高い計算効率と性能を実現するアーキテクチャです。このモデルでは、それぞれ特定の分野やタスクに特化した専門家が用意されており、入力データに基づいて最適な専門家を選び、その専門家のみを動かす仕組みになっています。このため、計算リソースを効率的に活用しながら、優れた性能を発揮することが可能です。

わかりやすく言うと、従来のAIモデルは、大規模なチーム（LLM）全体をフル活用して処理を行っていました。一方で、MoEはその場で最も適任なメンバーだけに仕事を任せるような仕組みを採用しています。これにより、無駄な計算を減らしつつ、より効率的かつ高精度な出力を得ることができます。

MoEが実現する高性能と低コストの秘密

次に、MoE仕組みについて解説します。まず、ゲートが入力されたデータ（トークン）を解析し、どの専門家が最適かを判断します。この過程では、効率化のために「スパース性（Sparse）」が活用され、専門家の中からタスクに優れた上位の一部だけを選択して計算を行います。

選ばれた専門家が計算を実行した後、複数の専門家の出力が統合され、最終的な結果が生成されます。この仕組みにより、計算コストを抑えつつ、大規模なモデルの高い性能を引き出すことが可能になります。

出典：MiniMax　公式ブログ

 

なぜMoEが次世代AIの鍵となるのか？

MoEの最大の利点は計算効率の良さにあります。通常、大規模なAIモデルでは全てのパラメータを動かすため、計算コストが非常に高くなりますが、MoEでは必要な部分だけを動かすため、効率的に処理を進めることができます。また、各専門家が特定のタスクやデータに特化しているため、それぞれが持つ強みを活かし、高い性能を発揮します。

さらに、この特性は、モデルをスケールアップ、チューニングする際に専門家を追加するだけで対応可能であり、拡張性の高さが魅力です。また、モデル全体の規模が拡大しても必要な専門家だけが動作するため、計算リソースの消費を大幅に抑えることができます。

 

MoEの課題

一方、MoEには2つの主な課題も存在します。

  • ルーティング崩壊（Routing Collapse）

特定の専門家にトークンが過度に集中すると、他の専門家が十分に活用されず、計算効率が低下する現象です。負荷が偏った場合、特定の専門家が一部のトークンばかり処理するため、システム全体のバランスが崩れてしまいます。

  • トークンの廃棄（Token Drop）

各専門家には処理できるトークン数の上限（容量）が設定されています。この容量を超えたトークンは破棄されてしまうため、一部のトークンが処理されない問題が発生します。この現象により、入力データが最大限利用されず、結果的にモデルの性能を制限してしまう可能性があります。

 

課題を克服する新技術への挑戦

以下では、各モデルがこれらのデメリットを解消するために活用したアルゴリズムと、それぞれのアルゴリズムの特徴について解説します。

DeepSeekの対策

DeepSeekでは、ルーティング崩壊を防ぐために各専門家にバイアス項を導入し、トークンと専門家の関連性スコアを調整して上位の専門家を選択しています。負荷が高い専門家のバイアスを減少させ、負荷が低い専門家のバイアスを増加させることで、負荷分散を効率的に実現し、補助損失を用いる場合よりもモデル性能を向上させています。
さらに、DeepSeek-V3では、複数の未来トークンを予測するトレーニング目標を設定しています。従来のトークン予測が1つずつであるのに対し、複数をまとめて予測することで、1回のトレーニングでより多くを学習させ、モデル性能を向上させています。

 

MiniMax の対策

MiniMax では、補助損失 (Auxiliary Loss) を導入することで、専門家ごとのトークン分布を均一化し、負荷バランスの最適化を図っています。この補助損失をトレーニングに加えることで、トークンが特定の専門家に集中するのを抑制します。

MiniMax のモデル構成は以下の通りです。

  • 専門家数 (FFN): 32 個
  • 総パラメータ数: 4560 億
  • 隠れ層のサイズ: 6144

また、MiniMax は Lightning Attention という、長いシーケンスを効率的に処理する線形アテンション機構を採用しており、長文を高速に扱うことができます。従来の Softmax Attention では、シーケンス長に対して計算量が 2 乗で増加するため、長大なシーケンスの処理は困難でした。Lightning Attention は計算量をシーケンス長に対して線形に抑えることで、この課題を克服しています。これらの最適化技術により、MiniMax-Text-01 は最大 400 万トークンという非常に長いコンテキストを処理することが可能となり、既存の最先端モデルに匹敵する性能を発揮します。

しかしながら、線形アテンション機構である Lightning Attention は、従来の多次元アテンション機構と比較して、高速である一方で情報保持能力に限界があります。これは、Lightning Attention が線形モデルであり過去の情報を記憶することが不得意であるためです。

この課題に対し、MiniMax-Text-01 では、Lightning Attention だけでなく、8 層ごとに Lightning Attention を Softmax Attention に切り替えることで、過去の情報の記憶を可能にしています。

 

MiniMax-01の強みを徹底解剖：革新的な技術と構造

MiniMax には、テキストモデルとマルチモーダルモデルの 2 つのモデルが存在します。

  • 基礎言語モデルである MiniMax-Text-01
  • 視覚マルチモーダルモデルである MiniMax-VL-01

これらのモデルは、推論ごとに 459 億のパラメータがアクティブ化されます。その総合的なパフォーマンスは、ChatGPTなどの最先端モデルと同等レベルであり、最大 400 万トークンというコンテキスト長を効率的に処理できる点が特徴です。

このコンテキスト長は、例えば OpenAI の GPT-4o の 12 万 8000 トークン、Google の Gemini の 200 万トークンと比較しても、非常に長い文章を扱えることを示しています。この長文処理能力は、前章で解説した Lightning Attention によって効率的に実現されています。

 

高精度を誇るテキストモデル性能

まず、MiniMax のテキスト性能について詳しく見ていきます。

(a) Core text benchmark performance の評価では、MiniMax のテキスト処理能力が、主要なベンチマークを用いて測定されています。

具体的な結果として、幅広い学術分野における言語理解力を測る MMLU (Massive Multitask Language Understanding) において、MiniMax-Txt-01 は 88.5% という最高精度を記録しました。

さらに、シンプルな質問応答タスクの正確性を評価する C-SimpleQA (Simple Question Answering) では、MiniMax-Txt-01 が他のモデルを大きく上回る結果を示しています。

これにより、テキスト性能でも、GPT-4oなどの最先端モデルに並ぶ性能を示していることがわかります。

 

高性能を誇るマルチモーダルタスク

(b) Core multimodal benchmark performance の評価では、画像や図表といったテキスト以外のデータを含む、マルチモーダルタスクにおけるモデルの性能が比較されています。

まず、DocVQA (Document Visual Question Answering) は、文書に含まれる視覚的な情報とテキスト情報を組み合わせて、質問に答える能力を測るベンチマークです。この評価において、MiniMax-Txt-01 は 96.4% という非常に高い性能を示しています。

また、OCRBench (Optical Character Recognition Benchmark) は、画像から文字を正確に認識する精度を測定するベンチマークです。この指標においても、MiniMax-Txt-01 は Gemini-2.0-Flash や GPT-4o と同等の高い性能を発揮しています。

これらから、MiniMaxはマルチモーダルながらも、特に、図やグラフなどの文字とイメージの両方の分析に優れていることがわかります。

 

長文処理性能で他を圧倒する理由

(c) Long-context RULER performance では、長い文脈におけるモデルの理解力が評価されます。

一般的に、GPT-4o や Claude はコンテキストが長くなるにつれて性能が低下する傾向が見られます。しかし、MiniMax は長文処理においても精度を維持し、安定した分析能力を示すことが確認されています。さらに、MiniMax は処理速度（Latency）の面でも優れており、長文であっても速度低下を最小限に抑えられます。この点からも、MiniMax の長文処理における高いパフォーマンスを示しています。

出典：MiniMax　公式ブログ

 

以下の表は、MiniMax-Text-01 を含む複数のモデルの性能を、様々なベンチマークで比較したものです。各指標が何を示し、そこからどのようなモデルの特徴が読み取れるのかを考察します。

まず、General Assistant の指標は、一般的なアシスタントタスクにおける総合的な性能を評価するものです。MiniMax-Text-01 は 73.9 という最高スコアを記録しており、次点の GPT-4o (70.9) を大きく上回っています。この結果から、MiniMax-Text-01 は汎用的なアシスタント業務において非常に優れた能力を発揮することがわかります。他のモデルとの差からも、日常的なサポートや多岐にわたるタスクにおいて特に強みを持つことが示唆されます。

次に、Creative Writing の指標は、創造的な文章作成能力を測るものです。この分野では、MiniMax-Text-01 が 81.3 というスコアで他モデルを大きく引き離しています。GPT-4o や Claude 3.5-Sonnet と比較してもその差は顕著であり、MiniMax の創造的な文章生成能力の高さが際立っています。これは、小説、エッセイ、ストーリー作成といったタスクで非常に優れた成果が期待できることを意味します。

さらに、Long Context の指標は、長い文脈を処理する能力を評価するものです。この分野でも、MiniMax-Text-01 は 93.8 というトップのスコアを記録しています。GPT-4o (86.2) を大きく上回ることから、MiniMax が長文の解析や大量の情報を必要とするタスクにおいて圧倒的な優位性を持つことが確認できます。この結果は、長い文書の分析や複雑なデータ処理といった用途において、MiniMax が非常に適したモデルであることを明確に示しています。

これらから、MiniMaxはCreative Writingの 文章生成やLong Contextの長文理解、Safetyの安全性などが得意であるため、特に、これらの汎用的な使い方がお勧めです。

出典：MiniMax　公式ブログ

 

API価格

以下は、2025年1月17日現在のAPI価格です

MiniMax-Text-01

  • Input Price: $0.2 / 1M tokens
  • Output Price: $1.1 / 1M tokens

MiniMax-VL-01

  • Input Price: $0.2 / 1M tokens
  • Output Price: $1.1 / 1M tokens

 

MiniMax-01とライバルモデルの決定的な違いとは？

上記のAPI価格からわかるように、GPT-4oの時代は終わりを迎えつつあります。DeepSeek V3やMiniMaxが登場したことで、GPT-4o以上の高性能なAIを格安のAPIで利用できるようになりました。どちらもオープンソースモデルであるため、ローカル環境への導入も可能です。

MiniMaxとDeepSeek V3を比較すると、API価格はDeepSeekの方がわずかに安いです。しかし、MiniMaxの魅力は、4Mトークンという圧倒的な長文理解性能と、画像認識機能を備えているにも関わらず、この格安なAPI価格で利用できる点です。

（注：DeepSeekは画像認識はできませんが、OCR（光学文字認識）機能は備えています。そのため、表形式のデータなどは認識できますが、グラフやイラストなどの画像そのものを分析することはできません。）

 

まとめ

  • オープンソース: ローカル環境への導入が可能で、商用利用も認められています。
  • 高性能: Mixture of Experts (MoE) アーキテクチャを採用した 456B パラメータモデルです。
  • マルチモーダルAI: 画像認識に対応し、GPT-4o に匹敵する性能を発揮します。
  • 格安API: MoE アーキテクチャにより、画像認識機能を備えながらも非常に安価な API を実現しています。
  • 長文理解: Lightning Attention により、4M トークンという長大なコンテキスト長を持ち、高度な長文分析が可能です。

このMoE（Mixture of Experts）技術を活用することで、高性能かつ低コストで効率的なAIが登場しました。このモデルの魅力は、長文分析と画像認識を格安で利用できる点にあります。このようにAIが普及するにつれて、用途に適したAIを選択する必要性が高まっています。また、Mixture of Agents のように、入力されたデータに基づいて最適なAIを判断し、処理を振り分けるアルゴリズムも登場してきています。AIの波に乗り遅れないよう、最新の技術やトレンドを常に追いかけることが重要です。

今後もAIに関する記事をアップしていきますので、楽しみにしていてください。

 

参考文献