LIMOが変えるAI学習の常識：少ないデータで高精度推論を実現

by

目次：

  1. 導入
  2. LIMO仮説
  3. 実験と評価
  4. 成果
  5. 今後の展望
  6. まとめ

 

１．導入

中国のAI研究機関が2025年2月5日、AIの学習データに関する新しい事実を発表しました。論文の内容は「少ないデータ量で高い推論能力を引き出す」というものです。直近ではDeepseekが低コストで話題になったことも考えると中国のAI研究はAIの学習コストを削減することに力を注いでいるようです。

この記事では論文で提案されている「Less-Is-More Reasoning（LIMO）」の仮説について詳しく解説します。

 

２．LIMO仮説

LIMO仮説とは「少ないデータで高い推論能力を引き出せる」というもので、論文では2つの条件が提示されています。

  • 事前学習

近年のLLM(大規模言語モデル)は事前学習ですでに膨大な量のデータを学習しているので、推論に必要な知識をすでに備えている、という考え方です。

  • 少数、高品質なトレーニングデータの提供

学習時には適切に構造化された解法例（認知テンプレート）を与えることで、モデルが事前学習で獲得した知識を活用しやすくなる。

 

これらの条件がそろえば、従来のように数十万件のデータを与えて訓練する必要はない、というのがこの仮説のポイントです。

 

３．実験と評価

以下の表は様々な数学のベンチマークでLIMOモデルと代表的なモデル（o1-preview、Qwen2.5-32B）や10万件以上の大容量データでファインチューニングされたモデル（OpenThoughts、NuminaMath）を比較したものです。

この表を見てわかるように、LIMOモデルのトレーニングに使用されたデータ量はたったの817件であるにもかかわらず、o1-previewやその他のモデルと同等か上回る結果を残しています。LIMOはQwen2.5-32B-Instructを817件のデータを用いてファインチューニングしたものなので、このトレーニングでかなり性能が向上していることも見て取れます。

また、以下のグラフはトレーニングデータの量を同じにして質を変えたときの数学ベンチマークの評価の変化を表しています。

具体的には

・Simple-500：MATHのデータセットから簡単な（レベル１，２）問題を500個ランダムに抽出

・Complex-500：MATHのデータセットから複雑な（レベル3，4，5）問題を500個ランダムに抽出

・Advanced-500：過去のAIMEテストから発展的な問題をランダムに500個抽出

これらの結果からAIトレーニングにおいてデータ量よりもデータの質の方が重要であることがわかります。

 

４．成果

LIMOの主な成果は817件という圧倒的に少ないデータ量でo1-previewなどの比較的新しいモデルに匹敵する推論能力を発揮した点です。

また、推論プロセスに特化したいわば「少数精鋭」のデータによるトレーニングなので、一般化能力、つまり未学習問題への対応力も従来のトレーニング方法より優れていることがわかっています。

この研究は、認知テンプレート、つまり「解法の質」、「データの質」がモデルの性能向上に大きく寄与することを明らかにし、従来の大量のデータを用いたトレーニングの必要性を再考するきっかけとなるでしょう。

研究成果はオープンソースとして公開されていて、GitHubで利用可能です。

https://github.com/GAIR-NLP/LIMO

 

 

５．今後の展望

この研究ではAIモデルの数学の問題解決能力に限定して実験を行っていましたが、今後は数学以外の科学的推論、論理推論、因果推論にも適用できるかの検証が行われるでしょう。これが可能になればLLMのトレーニングコスト全体が大きく削減できる可能性があります。

しかしこの研究では実験による証明ができただけで、なぜ少ないデータ量で高い推論能力を発揮できるのかまでは特定されていません。今後事前学習された知識と推論能力の関係を数理モデルで明らかにし、推論能力の発現条件が特定されていくでしょう。

 

６．まとめ

少し前までアメリカの大手企業が先頭に立って進めていたAI開発ですが直近では中国がAI開発に力を入れており、アメリカ企業の超高額投資に対抗するように低コストで高い性能を発揮できる手法を開発しています。

おそらく最初にAGI（汎用人工知能）を開発した国が新たに世界の覇権を握ることになるので、今後も各国のAI開発競争に注目したいと思います。

 

 

 

参考文献：

https://arxiv.org/pdf/2502.03387