目次:
- 導入
- o3シリーズに関する基本情報
- o3-miniの詳細な性能評価
- 実際の使用感
- まとめ
1.導入
米OpenAI社は2025年1月31日、最新の推論モデルであるo3に先行してo3-mini, o3-mini-highをリリースしました。o3は1日50回程度という利用制限はつきますが無料で利用可能で、Plus、Teamユーザーであればo3-mini-highも含めて1日150メッセージまで利用可能です。Proユーザーならすべてのモデルを無制限で使用できます。
同日にOpenAIからo3-miniの性能に関するレポートが発表されていたので、この記事ではこのレポートや実際に使用してみた体感をもとにo3-miniとo1の違いを見ていきたいと思います。
2.o3シリーズに関する基本情報
まずはo3-miniがどのようなモデルなのか確認します。o3-miniは従来のモデルに比べてSTEM分野(科学、技術、工学、数学)やコーディングの推論能力が強化された最新モデルで、miniの特徴である軽量性も備えています。そしてo3-mini-highはo3-miniよりも軽量ではないもののさらに高い推論精度を持っています。
しかし検索機能は使えますが画像解析はできないので、そこはo1を使用することになりそうです。
o3-miniの画期的な点は低い推論コスト、早い応答速度でo1と同等の性能を発揮していることです。レポートではo3-miniはo1-miniと比較して重大なエラーも39%減少したとも報告されています。
3.o3-miniの詳細な性能評価
以下はSTEM分野とコーディングのベンチマークによる評価をo3-miniとo1で比較した
ものです。
これらを見ると、o3-mini-highはSTEM分野ではo1を完全に上回る性能を持っていることがわかり、o3-miniもo1に匹敵する性能を持っていることがわかります。
4.実際の使用感
実際に使用するにあたってo1、o3-mini、o3-mini-highにそれぞれ物理モデルの数学的解析をさせてみたところ、o1とo3-miniには目立った違いは見られませんでした。しかしo3-mini-highは補完2つのモデルより詳細な解析を行ってくれました。
また、o3シリーズは複数の検証ステップを設けているため、アイデア出しに優れています。実際にアイデア出しを頼んでみました。
・プロンプト:
「現在、生成AIそのものは大きく進化していますが、進化した生成AIをどのように利活用するかが社会課題となっています。現在の生成AIを利用したビジネス領域の市場調査を行い、今までにない画期的な生成AIを活用したビジネスプランを考えて下さい。」
・o1の回答:
『1.生成AIをめぐるビジネス活用の市場動向
2.市場分析から導く新たなビジネスチャンスの方向性
3.画期的な生成AIビジネスプラン:「AIパーソナライズ・コミュニティ起業支援プラットフォーム」
異なる業界・分野(食品、IoT、医療、ファッションなど)の専門知識を統合し、生成AIによって革新的なアイデアや製品を生み出す。
4.導入ロードマップと展開戦略
5.リスクと課題
6.まとめ
(長すぎたので見出しのみ表示)』
このようにかなり詳細な一つのプランを考えてくれました。
・o3-mini-highの回答
『■ 市場調査と背景
■ 画期的な生成AI活用ビジネスプラン:「CoGenAI 共創プラットフォーム」
- コンセプト
「CoGenAI(コージェンエーアイ)」は、生成AI技術を単一用途ではなく、企業の業務効率化、新規事業創出、人材育成のすべてを統合的に支援する共創プラットフォームです。最新のマルチモーダル生成AIに加え、ブロックチェーン、IoTデータ連携機能を組み合わせ、企業内外の関係者がリアルタイムにアイデアを創出・検証し、実装まで支援する仕組みを提供します。
- 主な機能と特徴
- ビジネスモデル
- 展開戦略
■ 期待される効果と社会的インパクト
■ まとめ』
o1の内容と大きく変わらない気もしますが、o3-mini-highには検索機能がついている分より実用的な回答が得られていると思います。
・使用感のまとめ
数学的なタスクとアイデア創出の2種類のタスクで実際に使用してみましたが、STEM分野ではないアイデア出しではあまり変化は見られませんでした。
しかし数学的タスクにおいては複雑化すればするほどo3-mini-highの性能の高さが実感できました。
5.まとめ
ではこれらのモデルはどのように使い分ければいいのでしょうか?
まずo1はo3シリーズに比べて幅広い分野に対応できます。それでいて深い推論能力も持っていることがo1の強みです。よってo1はより幅広いタスクに対応する一方、o3-miniはSTEM分野の中小規模のプロジェクトや学習支援への応用が期待されています。さらにo3-mini-highはさらに高精度な推論が可能なため、より複雑なタスク、研究開発への応用が期待されています。
今後o3モデルもリリースされると思いますが、使用感が楽しみです。
:参考文献