GPT-4.5:スケールアップした教師なし学習と新たな最適化手法で最先端のGPTモデルを実現!

この記事では、OpenAIの「GPT-4.5」をご紹介します。米OpenAIは、2025年2月27日(現地時間)にGPTモデルファミリーの最新モデルである「GPT-4.5」を発表しました。GPT-4.5は事前学習と事後学習の両方をスケールアップすることで実現した最先端のモデルとなっています。その特徴を、GPT-4oやo1、o3-miniと比較しながら詳しく見ていきましょう。

 

【目次】
  1. GPT-4.5とは?
  2. GPT-4.5の学習手法
  3. GPT-4.5の特徴と進化
  4. モデルの提供・APIについて
  5. まとめ

 

1.GPT-4.5とは?

GPT(Generative Pre-trained Transformer)とは、OpenAIが提供する事前学習済みモデルの総称であり、これまでに何世代ものモデルが開発・発表されてきました。直近では2024年5月にGPT-4の後継モデルとして「GPT-4o」が発表され、ChatGPTのデフォルトのモデルとして活躍してきました。最近ではこうしたGPTモデルとは別に、推論特化型モデルの開発が盛んに行われており、2024年9月に「o1」モデルシリーズ、2025年1月末に「o3」モデルシリーズを発表しました。これらは、高度な推論を要する数学や科学のタスクにおいて優れた性能を発揮するモデルとして注目されてきました。

今回発表されたGPT-4.5は、これまでの推論特化型モデルとは異なる方向性を持つように見えます。しかし、AGI(汎用人工知能)の実現という大きな目標を見据えた場合、「推論能力の向上」「知識の精度および直感的理解の強化」の両方が不可欠です。GPT-4.5は後者に重点を置いたモデルであり、その点で既存の推論モデルと対立するものではなく、相補的な関係にあると言えるでしょう。

 

2.GPT-4.5の学習手法

GPT-4.5では、事前学習と事後学習の両方でスケールアップを実現しています。

  • 事前学習:より小規模なモデルの活用と教師なし学習のスケールアップ
  • 事後学習:SFT(教師ありファインチューニング)とRLHF(人間のフィードバックによる強化学習)
より小規模なモデルの活用

GPT-4.5では、より小規模なモデルを活用することで、データ生成やトレーニングの効率を向上させています。この手法により、GPT-4.5の操縦性、ニュアンスの理解、そしてより自然な会話ができるようになったと報告されています。

教師なし学習のスケーリング

GPT-4.5では、Microsoft Azure AIスーパーコンピュータを使用して、データ量と計算資源を大幅にスケールアップしています。これにより、より広範な知識の獲得、直感的な理解力の向上、ハルシネーションの低減が実現されました。SimpleQAと呼ばれるベンチマークで比較した様子を以下に示します。

この図(左)から、GPT-4.5はGPT-4o、OpenAI o1、OpenAI o3-miniを上回る知識を獲得していることがわかります。同様に図(右)では、ハルシネーション(幻覚)の割合が報告されており、既存の先端モデルよりも低い水準となっていることが確認できます。ただし、依然として約37%の幻覚率があることには注意が必要でしょう。また、推論モデルとして注目を集めたOpenAI o3-miniについては、SimpleQAのタスクにおいて約80%の割合でハルシネーションを起こしており、モデルの信頼性がやや低いことが伺えます。

SFTとRLHFの統合

GPT-4.5では、SFT(教師ありファインチューニング)とRLHF(人間のフィードバックによる強化学習)を組み合わせた最適化手法を導入しています。これらの手法により、モデルの安全性や整合性が向上したとされています。

 

3.GPT-4.5の特徴と進化

GPT-4.5では、上述したような学習手法の改善を取り入れた結果、いくつかの点でモデルの性能が向上しました。

対話の自然さとEQの向上

GPT-4.5は、人間との協働に適した、温かみのある直感的な会話ができるようになったと報告されています。人間の言葉の意味をより深く理解し、ちょっとしたニュアンスの把握、さらに美的センスや直感などもできるようになったとされています。特にEQ(心の知能指数)が向上したことで、これまでのような淡白な回答ではなく、より人間に寄り添った回答を提供できるようになっています。

この図は、GPT-4.5とGPT-4oの回答のどちらが人間のテスターに好まれたかを示しています。特に専門的な文脈において、GPT-4.5の回答は60%以上の割合で人間のテスターにより優れていると判断される傾向が見られました。

また、ユーザーがテストに失敗して落ち込んでいることを相談した際、GPT-4.5はユーザーの感情に寄り添い、共感を示す回答を返しました。その一方で、GPT-4oは「なぜ失敗したのか」、「学習計画の立て方」などのアドバイスを次々に提案し、ユーザー感情に寄り添う姿勢が不足しているように感じられました。この点で、GPT-4.5はEQ(心の知能指数)が向上したモデルと言えるでしょう。

他のモデルとの比較

SimpleQAと呼ばれるベンチマークでは、GPT-4.5がこれまでのGPTモデルやo1、o3-miniを凌駕する性能であることが報告されています。他のベンチマーク評価も確認していきましょう。GPT-4.5は「直感的な理解力」を強化したモデルであるため、知識に関するベンチマークではGPT-4oを上回りました。その一方で、GPT-4.5は「推論能力」を大幅に強化したモデルではないため、数学などの高度な推論を要するタスクにおいては、OpenAI o3-miniに大きく引けをとる形になりましたが、多言語対応や科学試験ではOpenAI o3-miniに匹敵する性能を示しました。推論能力の向上は、次世代モデルの課題となりそうです。

 

4.モデルの提供・APIについて

GPT-4.5はChatGPTおよびAPIにより提供されています。

ChatGPTでの利用については、現段階ではProユーザーに提供されており、今後はPlus、Enterprise、教育機関向けにも展開を予定しているとのことです。また、マルチモダリティについては、画像・ファイルのアップロードが可能ですが、音声や動画の機能は未対応となっているとのことです。

APIの提供については、Chat Completions API、Assistants API、Batch APIで提供されています。GPT-4.5は非常に大規模なモデルに設計されているため、GPT-4oよりも高価となっています。そのため、長期的なAPIの提供は未定としています。

API料金は、1M入力トークンに対して$75(Prompt Cachingの適用で半額)、1M出力トークンに対して$150となっており、GPT-4oと比較すると入力は30倍、出力は15倍も高価になっているため、導入には十分な検討が必要です。

 

5.まとめ

この記事では、OpenAIが最新の研究プレビューとして発表した大規模言語モデル「GPT-4.5」をご紹介しました。このモデルは、事前学習と事後学習をスケールアップすることで、以下のような特徴を備えています

  • 知識の拡充とハルシネーションの低減
  • 自然な対話とEQの向上

また、現在はChatGPT上でProユーザー向け、およびAPIとして提供されています。GPT-4.5は、知識の精度や直感的な理解力を向上することで、GPTモデルの可能性と重要性を示しています。GPT-4.5に加えて、推論特化型モデル(OpenAI o1, o3-miniなど)と並行して強化することにより、AIエージェントやAGI(汎用人工知能)の実現可能性が高まっていくことが期待されます。

 

【参考文献・画像出典】