この記事では、Google Researchが発表した最新のAIアーキテクチャについてご紹介します。このアーキテクチャは、従来の基盤的なアーキテクチャである「Transformer」の技術を底上げするような、革新的な記憶処理アプローチをとっています。そんな最新の基盤技術「Titans」について、徹底的に見ていきましょう！
【目次】
１．Transformerの限界
自然言語処理（NLP）の技術は、2017年にGoogleの研究チームが開発したTransformerと呼ばれるモデルにより、大きな進化を遂げました。その成果のひとつが大規模言語モデル（LLM）と呼ばれるモデルです。これにより、OpenAIのChatGPTやGoogleのGeminiなどの生成AIを実現する技術的基盤が提供されるようになりました。Transformerの画期的な点は、「自己注意機構（Self-Attention Mechanism）」を中心に設計されていることで、文章内の各要素間の関係を数値としてモデル化し、重要な情報に効果的に注目することができるようになりました。
しかしながら、Transformerには技術的な欠点もあります。その主な課題のひとつは計算資源の消費量の増加です。Transformerは、事故注意機構を利用して文章内の全要素間の関係性を計算しますが、この計算量とメモリ使用量は文章の長さの2乗に比例して増加することが知られています。
また、Transformerは長期的な依存関係の学習に対する難しさも指摘されています。長い文脈や複雑なデータセットでは、重要なデータが埋もれてしまったり、前半の情報が後半に正しく伝わらなくなったりします。これにより、長期間の履歴が必要なタスクでは、モデルの性能が低下することがあります。
こうした課題を解決するため、Google Researchが提案した「Titans」という新しいアーキテクチャが注目を集めています。これは、短期記憶と長期記憶を効率的に活用することで、従来のTransformerの技術的欠陥を補完する技術です。
２．Titansの新しい記憶処理
Google Researchが提案した「Titans」では、人間の短期記憶と長期記憶の概念をモデル化し、それぞれの特徴を生かしてデータ処理を実行するのが大きな特徴です。
人間の記憶にヒントを得た設計
Titansは短期記憶と長期記憶を統合的に活用します。短期記憶は進行中のタスクや直近のデータを効率的に処理する役割を担い、長期記憶は過去のデータや経験を保存しておき、必要に応じて引き出す役割を果たします。特に長期記憶を更新するために、人間の脳の構造に基づいて設計されています。人間の脳の仕組みでは、期待から外れた（驚きのある）出来事が記憶に残りやすい傾向にあるとされています。また、覚えることと同じくらい重要なのが、不要な情報を忘却する仕組みです。人間の脳では、記憶容量を管理するために、関連性の低い情報は自然に忘れる仕組みを持っています。これをモデルに実装していくことで、効率的な記憶容量の利用を実現します。
Titansは「驚き度（Surprise Metrics）」を指標として、どの情報を長期記憶に保存するかを決定していきます。モデルのテスト段階では、モデルの予測と実際の結果が大きく異なる場合に、驚き度が高いと判断し、優先的に保存されるようになります。従来のモデルでは、テスト時は記憶を固定して実行されますが、Titansではテスト時でさえもリアルタイムで記憶を更新していくことができます。この仕組みによって、頻度の低い重要な情報を逃さずに記憶することができるようになるのです。
また、Titansでは短期記憶と長期記憶を独立したモジュールとしてではなく、階層構造として設計しています。これにより、短期記憶の情報が重要であると判断されると長期記憶に移行し、逆に不要な情報は削除されるようになっています。
３．３つの記憶処理アプローチ
Titansを用いて推論や意思決定を行う際に、記憶を効率的に活用するための仕組みとして、３つのアプローチが存在します。3つのアプローチとは、以下のような機能を持っています。
- 文脈に合わせて記憶を利用するアプローチ（Memories as a Context / MAC）
- 必要な情報を選ぶために記憶を利用するアプローチ（Memories as a Gate / MAG）
- 記憶をモデルの一部として組み込むアプローチ（Memories as a Layer /MAL）
(1)Memories as a Context / MAC
この手法では、過去の記憶を現在のタスクに適用するために、記憶を「文脈」として利用する方法です。具体的には、記憶をベクトル形式で保持しておき、それを現在の入力と統合してモデルに渡します。
(2)Memories as a Gate / MAG
この手法では、ゲート機構を用いて記憶をフィルタとして活用します。新しい情報が来るたびに、記憶との関連度を計算して重要度を判断します。重要度が高いと判断されると、長期記憶に移行されたり、既存の情報と入れ替えられたりします。
(3)Memories as a Layer /MAL
この手法では、記憶をモデルの内部層として統合し、直接的に推論に影響を与える仕組みです。(1)のMACとの違いは、『モデルへの統合の深さ』にあります。MACでは、記憶を補助的な情報として利用しますが、MALでは記憶を直接的にモデルと統合することで、ルールを見出して推論に生かします。
４．Titansの強みと特徴
論文で発表されている実験結果から、Titansの強みを探っていきましょう。Titansの実験では、言語モデリングや、常識的な内容の推論、DNAモデリング、時系列予測、さらには「needle-in-a-haystack」と呼ばれるタスクを行い、いくつかのベンチマークにおいては優れた性能を発揮しました。
中でも「needle-in-a-haystack（干し草の中の針）」というタスクでは、Titans(MAC)は最も高い結果を示しましたが、これは記憶容量の効率的な管理により、長文の中でも必要な情報を抽出することができたことを示しています。また、時間系列予測タスクにおいても、長期の予測では従来のモデルよりも優れた性能を発揮しました。
これらの成果は、Titansが短期的な依存関係を扱うTransformerアテンション機構と、長期的な情報を記憶・活用するメモリモジュールを統合して設計されていることに起因しています。さらに、Titansは2M以上のコンテキストウィンドウを効率的に処理できるため、従来のモデルと比較して、非常に長い依存関係を持つタスクで特に効果を発揮します。
５．まとめ
この記事ではGoogle Researchの発表した「Titans」をご紹介しました。Titansは、従来のTransformerアーキテクチャの欠点を補い、進化させる技術であり、特に短期記憶と長期記憶を人間の脳のメカニズムに基づいて統合することで、記憶容量を効率的に扱うことを可能にしています。またMAC、MAG、MALといった３つのアプローチにより、タスクに応じた柔軟な記憶の管理・活用が可能になっています。
実験結果では、言語モデリングや時系列予測、「needle-in-a-haystack」タスクにおいて、高い性能を発揮しており、記憶容量の効率的な管理や、長文の処理能力で従来のモデルを上回ることを示しました。この技術により、生成AIや自然言語処理（NLP）の分野で、さらなる長期的な予測や情報抽出精度の向上が見込まれています。