この記事では、Liquid AIが開発した基盤モデル「Liquid Foundation Models (LFMs)」をご紹介します。この基盤モデルは2024年9月30日に発表され、メモリの消費量を抑えつつ、高効率な推論を実現している点が魅力です。Liquid AIの公式ブログについては以下のリンクからご確認ください。
【目次】
１．LFMsとは？
はじめに、Liquid AIについて紹介します。Liquid AIはMIT（マサチューセッツ工科大学/Massachusetts Institute of Technology）のCSAIL（Computer Science and Artificial Intelligence Laboratory）のスピンオフ企業で、主にAIの基盤モデルの開発を手掛けています。CSAILはMITの中のコンピュータ科学やAIに関する研究を行う研究所です。Liquid AIの創業メンバーらは、CSAIL時代に「Liquid Time-constant Networks（時間依存するデータに柔軟に対応できるニューラルネットワークのこと）」と呼ばれる技術について研究をしており、その研究の名称から社名がついています。そんな注目のAI企業が今回発表したのが、LFMs（Liquid Foundation Models）なのです。
LFMsは完全に０から設計された基盤モデルで、LFMsの第一世代として3つのモデルが発表されました。LFMsは、動的システム理論や信号処理技術、数値線形代数などの分野に基づいて開発されました。LFMsは動画や音声、テキスト、時系列、信号などのデータをモデル化するのに利用できる、マルチモーダル（汎用）モデルです。今回の発表では3つの異なるパラメータ数を持つモデルが紹介されましたが、これらを総称する際は「LFMs」、単一のモデルを指す場合は「LFM」と呼び分けているようです。
２．LFMsの性能評価
LFMsの第一世代として発表されたのは、以下の３つのモデルです。
- LFM-1B：パラメータ数が13億の軽量モデル
- LFM-3B：パラメータ数が31億の通常モデル
- LFM-40B：パラメータ数が403億のMoEモデル(注*)
(注*)MoEモデルとは、Mixture of Expertsの略で、様々な専門家モデルを統合したモデルであり、タスクごとに必要な専門家のみを呼び出す仕組みとなっています。MoEモデルでは、実際の推論に使用されるパラメータ数（アクティブパラメータ数）が、モデルのパラメータ数より小さくなるため、エネルギー効率の良いモデルです。
これらのモデルの性能の詳細については、公式ブログをご覧ください。ここでは最もパラメータ数の大きいLFM-40Bの性能を見ていきます。
図１ LFM-40Bのベンチマーク評価
LFM-40BはMoEモデルなので、実際に推論で使用されているパラメータ数は12B（120億）となっています。この表では、LFM-40Bよりもパラメータ数（あるいはアクティブパラメータ数）が大きいモデルと比較しています。MMLUという最も有名なベンチマークテストの高精度版MMLU-Proでは、これらのモデルの中で最も高い性能を示しています。このベンチマークテストでは高難度の推論などもあり、現段階での最上位モデルClaude 3.5 Sonnetは78.0%、Gemini 1.5 Proは75.8%の精度となっています。
３．LFMの魅力と今後の展開
LFMsの公式ブログでは様々な魅力が紹介されていますが、主に３つの魅力を深堀りしていきます。
-
少ないパラメータ数で比較的高い精度を実現！
前述した通り、LFMsは少ないパラメータ数で大きなパラメータ数を持つモデルよりも精度の高い出力ができる点が魅力のひとつです。他のMoEモデルと比較しても劣らない性能が確認できます。
-
大幅にメモリ効率を改善！
もう一つの大きな魅力が「メモリ効率の良さ」です。これまでのLLMの多くはTransformerと呼ばれる基盤アーキテクチャをもとにして開発されてきました。OpenAIのGPTシリーズやAnthropicのClaudeシリーズ、MetaのLLaMAシリーズも例外ではありません。このように、Transformerなしでは開発できないと思われていた程、LLMの基盤に欠かせない技術でした。しかしLiquid AIはこの常識を覆すかのように、Transformerを基盤として使用しないモデルを開発したのです。その結果、従来のTransformerを基盤としたモデルよりも、メモリ効率の良いモデルを実現しました。
図２ LFM-3Bとその他のモデルの出力におけるメモリ効率
このグラフでは横軸が出力の長さ（トークン）と縦軸が推論時のメモリ使用量（GB）を表しています。グラフを見ると、多くのモデルでは出力が長くなるほど、メモリ使用量が指数関数的に増加していくことがわかります。しかし、Liquid AIのLFM-3Bは他のモデルと比較してもメモリ使用量の立ち上がりが遅く、長文にわたる出力でもメモリ消費量を抑えることができます。
-
長文の入力でも生成速度がほとんど変わらない！
先ほどの出力に対するグラフと同様に、従来のTransformerベースのモデルは、入力が長くなるとメモリ使用量が爆発的に増加してしまいます。そのため、Transformerモデルはユーザーの端末での展開には不向きです。その一方で、LFMは推論時間とメモリの複雑度がほぼ一定となるため、入力テキストが長くなっても生成速度やメモリ使用量に大きな影響がありません。
【今後の展開】
Liquid AIの今後の展開としては、モデルのサイズやコンテキスト長などにわたってLFMsを拡大していきたいと発表しています。こうした言語モデルとしてのLFMsの開発だけではなく、様々なデータ形式に対応したモデルの開発や、様々な領域に応用していくことを目標としています。具体的には生物学や金融、消費者向けの電子機器の開発などに活用されていくことが期待されています。
４．LFMsの利用方法
Liquid AIの最新モデルLFMsを利用するには、Liquid Playground上で利用することができます。ここで利用可能なモデルはLFM-40BとLFM-3Bとなっています。パソコンのような大型端末ではLFM-40Bの利用、スマートフォンのような小型端末ではLFM-3Bの利用が推奨されています。現段階ではテキスト入力のみ対応していますが、ファイルアップロード機能やWeb検索機能の準備も進んでいるようです。
５．まとめ
この記事ではLiquid AIのLiquid Foundation Models（LFMs）についてご紹介しました。Liquid AIとLiquid AIの開発した基盤モデル「LFMs」の特徴をまとめます。
- Liquid AIはMIT CSAIL出身のメンバーが創業したAI企業
- LFMsはテキストや音声、動画などのデータを扱えるマルチモーダル（汎用）モデル
- LFMsはTransformerを使用せずに設計されたモデル
- LFM-40Bは少ないパラメータ数ながら高い精度を実現！
- メモリ効率が高く、長文の入力でも安定した生成速度を保つ！
Liquid AIのLFMsは、現段階ではGPTやClaudeよりもパラメータ数が小さく、その性能は必ずしもトップレベルではありません。しかしLFMsは、これまでのLLMの開発で常識とされていたTransformerを利用することなく、全く新しいアプローチで開発されています。そのため、メモリ効率の高さを誇っています。Liquid AIのモデル拡大にも期待できそうです。