この記事では、Googleが2022年に発表したPaLMを紹介していきます。
【GoogleのPaLMとは】
PaLMはGoogleが2022年4月5日に論文を公開した大規模言語モデルです。このモデルにはPathwaysというGoogleのAIアーキテクチャが用いられていて、これはPaLMの名前の由来にもなっています。また、PaLMには第２世代のPaLM2がありますが、Google Bardの内部で作動するLLMが2023年5月10日にLaMDAからPaLM2に変更され、さらに性能が上がりました。
【開発の目的・背景】
従来のAIモデルは一つのことに特化するように設計されていました。そのため、新しい課題を解決するモデルを開発するためにはゼロから学習する必要があります。しかし、これでは膨大な時間やコストがかかるため非常に非効率だという問題点があります。そこでGoogleは、多くの別々のタスクを処理できるだけでなく、新しいタスクをより速く、より効率的に学習できるようなモデルを作ろうと考えました。こうした背景からPathwaysという複数のタスクに対応できるAIアーキテクチャが開発されたのです。
他にも課題はありました。それは、AIモデルの多くが「高密度」であることです。ここでいう「高密度」とは、あるタスクを達成するために、どんなに簡単なタスクであっても、ニューラルネットワーク全体を活性化させる必要がある状態のことを指します。これは、必要な部分のみを呼び出して対応する人間の脳の構造とは異なります。そこで、Googleは「高密度」でない、すなわち「まばら」に活性化される単一のモデルを構築しようと考えました。それがPathwaysモデルであり、実際にこのモデルはネットワークのどの部分がタスクの実行に最適であるかを学習し、最も関連性の高い部分にタスクを通すため、非常に効率が良くなります。
【学習方法】
◎学習データ
PaLMの事前学習データは7800億個のトークンです。実際のデータの割合は次の通りです。
- 多言語にわたるSNSの会話：50％
- 多言語にわたるWebサイト：27%
- 英語の書籍 ：13％
- GitHubのコード ：5％
- 多言語のWikipedia ：4％
- 英語のニュース ：1％
◎学習方法
GoogleのこれまでのLLM（例えばBERTやLaMDA）は、ネットワークアーキテクチャであるTransformerをベースとして開発されましたが、PaLMも同様にTransformerをベースに作られています。それに加えて、Pathwaysという新しいAIアーキテクチャを用いることで、学習の高速化を実現しました。Pathwaysを用いた学習の仕組みを簡単に解説すると、3072個のTPU v4チップからなるTPU v4 Podを2つ用いて、並行して効率よく学習を進めます。TPU（Tensor Processing Unit）とはGoogleが開発した深層学習を高速化するためのプロセッサのことであり、その第4世代がv4ということになります。
【PaLMの能力の評価】
能力の定量的な評価を見ながら、PaLMにできることをいくつか紹介していきます。
①推論
推論は既知の事柄と論理規則に基づいて未知の事柄を明らかにする能力のことです。正しい答えを出すには、多段階に渡る推論が必要になりますが、言語モデルはこうした多段階の推論が得意ではありません。以前の研究で、多段階の推論を要するタスクに対して、中間のステップをはさむことにより、精度が向上することが認められています。これを思考連鎖プロンプトと呼びます。PaLMの研究では、いくつかのタスクに対して、手書きで思考連鎖プロンプトを書き加え、その後は自動的に中間ステップを生成できるようにしました。
その結果として、GSM8Kという8500個の小学生レベルの算数の文章問題を解かせた場合、PaLMは最大で58%の精度でした。一見するとそれほど高くないようですが、GPT-3が33％であったことから、PaLMの推論の実力の高さがわかります。
②コード関連のタスク
PaLMはコードに関するタスクも実行することができます。論文では主に２つのコードのタスクを実行していて、ひとつはテキストからコードを生成するタスク、もう一つは、コードからコードを生成するタスクとなっています。コードからコードへの変換タスクは例えば、PythonプログラムをC++プログラムに書き換えることなどが挙げられます。PaLMの最終目標は、学生の書いたコードで破損している箇所を訂正し、きちんとコンパイルされるようにすることだと書かれています。
③翻訳のタスク
GPT-3などのLLMでは、翻訳したい言語同士の学習などをしていないにもかかわらず、英語への翻訳についてはある程度の水準の能力があることが示されています。しかしながら、英語からの翻訳については、著しい結果を得られないでいました。PaLMでも翻訳タスクを行いましたが、やはり、英語からの翻訳よりも英語への翻訳の方が好成績でした。
一方で、ドイツ語→英語、ルーマニア語→英語の翻訳タスクは、翻訳用にファインチューニングした当時の最先端のモデルよりも良い成績でした。また、技術レポート内の言語では、PaLMはGPT-3よりも翻訳の成績が優れていました。
④多言語に渡る自然言語の生成
これまでに大規模言語モデルで多言語にわたる自然言語の生成能力を測った研究はありませんでした。そこで比較対象をGoogleの言語モデルであるLaMDAとして、自然言語の生成能力を測りました。
ここでのタスクの例をいくつか挙げてみます。
- MLSum ：ドイツ語または英語のニュース記事を要約する。
- WikiLingua ：段階的な説明を簡潔に要約する。但し、スペイン語、ロシア語、トルコ語、ベトナム語から英語の文章に要約する。
- XSum ：英語のニュースの記事を一文で要約する。
- WebNLG 2020 ：主語-述語-目的語の三段論法を、1つまたは複数の文の中で、文法的かつ自然な形で言語化する。
【まとめ】
この記事のまとめは以下の通りです。
- PaLMは、新しいタスクを速く効率的に学習できる”Pathways”というAIアーキテクチャを用いたLLMである。
- 最大で5400億パラメータと以前のモデルよりも精度が上がっており、複雑なタスクにも対応できる。
- 29個の英語の自然言語処理タスクにうち、28個において従来のLLMよりも優れた結果を示した。
- PaLMは推論や多言語にわたる自然言語の生成なども可能である。