【本記事の要点】
- LLMとは『大規模言語モデル』のこと！
- LLMは言語モデルにおいて３つの要素を大規模にしていて、自然言語処理の分野で利用される
- 多種多様なLLMが日々進化している！
【LLMとは何か？】
はじめにLLMとは、大規模言語モデル（Large Language Model）の頭文字をとった言葉です。大規模言語モデルは自然言語処理の分野で使用される深層学習モデルのひとつであり、膨大なテキストデータを学習することで人間の指示に対して、人間のように自然な回答を返すことができます。大規模言語モデルというくらいですから、通常の言語モデルより何かが大規模になっていると考えるのではないでしょうか。そこで言語モデルについても解説していきます。
【言語モデルとは】
そもそも言語モデルとは何でしょうか。言語モデルとは、人間の言語を単語の出現確率を用いてモデル化したものです。端的に言えば、「言語表現の確率分布」のことです。日本語の場合について具体的に考えてみましょう。例えば、「私」という単語に対して、次にくる単語はどのようなものがあるでしょうか。「私」は名詞ですから、助詞の「は」「の」「に」などが続くのが自然です。これらの「は」「の」「に」の発生確率を表すものが言語モデルです。さらに進めて「私の」という言葉があるとすると、次に続く単語は「手」「考え」「もの」、他にも「好き/な/食べ物」などがあるでしょう。こうした単語の発生確率をあらわすのが言語モデルです。
言語モデルがわかったところで、次は何が大規模なのかということについて解説していきます。
【何が大規模！？】
では何がそんなに「大規模」なのでしょうか。言語モデルには「計算量」「データ量」「モデルパラメータ数」という３つの指標が大きく関わってきますが、大規模言語モデルは通常の言語モデルよりも、これらの「計算量」「データ量」「モデルパラメータ数」が大規模になっています。それぞれについて簡単に説明します。
〈計算量〉
前述のとおり、LLMは言語モデルを元にしているので、確率の計算をする必要があります。計算量はその名の通り、こうした確率分布の計算の量のことを表します。
〈データ量〉
言語モデルにおいて読み込ませるデータの量のことです。特にテキストデータの情報量のことを指します。
〈モデルパラメータ数〉
AIの深層学習モデルでは、入力されたデータの特徴を多層に渡って学習します。この学習過程で重みやバイアスといったパラメータを最適化しています。パラメータ数が増えることで、知識が増したり表現力がより豊かになったりするため、複雑なモデルになります。しかし、パラメータ数が多くなると、計算時間が長くなったり、過学習を起こしたりするという欠点もあります。
【自然言語処理とは】
自然言語処理とは、人間の使う言語をコンピュータが分析、理解、生成できるような一連の技術のことです。コンピュータができた頃から、コンピュータと会話をするにはプログラミング言語をある程度学習しなければならないという欠点がありました。しかしそれでは不便であるということで、自然言語処理技術の開発が進められてきたという背景があります。
【LLMにはどのようなものがあるの？】
ここでは有名なLLMを紹介していきます。
ひとつはChatGPTでお馴染みのGPTです。こちらに関しては多くの方が耳にしたことがあるのではないでしょうか。もうひとつ有名企業のLLMとして挙げられるのが、GoogleのBERTです。こちらについては名前こそあまり聞かれないものの、様々な分野で活用されています。実はBERTが開発されたのは、既に５年以上前のことになります！
他にも目的に合わせて多種多様なLLMが開発されています。少しだけ挙げてみても、
- Googleの「Gemini」
- Metaの「LLaMA」
- Anthropicの「Claude」
- オルツの「LHTM-2」
- スタンフォード大学の「Alpaca 7B」
- Deeprenuerの「blue-lizard」
などがあります。国内外では、その後も続々と毎週のように新たなLLMが発表をされています。
【本記事のまとめ】
本記事では大規模言語モデル（LLM）について紹介しました。
- LLMは自然言語処理の分野で使用される深層学習モデル
- 従来の言語モデルかよりも「計算量」「データ量」「モデルパラメータ数」を大規模にした
- LLMは用途に合わせてたくさん開発されている！
今後もLLMの進化に注目していきましょう！