生成AIを評価する～ベンチマークテストとは～

by

目次：

１．導入

２．ベンチマークによる評価方法

３．ベンチマークによる性能の数値化

４．まとめ

 

１．導入

大規模言語モデルブームの火付け役であるChat GPTの登場から数年がたち、競い合うように様々な企業が生成AIの開発を行い、今ではかなりの数の高性能な大規模言語モデル（LLM）が登場しています。Chat GPT４o、Claude3.5Sonnet、Llama３などどれも高性能でもはやどれを使っていいかわかりません。そこでこれらのLLMの性能を分かりやすく評価する基準が必要になります。それがベンチマークテストというものです。新しいLLMを発表した企業が自社のLLMの性能を証明するためにリサーチレポートなどに必ず結果を掲載しています。しかしこのベンチマークというものはどのように、どのような基準でLLMの性能を数値化しているのでしょうか？この記事ではベンチマークの解説をしたいと思います。

 

２．ベンチマークによる評価方法

ベンチマークテストでは、定められた基準に基づいて性能を測定します。これにより、同一条件下で異なるモデルの性能を比較することが可能になります。

ベンチマークには様々な評価タスクが含まれており、LLMの多面的な能力を測定します:

  • 文章完成能力: HellaSwagのようなテストでLLMがどの程度適切に文章を完成できるかを評価します。
  • 真実性: TruthfulQAなどを用いて、モデルの回答の真実性や正確性を測定します。
  • マルチタスク能力: MMLUのようなテストで、LLMが複数のタスクをどの程度こなせるかを評価します。
  • 構造化情報の抽出: LLMが情報をどれだけ正確に抽出できるかを測定します。
  • 質問応答: ユーザーの質問にどの程度適切に回答できるかを評価します。

※HellaSwag：常識的推論能力を測定するためのベンチマークです。

  • 文章の続きを4つの選択肢から選ぶ形式のテストです。
  • 日常的な状況や出来事に関する問題が出題されます。
  • モデルの常識的な理解力や文脈把握能力を評価します。
  • 人間にとっては簡単な問題でも、AIにとっては難しい問題が含まれています

※TruthfulQA：モデルの回答の真実性を測定するためのベンチマークです。

  • 817の質問で構成され、38のカテゴリーにわたっています。
  • 健康、法律、金融、政治などの分野が含まれます。
  • 人間が誤って信じがちな誤概念や偽情報に関する質問が設計されています。
  • モデルが真実を述べるか、人間の誤った信念を模倣するかを評価します。
  • 生成タスクと多肢選択タスクの2つの形式があります。

 

３．ベンチマークテストによる性能の数値化

パフォーマンス指標

  • 応答時間: システムが要求に応答するまでの時間を測定します。これは多くのベンチマークで重要な指標となっています。
  • スループット: 単位時間あたりに処理できるトランザクション数や操作数を評価します。システムの処理能力を示す重要な指標です。
  • リソース使用率: CPU、メモリ、ディスク、ネットワーク帯域幅の使用状況を監視します。これらの指標はシステムの効率性を評価するのに役立ちます。

機能性評価

  • 正確性: システムが正しい結果を提供する割合を数値化します。多くの場合、正解率やF1スコアなどの指標が使用されます。
  • 信頼性: システムの安定性を測定します。エラー発生率やダウンタイムの頻度などが指標として用いられます。

スケーラビリティ

  • 負荷テスト結果: 増加する負荷に対するシステムの性能変化を数値化します。例えば、ユーザー数が増加したときのレスポンスタイムの変化などが指標となります。

特定タスクの評価

LLM（大規模言語モデル）の場合、以下のような特定タスクに対する性能指標が用いられます:

  • 質問応答の正確性: 質問に対する回答の正確さを数値化します。
  • 文章生成の品質: 生成された文章の流暢さや一貫性を評価します。
  • 多言語能力: 異なる言語間の翻訳精度や理解度を数値化します。

 

４．まとめ

多くのベンチマークでは、複数の指標を組み合わせて総合的なスコアを算出します。これにより、システムの全体的な性能を単一の数値で表現することが可能になります。ベンチマークテストでの性能の数値化は、テストの目的や対象システムによって異なる場合がありますが、上記のような基準を用いて客観的かつ定量的な評価を行うことが一般的です。ただし、単一の指標や少数の指標のみに依存すると、システムの性能を過大評価してしまうリスクがあるため、複数の観点から評価することが重要です。

参考文献：

LLM（大規模言語モデル）を分かりやすく解説！簡単な仕組み・種類・活用事例を紹介！ | 株式会社アスク (ask-corp.jp)

LLM評価の実行、ベンチマークに必要なものについて解説 – Ichizoku

truthfulQA_lin_evans.pdf (owainevans.github.io)