この記事では、近年注目を集めている説明可能なAI（Explainable AI/XAI）について、最新の動向を解説します。
目次
１．XAIとは
近年の人工知能（AI）の進化は著しく、私たちの生活に様々な恩恵をもたらしています。LLMの進化によって実現した生成AIのツールは日々拡大しており、ChatGPTやClaude、Geminiなどはみなさんも聞いたことがあるのではないでしょうか。これらのAIツールは私たちの質問に素早く回答してくれるため、非常に便利なAIアシスタントとなっています。その一方で、AIモデルには「ブラックボックス化」という課題が浮上しています。特に深層学習（ディープラーニング）を用いたモデルは、その判断過程が人間には理解しにくいものとなりつつあります。この「ブラックボックス化」の問題は、AIが出力する結果の妥当性や信頼性を低下させる要因にもなっています。
外部の情報源からデータを取得するRAGという手法を用いたモデルでは、その判断の根拠となる文献を表示するといった工夫もあり、PerplexityやSearchGPT、Consensusなどのツールがそれに該当します。しかしながら文献を提示しても、その情報をもとに「どのようにして考えたのか」という思考過程がわからないという問題は依然として残されています。ここで注目されるのが、「説明可能なAI（XAI: Explainable Artificial Intelligence）」です（以下、XAI）。XAIは、AIがどのようにしてその判断に至ったかをわかりやすく説明する技術を指します。XAIは説明責任を果たす必要のある分野（医療や金融など）でAIを導入する際に非常に重要な技術です。
２．XAIの主要な技術
XAIを実現するために様々な技術が考案されています。後述の参考文献では12種類の技術を比較していますが、以下ではXAI技術を以下の２つの観点から分類し、それぞれの特徴を解説していきます。
＜説明範囲による分類＞
①局所的説明
局所的説明は、特定の入力データに対して、モデルの予測に対する理由や根拠を説明する手法です。
具体的な手法としては、特徴量ベースの判断や事例ベースでの判断などが挙げられます。特徴量ベースでの判断では、どの特徴量が最も影響を与えたかを示します。また事例ベースの判断では、対称のデータと類似した過去の事例を提示することで、判断の根拠とします。
②グローバル説明
グローバル説明は大域的な説明手法のことであり、モデル全体の振る舞いや傾向を説明する手法となっています。この手法はデータ全体を俯瞰的に分析する場合に適しており、特にモデルの設計や改善に役立ちます。
具体的な手法としては、特徴量の重要度を示す方法や、モデルの意思決定ルールを人間が理解できる形で抽出する方法などが挙げられます。
＜データ形式による分類＞
①数値データ向け
数値データは、表形式で表されるような構造化データとなっています。数値データを対象とする手法では、特徴量の重要度を評価する手法や、部分依存プロットと呼ばれる手法、ルールベースで説明する手法などが挙げられます。
②画像データ向け
画像データはピクセルの集合として表現される非構造化データです。画像データを対象とする手法では、アテンションマップと呼ばれる手法や、セグメンテーションベースの手法などが挙げられます。アテンションマップでは、入力画像のどの領域が判断の根拠となっているのかを、ヒートマップで可視化します。セグメンテーションベースの手法では、画像を意味のある領域に分割し、各部分の予測に対する重要度を評価します。
アテンションマップの様子（参考文献より引用）
③テキストデータ向け
テキストデータは、単語や分の連続として表現される非構造化データです。テキストデータを対象とする手法では、単語の重要度を評価する手法があります。これには、テキスト中の単語を削除したり置換したりした場合の予測の変化を分析し、重要な単語を特定する方法や、テキスト中の各単語が予測にどのように寄与しているのかを評価する方法があります。
これらの他にも、モデル依存性や説明生成のタイミングなどで、XAIの手法を分類することも可能です。その中でも主要なXAI技術を、以下に４つご紹介します。
・SHAP(Shapley Additive Explanations)
ゲーム理論に基づく手法で、各特徴量がモデル予測にどの程度寄与しているかを定量的に示す手法です。モデルに依存せず、様々なアルゴリズムに適用可能で、最も有名な手法のひとつとなっています。
・LIME(Local Interpretable Model-agnostic Explanations)
特定のデータポイント周辺でモデルの挙動を単純なモデルで近似し、局所的に予測理由を説明する手法です。SHAPと同様にモデルに非依存であり、様々なデータ形式に適用することができます。
・Grad-CAM（Gradient-weighted Class Activation Mapping）
ニューラルネットワークの勾配情報を利用して、画像分類モデルが注目している領域を視覚的に示す手法です。特に画像データに特化しており、医療画像解析などでの応用が進んでいます。
・Partial Dependence Plot (PDP)
特定の特徴量がモデルの予測に与える影響を可視化する手法で、モデル全体の挙動を理解する際に役立ちます。主に数値データに適用されることが多く、モデルの設計や改善に利用されています。
３．XAIの応用分野
AIツールは、あらゆる産業分野で業務の効率化に貢献してきました。XAIが進化していくと、AIの判断した根拠を理解できるようになります。これにより、従来は信頼性の観点からAI導入を躊躇していた業界でもAIの活用が進んでいます。具体的には、医療分野や環境・農業分野、金融分野、製造業やその他多くの業界でのXAIの活用が見られています。ここでは、いくつかの導入事例についてご紹介していきます。
医療分野
医療分野はXAIの導入が最も顕著な分野のひとつです。皮膚がんの検出や乳がんの予測、肺がんの再発予測などの病気の予測に加えて、手術の意思決定にも応用されています。近年では、COVID-19に関連した研究も多数見られ、ICU入院必要性の予測やCOVID-19の予測モデルなどで応用されました。数値的な機械学習モデルに加えて、医療画像診断での応用も数多く見られます。
農業分野
農業分野でも、収量や病気の予測といったタスクを実行するモデルへの需要が高まっています。具体的には稲の窒素要求量の予測による肥料調整の最適化や、ブドウの葉の病害識別、植物のゲノム解析などの観点から、XAIが活躍しています。
小売・販売業
小売業や販売業でも、利益の最大化および損失の最小化に向けて、AIの導入が進んでいます。具体的には、在庫管理やオンライン行動データに基づく需要予測、顧客の解約予測などのモデルにおいて、XAIが利用されています。
４．今後の課題と展望
XAIはAIの出力に対して説明をする技術ですが、現段階では農業における収量予測のように、構造化データを扱うAIへの適用が主流となっています。非構造化データにおけるXAIの例としては、画像判断などにおける適用が主流となっています。非構造化データを扱うモデルの中でも、テキストを扱うLLMでは、未だに説明可能性は低くなっています。LLMにおいてはプロンプトを工夫することで段階的に説明を生成させる、「Chain-of-Thought（思考の連鎖）」という手法もありますが、これはモデル内部の推論過程を模倣する仕組みであるため、必ずしもモデル内部の思考過程を反映しているとは限りません。こうした点から、非構造化データにおけるXAIには、まだまだ成長の余地があると言えるでしょう。
構造化データを扱うXAIにおいても、依然として課題は残されています。説明の品質評価に対する基準が不十分であったり、説明結果の信頼性や一貫性が欠如していたりします。一部のXAI手法では、同じ入力に対して異なる説明が得られることがあるため、こうした説明結果の精度を向上していくことも求められています。
今後は、XAI手法の非構造化データへの拡張や信頼性向上、統一的な評価指標の構築などにより、さらにXAI技術は進化していくでしょう。XAIが進化することで、AIは単なる確率生成器から、論理的なアシスタントに生まれ変わるでしょう。
【参考文献・画像出典】
Recent Applications of Explainable AI (XAI): A Systematic Literature Review