説明可能なAIと材料知見技術解説

TECHNOLOGY EXPLAINER

説明可能なAIと材料知見
― 「なぜそう予測したか」を、素材技術者の知見と照らし合わせる

機械学習の予測が当たっても、「なぜ、その材料が良いと言うのか」が分からなければ、素材技術者は、次の一手を決められません。そこで使われるのが、SHAP などの「説明」の手法です。ところが、出てきた「重要な特徴量」を、そのまま材料の原因と受け取ると、判断を誤ることがあります。この記事では、説明の手法が何をしているかを図と小さな計算で理解し、似た特徴量があると重要度が分かれること、相関と因果は別であることを、本稿の合成データで確かめます。そのうえで、説明を、素材技術者の知見と照らし合わせ、実験で確かめる手順を整理します。

構成：Lundberg ら（SHAP）、Breiman・Friedman・Strobl ら（重要度）、Aas ら・Janzing ら・Kumar ら（SHAP の限界）、Molnar ら・Fisher ら・Rudin・Roscher ら・Oviedo ら（総説）、Pearl、Ghiringhelli ら、Zhang ら・Guo ら・Peivaste ら（合金の例）、NIST・ISO の公式ページを使用／シミュレーション・数値例は本稿で計算／確認日 2026年10月22日

図1　概念画像（ImageGen生成）。予測の理由の説明と、実験記録を突き合わせます。モデルが注目した特徴は、原因を証明した結果ではなく、検証する仮説です。実在の製品・施設・測定結果ではありません。拡大模型、線・矢印・色は説明用です。

この記事の構成

3行でわかる／読む前に／シリーズの中での位置
説明可能性とは ― 2つの道
特徴量重要度の3つの方法
似た特徴量があると、重要度が分かれる
相関と因果 ― 説明は「原因」を教えない
素材技術者の知見との照らし合わせ
最初から解釈しやすいモデルという選択
素材技術者から見て
限界と、確認できなかったこと／まとめ
評価・標準の読み方
用語集
参考資料（一次情報）
主張と出典の対応表（監査）

本記事の表記ルール

事実＝公表資料に記載のある内容（出典リンクあり）
本稿の計算＝明示した前提をもとに本記事が算出した値
未確定／将来＝計画・目標・草案・改訂中・策定中・見通しなど、確定していない事項
このほか、素材技術者向けの読み取りは「解説」として区別しています。推測は太字で示します。

1. 3行でわかる／読む前に／シリーズの中での位置

説明可能なAI（XAI）は、予測の「理由」を、人が理解できる形で示す技術です。代表の SHAP は、1つの予測を「各特徴量の貢献」に分けます事実［参考資料1］。ただし、これは「モデルが特徴量をどう使っているか」の説明で、「材料の中で、その特徴量が原因か」の説明ではありません
似た特徴量があると、重要度が分かれます。本稿の合成データ（y は x1 だけで決まる）で、x1 にそっくりな x2（相関 0.99）を足すと、x2 に平均25％の重要度がつきました。精度が同じ12個のモデルで、x1 の割合は60〜81％とばらつきました本稿の計算。「重要度が高い＝原因」とは言えません
説明は仮説です。モデルを作り直しても同じか、素材の知見と合うか、他の条件を揃えて実験で確かめたか、の順に確かめて、はじめて知見になります事実［参考資料2］

この記事を読む前に知っておくこと

機械学習は「過去のデータから傾向を学ぶ近似器」です。特徴量は、材料を数字にしたもの（記述子＝名刺。組成、構造、条件を数値にした項目）です。説明の手法は、「その近似器が、どの特徴量を、どれだけ使って答えを出したか」を調べる道具です（本シリーズ「機械学習とニューラルネットワークの基礎」「材料データと記述子」編）。「相関」は、2つの量が一緒に増減する関係、「因果」は、一方を変えるともう一方が変わる関係です。

シリーズの中での位置

「小データ機械学習」編（少ないデータでモデルを作る）、「不確かさと適用範囲」編（どこまで信じてよいか）の次に、この記事（なぜそう予測したか）を読むと流れが分かります。GNN の局所環境の解釈は「グラフニューラルネットワーク」編、ベイズ最適化との組合せは「ベイズ最適化と能動学習」編で扱います。

2. 説明可能性とは ― 2つの道

AI の予測に「なぜ」を求める声は、材料に限らず強くあります。研究者の整理では、解釈可能性と説明可能性は、似ているが、少し違う言葉です。Oviedo らは、材料科学・化学での、解釈可能・説明可能な機械学習を整理し、説明の「分かりやすさ」「網羅性」「科学的な妥当性」の間に、トレードオフがあると述べています事実［参考資料2］。Roscher らは、自然科学向けの説明可能な機械学習の要素として、透明性、解釈可能性、説明可能性を挙げ、説明には、その分野の知識が前提だと述べています事実［参考資料3］。

図2　概念図（ベクター作図）。モデルの中を見る2つの道。A：最初から解釈できるモデル。B：精度の高いモデルに、後から説明をつける。どちらでも、説明は仮説。

A. 最初から中が見えるモデル：線形回帰、決定木、短い式を探す記号回帰など。式や分岐が、そのまま説明になります。Rudin は、影響の大きい判断では、ブラックボックスを後から説明するより、最初から解釈できるモデルを使うべきだと主張しています事実［参考資料4］。
B. ブラックボックスに、後から説明をつける：ランダムフォレスト、ニューラルネットワーク、GNN など、精度の高いモデルに、順列重要度、SHAP などの手法を使います。

つまずきやすいところ：「説明」は、誰のためのものか

NIST の「説明可能なAIの4原則」（2021年9月）は、説明があること、利用者にとって意味があること（利用者ごとに必要な説明は違う）、説明が正確なこと（システムが実際にしたことを反映する）、知識の限界を守ること（想定した条件と、十分な確信がある場合だけ動く）の4つを挙げています事実［参考資料5］。素材技術者にとっての「意味がある説明」は、技術者の知見と比べられる説明です。

3. 特徴量重要度の3つの方法

よく使う3つの方法を、簡単に説明します。どれも「どの特徴量が、どれだけ効いているか」を、モデルから調べます。

図3　概念図（ベクター作図）。よく使う3つの説明の方法（順列重要度・部分依存・SHAP）が、それぞれ何をするかの概念図。

順列重要度：1つの特徴量の列を、データの行の間でシャッフルして、予測がどれだけ悪くなるかを見ます。悪くなるほど、その特徴量に頼っていたと見なします。ランダムフォレストの内部の重要度は Breiman（2001）の論文で知られます事実［参考資料6］。弱点：Strobl らは、ランダムフォレストの重要度が、相関のある特徴量に偏ると指摘し、原因を2つ挙げました（木を作るときに相関のある特徴量が選ばれやすいこと、条件を考えずにシャッフルする方法が、相関のある特徴量に有利に働くこと）事実［参考資料7］。
部分依存：1つの特徴量だけを動かし、他はデータのままにして、予測の平均がどう変わるかを描きます。Friedman（2001）の勾配ブースティングの論文は、木のモデルを解釈する道具を示しました事実［参考資料8］。
SHAP：1つの予測を、基準値からの「各特徴量の貢献」に分けます。Lundberg と Lee は、既存の6つの方法をまとめる枠組み（加法的な特徴量重要度）を示し、そのクラスで、望ましい性質をもつ解が一意に決まることを示しました事実［参考資料1］。木のモデル（ランダムフォレストなど）では、最適な説明を多項式時間で計算でき、局所の説明を集めて全体の構造も調べられます事実［参考資料9］。LIME は、予測の周りで、簡単なモデルを当てはめて説明する別の方法です事実［参考資料10］。

SHAP の小さな数値例

SHAP の考え方を、作り物の「強度」の式で確かめます。A（添加元素）、B（高温焼成）、C（粗い粒）の3つがあり、強度は 40 ＋ 20×A ＋ 15×B − 10×C ＋ 12×A×B です。A と B の組合せ（相互作用）が、強度を12だけ押し上げます。A=1、B=1、C=0 の試料（予測値87）を説明します。

図4　本稿の計算を含む作図（ベクター作図）。SHAP の考え方。作り物の「強度」の式で、1つの予測（87）を、基準（55.5）からの各特徴量の貢献に分ける。

基準：特徴量が8通りの組合せをとる場合の予測の平均（55.5）。
貢献を分ける：各特徴量が、基準から予測値まで押し上げた分を、すべての「入る順番」で平均して決めます（シャープレイ値）。結果は、A が +14.5、B が +12.0、C が +5.0 です。
相互作用は分け合う：A と B の相互作用の12は、半分ずつ（6ずつ）に分けられます。
足し合わせると一致：14.5 ＋ 12.0 ＋ 5.0 ＝ 31.5 が、予測値と基準の差（87 − 55.5）に等しい。

貢献の値は本稿の計算（作り物の式を、特徴量が互いに独立な8通りを基準にして、厳密に計算した値。実在の材料の式ではない）。

つまずきやすいところ：C がプラスなのは、なぜ？

C の係数は −10 です（粗い粒は、強度を下げる）。この試料は C=0（細かい粒）で、基準（粗い粒と細かい粒の半々）より良い側にいます。「平均より、10×0.5＝5だけ高い」ので、+5.0 の貢献になります。SHAP の貢献は、「基準と比べて、どれだけ押し上げたか」であって、特徴量の値そのものの良し悪しではありません。

4. 似た特徴量があると、重要度が分かれる

材料の記述子（名刺）には、互いに似ているものがたくさんあります。たとえば、イオン半径と格子定数、電気陰性度と、それから作った別の指標などです。似た特徴量があると、説明はどうなるでしょうか。本稿の合成データで確かめました。

図5　本稿の計算を含む作図（ベクター作図）。合成データでの、似た特徴量（x2）の影響。左：相関ρごとの重要度の割合（12回の平均）。右：ρ＝0.99 での12個のモデル。

データ：y は x1 だけで決まる（y＝3×x1＋ノイズ）。x2 は x1 に似せたコピー（相関 ρ）、x3 は無関係。学習300件、テスト300件。ランダムフォレストで学習し、テストデータでの順列重要度を、12回（乱数を変えて）調べました本稿の計算。
ρ＝0（似ていない）：x1 の割合は100％。正しく読めます。
ρ＝0.9：x1 が93％、x2 が7％（x1 の割合の範囲は89〜96％）本稿の計算。
ρ＝0.99：x1 が75％、x2 が25％（x1 の割合の範囲は60〜81％）本稿の計算。y に無関係な x2 に、重要度の4分の1がつきました。
精度は同じ：ρ＝0.99 の12個のモデルは、R² が 0.955〜0.968 とほぼ同じです。x2 を外して作り直しても、R² は平均 0.962 で、x1 の割合は100％に戻ります本稿の計算。

これは、文献が指摘してきたことと合っています。Strobl らは、ランダムフォレストの重要度が相関のある特徴量に偏ることを示しました事実［参考資料7］。Aas らは、特徴量が互いに独立だと仮定する従来の SHAP の計算（Kernel SHAP）は、特徴量が相関していると、現実にはない組合せのデータを使うため、単純な線形モデルでも、説明が大きく誤解を招きうると述べ、相関を考慮する拡張を提案しました事実［参考資料11］。Fisher らは、同じデータに同程度に良く当てはまるモデルは、たくさんあり、ある特徴量が、あるモデルでは重要でも、別のモデルでは重要でないことがあると指摘しています事実［参考資料12］。Molnar らは、モデルの解釈の一般的な落とし穴として、特徴量の依存関係や、相互作用、不確かさ、高次元の問題、根拠のない因果の解釈を挙げています事実［参考資料13］。

よくある誤解：「重要度が高い特徴量が、材料の性質の原因だ」

重要度は、「このモデルが、その特徴量を使っている」ことを示します。似た特徴量があれば、モデルは、どちらを使っても同じ精度なので、重要度が、そのどちらかに偏ったり、分かれたりします。重要度の大きさを、原因の大きさと読むのは誤りです。対処は、①似た特徴量をまとめて扱う（グループの重要度）、②片方を外して作り直す、③相関を考えた計算を使う、④物理的に意味のある少数の記述子にする、です（本記事による解説）。

5. 相関と因果 ― 説明は「原因」を教えない

もう1つの大きな落とし穴が、相関と因果の取り違えです。作り物の例で見ます。ある研究室で、高温で焼成した試料には、添加元素を多めに入れる習慣があったとします。強度を決めているのは温度で、添加元素の影響はありません。データを集めると、どう見えるでしょうか。

図6　本稿の計算を含む作図（ベクター作図）。交絡の例（合成データ）。全体では添加元素が多いほど強いが、焼成温度ごとに見ると、ほぼ水平。

全体で見ると、添加元素が多い試料ほど強く、相関係数は0.93です。モデルは、「添加元素が重要」と学び、説明の手法も、そう答えます本稿の計算。
しかし、焼成温度ごとに分けて見ると、添加元素と強度の関係は、ほぼ水平です（傾きは、低温で3.2、高温で1.7。全体では62）本稿の計算。
この例のように、別の要因（ここでは焼成温度）が、2つの量の両方に影響するとき、相関ができます。この別の要因を「交絡因子」と言います。

Pearl は、因果の推論では、データだけでなく仮定が必要で、「他の条件を変えずに、1つだけ変えたらどうなるか（介入）」という問いが、観察の相関とは別物だと説明しています事実［参考資料14］。Janzing らは、特徴量の重要度を測る問題は、因果の問題であり、条件つき確率と介入の区別が必要だと論じています事実［参考資料15］。Kumar らは、シャープレイ値による重要度に数学的な問題があり、直すには、因果の推論のような、より複雑な道具が要ると指摘しています事実［参考資料16］。

材料の記述子を扱った Ghiringhelli らは、記述子と、メカニズムとの科学的な結びつきが不明だと、学習した関係の因果は不確かになると述べました。そのうえで、亜鉛ブレンド・ウルツ鉱と岩塩型のエネルギー差という古典的な例で、意味のある記述子を、系統的に見つける方法を示しています事実［参考資料17］。

つまずきやすいところ：「介入」とは

「介入」は、他の条件を揃えて、1つだけ、人の手で変えることです。データから「添加元素が多いと強い」と見えても、介入（同じ温度で、添加元素の量だけを変えた試料を作る）をして確かめなければ、原因とは言えません。素材の実験は、もともと介入の実験です。XAI が出した説明を、介入の実験で確かめることが、いちばん確かな検証です（本記事による解説）。

6. 素材技術者の知見との照らし合わせ

説明を、どう「知見」にするかを、5つの問いにまとめました。

図7　概念図（ベクター作図）。説明を知見にするための5つの問い。

例：高エントロピー合金の相を予測する場合

合金の固溶体（1つの結晶に、複数の元素が混ざった相）ができるかどうかは、昔から、素材の知見で整理されてきました。Zhang ら（2008）は、原子サイズの差（δ）と混合のエンタルピーが、固溶体を作る条件を決めると整理し、固溶体を作るには、混合のエントロピーが高く、δが小さく、混合のエンタルピーが大きく負でも正でもないことが望ましいと述べました事実［参考資料18］。Guo ら（2011）は、混合のエンタルピーが、固溶体か化合物かを決める鍵で、fcc と bcc の安定性は価電子濃度（VEC）でよく分けられると報告しました事実［参考資料19］。

機械学習の研究では、同じ種類の特徴量が使われます。Peivaste ら（2023）は、50元素・11の相の分類にわたる5,692件の実験記録で、機械学習モデル（XGBoost とランダムフォレストが、全相の予測で86％の精度）を比べ、特徴量の重要度は、モデルや相によって変わると述べています事実［参考資料20］。これは、上の合成データの結果と同じ向きです。説明を知見と照らし合わせるときの観点を、次の表にまとめます。

照合の観点	問い	合金の例での読み方
効く向き	特徴量が増えると、結果は、上がるか下がるか。経験則と同じ向きか	δが大きいほど、固溶体ができにくい（Zhang ら）。モデルの説明が、逆向きなら、要注意
順位	上位の特徴量は、既知の重要因子か	混合のエンタルピー、δ、VEC などが上位に来るか。順位が研究ごとに違うことがある（Peivaste ら）
似た特徴量	上位の特徴量は、互いに相関していないか	δ、VEC、電気陰性度の差は、互いに関連しうる。1つに決めつけず、まとめて見る
予想外の特徴量	知見にない特徴量が上位にきたら、偶然か、新しい発見か	まず、データの偏りや、交絡を疑う。次に、実験で確かめる
範囲	データの範囲の外で、同じことが言えるか	学習した組成の範囲の外では、説明も、当てにならない

表の整理は本稿の計算（整理）。合金の知見は Zhang ら［参考資料18］、Guo ら［参考資料19］、Peivaste ら［参考資料20］にもとづく解説。δ、VEC などの具体的な数値のしきい値は、本稿では扱っていません。

7. 最初から解釈しやすいモデルという選択

「後から説明する」のではなく、「最初から解釈できるモデルを使う」道もあります。Ghiringhelli らの記述子の研究を発展させた SISSO（Ouyang ら、2018）は、非常に多くの候補の式から、最も良い低次元の記述子（短い式）を見つける圧縮センシングの方法です事実［参考資料21］。

方法	分かること	限界
線形回帰	各特徴量の係数（増えると、どれだけ増減するか）	非線形な関係は表せない。似た特徴量があると係数が不安定
決定木	分岐の条件（「温度が○○以上か」など）	浅い木は単純すぎ、深い木は読みにくい。データが少し変わると形が変わる
記号回帰（SISSO など）	短い式。式から、物理的な意味を考えられる	候補の作り方（演算や特徴量）に依存。式が複雑になると読みにくい
ブラックボックス＋SHAP など	1つの予測や全体で、特徴量の使われ方	相関・設定・モデルの選び方で変わる。原因ではない

表の整理は本稿の計算（整理）。Rudin［参考資料4］、Ouyang ら［参考資料21］、Molnar ら［参考資料13］にもとづく解説。

素材技術者の視点①：説明は、研究の「入口」です

XAI が出した「重要な特徴量」は、「次に、この実験をしてみよう」という仮説として使うのが適切です。たとえば、「添加元素の量が効くらしい」と出たら、①同じ温度で、添加元素の量だけを変えた試料を作る（介入）、②対照（添加なし）を、同じロットで測る、③ロットを変えて再現する、の順に確かめます。結果が合えば、知見になります。合わなければ、交絡や、似た特徴量の影響を疑います（本記事による解説）。

図8　概念画像（ImageGen生成）。他の条件をそろえて、確かめたい因子だけを変える実験です。説明を材料の知見にするには、追加の比較が必要です。実在の製品・施設・測定結果ではありません。拡大模型、線・矢印・色は説明用です。

8. 素材技術者から見て

素材技術者の視点②：記述子を、物理的に意味のあるものにする

説明を読みやすくする最も確かな方法は、記述子の設計です。①互いに似た記述子を、まとめるか減らす、②物理的な意味のある記述子（原子サイズ、価電子濃度など、既知の知見の言葉）を使う、③単位や、定義を記録する、④プロセス条件（温度・時間）を、記述子として入れる（交絡を減らす）。Ghiringhelli らが述べるように、記述子とメカニズムの結びつきが不明だと、学習した関係の因果は不確かになります事実［参考資料17］。

素材技術者の視点③：説明を報告するときに、書いておくこと

説明の結果は、設定で変わります。報告には、①使った手法と設定（順列重要度か SHAP か、背景データ、乱数の種）、②複数のモデル・複数の乱数での安定性（上位の特徴量が同じか）、③特徴量の相関（強い相関のあるペア）、④モデルの精度と、データの範囲、⑤知見との照合と、実験での確認の有無、を書いておくと、あとから読む人が、判断できます（本記事による解説）。

9. 限界と、確認できなかったこと／まとめ

(1) 確認できなかったこと

Rudin の論文の本文の詳しい主張は、題名の範囲にとどめ、確認していません。
Breiman（2001）の論文の、重要度の具体的な計算方法の記述は、本稿では確認していません（ランダムフォレストの重要度がこの論文で知られる、という範囲にとどめました）。
Zhang ら、Guo ら、Peivaste らの研究の具体的なしきい値や、順位の数値は、要旨の範囲にとどめました。
本稿の合成データの実験は、3つの特徴量・1つの目的変数・ランダムフォレスト・順列重要度だけの例です。SHAP そのものの数値を、このデータで計算していません。
説明の手法の忠実性を測る、材料向けの標準的な試験は確認できませんでした。ISO/IEC TS 6254 の本文は有料で、要求事項は確認していません。

この記事のまとめ

説明の手法（順列重要度、部分依存、SHAP）は、「モデルが、特徴量をどう使っているか」の説明です。材料の原因を示すものではありません事実
似た特徴量があると、重要度が分かれます。合成データで、無関係な特徴量に重要度の25％がつき、精度が同じモデルで、x1 の割合が60〜81％に変わりました本稿の計算
相関と因果は別です。交絡（ここでは焼成温度）があると、効かない特徴量が重要に見えます。介入の実験で確かめます本稿の計算事実
説明は、知見と照らし合わせて、仮説として使います。安定か、似た特徴量を分けたか、知見と合うか、範囲の中か、介入で確かめたか、の5つの問いです事実
最初から解釈できるモデルも選べます。目的（精度か、解釈か）と、リスクに合わせて選びます事実

10. 評価・標準の読み方

説明の「ものさし」は、まず忠実性（説明が、モデルの実際の動きを反映しているか）です。次に、安定性（データや乱数を変えても同じか）、知見との整合（既知の知見と合うか）、介入での確認（実験で確かめたか）です。精度の高いモデルでも、説明の質は別に確かめる必要があります。確認日は2026年10月22日です。

評価項目	代表的なベンチマーク・評価手法（名称・出典）	標準・指針（ISO/IEC・NIST など）	読み方の注意
説明の考え方・原則	説明可能なAIの4原則（説明、意味のある説明、説明の正確さ、知識の限界）（NIST IR 8312、2021年9月）［参考資料5］事実	NIST IR 8312（NIST の報告書。推奨）［参考資料5］ NIST AI リスクマネジメントフレームワーク（AI RMF 1.0、NIST AI 100-1、2023年1月26日）：信頼できる AI の特性の1つに「説明可能で解釈可能」を挙げる。自主的な枠組み［参考資料22］事実	推奨・枠組みで、法的な拘束力はない。材料の予測に特化した基準ではない
説明の方法の整理	ISO/IEC TS 6254:2025「AI — 機械学習モデルと AI システムの説明可能性・解釈可能性の目的と方法」（Information technology — Artificial intelligence — Objectives and approaches for explainability and interpretability of ML models and AI systems）（2025年9月発行の技術仕様書）［参考資料23］事実	ISO/IEC 22989:2022（AIの概念と用語）［参考資料24］事実	説明の「目的と方法」を、ライフサイクルの中で整理する指針。本文は有料で、要求事項は確認していない
説明の限界の知見	Molnar ら：解釈手法の一般的な落とし穴［参考資料13］事実 Aas ら・Janzing ら・Kumar ら：SHAP の前提と限界［参考資料11・15・16］事実	確認できなかった（説明の忠実性を測る国際標準は確認していない）	手法の前提（特徴量の独立など）を確かめる
材料の知見との整合	Zhang ら・Guo ら（合金の経験則）、Peivaste ら（特徴量重要度のモデル依存）［参考資料18・19・20］事実	確認できなかった	経験則との一致は、原因の証明ではない
介入での確認	他の条件を揃え、1つだけを変える実験（対照・再現）。Pearl による介入の考え方［参考資料14］事実	確認できなかった（材料向けの標準は確認していない）	説明を知見にする最終段階

表の整理は本稿の計算（整理）。番号・題名・状態は ISO・NIST の公式ページで確認（確認日 2026年10月22日）。規格の本文は有料のため、適用範囲の記載にとどめ、要求事項は書いていません。

読み方の注意（素材技術者向け）

説明の質は、モデルの精度とは別です：精度が同じモデルでも、説明は違います。乱数や、モデルを変えて、説明が安定かを確かめます［参考資料12・20］
NIST や ISO の文書は、推奨・枠組みです：AI RMF は「自主的」な枠組みで、ISO/IEC TS 6254 は技術仕様書です。法令や契約で引用されて初めて拘束力を持つのが一般的です（本記事による解説）［参考資料22・23］
知見との一致は、原因の証明ではありません：介入の実験で確かめるまでは、仮説です［参考資料14］

11. 用語集

説明可能なAI（XAI）: AI の予測の理由を、人が理解できる形で示す技術や考え方。

解釈可能なモデル: 仕組みそのものが人に読めるモデル。線形回帰や決定木など。

事後の説明: ブラックボックスのモデルに、後から説明をつける方法。

特徴量: モデルの入力の項目。材料なら記述子（名刺）。

特徴量重要度: 予測に、どの特徴量が、どれだけ効いているかの目安。

順列重要度: 1つの特徴量の列をシャッフルし、予測の悪化で重要度を測る方法。

部分依存: 1つの特徴量を動かしたときの、予測の平均の変化。

SHAP: 予測を、基準値からの各特徴量の貢献に分ける方法。シャープレイ値にもとづく。

シャープレイ値: 協力ゲームで、貢献を公平に分ける考え方。入る順番をすべて平均する。

LIME: 予測の周りで簡単なモデルを当てはめて、説明する方法。

基準値（ベースライン）: SHAP で、貢献を測る出発点（予測の平均など）。

相関: 2つの量が一緒に増減する関係。原因とは限らない。

因果: 一方を変えると、もう一方が変わる関係。

交絡因子: 2つの量の両方に影響して、見かけの相関を作る別の要因。

介入: 他の条件を揃えて、1つだけを人の手で変えること。

記述子: 材料を数字で表した「名刺」。

ラショモン効果: 同じデータに同程度に当てはまるモデルが、たくさんあること。説明が一意に決まらない。

忠実性（説明の正確さ）: 説明が、モデルの実際の動きを反映している度合い。

SISSO: 非常に多くの候補から、最も良い短い式の記述子を見つける方法。

価電子濃度（VEC）: 合金の1原子あたりの価電子の数の平均。相の安定性の目安に使われる。

外挿: 学習データの範囲の外で予測すること。

12. 参考資料（一次情報）

Lundberg S. M., Lee S.-I. "A unified approach to interpreting model predictions", Advances in Neural Information Processing Systems 30 (2017), arXiv:1705.07874 — arxiv.org/abs/1705.07874
Oviedo F. ほか "Interpretable and explainable machine learning for materials science and chemistry", Acc. Mater. Res. 3, 597–607 (2022), DOI 10.1021/accountsmr.1c00244 — doi.org/10.1021/accountsmr.1c00244
Roscher R. ほか "Explainable machine learning for scientific insights and discoveries", IEEE Access 8, 42200–42216 (2020), DOI 10.1109/ACCESS.2020.2976199 — doi.org/10.1109/ACCESS.2020.2976199
Rudin C. "Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead", Nat. Mach. Intell. 1, 206–215 (2019), DOI 10.1038/s42256-019-0048-x — doi.org/10.1038/s42256-019-0048-x
Phillips P. J. ほか "Four principles of explainable artificial intelligence", NIST Interagency Report 8312 (September 2021), DOI 10.6028/NIST.IR.8312 — doi.org/10.6028/NIST.IR.8312
Breiman L. "Random forests", Mach. Learn. 45, 5–32 (2001), DOI 10.1023/A:1010933404324 — doi.org/10.1023/A:1010933404324
Strobl C. ほか "Conditional variable importance for random forests", BMC Bioinformatics 9, 307 (2008), DOI 10.1186/1471-2105-9-307 — doi.org/10.1186/1471-2105-9-307
Friedman J. H. "Greedy function approximation: a gradient boosting machine", Ann. Stat. 29, 1189–1232 (2001), DOI 10.1214/aos/1013203451 — doi.org/10.1214/aos/1013203451
Lundberg S. M. ほか "From local explanations to global understanding with explainable AI for trees", Nat. Mach. Intell. 2, 56–67 (2020), DOI 10.1038/s42256-019-0138-9 — doi.org/10.1038/s42256-019-0138-9
Ribeiro M. T., Singh S., Guestrin C. ""Why should I trust you?": explaining the predictions of any classifier", Proc. 22nd ACM SIGKDD, 1135–1144 (2016), DOI 10.1145/2939672.2939778 — doi.org/10.1145/2939672.2939778
Aas K., Jullum M., Løland A. "Explaining individual predictions when features are dependent: more accurate approximations to Shapley values", Artif. Intell. 298, 103502 (2021), DOI 10.1016/j.artint.2021.103502 — doi.org/10.1016/j.artint.2021.103502
Fisher A., Rudin C., Dominici F. ""All models are wrong, but many are useful": learning a variable's importance by studying an entire class of prediction models simultaneously", J. Mach. Learn. Res. 20(177), 1–81 (2019), arXiv:1801.01489 — arxiv.org/abs/1801.01489
Molnar C. ほか "General pitfalls of model-agnostic interpretation methods for machine learning models", Lecture Notes in Computer Science, 39–68 (2022), DOI 10.1007/978-3-031-04083-2_4 — doi.org/10.1007/978-3-031-04083-2_4
Pearl J. "Causal inference in statistics: an overview", Stat. Surv. 3, 96–146 (2009), DOI 10.1214/09-SS057 — doi.org/10.1214/09-SS057
Janzing D., Minorics L., Blöbaum P. "Feature relevance quantification in explainable AI: a causal problem", AISTATS 2020, arXiv:1910.13413 — arxiv.org/abs/1910.13413
Kumar I. E. ほか "Problems with Shapley-value-based explanations as feature importance measures", ICML 2020, arXiv:2002.11097 — arxiv.org/abs/2002.11097
Ghiringhelli L. M. ほか "Big data of materials science: critical role of the descriptor", Phys. Rev. Lett. 114, 105503 (2015), DOI 10.1103/PhysRevLett.114.105503 — doi.org/10.1103/PhysRevLett.114.105503
Zhang Y. ほか "Solid-solution phase formation rules for multi-component alloys", Adv. Eng. Mater. 10, 534–538 (2008), DOI 10.1002/adem.200700240 — doi.org/10.1002/adem.200700240
Guo S. ほか "Effect of valence electron concentration on stability of fcc or bcc phase in high entropy alloys", J. Appl. Phys. 109, 103505 (2011), DOI 10.1063/1.3587228 — doi.org/10.1063/1.3587228
Peivaste I., Jossou E., Tiamiyu A. A. "Data-driven analysis and prediction of stable phases for high-entropy alloy design", Sci. Rep. 13, 22556 (2023), DOI 10.1038/s41598-023-50044-0 — doi.org/10.1038/s41598-023-50044-0
Ouyang R. ほか "SISSO: a compressed-sensing method for identifying the best low-dimensional descriptor in an immensity of offered candidates", Phys. Rev. Mater. 2, 083802 (2018), DOI 10.1103/PhysRevMaterials.2.083802 — doi.org/10.1103/PhysRevMaterials.2.083802
NIST "Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1 (26 January 2023), DOI 10.6028/NIST.AI.100-1" — doi.org/10.6028/NIST.AI.100-1
ISO/IEC "ISO/IEC TS 6254:2025 Information technology — Artificial intelligence — Objectives and approaches for explainability and interpretability of machine learning (ML) models and artificial intelligence (AI) systems", (ISO page) — iso.org/standard/82148.html
ISO/IEC "ISO/IEC 22989:2022 Information technology — Artificial intelligence — Artificial intelligence concepts and terminology", (ISO page) — iso.org/standard/74296.html

13. 主張と出典の対応表（監査）

本文の主張	根拠	区分
説明可能性・解釈可能性の整理（分かりやすさ・網羅性・科学的妥当性のトレードオフ）。透明性・解釈可能性・説明可能性の3要素と、説明に分野の知識が必要なこと	出典2 https://doi.org/10.1021/accountsmr.1c00244 出典3 https://doi.org/10.1109/ACCESS.2020.2976199	事実
Rudin：影響の大きい判断では、ブラックボックスの事後説明より、解釈可能なモデルを使うべきだという主張（題名の範囲）	出典4 https://doi.org/10.1038/s42256-019-0048-x	事実
SHAP：加法的な特徴量重要度の枠組み、既存の6手法の統一、望ましい性質をもつ解の一意性。木のモデル向けの多項式時間のアルゴリズム、局所の説明を集めて全体を調べること。LIME（予測の周りで解釈可能なモデルを学習）	出典1 https://arxiv.org/abs/1705.07874 出典9 https://doi.org/10.1038/s42256-019-0138-9 出典10 https://doi.org/10.1145/2939672.2939778	事実
ランダムフォレストの論文（Breiman 2001）、勾配ブースティングの論文における木のモデルの解釈の道具（Friedman 2001）。ランダムフォレストの重要度が相関のある特徴量に偏り、その2つの原因（木の作成と条件を考えない順列）	出典6 https://doi.org/10.1023/A:1010933404324 出典8 https://doi.org/10.1214/aos/1013203451 出典7 https://doi.org/10.1186/1471-2105-9-307	事実
Aas ら：独立を仮定する Kernel SHAP は、特徴量が相関すると現実にはない組合せを使い、線形モデルでも説明が誤解を招きうる。Fisher ら：同程度に良く当てはまるモデルの間で、重要度が変わりうる。Molnar ら：解釈手法の落とし穴（依存関係、相互作用、不確かさ、高次元、根拠のない因果の解釈）。Janzing ら：特徴量の関連性は因果の問題であり、条件つきと介入の区別が要る。Kumar ら：シャープレイ値の重要度の数学的な問題	出典11 https://doi.org/10.1016/j.artint.2021.103502 出典12 https://arxiv.org/abs/1801.01489 出典13 https://doi.org/10.1007/978-3-031-04083-2_4 出典15 https://arxiv.org/abs/1910.13413 出典16 https://arxiv.org/abs/2002.11097	事実
Pearl：因果の推論に必要な仮定と、介入・反事実の問い。Ghiringhelli ら：記述子とメカニズムの結びつきが不明なとき、学習した関係の因果は不確か。亜鉛ブレンド・ウルツ鉱と岩塩型のエネルギー差の例。SISSO（非常に多くの候補から最良の低次元の記述子を見つける圧縮センシング）	出典14 https://doi.org/10.1214/09-SS057 出典17 https://doi.org/10.1103/PhysRevLett.114.105503 出典21 https://doi.org/10.1103/PhysRevMaterials.2.083802	事実
Zhang ら：原子サイズの差δと混合エンタルピーによる固溶体形成則（高い混合エントロピー、小さいδ、大きすぎない混合エンタルピー）。Guo ら：混合エンタルピーが固溶体か化合物かの鍵、fcc と bcc の安定性は VEC で分けられる。Peivaste ら：5,692件・50元素・11の相、XGBoost とランダムフォレストが全相の予測で86％、特徴量の重要度はモデルと相で変わる	出典18 https://doi.org/10.1002/adem.200700240 出典19 https://doi.org/10.1063/1.3587228 出典20 https://doi.org/10.1038/s41598-023-50044-0	事実
NIST IR 8312（2021年9月）の4原則（説明、意味のある説明、説明の正確さ、知識の限界）。AI RMF 1.0（NIST AI 100-1、2023年1月26日、自主的な枠組み、「説明可能で解釈可能」が信頼できる AI の特性の1つ）。ISO/IEC TS 6254:2025（番号・題名・2025年9月発行・技術仕様書・適用範囲）。ISO/IEC 22989:2022	出典5 https://doi.org/10.6028/NIST.IR.8312 出典22 https://doi.org/10.6028/NIST.AI.100-1 出典23 https://www.iso.org/standard/82148.html 出典24 https://www.iso.org/standard/74296.html	事実
SHAP の作り物の例（基準 55.5、貢献 A +14.5・B +12.0・C +5.0、予測 87）。合成データのランダムフォレストの実験（ρ＝0／0.9／0.99 での x1 の割合 100／93／75％、x2 の割合 0／7／25％、ρ＝0.99 の12モデルの x1 の割合 60〜81％・R² 0.955〜0.968、x2 を外した R² 平均 0.962）。交絡の合成データ（全体の相関 0.93、傾き全体62・低温3.2・高温1.7）	本稿の計算（Python と NumPy。自作のランダムフォレスト）	本稿の計算
Rudin の本文の詳しい主張、Breiman の重要度の具体的な計算方法、合金の研究の具体的なしきい値や順位、合成データでの SHAP の数値、説明の忠実性を測る材料向けの標準	本稿の調査範囲でアクセスできた一次情報では確認できなかったため記載していない（解説）	解説
「説明は研究の入口」「記述子を物理的に意味のあるものにする」「報告に書いておくこと」「照合の5つの問い」「照合の観点の表」の読み取り	公表内容にもとづく本記事の整理・解説。各研究グループが表明した見解ではない	解説
図の種類の注記：図4・図5・図6が本稿の計算を含む作図、図2・図3・図7が概念図（ベクター作図）、図1・図8がImageGen生成の概念画像であること	本記事による注記（解説）	解説

最終更新：2026年10月22日／出典は一次情報（査読論文、arXiv の論文、NIST・ISO の公式ページ）に限定しています。シミュレーションと数値例（合成データのランダムフォレスト、SHAP の作り物の例、交絡の合成データ）は本稿の計算で、実際の材料の結果ではありません。Rudin の論文の本文の詳しい主張、Breiman の重要度の具体的な計算方法、合金の研究の具体的なしきい値や順位、合成データでの SHAP の数値、説明の忠実性を測る材料向けの標準については、確認できなかったため記載していません。図は説明用の概念図または本稿の計算を含む作図で、図の枠（AI生成イメージ）は、後で画像を入れるための場所です。