TECHNOLOGY EXPLAINER
MIの結果の評価と再現性の読み方
― 「点数」と「発見」の背後にある、ラベル・分け方・指標・再現を、材料に固有の例で読む
マテリアルインフォマティクス（MI）の論文や発表には、「誤差が○○ eV」「順位表で1位」「AIが○○万種の新材料を発見」といった言葉が並びます。 しかし、その数字は、何を正解として（実測か計算か）、どう分けて、どの指標で測ったかで、意味がまったく違います。さらに、同じ「発見」でも、計算で候補に挙がった段階から、実際に作って新しいと確かめた段階まで、幅があります。 この記事は、機械学習を使ったことのない素材技術者を想定して、ラベル・分け方・指標・再現の4つの問いで、材料のMIの評価を読み解きます。Matbench、Matbench Discovery、JARVIS-Leaderboard などの共通のものさし、誤差が小さくても判断が外れる例、「AIが発見した」をめぐる批判と訂正を、論文・公式資料の範囲で、中立に整理します。
- 3行でわかる ／ 読む前に ／ シリーズの中での位置
- 材料のMIの評価で外れやすい4か所
- 共通のものさし ― Matbench、Matbench Discovery、JARVIS-Leaderboard
- 誤差が小さくても、判断は外れる ― 安定性の判定
- 評価用データの作り方 ― 分け方、漏洩、分布のずれ
- 再現性 ― 計算と実験で、何を「同じ」と言うか
- 「AIが発見した」の読み方 ― 主張、批判、訂正
- 素材技術者の視点 ― 自社の評価と質問リスト
- 限界と、確認できなかったこと／まとめ
- 評価・標準の読み方
- 用語集
- 参考資料（一次情報）
- 主張と出典の対応表（監査）
事実＝公表資料に記載のある内容（出典リンクあり）
本稿の計算＝明示した前提をもとに本記事が算出した値
未確定／将来＝改訂中・更新が続くものなど、確定していない事項
このほか、読み取りは「解説」として区別しています。推測は太字で示します。確認日は 2026年10月22日です。
論文や公式ページの数値は、その資料のデータ、分割、指標、確認日での結果です。別の資料の数字を並べて、手法や研究グループの優劣をつけることはしません。順位表は更新されるため、特定の手法の順位は載せていません。 「AIが発見した」をめぐる議論は、各論文の主張・批判・訂正を、公表された範囲で並べるもので、本稿が独立に追試したものではありません。どちらが正しいかの判定や、個人・研究グループへの非難はしません。 合成データの例（第4章）は、本稿が作った架空のデータの計算で、実在の材料の成績ではありません。特定の企業・手法・国の優劣は論じず、投資や設計に関する助言もしません。
1. 3行でわかる ／ 読む前に ／ シリーズの中での位置
- 数字を読む前に、4つの問いを確かめる：正解（ラベル）は実測か計算か、評価用データをどう分けたか、指標は使い道に合うか、同じ結果が再び出るか。この4つで、同じ「誤差0.1 eV」が、役に立つ数字にも、ほとんど意味のない数字にもなります
- 誤差が小さくても、判断は外れる：機械学習で生成エネルギーはよく当たるのに、安定かどうかの判定はよく外れる、という報告があります事実［参考資料5］。合成データでは、平均絶対誤差が0.06 eV/原子でも、「安定」と判定したうち本当に安定なのは72.5%でした本稿の計算
- 「AIが発見した」には、段階があり、批判と訂正もある：自律実験室 A-Lab の報告では、2026年1月19日の著者訂正で、「新規」の意味が「予測基盤にとって新規」と明確にされ、要旨の数字も更新されました事実［参考資料10・11］。別の研究グループは、この報告を詳しく検討し、新規材料の発見は支持されない、と論じています［参考資料13］。大切なのは、どの段階までの主張かを読み分けることです
評価の数字は、「何を正解にして、どう分けて、何で測ったか」とセットで読みます。そして「発見」は、予測された、合成できた、構造が同定できた、新しい、役に立つの5つの別の主張です。どれを言っているのかを、確かめてください。
機械学習は、「過去のデータから傾向を学ぶ近似器」です。たとえの限界：学習した範囲の外（外挿）は苦手で、物理法則を理解しているわけではありません。評価では、学習に使わなかったデータで試します。
この記事で使う言葉を、先に3つ。ラベルは、機械学習が「正解」として学ぶ値です。MAE（平均絶対誤差）は、予測のずれの大きさの平均です。適合率は「当たりと判定したうち、本当に当たりだった割合」、再現率は「本当の当たりのうち、見つけた割合」です。
材料探索は「広大な地図から宝のありかを探す」作業で、MIは探す場所を絞る道具です。計算は「安く速く候補を出す」、AIは「探す場所を絞る」、実験は「本当にそうか確かめる」という分担です。評価とは、この絞り込みが、本当に役に立つかを確かめる作業です。
汎化・過学習・データ漏れ・外挿といった、機械学習一般の評価の基本は、本シリーズ『機械学習とニューラルネットワークの基礎』編と、『ベンチマークと評価の読み方』編（言語モデルの評価が中心）で扱っています。この記事は、それらと重ならないように、材料に固有の内容（DFT の値がラベルになること、結晶の安定性の判定、計算コード間の再現性、合成と構造同定の確認）に集中します。合金・電子材料での具体例は、本シリーズ『合金・構造材料への応用』『半導体・電子材料への応用』編に、データベースは『材料データベースとFAIR原則』編、自律実験室は『自律実験室』編にあります。
2. 材料のMIの評価で外れやすい4か所
機械学習一般の評価の落とし穴は、他の編で扱いました。材料に特有の事情が加わると、外れやすい場所は、次の4つに整理できます（本記事による整理）。
- ① ラベルは何か：材料のデータの多くは、DFT などの計算で作られています。計算値を当てる精度は、実測を当てる精度とは別です（本シリーズ『半導体・電子材料への応用』編の第3章で、バンドギャップを例に説明しました）
- ② 分け方は：似た材料（同じ化学系、同じ結晶構造の仲間）が多いので、ランダムに分けると、評価用のデータにも「きょうだい」が学習側に残り、数字が楽観的になります（第5章）
- ③ 指標は目的に合うか：探索では「安定かどうか」「当たりか外れか」の判断が目的です。誤差（MAE）が小さくても、境目の近くでは判断が外れます（第4章）
- ④ 同じ結果が再び出るか：計算は、コードや設定で結果が変わります。実験は、研究室・装置・試料で変わります。何を「同じ」と言うかを、決めておく必要があります（第6章）
ベンチマークは、同じ問題（データ）と採点方法を決めて、多くの手法を比べる仕組みです。試験問題集にたとえると、問題集の点数が高くても、実際の仕事ができるとは限りません。問題集の問題が実際の仕事と似ているか、問題の答えが（計算で作った）仮の答えでないか、を見る必要があります。たとえの限界：問題集と違い、ベンチマークの「答え」は、人が決めた計算の結果であることも多く、答え自体に誤差があります。
3. 共通のものさし ― Matbench、Matbench Discovery、JARVIS-Leaderboard
材料のMIには、手法を同じ条件で比べるための共通のベンチマークがあります。代表的な3つの、公式の記述を整理します（確認日 2026年10月22日）。いずれも研究コミュニティの取り組みで、規格（標準）ではありません。
(1) Matbench ― 特性の予測を比べる
Matbench は、Dunn らが2020年に公開した、無機のバルク材料の特性予測のための共通の問題集です。13の課題（312件〜132,752件、10のデータ源）で、光学・熱・電子・熱力学・引張・弾性の特性を、組成や結晶構造から予測します。すべての課題を、同じ5分割の入れ子交差検証で評価します事実［参考資料1］。著者らは、この「全課題を同じ手順で測る」やり方は誰にとっても使いやすい反面、グループごとに分ける交差検証のほうが、実際の使い方（データのない化学系の予測）に近い場合があると述べています［参考資料1］。
(2) Matbench Discovery ― 結晶の安定性の判定を比べる
Riebesell らの Matbench Discovery は、機械学習のエネルギーのモデルを、第一原理計算の前段のフィルターとして使い、安定な無機結晶を探す課題で比べる枠組みです事実［参考資料2］。論文は、設計の考え方として次の4点を挙げています。
- 現実的な課題（前向きのデータ）：実際の探索の手順で新しく作ったデータで評価する。検証用のデータは、元素置換と DFT 緩和で作られた WBM データセット（257,487構造）
- 適切な目標：生成エネルギーではなく、安定性の指標である「凸包からの距離」を目標にする
- 情報のある指標：MAE、RMSE、R² だけでは、信頼性について誤った自信を与えうる。判断としての性能（分類の指標）を主に見る
- スケール：大きなデータでの振る舞いを見る
論文の評価では、「発見の加速率（DAF）」が使われます。DAF は、モデルで選んだ候補の中の安定な割合（適合率）を、無作為に選んだときの安定な割合（有病率）で割った値で、検証用データでの最大値は約6.5（安定な構造が約33,000/215,000）です［参考資料2］。同じ論文は、正確な回帰モデルでも、予測が安定性の境目（凸包の上 0 eV/原子）に近いと、偽陽性（実は不安定なのに安定と判定）が思いがけず多くなる、と指摘しています［参考資料2］。
公式サイトの順位表（確認日 2026年10月22日）は、発見（判定）のほかに、構造最適化、フォノン、分子動力学などの課題を並べており、複数課題を合成した総合スコア CPS（発見の F1 を50%、構造の RMSD を10%、フォノンの熱伝導率の誤差 κ SRME を40% で合成）で並べ替えられるようになっています事実［参考資料3］。表示は「全検証集合」と「ユニークなプロトタイプのみ」から選べます。合成の重みは、サイトが選んだ設計で、何を重視するかは利用者が決めるものです（本記事による解説）。順位表と指標の重みは今後も変わりうるため、数字は確認日のものとして読みます未確定／将来。
(3) JARVIS-Leaderboard ― AI・計算・実験を同じ場で比べる
Choudhary らの JARVIS-Leaderboard は、再現性の確認と検証の不足を課題として、オープンソースでコミュニティ運営の比較の場を作ったものです。AI、電子構造計算（ES）、力場（FF）、量子計算（QC）、実験（EXP）の5つの分野を扱い、AI では原子構造・顕微鏡像・スペクトル・文章を入力にします。電子構造計算では、手法・ソフトウェア・擬ポテンシャル・材料・物性を変えて実験と比較し、実験では室間比較（複数の研究室で同じものを測る）でベンチマークを作ります。論文の時点で、274のベンチマークに1,281件の提出（152の手法、800万点を超えるデータ）があります事実［参考資料4］。
Matbench の課題の多くは、Materials Project など公開の計算データです。順位表の上位の手法が、自社の材料（自社の組成範囲、自社の測定条件）でも上位とは限りません。自社の代表的な材料で、自社の分け方で、測り直す価値があります（第8章）。順位表は、「候補の手法を絞る材料」として使い、順位を事実として断定しません。
4. 誤差が小さくても、判断は外れる ― 安定性の判定
(1) 生成エネルギーは当たるのに、安定性は当たらない
新しい材料の候補を探すとき、知りたいのは「その化合物が安定に存在できるか」です。安定性は、同じ元素の組合せで考えられる他の相との競争で決まり、凸包（コンベックスハル）という図で、「他の相に分解するほうが得か」を調べます。凸包からの距離（分解エンタルピー ΔHd）が 0 以下なら安定、0 より大きければ不安定、と判定します。
機械学習で化合物の生成エネルギー（元素から化合物を作るときのエネルギー ΔHf）を予測する研究では、DFT に迫る精度という主張がありました。Bartel らは、Materials Project の 85,014 の組成で、7つの機械学習モデルの生成エネルギーを、安定性の予測に使って確かめました。結果は、生成エネルギー自体はよく予測できる一方、組成だけから予測するモデルはどれも、安定性の予測は不得意で、DFT に比べて探索に使いにくい、というものでした。特に、安定な化合物がまれな化学系では、結晶構造を使うモデルだけが、安定な材料を効率よく見分けられました。論文は、生成エネルギーの予測精度が高いことは、安定性の予測精度が高いことを意味しない、と結論しています事実［参考資料5］。
理由は、尺度の違いです。同じ論文によると、Materials Project の化合物で、ΔHf は平均 −1.42 eV/原子、平均絶対偏差 0.95 eV/原子と大きく広がるのに対し、ΔHd は平均 0.06 eV/原子、平均絶対偏差 0.12 eV/原子と、はるかに狭い範囲に集まります［参考資料5］。ΔHf の予測が数十 meV/原子ずれても、ΔHf 全体の広がりに比べれば小さい誤差に見えます。しかし、ΔHd の広がり（0.12 eV/原子）に比べると、同じ大きさの誤差は、安定か不安定かの境目を越えるのに十分です（本記事による解説）。
1,000個の候補を「安定」と判定したとします。そのうち725個が本当に安定なら、適合率は 72.5% です。残りの275個は、安定と信じて実験や詳しい計算に回すと、外れる候補です。一方、本当に安定な候補が全部で880個あって、そのうち725個を見つけたなら、再現率は約82% で、残りの約155個は見逃しです（例は説明用の仮の数字です本稿の計算）。探索で費用がかかるのは、外れの候補（偽陽性）を実験する無駄です。適合率が低いと、実験の費用が増えます。
(2) 誤差と判断の関係を、合成データで確かめる
誤差が小さくても判断が外れる様子を、手で確かめられる合成データで再現しました。
- データ（架空）：凸包からの距離の分布を、Bartel らの報告（平均0.06、平均絶対偏差0.12 eV/原子）に合わせたラプラス分布で作りました。0 eV/原子以下を「安定」とすると、安定な割合は約30%です
- 予測：真の値に、正規分布の誤差を加えました。誤差の大きさは、平均絶対誤差（MAE）で 0.02〜0.10 eV/原子
- 判定：予測が 0 eV/原子以下なら「安定」と判定し、適合率と再現率を計算
結果：MAE が 0.02 eV/原子なら、適合率 0.91・再現率 0.93 でした。MAE が 0.06 eV/原子（ΔHd の広がりの半分）になると、適合率は 0.73、再現率は 0.82 に下がり、MAE が 0.10 eV/原子では、適合率が 0.61 まで下がりました本稿の計算。つまり、「MAE が 0.06 eV/原子」という、一見小さな誤差でも、「安定」と判定した候補の4分の1以上が、外れになります。
本稿の計算。Python（NumPy）で、40万点、乱数の種0。誤差を凸包からの距離に直接加えた単純な仮定で、実在のモデルの成績ではありません。実際には、誤差の分布は正規分布でなく、化学系ごとに偏ります（本記事による解説）。
正しくは：MAE は、目標の広がりに対する誤差の大きさで効き方が変わります。生成エネルギーのように広い範囲に散らばる量には小さな誤差でも、凸包からの距離のように狭い範囲に集まる量には、大きな誤差です。Riebesell らも、MAE・RMSE・R² のような全体の指標は、信頼性について誤った自信を与えうるとし、判断としての性能（分類の指標）で評価することを勧めています［参考資料2］。
(3) 誤差の「目盛り」を知る ― 実験どうしでも食い違う
もう一つ、目盛りの感覚が役に立ちます。Kirklin らは、OQMD というデータベースの DFT の値を、1,670の実験の生成エネルギーと比べました。DFT と実験の平均絶対誤差は 0.096 eV/原子でした。さらに、同じ化合物について複数の実験の出典がある場合に、実験どうしの平均絶対誤差を調べると、0.082 eV/原子と、驚くほど大きな食い違いがありました。著者らは、DFT と実験の差の相当な部分は、実験の不確かさによる可能性がある、と述べています事実［参考資料6］。
つまり、「正解」とされる実験値が、すでに0.08 eV/原子ほどの食い違いを含みます。機械学習の誤差を、それより小さくしても、「実測に近づいた」とは言えない領域があります（本記事による解説）。安定性の判定の境目（凸包の距離の広がり 0.12 eV/原子）も、同じ桁の差を相手にしています。
測定のばらつきが0.08 eV/原子なら、それより小さな予測誤差の差は、「どちらが良いか」を決める根拠になりません。社内で、自社の測定のばらつき（繰り返し測定の標準偏差、ロット差、装置差）を調べておくと、予測誤差の評価で「差が意味を持つ大きさ」の目安になります（本記事による解説）。
5. 評価用データの作り方 ― 分け方、漏洩、分布のずれ
分け方の基本（ランダム分割、グループごとの分割、データ漏れ）は、本シリーズ『機械学習とニューラルネットワークの基礎』編と、『合金・構造材料への応用』編で、小さな例とともに扱いました。ここでは、材料に固有の事情と、評価用データの作り方の段階を整理します。
(1) 似たデータが多い ― 「ランダム分割」が楽観的になる理由
Meredig らは、材料探索の文脈で、従来の機械学習の評価指標は、探索での性能を過大評価すると報告しました。似たもののまとまり（クラスタ）ごと除いて評価する交差検証（LOCO CV）と、単純な最近傍法を比較の基準にする方法を提案し、探索での成績が、問題・データの取り方・外挿に強く依存すると示しています事実［参考資料7］。
(2) 版が変わると成績が落ちる ― 分布のずれ
Li らは、Materials Project の2018年版で学習したモデルが、2021年版で新しく加わった化合物では、成績が大きく落ちうることを示しました。ベンチマークの点数が優れていても、汎化の性能が良いとは限らない、という指摘です。対策として、UMAP（特徴量の空間で、学習データと評価データの関係を見る方法）と、複数のモデルの予測の食い違い（委員会による照会）で、分布の外のデータを見つける方法を示し、評価用データのわずか1%を学習に加えるだけで予測精度が大きく改善した、と報告しています事実［参考資料8］。
読み方：データベースは、新しい計算の追加で、中身が変わっていきます。「いつの版のデータで学習し、いつの版で評価したか」を、記録しておく必要があります（本記事による解説）。
(3) データ漏洩 ― 材料分野の外から学ぶ
Kapoor と Narayanan は、機械学習を使う科学の17分野で、データ漏洩が見つかり、少なくとも294本の論文に影響したことを調べ、漏洩を8つの型に分類しました。報告のための「model info sheets」を提案し、漏洩を直した結果、複雑な機械学習が単純な古典的モデルより優れる、という主張が成り立たなくなった例を示しています事実［参考資料14］。調査の分野に材料科学が含まれるかは、本稿では確認していませんが、材料のMIでも、重複する化合物、同じ化学系、前処理の順序など、同じ型の漏洩が起こりえます（本記事による解説）。
(4) 前向きの検証 ― 実際の使い方に近づける
Matbench Discovery は、「実際の探索の手順で新しく作ったデータ」で評価する、前向きの検証を設計の中心に据えています［参考資料2］。ただし、その「正解」は DFT の凸包からの距離で、実験で安定と確かめた値ではありません。前向きの検証は、計算の世界での、実際の使い方に近い評価であり、最終的には、実験で確かめる必要があります（本記事による解説）。
評価の分け方は、使い道で決めます。既存の材料系の「新しいロットの品質予測」なら、ロット単位で分ければ十分でしょう。「これまで作っていない組成系の候補出し」なら、組成系ごと除く評価が必要です。「来年のデータで使う」なら、時間で分ける評価が実際に近くなります。社内の評価セットは、使い道ごとに、複数の分け方で作っておくと、数字の意味が説明しやすくなります（本記事による解説）。
6. 再現性 ― 計算と実験で、何を「同じ」と言うか
「再現できる」と言うとき、何を同じにして、何を変えるのかで、意味が違います。材料のMIでは、次の3つが混ざりやすいので、分けて考えます（本記事による整理）。
- 同じ手順で、同じ結果が出る：同じデータ、同じコード、同じ設定、同じ乱数の種で、同じ数字が出るか。機械学習の計算では、ソフトウェアの版、データの版、乱数の種を記録していないと、自分でも再現できません
- 別の道具で、同じ結果が出る：別の計算コードや擬ポテンシャル、別の研究室・別の装置で、同じ数字が出るか
- 別のデータで、同じ傾向が出る：別の試料、別の化合物の集合で、同じ精度が出るか（これは前の章の「汎化」の話）
(1) 実験の再現性 ― 測定の言葉で
計量学の国際用語集（国際計量基本用語集 VIM、JCGM 200:2012）は、測定の再現性を、「再現性条件での測定の精度」と定義しています。再現性条件とは、場所・操作者・測定システムが違い、同じ対象または似た対象を繰り返し測る条件のことです。繰り返し性は、同じ条件（繰り返し性条件）で繰り返したときの精度です事実［参考資料19］。ISO 5725-1:2023 は、測定法の「真度」と「精度」の評価に必要な条件と統計モデルを定める規格で、ISO 5725-2:2025 は、標準的な測定法の繰り返し性と再現性を決める基本の方法を定めています［参考資料17・18］（規格の本文は有料のため、題名・適用範囲の確認にとどめます）。
素材の実験で言えば、「同じ試料を、同じ人が同じ装置で測り直す」のが繰り返し性、「別の研究室・別の人・別の装置で測る」のが再現性です。JARVIS-Leaderboard の実験のベンチマークは、この室間比較の考え方で作られています［参考資料4］。
(2) 計算の再現性 ― 同じ DFT でも、コードで値が変わる
Lejaeghere らは、71種類の元素の結晶について、15種類の広く使われている DFT のコードと40種類のポテンシャルで、状態方程式を計算して比べました。計算値には違いがありましたが、最近のコードと方法の大半は、ほぼ同じ値に収束し、その差は実験の誤差と同程度でした事実［参考資料15］。これは、「DFT で計算した」だけでは、どのコード・どのポテンシャルかで値が少し変わりうること、そして適切に使えば、コード間の一致は実験の誤差と同程度まで達していることを示しています。
JARVIS-Leaderboard の電子構造計算の分野は、手法・ソフトウェア・擬ポテンシャル・材料・物性を変えて、実験と比べる場を提供しています［参考資料4］。論文を読むときは、コードの名前と版、汎関数、擬ポテンシャル、カットオフ、k点が書かれているかを確かめます（本記事による解説）。汎関数の選び方で、バンドギャップの誤差が変わることは、本シリーズ『半導体・電子材料への応用』編で見ました。
(3) 機械学習の再現性 ― 報告の仕方
Kapoor と Narayanan が提案した「model info sheets」は、データ漏洩の8つの型ごとに、分割・前処理・重複などを説明する報告の様式です［参考資料14］。材料のMIの報告では、これに加えて、次の記録があると、他の人が確かめやすくなります（本記事による解説）：データの出どころと版（例：Materials Project の版）、分割の単位、前処理の順序、ソフトウェアの版、乱数の種と繰り返し回数、評価の指標の定義。
機械学習の評価で最も安く効くのは、自社の測定の繰り返し性と再現性を数字にしておくことです。同じ試料を、同じ装置で数回測るとどれだけばらつくか（繰り返し性）、別の日・別の人・別の装置ならどうか（再現性）。この数字が、予測誤差の下限の目安になります（第4章の「目盛り」）。ISO 5725 や VIM の用語を使うと、他社・外部と数字の意味をそろえやすくなります［参考資料17〜19］。
7. 「AIが発見した」の読み方 ― 主張、批判、訂正
「AIが○○万種の新材料を発見」という言葉は、材料のMIで最も注目を集める一方、最も誤解されやすい言葉です。ここでは、公表された2つの大きな主張（GNoME と A-Lab）と、それに対する学術的な批判・訂正を、中立に並べます。本稿は、どちらが正しいかを判定せず、独立に追試もしていません。公表された文書にもとづき、「どの段階の主張か」を整理します。
(1) GNoME ― 220万の構造と、736の実験的な実現
Merchant らは、大規模に学習したグラフニューラルネットワークで、安定な結晶の探索の効率を桁違いに高めたと報告しました。これまでの研究で見つかった4.8万の安定な結晶を土台に、現在の凸包の下にある構造を220万個発見したとしています。「安定な構造のうち、736個は、すでに独立に実験で実現されている」とも述べています事実［参考資料9］。ここでの「安定」は、DFT による凸包の計算にもとづく分類で、220万個は計算上の予測の件数です。736個は、他の研究者によって別に合成されていた構造で、予測が実際の物質と対応した例として読めます（本記事による解説）。
これに対し、Cheetham と Seshadri は、化学の観点からこの報告を検討し、「新規性、信頼性、有用性の3つをそろえた化合物の証拠は乏しい」と述べました。同時に、方法自体には期待が持てるとし、材料合成と結晶学の専門知識を取り入れる必要がある、と指摘しています事実［参考資料12］。本稿は、GNoME の著者による、この指摘への正式な反論を、確認できませんでした。
(2) A-Lab ― 自律実験室の成功率と、「新規」の意味
Szymanski らは、固体合成の自律実験室 A-Lab が、17日間の連続運転で、計算・文献データ・機械学習・能動学習で実験を計画してロボットで実行した、と報告しました。公表時の要旨は、「58の標的のうち41の新規化合物」を実現した、としていました。2026年1月19日に公表された著者訂正は、結晶構造の同定が回折で明確にできているか、また新規性の主張について懸念が寄せられたこと、そして「新規」の主張が誤解されうるものだったことを認めています。著者らの意図は、「予測の基盤にとって新しい」ことで、「科学として新しい」とは限らなかった、と説明し、本文を更新しました。更新後の要旨は、「57の標的のうち36の化合物」を実現した、となっています事実［参考資料10・11］。数字が変わった理由の詳細（訂正に付属する注釈つきのPDF）は、本稿では確認していません。
Leeman らは、2023年の A-Lab の報告を例に、無人の材料発見で起こりうる問題を検討し、43の合成生成物すべてを調べたうえで、分析に4つの共通の問題があり、「この報告では新規材料は発見されなかった」という結論に至る、と論じました。主な論点は、粉末X線回折の自動のリートベルト解析がまだ信頼できないこと、そして、予測では元素が別々の結晶位置に置かれるのに、実際は元素が同じ位置を共有して高い対称性になり、既知の合金や固溶体になる場合が多いこと（無秩序の無視）です。報告された成功した材料の3分の2は、予測された秩序化合物の、既知の組成的に無秩序な版である可能性が高い、としています事実［参考資料13］。これは同論文の著者の分析で、本稿は独立に確認していません。
| 項目 | 原著の主張（公表された範囲） | 学術的な指摘 | 公表された訂正・状態 |
|---|---|---|---|
| GNoME（Nature、2023） | 計算で220万の構造が凸包の下。736は他者により実験で実現済み［9］ | 新規性・信頼性・有用性の3つがそろう証拠は乏しい。方法は有望で、合成・結晶学の専門知識が必要［12］ | 著者からの反論は、本稿では確認できなかった |
| A-Lab（Nature、2023） | 公表時：17日間で、58の標的のうち41の新規化合物。訂正後の要旨：57の標的のうち36の化合物［10］ | 43の生成物を検討し、新規材料は発見されていないと論じる。自動のリートベルト解析と無秩序の扱いが課題［13］ | 2026年1月19日の著者訂正：「新規」は「予測基盤にとって新規」の意。同定への懸念を受けて本文を更新［11］ |
すべて事実（各論文・訂正の記載、確認日 2026年10月22日）。表の整理は本稿の計算（整理）。A-Lab の「41」と、Leeman らの「43」の数え方の違いは、本稿では確認していません。
GNoME の「220万」は計算上の予測の件数で、Cheetham と Seshadri の指摘は、その中の化合物の新規性と有用性についてです。測っているものが違うので、両方が成り立つことがあります。A-Lab の「合成できた」と、Leeman らの「構造の同定と新規性への疑問」も、図の②と③・④で、別の段階の話です。確かなことは、批判が公表され、A-Lab の著者が訂正を出したこと、そして、「発見」の意味を、段階ごとに分けて読む必要があることです（本記事による解説）。
正しくは：「発見」は、図の5つの段階のどれを指すかで、中身が大きく変わります。計算で安定と予測されただけの段階と、合成されて構造が確かめられ、既知でないと確認され、用途が示された段階は、別の主張です。企業・研究グループの発表の「発見」は、その発表した側の主張として読み、どの段階までかを探してください（本記事による解説）。
素材の現場では、新しい化合物でも、既知の固溶体や無秩序な相の一種だった、ということがよく起こります（本記事による解説）。Leeman らが指摘した「無秩序の無視」は、素材技術者にはなじみのある問題です［参考資料13］。AIの候補を実験に回すときは、既知の化合物・固溶体・合金との照合（結晶構造データベースでの検索、X線回折の相同定、必要なら元素分布の確認）を、必ず工程に入れてください。ICSD などの有料データベースの中身は、本稿では引用しません。
8. 素材技術者の視点 ― 自社の評価と質問リスト
ここまでの内容を、論文や発表を読むときの6つの質問にまとめます。自社でMIの結果を評価するときにも、同じ質問が使えます（本記事による整理で、公式の指針ではありません）。
公開のベンチマークは、よく使われるほど、手法がその問題に合わせて調整され、成績が実際の力から離れていきます（本記事による解説）。自社には、自社の材料・自社の測定条件で作った、公開しない評価セットを持つ価値があります。ロット単位、組成系単位、時期単位など、分け方を複数用意し、同じモデルを複数の分け方で測ると、数字の意味が説明しやすくなります（第5章）。評価セットには、データの出どころ・版・測定条件を添えて保管してください。
第7章の議論から、実験での確認で欠かせないことが見えてきます。①狙いの相かを、回折だけに頼らず、複数の方法（組成分析、別の測定）で確かめる。②既知の化合物・固溶体でないかを照合する。③対照（既存の材料）を同じ条件で作って、差を見る。④繰り返し（別ロット、別日）で、偶然でないかを見る。⑤独立の確認（別の担当者、別の装置）を、重要な結果には入れる。第6章の再現性の用語では、③④が繰り返し性、⑤が再現性にあたります。評価の基準は、結果を見る前に決めておき、後から動かさないでください（本記事による解説）。
9. 限界と、確認できなかったこと／まとめ
(1) 論文の確認の深さ
Dunn ら、Riebesell ら、Bartel らの論文は、本文を確認しました。Merchant ら、Szymanski ら、その著者訂正、Cheetham と Seshadri、Leeman ら、Kirklin ら、Li ら、Meredig ら、Kapoor と Narayanan、Lejaeghere らの論文は、要旨（または公開された要約）の範囲で確認しました。JARVIS-Leaderboard の論文は要旨と公式ページ、VIM は用語の項を確認しました。
(2) 「AIが発見した」をめぐる議論
GNoME と A-Lab の主張、その批判、A-Lab の著者訂正は、公表された文書の記述を並べたもので、本稿は独立に追試していません。A-Lab の著者訂正に付属する注釈つきのPDF、GNoME の著者による Cheetham と Seshadri への反論、A-Lab の著者による Leeman らへの反論は、本稿では確認できませんでした。A-Lab の「41」と Leeman らの「43」の数え方の違いも、確認していません。
(3) 順位表と指標の変化
Matbench Discovery の順位表と、総合スコア CPS の重みは、確認日（2026年10月22日）のものです。特定のモデルの順位は載せていません。Matbench Discovery の論文（2025年）に Author Correction（訂正）が公表されていることを、Crossref の記録で確認しましたが、その内容は確認していません。
(4) 材料分野でのデータ漏洩の実態
Kapoor と Narayanan の調査の分野に材料科学が含まれるかは確認できませんでした。材料のMIでの漏洩の頻度を、系統的に調べた一次情報は、本稿では確認できませんでした。
(5) 標準と指針
材料のMIの評価や再現性を定める国際標準（ISO/IEC など）は、確認できませんでした。ISO 5725 や ISO/IEC の規格の本文は有料のため、題名と適用範囲の確認にとどめています。
(6) 扱っていない内容
言語モデルの評価（本シリーズ『ベンチマークと評価の読み方』編）、触媒の評価（Open Catalyst など）、機械学習原子間ポテンシャルの個別の評価（本シリーズ『機械学習原子間ポテンシャル』編）、不確かさの定量化（『不確かさと適用範囲』編）は扱っていません。
- 数字は、4つの問い（ラベル・分け方・指標・再現）とセットで読みます。実測を当てた誤差と、DFT の値を当てた誤差は別物です
- 誤差が小さくても、判断は外れます。生成エネルギーの予測精度は、安定性の予測精度を意味しません事実。合成データでは、MAE 0.06 eV/原子で、安定と判定した候補の適合率は 0.73 でした本稿の計算
- ものさしの目盛りを知ります。DFT と実験の差は 0.096 eV/原子、実験どうしでも 0.082 eV/原子の食い違いがあります事実
- 評価用データは、使い道に合わせて作ります。ランダム分割は楽観的になりやすく、版が変わると成績が落ちうる。前向きの検証でも、正解が計算なら、最終的には実験で確かめます事実
- 「発見」は5つの別の主張です。GNoME の220万は計算上の予測、A-Lab は著者訂正で「新規」の意味と要旨の数字が更新されました。どの段階までの主張かを読み分けます事実
10. 評価・標準の読み方
材料のMIの結果は、誤差の指標（MAE、R² など）、判断の指標（適合率、再現率、F1、発見の加速率など）、分け方、再現性、実験での確認という複数のものさしで読みます。誤差の指標は「平均してどれだけずれるか」を、判断の指標は「当たり外れの判断がどれだけ当たるか」を、分け方は「新しい材料にも当たるか」を、再現性は「別の道具・別の場所でも同じ結果か」を、実験での確認は「本当に作れて測れたか」を表します。 この記事は評価そのものを扱うため、この章は、これまでの章の内容と重なる部分が多くあります。ここでは、確認できたベンチマーク、規格、原則を、一枚の表にまとめます。材料のMIに特化した国際標準は、確認できませんでした。確認日は 2026年10月22日です。
| 評価項目 | 代表的なベンチマーク・評価手法（名称・出典） | 標準・指針（ISO/IEC・BIPM・NIST・FAIR など） | 読み方の注意 |
|---|---|---|---|
| 特性予測の誤差 | Matbench（13課題、312〜132,752件、5分割の入れ子交差検証）［1］事実 | 確認できなかった（予測誤差の測り方を定める標準） | 目標が実測か計算かを確認する。Dummy（平均を答える基準）との比で読む |
| 安定性の判定 | Matbench Discovery（WBM 257,487構造、F1・DAF など。順位表は更新中）［2・3］／Bartel らの安定性での検証（85,014組成）［5］事実未確定／将来 | 確認できなかった | 正解は DFT の凸包からの距離。境目付近の偽陽性に注意。総合スコアの重みは設計の選択 |
| AI・計算・実験の比較 | JARVIS-Leaderboard（274ベンチマーク、1,281件、5分野）［4］事実 | 確認できなかった | 課題ごとに分け方・正解が違う。実験は室間比較の考え方 |
| 分け方・分布のずれ | LOCO CV と最近傍の基準（Meredig ら）［7］／版による成績の低下（Li ら）［8］／本稿の合成データ 事実本稿の計算 | 確認できなかった | ランダム分割は楽観的になりうる。使い道で分け方を決める |
| データ漏洩と報告 | model info sheets（Kapoor と Narayanan、17分野294本の論文）［14］事実 | ISO/IEC 5259-1:2024（AI のデータ品質 第1部：概要・用語・例、2024年7月）［20］事実 | 材料分野の漏洩の実態は未確認。ISO/IEC の本文は有料で、要求事項は未確認 |
| 計算の再現性 | DFT コード間の比較（Lejaeghere ら、71元素、15コード）［15］／DFT と実験の比較（Kirklin ら）［6］事実 | 確認できなかった（DFT の手順を定める国際標準） | コード・版・汎関数・擬ポテンシャルを記録。値の差と実験の差を比べる |
| 実験の繰り返し性・再現性 | JARVIS-Leaderboard の室間比較［4］事実 | ISO 5725-1:2023（真度と精度、2023年7月）、ISO 5725-2:2025（繰り返し性と再現性の決定、2025年12月）［17・18］／VIM（JCGM 200:2012）［19］事実 | 測定法の評価の規格・用語。MIの予測の良し悪しを決めるものではない |
| 「発見」の主張 | GNoME、A-Lab とその批判・訂正［9〜13］事実 | 確認できなかった（「発見」の主張の基準を定める標準） | 5つの段階のどこまでの主張かを読み分ける。訂正の有無を確認 |
| データの公開・AIの用語・リスク管理 | — | FAIR 原則（Wilkinson ら、2016）［16］／ISO/IEC 22989:2022（AI の概念と用語、2022年7月）［21］／NIST AI RMF 1.0（NIST AI 100-1、自主的な利用を前提）［22］事実 | FAIR・NIST AI RMF は推奨で、法的拘束力はない。ISO/IEC は多くが任意の採用（本記事による解説） |
表の整理は本稿の計算（整理）。規格の番号・題名・発行年月は ISO の公式ページで確認（確認日 2026年10月22日）。規格本文は有料のため、適用範囲の記載にとどめています。ベンチマーク・順位表は研究コミュニティの取り組みで、規格ではありません。ASTM の規格は、ASTM のサイトを参照せず、本稿では扱っていません。
読み方の注意（素材技術者向け）
- ベンチマークの順位と、自社の材料での実力は違います：順位表は、特定のデータ・分け方・指標での数字です。重みの違う総合スコアは、重視するものが違えば順位が変わります。自社のデータで測り直してください
- 予測と実験検証は別の問いです：安定性の判定の成績が高くても、合成できるか、構造は正しいか、新しいか、役に立つかは別です（第7章）
- データ漏洩と分け方の落とし穴：似た材料が両側にまたがると、数字が楽観的になります。版が変わると、成績が落ちることもあります
- 標準・原則は、推奨か要求かを分けて読みます：FAIR は原則（推奨）、NIST AI RMF は自主的な枠組みです。ISO の規格は、法令や契約で引用されて初めて拘束力を持つ位置づけです（本記事による解説）。「規格に準拠」は、どの規格のどの要求事項かを確認してください
- 計画と達成は違います：順位表の更新、規格の改訂（ISO 5725-2 は2025年12月に新しい版が発行）は続きます。引用するときは、版と確認日を添えてください
11. 用語集
- MI（マテリアルインフォマティクス）
- 材料のデータと機械学習などを使って、材料の探索・設計を進める方法。
- ベンチマーク
- 同じ問題とデータ、採点方法を決めて、多くの手法を比べる仕組み。
- ラベル
- 機械学習が「正解」として学ぶ値。実測か計算かで意味が変わる。
- MAE（平均絶対誤差）
- 予測のずれの大きさの平均。目的変数と同じ単位。
- 適合率／再現率
- 当たりと判定したうち本当に当たりの割合／本当の当たりのうち見つけた割合。
- 偽陽性
- 本当は外れなのに、当たりと判定したもの。実験の無駄につながる。
- F1
- 適合率と再現率の調和平均。判断の成績を1つの数にしたもの。
- DAF（発見の加速率）
- 選んだ候補の安定な割合を、無作為に選んだ割合で割った値。
- 生成エネルギー（ΔHf）
- 元素から化合物を作るときのエネルギー。
- 凸包／凸包からの距離（ΔHd）
- 他の相に分解するほうが得かを調べる図／その差。0以下なら安定と判定する。
- 交差検証
- データを分けて予測を試し、入れ替えて繰り返す評価法。
- 入れ子交差検証
- 設定の選択と評価を分けて行う交差検証。Matbench が使う。
- LOCO CV
- 似たもののまとまり（クラスタ）ごと除いて評価する交差検証。
- 分布のずれ
- 学習データと実際に使うデータの分布が違うこと。成績が落ちる原因になる。
- 前向きの検証
- 実際の探索の手順で新しく作ったデータで評価すること。
- データ漏洩
- 評価に使うべき情報が、学習に入り込むこと。数字が過大になる。
- DFT
- 電子の振る舞いから性質を計算する物理シミュレーション。近似を含む。
- 繰り返し性／再現性
- 同じ条件で繰り返したときの精度／場所・操作者・装置が違う条件での精度。
- 室間比較
- 複数の研究室で同じ試料を測り、結果を比べること。
- リートベルト解析
- 粉末X線回折のパターンに結晶構造のモデルを当てはめて、相の割合や構造を求める方法。
- 無秩序（固溶体）
- 複数の元素が同じ結晶位置を共有して並ぶこと。秩序化合物と区別される。
- FAIR 原則
- データを見つけやすく、アクセスしやすく、組み合わせやすく、再利用しやすくする原則。
- model info sheets
- データ漏洩の型ごとに、分割や前処理を説明させる報告の様式。
12. 参考資料（一次情報）
- Dunn A., Wang Q., Ganose A., Dopp D., Jain A. "Benchmarking materials property prediction methods: the Matbench test set and Automatminer reference algorithm", npj Computational Materials 6, 138 (2020), DOI 10.1038/s41524-020-00406-3（オープンアクセス、本文を確認） — doi.org/10.1038/s41524-020-00406-3
- Riebesell J., Goodall R. E. A., Benner P., Chiang Y. ほか "A framework to evaluate machine learning crystal stability predictions", Nature Machine Intelligence 7, 836–847 (2025), DOI 10.1038/s42256-025-01055-1（本文を確認。同誌に Author Correction あり、DOI 10.1038/s42256-025-01117-4） — doi.org/10.1038/s42256-025-01055-1
- Matbench Discovery 公式サイト（順位表と指標、確認日 2026年10月22日） — matbench-discovery.materialsproject.org
- Choudhary K., Wines D., Li K., Garrity K. F. ほか（計37名） "JARVIS-Leaderboard: a large scale benchmark of materials design methods", npj Computational Materials 10, 93 (2024), DOI 10.1038/s41524-024-01259-w（要旨を確認。公式ページ pages.nist.gov/jarvis_leaderboard） — doi.org/10.1038/s41524-024-01259-w
- Bartel C. J., Trewartha A., Wang Q., Dunn A., Jain A., Ceder G. "A critical examination of compound stability predictions from machine-learned formation energies", npj Computational Materials 6, 97 (2020), DOI 10.1038/s41524-020-00362-y（オープンアクセス、本文を確認） — doi.org/10.1038/s41524-020-00362-y
- Kirklin S., Saal J. E., Meredig B., Thompson A., Doak J. W., Aykol M., Rühl S., Wolverton C. "The Open Quantum Materials Database (OQMD): assessing the accuracy of DFT formation energies", npj Computational Materials 1, 15010 (2015), DOI 10.1038/npjcompumats.2015.10（要旨を確認） — doi.org/10.1038/npjcompumats.2015.10
- Meredig B., Antono E., Church C. ほか "Can machine learning identify the next high-temperature superconductor? Examining extrapolation performance for materials discovery", Molecular Systems Design & Engineering 3, 819–825 (2018), DOI 10.1039/C8ME00012C（要旨を確認） — doi.org/10.1039/C8ME00012C
- Li K., DeCost B., Choudhary K., Greenwood M., Hattrick-Simpers J. "A critical examination of robustness and generalizability of machine learning prediction of materials properties", npj Computational Materials 9, 55 (2023), DOI 10.1038/s41524-023-01012-9（要旨を確認） — doi.org/10.1038/s41524-023-01012-9
- Merchant A., Batzner S., Schoenholz S. S., Aykol M., Cheon G., Cubuk E. D. "Scaling deep learning for materials discovery", Nature 624, 80–85 (2023), DOI 10.1038/s41586-023-06735-9（要旨を確認） — doi.org/10.1038/s41586-023-06735-9
- Szymanski N. J., Rendy B., Fei Y. ほか（計16名） "An autonomous laboratory for the accelerated synthesis of inorganic materials", Nature 624, 86–91 (2023), DOI 10.1038/s41586-023-06734-w（公表時の要旨と、訂正後に更新された要旨を確認） — doi.org/10.1038/s41586-023-06734-w
- Szymanski N. J. ほか "Author Correction: An autonomous laboratory for the accelerated synthesis of inorganic materials", Nature 650, E1 (2026年1月19日), DOI 10.1038/s41586-025-09992-y — doi.org/10.1038/s41586-025-09992-y
- Cheetham A. K., Seshadri R. "Artificial Intelligence Driving Materials Discovery? Perspective on the Article: Scaling Deep Learning for Materials Discovery", Chemistry of Materials 36, 3490–3495 (2024), DOI 10.1021/acs.chemmater.4c00643（要旨を確認） — doi.org/10.1021/acs.chemmater.4c00643
- Leeman J., Liu Y., Stiles J., Lee S. B., Bhatt P., Schoop L. M., Palgrave R. G. "Challenges in High-Throughput Inorganic Materials Prediction and Autonomous Synthesis", PRX Energy 3, 011002 (2024), DOI 10.1103/PRXEnergy.3.011002（要旨を確認） — doi.org/10.1103/prxenergy.3.011002
- Kapoor S., Narayanan A. "Leakage and the reproducibility crisis in machine-learning-based science", Patterns 4, 100804 (2023), DOI 10.1016/j.patter.2023.100804（オープンアクセス、要旨を確認） — doi.org/10.1016/j.patter.2023.100804
- Lejaeghere K. ほか（計69名） "Reproducibility in density functional theory calculations of solids", Science 351, aad3000 (2016), DOI 10.1126/science.aad3000（要旨・解説文を確認） — doi.org/10.1126/science.aad3000
- Wilkinson M. D. ほか "The FAIR Guiding Principles for scientific data management and stewardship", Scientific Data 3, 160018 (2016), DOI 10.1038/sdata.2016.18 — doi.org/10.1038/sdata.2016.18
- ISO "ISO 5725-1:2023 Accuracy (trueness and precision) of measurement methods and results — Part 1: General principles and definitions"（ISO のページ） — iso.org/standard/69418.html
- ISO "ISO 5725-2:2025 Accuracy (trueness and precision) of measurement methods and results — Part 2: Basic method for the determination of repeatability and reproducibility of a standard measurement method"（ISO のページ） — iso.org/standard/90054.html
- JCGM "JCGM 200:2012 International vocabulary of metrology — Basic and general concepts and associated terms (VIM)"（BIPM のページ、用語の項 2.21・2.24・2.25 を確認） — doi.org/10.59161/JCGM200-2012
- ISO/IEC "ISO/IEC 5259-1:2024 Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 1: Overview, terminology, and examples"（ISO のページ） — iso.org/standard/81088.html
- ISO/IEC "ISO/IEC 22989:2022 Information technology — Artificial intelligence — Artificial intelligence concepts and terminology"（ISO のページ） — iso.org/standard/74296.html
- NIST "Artificial Intelligence Risk Management Framework (AI RMF 1.0)", NIST AI 100-1, 2023年1月, DOI 10.6028/NIST.AI.100-1（自主的な利用を前提との記載を確認） — doi.org/10.6028/NIST.AI.100-1
13. 主張と出典の対応表（監査）
| 本文の主張 | 根拠 | 区分 |
|---|---|---|
| Matbench が13課題（312〜132,752件、10のデータ源）で、全課題を5分割の入れ子交差検証で評価すること。グループごとの交差検証が実際の使い方に近い場合があるという著者らの見解 | Dunn ら（2020）の本文 出典1 https://doi.org/10.1038/s41524-020-00406-3 | 事実 |
| Matbench Discovery の設計（現実的な課題、適切な目標、情報のある指標、スケール）、WBM 257,487構造、DAF の定義と最大値約6.5（約33,000/215,000）、回帰指標と判断の指標のずれ、偽陽性の非対称 | Riebesell ら（2025）の要旨・本文 出典2 https://doi.org/10.1038/s42256-025-01055-1 | 事実 |
| Matbench Discovery の順位表が複数課題を並べ、CPS が発見の F1（50%）、構造の RMSD（10%）、フォノンの κ SRME（40%）の合成であること。「全検証集合」と「ユニークなプロトタイプのみ」の選択 | 公式サイト（確認日 2026年10月22日） 出典3 https://matbench-discovery.materialsproject.org/ | 事実 |
| JARVIS-Leaderboard が AI・ES・FF・QC・EXP を扱い、実験は室間比較でベンチマークを作り、274ベンチマーク・1,281件・152の手法・800万点超を持つこと | Choudhary ら（2024）の要旨 出典4 https://doi.org/10.1038/s41524-024-01259-w | 事実 |
| 85,014組成で7モデルを検証し、生成エネルギーはよく予測できるが組成のみのモデルは安定性の予測が不得意なこと。ΔHf が −1.42±0.95 eV/原子、ΔHd が 0.06±0.12 eV/原子 | Bartel ら（2020）の要旨・本文 出典5 https://doi.org/10.1038/s41524-020-00362-y | 事実 |
| OQMD の DFT と1,670の実験の生成エネルギーの MAE 0.096 eV/原子、実験どうしの MAE 0.082 eV/原子 | Kirklin ら（2015）の要旨 出典6 https://doi.org/10.1038/npjcompumats.2015.10 | 事実 |
| 従来の機械学習の指標が材料探索の性能を過大評価すること、LOCO CV と最近傍ベンチマークの導入 | Meredig ら（2018）の要旨 出典7 https://doi.org/10.1039/C8ME00012C | 事実 |
| Materials Project 2018 で学習したモデルが2021年版の新しい化合物で成績が大きく落ちうること、UMAP と委員会による照会、1%の追加で改善 | Li ら（2023）の要旨 出典8 https://doi.org/10.1038/s41524-023-01012-9 | 事実 |
| GNoME：4.8万の安定な結晶を土台に220万の構造が現在の凸包の下、736は独立に実験で実現済み | Merchant ら（2023）の要旨 出典9 https://doi.org/10.1038/s41586-023-06735-9 | 事実 |
| A-Lab：公表時は「58の標的のうち41の新規化合物」、訂正後に更新された要旨は「57の標的のうち36の化合物」、17日間の運転 | Szymanski ら（2023）の要旨（公表時版と更新版） 出典10 https://doi.org/10.1038/s41586-023-06734-w | 事実 |
| 2026年1月19日の著者訂正：同定と新規性への懸念、「新規」は予測基盤にとって新規の意図だったこと、本文の更新 | Nature 650, E1 出典11 https://doi.org/10.1038/s41586-025-09992-y | 事実 |
| GNoME に対する指摘：新規性・信頼性・有用性をそろえた化合物の証拠が乏しい。方法は有望で専門知識が必要 | Cheetham と Seshadri（2024）の要旨 出典12 https://doi.org/10.1021/acs.chemmater.4c00643 | 事実 |
| A-Lab に対する検討：43の生成物、4つの共通の問題、新規材料の発見は支持されないとの結論、成功の3分の2が既知の無秩序版の可能性、リートベルト解析と無秩序の課題 | Leeman ら（2024）の要旨 出典13 https://doi.org/10.1103/prxenergy.3.011002 | 事実 |
| データ漏洩が17分野・少なくとも294本の論文に影響したこと、漏洩の8つの型、model info sheets | Kapoor と Narayanan（2023）の要旨 出典14 https://doi.org/10.1016/j.patter.2023.100804 | 事実 |
| 71元素の結晶、15の DFT コード、40のポテンシャルで比べ、最近のコードの大半が実験の誤差と同程度の差で収束したこと | Lejaeghere ら（2016）の解説文 出典15 https://doi.org/10.1126/science.aad3000 | 事実 |
| FAIR 原則が、データの再利用性を高めるための簡潔で測定可能な原則であること | Wilkinson ら（2016）の要旨 出典16 https://doi.org/10.1038/sdata.2016.18 | 事実 |
| ISO 5725-1:2023（2023年7月）、ISO 5725-2:2025（2025年12月、2019年版は廃止）の番号・題名・適用範囲 | ISO のページ（確認日 2026年10月22日） 出典17 https://www.iso.org/standard/69418.html 出典18 https://www.iso.org/standard/90054.html | 事実 |
| VIM の用語：2.21 測定の繰り返し性、2.24 再現性条件（場所・操作者・測定システムが違う）、2.25 測定の再現性 | JCGM 200:2012 出典19 https://doi.org/10.59161/JCGM200-2012 | 事実 |
| ISO/IEC 5259-1:2024（2024年7月）、ISO/IEC 22989:2022（2022年7月）の番号・題名・発行年月 | ISO のページ 出典20 https://www.iso.org/standard/81088.html 出典21 https://www.iso.org/standard/74296.html | 事実 |
| NIST AI RMF 1.0（NIST AI 100-1）が自主的な利用を前提とすること | NIST AI 100-1 の本文 出典22 https://doi.org/10.6028/NIST.AI.100-1 | 事実 |
| 合成データの結果（MAE 0.02〜0.10 eV/原子での適合率 0.91〜0.61、再現率 0.93〜0.76。MAE 0.06 で適合率 0.725、再現率 0.823）と、適合率・再現率の説明の例（725/1,000、725/880） | 本稿の計算（Python・NumPy。ラプラス分布の合成データ40万点、乱数の種0）。実在の材料の成績ではない | 本稿の計算 |
| Matbench Discovery の論文の Author Correction の内容、A-Lab の訂正に付属する注釈つきPDF、GNoME・A-Lab の著者による反論、A-Lab の「41」と Leeman らの「43」の違い、材料分野でのデータ漏洩の実態、材料のMIの評価に特化した国際標準は、確認できなかったため記載していない | 本稿の調査範囲でアクセスできた一次情報では確認できなかった | 解説 |
| 「4つの問い」「分け方の4段階」「発見の5つの意味」「6つの質問」などの整理、素材技術者の視点、「両方の文書が同時に正しいことがある」という読み取り | 公表内容にもとづく本記事の整理・解説。各機関が表明した見解ではない | 解説 |
| 図2〜図6・図8・図9が実データの観察ではなく説明のための作図、または公表された数値の作図であること。図1と図7がImageGen生成の概念画像であること | 本記事による注記 | 解説 |
最終更新：2026年10月22日／出典は一次情報（査読論文、arXiv のプレプリント、公式サイト、ISO・BIPM・NIST の公式資料）に限定しています。ISO の規格本文は有料のため確認できていません。 合成データの例は本稿が作った架空のデータの計算で、実在の材料の成績ではありません。「AIが発見した」をめぐる議論は、公表された文書の記述を中立に並べたもので、本稿は独立に追試していません。 一部の訂正・反論の内容、材料分野でのデータ漏洩の実態、材料のMIの評価に特化した標準については、確認できなかったため記載していません。 図は説明用の概念図、本稿の計算を含む作図、または公表された数値の作図で、図1と図7はImageGen生成の概念画像です。