TECHNOLOGY EXPLAINER
材料向け大規模言語モデルとテキストマイニング
― 論文・特許から材料データを取り出す
材料の知識の多くは、論文や特許の「文章」の中にあります。表になったデータベースにあるのは、そのごく一部です。この記事では、文章から材料のデータを自動で取り出す技術（テキストマイニング）を、図と小さな数値で順に説明します。辞書・ルールの方法から、BERT 系のモデル、そして大規模言語モデル（LLM）までの流れ、実際の取り出しの精度、LLM が間違えやすい点（幻覚、数値と単位の取り違え）、材料向けのモデルを、誇張せずに整理します。「LLM に聞けば材料の答えが出る」ではなく、「LLM は文章を表に直す道具として強いが、検証が要る」という立場で書きます。
- 3行でわかる／読む前に／シリーズの中での位置
- なぜ、論文の文章から取り出すのか
- 文章が表になるまで ― 6つの段階
- 実例 ― 約420万本の論文から固相合成の反応を取り出す
- 取り出し方の移り変わり ― 辞書・ルールからLLMまで
- LLMで取り出すと、どのくらい当たるのか
- LLMの使いどころと限界 ― 幻覚・数値・表と図
- 材料向けのLLM・基盤モデル ― 論文で確認できること
- 素材技術者から見て ― 自社の文書での始め方
- 限界と、確認できなかったこと／まとめ
- 評価・標準の読み方
- 用語集
- 参考資料（一次情報）
- 主張と出典の対応表（監査）
事実＝公表資料に記載のある内容（出典リンクあり）
本稿の計算＝明示した前提をもとに本記事が算出した値
未確定／将来＝計画・目標・草案・改訂中など、確定していない事項
このほか、素材技術者向けの読み取りは「解説」として区別しています。推測は太字で示します。研究グループや企業の主張は「主張」と明記します。
適合率・再現率・正答率などは、その論文の課題・データ・評価の決め方での値です。別の論文の数字と並べて「どちらが上」と読まないでください。また、これらは文章から取り出す精度の話で、取り出した材料の値が実験で正しいことを保証するものではありません。
1. 3行でわかる／読む前に／シリーズの中での位置
- 材料のデータの多くは、論文や特許の文章の中にあります。それを表にするのがテキストマイニングです。代表例では、約420万本の論文から、固相合成の反応を約1.9万件取り出しました事実［参考資料1］
- LLM は「文章を、決めた形の表に直す」作業に強いです。公表された試験では、適合率・再現率とも約9割に達した例があります。ただし、「何を正解とするか」を変えると再現率が約6割まで下がる例もあり、幻覚（原文にない内容の書き足し）や数値・単位の取り違えも起きます事実［参考資料11・10］
- いちばん大事な1点：取り出した値は「候補」です。原文との照合と、人が作った正解データでの精度測定を、仕組みの中に入れる必要があります事実［参考資料11・20］
機械学習は「過去のデータから傾向を学ぶ近似器」、LLM は「次の語を予測して文章をつくるモデル」です（本シリーズ「機械学習とニューラルネットワークの基礎」編、「Transformerと大規模言語モデル」編で説明しています）。ここでは繰り返さず、「文章を読んで表をつくる使い方」に集中します。この記事は単独でも読めるよう、用語は初出で説明します。
データの形は「材料データと記述子」編・「材料データベースとFAIR原則」編、LLM が計算や装置などの道具を使う話は「AIエージェントによる材料研究」編、LLM が材料そのものを提案する話は「生成AIによる材料設計」編、結果の評価は「MIの結果の評価と再現性の読み方」編で扱います。この記事は、「論文という大量の文章から、材料データの原料を作る」入り口です。
2. なぜ、論文の文章から取り出すのか
材料の実験は、成功した条件も失敗した条件も、まず論文の文章として世に出ます。たとえば「何を何℃で何時間焼いたら、この材料ができた」という記述です。一つずつ読めば役に立ちますが、本数が多すぎます。
感覚をつかむために計算してみます。ある研究（Kononova ら、2019）が集めた論文は4,204,170本でした［参考資料1］。1本を10分で読むと仮定すると、合計は約70万時間です。1人が年に2,000時間（1日8時間×250日）読むとすると、約350人年になります本稿の計算（10分という仮定は、桁をつかむための例です）。
表になった材料のデータベースは、論文に書かれた知識の一部にすぎない、と Tshitoyan らは述べます事実［参考資料3］。材料探索を「広大な地図の中から宝のありかを探す」作業にたとえると、過去の論文は先人が残した探検の記録です。テキストマイニングは、その記録を地図に書き写す作業にあたります。写し間違いがあれば、地図そのものが間違います。
探検の記録には偏りがあります。論文には成功した例が多く載り、うまくいかなかった例（「ノー」の結果）はあまり公表されません事実［参考資料2］。記録をそのまま写した地図は、「宝が見つかった道」ばかりが描かれた地図になります。この偏りは、テキストマイニングの精度とは別の問題です。
文章をコンピュータで読み、材料名や数値などの情報を見つけて表にする処理の総称です。文章を扱う技術全体は自然言語処理（NLP）と呼びます。この記事では、「文章 → 表」とだけ覚えておけば十分です。
3. 文章が表になるまで ― 6つの段階
文章を表にする処理は、おおまかに6つの段階に分けられます。段階ごとに、うまくいかない点があります。LLM を使う場合でも、この流れは変わりません。
元のSVG・数値・出典を確認する
元SVGの説明：概念図（ベクター作図）。文章から表をつくる6段階。PDF の F1 と TDM の記述は、Kononova ら（2021）の総説と Kononova ら（2019）による。
中心になるのは③と④です。③は固有表現抽出（NER）、つまり文中の語に「これは材料名」「これは温度」と印をつける作業です。④は関係抽出、つまり「この温度は、この材料の焼成の温度」と語どうしを結ぶ作業です。③だけでは、温度の数字が散らばっているだけで、どの材料のものか分かりません。
小さな例で見てみましょう。下の図の左は、本稿が説明用に作った例文です（実在の論文の引用ではありません）。右が、取り出して整えた結果です。
右の「反応式」まで組み立てると、後で「どの原料の組み合わせで、どの温度なら、この材料ができたか」を数えられます。Kononova らのデータも、1件ごとに目的物・原料・操作と条件・バランスのとれた反応式をもっています事実［参考資料1］。
入口の問題：文章を手に入れる
- HTML／XML の本文は扱いやすいのですが、PDF は段組みに表や式が混ざり、文章の順序を取り戻すのが難しくなります。総説は、PDF から論理構造を復元する方法の精度が、F1 でまだ約80%未満だと述べます事実［参考資料2］
- 大量の本文を取得するには、出版社とのテキスト・データマイニング（TDM）の合意が要ります。Kononova らは、6つの出版社から許可を得て取得しました事実［参考資料1・2］。権利やライセンスの確認は、技術の話とは別に必要です（本稿は法的助言ではありません）
- 特許も同じ発想で扱えます。たとえば、1976年から2016年9月までの米国特許から、化学反応をテキストマイニングで取り出したデータセットが公開されています（CC0）。ただし重複が多いことが注意書きにあり、化学反応を SMILES などで表したデータで、材料の組成や物性を集めたものではありません事実［参考資料22］
4. 実例 ― 約420万本の論文から固相合成の反応を取り出す
2019年に Kononova らは、無機材料の「合成のレシピ」を論文から取り出したデータセットを公開しました事実［参考資料1］。固相合成とは、粉末の原料を混ぜて高温で焼き、目的の材料を得る方法です。下の図は、論文数が段階ごとにどう減っていくかを示します。
- 取得した論文は4,204,170本、実験欄の段落は6,218,136個、そのうち無機合成の段落は188,198個、固相合成の段落は53,538個でした事実［参考資料1］。固相合成の段落から、バランスのとれた反応を組み立てられたのは15,144個、約28%です本稿の計算（論文の記載は28%）
- 著者らは、誤った記録を出すより、取りこぼすほうを選ぶ方針をとりました（高い適合率と引き換えに、再現率が低い）事実［参考資料1］。取り出した記録は、100段落の点検で、化学の部分は93%、操作の条件まで含めると51%が正しいと報告されています
- 同じ手法の別の例として、電池材料のデータベースが ChemDataExtractor で自動作成されています。229,061本の論文から292,313件の記録が得られました事実［参考資料6］
同じ記録でも、見る範囲で正しさが変わります。「原料と目的物と反応式」だけなら93%ですが、「混ぜ方の装置や媒体」まで全部合っているかを見ると51%に下がります。固相合成では混ぜ方の細部は重要でないことも多い、と著者は述べます。数字を見るときは、「どの項目まで含めた正しさか」を確かめます。
論文のレシピは、その研究室の原料の純度・粒径・炉・雰囲気のもとでの報告です。取り出した表の「1100 °C、4 時間」は、あなたの粉末と炉でそのまま再現するとは限りません（本記事による解説）。データベースは「探す場所を絞る道具」として使い、自社で再現するときは対照と繰り返し（ロット差を含む）を入れた実験で確かめるのが基本です。
5. 取り出し方の移り変わり ― 辞書・ルールからLLMまで
ここまでの「取り出し」は、時代とともに方法が変わってきました。総説（2021年）は、材料科学のテキストマイニングはまだ発展の初期にある、と述べています事実［参考資料2］。大きく3つの世代に分けて眺めます。
① 辞書・ルール＋小さな機械学習
ChemDataExtractor は、化学の文章向けの言語処理の道具一式で、材料名や数値をルールと辞書で見つけます事実［参考資料4］。Weston らは、材料名・試料の特徴・相・性質・用途・合成法などに印をつける固有表現抽出のモデルを作り、F1 で87%を得て、327万本の要旨に適用しました（8,000万を超える語を抽出）事実［参考資料5］。
② 単語をベクトルにする方法と、BERT 系
Tshitoyan らは、論文の要旨から単語を数値の並び（ベクトル）に直す方法（単語埋め込み）を使いました。人がラベルをつけなくても、周期表の構造や、材料の構造と性質の関係が表れた、と報告しています。また、機能性材料の候補を「発見の数年前に」推薦できたと述べます事実［参考資料3］。これは過去の発見を後から検証したもので、将来の発見を保証するものではありません（解説）。
次に、BERT 系のモデルが使われるようになりました。BERT は、文章を読んで各語の意味を数値にする Transformer 系のモデルです。科学の論文で事前に学習した SciBERT［参考資料7］、材料の論文で事前に学習した MatBERT と MatSciBERT があります。Trewartha らは、材料の固有表現抽出の3つのデータで比べ、MatBERT が他の BERT 系（BERT、SciBERT）より1〜12%よく、MatBERT と SciBERT が元の BERT を上回る差は、データが少ないときに大きいと報告しました事実［参考資料8］。一方、材料向けの単語ベクトルを使った単純なモデル（BiLSTM）が、元の BERT を一貫して上回ったことも報告されています。新しい・大きいモデルが、つねに良いとは限りません。
③ 大規模言語モデル（LLM）
LLM は、指示文（プロンプト）で「この文章から材料と値を取り出して」と頼むだけで動きます。さらに、人が作った100〜500個ほどの例で微調整（追加の学習）をすると、複雑な関係も決まった形で書き出せます。Dagdelen らは、GPT-3 と Llama-2 を微調整して、ドーパントと母材の対応、MOF の目録づくりなど3つの課題を試しました事実［参考資料10］。次の章で、精度を見ます。
事前学習は、大量の文章で言葉の使い方をあらかじめ学ぶ段階で、新入社員の基礎研修にあたります。微調整は、自社の書式に合わせた少数の例で追加学習する段階で、配属後の実地研修にあたります。たとえの限界：LLM は、研修で学んだことを「理解」しているわけではなく、文章の統計的な傾向を身につけているだけです。
6. LLMで取り出すと、どのくらい当たるのか
精度を語るには、2つの数字が要ります。
- 適合率：取り出した値のうち、正しかったものの割合。「出した答えの正しさ」
- 再現率：正解の値のうち、拾えたものの割合。「見落としの少なさ」
池の中の目的の魚を網で捕る場面を考えます。適合率は「網にかかった魚のうち、目的の魚の割合」、再現率は「池にいる目的の魚のうち、捕れた割合」です。目の粗い網は、目的の魚だけが残りやすい（適合率が高い）が、小さな目的の魚は逃げます（再現率が低い）。Kononova らの方針は、この目の粗い網に近いものです。たとえの限界：データの取り出しでは、「目的の魚」かどうかを決めるのは、人が作った正解データです。
もっと詳しく：適合率・再現率・F1 の計算例
正解が100件ある文書集合から、システムが80件を取り出し、そのうち72件が正解だったとします。適合率＝72÷80＝90%、再現率＝72÷100＝72%です。2つをまとめた指標が F1 で、F1＝2×適合率×再現率÷(適合率＋再現率)＝2×0.90×0.72÷1.62＝0.80です本稿の計算（数値は説明用の例）。
では、公表されている数字を見ましょう。
- ChatExtract（Polak と Morgan）：会話型の LLM に、データのある文の判定、値の取り出し、確認の質問を順に行わせる方法です。体積弾性率の試験（正解は100文・179データ点）で、GPT-4 は適合率90.8%・再現率87.7%でした。金属ガラスの臨界冷却速度の実際のデータベース作りでは、整理した版で91.9%・84.2%でした（要旨と序論には91.6%・83.6%とあり、本文の値とわずかに異なる。本稿は本文の値を使う）事実［参考資料11］
- 同じ課題でも「正解の決め方」で変わる：臨界冷却速度で、論文中の数値の言及をすべて正解にすると、適合率76.9%・再現率63.1%でした。範囲や、材料の族（例：Zr 系ガラス）の言及が多く、記号1つの落ちも誤りに数えたためです事実［参考資料11］
- LLM-NERRE（Dagdelen ら）：複雑な関係では下がります。MOF と一般の材料情報の課題の F1 は、ドーパントと母材の課題より約30%低く、最高は組成式と用途の関係の0.537でした（単語の完全一致という厳しい基準で、下限の値）事実［参考資料10］
- ChemPrompt（Zheng ら）：約800個の MOF の論文から26,257個の合成の項目を取り出し、適合率・再現率・F1 は90〜99%と報告されています。その表を使って、結晶化の結果を予測する機械学習モデル（正答率86%超）も作られました事実［参考資料12］
「約9割」を実感する計算をします。適合率が90%なら、1,000件を取り出したとき、約100件は誤りです。再現率が84%なら、論文に書かれている値の約16%は表に載りません本稿の計算（上の数値からの単純な計算）。しかも、誤りの100件は、どれか分かりません。だから、原文に戻れる仕組みと、抜き取りの確認が要ります。
正しくありません。公表された最良の例でも適合率は9割前後で、課題や正解の決め方によっては、再現率が6割台に下がります。正しい説明は、「LLM は表の下書きを高速につくる。人が決めた項目の定義と、正解データでの測定と、原文との照合があって、はじめて使える表になる」です。
7. LLMの使いどころと限界 ― 幻覚・数値・表と図
(1) 幻覚（ハルシネーション）
幻覚とは、もっともらしいが原文にない内容を書いてしまうことです。NIST の生成 AI プロファイルは、これをconfabulation（「自信ありげに述べられた、誤りまたは虚偽の内容」で、俗に hallucination と呼ばれる）として、生成 AI のリスクの1つに挙げています事実［参考資料29］。材料の取り出しでの実例は、Dagdelen らの報告にあります。原文が「silica」とだけ書いているのに、化学式の欄に「SiO₂」を書き足す、という型です。正しいかもしれませんが、原文にない以上、データとして入れるべきではない、と著者らは述べます事実［参考資料10］。
(2) 数値・単位・「誰の値か」
Polak と Morgan は、体積弾性率の課題が難しい理由として、ヤング率やせん断弾性率など、名前も値の範囲も単位（圧力）も似た物性が同じ論文に載ることを挙げます。この試験の文の70%には複数の値が含まれていました事実［参考資料11］。誤りのうち、どの材料のどの値かの対応づけが外れるものは、一見もっともらしいので見つけにくくなります（解説）。
材料の知識の問題集 MaScQA（650問）では、GPT-4 の正答は約62%で、誤りの約64%が概念の誤り、約36%が計算の誤りでした事実［参考資料19］。化学の ChemBench（2,700問超）では、最良のモデルは平均で人間の化学者の最高を上回りましたが、基本的な課題で誤り、過信した予測を出すと報告されています事実［参考資料20］。
(3) 表・図・PDF と、載らない情報
表や図の中の情報は、文章の抽出とは別の技術（画像の認識など）が要ります事実［参考資料2］。さらに、論文は成功例に偏り、失敗は公表されにくいことを、総説は問題として挙げます。Raccuglia らは、実験ノートに残っていた失敗した実験を機械学習に使うと、結晶ができる条件の予測に役立つと示しました事実［参考資料21］。
(4) 幻覚と取り違えを減らす工夫
ChatExtract の著者らは、（a）「データが書かれていない場合もある」と明示して、無理に埋めさせない、（b）わざと否定の答えを促す確認の質問を重ねて、答えを見直させる、（c）すべての質問を1つの会話の中で行い、毎回データ全体を示す、といった工夫を挙げています事実［参考資料11］。いずれも、同じ答えを別の聞き方で確かめる考え方です。
LLM は更新され、同じ指示文でも結果が変わることがあります（本記事による解説）。取り出しを業務に使うなら、モデルの名前と版、実行日、指示文、設定を、データと一緒に記録します。後で「なぜこの値が入ったか」をたどれることが、材料データでは特に大切です。結果を再現するには、原文の該当箇所の保存も要ります。
8. 材料向けのLLM・基盤モデル ― 論文で確認できること
「基盤モデル」とは、大量のデータで事前に学習し、さまざまな課題に使い回せるモデルのことです。材料の文章向けのモデルを、論文で確認できた範囲で表にします。課題・データ・評価の条件が論文ごとに違うため、モデル同士の優劣はつけません。
| モデル・手法 | 種類 | 論文の記載（確認した範囲） | 読み方の注意 |
|---|---|---|---|
| SciBERT（2019） | BERT 系 | 科学の論文の多分野で事前学習。いくつかの課題で BERT より良いと報告事実［参考資料7］ | 材料に特化したモデルではない |
| MatBERT（2022） | BERT 系 | 材料の論文で事前学習。固有表現抽出の3データで、他の BERT 系より1〜12%よい事実［参考資料8］ | 材料向けの単語ベクトルを使う BiLSTM が BERT を上回った結果もある |
| MatSciBERT（2022） | BERT 系 | 材料の論文で事前学習。要旨の分類・固有表現抽出・関係抽出の3課題で SciBERT を上回ると報告。モデルは公開事実［参考資料9］ | 論文の評価データでの結果 |
| DARWIN（2023） | LLM（微調整） | オープンソースの LLM を、物理・化学・材料の6万件超の指示データで微調整事実［参考資料15］ | プレプリント。評価は論文の課題による |
| LLaMat（2024） | LLM（追加の事前学習） | LLaMA を材料の文献と結晶データで追加学習した一群。Llama-2 を基にした版が、Llama-3 を基にした版より材料の課題で予想外によい性能を示したと著者が述べる事実［参考資料14］ | プレプリント。「新しい基盤モデルが必ず良い」とは限らない例 |
| LLM-Prop（2025） | LLMで物性予測 | 結晶の文章による記述から、バンドギャップなどを予測。著者はTextEdgeデータで、GNN に基づく手法などを上回ると報告事実［参考資料16］ | 論文の独自データでの比較。別の材料・データでの結果は不明 |
| 微調整した LLaMA-2（Gruver ら 2024） | LLMで結晶を生成 | 結晶構造を文章として出力。計算上「準安定」と予測される割合が49%（拡散モデル CDVAE は28%）事実［参考資料17］ | 計算上の予測であり、合成して確かめた結果ではない。詳細は「生成AIによる材料設計」編 |
評価の側では、材料の文章向けの課題を集めた MatSci-NLP（7つの課題）事実［参考資料18］、材料の知識の問題集 MaScQA［参考資料19］、化学の知識を化学者と比べる ChemBench［参考資料20］ があります。ハッカソンの報告（Jablonka ら）は、物性の予測、道具の画面づくり、文章からの知識の抽出、教育への応用などの試作が2日足らずでできたと述べます事実［参考資料13］。ただしこれは「試作が簡単にできた」という報告で、精度の保証ではありません。
必ずしもそうではありません。材料の論文で事前学習すると、固有表現抽出などでは利点が測定されています事実［参考資料8・9］。しかし、LLaMat の論文自身が、新しい Llama-3 の上に作ったものより、古い Llama-2 の上に作ったもののほうが、材料の課題で予想外によい性能を示したと述べています事実［参考資料14］。課題と自社のデータで測って選ぶのが正しい進め方です。
9. 素材技術者から見て ― 自社の文書での始め方
同じ考え方は、論文だけでなく、自社の実験報告書、試験成績書、仕様書、特許にも使えます。始め方を、手順の図で示します。
LLM より先に、何を表の列にするかを決めます。材料名だけでなく、組成、ロット、処理の履歴、測定法、試料の形、測定条件、値、単位を分けて書くと、後で「同じ条件の値だけ比べる」ことができます。LLM は「列を埋める」作業は得意ですが、どの列が自社の判断に効くかは、専門家が決める部分です（本記事による解説）。
論文には成功した例が偏って載ります事実［参考資料2］。Raccuglia らが示したように、実験ノートにある失敗の記録は機械学習に役立ちます事実［参考資料21］。自社の実験ノートや不良の報告書に、同じ取り出しを適用すると、論文では得られない「うまくいかない条件」のデータになりえます（本記事による解説）。ただし、社外のサービスに文書を入力するかどうかは、秘密保持の契約と社内の規程を確認してから決めます（本稿は法的助言ではありません）。
10. 限界と、確認できなかったこと／まとめ
(1) 確認できなかったこと
- 各論文の数値は、その論文の課題・データ・評価での値です。最新の LLM で同じ試験をやり直した結果は、本稿では確認していません。
- LLaMat と DARWIN は、プレプリントです。査読を経た掲載誌は確認できませんでした。
- 各モデルのライセンス（商用利用の可否）は、本稿では確認していません。利用の前に公式の記載を確認してください。
- 特許から材料の物性・組成を取り出す手法を、材料分野で評価した一次情報は、本稿では確認できませんでした（確認できたのは有機化学の反応データのみ）。
- 出版社ごとの TDM の最新の条件は確認していません。
- 材料の文献からのデータ抽出に特化した国際標準は、確認できませんでした。
- ISO/IEC 規格の本文は有料のため、題名と適用範囲の記載にとどめ、要求事項は書いていません。
- 材料の知識の多くは文章の中にあり、テキストマイニングは「文章 → 表」を自動化する。約420万本の論文から固相合成の約1.9万件を取り出した例がある事実
- LLM は表の下書きに強い。公表された最良の試験で、適合率・再現率とも約9割。ただし「正解の決め方」で約6割にも下がる事実
- 幻覚・数値と単位の取り違え・表と図・載らない失敗が主な限界。原文の保存、正解データでの測定、抜き取り確認が要る事実
- 材料専用・新しい・大きいモデルが必ず良いとは限らない。自社の課題で測って選ぶ事実
- 項目（スキーマ）を先に決め、版・日付・指示文を記録し、自社の失敗記録も対象にする（本記事による解説）
11. 評価・標準の読み方
この分野の「ものさし」は、まず取り出しの正しさ（適合率・再現率・F1。人が作った正解データに対して測る）です。次に、LLM の材料・化学の知識を測る問題集（MaScQA、ChemBench など）があります。前者は「文章を読む力」、後者は「記憶している知識」を測っており、どちらも、自社の材料の実験値が正しいことを測るものではありません。確認日は2026年10月22日です。
| 評価項目 | 代表的なベンチマーク・評価手法（名称・出典） | 標準・指針（ISO/IEC・NIST・国際的な原則など） | 読み方の注意 |
|---|---|---|---|
| 抽出の正しさ | 適合率・再現率・F1。ChatExtract は100文・179データ点の正解データ［参考資料11］。MatSci-NLP は7つの課題［参考資料18］事実 | 確認できなかった（材料の文献抽出に特化した国際標準は確認していない） | 「何を正解とするか」で値が変わる（同じ手法で76.9%／63.1%と91.9%／84.2%）。完全一致は下限の値［参考資料11・10］ |
| 材料・化学の知識 | MaScQA（650問）［参考資料19］、ChemBench（2,700問超）［参考資料20］事実 | 確認できなかった | 試験の点数と、自社の抽出課題の精度は別。誤りの型（概念か計算か）、過信の有無を見る |
| データの質 | 人による抜き取り点検（例：100段落の点検）［参考資料1］事実 | ISO/IEC 5259-1:2024（分析と機械学習のためのデータ品質 第1部：概要・用語・例）［参考資料26］事実 | 考え方と用語の枠組み。材料データの合格基準を与えるものではない（本文は有料のため適用範囲のみ確認） |
| データの共有と再利用 | 確認できなかった | FAIR 原則（Wilkinson ら、2016）［参考資料23］事実 | 原則であり、法的拘束力のある規格ではない。抽出したデータの権利は、元の論文のライセンスに左右される |
| AI の用語・枠組み・管理 | 確認できなかった | ISO/IEC 22989:2022（概念と用語）［参考資料24］、ISO/IEC 23053:2022（機械学習を使うAIシステムの枠組み）［参考資料25］、ISO/IEC 42001:2023（AI マネジメントシステム）［参考資料27］事実 | 組織の運用と用語の枠。42001 は「組織が AI を管理する仕組みの要求事項」で、抽出結果の正しさを保証するものではない |
| 生成AIのリスク（幻覚） | 確認できなかった | NIST AI RMF 1.0（NIST AI 100-1、2023年1月）［参考資料28］、NIST AI 600-1 生成AIプロファイル（2024年7月26日。confabulation を主なリスクに挙げる）［参考資料29］事実 | 自主的な（voluntary）指針であり、法的義務ではない |
表の整理は本稿の計算（整理）。番号・題名・状態は ISO・NIST の公式ページで確認（確認日 2026年10月22日）。規格の本文は有料のため、適用範囲の記載にとどめ、要求事項は書いていません。
読み方の注意（素材技術者向け）
- ベンチマークの点数と、自社の抽出課題の精度は別です：MaScQA や ChemBench の点数が高くても、自社の報告書の表記や略称で同じ精度が出るとは限りません。自分の文書で、正解データを作って測ります
- 「取り出した」と「確かめた」は別です：文章から取り出した値は、論文の報告です。実験で確かめた値ではありません。予測と実験の確認を、混ぜて書かない
- 標準・原則は、推奨か要求かを区別します：FAIR 原則と NIST の指針は自主的なもので、ISO/IEC 42001 は組織が認証を受ける場合の要求事項です。どれも、抽出の精度の基準を与えるものではありません
12. 用語集
- テキストマイニング
- 文章をコンピュータで読み、情報を見つけて表にする処理。
- 自然言語処理（NLP）
- 人の言葉をコンピュータで扱う技術の総称。
- 固有表現抽出（NER）
- 文中の語に「材料名」「温度」などの印をつける作業。
- 関係抽出
- 見つけた語どうしの関係（どの材料のどの値か）を結ぶ作業。
- スキーマ
- 表の列や項目を決めた設計図。
- JSON
- 項目と値を入れ子で書く、データの書式。
- コーパス
- 学習や分析に使う文章の集まり。
- 注釈（アノテーション）
- 人が文章に正解の印をつけること。
- 正解データ
- 人が作った正解の表。精度を測る基準になる。
- 事前学習
- 大量の文章で、言葉の使い方をあらかじめ学ぶ段階。
- 微調整（ファインチューニング）
- 少数の例で、特定の課題に合わせて追加学習すること。
- BERT
- 文章を読んで各語を数値にする、Transformer 系の小型のモデル。
- 単語埋め込み
- 単語を数値の並び（ベクトル）に直したもの。
- 大規模言語モデル（LLM）
- 次の語を予測して文章をつくる、大型のモデル。
- 基盤モデル
- 大量のデータで事前に学習し、多くの課題に使い回すモデル。
- プロンプト
- LLM への指示文。
- 幻覚（ハルシネーション）
- もっともらしいが、原文にない・誤った内容を書くこと。
- 適合率
- 取り出した値のうち、正しかったものの割合。
- 再現率
- 正解の値のうち、拾えたものの割合。
- F1
- 適合率と再現率をまとめた指標（調和平均）。
- 完全一致
- 語がまったく同じ場合だけを正解とする厳しい採点。言い換えは誤りになる。
- TDM（テキスト・データマイニング）
- 大量の論文本文を機械で処理すること。出版社との合意が要ることが多い。
- 固相合成
- 粉末の原料を混ぜて高温で焼き、目的の材料を得る方法。
- MOF
- 金属有機構造体。金属と有機分子でできた多孔質の結晶（本シリーズの別記事を参照）。
13. 参考資料（一次情報）
- Kononova O. ほか "Text-mined dataset of inorganic materials synthesis recipes", Sci. Data 6, 203 (2019), DOI 10.1038/s41597-019-0224-1 — doi.org/10.1038/s41597-019-0224-1
- Kononova O. ほか "Opportunities and challenges of text mining in materials research", iScience 24, 102155 (2021), DOI 10.1016/j.isci.2021.102155 — doi.org/10.1016/j.isci.2021.102155
- Tshitoyan V. ほか "Unsupervised word embeddings capture latent knowledge from materials science literature", Nature 571, 95–98 (2019), DOI 10.1038/s41586-019-1335-8 — doi.org/10.1038/s41586-019-1335-8
- Swain M. C., Cole J. M. "ChemDataExtractor: A Toolkit for Automated Extraction of Chemical Information from the Scientific Literature", J. Chem. Inf. Model. 56, 1894–1904 (2016), DOI 10.1021/acs.jcim.6b00207 — doi.org/10.1021/acs.jcim.6b00207
- Weston L. ほか "Named Entity Recognition and Normalization Applied to Large-Scale Information Extraction from the Materials Science Literature", J. Chem. Inf. Model. 59, 3692–3702 (2019), DOI 10.1021/acs.jcim.9b00470 — doi.org/10.1021/acs.jcim.9b00470
- Huang S., Cole J. M. "A database of battery materials auto-generated using ChemDataExtractor", Sci. Data 7, 260 (2020), DOI 10.1038/s41597-020-00602-2 — doi.org/10.1038/s41597-020-00602-2
- Beltagy I., Lo K., Cohan A. "SciBERT: A Pretrained Language Model for Scientific Text", arXiv:1903.10676 (2019) — arxiv.org/abs/1903.10676
- Trewartha A. ほか "Quantifying the advantage of domain-specific pre-training on named entity recognition tasks in materials science", Patterns 3, 100488 (2022), DOI 10.1016/j.patter.2022.100488 — doi.org/10.1016/j.patter.2022.100488
- Gupta T., Zaki M., Krishnan N. M. A., Mausam "MatSciBERT: A materials domain language model for text mining and information extraction", npj Comput. Mater. 8, 102 (2022), DOI 10.1038/s41524-022-00784-w — doi.org/10.1038/s41524-022-00784-w
- Dagdelen J. ほか "Structured information extraction from scientific text with large language models", Nat. Commun. 15, 1418 (2024), DOI 10.1038/s41467-024-45563-x — doi.org/10.1038/s41467-024-45563-x
- Polak M. P., Morgan D. "Extracting accurate materials data from research papers with conversational language models and prompt engineering", Nat. Commun. 15, 1569 (2024), DOI 10.1038/s41467-024-45914-8 — doi.org/10.1038/s41467-024-45914-8
- Zheng Z. ほか "ChatGPT Chemistry Assistant for Text Mining and the Prediction of MOF Synthesis", J. Am. Chem. Soc. 145, 18048–18062 (2023), DOI 10.1021/jacs.3c05819 — doi.org/10.1021/jacs.3c05819
- Jablonka K. M. ほか "14 examples of how LLMs can transform materials science and chemistry: a reflection on a large language model hackathon", Digital Discovery 2, 1233–1250 (2023), DOI 10.1039/D3DD00113J — doi.org/10.1039/D3DD00113J
- Mishra V. ほか "Foundational Large Language Models for Materials Research", arXiv:2412.09560 (2024)（プレプリント。掲載誌は確認できなかった） — arxiv.org/abs/2412.09560
- Xie T. ほか "DARWIN Series: Domain Specific Large Language Models for Natural Science", arXiv:2308.13565 (2023)（プレプリント） — arxiv.org/abs/2308.13565
- Niyongabo Rubungo A. ほか "LLM-Prop: predicting the properties of crystalline materials using large language models", npj Comput. Mater. 11, 186 (2025), DOI 10.1038/s41524-025-01536-2 (要旨は arXiv:2310.14029 で確認) — arxiv.org/abs/2310.14029
- Gruver N. ほか "Fine-Tuned Language Models Generate Stable Inorganic Materials as Text", arXiv:2402.04379 (2024) — arxiv.org/abs/2402.04379
- Song Y. ほか "MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling", arXiv:2305.08264 (2023) — arxiv.org/abs/2305.08264
- Zaki M., Jayadeva, Mausam, Krishnan N. M. A. "MaScQA: A Question Answering Dataset for Investigating Materials Science Knowledge of Large Language Models", arXiv:2308.09115 (2023); 掲載：Digital Discovery 3, 313–327 (2024), DOI 10.1039/D3DD00188A (本稿の数値は arXiv 版の要旨) — arxiv.org/abs/2308.09115
- Mirza A. ほか "A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists", Nat. Chem. 17, 1027–1034 (2025), DOI 10.1038/s41557-025-01815-x — doi.org/10.1038/s41557-025-01815-x
- Raccuglia P. ほか "Machine-learning-assisted materials discovery using failed experiments", Nature 533, 73–76 (2016), DOI 10.1038/nature17439 — doi.org/10.1038/nature17439
- Lowe D. "Chemical reactions from US patents (1976-Sep2016)", figshare dataset (2017), DOI 10.6084/m9.figshare.5104873.v1 (CC0) — doi.org/10.6084/m9.figshare.5104873.v1
- Wilkinson M. D. ほか "The FAIR Guiding Principles for scientific data management and stewardship", Sci. Data 3, 160018 (2016), DOI 10.1038/sdata.2016.18 — doi.org/10.1038/sdata.2016.18
- ISO/IEC "ISO/IEC 22989:2022 Information technology — Artificial intelligence — Artificial intelligence concepts and terminology" （ISO のページ） — iso.org/standard/74296.html
- ISO/IEC "ISO/IEC 23053:2022 Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)" （ISO のページ） — iso.org/standard/74438.html
- ISO/IEC "ISO/IEC 5259-1:2024 Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 1: Overview, terminology, and examples" （ISO のページ） — iso.org/standard/81088.html
- ISO/IEC "ISO/IEC 42001:2023 Information technology — Artificial intelligence — Management system" （ISO のページ） — iso.org/standard/42001
- NIST "Artificial Intelligence Risk Management Framework (AI RMF 1.0)", NIST AI 100-1 (2023年1月), DOI 10.6028/NIST.AI.100-1 — doi.org/10.6028/NIST.AI.100-1
- NIST "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile", NIST AI 600-1 (2024年7月26日), DOI 10.6028/NIST.AI.600-1 — doi.org/10.6028/NIST.AI.600-1
14. 主張と出典の対応表（監査）
| 本文の主張 | 根拠 | 区分 |
|---|---|---|
| 固相合成データセット：論文4,204,170本、実験欄の段落6,218,136個、無機合成の段落188,198個、固相合成の段落53,538個、バランスのとれた反応を得た段落15,144個（28%）、データセット19,488件。100段落の点検（30段落は反応を組み立てられない記述、化学部分93%・全項目51%・加熱と混合の条件を除くと64%）。6つの出版社の許可。取りこぼしを選ぶ方針 | 出典1 https://doi.org/10.1038/s41597-019-0224-1 | 事実 |
| テキストマイニングの総説：PDF の構造復元は F1 約80%未満。TDM 合意の必要。材料科学のテキストマイニングは発展の初期。成功例への偏りと失敗の公表の少なさ。表・図の抽出は別の技術 | 出典2 https://doi.org/10.1016/j.isci.2021.102155 | 事実 |
| 構造化データベースは文献の知識のごく一部。単語埋め込みは人のラベルなしで周期表の構造などを捉え、機能性材料を発見の数年前に推薦できたという記述 | 出典3 https://doi.org/10.1038/s41586-019-1335-8 | 事実 |
| ChemDataExtractor（化学の文章向けツール）。電池材料のデータベース（229,061本の論文から292,313件）。固有表現抽出 F1 87%、327万本の要旨、8,000万超の語 | 出典4 https://doi.org/10.1021/acs.jcim.6b00207 出典6 https://doi.org/10.1038/s41597-020-00602-2 出典5 https://doi.org/10.1021/acs.jcim.9b00470 | 事実 |
| SciBERT の概要。MatBERT は他の BERT 系より1〜12%よい、BiLSTM が BERT を上回る。MatSciBERT は3課題で SciBERT を上回ると報告 | 出典7 https://arxiv.org/abs/1903.10676 出典8 https://doi.org/10.1016/j.patter.2022.100488 出典9 https://doi.org/10.1038/s41524-022-00784-w | 事実 |
| LLM-NERRE：GPT-3 と Llama-2 の微調整、100〜500例、3課題、MOF・一般課題の F1 はドーパント課題より約30%低い、最高 F1 0.537（完全一致で下限）、幻覚の例（silica に SiO₂ を書き足す） | 出典10 https://doi.org/10.1038/s41467-024-45563-x | 事実 |
| ChatExtract：体積弾性率（100文・179データ点）で GPT-4 が適合率90.8%・再現率87.7%。臨界冷却速度の参照データ721件に対し634件、76.9%／63.1%。整理した版で91.9%／84.2%（要旨は91.6%／83.6%）。文の70%が複数の値。似た物性の取り違え。質問の工夫 | 出典11 https://doi.org/10.1038/s41467-024-45914-8 | 事実 |
| ChemPrompt：約800個の MOF から26,257個の合成の項目、適合率・再現率・F1 が90〜99%、結晶化の予測モデルの正答率86%超 | 出典12 https://doi.org/10.1021/jacs.3c05819 | 事実 |
| ハッカソンで、物性予測・道具の画面づくり・知識抽出・教育などの試作が2日足らずで作れたという記述 | 出典13 https://doi.org/10.1039/D3DD00113J | 事実 |
| 実験ノートの失敗した実験を使った機械学習（Raccuglia ら） | 出典21 https://doi.org/10.1038/nature17439 | 事実 |
| 米国特許（1976〜2016年9月）から取り出した化学反応のデータセット（CC0）。重複が多いという注意書き | 出典22 https://doi.org/10.6084/m9.figshare.5104873.v1 | 事実 |
| DARWIN（6万件超の指示データ）、LLaMat（追加の事前学習、Llama-2 版が Llama-3 版より良かったという記述）、LLM-Prop（テキスト記述からの物性予測、TextEdge データ）、微調整した LLaMA-2 による結晶の生成（準安定と予測される割合 49% 対 28%） | 出典15 https://arxiv.org/abs/2308.13565 出典14 https://arxiv.org/abs/2412.09560 出典16 https://arxiv.org/abs/2310.14029 出典17 https://arxiv.org/abs/2402.04379 | 事実 |
| MatSci-NLP（7課題）。MaScQA（650問、GPT-4 約62%、誤りの約64%が概念・約36%が計算）。ChemBench（2,700問超、最良モデルは平均で化学者の最高を上回る一方、基本課題で誤り、過信した予測） | 出典18 https://arxiv.org/abs/2305.08264 出典19 https://arxiv.org/abs/2308.09115 出典20 https://doi.org/10.1038/s41557-025-01815-x | 事実 |
| FAIR 原則（2016） | 出典23 https://doi.org/10.1038/sdata.2016.18 | 事実 |
| ISO/IEC 22989:2022、ISO/IEC 23053:2022、ISO/IEC 5259-1:2024、ISO/IEC 42001:2023 の番号・題名・状態（発行済み）・発行年月（2022年7月、2022年6月、2024年7月、2023年12月） | 出典24 https://www.iso.org/standard/74296.html 出典25 https://www.iso.org/standard/74438.html 出典26 https://www.iso.org/standard/81088.html 出典27 https://www.iso.org/standard/42001 | 事実 |
| NIST AI RMF 1.0（2023年1月、自主的）。NIST AI 600-1（2024年7月26日、confabulation の定義） | 出典28 https://doi.org/10.6028/NIST.AI.100-1 出典29 https://doi.org/10.6028/NIST.AI.600-1 | 事実 |
| 4,204,170本×10分＝約70万時間、÷2,000時間＝約350人年。段階ごとの割合（3.0%、28.4%、28.3%）。適合率90%で1,000件なら約100件が誤り、再現率84%なら約16%が載らない。適合率・再現率・F1 の例（72／80、72／100、0.80） | 本稿の計算（Python。10分と2,000時間は説明用の仮定） | 本稿の計算 |
| 特許からの材料の物性・組成の抽出の評価、LLM の最新版での再試験、各モデルのライセンス、出版社ごとの TDM の最新条件、材料の文献抽出に特化した国際標準、LLaMat・DARWIN の査読済み版 | 本稿の調査範囲でアクセスできた一次情報では確認できなかったため記載していない | 解説 |
| 「候補として使う」「項目（スキーマ）を先に決める」「版・日付・指示文を記録する」「自社の失敗記録を対象にする」「信号機（任せやすい・検証が要る・根拠にしない）の整理」という読み取り | 公表内容にもとづく本記事の整理・解説。各研究者や機関が表明した見解ではない | 解説 |
| 図2・図3・図5・図7・図8が概念図であること。図4・図6が公表値の作図で、割合は本稿の計算であること。図1・図9がImageGen生成の概念画像であること。図3の例文は説明用に本稿が作ったもので、実在の論文の引用ではないこと | 本記事による注記 | 解説 |
最終更新：2026年10月22日／出典は一次情報（査読論文、arXiv の論文、ISO・NIST の公式ページ）に限定しています。数値例は本稿の計算で、実際の取り出しの結果ではありません。最新の LLM での再試験、特許からの材料データの抽出の評価、各モデルのライセンス、材料の文献抽出に特化した国際標準については、確認できなかったため記載していません。図1と図9はImageGen生成の概念画像で、ほかの図は説明用の概念図または公表値の作図です。