TECHNOLOGY EXPLAINER
小データ機械学習
― 材料のデータは少ない。少ないデータで「当たったふり」をしないために
材料のデータは、画像や文章に比べて、ずっと少ないのがふつうです。数十点、多くても数千点ということも珍しくありません。データが少ないと、機械学習は訓練データには完璧に当てはまるのに、新しい試料では外れる(過学習)ことが起きやすく、さらに、評価の数字そのものがゆらぎます。 この記事は、素材技術者が、少ないデータで機械学習を使うときの考え方(過学習、交差検証、正則化、転移学習、データ拡張)と、それぞれの落とし穴を、本稿の小さな計算で確かめながら説明します。
- 3行でわかる/読む前に/シリーズの中での位置
- 材料のデータは、どれくらい「少ない」のか
- 項目が多すぎると、なぜ崩れるのか
- 交差検証 ― 少ないデータでは、評価の数字もゆらぐ
- 2つの「漏れ」― 特徴選択とデータ拡張のタイミング
- 正則化 ― 項目の暴れを抑える
- 転移学習 ― 関連するデータの力を借りる
- データ拡張 ― 増やす前に確かめること
- 小データで試す順番
- 限界と、確認できなかったこと/まとめ
- 評価・標準の読み方
- 用語集
- 参考資料(一次情報)
- 主張と出典の対応表(監査)
事実=公表資料に記載のある内容(出典リンクあり)
本稿の計算=明示した前提をもとに本記事が算出した値
未確定/将来=草案・改訂中など、まだ確定していない事項
このほか、材料研究への読み取りは「解説」として区別しています。推測は太字で示します。
第2〜8章の数値は、本稿が作った合成データ(乱数の種を固定)の計算です。実在の材料データや手法の優劣を示すものではなく、仕組みと落とし穴を数値で見せるための例です。「こうすれば必ず良くなる」という処方でもありません。論文の数値(データ数や精度)は、それぞれの論文の条件での結果です。ISO/IEC・ISO の規格は、番号・題名・発行年月の確認にとどめ、本文は確認していません。
1. 3行でわかる/読む前に/シリーズの中での位置
- データが少ないと、「当たったふり」が起きやすい:訓練データでの当たり(R²)は高いのに、新しい試料では外れる。項目の数がデータの数に近づくと、とくに崩れます。評価に使う交差検証の数字も、データが少ないと大きくゆらぎます
- 対策は「慎重な評価」と「事前知識の活用」:項目を絞る、正則化で暴れを抑える、関連する大量のデータで事前学習する(転移学習)、物理・化学の知識を項目に入れる。ただし、どれも万能ではありません
- いちばん大事な1点:データを「増やす」操作(拡張)や、項目の「選択」を、データを分ける前に行うと、評価の数字が見かけだけ良くなります(漏れ)。本稿の合成データでは、雑音だけのデータでも、R²が+0.45になりました
機械学習は「過去のデータから傾向を学ぶ近似器」で、データの範囲の外(外挿)は苦手です。記述子(項目)は、材料を数字で表した「名刺」です。過学習は、偶然の揺らぎまで覚えてしまい、新しいデータで外れる状態です。決定係数 R²は、予測の当たり具合を表す数で、1に近いほど当たり、0は「全データの平均を返すだけの予測」と同じで、負になることもあります。過学習や評価の基本は、本シリーズ「機械学習とニューラルネットワークの基礎」編で、記述子とデータの質は「材料データと記述子」編で説明しています。この記事は、それらの小さなデータの場合の特有の問題に絞ります。
これは、本シリーズの4番目の記事です。前の編で、データの質と、公開データベースの使い方を扱いました。この編では、集めたデータが少ないときの、モデルの作り方と評価の仕方を扱います。次の編「不確かさと適用範囲」は、予測がどれくらい信頼できるかを扱います。
2. 材料のデータは、どれくらい「少ない」のか
たとえ:機械学習を「過去のデータから傾向を学ぶ近似器」、材料探索を「広大な地図から宝のありかを探す」ことにたとえると、小データは、地図に印が数点しかない状態です。その数点から、残りの地図を推測しなければなりません。印が少ないと、偶然の位置のずれが、推測を大きく変えます。
Zhang と Ling は、材料のデータセットは、他の分野に比べて、典型的に小さく、ときにより多様だと述べ、データ量が予測にどう影響するかを調べました。データ量の影響は、精度に直接ではなく、モデルの自由度(調整できる数の多さ)を介して現れ、精度と自由度の関連が現れるのは、過少適合(単純すぎて傾向も表せない状態)のサインで、予測の偏りが大きく、未知の領域での正確な予測が難しくなる、としています事実[参考資料1]。次の表は、一次情報で確認できた、材料機械学習のデータの規模の例です。
| データ | 規模 | 出典・条件 |
|---|---|---|
| Matbench(13課題) | 312〜13.2万件 | Dunn ら(2020)。10のDFT・実験データ源[参考資料2]事実 |
| 化合物の生成エネルギー(実験値) | 1,670件/1,643件 | Kirklin ら(2015)の比較に使った実験値の数[参考資料20]/Jha ら(2019)の実験データの数[参考資料4]事実 |
| 薄膜の X 線回折の分類 | 115個の薄膜 | Oviedo ら(2019)。ハロゲン化金属の薄膜で、次元と空間群を分類[参考資料6]事実 |
| 転移学習の例 | 数十件 | Yamada ら(2019)。「わずか数十件の材料データで」モデルをつくる例が示されている[参考資料3]事実 |
表の件数は、それぞれの論文の条件での数です。材料や特性で規模は大きく違い、「小データ」の線引きは一つではありません。Dunn らは、結晶グラフに基づく手法が従来の機械学習を上回るのは、約104件以上のデータがあるときのように見える、と報告しています[参考資料2]。
データが少ないと何が起きるのかを、小さな実験で確かめます(本稿の計算)。10項目の記述子のうち、本当に効くのは3項目だけで、ほかは雑音です。学習データの数を12点から300点まで変え、最小二乗法(誤差の二乗の合計を最小にする、最も基本的な当てはめ)と、リッジ回帰(項目の暴れを抑える工夫。第6章)の、新しいデータでのR²を測ります。
結果は、図2のとおりです。最小二乗法は、データが12点(項目数10に近い)だと、訓練データのR²は0.98と、ほぼ完璧なのに、新しいデータでは−6.0と、大きく外れます。15点で0.27、20点で0.65、30点で0.74、300点で0.83と、データが増えるほど、新しいデータでの当たりが、理論上の上限(約0.84)に近づきます。訓練データと新しいデータでの当たりの差は、小データほど大きいのです。リッジ回帰は、12点でも0.48で、崩れ方が小さくなります。
本稿の計算。合成データ(y = 2x₁ − x₂ + 0.5x₃ + 雑音(標準偏差1)。項目は10個で、標準正規分布)。各点は、200回のデータの引き直しの平均。リッジの強さは n/10(最小値1)の固定値で、調整していません。実在の材料の結果ではありません。
訓練データでのR²は、モデルが訓練データを覚えた程度を表すだけで、新しい試料への当たりは表しません。上の例では、データが12点のときに、訓練のR²が最も高く(0.98)、新しいデータでは最も低い(−6.0)です。評価は、モデルが見ていないデータで行うのが基本です(第4章)。
3. 項目が多すぎると、なぜ崩れるのか
小データの最大の落とし穴の一つは、項目(記述子)の数が、データの数に近づくことです。名刺に書く項目を増やすほど、偶然、特性とたまたま似た動きをする項目が混ざります。モデルは、それを手がかりにして、訓練データを完璧に説明できてしまいます。
小さな実験で確かめます(本稿の計算)。訓練データは20点で、本当に効くのは2項目だけです。ここに、雑音の項目を足していきます。
結果は、図3のとおりです(R²の中央値)。意味のある2項目だけなら、新しいデータでのR²は0.81で、上限(約0.83)に近い値です。項目を10個にすると0.65、15個にすると0.32、19個(=データ数−1)にすると−4.7と、崩れました。19個では、最小二乗法は訓練データに完全に当てはまります(R² = 1.0)が、新しい試料では、何も当たりません。リッジ回帰(強さを5分割の交差検証で選んだもの)は、15個で0.52、19個で0.42と、被害を抑えました。
本稿の計算。合成データ(y = 2x₁ − x₂ + 雑音。残りは雑音の項目)。訓練20点、評価3,000点、150回の中央値。項目をさらに40個、100個にすると、最小二乗法(最小ノルム解)は0.23、0.12、リッジは0.20、0.03で、いずれも上限よりはるかに低くなりました(この領域の挙動は二重降下と呼ばれる現象に関わり、本シリーズ「機械学習とニューラルネットワークの基礎」編で触れています)。
データが少ないときは、逆効果になりえます。項目の数がデータの数に近づくと、訓練データへの当たりは完璧に近づくのに、新しいデータでは外れます。上の例では、意味のある項目は2つのままで、雑音の項目を足しただけで、R²が0.81から−4.7に落ちました。名刺の項目は、意味のあるものに絞り、データの数に見合う数にします。目安の数は、一つに決まりません(本記事による解説)。
4. 交差検証 ― 少ないデータでは、評価の数字もゆらぐ
評価は、モデルが見ていないデータで行います。scikit-learn のユーザーガイドは、予測の仕方を学んだデータと同じデータで評価するのは、方法の誤りで、ラベルを繰り返すだけのモデルは満点を取るのに、見たことのないデータでは何の役にも立たない、と説明しています[参考資料11]。
データが少ないときは、テスト用のデータを大きく取り分けるのがもったいないので、交差検証を使います。たとえば5分割なら、データを5つに分け、4つで学習し、残り1つで評価する、という操作を5回繰り返して、評価の値を平均します。ただし、データが少ないほど、この平均の数字は、大きくゆらぎます。Varoquaux は、サンプルが少ないと、交差検証の誤差の幅が大きくなり、分割ごとの標準誤差は、この幅を大きく過小評価する、と指摘しています事実[参考資料12]。
小さな実験で確かめます(本稿の計算)。同じ仕組みで、データを300回引き直し、そのたびに5分割交差検証のR²を求め、データ数ごとに、値の幅を見ます。
結果は、図4のとおりです。データが20点のとき、交差検証のR²は、0.35〜0.88(5〜95%の範囲)の間でゆらぎました。平均は0.69で、新しいデータでの真の値の平均(0.77)より、やや控えめです。50点では0.71〜0.89、200点では0.79〜0.87と、幅が縮みます。同じ手法・同じ仕組みでも、たまたま引いたデータ次第で、交差検証の数字は、これだけ違うのです。
本稿の計算。合成データ(5項目のうち3項目が有効、雑音あり)。最小二乗法。データの引き直し300回。この幅は「データの引き方」によるもので、同じデータで分割の乱数を変えて交差検証を繰り返しても(RepeatedKFold など)、この幅は縮まりません。実在の材料の結果ではありません。
評価の数字に頼りすぎないための3つの工夫
- 幅を意識する:1回の交差検証の数字だけで、手法の優劣を決めません。可能なら、分割を変えて繰り返し(scikit-learn の RepeatedKFold[参考資料11])、数字の幅を確認します。ただし、上のとおり、データの引き方そのものの不確かさは、繰り返しでは減りません
- 調整と評価を分ける(入れ子の交差検証):ハイパーパラメータ(学習の前に人が決める設定。リッジの強さなど)を交差検証の結果で選び、同じ数字を成績として報告すると、成績が甘くなります。Varma と Simon は、パラメータを最適化した分類器の交差検証の誤差が、独立したデータでの真の誤差の、かなり偏った推定値になること(差のない「帰無」のデータでも)、内側で調整し外側で評価する入れ子(ネスト)の交差検証が対処になることを示しました事実[参考資料14]。Cawley と Talbot も、評価の推定値のばらつきが、モデル選択での過学習をもたらし、その影響が、手法どうしの差に匹敵する大きさになりうる、と報告しています事実[参考資料13]
- まとまりごとに分ける:同じ試料の繰り返し測定や、同じロットの試料が、訓練と評価にまたがると、数字が過大になります。scikit-learn の GroupKFold は、同じグループが訓練と評価の両方に入らないようにする分け方です[参考資料11]
小データでは、1点の外れ値や、ロット違いの1点が、モデルの形を大きく変えます。20点のデータで、1点が入力ミスなら、それは全体の5%です。データを増やす前に、手元の1点ずつの質(測定条件、ロット、繰り返しのばらつき)を確かめるほうが、効くことが多くあります。同じ試料を繰り返し測ったばらつき(再現性)を先に知っておけば、モデルの誤差が、そのばらつきより小さいか大きいかを、判断できます(本記事による解説。本シリーズ「材料データと記述子」編)。
5. 2つの「漏れ」― 特徴選択とデータ拡張のタイミング
データが少ないと、「何とかして成績を上げたい」という誘惑が強くなります。その過程で、評価に使うデータの情報が、学習に漏れ込むことがあります。ここでは、小データで特に起きやすい2つを見ます。
(1) 特徴選択を、データを分ける前に行う
項目が多いときは、予測に効きそうな項目を選びたくなります。このとき、全データを見て項目を選んでから、交差検証をすると、評価の情報が項目の選択に漏れます。Ambroise と McLachlan は、少数の腫瘍試料に対して、非常に多くの遺伝子の発現データがある状況で、遺伝子を選ぶ操作が、交差検証の外側で行われると、選択の偏りのために、誤差が過小に見えることを示し、交差検証やブートストラップを、選択の操作の外側で行うよう勧めています事実[参考資料15]。scikit-learn のユーザーガイドも、標準化や特徴選択などの前処理は、訓練データだけで学び、評価データには適用だけする、と説明しています[参考資料11]。
小さな実験で確かめます(本稿の計算)。すべて雑音のデータ(試料40点、項目500個。特性とは無関係)で、特性と相関の強い上位10項目を選んで、5分割交差検証でR²を測ります。
(2) データ拡張を、データを分ける前に行う
データを増やすために、既存の試料に雑音を加えたコピーを作る方法(データ拡張)があります。このとき、拡張してから、ランダムに訓練と評価に分けると、同じ試料のコピーが、訓練にも評価にも入ります。モデルは、コピーを覚えるだけで、高い成績が出ます。
こちらも確かめます(本稿の計算)。30試料を、それぞれ10個にコピー(雑音を加える)し、最も近い点の値で予測します。特性は、項目1つと雑音で決まります。
結果は、図5のとおりです。左:雑音だけのデータなのに、全データで先に項目を選ぶと、交差検証のR²は+0.45と、「当たっている」ように見えます。正しい手順(各分割の訓練データの中だけで選ぶ)では−0.48で、「当たっていない」ことが正しく分かります。右:拡張した後にランダムに分けると、R²は1.00とほぼ満点ですが、元の試料ごとに分けると−0.31です。
本稿の計算。合成データ。200回の平均。左は、特性と無関係な雑音のデータなので、正しい評価は0以下になるはずです。実在の材料の結果ではありません。Kapoor と Narayanan は、機械学習を使う科学の研究で、データ漏れが17分野の少なくとも294本の論文に影響したと報告し、漏れの型を整理しています事実[参考資料16]。
項目の選択、標準化、補完、データ拡張、ハイパーパラメータの調整は、すべて「学習」の一部です。評価データを分け取った後に、訓練データの中だけで行う、というのが原則です(本記事による解説)。実務では、これらをまとめて1つの手順(パイプライン)にして、交差検証の内側で、毎回やり直す形にすると、漏れを防げます。
6. 正則化 ― 項目の暴れを抑える
データが少ないときの、基本的な対策が正則化です。モデルの係数(項目に掛ける重み)が大きくなりすぎないように、罰則を加えます。scikit-learn のユーザーガイドは、リッジ回帰を、係数の大きさに罰則を課して、最小二乗法の問題の一部に対処するもので、罰則の強さ(パラメータ α)が大きいほど、係数の縮み方が大きく、共線性(似た項目が複数あること)に強くなる、と説明しています[参考資料10]事実。リッジ回帰の原著は Hoerl と Kennard(1970)です[参考資料8]。
式にすると、「誤差の二乗の合計」+「α × 係数の二乗の合計」を最小にする、という形です。文章での意味:誤差を小さくしたいが、係数を大きくして無理に合わせることは、αの分だけ高くつく、ということです。αが0なら、普通の最小二乗法です。αを大きくすると、モデルは単純に(係数は小さく)なります。
ラッソ(Lasso)は、罰則の形を変えて、いくつかの係数をちょうど0にする方法です。scikit-learn は、ラッソを、係数をちょうど0にでき、非ゼロの係数が少ない解を好むため、解が依存する項目を実質的に減らせる、と説明しています[参考資料10]事実。原著は Tibshirani(1996)です[参考資料9]。使い分けは、「全部の項目を残して縮める」のがリッジ、「効かない項目を0にして落とす」のがラッソ、と覚えてください(本記事による解説)。
図3で、リッジ回帰は、項目が15個のときに、最小二乗法の0.32を0.52へ、19個のときに−4.7を0.42へと改善しました(本稿の計算)。ただし、いつも万能ではありません。項目をさらに増やすと、リッジも0.03(100個)まで落ちました。αの値は、人が決めるハイパーパラメータで、交差検証で選びますが、データが少ないほど、その選び方もゆらぎます(第4章)。
正則化は、被害を抑える道具で、情報を増やす道具ではありません。データにない情報(たとえば、まだ測っていない範囲の挙動)は、正則化では補えません。合成データの例では、意味のある項目が2つだけでも、データが20点では、R²の上限(約0.83)には届きませんでした。αの選択に使った交差検証にも、第4章のゆらぎと偏りがあります。
7. 転移学習 ― 関連するデータの力を借りる
自社の実測は少なくても、関連する大量のデータ(たとえば、DFT で計算した公開データ)が手に入ることがあります。それを使って、まず事前学習をし、その成果を、少ないデータの課題に生かす方法が、転移学習です。研究例を見てみます。
- Yamada らの XenonPy.MDL:低分子、高分子、無機結晶の、さまざまな特性について、14万個を超える事前学習済みモデルのライブラリを公開しました。目的の特性のデータが少なくても、関連する特性で事前学習したモデルの「特徴」を再利用して、わずか数十件のデータでもモデルをつくる例が示されています事実[参考資料3]
- Jha らの深層転移学習:大きな DFT データ(OQMD)と、他の小さな DFT データ、実験データを組み合わせ、1,643件の実験データで、生成エネルギーの予測の平均絶対誤差 0.07 eV/原子を達成した、と報告しています。これは、DFT 自身の誤差(実測との差)に匹敵する、としています事実[参考資料4]
- Hutchinson らの比較:データの出どころで、同じ名前の特性の測り方・計算の仕方が違うことを踏まえ、転移学習の3つの方式(マルチタスク、差分、潜在変数を明示する方式)を比べています事実[参考資料5]。第3編の「出どころを示す列」の考え方と関係します
- Zhang と Ling の「粗い見積り」:物性の粗い見積りを、項目に加えると、自由度を増やさずに、予測の精度が上がる、と提案し、2元系半導体のバンドギャップ、格子熱伝導率、ゼオライトの弾性特性の3つの事例で、予測能力が向上したと報告しています事実[参考資料1]
小さな実験で、仕組みを確かめます(本稿の計算)。目的の特性は、実測15点しかありません。関連する大量のデータ(3,000点)で事前学習したモデルの予測値を、新しい項目として1つ加え、15点で補正します。比較のため、「関連しない」別の関数のデータ(3,000点)で事前学習した場合も試します。
結果は、図6のとおりです。実測15点だけで学習すると、新しいデータでの誤差(RMSE)は0.67です。関連するデータで事前学習したモデルの予測値を使うと0.05まで下がりました。ところが、関連しないデータで事前学習したモデルを使うと、誤差は1.35と、実測だけの場合より悪くなりました。何も学ばない予測(平均を返す)は1.53です。実測を6点に減らすと、実測だけは1.33、関連データありは0.10、40点に増やすと、それぞれ0.44、0.03でした。
本稿の計算。合成データ。実測の特性は、関連データの特性と係数・項が違う関数で作りました(0.9 × 関連の関数 + 0.4 × 項目1)。関連データのモデルは、ランダムな特徴量の回帰(3,000点)。100回の平均。関連が強く作ってある理想的な場合で、実在の材料の効果の大きさを示すものではありません。
関連が弱いと、逆効果です。上の例では、無関係なデータの予測値を使うと、実測だけの場合より悪くなりました(これを「負の転移」と呼ぶことがあります)。関連が強いかどうかは、少数の実測で、評価して確かめる必要があります。また、公開データベースの値と自社の実測の間に、系統的なずれ(基準の違い)があるときは、出どころの列を付けたり、補正の項を入れたりします(本シリーズ「材料データベースとFAIR原則」編)。
転移学習の考え方は、大きなデータがなくても使えます。自社の経験則、簡単な理論式、既知の関係を、粗い見積りとして項目に加えるのです(Zhang と Ling の考え方[参考資料1])。たとえば、混合則(成分の割合から性質を見積もる式)や、温度依存性の簡単な式の値を、「見積もり値」の項目として入れます。モデルは、その見積もりからのずれだけを学べばよくなり、必要なデータが減ります(本記事による解説)。これは、材料の専門家だからこそ、できる工夫です。
8. データ拡張 ― 増やす前に確かめること
データ拡張は、もとの試料に、物理的にありえる変形を加えて、データを増やす方法です。画像なら、回転や雑音の付加ですが、材料では、その変形が特性を変えないことが前提になります。Oviedo らは、薄膜の X 線回折(結晶の並びを調べる測定)のパターンから、結晶の次元と空間群を分類する課題で、実験データが少ない(115個の薄膜)ことを、物理にもとづくデータ拡張で補いました。シミュレーションで作った回折パターンを使い、実験データの拡張も行い、交差検証での正解率は、次元で93%、空間群で89%だった、と報告しています事実[参考資料6]。
データ拡張を使うときの注意は、3つです(本記事による解説)。
- ラベルが変わらない変形だけにする:たとえば、測定の雑音を模した小さな揺らぎは、特性を変えませんが、組成の値を勝手に変えれば、特性が変わってしまいます
- 分けてから拡張する、または、元の試料ごとに分ける:第5章のとおり、コピーが訓練と評価にまたがると、評価が見かけだけ良くなります(R² 1.00 と −0.31)
- 実データでの確認を省かない:拡張したデータでの成績は、現実のデータでの成績ではありません。最後は、実際に測った(拡張していない)試料で評価します
9. 小データで試す順番
データが少ないときに、何から試せばよいかを、順番にまとめます(図7。本記事による整理)。
- データの質:ばらつき、単位、欠損、失敗の記録を点検します(「材料データと記述子」編)。1点の質が、最も効きます
- 単純な基準:「全データの平均」「最も近い過去の試料の値」「線形回帰」と比べます。複雑なモデルが、これらに勝てなければ、使う意味がありません
- 少数の意味ある項目:物理・化学の知識で、項目を絞ります(Zhang と Ling の粗い見積り[参考資料1]、Ouyang らの SISSO は、小さな学習データでも安定した結果が得られると報告[参考資料7]事実)
- 正則化:リッジやラッソで、項目の暴れを抑えます(第6章)
- 関連データ:転移学習や、粗い見積りの項目を試します(第7章)。関連が弱いと逆効果です
- 評価を丁寧に:繰り返しの交差検証、入れ子の交差検証、まとまりごとの分割を使います(第4章)。前処理・項目選択・拡張は、訓練データの中だけで行います(第5章)
- 外挿の評価:新しい材料の探索が目的なら、ランダム分割の数字は過大です。Meredig らは、従来の機械学習の指標が、材料探索でのモデルの性能を過大評価する、と述べています事実[参考資料17]。Xiong らは、k 分割・m ステップの前方交差検証(値の小さい順などに並べて、未来側の範囲を評価に使う方法)を提案し、通常の交差検証では良くても、探索的な予測の力は、実際には非常に低いことを示しました事実[参考資料18]
- 実験で確かめる:予測は候補で、確認は実験で行います。次に測る試料をモデルに選ばせる方法(能動学習)は、データを効率よく増やします。Li らは、複数の材料データセットで、データの最大95%を除いても、分布内の予測性能がほとんど変わらないことを示し、不確かさにもとづく能動学習で、はるかに小さいのに、同等に情報のあるデータセットを作れる、と報告しています事実[参考資料19](本シリーズ「ベイズ最適化と能動学習」編)
小データでの最大の改善策は、多くの場合、データを賢く増やすことです。すでにデータが密な領域で測るより、データが薄い領域や、予測が不確かな領域で測るほうが、情報が増えます。実験の計画に、対照(既知の基準の試料)と、繰り返し(別のロット)を入れて、1点ごとの質を保ちます(本記事による解説)。計画段階で、「この試料を測ると、何が分かるか」を言葉にしてから測ると、無駄が減ります。
10. 限界と、確認できなかったこと/まとめ
(1) 確認できなかったこと
- 数値実験:第2〜8章の計算は、合成データです。実在の材料での、過学習の程度、交差検証のゆらぎ、転移学習の効果の大きさは、示していません
- 「小データ」の線引き:何点以下が小データか、一次情報で一つに決まった定義は、確認できませんでした(表のとおり、規模は条件で違います)
- 項目数とデータ数の目安:「データ数の何分の1まで」といった、一般に通用する目安は、確認できませんでした
- 他の手法:ガウス過程回帰、ランダムフォレスト、ベイズ的な方法、物理を組み込んだ手法は、本稿では扱っていません(不確かさは、次の編で扱います)
- データ拡張の材料での一般的な効果:Oviedo らの1つの事例(X線回折の分類)を紹介しましたが、他の材料・特性での効果は確認していません
- 規格の本文:ISO/IEC 規格の本文は、題名・発行年月の確認にとどめています
- 小データの機械学習に特化した国際標準:確認できませんでした(第11章)
- 材料のデータは少なく、少ないと「当たったふり」が起きます。合成データで、データが12点のとき、訓練R²は0.98、新しいデータでのR²は−6.0でした本稿の計算
- 項目が多すぎると崩れます。意味のある項目が2つだけでも、雑音の項目を19個にすると、R²は0.81から−4.7に落ちました本稿の計算
- 交差検証の数字は、データが少ないとゆらぎます。20点のとき、R²は0.35〜0.88の間でゆらぎました。幅を意識し、調整と評価を分けます本稿の計算/事実
- 選択も拡張も、データを分けた後に、訓練データの中だけで行います。先に行うと、雑音だけのデータでR²が+0.45、拡張データで1.00になる例でした本稿の計算
- 正則化と転移学習は強力ですが、万能ではありません。関連データの力を借りる設計で誤差が0.67から0.05に下がる一方、無関係なデータでは1.35に悪化しました本稿の計算。物理・化学の知識を項目に入れるのは、素材技術者の強みです
11. 評価・標準の読み方
小データの機械学習の良し悪しは、予測の誤差(MAE、RMSE、R²)で測りますが、データが少ないほど、その数字がどれだけ信頼できるかが問題になります。ものさしは、次のとおりです。①誤差の指標(何を測り、何を測っていないか)。②データの分け方(ランダムか、まとまりごとか、外挿か)。③数字のゆらぎ(交差検証の幅)。④漏れの有無。⑤共通のベンチマーク(Matbench など)。確認できた範囲を表にします(確認日 2026年10月22日)。小データの機械学習に特化した国際標準は、確認できませんでした。
| 評価項目 | 代表的なベンチマーク・評価手法(名称・出典) | 標準・指針(ISO/IEC・NIST・国際的な原則など) | 読み方の注意 |
|---|---|---|---|
| 小データでの予測精度 | Matbench:13課題(312〜13.2万件)。Dunn ら(2020)。データ数が約104件以上で結晶グラフ手法が従来手法を上回るように見える[参考資料2]事実 | 確認できなかった(小データの機械学習に特化した国際標準は確認できず) | 課題ごとにデータ数と分割が違う。小さい課題の順位は、ゆらぎが大きい |
| 評価の数字の信頼性 | Varoquaux(2018):サンプルが少ないと交差検証の誤差の幅が大きい[参考資料12]。Varma と Simon(2006):入れ子の交差検証[参考資料14]。Cawley と Talbot(2010)[参考資料13]事実 | ISO/IEC TS 4213:2022(機械学習の分類性能の評価、2022年10月。ISO のページで「改訂される予定」の段階で、次の版 ISO/IEC DIS 4213 は草案)[参考資料21]事実未確定/将来 | TS 4213 は分類の性能が対象で、材料の回帰の小データを直接扱うものではない(本記事による解説)。本文は未確認 |
| 外挿・探索の性能 | Xiong ら(2020):k分割m段階の前方交差検証[参考資料18]。Meredig ら(2018):従来の指標は材料探索の性能を過大評価[参考資料17]事実 | 確認できなかった | ランダム分割の数字は、新しい材料への当たりを過大に見せる |
| データ漏れ | Kapoor と Narayanan(2023):漏れの型の整理、17分野・294本以上の論文[参考資料16]。Ambroise と McLachlan(2002):特徴選択の偏り[参考資料15]事実 | 確認できなかった | 前処理・特徴選択・拡張は、訓練データの中だけで行う。分割の単位(試料・ロット)を先に決める |
| データの効率 | Li ら(2023):データの最大95%を除いても分布内の性能がほぼ変わらない例[参考資料19]事実 | 確認できなかった | データの量より、質・偏り・情報の豊かさ。分布外の悪化は、量を減らしても増やしても別の問題 |
| 機械学習システムの枠組み | — | ISO/IEC 23053:2022(機械学習を使うAIシステムの枠組み、2022年6月)[参考資料22]事実 | 枠組みの規格で、小データの評価の方法を定めるものではない。本文は未確認 |
| 学習データの品質 | 確認できなかった | ISO/IEC 5259-1:2024(データ品質の概要・用語・例)[参考資料23]、ISO/IEC 5259-3:2024(データ品質マネジメントの要求事項と指針)[参考資料24](いずれも2024年7月)事実 | 分析・機械学習一般のデータ品質の規格。本文は未確認 |
| リスク管理・運用 | — | NIST AI RMF 1.0(NIST AI 100-1、2023年1月)[参考資料25]事実 | 自主的な利用を前提とした枠組み。小データの評価の方法を定めるものではない |
表の整理は本稿の計算(整理)。ISO/IEC の番号・題名・発行年月・段階は ISO の公式ページで確認(確認日 2026年10月22日)。NIST AI RMF の「自主的な利用」は、同文書の記述で確認。規格本文は有料のため、題名と発行年月の確認にとどめ、要求事項は書いていません。
読み方の注意(素材技術者向け)
- 数字は、ゆらぎとセットで読みます:データが少ない研究の「R² = 0.85」は、同じ手法でも、データの引き方次第で0.4〜0.9になりえます。幅(標準偏差、範囲)を報告している研究を信頼します
- ベンチマークの順位と、自社の材料での実力は別です:小さな課題では、順位の差が、ゆらぎの範囲に入ることがあります
- 評価のやり方は、報告に書かれているかを確認します:分割の単位、前処理・項目選択のタイミング、調整と評価の分離。書かれていなければ、漏れの可能性があります
- 規格・指針は、多くが推奨です:NIST AI RMF は自主的な利用が前提です。ISO/IEC の規格は、法令や契約で引用されて初めて拘束力を持つのが一般的です(本記事による解説)。「準拠」と書かれていたら、どの文書のどの要求事項かを確認してください
12. 用語集
- 小データ
- 数十〜数千点程度の、少ないデータ。線引きは一つではない。
- 過学習
- 偶然の揺らぎまで覚え、新しいデータで外れる状態。
- 過少適合
- 単純すぎて、傾向も表せない状態。
- 決定係数 R²
- 予測の当たり具合。1に近いほど当たり、0は平均を返す予測と同じ、負は平均より悪い。
- RMSE/MAE
- 予測と正解の差の大きさを表す指標(二乗平均平方根誤差/平均絶対誤差)。
- 最小二乗法
- 誤差の二乗の合計を最小にする、最も基本的な当てはめ方。
- 自由度(モデルの)
- モデルで調整できる数の多さ。多いほど複雑。
- 交差検証
- データを分けて、学習と評価を何通りか繰り返し、評価を平均する方法。
- 入れ子の交差検証
- 内側で設定を選び、外側で成績を評価する交差検証。成績が甘くなるのを防ぐ。
- ハイパーパラメータ
- 学習の前に人が決める設定。リッジの強さなど。
- データ漏れ(リーケージ)
- 評価に使うべき情報が、学習に入り込み、評価が過大になること。
- 特徴選択
- 予測に使う項目(記述子)を選ぶ操作。
- 正則化
- 係数が大きくなりすぎないよう罰則を課し、過学習を抑える工夫。
- リッジ回帰
- 係数の二乗の合計に罰則を課す回帰。係数を縮める。
- ラッソ(Lasso)
- 係数の絶対値の合計に罰則を課す回帰。一部の係数をちょうど0にする。
- 転移学習
- 関連する大量のデータで学んだ成果を、少ないデータの課題に生かす方法。
- 負の転移
- 関連が弱いデータの利用が、かえって精度を下げること。
- データ拡張
- 既存の試料に、特性を変えない変形を加えて、データを増やす方法。
- 前方交差検証
- 値の範囲の順に並べ、未来側の範囲を評価に使う交差検証。外挿の評価に使う。
- 能動学習
- 次に測る試料を、モデルが選びながら学ぶ方法。
- ベースライン
- 比較の基準にする単純な方法(平均を返す、最近傍の値を返すなど)。
13. 参考資料(一次情報)
- Zhang Y., Ling C. "A strategy to apply machine learning to small datasets in materials science", npj Comput. Mater. 4, 25 (2018), DOI 10.1038/s41524-018-0081-z(オープンアクセス) — doi.org/10.1038/s41524-018-0081-z
- Dunn A. ほか "Benchmarking materials property prediction methods: the Matbench test set and Automatminer reference algorithm", npj Comput. Mater. 6, 138 (2020), DOI 10.1038/s41524-020-00406-3(オープンアクセス) — doi.org/10.1038/s41524-020-00406-3
- Yamada H. ほか "Predicting Materials Properties with Little Data Using Shotgun Transfer Learning", ACS Cent. Sci. 5, 1717–1730 (2019), DOI 10.1021/acscentsci.9b00804 — doi.org/10.1021/acscentsci.9b00804
- Jha D. ほか "Enhancing materials property prediction by leveraging computational and experimental data using deep transfer learning", Nat. Commun. 10, 5316 (2019), DOI 10.1038/s41467-019-13297-w(オープンアクセス) — doi.org/10.1038/s41467-019-13297-w
- Hutchinson M. L. ほか "Overcoming data scarcity with transfer learning", arXiv:1711.05099 — arxiv.org/abs/1711.05099
- Oviedo F. ほか "Fast and interpretable classification of small X-ray diffraction datasets using data augmentation and deep neural networks", npj Comput. Mater. 5, 60 (2019), DOI 10.1038/s41524-019-0196-x(オープンアクセス) — doi.org/10.1038/s41524-019-0196-x
- Ouyang R. ほか "SISSO: A compressed-sensing method for identifying the best low-dimensional descriptor in an immensity of offered candidates", Phys. Rev. Mater. 2, 083802 (2018), DOI 10.1103/PhysRevMaterials.2.083802 — doi.org/10.1103/PhysRevMaterials.2.083802
- Hoerl A. E., Kennard R. W. "Ridge Regression: Biased Estimation for Nonorthogonal Problems", Technometrics 12, 55–67 (1970), DOI 10.1080/00401706.1970.10488634 — doi.org/10.1080/00401706.1970.10488634
- Tibshirani R. "Regression Shrinkage and Selection via the Lasso", J. R. Stat. Soc. B 58, 267–288 (1996), DOI 10.1111/j.2517-6161.1996.tb02080.x — doi.org/10.1111/j.2517-6161.1996.tb02080.x
- scikit-learn User Guide "Linear Models"(リッジ回帰、ラッソ) — scikit-learn.org/stable/modules/linear_model.html
- scikit-learn User Guide "Cross-validation: evaluating estimator performance" — scikit-learn.org/stable/modules/cross_validation.html
- Varoquaux G. "Cross-validation failure: Small sample sizes lead to large error bars", NeuroImage 180, 68–77 (2018), DOI 10.1016/j.neuroimage.2017.06.061 — doi.org/10.1016/j.neuroimage.2017.06.061
- Cawley G. C., Talbot N. L. C. "On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation", J. Mach. Learn. Res. 11, 2079–2107 (2010) — jmlr.org/papers/v11/cawley10a.html
- Varma S., Simon R. "Bias in error estimation when using cross-validation for model selection", BMC Bioinformatics 7, 91 (2006), DOI 10.1186/1471-2105-7-91 — doi.org/10.1186/1471-2105-7-91
- Ambroise C., McLachlan G. J. "Selection bias in gene extraction on the basis of microarray gene-expression data", Proc. Natl. Acad. Sci. USA 99, 6562–6566 (2002), DOI 10.1073/pnas.102102699 — doi.org/10.1073/pnas.102102699
- Kapoor S., Narayanan A. "Leakage and the reproducibility crisis in machine-learning-based science", Patterns 4, 100804 (2023), DOI 10.1016/j.patter.2023.100804(オープンアクセス) — doi.org/10.1016/j.patter.2023.100804
- Meredig B. ほか "Can machine learning identify the next high-temperature superconductor? Examining extrapolation performance for materials discovery", Mol. Syst. Des. Eng. 3, 819–825 (2018), DOI 10.1039/C8ME00012C — doi.org/10.1039/C8ME00012C
- Xiong Z. ほか "Evaluating explorative prediction power of machine learning algorithms for materials discovery using k-fold forward cross-validation", Comput. Mater. Sci. 171, 109203 (2020), DOI 10.1016/j.commatsci.2019.109203 — doi.org/10.1016/j.commatsci.2019.109203
- Li K. ほか "Exploiting redundancy in large materials datasets for efficient machine learning with less data", Nat. Commun. 14, 7283 (2023), DOI 10.1038/s41467-023-42992-y(オープンアクセス) — doi.org/10.1038/s41467-023-42992-y
- Kirklin S. ほか "The Open Quantum Materials Database (OQMD): assessing the accuracy of DFT formation energies", npj Comput. Mater. 1, 15010 (2015), DOI 10.1038/npjcompumats.2015.10(オープンアクセス) — doi.org/10.1038/npjcompumats.2015.10
- ISO/IEC "ISO/IEC TS 4213:2022 Information technology — Artificial intelligence — Assessment of machine learning classification performance"(ISO のページ) — iso.org/standard/79799.html
- ISO/IEC "ISO/IEC 23053:2022 Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)"(ISO のページ) — iso.org/standard/74438.html
- ISO/IEC "ISO/IEC 5259-1:2024 Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 1: Overview, terminology, and examples"(ISO のページ) — iso.org/standard/81088.html
- ISO/IEC "ISO/IEC 5259-3:2024 Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 3: Data quality management requirements and guidelines"(ISO のページ) — iso.org/standard/81092.html
- NIST "Artificial Intelligence Risk Management Framework (AI RMF 1.0)", NIST AI 100-1, 2023年1月, DOI 10.6028/NIST.AI.100-1 — doi.org/10.6028/NIST.AI.100-1
14. 主張と出典の対応表(監査)
| 本文の主張 | 根拠 | 区分 |
|---|---|---|
| 材料のデータセットは典型的に小さく、ときにより多様であること。データ量の影響がモデルの自由度を介して現れ、精度と自由度の関連が過少適合のサインであること。物性の粗い見積りを項目に加える提案と、3つの事例(2元系半導体のバンドギャップ、格子熱伝導率、ゼオライトの弾性特性) | Zhang と Ling(2018)の要旨 出典1 https://doi.org/10.1038/s41524-018-0081-z | 事実 |
| Matbench が13課題(312〜13.2万件、10のDFT・実験データ源)で、結晶グラフ手法が約10⁴件以上で従来手法を上回るように見えること | Dunn ら(2020)の要旨 出典2 https://doi.org/10.1038/s41524-020-00406-3 | 事実 |
| XenonPy.MDL が14万個を超える事前学習済みモデルを含み、数十件のデータでモデルをつくる例が示されていること | Yamada ら(2019)の要旨 出典3 https://doi.org/10.1021/acscentsci.9b00804 | 事実 |
| 大きな DFT データと小さなデータ・実験データ(1,643件)の深層転移学習で、生成エネルギーの MAE が 0.07 eV/原子で DFT 自身に匹敵すること | Jha ら(2019)の要旨 出典4 https://doi.org/10.1038/s41467-019-13297-w | 事実 |
| 同じ名前の特性でも出どころで測り方・計算の仕方が違うこと。転移学習の3方式(マルチタスク、差分、潜在変数)の比較 | Hutchinson らの要旨 出典5 https://arxiv.org/abs/1711.05099 | 事実 |
| 薄膜の X 線回折(115個のハロゲン化金属薄膜)を、物理にもとづくデータ拡張で補い、交差検証の正解率が次元で93%、空間群で89%だったこと | Oviedo ら(2019)の要旨 出典6 https://doi.org/10.1038/s41524-019-0196-x | 事実 |
| SISSO が小さな学習データでも安定した結果が得られること | Ouyang ら(2018)の要旨 出典7 https://doi.org/10.1103/PhysRevMaterials.2.083802 | 事実 |
| リッジ回帰とラッソの原著の題名・書誌 | Hoerl と Kennard(1970)、Tibshirani(1996)の題名・書誌 出典8 https://doi.org/10.1080/00401706.1970.10488634 出典9 https://doi.org/10.1111/j.2517-6161.1996.tb02080.x | 事実 |
| リッジ回帰が係数の大きさに罰則を課し、αが大きいほど縮みが大きく共線性に強いこと。ラッソが係数をちょうど0にでき、非ゼロの係数が少ない解を好むこと | scikit-learn のユーザーガイド 出典10 https://scikit-learn.org/stable/modules/linear_model.html | 事実 |
| 学習したデータと同じデータでの評価が方法の誤りであること。前処理(標準化、特徴選択)を訓練データだけで学び評価データに適用すること。RepeatedKFold、GroupKFold の説明 | scikit-learn のユーザーガイド 出典11 https://scikit-learn.org/stable/modules/cross_validation.html | 事実 |
| サンプルが少ないと交差検証の誤差の幅が大きく、分割ごとの標準誤差が過小評価になること | Varoquaux(2018)の要旨 出典12 https://doi.org/10.1016/j.neuroimage.2017.06.061 | 事実 |
| 評価の推定値のばらつきがモデル選択での過学習をもたらし、その影響が手法間の差に匹敵しうること | Cawley と Talbot(2010)の要旨 出典13 https://jmlr.org/papers/v11/cawley10a.html | 事実 |
| パラメータを最適化した分類器の交差検証の誤差が、真の誤差の大きく偏った推定値になること(差のない帰無データでも)。入れ子の交差検証が対処になること | Varma と Simon(2006)の要旨 出典14 https://doi.org/10.1186/1471-2105-7-91 | 事実 |
| 遺伝子選択が交差検証の外側で行われると選択の偏りが生じること。交差検証やブートストラップを選択の外側で行う提案 | Ambroise と McLachlan(2002)の要旨 出典15 https://doi.org/10.1073/pnas.102102699 | 事実 |
| データ漏れが17分野・少なくとも294本の論文に影響したこと、漏れの型の整理 | Kapoor と Narayanan(2023) 出典16 https://doi.org/10.1016/j.patter.2023.100804 | 事実 |
| 従来の機械学習の指標が材料探索でのモデル性能を過大評価すること | Meredig ら(2018)の要旨の冒頭の文(OpenAlex で確認) 出典17 https://doi.org/10.1039/C8ME00012C | 事実 |
| k分割m段階の前方交差検証の提案。通常の交差検証では良くても、探索的な予測の力は非常に低いこと | Xiong ら(2020)の要旨 出典18 https://doi.org/10.1016/j.commatsci.2019.109203 | 事実 |
| データの最大95%を除いても分布内の予測性能がほぼ変わらないこと。不確かさにもとづく能動学習が、はるかに小さいのに同等に情報のあるデータセットを作れること | Li ら(2023)の要旨 出典19 https://doi.org/10.1038/s41467-023-42992-y | 事実 |
| 1,670個の化合物の生成エネルギーで DFT と実験を比較した論文であること(データ規模の例) | Kirklin ら(2015)の要旨 出典20 https://doi.org/10.1038/npjcompumats.2015.10 | 事実 |
| ISO/IEC TS 4213:2022(2022年10月、改訂される予定の段階、次の版 ISO/IEC DIS 4213 が草案)、23053:2022(2022年6月)、5259-1:2024、5259-3:2024(いずれも2024年7月)の番号・題名・発行年月・段階 | ISO のページ(確認日 2026年10月22日) 出典21 https://www.iso.org/standard/79799.html 出典22 https://www.iso.org/standard/74438.html 出典23 https://www.iso.org/standard/81088.html 出典24 https://www.iso.org/standard/81092.html | 事実未確定/将来 |
| NIST AI RMF 1.0(NIST AI 100-1、2023年1月)の番号・題名、自主的な利用を前提とすること | NIST AI 100-1 の本文 出典25 https://doi.org/10.6028/NIST.AI.100-1 | 事実 |
| 学習データ数ごとの R²(12点で訓練0.98・新しいデータ−6.0 ほか)、項目数ごとの R²(0.81、0.65、0.32、−4.7、リッジ0.52・0.42。40個・100個)、交差検証の幅(20点で0.35〜0.88)、漏れの例(+0.45、−0.48、1.00、−0.31)、転移学習の誤差(0.67、0.05、1.35、1.53) | 本稿の計算(Python・NumPy。合成データ、乱数の種を固定、各設定は100〜300回の平均または中央値)。実在の材料のデータの結果ではない | 本稿の計算 |
| 「小データ」の一つに決まった線引き、項目数とデータ数の一般的な目安、ガウス過程などの他の手法、データ拡張の材料での一般的な効果、小データの機械学習に特化した国際標準、ISO/IEC 規格の本文 | 本稿の調査範囲でアクセスできた一次情報では確認できなかったため記載していない | 解説 |
| 「地図に印が数点」のたとえ、各「素材技術者の視点」、小データで試す順番、評価の読み方の注意 | 公表内容にもとづく本記事の整理・解説。各機関が表明した見解ではない | 解説 |
| 図が実データの観察ではなく、説明のための作図であること。ヒーロー画像と図8がImageGen生成の概念画像であること | 本記事による注記 | 解説 |
最終更新:2026年10月22日/出典は一次情報(査読論文、arXiv の論文、scikit-learn・ISO・NIST の公式ページ)に限定しています。ISO/IEC 規格の本文は有料のため確認できていません。 第2〜8章の数値実験は本稿が作った合成データの計算で、実在の材料の結果ではありません。 「小データ」の一つに決まった線引き、項目数とデータ数の一般的な目安、データ拡張の材料での一般的な効果、小データの機械学習に特化した国際標準については、確認できなかったため記載していません。 図はすべて説明用の概念図または本稿の計算を含む作図で、ヒーロー画像と図8はImageGen生成の概念画像です。

