TECHNOLOGY EXPLAINER
ベイズ最適化と能動学習
― 少ない実験で、次に何を測るかを賢く選ぶ
実験は、時間も材料も手間もかかります。条件の組合せ(温度・時間・組成・濃度…)をすべて試すことはできません。そこで、これまでの結果から「次はここを測ると得をしそうだ」と選ぶ方法があります。それが、ベイズ最適化と能動学習です。この記事では、ガウス過程(「予想の線」と「分からなさの帯」)、獲得関数(探索と活用の釣り合い)を図と小さな計算例で説明し、実験計画法との関係を整理します。そのうえで、どの程度効くのか(本稿の簡単なシミュレーションと、実験データを使った研究)と、現場の落とし穴(ノイズ、次元、制約)を、素材技術者の目線で説明します。
- 3行でわかる/読む前に/シリーズの中での位置
- 少ない実験で最適条件を探す ― 3つのやり方
- ガウス過程 ― 「予想の線」と「分からなさの帯」
- 次にどこを測るか ― 獲得関数と、探索・活用
- くり返しの様子
- どのくらい効くのか
- 能動学習 ― 最大値ではなく、「全体の予測」を良くする
- 実験計画法(DoE)との関係
- 現場の落とし穴
- 実験での事例
- 素材技術者から見て
- 限界と、確認できなかったこと/まとめ
- 評価・標準の読み方
- 用語集
- 参考資料(一次情報)
- 主張と出典の対応表(監査)
事実=公表資料に記載のある内容(出典リンクあり)
本稿の計算=明示した前提をもとに本記事が算出した値
未確定/将来=計画・目標・草案・改訂中・策定中・見通しなど、確定していない事項
このほか、素材技術者向けの読み取りは「解説」として区別しています。推測は太字で示します。研究グループの発表は「主張」と明記します。
1. 3行でわかる/読む前に/シリーズの中での位置
- ベイズ最適化は、「結果が出るまでに高いコストがかかる」条件探索で、これまでの結果から次の1回(または数回)を選ぶ方法です。予想(ガウス過程)と、次を決める基準(獲得関数)の2つの部品でできています。ふつう、評価(実験)の回数は数百回までで、条件の数(次元)は約20以下の問題が想定されます事実[参考資料1]
- 最大値を探すのがベイズ最適化、全体の予測を良くするのが能動学習です。どちらも「次に測る点」を、分からなさ(不確かさ)を使って選びます。本稿の1次元の簡単な例(本稿の計算)では、10回の実験で本当の最大値の98%以上に届いた割合が、ベイズ最適化で98%、ランダムで29%でした本稿の計算。ただし、これは作り物の例で、実際の効果を示すものではありません
- 実験データを使った研究では、効果は「条件しだい」です。ランダムより最大約20倍速くなる場面がある一方、手法の選び方しだいで、ランダムより遅くなる場面もあると報告されています事実[参考資料2]。実験計画法(DoE)と対立せず、併用できます
「ベイズ」は、「最初の予想を、データを見て更新する」考え方です。天気予報が、新しい観測のたびに更新されるのに似ています。この記事で扱うのは、「次に測る条件を、予想の更新を使って選ぶ」ことです。本シリーズの共通のたとえでは、材料探索は「広大な地図の中から、宝のありかを探す」ことで、ベイズ最適化は、すべてを掘らずに、掘る場所を絞る道具です。機械学習は「過去のデータから傾向を学ぶ近似器」です(本シリーズ「機械学習とニューラルネットワークの基礎」編)。
「小データ機械学習」編(少ないデータで予測する)、「不確かさと適用範囲」編(予測の信頼度)の次に、この記事(次の実験を選ぶ)を読むと流れが分かります。実験を自動で回す「クローズドループ最適化」編・「自律実験室」編は、この記事の方法を、装置と組み合わせたものです。
2. 少ない実験で最適条件を探す ― 3つのやり方
たとえば、ある材料の焼成で、温度・時間・原料の比率を決めたいとします。条件がそれぞれ10通りなら、組合せは1,000通り。1回の実験に1日かかれば、約3年かかります。実験を減らすには、どうすればよいでしょうか。
| やり方 | どう選ぶか | 良いところ | 弱いところ |
|---|---|---|---|
| 総当たり(格子) | 条件を等間隔に並べて、全部測る | 簡単。全体の様子がつかめる | 条件が増えると、数が爆発する |
| ランダム | 条件を、でたらめに選ぶ | 簡単。偏りが少ない | 前の結果を使わない |
| 実験計画法(DoE) | 統計の設計に従い、少ない回数で効果を調べる条件の表を、先に作る | 因子の効果と交互作用を、整理して読める | 最初に回数と条件を決める。結果を見て変える仕組みではない |
| ベイズ最適化 | これまでの結果から次の条件を選び、結果を見てまた選ぶ | 少ない回数で、最大値に近づける | モデルの設定や、ノイズ・次元に左右される |
表の整理は本稿の計算(整理)。DoE については NIST/SEMATECH e-Handbook[参考資料3]の説明にもとづく解説。
条件の数が増えると、総当たりはどれほど増えるでしょうか。2水準(高・低)の全組合せは、因子が k 個なら 2ᵏ 回、3水準なら 3ᵏ 回です。NIST の e-Handbook は、3水準の全組合せ設計が、2因子で9回、3因子で27回になると説明しています事実[参考資料3]。この数え方を延ばすと、次のようになります。
| 因子の数 k | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|
| 2水準の全組合せ(2ᵏ 回) | 4 | 8 | 16 | 32 | 64 |
| 3水準の全組合せ(3ᵏ 回) | 9 | 27 | 81 | 243 | 729 |
表の数値は本稿の計算(べき乗の計算。因子が1つ増えるごとに、2倍または3倍)。
3. ガウス過程 ― 「予想の線」と「分からなさの帯」
ベイズ最適化の1つ目の部品がガウス過程です。名前は難しいですが、やっていることは、次のとおりです。「測った点の結果から、まだ測っていない条件の結果を、幅つきで予想する」。
- 予想の線(平均):測った点の結果を通り、点と点の間をなめらかにつなぎます。
- 分からなさの帯(不確かさ):データのある所では細く、データから遠い所では太くなります。
- 前提:「条件が近ければ、結果も似ているはずだ」。どのくらい近ければ似ているかを決めるのがカーネル(長さスケール)です。
Frazier の解説によると、ガウス過程は、関数についての「事前の予想」(平均とカーネル)に、データを加えて、予想を更新します。測っていない条件の予想は正規分布で表され、測定値にノイズがなければ、予想の平均は測った点を通り、その点での分からなさはゼロになります事実[参考資料1]。上の図の左がこの場合です。ベイズ最適化全体の総説としては、Shahriari らの解説があります事実[参考資料4]。
データが少ないとき、「通りうる線」は無数にあります。ガウス過程は、その中から1本を選ぶのではなく、「通りうる線の範囲」を帯で見せます。帯が太い所は、「ここは、まだ誰も測っていないので、分からない」という意味です。この「分からなさ」を使って、次に測る点を決めるのがポイントです(次の章)。
実際の実験では、測定にばらつきがあります(同じ条件でも結果が少し違う)。図の右のように、ノイズを考えると、測った点でも帯はゼロになりません。「この1回の測定は、真の値から少しずれているかもしれない」と考えるからです。EI などの基準は、ノイズがあるときに、調整が必要になる場合があります事実[参考資料1]。
もっと詳しく:なぜ「近いほど強く効かせた平均」と考えてよいか
ガウス過程の予想の平均は、測った点の結果の重みつきの和として書けます。重みは、予想したい条件と測った点の「近さ」(カーネル)で決まり、近い点ほど強く効きます。このため、予想の線は、近くの結果を強く参考にして、なめらかにつないだ線になります。本稿の例では、カーネルの長さスケールを 0.1(条件を0〜1に規格化したとき)に固定しました。実際には、データから決める方法もあります(本稿の設定)。
4. 次にどこを測るか ― 獲得関数と、探索・活用
2つ目の部品が獲得関数です。「次に測る条件に、点数をつける式」です。点数の最も高い条件を、次に測ります。ここで悩ましいのは、2つの気持ちが引き合うことです。
- 活用(exploitation):いまの予想で、結果が良さそうな所を測りたい。
- 探索(exploration):まだ分からない所を測りたい。そこに、もっと良い所があるかもしれない。
釣りにたとえると、「いつもの釣り場で糸を垂れる」のが活用、「新しい釣り場を試す」のが探索です。両方を、1つの数字で釣り合わせるのが獲得関数です。代表的な2つを紹介します。
- 期待改善量(EI):「いまの最良の結果を、次の1回でどれだけ上回れそうか」の期待値です。Močkus が提案し、Jones らの EGO(効率的大域最適化)で広く知られるようになりました。予想が高く、かつ分からなさも大きい所が、高く評価されます事実[参考資料5・1]。
- 上側信頼限界(UCB):「予想の平均+κ×分からなさ(標準偏差)」です。κ(カッパ)を大きくすると探索寄りになります。Srinivas らは、この方法の理論的な保証を示しました事実[参考資料6]。
小さな数値例で確かめる
いまの最良の結果が 0.90 だとします。候補が3つあり、予想の平均(μ)と分からなさ(σ)が次のとおりです。どれを測るでしょうか。
| 候補 | 予想の平均 μ | 分からなさ σ | 改善確率(PI) | 期待改善量(EI) | UCB(κ=2) |
|---|---|---|---|---|---|
| A:予想が最も高い | 1.00 | 0.10 | 0.84 | 0.108 | 1.20 |
| B:予想は低いが、不確かさが大きい | 0.80 | 0.50 | 0.42 | 0.153 | 1.80 |
| C:中間 | 0.95 | 0.30 | 0.57 | 0.146 | 1.55 |
表の数値は本稿の計算(作り物の数値例)。EI=(μ−最良)×Φ(z)+σ×φ(z)、z=(μ−最良)÷σ。Φ は標準正規分布の累積分布、φ は密度。PI=Φ(z)。
改善確率(PI)だけで選ぶと、Aを選びます(「最良を上回る確率」が最も高いため)。しかし、EI も UCB も、Bを選びます。Bは平均が低くても、「分からなさ」が大きく、大きく当たる可能性があるからです。つまり、獲得関数が違うと、選ぶ点が変わります。図の右の注記のとおり、同じデータでも、EI と UCB の最大の位置が違うことがあります。
もっと詳しく:EI の式の意味
EI の第1項 (μ−最良)×Φ(z) は「活用」を表します(平均が最良より高いほど大きい)。第2項 σ×φ(z) は「探索」を表します(分からなさ σ が大きいほど大きい)。EI は、すでに測った点では(ノイズがなければ)ゼロになります事実[参考資料1]。
5. くり返しの様子
ベイズ最適化は、「モデルを作る → 次を選ぶ → 実験する → データを足す」を繰り返します。実験が増えるたびに、帯が細くなり、次の点が変わります。
図の例では、3回目のあとは、データが少なく、帯が広いので、まだ分かりません。5回目のあとには、高い所の近くに実験が置かれ、同時に、まだ測っていない所も候補に残っています。8回目のあとには、最初に見つけた山と、別の山の両方に、実験が置かれました。局所的な良さにとどまらず、別の山を調べに行くのが、探索の効果です。
6. どのくらい効くのか
「ベイズ最適化は、実際にどのくらい少ない実験で済むのか」は、素材技術者が最も知りたい点です。2通りで考えます。
(1) 本稿の簡単なシミュレーション(1次元・ノイズなし)
- 2つの山を持つ、作り物の1次元の応答(最大値 0.90)を使い、最初の3回をランダムにして、残りを EI で選びました。200回の試行の平均です本稿の計算。
- 10回の実験の時点で、本当の最大値の98%以上に届いた割合は、ベイズ最適化で98%、ランダムで29%でした。15回では、それぞれ100%と40%でした本稿の計算。
- 平均の最良値は、10回の時点で、ベイズ最適化が約0.89、ランダムが約0.80でした本稿の計算。
上の結果は、1次元で、ノイズがなく、カーネルの設定が応答に合っているという、有利な条件の例です。Olympus の著者らは、最適化の手法が「低次元の人工関数」で試されることが多く、ノイズのある、より高次元の実験の課題で成績がどうなるかは分からない、と指摘しています事実[参考資料7]。次の(2)の実験データの研究と、合わせて読んでください。
(2) 実験データを使った研究
- Rohr ら(2020):電気化学の触媒の実験データ(4つの化学空間、各2,121個の触媒、酸素発生反応の過電圧)で、逐次学習(モデルで次を選ぶ方法)をランダムと比べました。「特定の条件では、最大約20倍、研究を加速できる」一方、「手法の選び方によっては、ランダムより、かなり遅くなる」と報告しています事実[参考資料2]。
- Liang ら(2021):5つの実験の材料系で、ガウス過程やランダムフォレストなどを比べました。「異方性カーネルのガウス過程」と「ランダムフォレスト」は同程度で、どちらも、等方性カーネルのガウス過程より良く、異方性カーネルのガウス過程が最も頑健だったと報告しています事実[参考資料8]。
ここで、「加速」とは、答えが分かっているデータの集まり(すでに全部測ってある)の中から、手法に選ばせ、ランダムに選ぶより、何倍速く良い点が見つかるかを測ったものです。実際の探索では、答えは未知で、データの集まりの外にも良い点があるかもしれません。
7. 能動学習 ― 最大値ではなく、「全体の予測」を良くする
ベイズ最適化は「最大値を見つける」ことが目的でした。目的が違う場面もあります。たとえば、「組成と物性の関係の全体像を、少ない実験でつかみたい」という場合です。このときは、能動学習(active learning)を使います。
Settles の文献調査は、能動学習の中心の考えを、「学習する側が、学ぶデータを選べれば、少ないラベル付きデータで、高い精度に届きうる」と説明します。「ラベル」は、材料なら、測定した結果です。代表的な選び方が不確実性サンプリング(予測が最も自信のない点を測る)です事実[参考資料9]。Lookman らは、材料科学での能動学習が、「不確かさを使う予測モデル」と「次の点に優先順位をつける効用関数」の組合せでできていると整理しています事実[参考資料10]。
- 本稿の例では、同じ作り物の応答を、15回の実験で予測しました。分からない所を測る方法の、全体の予測誤差(RMSE)は 0.024、ランダムは 0.113 でした(200回の平均)本稿の計算。
- 分からない所を測ると、実験した条件が、全体に広がります。一方、ランダムは偏ることがあります(図の右)。
- ベイズ最適化は「山の頂上」に集中し、能動学習は「全体」に広げます。目的が違えば、選び方も違います。
次の表で、2つを並べます。実際には、2つの中間もあります(最大値の近くを重点的に調べつつ、全体も知りたい、など)。Lookman らも、複数の物性や、精度の違うデータ(実験と計算)への拡張を述べています事実[参考資料10]。
| 項目 | ベイズ最適化 | 能動学習 |
|---|---|---|
| 目的 | 目的の値(収率・強度など)を最大(最小)にする条件を見つける | 予測モデルを、全体で良くする |
| 次に測る点 | 改善が期待できる所(探索と活用の釣り合い) | 予測が最も自信のない所(など) |
| 成功の測り方 | それまでの最良の値、見つかるまでの回数 | 予測誤差が、実験の回数とともに、どれだけ下がるか |
| 向く場面 | 最適条件を探す | 傾向や関係の全体像をつかむ、または、後でモデルを使い回す |
表の整理は本稿の計算(整理)。Settles[参考資料9]、Lookman ら[参考資料10]、Frazier[参考資料1]にもとづく解説。
8. 実験計画法(DoE)との関係
実験計画法は、統計学の長い蓄積のある方法で、素材・プロセスの現場でも広く使われます。NIST e-Handbook は、実験計画法(DOE)を、「効率的に実験を計画する統計的な手順」として説明しています事実[参考資料3]。ベイズ最適化と、どう違い、どう組み合わせるのでしょうか。
| 項目 | 実験計画法(DoE) | ベイズ最適化 |
|---|---|---|
| 条件の決め方 | 先に、全部の条件を決める(一括) | 結果を見て、次を決める(逐次) |
| 得意なこと | 因子の効果・交互作用を読み取る。二次の応答曲面(中心複合計画、Box-Behnken 計画など)で最適点を探す | 少ない回数で、最大値に近づく。非線形で複雑な応答にも対応しやすい |
| 解釈のしやすさ | 高い(効果の大きさを、数字で示せる) | 低い(モデルは黒い箱)。後から、解釈の手法を使う |
| 前提 | 応答が、パラメータに対して線形(または二次)で、誤差が正規分布で分散が一定、という仮定を置く設計が多い | 応答の滑らかさ(カーネル)の仮定を置く |
| 併用 | 最初の数回に使うと、全体の様子をつかめる | その後、結果を見ながら追う |
表の整理は本稿の計算(整理)。NIST e-Handbook[参考資料3](応答曲面計画:中心複合計画と Box-Behnken 計画を、1950年代に導入された二次のモデルのための古典的な設計と説明。産業応用では二次のモデルでほぼ十分と記載)、ISO 3534-3:2013[参考資料11](応答が1次元で連続、期待値がパラメータに線形、誤差が正規分布で分散が一定、という前提の用語)にもとづく。
現場では、①最初に DoE で、因子の効き方の全体像をつかむ(どの因子が効くか、交互作用はあるか)、②候補が絞れたら、ベイズ最適化で、少ない回数で最適点に近づく、という流れが自然です(本記事による解説)。DoE の結果は、ベイズ最適化の最初のデータにもなります。「なぜ、その条件が良いのか」を説明したいときは、DoE の応答曲面や、結果を解釈する手法(本シリーズ「説明可能なAIと材料知見」編)が役立ちます。
9. 現場の落とし穴
ベイズ最適化は便利ですが、「入れれば自動でうまくいく」わけではありません。素材技術者が先に確認したい点を、順に説明します。
- ノイズ(再現性):同じ条件の結果がばらつくと、「良かった」のが条件のおかげか、偶然かが分かりません。同じ条件の繰り返し測定でばらつきを知り、ノイズとして扱います事実[参考資料1]。ロット差や、測定者の違いも、ノイズの一部です。
- 次元(条件の数):Frazier は、うまくいった応用の次元は、おおむね20以下だと述べ、高次元でうまく働く方法の開発を、今後の課題としています事実[参考資料1]。条件が多いときは、効きそうな因子を DoE で絞ってから使うのが現実的です(推測)。
- 制約:安全・コスト・合成できない領域(たとえば、危険な温度)を、探索から除く必要があります。制約を扱う拡張が知られています事実[参考資料1]。
- 並列の実験:炉で何個も同時に焼くときは、「次の1個」でなく「次の数個」を同時に決めます。並列用の EI や、Constant Liar という方法が紹介されています事実[参考資料1]。
- 目的の定め方:収率だけでなく、コストや、別の物性も重要なら、「何を最大にするか」を決める必要があります。複数の物性への拡張も、研究されています事実[参考資料10]。
- モデルの選び方:Liang らは、ガウス過程のカーネルの選び方で、成績が変わることを示しました事実[参考資料8]。標準の設定が、いつでも最適とは限りません。
この記事で言う「分からなさ」は、「まだ測っていないから分からない」(モデルの不確かさ)です。測定のばらつき(同じ条件でも結果が変わる)は別の概念で、モデルでは、ノイズの項として別に扱います。両方がごちゃまぜになると、「まだ測っていない所」と「ただ測定がばらつく所」の区別がつきません。同じ条件を数回測って、ばらつきを先に知っておくと、区別できます(本記事による解説)。
10. 実験での事例
実際に、ベイズ最適化などを実験につなげた研究を、いくつか紹介します。どれも研究グループの報告(主張)で、条件はそれぞれ違います。
| 研究 | 対象 | 報告された内容 | 読む時の注意 |
|---|---|---|---|
| Xue ら(2016) | NiTi 系の形状記憶合金(熱ヒステリシス ΔT を小さくしたい) | 約80万の組成の候補から、予測した36組成を、9回のフィードバックで合成・評価。14組成が、元のデータ22個のどれよりも小さい ΔT を示し、最小は Ti₅₀.₀Ni₄₆.₇Cu₀.₈Fe₂.₃Pd₀.₂ の 1.84 K事実[参考資料12] | 実験で確かめた研究(合成と評価)。ランダムとの対照実験は、本稿では確認していない |
| Shields ら(2021) | 有機合成の反応条件(Pd 触媒の直接アリール化など) | 人間の専門家の決定とベイズ最適化を、オンラインのゲームで比べ、平均の効率(実験の回数)と、結果の一貫性で、ベイズ最適化が上回ると報告。別の2つの反応にも適用事実[参考資料13] | 特定の反応での比較。人間の側は、結果の情報を見て選んだ点などの条件がある |
| Rohr ら(2020) | 酸素発生反応の触媒の実験データ(4つの空間、各2,121件) | ランダムに比べ、最大約20倍の加速。選び方によっては、ランダムより遅い事実[参考資料2] | すでに全部測ってあるデータの集まりでの比較(後ろ向き) |
| Liang ら(2021) | 5つの実験の材料系 | 異方性カーネルのガウス過程とランダムフォレストが同程度で、等方性カーネルより良い事実[参考資料8] | モデルの比較。5つの系での結果で、すべての系に当てはまる保証はない |
各行の数字は、それぞれの論文の条件での値です。表の整理は本稿の計算(整理)。確認日 2026年10月22日。
日本の研究グループも、ベイズ最適化を材料科学向けに整えています。たとえば、COMBO(Ueno ら、2016)は、材料科学向けのベイズ最適化のライブラリです事実[参考資料14]。Terayama らの総説は、化学・材料の探索を「ブラックボックス最適化」として整理し、ベイズ最適化、強化学習、能動学習などの方法を、量子力学や分子力学に基づくシミュレーション、実験と組み合わせる方法を述べています事実[参考資料15]。
11. 素材技術者から見て
ベイズ最適化は、条件(入力)と結果(出力)の組を、少しずつ増やしていく方法です。そのためには、日頃の実験ノートで、①条件を数字で書く(「少し長め」でなく「2時間15分」)、②結果を、同じ指標で、同じ条件で測る、③失敗した実験も記録する(結果が悪かったことも、モデルには重要な情報)、④ロット・装置・測定者を書く(ノイズの要因)ことが大切です。データを機械が使える形で残す考え方として、FAIR 原則(見つけやすく、アクセスでき、他とつなげられ、再利用できること)があります事実[参考資料16]。
AI(獲得関数)は、「どこを測ると得か」を数字で示すことが得意です。一方、専門家が決めるのは、①探す範囲(物理的にありえない条件を除く)、②制約(安全、コスト、装置の限界)、③何を良しとするか(収率だけか、コストも含めるか)、④結果の確認(外れ値は測定ミスか、本当に良い条件か。同じ条件で再測定)です。AI の提案を、そのまま実行するのではなく、専門家が確認してから測るのが、安全で、効率的です(本記事による解説)。
見つかった最適条件は、①同じ条件で、複数回、再現するか(ばらつきの範囲を知る)、②別のロット・別の装置でも、同じか、③最適点のまわり(少しずらした条件)でも、結果が大きく崩れないか(頑健性)、④従来の条件(対照)と、同じ測定で比べて、本当に良いかを確かめます。最大値を探す方法は、偶然、高い値が出た点を選びやすい性質があります。確認の実験を、必ず入れてください(本記事による解説)。
12. 限界と、確認できなかったこと/まとめ
(1) 確認できなかったこと
- Xue ら(2016)の研究で、ランダムや従来の方法との対照の実験があったかは、要旨からは確認できませんでした。
- Shields ら(2021)の人間とベイズ最適化の比較の詳しい条件(参加者の人数など)は、要旨の範囲にとどめ、確認していません。
- Rohr ら(2020)の「約20倍」が得られた具体的な設定は、要旨の範囲にとどめています。
- 本稿のシミュレーションは1次元・ノイズなしの作り物で、多次元・ノイズありの場合の成績は、本稿では計算していません。
- ベイズ最適化・能動学習に特化した国際標準は確認できませんでした。
- ベイズ最適化は、ガウス過程(予想の線と、分からなさの帯)と、獲得関数(次の点の点数)で、次に測る条件を選びます。探索(分からない所)と活用(良さそうな所)を、1つの数字で釣り合わせます事実
- 獲得関数が違えば、選ぶ点が変わります。作り物の例では、PI は予想の高い点、EI と UCB は不確かさの大きい点を選びました本稿の計算
- 能動学習は、「全体の予測」を良くするために、分からない所を測ります。本稿の例では、15回で全体の誤差が、ランダムの約5分の1でした本稿の計算
- 効果は、条件しだいです。ランダムより最大約20倍速い場面も、遅くなる場面も報告されています。実験データでの結果と、自社の系を、合わせて確かめます事実
- 実験計画法と併用できます。ノイズ、次元(約20以下)、制約、並列実験に気をつけ、最適条件は、必ず再現実験で確かめます事実
13. 評価・標準の読み方
ベイズ最適化・能動学習の「ものさし」は、まず実験の回数あたりの、見つかった最良の値(最適化)や、実験の回数あたりの、予測の誤差(能動学習)です。次に、何と比べたか(ランダム、人間、他の手法)と、どのデータで試したか(実際の実験か、すでに測ってあるデータの集まりか)です。確認日は2026年10月22日です。
| 評価項目 | 代表的なベンチマーク・評価手法(名称・出典) | 標準・指針(ISO/IEC・NIST など) | 読み方の注意 |
|---|---|---|---|
| 最適化の成績(加速) | Rohr ら:ランダムに対する加速(最大約20倍)と、減速の定量化[参考資料2]事実 Liang ら:5つの実験の材料系で、加速と向上の指標を定義[参考資料8]事実 | 確認できなかった(ベイズ最適化の評価を定める国際標準は確認していない) | 答えが分かっているデータの集まりでの比較。実際の探索は未知 |
| ノイズのある実験の最適化 | Olympus:実験を模したデータで、最適化の手法を比べる枠組み(Häse ら 2021)[参考資料7]事実 | 確認できなかった | 人工関数での成績は、ノイズのある高次元の実験に、そのまま当てはまらない |
| 能動学習の成績 | 学習曲線(実験の回数と、予測の誤差)。Settles の調査、Lookman らの材料科学の総説[参考資料9・10]事実 | 確認できなかった | ランダムに選んだ場合と、同じ回数で比べる |
| 実験計画の用語・設計 | NIST/SEMATECH e-Handbook の「5. Process Improvement」(実験計画法・応答曲面法)[参考資料3]事実 | ISO 3534-3:2013「統計-用語及び記号-第3部:実験計画法」(Statistics — Vocabulary and symbols — Part 3: Design of experiments)(2013年4月発行。2024年に再確認)[参考資料11]事実 | 用語の標準で、ベイズ最適化の手順を定めるものではない。本文は有料で、要求事項は確認していない |
| データの扱い | FAIR 原則(Wilkinson ら 2016)[参考資料16]事実 | 推奨される原則(法的な拘束力はない) | 機械が使える形で、実験データを残す指針 |
表の整理は本稿の計算(整理)。番号・題名・状態は ISO の公式ページで確認(確認日 2026年10月22日)。規格の本文は有料のため、適用範囲の記載にとどめ、要求事項は書いていません。
読み方の注意(素材技術者向け)
- 「加速」の数字は、答えの分かっているデータの集まりでの値です:実際の探索では、答えは未知です。数字は、手法を選ぶときの目安として使ってください[参考資料2・8]
- 最大値の探索は、偶然に高い値を選びやすいです:見つかった最良の点は、再現実験で確かめてください(本記事による解説)
- 標準は、推奨や用語の整理です:ISO 3534-3 は用語の標準で、探索の手順を保証するものではありません。法令や契約で引用されて初めて拘束力を持つのが一般的です(本記事による解説)[参考資料11]
14. 用語集
- ベイズ最適化
- これまでの結果から次に測る条件を選び、少ない回数で最大(最小)に近づく方法。
- 能動学習
- 予測モデルを良くするために、次に測る点を選びながら学ぶ方法。
- ガウス過程
- 測った点から、未測定の条件の結果を、平均(予想)と幅(不確かさ)で予想する方法。
- カーネル/長さスケール
- 「条件が近ければ結果も似る」を決める関数/どれだけ離れると似なくなるかの目安。
- 獲得関数
- 次に測る条件に点数をつける式。点数が最大の条件を測る。
- 探索と活用
- 活用=良さそうな所を測る。探索=分からない所を測る。
- 期待改善量(EI)
- いまの最良を、次の1回でどれだけ上回れそうかの期待値。
- 改善確率(PI)
- 次の1回が、いまの最良を上回る確率。
- 上側信頼限界(UCB)
- 予想の平均+κ×標準偏差。κが大きいほど探索寄り。
- 不確実性サンプリング
- 予測が最も自信のない点を、次に測る能動学習の方法。
- ブラックボックス関数
- 式が分からず、入れて結果を見るしかない関数。実験の応答など。
- 実験計画法(DoE)
- 統計に基づいて、少ない回数で効率よく実験を計画する方法。
- 応答曲面法
- 条件と結果の関係を、二次などの曲面で近似して、最適点を探す方法。
- 要因(因子)/水準
- 変える条件(温度など)/その値(高・低など)。
- ノイズ
- 同じ条件でも結果が少し変わる、測定のばらつき。
- 次元
- 条件の数(因子の数)。
- 制約
- 探索してはいけない条件の範囲(安全、コスト、装置の限界など)。
- バッチ(並列)実験
- 次の数個の条件を、同時に決めて、まとめて実験すること。
- RMSE
- 予測と正解の差の二乗の平均の平方根。全体の予測誤差の目安。
- 後ろ向きの評価
- すでに全部測ってあるデータの集まりで、手法の成績を測る評価。
- FAIR 原則
- データを、見つけやすく、アクセスでき、他とつなげられ、再利用できるようにする指針。
15. 参考資料(一次情報)
- Frazier P. I. "A tutorial on Bayesian optimization", arXiv:1807.02811 (2018) — arxiv.org/abs/1807.02811
- Rohr B. ほか "Benchmarking the acceleration of materials discovery by sequential learning", Chem. Sci. 11, 2696–2706 (2020), DOI 10.1039/C9SC05999G — doi.org/10.1039/C9SC05999G
- NIST/SEMATECH "e-Handbook of Statistical Methods, Chapter 5 "Process Improvement" (design of experiments, response surface designs)", (NIST Information Technology Laboratory) — itl.nist.gov/div898/handbook/pri/pri.htm
- Shahriari B. ほか "Taking the human out of the loop: a review of Bayesian optimization", Proc. IEEE 104, 148–175 (2016), DOI 10.1109/JPROC.2015.2494218 — doi.org/10.1109/JPROC.2015.2494218
- Jones D. R., Schonlau M., Welch W. J. "Efficient global optimization of expensive black-box functions", J. Global Optim. 13, 455–492 (1998), DOI 10.1023/A:1008306431147 — doi.org/10.1023/A:1008306431147
- Srinivas N. ほか "Gaussian process optimization in the bandit setting: no regret and experimental design", ICML 2010, arXiv:0912.3995 — arxiv.org/abs/0912.3995
- Häse F. ほか "Olympus: a benchmarking framework for noisy optimization and experiment planning", Mach. Learn.: Sci. Technol. 2, 035021 (2021), DOI 10.1088/2632-2153/abedc8 — doi.org/10.1088/2632-2153/abedc8
- Liang Q. ほか "Benchmarking the performance of Bayesian optimization across multiple experimental materials science domains", npj Comput. Mater. 7, 188 (2021), DOI 10.1038/s41524-021-00656-9 — doi.org/10.1038/s41524-021-00656-9
- Settles B. "Active learning literature survey", Computer Sciences Technical Report 1648, University of Wisconsin-Madison (2009) — minds.wisconsin.edu/handle/1793/60660
- Lookman T. ほか "Active learning in materials science with emphasis on adaptive sampling using uncertainties for targeted design", npj Comput. Mater. 5, 21 (2019), DOI 10.1038/s41524-019-0153-8 — doi.org/10.1038/s41524-019-0153-8
- ISO "ISO 3534-3:2013 Statistics — Vocabulary and symbols — Part 3: Design of experiments", (ISO page) — iso.org/standard/44245.html
- Xue D. ほか "Accelerated search for materials with targeted properties by adaptive design", Nat. Commun. 7, 11241 (2016), DOI 10.1038/ncomms11241 — doi.org/10.1038/ncomms11241
- Shields B. J. ほか "Bayesian reaction optimization as a tool for chemical synthesis", Nature 590, 89–96 (2021), DOI 10.1038/s41586-021-03213-y — doi.org/10.1038/s41586-021-03213-y
- Ueno T. ほか "COMBO: an efficient Bayesian optimization library for materials science", Mater. Discov. 4, 18–21 (2016), DOI 10.1016/j.md.2016.04.001 — doi.org/10.1016/j.md.2016.04.001
- Terayama K., Sumita M., Tamura R., Tsuda K. "Black-box optimization for automated discovery", Acc. Chem. Res. 54, 1334–1346 (2021), DOI 10.1021/acs.accounts.0c00713 — doi.org/10.1021/acs.accounts.0c00713
- Wilkinson M. D. ほか "The FAIR guiding principles for scientific data management and stewardship", Sci. Data 3, 160018 (2016), DOI 10.1038/sdata.2016.18 — doi.org/10.1038/sdata.2016.18
16. 主張と出典の対応表(監査)
| 本文の主張 | 根拠 | 区分 |
|---|---|---|
| ベイズ最適化の対象(高コスト・導関数のないブラックボックス、評価は数百回まで、次元は通常20以下)、ガウス過程(平均とカーネル、測定値にノイズがなければ平均は測った点を通り、その点で分からなさはゼロ)、EI の定義と「分からなさが大きい所を好む」性質、EI が測った点でゼロになること、Močkus の提案と Jones らによる普及、ノイズでは EI に調整が要ること、制約・並列(Constant Liar)・多忠実度、高次元は今後の課題、ベイズ最適化が材料・創薬の実験選びに使われてきたこと | 出典1 https://arxiv.org/abs/1807.02811 | 事実 |
| ベイズ最適化の総説(Shahriari ら)。EGO(Jones ら 1998)。GP-UCB と、情報量を用いた後悔の上界(Srinivas ら) | 出典4 https://doi.org/10.1109/JPROC.2015.2494218 出典5 https://doi.org/10.1023/A:1008306431147 出典6 https://arxiv.org/abs/0912.3995 | 事実 |
| 能動学習の中心の考え(学習側がデータを選べれば、少ないラベル付きデータで高い精度に届きうる)、不確実性サンプリング、3つの設定(メンバーシップ問い合わせ、ストリーム型、プール型)。材料科学での能動学習(不確かさと効用関数、複数物性・多忠実度への拡張) | 出典9 https://minds.wisconsin.edu/handle/1793/60660 出典10 https://doi.org/10.1038/s41524-019-0153-8 | 事実 |
| Xue ら:NiTi 系形状記憶合金、約80万の組成の候補、36組成を9回のフィードバックで合成・評価、14組成が元の22個より小さい ΔT、最小 1.84 K(Ti50.0Ni46.7Cu0.8Fe2.3Pd0.2) | 出典12 https://doi.org/10.1038/ncomms11241 | 事実 |
| Shields ら:Pd 触媒の直接アリール化のベンチマーク、オンラインゲームでの専門家との比較、平均の効率と結果の一貫性でベイズ最適化が上回る(著者の主張)、Mitsunobu 反応とデオキシフッ素化への適用 | 出典13 https://doi.org/10.1038/s41586-021-03213-y | 事実 |
| Rohr ら:4つの化学空間、各2,121件、酸素発生反応の過電圧、ランダムに比べ最大約20倍の加速、手法によってはランダムより大幅に遅い。Liang ら:5つの実験の材料系、異方性カーネルの GP とランダムフォレストが同程度で等方性 GP より良く、異方性 GP が最も頑健。Olympus:実験を模した最適化ベンチマークの枠組み、人工関数での評価に偏ってきたという指摘 | 出典2 https://doi.org/10.1039/C9SC05999G 出典8 https://doi.org/10.1038/s41524-021-00656-9 出典7 https://doi.org/10.1088/2632-2153/abedc8 | 事実 |
| COMBO(材料科学向けのベイズ最適化ライブラリ)。ブラックボックス最適化としての整理(ベイズ最適化・強化学習・能動学習、シミュレーションや実験との組合せ) | 出典14 https://doi.org/10.1016/j.md.2016.04.001 出典15 https://doi.org/10.1021/acs.accounts.0c00713 | 事実 |
| NIST e-Handbook:DOE の位置づけ、3水準の全組合せが2因子で9回・3因子で27回、応答曲面計画(中心複合計画と Box-Behnken 計画は1950年代に導入された二次のモデル向けの古典的設計、産業応用では二次でほぼ十分)。ISO 3534-3:2013 の番号・題名・2013年4月発行・2024年に再確認・適用範囲。FAIR 原則 | 出典3 https://www.itl.nist.gov/div898/handbook/pri/pri.htm 出典11 https://www.iso.org/standard/44245.html 出典16 https://doi.org/10.1038/sdata.2016.18 | 事実 |
| 図の1次元の応答(2つの山、最大値 0.90)、ガウス過程の曲線(カーネルの長さスケール 0.1)、EI・UCB の曲線、獲得関数の数値例(PI・EI・UCB)、10回目で最大値の98%以上に届いた割合(ベイズ最適化 98%・ランダム 29%)、15回目(100%・40%)、平均の最良値(10回目 0.89・0.80)、能動学習の全体誤差(15回目 RMSE 0.024・0.113)、2ᵏ・3ᵏ の回数 | 本稿の計算(Python と NumPy。200回の試行の平均) | 本稿の計算 |
| Xue らの対照実験の有無、Shields らの比較の詳しい条件、Rohr らの「約20倍」の具体的な設定、多次元・ノイズありでのシミュレーション、ベイズ最適化・能動学習に特化した国際標準 | 本稿の調査範囲でアクセスできた一次情報では確認できなかったため記載していない(解説) | 解説 |
| 「DoE とベイズ最適化の使い分け」「実験ノートをデータにする」「AI と専門家の分担」「最適条件を確かめる設計」「ノイズと分からなさの区別」の読み取り | 公表内容にもとづく本記事の整理・解説。各研究グループが表明した見解ではない | 解説 |
| 図の種類の注記:図2・図3・図4・図5・図6・図7が本稿の計算を含む作図、図8が概念図(ベクター作図)、図1・図9がImageGen生成の概念画像であること | 本記事による注記(解説) | 解説 |
最終更新:2026年10月22日/出典は一次情報(査読論文、arXiv の論文、NIST・ISO の公式ページ)に限定しています。シミュレーションと数値例(図の曲線、獲得関数の表、因子の数と実験回数)は本稿の計算で、実際の材料の結果ではありません。Xue らの対照実験の有無、Shields らの比較の詳しい条件、Rohr らの「約20倍」の具体的な設定、多次元・ノイズありでのシミュレーション、ベイズ最適化・能動学習に特化した国際標準については、確認できなかったため記載していません。図は説明用の概念図または本稿の計算を含む作図で、図の枠(AI生成イメージ)は、後で画像を入れるための場所です。

