主要成果
ディープラーニングの学習において、外部的な乱数（ランダムな初期化、ミニバッチの順序、データ拡張、GPUによる数値誤差など）を完全に制御したとしても、学習結果の再現性が極めて低いという問題があります。本研究では、この現象の背後にある統一的なメカニズムとして「riddled basin geometry（穴あき盆地幾何学）」を提案しました。パラメータ空間における吸引圏（basin of attraction）が複雑に絡み合っており、ある解に至る初期値のすぐ隣に、全く別の解に至る初期値が至る所に存在する「ファット・フラクタル（fat fractal）」構造を形成していることを明らかにしました。
技術・詳細
研究チームは、最小限のニューラルネットワークモデルを用いて、この「riddling（穴あき状態）」に至る古典的な経路を解析的に立証しました。また、力学系理論の「不確実性指数（uncertainty exponent）」を適用して微細なフラクタル構造を定量化したところ、指数がほぼゼロに近い値となりました。これは、初期値の精度を大幅に上げたとしても、結果の予測可能性はわずかしか向上しないことを意味します。
さらに、この現象は単純なモデルだけでなく、実際のディープネットワークにおいても確認されました。異なるアーキテクチャ、オプティマイザ、正則化手法、活性化関数を用いた広範なテストにおいて、パラメータ空間での同様のシグネチャーが検出されています。また、パラメータそのものではなく、学習後のモデルの入出力挙動に着目した「機能的不確実性指数（functional uncertainty exponents）」を導入した結果、関数空間においてもスケールに依存しない再現性の低さが存在することが実証されました。
背景・業界の文脈
これまで、AI学習の不安定性は主に外部的な確率的要因に起因すると考えられてきました。しかし、外部の非決定性を排除しても、パラメータをわずか1ビット変更するだけで、複数のノイズ源が組み合わさった時に匹敵するほどの変動が生じるという報告がありました。本研究が提示する「riddling」は、従来の「カオス」による予測不能性とは異なります。カオスは時間の経過とともに初期誤差が増幅されるため軌道レベルの予測を困難にしますが、riddlingは初期条件に極めて小さい不確実性があるだけで、最終的な学習結果という定性的なアウトカムレベルで予測不能性を引き起こします。
今後の展望
riddled basin geometryがディープラーニングにおける再現性欠如の組織化原理である可能性が示されたことで、最適化手法の改善や、人工知能の信頼性の高いデプロイメントに向けた実用的な示唆が得られると期待されます。
元記事: https://www.nature.com/articles/s42256-026-01336-3
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
