1. 学習データとスケーリング則とは何か（3行でつかむ）

• 性能は規模で予測できる範囲がある：言語モデルの損失は、パラメータ数、データ量、計算量のそれぞれに対して、べき乗則でなめらかに下がります。Kaplan らは、傾向が7桁以上にわたって続く場合があると報告しました事実［参考資料12］
• モデルとデータは一緒に増やす：Hoffmann らは、決まった計算量で損失を最小にするには、モデルの大きさと学習トークン数を同じ割合で増やすのがよい、と報告しました（Chinchilla）。ただし、推論の費用や、公開データの量の限りを入れると、最適は変わります事実［参考資料13・25・26］
• 計算量はエネルギーに換算できる：学習の計算量はおおよそ 6 × パラメータ数 × トークン数（FLOP）で、GPU 時間と電力を掛けると、電力量が見積もれます。Llama 3 405B は、公表値で、3.8×10²⁵ FLOP、30.84M GPU 時間でした事実［参考資料14・15］

2. 学習データの中身と整備 ― コーパス、重複除去、品質の選別

事前学習のデータは、ウェブ、書籍、論文、コード、百科事典などから集めたテキストです。公開されている主なコーパスと、Llama 3 のデータの記述を整理します。

すべて事実（各論文・技術報告）。トークン数は、トークナイザごとに数え方が違うため、コーパス間・モデル間で厳密には比べられません（本記事による解説）。

ウェブのデータは、そのままでは学習に使えません。Llama 3 の報告は、ウェブデータの処理を、危険な内容・個人情報（PII）の多いドメインの除外、本文の抽出と清掃、URL・文書・行の3段階の重複除去、ヒューリスティックによる選別、モデルによる品質の選別、コードと数学の専用抽出、176言語の判別を含む多言語処理、データの混合比の決定、という項目で説明しています事実［参考資料14］。

元のSVG模式図・数値・出典注記を見る

• 重複除去：URL 単位、MinHash による文書単位、行単位（30Mの文書の塊で6回を超えて出る行を除去）の順に行っています。報告は、行単位の重複除去が、ナビゲーションメニューなどの定型文だけでなく、頻出する良質な文章も除いてしまう一方で、実験では大きな改善があった、と述べています［参考資料14］
• 本文の抽出：数学やコードを含むページは構造を保って処理し、数式が画像で表されるページのために画像の代替テキストを残しています。マークダウンの記号は、ウェブデータ中心の学習では性能に悪いとして除いています［参考資料14］
• 混合比：知識の分類器と、小さなモデルで予測する「スケーリング則の実験」で決めています［参考資料14］

3. データの質と記憶 ― 重複が何を引き起こすか

Lee らは、既存の言語モデリングのデータセットには、ほぼ同じ例や長い繰り返しが多く含まれ、その結果、これらで学習したモデルの、入力なしの出力の1%以上が、学習データからそのまま写されている、と報告しました。C4 からは、6万回以上繰り返されていた61語の英文が見つかっています。重複を除くと、記憶したテキストの出力が10分の1になり、同じかそれ以上の精度に必要な学習ステップが減りました。また、標準データセットの検証用の4%以上に、学習データとの重なりがあったことも示しています事実［参考資料9］。

Carlini らは、記憶の量が、モデルの容量、例が重複した回数、モデルに与える文脈のトークン数の3つで、大きく増えると報告しています事実［参考資料11］。つまり、モデルを大きくするほど、重複したデータの影響は強く出ます（本記事による解説）。

質のよいデータで、小さく強いモデルを作る試みもあります。Gunasekar らの phi-1 は、13億パラメータで、ウェブから選んだ「教科書の質」のデータ（60億トークン）と、GPT-3.5 で合成した教科書と演習（10億トークン）で、8枚の A100 により4日間で学習した、コード向けのモデルです。開発元は、HumanEval で pass@1 が50.6%、MBPP で55.5%と報告しています事実（開発元の公表値）［参考資料6］。Sorscher らは、データ削減の指標が良ければ、べき乗則よりも速く誤差が下がりうることを、理論と、画像分類（CIFAR-10、SVHN、ImageNet）での実験で示しました事実［参考資料7］（言語モデルでの結果ではありません）。

これらは、データの量だけでなく質と選び方が性能を左右することを示す報告です。ただし、質の定義（何を「良い」とみなすか）と選別の方法は研究ごとに異なり、一般的な処方としては確立していません（本記事による解説）。

4. スケーリング則 ― Kaplan 型、Chinchilla 型、その後の検証

(1) Kaplan らの報告（2020年）

Kaplan らは、言語モデルの検証損失（クロスエントロピー）が、非埋め込みパラメータ数 N、データ量 D（トークン）、計算量 C のそれぞれに対して、べき乗則に従うと報告しました。ほかの条件で制限されない場合の指数は、N で約0.076、D で約0.095、最適に配分した計算量 C で約0.050です。傾向は7桁以上にわたる場合があり、モデルの形（深さと幅の比など）への依存は弱いとされています事実［参考資料12］。

指数 α のべき乗則では、規模を10倍にすると、損失は 10^−α 倍になります。N では約0.84倍（16%減）、D では約0.80倍、C では約0.89倍です（本稿の計算）。損失の下がり方は、規模を増やすほど、対数で見て一定の割合で、決して急にはなりません。コストは10倍で、損失は1〜2割しか下がらない、とも読めます（本記事による解説）。 Kaplan らは、計算量が決まっているときは、非常に大きなモデルを、比較的少ないデータで、収束のかなり前で止めるのが、計算効率が最も良いと結論しました。計算量を10倍にするとき、モデルを約5.5倍にし、学習トークンは約1.8倍にすればよい、という配分です事実［参考資料12・13］。

(2) Hoffmann らの報告（Chinchilla、2022年）

Hoffmann らは、7,000万から160億超のパラメータ、50億から5,000億トークンの400以上のモデルを訓練し、計算最適の学習では、モデルの大きさと学習トークン数を等しく増やすべき（モデルを2倍にするなら、トークンも2倍）と報告しました。3つの異なる方法で、計算量 C に対する最適なパラメータ数 N_opt ∝ C^a、最適なトークン数 D_opt ∝ C^b の指数を見積もり、結果はほぼ等分でした事実［参考資料13］。

すべて事実（Hoffmann ら［参考資料13］の表2）。a と b の和は、計算量 C ≈ 6ND により、ほぼ1になります。

Hoffmann らは、検証として、Gopher（2800億パラメータ、3,000億トークン）と同じ計算量で、700億パラメータの Chinchilla を1.4兆トークンで学習しました。報告は、Chinchilla が下流の評価課題で Gopher などを上回ったと述べます［参考資料13］。また、当時の大きなモデルの多くは、約3,000億トークンで学習されていました（下の図と表）。

本稿の計算（トークン÷パラメータ）。パラメータ数とトークン数は各資料の記載（事実）。Llama 3 8B のトークン数は、モデルカードの「約15兆」（Llama 3.1）。MoE は、総数と活性数のどちらで割るかで比が大きく変わります。「20トークン／パラメータ」は、Chinchilla の1点から求めた目安で、普遍の値ではありません。

Chinchilla の考え方を、計算量 C ≈ 6ND と D = 20N で組み合わせると、C = 120N² なので、N = √(C/120) です。Chinchilla が使った計算量 5.76×10²³ FLOP を入れると、N ≈ 6.9×10¹⁰（約690億）となり、実際の70Bとほぼ一致します（本稿の計算）。一方、Llama 3 の計算量 3.8×10²⁵ FLOP を入れると、N ≈ 5.6×10¹¹（約5,600億）、D ≈ 11.3兆トークンになり、実際の 405B・15.6T とは異なります。Meta の報告は、自社のデータでの別の当てはめにより、405B が計算量にほぼ最適としています［参考資料14］。簡便な比を、別のデータ・別の当てはめにそのまま使うと、最適点がずれることを示す例です（本記事による解説）。

(3) その後の検証と拡張

• Chinchilla の再現：Besiroglu らは、Hoffmann らの3つ目の方法を再現しようとして、報告された推定値が最初の2つの方法と整合せず、データへの当てはめも悪く、信頼区間が非現実的に狭いことを見つけました。原因は、最適化が収束前に止まったことと、本文の推定値の丸めだと分析し、再導出した値は最初の2つの方法と整合するとしています事実［参考資料23］
• Kaplan と Chinchilla の食い違い：Pearce と Song は、食い違いの多くが、Kaplan が埋め込みを除いてパラメータを数えたことと、小さな規模での分析によると説明し、Chinchilla の係数を支持しました。今後は、総パラメータと総計算量を使うことを勧めています事実［参考資料24］
• 推論も含めた最適化：Sardana らは、Chinchilla の式が推論の費用を含まないとして、推論の需要（約10億リクエスト規模）が大きいと見込む場合は、Chinchilla 最適より、小さいモデルを長く学習するのがよいと報告しました。1パラメータあたり最大1万トークンまで、モデルの品質が上がり続けたとも報告しています事実［参考資料25］
• データが限られるとき：Muennighoff らは、固定の計算量で、データが限られる場合、最大4エポックまでの繰り返しは、新しいデータと比べて損失の変化がごくわずかで、それ以上の繰り返しでは、計算を足す価値が最終的にゼロに近づく、と報告しました（最大9000億トークン、90億パラメータの400回の学習）事実［参考資料26］
• 言語以外の領域：Henighan らは、画像、動画、画像と言語、数学の問題解決でも、自己回帰 Transformer の損失が、べき乗則に定数を加えた形でなめらかに改善し、最適なモデルの大きさの計算量への依存の指数は、ほぼ共通だと報告しました事実［参考資料2］。Hestness らも、機械翻訳、言語モデリング、画像処理、音声認識の4領域で、汎化誤差が学習データの量に対してべき乗則に従うと報告しています［参考資料1］

5. 計算量とエネルギー ― FLOP から GPU 時間、電力量へ

Sevilla らは、機械学習の学習計算量が、2010年より前はムーアの法則と同じく約20か月で倍増していたのに対し、深層学習が始まった2010年代の初めからは、約6か月で倍増するようになり、2015年の末には、10〜100倍の計算量を要する大規模モデルが現れた、と整理しています事実［参考資料27］（2022年の論文の整理で、その後の動向は本稿では確認していません）。

学習の計算量から電力量までは、次の連鎖で見積もれます。計算量 ≈ 6 × N × D（第4章）→ ÷ 実効の演算速度 → GPU 時間 → × 電力 × PUE → 電力量。実効の演算速度は、ピーク性能に MFU（model FLOPs utilization）を掛けたものです。MFU は、PaLM の報告が、観測したスループットを、ピーク FLOP で動くシステムの理論上の最大スループットで割った比として定義しました（再計算などの余計な演算は含めません）事実［参考資料22］。

事実（各資料の記載）。GPT-3 は著者らが公表情報から見積もった値で、運用の実測ではありません。電力の定義が3行で違う（システム平均、全体の測定、TDP に基づく容量）ため、行どうしを直接比べないでください。市場基準の排出が0なのは、Meta が電力を再生可能エネルギーで100%相殺していると説明しているためです［15］。

本稿の検算（本稿の計算）

• GPT-3 の電力量：3.55M チップ時間 × 0.33 kW × PUE 1.10 ≈ 1,289 MWh。Patterson らの 1,287 MWh とほぼ一致
• Llama 3 405B の GPU 時間：6·N·D = 3.79×10²⁵ FLOP を、報告された段階ごとの実効演算速度 380〜430 TFLOP/s／GPU（BF16 MFU 38〜43%）［14］の中ほどの 400 TFLOP/s で割ると、約26.3M GPU 時間。モデルカードの30.84M GPU 時間はこの約1.17倍。差には、事前学習以外の工程、中断と再開などが含まれうると推測します
• ピーク性能の逆算：報告の表4で、430 TFLOP/s が MFU 43% なので、基準にしているピーク性能は約1,000 TFLOP/s（430 ÷ 0.43）です。この数字は表から逆算した値で、GPU の仕様書の値は確認していません
• 電力量の下限の目安：30.84M GPU 時間 × 0.7 kW ＝ 約21.6 GWh（TDP × 時間。PUE と、GPU 以外のホスト・ネットワーク・冷却は含まない単純計算）。排出量 8,930 t を 21.6 GWh で割ると約0.41 kgCO₂eq／kWh ですが、モデルカードは電力に PUE を掛けたと説明しているので、この割り算は、電力の原単位の目安にとどまります
• 1枚あたりでなく、クラスタの規模：最大1.6万個 × 700 W ≈ 11.2 MW（GPU の TDP だけの合計）［14］。これだけの熱を除くための電力と冷却が、別に必要になります
• 世代による効率の違い：GPT-3（3.14×10²³ FLOP／1,287 MWh）と Llama 3 405B（3.8×10²⁵ FLOP／約21.6 GWh）を、1 kWh あたりの FLOP で比べると、約2.4×10¹⁷ と約1.8×10¹⁸ で、約7倍の開きです。ただし、世代、数値精度、利用率、電力の定義が違う2つの概算の比で、効率向上の正確な値ではありません

計算量の閾値と規制

EU の AI 規則（Regulation (EU) 2024/1689）の第51条2項は、汎用AIモデルの訓練に使った累積の計算量が 10²⁵ FLOP を超えるとき、高い影響力を持つと推定されると定めています。委員会は、アルゴリズムの改善やハードウェア効率の向上を踏まえ、委任法令でこの閾値を改めることができます（第51条3項）事実［参考資料32］。確認日に EUR-Lex で確認した統合版（2026年7月27日付）［参考資料42］にも、この記述があります。この統合版は、2026年7月8日の Regulation (EU) 2026/1744（AI に関するデジタル・オムニバス）［参考資料33］による改正を反映したものですが、第51条2項の閾値の文言は変わっていません。

公表された学習計算量を、この閾値と並べると、GPT-3（3.14×10²³）は閾値の約3%、Chinchilla（5.76×10²³）は約6%、Llama 3 405B（3.8×10²⁵）は約3.8倍です（本稿の計算）。条文は「訓練に使った累積の計算量」を基準にしており、これは推定の仕組みで、個々のモデルの法的な分類の判断ではありません。適用開始の時期、義務の中身、デジタル・オムニバスの詳細は、本シリーズ「EU AI法」編で扱います。

6. データの枯渇・同意・合成データ

(1) 公開されている人間の文章は、いつまで足りるか

Villalobos らは、公開された人間生成のテキストの量と、学習データの大きさの増加を比べて、現在の傾向が続けば、モデルが、利用できる公開テキストのほぼ全量に近いデータで学習されるのは2026年から2032年の間（中央値は2028年）で、オーバートレーニングが進めば少し早まる、と推計しました。インデックスされたウェブ全体は約510兆トークン（95%区間 130兆〜2,100兆）、Common Crawl は約130兆（同100兆〜260兆）、品質などを考慮した有効ストックはおよそ4×10¹⁴トークンです事実（推計）／未確定／将来［参考資料16］。

この推計は2024年版の論文のもので、確認日の時点では、傾向がその後どうなったかを、本稿は確認していません。有効ストックは、重複や質の選別、繰り返し学習（エポック数）の扱いに依存する推計です。Muennighoff らが示したように、4エポック程度までの繰り返しは新しいデータに近い価値を持つため、実質的な「使える量」は、見かけのトークン数の数倍になりうる、という解釈も成り立ちます（本記事による解説）。

(2) 同意と制限：ウェブの「共有地」が閉じつつある

Longpre らは、C4 などのコーパスの元になった1万4,000のウェブドメインの、利用規約と robots.txt を長期に監査しました。2023年から2024年の1年間で、AI の学習に対する制限が急に増え、C4 のトークンの5%超、特に活発に更新されている重要な情報源では28%超が、完全に制限されたと報告しています。利用規約による取得の制限まで含めると、C4 の45%が制限されています事実（当時の時点の値）［参考資料28］。著者らは、これらの制限が守られる、あるいは強制されるなら、汎用AIのデータの多様性、新しさ、スケーリングの性質が偏りうると述べています。著作権・ライセンスの法的な論点は、本シリーズ「著作権・来歴・ディープフェイク」編で扱います。

(3) 合成データと「モデル崩壊」

不足を補う方法の一つが、モデルが作ったデータ（合成データ）の利用です。phi-1 は、GPT-3.5 で合成した教科書と演習（10億トークン）を学習データに含みました［参考資料6］。Llama 3 のモデルカードは、微調整のデータに、2,500万件を超える合成データが含まれると記載し、報告は、事後学習の各ラウンドで、その時点の最新モデルから合成データを作ったと説明しています事実［参考資料14・15］。 一方、Shumailov らは、モデルが生成した内容を無差別に学習に使うと、元の分布の裾（まれな内容）が消えていく不可逆的な欠陥（モデル崩壊）が起こり、LLM でも変分オートエンコーダでも確認できると報告しました事実［参考資料29］（Nature 2024年。2025年3月に訂正が出ています）。Gerstgrasser らは、各世代の合成データで元の実データを置き換えるとモデル崩壊に向かうが、実データに積み重ねていくと避けられる、と複数のモデルの大きさ・構造・ハイパーパラメータで示しました事実［参考資料30］。

つまり、合成データそのものが悪いのではなく、実データとの混ぜ方、質の管理、用途が問題になります（本記事による解説）。結論は、条件（置き換えか積み重ねか、質の選別の有無）によって変わるため、「合成データは使えない」「いくらでも使える」のどちらにも一般化できません。

7. 限界と、確認できなかったこと／まとめ

(1) 新しいモデルの学習量

本稿が表にした学習データ量・計算量は、2025年までの主要な公式資料です。2026年に公開されたモデルの値は確認していません。多くの商用モデルは、学習データ、トークン数、計算量を公表しておらず、本稿は推計していません。

(2) 計算量と GPU 時間の対応

Llama 3 405B の 3.8×10²⁵ FLOP と30.84M GPU 時間が、同じ範囲の工程を指すかどうかは、資料から確認できませんでした。本稿の検算（約1.17倍の差）は、その不確かさを含みます。

(3) 推論側のエネルギー

本稿は学習の電力量を扱い、推論（運用）の電力量は扱っていません。データセンター全体の見通しは IEA の報告に頼り、2026年の更新は確認していません。

(4) 規制の詳細

EU の閾値は条文の記載のみを確認しました。適用開始時期、義務の中身、デジタル・オムニバスの全体の内容は、本稿では扱っていません。米国・中国・日本の制度は、本シリーズ「米国・中国・日本のAI政策」編で扱います。

(5) 規格の本文

ISO/IEC TR 20226、30134-2、5259、42001 の本文は有料のため確認していません。題名・発行年月・適用範囲の記載にとどめています。

8. 評価・標準の読み方

学習データとスケーリング則の評価は、検証損失への当てはめの質、データの質（重複、汚染、記憶）の測定、データの来歴と同意の確認、そして計算量とエネルギーの報告に分かれます。どれも、定義（パラメータの数え方、電力の範囲）、範囲、日付によって数字が変わります。確認できた範囲を表にします（確認日 2026年10月15日）。

表の整理は本稿の計算（整理）。ISO/IEC の番号・題名・発行年月は ISO の公式ページ、EU 規則は EUR-Lex、NIST は NIST の文書で確認（確認日 2026年10月15日）。規格の本文は有料のため、題名・適用範囲の記載にとどめています。

読み方の注意（素材技術者向け）

• スケーリング則の数字は、定義と範囲つきです：指数や「20トークン／パラメータ」のような目安を、別のデータ・別の規模・別の目的にそのまま使わないでください。損失の改善と、課題の性能の改善は別です
• エネルギーの数字は、電力の定義を確認します：TDP × 時間、システムの平均電力、設備全体（PUE 込み）で値が変わります。排出量は、所在地基準か市場基準かでも変わります。GPT-3 のような第三者の見積りは、公表値と区別します
• 標準・規制の「閾値」や「指針」は、役割が違います：EU 規則の 10²⁵ FLOP は法令上の推定の仕組み、ISO/IEC TR 20226 は情報提供の技術報告、PUE の規格は測定法の規格で、いずれも個々のモデルの優劣や安全を示す数字ではありません。多くの ISO/IEC 規格は任意の採用で、法令や契約で引用されて初めて拘束力を持つのが一般的です（本記事による解説）
• 予測と実績は別です：データ枯渇や電力の見通しは未確定／将来の推計で、前提が変われば結果も変わります

9. 用語集

10. 参考資料（一次情報）

1. Hestness J. ほか（Baidu Research） "Deep Learning Scaling is Predictable, Empirically", arXiv:1712.00409 — arxiv.org/abs/1712.00409
2. Henighan T. ほか "Scaling Laws for Autoregressive Generative Modeling", arXiv:2010.14701 — arxiv.org/abs/2010.14701
3. Raffel C. ほか "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer"（C4）, arXiv:1910.10683 — arxiv.org/abs/1910.10683
4. Gao L. ほか "The Pile: An 800GB Dataset of Diverse Text for Language Modeling", arXiv:2101.00027 — arxiv.org/abs/2101.00027
5. Soldaini L. ほか "Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research", arXiv:2402.00159 — arxiv.org/abs/2402.00159
6. Gunasekar S. ほか "Textbooks Are All You Need", arXiv:2306.11644 — arxiv.org/abs/2306.11644
7. Sorscher B. ほか "Beyond neural scaling laws: beating power law scaling via data pruning", arXiv:2206.14486 — arxiv.org/abs/2206.14486
8. Penedo G. ほか "The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale", arXiv:2406.17557 — arxiv.org/abs/2406.17557
9. Lee K. ほか "Deduplicating Training Data Makes Language Models Better", arXiv:2107.06499 — arxiv.org/abs/2107.06499
10. Brown T. B. ほか "Language Models are Few-Shot Learners", arXiv:2005.14165 — arxiv.org/abs/2005.14165
11. Carlini N. ほか "Quantifying Memorization Across Neural Language Models", arXiv:2202.07646 — arxiv.org/abs/2202.07646
12. Kaplan J. ほか "Scaling Laws for Neural Language Models", arXiv:2001.08361 — arxiv.org/abs/2001.08361
13. Hoffmann J. ほか "Training Compute-Optimal Large Language Models", arXiv:2203.15556 — arxiv.org/abs/2203.15556
14. Grattafiori A. ほか（Llama Team, Meta） "The Llama 3 Herd of Models", arXiv:2407.21783 — arxiv.org/abs/2407.21783
15. Meta "Llama 3.1 Model Card"（GitHub: meta-llama/llama-models） — github.com/meta-llama/llama-models/…/MODEL_CARD.md
16. Villalobos P. ほか（Epoch AI ほか） "Will we run out of data? Limits of LLM scaling based on human-generated data", arXiv:2211.04325 — arxiv.org/abs/2211.04325
17. Touvron H. ほか "LLaMA: Open and Efficient Foundation Language Models", arXiv:2302.13971 — arxiv.org/abs/2302.13971
18. DeepSeek-AI "DeepSeek-V3 Technical Report", arXiv:2412.19437 — arxiv.org/abs/2412.19437
19. Touvron H. ほか "Llama 2: Open Foundation and Fine-Tuned Chat Models", arXiv:2307.09288 — arxiv.org/abs/2307.09288
20. Patterson D. ほか "Carbon Emissions and Large Neural Network Training", arXiv:2104.10350 — arxiv.org/abs/2104.10350
21. Luccioni A. S., Viguier S., Ligozat A.-L. "Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model", arXiv:2211.02001 — arxiv.org/abs/2211.02001
22. Chowdhery A. ほか "PaLM: Scaling Language Modeling with Pathways", arXiv:2204.02311 — arxiv.org/abs/2204.02311
23. Besiroglu T. ほか "Chinchilla Scaling: A replication attempt", arXiv:2404.10102 — arxiv.org/abs/2404.10102
24. Pearce T., Song J. "Reconciling Kaplan and Chinchilla Scaling Laws", arXiv:2406.12907（TMLR 2024） — arxiv.org/abs/2406.12907
25. Sardana N. ほか "Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws", arXiv:2401.00448 — arxiv.org/abs/2401.00448
26. Muennighoff N. ほか "Scaling Data-Constrained Language Models", arXiv:2305.16264 — arxiv.org/abs/2305.16264
27. Sevilla J. ほか "Compute Trends Across Three Eras of Machine Learning", arXiv:2202.05924（IJCNN 2022） — arxiv.org/abs/2202.05924
28. Longpre S. ほか "Consent in Crisis: The Rapid Decline of the AI Data Commons", arXiv:2407.14933 — arxiv.org/abs/2407.14933
29. Shumailov I. ほか "AI models collapse when trained on recursively generated data", Nature 631, 755–759 (2024), DOI 10.1038/s41586-024-07566-y（オープンアクセス） — nature.com/articles/s41586-024-07566-y
30. Gerstgrasser M. ほか "Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data", arXiv:2404.01413 — arxiv.org/abs/2404.01413
31. IEA "Energy and AI"（2025年4月10日公開） — iea.org/reports/energy-and-ai
32. 欧州議会・理事会 Regulation (EU) 2024/1689（AI 規則）、2024年6月13日、OJ L 2024/1689（EUR-Lex、原文版） — eur-lex.europa.eu/eli/reg/2024/1689/oj/eng
33. 欧州議会・理事会 Regulation (EU) 2026/1744、2026年7月8日（AI に関するデジタル・オムニバス。Regulation (EU) 2024/1689 等を改正。OJ 2026年7月24日） — eur-lex.europa.eu/eli/reg/2026/1744/oj/eng
34. ISO/IEC "ISO/IEC TR 20226:2025 Information technology — Artificial intelligence — Environmental sustainability aspects of AI systems"（ISO のページ） — iso.org/standard/86177.html
35. ISO/IEC "ISO/IEC 30134-2:2026 Information technology — Data centres key performance indicators — Part 2: Power usage effectiveness (PUE)"（ISO のページ） — iso.org/standard/85172.html
36. ISO/IEC "ISO/IEC 5259-1:2024 Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 1: Overview, terminology, and examples"（ISO のページ） — iso.org/standard/81088.html
37. ISO/IEC "ISO/IEC 5259-3:2024 Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 3: Data quality management requirements and guidelines"（ISO のページ） — iso.org/standard/81092.html
38. NIST "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile", NIST AI 600-1, 2024年7月, DOI 10.6028/NIST.AI.600-1 — doi.org/10.6028/NIST.AI.600-1
39. ISO/IEC "ISO/IEC 42001:2023 AI management systems"（ISO のページ） — iso.org/standard/81230.html
40. MLCommons "MLPerf Training"（確認日に表示の最新版 v6.0） — mlcommons.org/benchmarks/training/
41. Jacovi A. ほか "Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks", arXiv:2305.10160 — arxiv.org/abs/2305.10160
42. 欧州議会・理事会 Regulation (EU) 2024/1689 の統合版（2026年7月27日付。EUR-Lex、法的効力のない参照用） — eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:02024R1689-20260727

11. 主張と出典の対応表（監査）

最終更新：2026年10月15日／出典は一次情報（arXiv の原論文、Nature 論文、Meta のモデルカード、IEA の報告、EUR-Lex、ISO・NIST の公式ページ）に限定しています。ISO/IEC 規格の本文は有料のため確認できていません。 モデルの規模・計算量・エネルギーは確認日時点の公表資料の記載で、第三者の見積りと公表値を区別しています。 2026年のモデルの学習量、非公表モデルの学習データ・計算量、Llama 3 405B の FLOP と GPU 時間の対応の範囲、推論側の電力量、デジタル・オムニバスの全体の内容、ISO/IEC 規格の本文については、確認できなかったため記載していません。 図は説明用の概念図または本稿の計算を含む作図で、図1と図6はAI生成イメージの枠（画像は未設置）です。いずれも実在の施設・データの実測を示すものではありません。