1. 学習クラスターとは何か（3行でつかむ）

• モデルが1台に収まらない：GPU のメモリ容量には限りがあり、大きなモデルは多GPUサーバー1台にも載らず、必要な演算の回数も現実的でない学習時間になる、と Narayanan らは整理しています事実［参考資料15］。そこで、モデルとデータを多数のGPUに分けます
• 分けたら、通信が必要になる：分けた断片は、毎ステップ、結果を交換します。Llama 3 405B は最大16K（16,384）個の H100 で学習され、同じサーバーの8個のGPUは NVLink で、サーバー間は400 Gbps のネットワークでつながれました事実［参考資料1］
• 止まらずに動かすのが難しい：同論文は、54日間に466回の中断（うち予期しないものは419回）があったと報告します。同期して進む学習は、1つのGPUの故障でジョブ全体の再起動が要りうるためです事実［参考資料1］

2. 並列化 ― データ・テンソル・パイプライン

並列化は、「何を分けるか」で種類が分かれます。それぞれの代表的な論文と、公表された構成の例を整理します。

すべて事実（各論文）。Llama 3 の組み合わせは「4D並列」（TP・CP・PP・DP）で、並列化の順序［TP, CP, PP, DP］の外側ほど遅い通信路に置きます［参考資料1］。

3. スケールアップとスケールアウト ― NVLink・InfiniBand・Ethernet

元のSVG模式図・数値・出典注記を見る

通信路は、スケールアップ（少数のGPUを非常に太く直結する）とスケールアウト（多数のサーバーをネットワークでつなぐ）の2層に分けて語られます。UALink コンソーシアムは、UALink は効率的なスケールアップの構成を、UEC は主にスケールアウトの構成を扱う、補い合う組織だと述べています事実［参考資料24］。

すべて事実（メーカー・団体の公表）。これらは、確定した規格（IEEE）、業界団体の仕様（UEC、UALink、IBTA）、メーカー独自の技術（NVLink）が混在しています。製品としての実装・相互運用の実績は、本記事では確認していません。

Llama 3 は、モデルの並列化の方法も学習のスケジューラも、ネットワークの構造（どのポッドをまたぐか）を意識して作ったと述べます。ネットワークの階層を知って、通信の多い並列化を内側に置くのが、設計の基本です［参考資料1］（本記事による整理）。 光のインターコネクトや CPO、光トランシーバーは、本シリーズ『光インターコネクトとSerDes』『Co-packaged Optics』『光トランシーバー』編で扱います。

4. 集団通信 ― all-reduce と通信量の見積り

学習では、全員が持つ勾配を足し合わせて全員に戻す all-reduce、足し合わせた結果を分けて持つ reduce-scatter、断片を全員に集める all-gather、全員が全員に違う断片を送る all-to-all などの集団通信を使います。NVIDIA の通信ライブラリ NCCL の文書は、AllReduce、Broadcast、Reduce、AllGather、ReduceScatter、AlltoAll などを集団操作として挙げています事実［参考資料31］。

リング all-reduce は、データをn個に刻み、輪の上で隣に渡し続けます。Patarasuk と Yuan は、この方式が（クラスターの条件のもとで）帯域最適であることを示しました［参考資料6］。NCCL-tests の文書は、各ランクの帯域をBとして、全データ量S の all-reduce の最良の時間を t＝(S/B)×2(n−1)/n と書いています（リング・木など、点対点の送受信による方式に共通）。n が大きくなっても係数は2に近づくだけで、台数に比例して通信量が増えるわけではありません事実［参考資料7］。

通信量の概算：Llama 3 405B の勾配の同期

公表された構成から、勾配の同期にかかる時間の下限を見積もります本稿の計算。Llama 3 405B の16K GPU・DP＝128 の設定では、1バッチ16Mトークン、1GPUあたり400 TFLOPS（BF16 MFU 41％）と公表されています［参考資料1］。

• 1ステップの演算の時間：演算量を「6×パラメータ数×トークン数」で近似すると、6×405×10⁹×16×10⁶÷(16,384×400×10¹²)＝約5.93秒
• 勾配の断片の大きさ：BF16（2バイト）の勾配の全体は405×10⁹×2＝810 GB。TP×PP＝8×16＝128 で分担して約6.3 GB／GPU
• all-reduce の最良の下限：各GPUの網の帯域を400 Gbps＝50 GB/s として、(6.3÷50)×2×127÷128＝約0.25秒。ステップの約4％

これは、演算と重ねず、遅延・FSDP の重みの全収集・FP32 での勾配の通信（同論文は reduce-scatter を FP32 で行う）を含まない下限の目安です［参考資料1］。実際には、通信を計算に重ねて隠す工夫（DeepSeek-V3 の DualPipe など）［参考資料2］と、それでも隠しきれない部分の取り合いになります。

5. 学習の効率 ― MFU の読み方

学習の効率の指標として広く使われるのが MFU（Model FLOPs Utilization、モデル演算の利用率）です。PaLM の論文は、MFU を「観測したトークン処理の速さを、ピーク演算で動く系の理論上の最大の速さで割った比」と定義し、分子には順伝播と逆伝播に必要な演算だけを数え、再計算（rematerialization）は数えない、としています事実［参考資料8］。実装に依存せず、系の間の比較が比較的きれいにできる、というのが提案の趣旨です。

• 公表された値：PaLM 540B は6,144個の TPU v4 で MFU 46.2％（ハードウェアの演算の利用率 HFU は57.8％）、GPT-3 は21.3％、Gopher は32.5％、Megatron-Turing NLG は30.2％［参考資料8］。Llama 3 405B は BF16 で38〜43％（8K GPUで43％、16K GPUで41％）［参考資料1］。MegaScale は12,288個の GPU で175Bモデルを学習し、MFU 55.2％（Megatron-LM に対して1.34倍）［参考資料10］。選択的な活性化の再計算を使った530Bの学習は2,240個の A100 で54.2％［参考資料9］
• MFU を並べても、優劣は決まらない：チップ（TPU・GPU）、精度、モデルの構造、年代、数え方（注意の計算を含むか）が違います。PaLM の論文自体も、GPT-3 の値は「注意を除く非注意のモデルのTFLOP/s」から、MT-NLG は注意を含む・含まない両方の値を示すなど、数え方の違いを注記しています［参考資料8］
• MFU は上がるほど良いが、100％にはならない：通信、遅い1台、メモリの読み書き、チェックポイント、故障の復旧が、すべて分母（ピーク）に対する損失になります。次章の「有効な学習時間」も別の損失です
• 通信を計算に重ねる：DeepSeek-V3 の報告は、DualPipe により計算と通信のほとんどを重ねて隠し、計算と通信の比を一定に保つ限り、規模を増やしても、細かい専門家を複数ノードに置けて、all-to-all の通信の負担がほぼゼロにできる、と述べます［参考資料2］（著者の主張）

6. 故障と耐障害性

同期して進む学習は、1つのGPUの故障がジョブ全体の再起動につながりうる、と Llama 3 の論文は述べます。論文は、54日間の記録で、466回の中断（うち47回は保守や設定の更新などの計画的なもの、419回は予期しないもの）があり、予期しない中断の約78％が、確認済みまたは疑われるハードウェアの問題（GPU・ホスト部品の故障、サイレントなデータ破損、計画外の保守など）で、大きな手作業の介入は3回だけだった、と報告します事実［参考資料1］。それでも、自動の保守（ファームウェアや Linux カーネルの更新）を含めて、有効な学習時間は90％超でした［参考資料1］。

「記録」の列は事実（Llama 3 の論文）。右の列のうち本稿の計算と記した部分と、解説の部分は本記事によります。

チェックポイントの間隔の目安

チェックポイント（途中経過の保存）は、頻繁にするほど失う作業は減りますが、保存の時間が増えます。Young と Daly の一次近似では、保存にかかる時間をδ、平均の故障間隔を M として、最適な間隔は τ≈√(2δM) です［参考資料11・12］。M＝3.1時間（11,130秒）に、保存時間 δ＝60秒（仮定）を当てはめると、τ≈1,155秒（約19分）、無駄になる時間の割合はおよそ δ/τ＋τ/(2M)≈10％です本稿の計算。δ を10秒に縮められれば、τ≈472秒（約8分）、割合は約4％になります。保存を速くするほど、故障が頻繁でも無駄が減ることを示す例示で、δ は仮定、式は一次近似です。

規模に特有の問題：電力の揺れと温度

• 電力の揺れ：Llama 3 の論文は、数万のGPUが同時に電力を増減させる（全員がチェックポイントや集団通信の完了を待つ、ジョブの起動・停止など）と、データセンターの電力が数十メガワットの規模で瞬時に変動し、電力網の限界に迫ると述べます［参考資料1］。NVIDIA も、Rubin のラックで電力平滑化を組み込み、50ミリ秒のピーク電力を約20％減らしたと説明します（同社の値）［参考資料5］。電力と冷却は本シリーズ『AIデータセンターの電力と冷却』『データセンターと蓄電』編で扱います
• 温度の影響：Llama 3 405B の学習で、時刻に応じた1〜2％のスループットの日変動があり、日中の高い気温が GPU の動的な電圧・周波数の制御に影響するため、と論文は述べます［参考資料1］
• Kokolis らの分析：Meta の2つの大規模クラスター（11か月、400万ジョブ、1.5億 A100 GPU 時間超）の分析で、大きなジョブほど故障の影響を受けやすいが、数の上では小さなジョブが大半なので最適化の目的に含めるべきこと、故障のモデルから規模ごとの平均故障間隔を予測できること、を報告します［参考資料28］

7. 素材技術者の視点：故障の内訳、温度、配線

8. 限界と、確認できなかったこと

(1) 公表の範囲

多くの数字は、1つの組織が公表した1つのクラスターの1つの期間の値（Llama 3 の54日間など）です。他社の最新の大規模学習の構成や故障率は、公表資料の範囲で確認できませんでした。

(2) 帯域の方向と定義

NVLink などの帯域は、片方向か双方向合計かが資料で明記されないものがあり、ネットワークの400 Gbps（片方向の線速度）と直接比べられません。図3の「18倍」は目安です。

(3) 規格・仕様の状態

UEC 1.1（2026年10月12日）は確認日の3日前の公開で、実装・相互運用の実績は確認していません。IEEE P802.3dj の状態は確認できませんでした。規格の本文は読んでいません。

(4) 故障の原因

Llama 3 の表は分類で、材料・温度との因果は読めません。また、表の割合の一部に、論文内の不整合（故障したGPUの30.1％と件数148÷419の35.3％）があります。

(5) 計算の前提

通信量・チェックポイントの計算は、公表値からの理想化・仮定（δ＝60秒など）を含み、実測ではありません。MFU は設定が違い、並べて優劣をつけられません。

9. 評価・標準の読み方

学習クラスターの性能は、①学習の速さ（共通課題で目標精度に達するまでの時間）、②効率（MFU など）、③通信の性能と規格への適合、④信頼性（中断の数、有効な学習時間）、⑤電力・冷却で評価されます。①は MLCommons の MLPerf、②と④は論文での定義と報告が中心で、③は IEEE・IBTA・UEC・UALink の規格・仕様が関わります。確認日（2026年10月15日）時点で、②MFU と④信頼性を直接の対象にした、確定した国際規格（ISO／IEC・IEEE）は確認できませんでした。

表の整理は本稿の計算（本記事による編集）。規格の本文は未確認のため、要求事項の中身は書いていません。

読み方の注意

• ベンチマークの数値は、設定と実施主体で変わります。MLPerf はシステムの規模・構成・版が違い、MFU はチップ・精度・数え方が違います。本記事は、論文や発表の値を転記し、優劣をつけません
• 飽和と汚染：MLPerf は課題を更新して時代の負荷に合わせています（今回は MoE モデルの課題が加わった）［参考資料30］。旧い課題の結果は、最新の学習の負荷を表さないことがあります
• 「規格」と「業界団体の仕様」と「報告」は別です。IEEE Std 802.3df-2024 は規格、UEC・UALink・IBTA は業界団体の仕様、MFU や中断の数は論文の報告です。どれも、それ自体は法令ではありません
• 宣言値と実測値の違い。NVLink の1.8 TB/s や網の400 Gbps は線速度の上限です。実際の学習で得られる通信の速さは、遅延・混雑・ソフトウェアで下がります

10. 用語集

11. 参考資料（一次情報）

1. Grattafiori A. ほか（Meta） "The Llama 3 Herd of Models", arXiv:2407.21783 — arxiv.org/abs/2407.21783
2. DeepSeek-AI "DeepSeek-V3 Technical Report", arXiv:2412.19437 — arxiv.org/abs/2412.19437
3. NVIDIA "NVIDIA HGX Platform" (specifications of HGX Rubin NVL8, B300 and B200) — www.nvidia.com/en-us/data-center/hgx/
4. NVIDIA "GB200 NVL72" — www.nvidia.com/en-us/data-center/gb200-nvl72/
5. NVIDIA "Inside NVIDIA Rubin GPU Architecture: Powering the Era of Agentic AI", NVIDIA Technical Blog （2026年7月21日） — developer.nvidia.com/blog/inside-nvidia-rubin-gpu-architecture-powering-the-era-of-agentic-ai/
6. Patarasuk P., Yuan X. "Bandwidth optimal all-reduce algorithms for clusters of workstations", J. Parallel Distrib. Comput. 69, 117-124 (2009), DOI 10.1016/j.jpdc.2008.09.002 — doi.org/10.1016/j.jpdc.2008.09.002
7. NVIDIA "Performance reported by NCCL tests" (nccl-tests, GitHub) — github.com/NVIDIA/nccl-tests/blob/master/doc/PERFORMANCE.md
8. Chowdhery A. ほか（Google） "PaLM: Scaling Language Modeling with Pathways", arXiv:2204.02311 — arxiv.org/abs/2204.02311
9. Korthikanti V. ほか "Reducing Activation Recomputation in Large Transformer Models", arXiv:2205.05198 — arxiv.org/abs/2205.05198
10. Jiang Z. ほか "MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs", arXiv:2402.15627 — arxiv.org/abs/2402.15627
11. Young J. W. "A first order approximation to the optimum checkpoint interval", Commun. ACM 17(9), 530-531 (1974), DOI 10.1145/361147.361115 — doi.org/10.1145/361147.361115
12. Daly J. T. "A higher order estimate of the optimum checkpoint interval for restart dumps", Future Gener. Comput. Syst. 22, 303-312 (2006), DOI 10.1016/j.future.2004.11.016 — doi.org/10.1016/j.future.2004.11.016
13. NVIDIA "H100 GPU" — www.nvidia.com/en-us/data-center/h100/
14. Shoeybi M. ほか "Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism", arXiv:1909.08053 — arxiv.org/abs/1909.08053
15. Narayanan D. ほか "Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM", arXiv:2104.04473 — arxiv.org/abs/2104.04473
16. Huang Y. ほか "GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism", arXiv:1811.06965 — arxiv.org/abs/1811.06965
17. Rajbhandari S. ほか "ZeRO: Memory Optimizations Toward Training Trillion Parameter Models", arXiv:1910.02054 — arxiv.org/abs/1910.02054
18. Zhao Y. ほか "PyTorch FSDP: Experiences on Scaling Fully Sharded Data Parallel", arXiv:2304.11277 — arxiv.org/abs/2304.11277
19. Li S. ほか "PyTorch Distributed: Experiences on Accelerating Data Parallel Training", arXiv:2006.15704 — arxiv.org/abs/2006.15704
20. Zhao C. ほか "Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures", arXiv:2505.09343 — arxiv.org/abs/2505.09343
21. Ultra Ethernet Consortium "Specification History" — ultraethernet.org/specification-history/
22. UALink Consortium "Specifications" — ualinkconsortium.org/specification/
23. UALink Consortium "UALink Consortium Releases the Ultra Accelerator Link 200G 1.0 Specification" （ニュースリリース、2025年4月8日） — ualinkconsortium.org/wp-content/uploads/2025/04/UALink-1.0-Specification-PR_FINAL.pdf
24. UALink Consortium "FAQ" — ualinkconsortium.org/faq/
25. InfiniBand Trade Association "InfiniBand Trade Association" (InfiniBand and RoCE Specifications) — www.infinibandta.org/
26. IEEE 802.3 "IEEE P802.3df 400 Gb/s and 800 Gb/s Ethernet Task Force" (IEEE Std 802.3df-2024) — www.ieee802.org/3/df/index.html
27. IEEE 802.3 "IEEE P802.3dj 200 Gb/s, 400 Gb/s, 800 Gb/s, and 1.6 Tb/s Ethernet Task Force" — www.ieee802.org/3/dj/index.html
28. Kokolis A. ほか（Meta） "Revisiting Reliability in Large-Scale Machine Learning Research Clusters", arXiv:2410.21680 — arxiv.org/abs/2410.21680
29. Gangidi A. ほか（Meta） "RDMA over Ethernet for Distributed Training at Meta Scale", Proc. ACM SIGCOMM 2024, 57-70, DOI 10.1145/3651890.3672233 — doi.org/10.1145/3651890.3672233
30. MLCommons "MLCommons Releases MLPerf Training v6.0 Results" （2026年6月16日） — mlcommons.org/2026/06/mlperf-training-v6-0-results/
31. NVIDIA "Collective Operations", NCCL 2.32.3 documentation — docs.nvidia.com/deeplearning/nccl/user-guide/docs/usage/collectives.html
32. Liu H. ほか "Ring Attention with Blockwise Transformers for Near-Infinite Context", arXiv:2310.01889 — arxiv.org/abs/2310.01889

12. 主張と出典の対応表（監査）

最終更新：2026年10月15日／出典は一次情報（Llama 3・PaLM・MegaScale・DeepSeek-V3 などの論文、NVIDIA・UEC・UALink・IBTA・IEEE の公式ページ、MLCommons の発表）に限定しています。規格の本文は確認していません。 この分野は変化が速く、規格・仕様の版と状態は確認日（2026年10月15日）のものです。 最新の大規模学習の故障率、帯域の方向の定義が揃った比較、故障と材料の因果、規格の本文については、確認できなかったため記載していません。 図2〜図6はベクター作図、図1と図7はAI生成イメージであり、いずれも実在の施設・製品・測定結果を示すものではありません。