主要成果
Appleは、最新のMLXフレームワークとThunderbolt 5ベースのRDMA（遠隔ダイレクトメモリアクセス）ドライバーを用いることで、Mac Studioを用いたローカルおよび分散LLM推論の性能を実証した。特筆すべきは、約1兆パラメータ規模のフロンティア級モデル「Muse Spark Open」を、4台のMac Studioクラスターで動作させた際、秒間36トークンを超える生成速度を達成した点である。これは人間の平均的な読書速度を十分に上回るパフォーマンスである。
技術・詳細
本検証では、M5 UltraおよびM3 Ultraを搭載したMac Studioを使用し、3つのモデル（Muse Spark Open 816B、Mistral Medium 3.5 128B、Qwen 3.8 27B）を評価した。M5 UltraはGPU Neural Acceleratorを搭載しており、行列演算の専用ハードウェアサポートにより、Time to First Token（TTFT）がM3 Ultra比で最大4.6倍高速化している。また、ユニファイドメモリ帯域幅が819 GB/sから1.2 TB/sに向上したことで、生成速度（tokens/s）も1.6倍に向上した。
メモリ消費に関しては、Qwen 3.8（27B）は最大68GB、Mistral Medium 3.5（128B）は最大158GBを消費し、512GBメモリ搭載の単体マシンで動作する。一方、Muse Spark Open（816B）は4ビット量子化（NVFP4）形式でも約493GBのメモリを必要とし、中間計算分を含めると単体では収まらない。そこで、モデルを分割して配置し、順次処理させる「パイプライン並列化」を採用した。この通信には、macOS 26.2で導入されたThunderbolt 5経由の低遅延RDMAドライバーと、新しい通信コレクティブ「jaccl」が活用されている。
背景・業界の文脈
LLMの推論において、TTFTは計算能力に依存し、生成速度はメモリ帯域幅に依存する。Apple Siliconのユニファイドメモリアーキテクチャは、これらのボトルネックを解消し、プライベートな環境で大規模モデルを扱うことを可能にする。また、電力効率面でも、M3 Ultraで約200W、M5 Ultraで約300Wという低いピーク消費電力を実現しており、一般的な家庭やオフィス環境への導入が現実的である。
今後の展望
MLXによる分散推論のサポートにより、研究者や開発者は、これまでクラウド環境でしか動作しなかった超大規模モデルを、自前のハードウェア構成で実験できる。特に、エージェント的なコーディングアプリケーションなど、大きなコンテキストサイズ（本検証では最大65,536トークン）を必要とするプライベートなAI環境の構築が加速すると期待される。
元記事: https://machinelearning.apple.com/research/mlx-distributed-inference
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
