主要成果
IBMは、自社のデータフローAIアクセラレータ「Spyre」をPyTorchのファーストクラス・バックエンドとして実装した。2026年後半に実施されたPyTorchエコシステム全体のソフトウェアアップデートにより、この統合が完了した。これにより、ユーザーは使い慣れたPyTorchのテンソル配置やストリーム、コンパイル機能を利用しながら、Spyreのデータフロー実行モデルの恩恵を受けることが可能になった。
技術・詳細
Spyreは、75ワットのPCIe接続アクセラレータであり、リング状に接続された32個の小型コアで構成されている。各コアは共有キャッシュではなく2MBのスクラッチパッドを保持し、データは「sticks」と呼ばれる128バイトの固定チャンクで移動する。従来のGPUが命令ストリームとしてカーネルを実行するのとは異なり、Spyreはデータが演算エンジンに到達した時点で計算をトリガーする仕組みを持つ。
統合の中核となる「torch-spyre」バックエンドは、コンパイルスタックを独自の「sendnn」から、PyTorchのInductorを拡張した「backend=inductor」へと移行した。これにより、コード行数は約273,000行から約38,600行へと約7分の1に削減され、関数あたりの複雑性も低下した。性能面では以下の成果が報告されている。
- タイリングとレイアウトの最適化により、matmulカーネル時間が29〜69%削減。
- スクラッチパッドを意識したスケジューリングにより、softmaxのメディアンカーネル時間が32.51マイクロ秒から23.67マイクロ秒（27%減）に短縮。
- 融合MLPスタイルカーネルにより、コア利用率が約3分の2から約80%に向上し、カーネル時間を約17%削減。
- オンチップ・リレイアウトの導入により、80マイクロ秒のデバイスメモリ往復が1.1マイクロ秒のコア間シャッフルに置き換わった。
また、PrivateUse1登録によるネイティブデバイス統合により、tensor.to(“spyre”)によるデバイス識別が可能になった。Granite 3.3 8B（バッチサイズ1、シーケンス長1024）を用いたデモでは、グラフ構築をデータ転送パスから切り離すことでプリフィルが9.9%、デコードが13.6%向上し、さらに計算ディスパッチからこれらの処理を除外した結果、プリフィルは1.7倍、デコードは2.4倍の高速化を達成した。
背景・業界の文脈
今回の統合は、IBMとPyTorch Foundationが2025年10月に策定した計画に基づくものである。IBMはMetaやHugging Faceを含むPyTorch Foundationの協力者、およびRed Hatと共に、モデルの即時有効化やvLLMにおけるハードウェア非依存モデルなどのアップデートを推進した。IBMは推論ランタイムとしてvLLMを、フロントエンドコンパイラとしてtorch.compileを採用しており、vLLM向けにPaged Attentionを可能にするSpyreプラグインを提供している。
今後の展望
IBM、Meta、Hugging Faceのチームは、vLLMにおいてハードウェア固有の「フラット」なモデル定義から、コンパイル可能でポータブルなハードウェア非依存レイヤーへの移行を進めている。このアプローチにより、Spyreのような非GPUアクセラレータにおいても、ソフトウェアスタックを大幅に再実装することなく、CustomOpやPluggableLayerなどの拡張メカニズムを通じて最適化された動作を実現できる道が開かれている。
元記事: https://www.unite.ai/ibm-makes-spyre-accelerator-a-first-class-pytorch-backend/
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
