主要成果
Project Maya v1.1.28の公開により、Linux環境でNVIDIA GPUを1枚使用する場合、DeepSeekのテキスト生成速度が劇的に向上した。開発者がRTX 3090（24GB）搭載機で測定したところ、64Kコンテキスト設定時の生成速度は12.9から27.8トークン／秒へと約2.2倍に向上し、128Kおよび256Kトークンの入力後においてもそれぞれ14.0から23.2、15.9から26.1トークン／秒への改善が確認された。また、DeepSeekのコンテキスト長として512Kおよび1M（1,048,576トークン）が新たに選択可能となった。
技術・詳細
今回の高速化は、Mixture of Experts（MoE）アーキテクチャ特有のデータ転送経路の見直しによるものである。MoEモデルは入力に応じて必要な計算部分（エキスパート）を選択するが、Project MayaではこれらをVRAM、システムRAM、NVMe SSDに分散して保持する。新方式では、RAM上のデータをGPUから直接参照可能にし、中間バッファへのコピーを省略した。さらに、DSparkによる推測的デコードにおいて、読み込んだエキスパートをVRAM内のキャッシュに保持する仕組みを導入し、GPUの待機時間を削減して稼働効率を高めている。
コンテキスト長の拡大については、モデルが元々備えていた対応範囲を設定から選択可能にしたものである。検証では、9基のGPUと3.5bit量子化モデルを用い、1Mトークンの入力から正しく情報を回収できることが確認された。ただし、1Mトークンの読み込みには23.8分を要し、処理速度は720トークン／秒であった。また、コンテキスト保持には1トークンあたり約1.1KBのVRAMが必要となり、これがエキスパートのキャッシュ領域と競合するため、VRAM消費量と生成速度のトレードオフが生じる。
背景・業界の文脈
Project Mayaは、7,480億パラメータのDeepSeek-V4.1-Flash-1017や、3,210億パラメータのGLM-5.3-Flashといった巨大モデルを、限られたGPUメモリで動作させることを目的としている。例えばDeepSeek向けMaya-Sは、Engramを含め約340GBのメモリを必要とする。今回の改善は主に回答生成段階に効果があり、プリフィル（入力読み込み）速度にはほとんど変化が見られない。また、ハードウェア構成によっては性能が低下する場合もあり、L40S-48Q vGPU環境では、v1.1.26の42.4トークン／秒に対しv1.1.28では34.4トークン／秒へと約19%低下したとの報告がある。
今後の展望
今後は、利用者の個別のPC構成やワークロードに応じた実測による検証が重要となる。特にCPUの演算性能が高い環境では、GPUへの転送を増やすことが必ずしも高速化に繋がらないため、RAMからの転送とCPU直接計算のどちらが効率的かを見極める必要がある。なお、本バージョンではAMD GPU向けにRDNA最適化カーネルやGLMのレイヤー分割機能が追加されたほか、複数GPU構成でのDSpark分散処理によるメモリ負荷軽減策も盛り込まれており、多様なハードウェア環境への最適化が進んでいる。
元記事: https://xenospectrum.com/project-maya-deepseek-decode-context/
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
