主要成果
DiffuSpaceが公開した「Clover-35B-A3B-Preview」は、従来の1トークンずつ書き進める手法ではなく、ブロック単位でまとめて生成する「拡散言語モデル」を採用した350億パラメータ級のモデルである。本モデルはエージェント型のコーディングやツール利用に特化しており、ベンチマークにおいて自己回帰型の「Qwen3.6-35B-A3B」および「Qwen3.5-35B-A3B」を上回るスコアを記録した。また、同規模のモデルと比較して生成速度が劇的に向上しており、ローカル環境では約2倍の高速化を実現している。
技術・詳細
本モデルは、総パラメータ数35B（350億）、アクティブパラメータ数3B（30億）のMoE（Mixture of Experts）型構成となっている。コンテキストウィンドウは、プロンプトと生成結果の合計で最大131,072トークン（128K）まで対応し、思考モードも搭載している。ライセンスはApache 2.0で、商用利用を含む無償利用が可能である。
性能面では、以下のベンチマークで高い数値を記録している。
- SWE-bench Verified（コード修正による不具合解決）：73.6
- Terminal-Bench 2.1（ターミナル操作）：51.7
- τ³ Overall（ツール利用を伴う顧客対応対話）：65.3
- GPQA Diamond（大学院レベルの科学知識）：83.8
- ZebraLogic（論理パズル）：95.8
- AA-LCR（長文読解推論）：72.0
生成速度に関しては、NVIDIA GB300単体（BF16、バッチサイズ1）で680tok/sに達した。また、ビデオメモリ16GBのGeForce RTX 5070 TiでINT4量子化した場合、MATH-500での速度は101.8tok/sを記録。これは同規模のMiniCPMやQwenの48.5tok/sに対し、約2倍の速度となる。
背景・業界の文脈
開発元のDiffuSpaceは、2025年4月に香港大学のNLPグループが公開し、Hugging Faceで累計270万回以上のダウンロード数を記録した拡散言語モデル「Dream 7B」の開発メンバーによって設立された組織である。従来の自己回帰型モデルに対し、拡散モデルによる言語生成を大規模化し、かつ実用的な推論速度とエージェント性能を両立させた点に技術的な意義がある。
今後の展望
現在はHugging FaceでTransformers用の推論コードが提供されており、今後はSGLangおよびllama.cppへの対応コードと導入手順がGitHubリポジトリで公開される予定である。また、自然言語による指示、ツール呼び出し、タスク実行、結果検査を統合したワークフローを実現するため、エージェント実行ハーネスおよびデスクトップ向けのコーディング用クライアントを開発中であり、近日中にリリースされる見込みである。
元記事: https://news.yahoo.co.jp/articles/7da4f72ce31bd95fef2a44e6176e6a59e99a646c
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
