主要成果
Reflection社が開発した「Beam」は、総パラメータ数501B（5,010億）の巨大なMoEモデルでありながら、トークンあたりのアクティブパラメータ数を23Bに抑えた設計となっている。これにより、大規模モデルの容量を維持しつつ、小規模モデルと同等の推論速度を実現している。本モデルはテキスト入出力をサポートし、1Mトークンという極めて長いコンテキストウィンドウを保持している。また、Apache 2.0ライセンスの下で公開されており、ユーザーは自社ハードウェアやクラウド環境で所有、カスタマイズ、スケールさせることが可能である。
技術・詳細
Beamのアーキテクチャは、52層のデコーダーで構成され、隠れ層のサイズは5,120である。特筆すべきはハイブリッドアテンションの採用で、43層のスライディングウィンドウ層（直前512トークンを注視）と、9層のグローバル層（全コンテキストを注視）を組み合わせており、長文コンテキストの効率的な処理を実現している。また、グローバル層では位置エンコーディングを用いず、「scalable-softmax query scaling」と呼ばれる手法で精度を維持している。
MoE構造においては、256個のエキスパート（各39MパラメータのSwiGLU MLP）を備え、DeepSeek-V3のグループ制限スキームに準拠したルーティングを採用している。1トークンにつき8つのエキスパートが選択され、計算量は約23Bパラメータ分に抑えられている。メモリ要件は501Bモデル相当となり、BF16形式のチェックポイントは約1TBに達するが、NVIDIA Blackwell GPU向けのNVFP4や、Hopper/Ampere向けのFP8形式も提供されている。
さらに、残差接続に独自の設計を導入しており、各サブレイヤーの出力を層の深さに応じて重み付け（1/sqrt(k)）して加算することで、ストリームのスケールを一定に保っている。推論面では、専用のRustベースのハーネスに加え、vLLMやSGLang、transformersなどの主要ライブラリに初日から対応している。
背景・業界の文脈
Beamは、特にコーディングやエージェント的なユースケースに焦点を当てて設計されている。推論能力を制御するための5段階の推論値（low, medium, high, xhigh, max）の設定や、専用グラマーによるツール呼び出し、コンテキスト内で思考を維持する「preserve_thinking」機能を備えている。これにより、複雑な推論を必要とする自律的なタスクへの適用が想定されている。
今後の展望
Reflection社は、Beamを活用した優れたプロジェクトに対し、10,000ドルのHubクレジットを授与するキャンペーンを実施している。具体的には、Hugging Face Spacesでのデモ構築、特定ハードウェア向けの量子化、合成データセットの生成、RL（強化学習）環境の構築、ベンチマーク結果の共有などが対象となっており、エコシステムの拡大と実用的なユースケースの創出を促している。
元記事: https://huggingface.co/blog/reflection-beam
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
