DeepSpec｜投機的デコードのドラフトモデルを訓練・評価するフルスタック環境

ポイント

• 投機的デコードに必要なデータ準備、訓練、評価までをワンストップで提供
• DSpark、DFlash、Eagle3という3つのドラフトモデル実装に対応
• 複数の主要LLMベンチマークを用いた受入率の測定スクリプトを同梱

概要・解決する課題

LLMは通常、文章を1トークンずつ順に生成するため、巨大なモデルを何度も走らせる推論が遅さの原因になります。投機的デコード（speculative decoding）は、軽量な「ドラフトモデル」が先のトークンをまとめて仮生成し、それを本命の「ターゲットモデル」がまとめて検証する手法です。検証はターゲット自身が行うため、出力の品質を保ったまま生成を高速化できます。しかし、効果的なドラフトモデルを自前で訓練し、その性能を正確に評価するには、データの収集からキャッシュの作成、モデルの実装、各種ベンチマークでの検証まで、多くの工程を自作する必要がありました。

DeepSpecはこの一連のプロセスを効率化するフルスタックのコードベースです。ターゲットモデルの出力をキャッシュし、それを用いてドラフトモデルを訓練し、最終的な受入率（ドラフトの仮生成がターゲットに受理された割合。高いほど速くなる指標）を検証するまでの一連のワークフローが体系化されています。

制約として、訓練やデータ準備は複数GPUと大容量ストレージを前提とするため、手元の小規模な環境では試しにくい点に注意が必要です。

なぜ注目されているか

投機的デコードはLLM推論の遅延を削減するアプローチとして注目を集めていますが、実用的なドラフトモデルの開発環境は断片化していました。DeepSpecは、DeepSeekが開発した「DSpark」や、既存の「DFlash」「Eagle3」といったアルゴリズムを統合し、標準化された訓練・評価の仕組みを提供したことで関心を集めています。

主なユースケース

ドラフトモデルの訓練と評価

ターゲットモデル（例: Qwen/Qwen3-4B）に対するドラフトモデルの訓練と、その評価を行います。

# 訓練の実行例
bash scripts/train/train.sh

# 評価の実行例
bash scripts/eval/eval.sh

評価時には、gsm8kやhumaneval、mt-benchなどの主要なベンチマークを用いて、投機的デコードの受入率を測定できます。

動作環境

本格的に訓練・評価を回すには、相応のマシンリソースが前提になります。

• GPU: デフォルトの設定・スクリプトは8基のGPUを搭載した単一ノードを想定（少ないGPUで動かす場合はCUDA_VISIBLE_DEVICESで調整）
• ストレージ: データ準備で作るターゲットキャッシュが大容量で、既定のQwen/Qwen3-4B設定では約38TB
• データ準備の前提: ターゲットモデルの回答を再生成するため、別途インフェレンスエンジン（推論サーバー）が必要

python -m pip install -r requirements.txt

こんな人におすすめ

• 投機的デコードを用いたLLM推論の高速化手法を研究・開発しているエンジニア
• 独自のLLMに対して最適化されたドラフトモデルを訓練したい開発者
• 既存のドラフトモデルの性能を同一基準でベンチマーク検証したい方