repocompass.
← 一覧へ

DeepInfer|DeepSeek向け大規模プロダクション推論フレームワーク

DeepInferはDeepSeekモデルの大規模なプロダクションサービスを支える高パフォーマンスな推論フレームワークです。オフライン推論や並列処理、カスタムカーネル最適化機能を提供します。

Python ★ 22k 記事公開 (注目度3位)

ポイント

  • 独自の最適化カーネルと並列処理でDeepSeekモデルのオフライン推論を実行
  • NVIDIA SM100およびHuawei Ascend 950での分散実行に対応
  • 構造化出力や決定論的サンプリングなどプロダクション規模の機能を搭載

概要・解決する課題

DeepSeekが自社の本番サービスで使っている推論エンジンを、オフライン推論向けに公開したものです。Attention DP/CPやMoE EP+EPLBといった並列化、CPUのバッチスケジューリングをデバイス(GPU/NPU)での実行と重ねる非同期スケジューラ、バッチ構成が変わっても結果を揃えるバッチ不変推論を1つのエンジンで扱えます。ただし本リリースにはKVキャッシュシステム、VE/Prefill/Decode分離、データ並列レプリカ間の負荷分散が含まれず、オンラインサービス化にはそれらを自前で用意する必要があります。

なぜ注目されているか

DeepSeekの本番サービスを支える推論基盤がオープンソース化され、FlashMLAやDeepGEMMといった独自カーネル、DSparkやSWAバウンデッドリプレイなどの技術が公式に統合されています。vLLMをベースにSGLangやTensorRT-LLMの知見を取り入れた構成が特徴です。

主なユースケース

  • DeepSeek-V4.1-Flashモデルのオフライン推論: スクリプトを実行し、ローカルまたはHugging Face上のモデルを用いて大規模推論を実施できます。
python examples/offline_inference.py
  • 構造化出力の生成制御: 正規表現、JSON Schema、EBNF文法を指定してモデル出力を制御できます。
sampling_params = SamplingParams(
    so_args={"schema_type": "json", "schema": json_schema}
)

動作環境

  • OS: Linux
  • コンパイラ: GCC 13.0以上
  • ランタイム: Python 3.12
  • 対応ハードウェア: NVIDIA SM100 GPU(CUDA 13が必要)または Huawei Ascend 950 NPU(CANN 9.2が必要)
  • 規模の目安: 公式ベンチマークはPrefillを4基、Decodeを64基のSM100 GPUで計測しています(必須台数ではなく計測条件)
  • モデルサイズ: 公開チェックポイント(DeepSeek-V4.1-Flash-1017)の重みは約510GBで、初回実行時にHugging Faceのキャッシュへダウンロードされます
  • 付属サンプル: 既定でGPU 8基(--ep 8)を使う構成で起動します
  • 必要メモリ: READMEに記載はありません。重みだけで約510GBあるため、おそらく大容量メモリを積んだデータセンター向けGPUを複数基並べる構成が前提だと考えられます。SM100はB200などデータセンター向けBlackwell世代を指すとみられ、RTX 50シリーズなどのコンシューマー向けGPUは対象外の可能性が高いです
始め方(クイックスタート)

Python 3.12環境を作成してアクティベートし、アクセラレータを指定してビルドします。詳細は公式リポジトリを参照してください。

export DEEPINFER_ACCELERATOR=nvidia
./build.sh

こんな人におすすめ

  • SM100 GPUやAscend 950を備えた自社インフラで、DeepSeekモデルを大規模に推論・検証したいエンジニア
  • 高度な計算カーネル(FlashMLAやDeepGEMMなど)を活用したLLM推論の最適化に関心がある開発者

関連リソース [PR]

※ Amazon アソシエイト・リンクを含みます。リンク経由の購入で当サイトが収益を得る場合があります。

本記事は GitHub Trending を元に自動生成しています。最新情報は公式リポジトリをご確認ください。