AIインフラ
Kubernetes での推論ルーティング:6 つの選択肢をベンチマーク
Kubernetes 上で vLLM のリクエストをルーティングする 6 つの方法を、通常の Service から推論スタックまでテストし、負荷時と障害時に何が変わるのかを解説します。
Ivan Porta
Founder & Principal Engineer

Kubernetes Service は接続をモデルのレプリカに分散しますが、どのレプリカがプロンプトの KV キャッシュをすでに保持しているのかも、各レプリカでどれだけの処理が待っているのかも把握していません。リクエストがシステムプロンプトを繰り返すとき、会話を続けるとき、長いプロンプトと競合するときには、この 2 つの欠落がどちらも問題になります。
今回のベンチマークでは、NVIDIA Dynamo、Buoyant Kinference、Volcano Kthena、llm-d、vLLM production-stack を、通常の Kubernetes Service と比較しました。キャッシュを意識したルーティングが最初のトークンまでの時間をどこで短縮したのか、そしてキャッシュの逼迫や競合する処理のもとで何が変わったのかを計測しました。さらに、負荷をかけた状態でエンジンとルーターの Pod を削除し、各スタックがどのように失敗し、どのように回復するかを確認しました。
アーキテクチャの比較
6 つの選択肢は、リクエスト経路の異なる地点で、異なる情報を使ってレプリカを選びます。以下は、今回のテストに関係するアーキテクチャとルーティングモードです。
- Kubernetes Service(kube-proxy のルール):クライアントは Service の IP に接続します。kube-proxy のルールは、リクエストを読まずに、新しい接続ごとに、その Service に属する Ready 状態の Pod の中からランダムに 1 つを選んで送ります。
- Dynamo(Frontend):クライアントがリクエストを Frontend に送ると、Frontend がチャットテンプレートを適用し、プロンプトをトークン化します。KV モードでは、Frontend がトークンをブロック単位でハッシュ化し、キャッシュの重なりと負荷にもとづいてワーカーを選びます。デフォルトのラウンドロビンモードでは、キャッシュを考慮しません。最後に、選んだワーカーへトークン ID を送ります。オプションで、各フェーズ(プリフィルとデコード)を別々のワーカーで実行することもできます。
- Kinference(決定サービス):クライアントがリクエストを Buoyant Gateway に送ると、ゲートウェイがリクエストボディを Kinference に送ります。Kinference は、デフォルトではサービングエンジンにプロンプトをトークン化させますが、モデルのトークナイザーを使ってプロセス内でトークン化することもできます。Kinference はトークンをブロック単位でハッシュ化し、各レプリカのキャッシュ再利用と待機中の処理にもとづいて、そのレプリカの最初のトークンまでの時間(TTFT)を予測します。そして予測値が最も低いエンドポイントを返し、ゲートウェイがリクエストをそこへ送ります。
- Kthena(ルーター):クライアントがリクエストを Kthena ルーターに送ると、ルーターはそのモデルを提供している Pod を探します。Helm チャートのデフォルトのプラグインでは、ルーターは待機中のリクエストが 10 件以上ある Pod を除外し、残りの Pod を、プレフィックスの一致、処理中のリクエスト数、KV キャッシュの使用量、レイテンシにもとづいてスコア付けします。最後に、スコアが最も高い Pod へリクエストを転送します。トークン化もオプションで、有効にしたプラグインによって変わります。たとえば
kvcache-awareプラグインは、エンジンにプロンプトをトークン化させ、エンジンからの KV キャッシュイベントを使って、どの Pod がプロンプトのプレフィックスをすでにキャッシュしているかを特定します。チャートはこのプラグインを有効にしておらず、私たちもテストしていません。 - llm-d(エンドポイントピッカー):クライアントがリクエストを Envoy に送ると、Envoy が ext-proc 経由でエンドポイントピッカーに Pod を問い合わせます。ピッカーは、サービングエンジンにプロンプトをトークン化させるか、プロンプトのバイト列からトークンを推定し、そのトークンをブロック単位でハッシュ化します。続いてピッカーは、それらのブロックの 80% 以上を保持している Pod だけを残します。ただし、そのような Pod が 1 つもない場合や、それらがほかの Pod よりはるかに忙しい場合は別です。そのうえで、処理中のトークンが最も少ない Pod を選んでその IP を Envoy に返し、最後に Envoy がリクエストを送ります。Kthena と同様に、決定に影響する複数のプラグインがあり、たとえば重み付きのプレフィックススコア、キュースコア、KV キャッシュスコアを加えられます。
- production-stack(ルーター):クライアントがリクエストを production-stack のルーターに送ると、ルーターは要求されたモデルを提供しているエンドポイントだけを残します。ルーティングロジックがその中から 1 つを選びます。デフォルトはラウンドロビンで、
prefixawareモードではメッセージのテキストに対するプレフィックスの一致が最も長いエンドポイントを選びます。ほかにも、セッションによるルーティング、LMCache の配置によるルーティング(kvaware、loadaware)、優先度によるルーティングといったロジックがあります。その後、ルーターがリクエストをそのエンドポイントへ転送します。
「Kinference解説」と「Ingress から推論ゲートウェイへ」では、リクエストが Kinference と llm-d のエンドポイントピッカーを通る過程を、ステップごとに追っています。
テスト方法
インフラ
リクエストを 1 件ずつ調べられるほど小さなフリートで、ルーティングの決定を比較したいと考えました。そこで、HAMi を使って 96 GB の RTX PRO 6000 のメモリを 3 つの vLLM レプリカに分割し、各推論プロジェクトを個別にテストしました。プリフィルとデコードは、どちらも同じワーカーが実行しました。下の図は、すべてのスタックが共有したテスト環境を示しています。
| 構成要素 | 構成 | 制限と設定 |
|---|---|---|
| ノード | GKE Spot | 96 GB の NVIDIA RTX PRO 6000 が 1 枚、Kubernetes v1.36.5-gke.2370000。ルーターとロードジェネレーターの Job は同じノードで実行しました。 |
| レプリカ | 3 つのエンジン | vllm/vllm-openai:v0.31.0 上の Qwen/Qwen2.5-7B-Instruct。各レプリカには、nvidia.com/gpucores の制限なしで 28,000 MiB を割り当てました。Dynamo 自身のワーカーは、同じ vLLM バージョンを固定している vllm-runtime:1.6.2 イメージを使用しました。 |
| エンジン設定 | 全体を通して同じ値 | コンテキスト長 16,384、gpu_memory_utilization 0.90 に加えて、ルーターと計測に必要な 3 つのフラグ(--enable-prompt-tokens-details、--enable-scale-out、--kv-events-config)。エンジン自体のフラグはチューニングしていません。 |
| KV キャッシュ | レプリカごと | 16 トークンのブロック 10,411 個で 166,576 トークン。プリフィルのバッチ(max_num_batched_tokens)はエンジンの 1 ステップあたり 2,048 トークンで、これは 28,000 MiB のスライスに対する vLLM のデフォルトです。カード全体を使う場合のデフォルトは 8,192 です。 |
| ルーター | 一度に 1 スタック | Dynamo のプラットフォームチャートとランタイム 1.6.2。Buoyant Gateway 0.1.0-alpha.6 の背後に置いた Kinference 0.1.0-alpha.7。ルーターのみを導入した Kthena チャート 1.1.0。スタンドアロンモードの llm-d ルーター 1.0.0(Envoy サイドカーあり、InferencePool なし)。production-stack チャート vllm-stack-0.1.14(既存の Pod に対して Python ルーターを使用)。 |
ルーティング構成
各プロジェクトがドキュメントで説明している、キャッシュを意識したルーティングモードを使いました。Kinference のプロファイルのように、モデルとハードウェアに依存する値はキャリブレーションしました。Kthena と production-stack では、プレフィックスベースのモードがこれに当たります。エンジンごとにサイドカーが必要な Kthena の kvcache-aware プラグインと、LMCache が必要な production-stack の kvaware ロジックはテストしていません。値は、結果として報告する 5 回の反復の前に、別のチューニング実行で選びました。次の表は、各構成の名前、値の選び方、そして最終的なセットアップを示します。
| 構成 | 方法 | セットアップ |
|---|---|---|
| Kubernetes Service | チューニングなし | 3 つのエンジンを選択する ClusterIP Service。 |
| Dynamo | 重みのスイープ | ワーカーイベントを使う KV ルーティング。DYN_ROUTER_PREFILL_LOAD_SCALE=8(4 と 8 のうち良かったほう)と、Dynamo のチューニングガイドラインにある DYN_ROUTER_PREDICTED_TTL_SECS=5。 |
| Kinference | 観測スクリプト | kvBlockSize: 16。ログに記録された選択を分析するスクリプトにより、base_ms を 55、attention_uncached_block_ms を 1.28、attention_uncached_per_every_block_ms を 0.002、forward_pass_ms を 17.4 に設定しました。 |
| Kthena | 重みのスイープ | prefix-cache の重みを、チャートの 1 ではなく 4 に設定。 |
| llm-d(近似) | キャリブレーション Job | optimized-baseline ガイドに peakPrefillThroughput: 24914 を適用。この値は CHUNK_SIZE=2048 で計測しました。 |
| llm-d(精密) | キャリブレーション Job | precise prefix cache routing ガイドに、同じスループットと blockSizeTokens: 16 を適用。 |
| production-stack | モードの選択 | routingLogic: prefixaware。ハードウェア固有のキャリブレーションは不要です。 |
テストした内容
| ワークロード | 検証対象 | リクエストパターン |
|---|---|---|
| shared-prefix | 再利用 | 約 8,000 トークンのシステムプロンプト 38 個を、それぞれ 6 回ずつ訪問します。プレフィックス全体で、1 つのレプリカのキャッシュの 1.8 倍を占めます。 |
| multi-turn | 履歴 | ターンごとに長くなる 8 ターンの会話が 36 個。 |
| control | 一意なプロンプト | 再利用のない、約 8,000 トークンのプロンプト 228 個。 |
| pressure | エビクション | システムプロンプト 76 個、処理中のリクエスト 12 件。 |
| burst | 新しいプレフィックス | プレフィックス 24 個。それぞれが 6 件の同時リクエストとして届き、その後に 1 回の再訪問が続きます。 |
| mixed | 競合する処理 | 長いプロンプトを送って長い回答を受け取る 3 つのロードジェネレータークライアントと、それと並行して送る短いリクエスト 240 件。 |
| rate-sweep | 増加する到着レート | ウォームなプレフィックスに対し、平均で毎秒 1、2、3、4、6 件のリクエストが到着します。各レートを 45 秒間続けます。 |
| replica-restart | エンジン Pod の削除 | 定常的なトラフィックのもとで、エンジンの Pod を 1 つ削除します。 |
| router-restart | ルーター Pod の削除 | 240 秒間のトラフィック。開始から 45 秒後にルーターの Pod を削除します。 |
| overhead | 追加レイテンシ | 1 トークンのリクエスト 300 組。各組の一方はルーターを経由し、もう一方はエンジンへ直接送ります(Dynamo のワーカーには直接の経路がありません)。 |
1 回の反復では、すべてのスタックを 1 つずつ順に取り上げてこれらのワークロードを実行し、次のスタックを開始する前に前のスタックを削除します。ただし Dynamo のオペレーターは例外です。1 回の反復の中では、すべてのスタックが同じプロンプトを受け取ります。次の反復では新しいシードを使い、別のスタックから開始します。各ワークロードは、エンジンのレプリカを作り直し、キャッシュが空の状態から始まります。最初の 6 つのワークロードは 5 回実行しました。残りの 4 つは 3 回実行しました。ルーターのデフォルト構成も 3 回実行しましたが、対象は shared-prefix、multi-turn、control のみです。
shared-prefix と control は処理中のリクエストを 6 件に保ち、multi-turn は同時に 6 つの会話を進めます。ロードジェネレーターは、リクエストごとに新しい接続を開きました。再利用された接続は、接続を開いたときに kube-proxy が選んだレプリカにとどまります。そのため、リクエストごとに新しい接続を開くことで、Service はリクエストごとにレプリカを選べるようになります。
計測方法
ロードジェネレーターはクラスター内で実行し、すべてのリクエストを記録しました。TTFT はクライアント側で、接続を開いた瞬間から、テキストを含む最初のストリーミングチャンクが届くまでを計測しました。したがって TTFT には、接続、ルーターの決定、エンジンのキューでの待ち時間、プリフィルが含まれます。各レスポンスの最後のチャンクには、エンジンの使用量レポートが含まれます。プロンプトトークンの数と、そのうちエンジンがキャッシュ内で見つけたトークンの数です。キャッシュ率は、ある数値が対象とするリクエスト全体について、キャッシュされたトークンの合計をプロンプトトークンの合計で割った値です。リクエストがエラーを返すか、最初のトークンを返さなかった場合は失敗として数え、失敗したリクエストはレイテンシの数値から除外しています。
shared-prefix と pressure では 2 回目以降の訪問を、multi-turn では 2 ターン目以降のターンを集計対象にしています。プレフィックスへの最初の訪問と会話の最初のターンは、どのレプリカが処理しても、再利用できるものがないためです。
各統計値は実行ごとに算出し、そのうえで実行ごとの結果を平均しました。実行ごとのパーセンタイルの多くは 190〜380 件のリクエストを対象としているため、95 パーセンタイル(p95)は 1 回の実行の中で最も遅い 10〜20 件のリクエストによって決まります。
この記事で、どのレプリカがリクエストを処理したかに触れている箇所では、その配置はルーターのログから得ており、リクエスト ID でロードジェネレーターの記録と突き合わせています。llm-d のログと Service からは配置が分からないため、この 2 つとバーストについては、各エンジンの完了リクエスト数を使いました。
結果
3 つのエンジンレプリカはすべて 1 枚の GPU を共有していたため、ルーティングはキャッシュの再利用と計算資源の奪い合いの両方に影響しました。以下の結果は、私たちがテストした構成に当てはまるものです。GPU を分けたり、別のルーティングプラグインを使ったりすれば、結果は変わる可能性があります。以下のレイテンシは、実行ごとのパーセンタイルの平均です。
繰り返されるプレフィックス
チューニングした、キャッシュを意識する構成ではいずれも、繰り返しリクエストの入力トークンの約 99% がキャッシュから得られました。Service 経由では 42% でした。TTFT の中央値は 834 ms から 115〜132 ms に下がりました。これらの数値は、各プレフィックスへの最初の訪問を除いたものです。レスポンス全体の時間は 2.88 s から 1.85〜1.87 s へと、より小さな割合で改善しました。回答の生成に依然として大半の時間がかかっていたためです。
マルチターンの会話でも、同じ効果が見られました。直前のターンを処理したレプリカが最新の履歴を保持している可能性が最も高く、ルーターは後続のターンをそのレプリカへ向けました。ルーターの p95 TTFT は 146〜158 ms で、Service は 590 ms でした。
一意なプロンプト
再利用できるプレフィックスがない場合、Service の TTFT の中央値(約 1.15 s)より良い結果を出したルーターはありませんでした。それでも Dynamo、Kinference、Kthena、llm-d はテールを改善しており、キャッシュが役に立たないときでもロードバランシングは役立ちうることを示しています。ただし、私たちの共有 GPU では、これはトレードオフでした。これらのルーターの TTFT の中央値は Service より 5〜29% 高く、レスポンス時間の中央値は約 5% 長くなりました。テールでの Kthena の改善幅は最も小さく、実行間のばらつきに近い大きさでした。
原因は共有 GPU です。Service が行うランダムな選択では、1 つのレプリカがアイドルのまま残ることがよくあり、そのとき残りの 2 つのレプリカはプリフィルを速く実行できます。キューで待つ必要がなかったプロンプトは約 0.8 s で最初のトークンに到達しましたが、3 つのレプリカがすべて忙しいときは約 1.15 s かかりました。負荷を分散するルーターは、レプリカをアイドルのままにすることがほとんどありませんでした。キューで待つリクエストが減ってテールは短くなりましたが、ほぼすべてのプリフィルが遅いほうのペースで実行されました。
Dynamo はリクエストを最も均等に分散し、すべてのレプリカに 2 件ずつ保ちました。その結果、3 つのエンジンが同じタイミングでプリフィルを実行して GPU を奪い合い、リクエストの 2 件に 1 件は、自分のレプリカで別のプロンプトの後ろに並びました。Dynamo のリクエストの半分は約 1.22 s で、残りの半分は約 1.75 s で最初のトークンに到達しました。中央値の 1.48 s は最も高く、この 2 つのグループの間に位置します。ラウンドロビンの構成でも同じパターンが見られました。GPU を分ければ、このパターンは変わる可能性があります。
キャッシュの逼迫
pressure ワークロードはフリートのキャッシュ容量を超えており、エンジンはブロックを追い出さざるを得ません。Dynamo、Kinference、精密構成の llm-d の p95 TTFT は 1.39〜1.59 s でした。Kthena、近似構成の llm-d、production-stack は 2.42〜2.79 s に達しました。
Dynamo、Kinference、精密構成の llm-d はエンジンの KV イベントを読み取るため、プレフィックスが追い出されたことを把握できます。Kthena、近似構成の llm-d、production-stack は自身の履歴にもとづいてルーティングするため、把握できません。今回の実行では、この 3 つは既知のプレフィックスを、最初に処理したレプリカへ送り続けました。そのレプリカがプレフィックスを追い出した後でもそうでした。ログに各配置が残る Kthena と production-stack では、そうした訪問が最も遅い 5% の 90% 超を占めます。
Dynamo では、入力トークンのうちキャッシュから得られた割合は 33% で、ほかのルーターの 51〜54% を下回りましたが、それでもテールは最も短い部類でした。Dynamo の負荷モデルは、キューで待つプリフィルの処理を最初のトークンが出るまで負荷として計上し続けるため、より空いているコールドなレプリカのほうが有利な選択肢になりました。キャッシュの再利用だけでは、待ち時間の短さは保証されませんでした。
テールは、キューで待たなければならなかったキャッシュミスで構成されています。レプリカ上で前に何も並んでいなかったミスは、どのルーターでも約 1.2 s かかりました。Kthena と production-stack では、2 s を超えたリクエストのすべてが、同じレプリカ上で前に少なくとも 1 つの別のプロンプトを抱えていました。Dynamo はミスの回数こそ多かったものの、ミスを、待機中のプリフィル処理が少ないレプリカへ送り、ミスの 10 件中 9 件が 1.3 s 以内に完了しました。
新しいプレフィックスのバースト
各バーストでは、同じ新しいプレフィックスを持つリクエストを 6 件送りました。バーストは、1 つのレプリカにとどまった場合は約 0.4 s、2 つにまたがった場合は 0.8 s、3 つにまたがった場合は 1.15 s かかりました。production-stack はすべてのバーストを 1 つのレプリカにとどめ、TTFT の中央値は 388 ms でした。精密構成の llm-d は、バーストあたり平均 1.5 レプリカで 492 ms でした。近似構成の llm-d は平均 2.8 レプリカ、Dynamo、Kinference、Kthena は 3 つすべてを使い、この 4 つはいずれも約 1.15〜1.17 s になりました。
TTFT は、同じタイミングでいくつのエンジンがそのプレフィックスを計算するかで決まります。1 つのレプリカでは、エンジンが GPU 全体を使って 8,000 トークンのプレフィックスを 1 回だけ計算し、残りの 5 件のリクエストはそれを再利用します。2 つまたは 3 つのレプリカでは、それぞれのエンジンが、ほかのエンジンと GPU を共有しながら同じプレフィックスをもう一度計算します。production-stack は転送の前に配置を記録するため、後続のリクエストが最初のリクエストに追従できます。精密構成の llm-d も直近の選択を記録しますが、同時に行われた決定によってバーストが分散することがありました。GPU を分ければ、このトレードオフは変わる可能性があります。
長いプリフィルと並行する短いリクエスト
このワークロードの短いリクエストは、約 0.1 s ですぐに開始されるか、8,000 トークンのプロンプトをまだプリフィルしているレプリカに届いて、そのプリフィルが終わるまで 0.6〜0.9 s 待つかのどちらかでした。
Service、Kthena、production-stack では、短いリクエストの 11〜12% がこのように待ちました。p95 は最も遅い 5% の境界を示すので、この 3 つの p95 は、そうして待ったリクエストの 1 つです。Service は 651 ms、Kthena は 847 ms、production-stack は 730 ms でした。Dynamo、Kinference、llm-d の両構成では、待ったリクエストは 1% 未満だったため、p95 は 180 ms 未満の通常のリクエストです。中央値は 95〜133 ms の範囲に収まりました。
違いは、処理中の作業をルーターがどう表現するかにありました。どのスタックでも、短いリクエストの約 10 件に 4 件は、いずれかのレプリカで長いプロンプトがプリフィルされている最中に到着しました。Service、Kthena、production-stack を経由した場合、そうしたリクエストの約 4 件に 1 件が、プリフィル中のレプリカに届いて待ちました。Dynamo、Kinference、llm-d を経由した場合は 2% 未満でした。Service と、production-stack のテストしたプレフィックスモードは負荷を読まないため、新しい短いプロンプトをランダムに配置しました。Kthena の least-request プラグインはトークンではなくリクエストを数えるため、8,000 トークンをプリフィル中のレプリカと、短い回答を終えようとしているレプリカが同じ重さになります。テストした Dynamo、Kinference、llm-d の構成はプロンプトのサイズを考慮するため、長いプリフィルは短いリクエストよりも高コストに見えます。Kthena の p95 が最も高いのは、短いリクエストが待たなければならないプリフィルの残りが多かったためです。約 0.8 s で、production-stack では約 0.56 s でした。
待ち時間そのものはエンジンの中で発生します。vLLM はデフォルトで、長いプリフィルが終わるまで、各ステップのトークン予算をそのプリフィルに割り当てます。long_prefill_token_threshold 設定でこれに上限を設けられますが、私たちは無効のままにしました。
上昇する到着レート
rate-sweep ワークロードでは、先行するリクエストの完了とは無関係にリクエストを送りました。公称レートが毎秒 1〜6 件の範囲全体で、すべてのルーターの p95 は 190 ms 未満にとどまりました。各訪問を、そのプレフィックスを保持するレプリカへ送ることで、Service 経由で発生するプリフィルのやり直しの多くを避けられました。
毎秒 6 件の到着では、Service が完了できたのは毎秒 4.3 件で、p95 は 10.2 s に達しました。滞留がロードジェネレーターの上限である処理中 96 件に達し、1 回の実行あたり平均 34 件の到着が破棄されました。これは、テストしたトラフィックで過負荷が起きたことを示しています。45 秒のステージでは、持続可能な最大スループットは確定できません。
障害と再起動
エンジンの Pod を 1 つ削除したとき、完全に失敗したリクエストは 1 回の実行あたり多くても 1 件でした。このほかに、1 回の実行あたり最大 4 件のレスポンスが最初のトークンの後で途切れましたが、ロードジェネレーターはこれらを成功として数えます。Dynamo と Kinference では、そうしたレスポンスはありませんでした。これは通常の手順による Pod の削除であり、ノードの喪失、GPU の故障、ネットワーク分断をテストしたものではありません。
ルーターの再起動では、リクエストの失敗とルーティング状態の喪失の両方が明らかになりました。失敗の件数は、クライアントの挙動に強く左右されました。接続が即座に拒否されると 0.5 秒ごとにリトライが発生した一方で、Dynamo、Kthena、production-stack への一部の接続は約 133 秒間ハングしました。したがって、失敗したリクエストの開始時刻の幅は、停止時間の長さを表しません。ルーターの Pod を削除した時点で処理中だったレスポンスは、Kthena と llm-d では途切れ、ほかの 3 つでは完了しました。
精密構成の llm-d は、再起動の間も約 99% のキャッシュ率を維持しました。新しいピッカーが起動時に、エンジンがバッファしていた KV イベントをリプレイしたためです。Kinference は約 50% まで下がり、再起動からおよそ 1 分後に 90% 超へ戻りました。テストした構成では、イベントのリプレイを無効のままにしていました。近似構成の llm-d は、ルーティング履歴を失った後に 68% まで下がりました。図中の割合は、3 回の実行を 15 秒のウィンドウで平均したものです。
Dynamo は 99% で復帰しましたが、ハングしたクライアントのおかげで、トラフィックのない約 2 分間をインデックスの再構築に使えました。この観測からは、Dynamo の回復速度は確定できません。Kthena と production-stack は、配置の履歴を再構築するために新しいトラフィックを必要としました。可用性を比較する前に、クライアントの接続タイムアウトを明示的に設定したうえで再起動をテストしてください。
リソース使用量
ワークロードと反復の全体で平均すると、テストしたすべてのスタックの CPU 使用量は 50 ミリコア未満でした。サンプリングしたメモリのピークの平均は、Kthena の 28 MiB、Kinference の 29 MiB から、production-stack の 712 MiB までの幅がありました。
これらの数値は、追加されたルーティングコンポーネントを対象としており、Dynamo のオペレーターと Kinference のゲートウェイのデータプレーンを含みます。ただし、そのゲートウェイのコントロールプレーンの Pod 2 つはサンプリングしていないため、含まれていません。これらは平均値であり、リソース制限ではありません。10 秒間隔のサンプリングは短いピークを見逃すことがあり、replica-restart ワークロード中の計測値はより高くなりました。本番環境のリソースは、代表的なピーク使用量にもとづいて見積もってください。
デフォルトとチューニングした設定の比較
デフォルト構成のすべてがキャッシュアフィニティを保ったわけではありません。Dynamo と production-stack はラウンドロビンモードで起動し、Kthena のデフォルトのプレフィックスの重みは 3 つの負荷スコアと競合しました。
Dynamo の KV ルーティングのプリフィルの重みを変更すると、shared-prefix の p95 は 1.22 s から 155 ms に下がりました。Kthena のプレフィックスの重みを上げると、1.18 s から 147 ms に下がりました。Kinference はもともとプレフィックスを再利用しており、キャリブレーションは shared-prefix のレイテンシを大きく変えることなく、予測精度を向上させました。デフォルトの数値は 3 回の実行の平均、チューニング後の数値は 5 回の実行の平均です。
チューニングはトレードオフも変えました。production-stack を、プレフィックスを意識したルーティングに切り替えると再利用は改善しましたが、一意なプロンプトでの p95 は 1.76 s から 2.12 s に上がり、TTFT の平均は 1.49 s から 1.25 s に下がりました。どちらのモードも負荷を読みません。ラウンドロビンはレプリカを順番に回し、prefixaware は既知のプレフィックスがないプロンプトをランダムなレプリカへ送ります。再利用できるプロンプトと一意なプロンプトの両方で、構成を検証してください。
どれを選ぶか
トラフィックと既存のインフラを軸に選んでください。以下の所見は、私たちがテストしたバージョンと構成に当てはまるものです。
- Kubernetes Service:レプリカが 1 つの場合や、プレフィックスの再利用が少ない場合には、妥当な出発点です。プロンプトを調べずに接続を分散するため、リクエストのサイズが混在していたり、キューが偏っていたりする場合には、それでも負荷を意識したルーターを導入する理由になりえます。
- Dynamo:エンジンのオーケストレーションと、プリフィルとデコードを別々のワーカープールに分離する選択肢が欲しい場合に検討してください。これらの機能は、1 枚の GPU を共有する一体型のワーカーを使った今回のベンチマークの範囲を超えています。
- Kinference:ポリシーによってローカルのレプリカとホスト型のプロバイダーを使い分ける必要がある場合に検討してください。この機能は今回のベンチマークではテストしていません。テストしたリリースは、Buoyant Gateway か、Kinference の gRPC API を実装したクライアントを必要とします。また、API がアルファ段階であり、ルーターを 1 つしか置けないという制限があります。
- Kthena:ワークロードのスケジューリングにすでに Volcano を使っているチームに適しています。私たちはルーター単体をテストしました。プレフィックスアフィニティを高めると再利用は改善しましたが、テストした構成は、長いプリフィルと並行する短いリクエストのテールレイテンシに課題がありました。
- llm-d:Gateway API Inference Extension を実装したゲートウェイに適しています。私たちは、Envoy サイドカーがゲートウェイの代わりを務めるスタンドアロンモードをテストしました。精密構成はエビクションとバーストの状況で良好な成績でしたが、エンジンの KV イベントと、互換性のあるトークン化およびブロックサイズが必要です。
- production-stack:ルーティング、モニタリング、オプションの LMCache 統合を含む、vLLM プロジェクトのデプロイスタックを求めるチームに適しています。テストした
prefixawareモードは再利用を優先しましたが、負荷は考慮しませんでした。LMCache の配置にもとづいてルーティングする場合は、kvawareやloadawareを別途評価してください。このバージョンでは、チャットのmessagesを読むのはloadawareだけです。
ルーターを導入する前に
まず、レイテンシ目標を達成できていないワークロードから始めてください。最初のトークンまでのレイテンシ、完了時間、失敗、キャッシュの再利用を計測します。vLLM では、一定の区間についてキャッシュ率を次のように計算します:
sum(rate(vllm:prefix_cache_hits_total[1h])) / sum(rate(vllm:prefix_cache_queries_total[1h]))両方のメトリクスを、同じデプロイメントとモデルに絞り込んでください。この比率にはコールドなリクエストも含まれるため、繰り返しの訪問だけを対象にした本記事のキャッシュの数値とは、直接比較できません。
本番トラフィックを移行する前に:
- 構成を確認する。 モデルとハードウェアに合わせて、負荷の推定値をキャリブレーションしてください。ルーティングがエンジンの KV イベントを使う場合は、イベントが届いていることと、ブロックサイズが一致していることを確認してください。
- 代表的なトラフィックをリプレイする。 キャッシュの逼迫、新しいプレフィックスへの同時リクエスト、長いプリフィルと並行する短いリクエストを含めてください。許容できるレイテンシと失敗のしきい値は、テストの前に決めておきます。
- 回復をテストする。 クライアントの接続タイムアウトを明示的に設定し、負荷をかけた状態でルーターを再起動してください。成功したレスポンスと、キャッシュを意識したルーティングの回復の両方を確認します。
- 可用性のサポートを確認する。 複数のルーターレプリカは、リリースとルーティング構成がサポートしている場合にのみ使用してください。テストした Kinference のリリースと llm-d の精密構成には、ルーターを 1 つしか置けないという制約があります。テストしたほかの構成は、プレフィックスの履歴や処理中の負荷を各ルータープロセスの中に保持します。
私たちの共有 GPU では、テストしたキャッシュを意識する構成のすべてが、繰り返されるプレフィックスのレイテンシを改善しました。より有用な違いが現れたのは、競合するワークロードのもとと、回復の過程でした。運用しようとしている構成を、こうしたケースで検証してください。
FAQ
推論ルーティングについてよく受ける 5 つの質問。
プロンプトがすべて一意でも、ルーターは役に立ちますか?
プロンプトに再利用できるプレフィックスがなくても、キューで待つ処理を分散することでテールレイテンシを減らせます。1 枚の共有 GPU で行った私たちのテストでは、テールを短縮したルーターは TTFT の中央値も高く、レスポンス時間の中央値は約 5% 長くなりました。
キャッシュを意識したルーターに、なぜチューニングが必要なのですか?
チューニングは、キャッシュの再利用と待機中の処理のバランスを取ります。適切な設定は、モデル、ハードウェア、トラフィックによって変わります。
エンジンの KV イベントは必要ですか?
一部のルーターは、過去のリクエストからキャッシュの配置を推測します。KV イベントを使えば、対応するルーターは実際のキャッシュの変化とエビクションを追跡できます。
既存の推論ゲートウェイの背後に Kinference を置けますか?
テストしたリリースは、Buoyant Gateway か、Kinference の gRPC API を使うクライアントをサポートします。ほかのゲートウェイには、インテグレーションが必要です。
ルーターを導入する前に、どの結果を再現すべきですか?
自分のトラフィックパターンをテストし、次に負荷をかけた状態でルーターを再起動してください。クライアントのタイムアウトを明示的に設定して、レイテンシ、失敗、キャッシュの回復を確認します。
推論ルーティングの評価と運用に支援が必要な場合は、Todea がパイロットの実施から、その結果として構築したプラットフォームの管理までを引き受けます。


