AI 基础设施
Kubernetes 上的推理路由:六种方案基准测试
我们测试了在 Kubernetes 上路由 vLLM 请求的六种方式,从普通 Service 到完整的推理方案,并说明在负载下和故障期间会发生哪些变化。
Ivan Porta
Founder & Principal Engineer

Kubernetes Service 会把连接分散到各个模型副本上,但它既不知道哪个副本已经持有某条提示词的 KV 缓存,也不知道每个副本上有多少工作在排队。当请求重复使用同一条系统提示词、延续一段对话,或者与长提示词争抢资源时,这两个盲区都会产生影响。
在这次基准测试中,我们把 NVIDIA Dynamo、Buoyant Kinference、Volcano Kthena、llm-d 和 vLLM production-stack 与普通的 Kubernetes Service 做了对比。我们测量了缓存感知路由在哪些场景下缩短了首 token 时间,以及在缓存压力和工作相互竞争时发生了哪些变化。我们还在负载下删除了引擎 Pod 和路由器 Pod,观察每套方案如何失败、如何恢复。
架构对比
这六种方案在请求路径的不同位置、依据不同的信息来选择副本。下面是与我们的测试相关的架构和路由模式。
- Kubernetes Service(kube-proxy 规则):客户端连接到 Service IP。kube-proxy 规则不读取请求内容,而是把每条新连接随机发给该 Service 关联的一个就绪 Pod。
- Dynamo(Frontend):客户端把请求发给 Frontend,由它套用聊天模板并对提示词进行分词。在 KV 模式下,Frontend 把 token 哈希成块,并根据缓存重叠程度和负载来选择 Worker。在默认的轮询模式下,它不考虑缓存。最后,它把 token ID 发给选中的 Worker。你也可以选择让预填充(prefill)和解码(decode)这两个阶段分别在不同的 Worker 上运行。
- Kinference(决策服务):客户端把请求发给 Buoyant Gateway,网关再把请求体发给 Kinference。Kinference 默认让推理引擎对提示词分词,也可以用模型的分词器在进程内分词。Kinference 把 token 哈希成块,并根据每个副本的缓存复用情况和排队中的工作,预测该副本的首 token 时间(TTFT)。随后 Kinference 返回预测值最低的端点,网关把请求发往那里。
- Kthena(路由器):客户端把请求发给 Kthena 路由器,路由器找出提供该模型服务的 Pod。使用 chart 的默认插件时,路由器会排除排队请求达到 10 个或更多的 Pod,并根据前缀匹配、未完成的请求数、KV 缓存使用率和延迟为其余 Pod 打分。最后,它把请求转发给得分最高的 Pod。分词同样是可选的,取决于启用了哪个插件。例如,
kvcache-aware插件让引擎对提示词分词,并利用引擎发出的 KV 缓存事件来判断哪些 Pod 已经缓存了提示词的前缀。chart 没有启用这个插件,我们也没有测试它。 - llm-d(端点选择器):客户端把请求发给 Envoy,Envoy 通过 ext-proc 向端点选择器请求一个 Pod。选择器让推理引擎对提示词分词,或者根据提示词的字节估算 token,然后把 token 哈希成块。接着,选择器只保留持有其中至少 80% 的块的 Pod,除非没有这样的 Pod,或者它们比其余 Pod 繁忙得多。然后它从中选出进行中的 token 最少的那个,把它的 IP 返回给 Envoy,最后由 Envoy 发出请求。与 Kthena 类似,它有多个会影响决策的插件,例如可以加入带权重的前缀得分、队列得分和 KV 缓存得分。
- production-stack(路由器):客户端把请求发给 production-stack 路由器,路由器保留提供所请求模型服务的端点。路由逻辑从中选出一个:默认是轮询;在
prefixaware模式下,则选择与消息文本前缀匹配最长的端点。其他逻辑还包括按会话路由、按 LMCache 的缓存位置路由(kvaware、loadaware)以及按优先级路由。随后路由器把请求转发给该端点。
《Kinference 详解》和《从 Ingress 到推理网关》逐步跟踪了一个请求经过 Kinference 和 llm-d 端点选择器的全过程。
测试方法
基础设施
我们希望在一个足够小、可以逐个请求检查的机群上比较路由决策。为此,我们用 HAMi 把一块 96 GB RTX PRO 6000 的显存分给 3 个 vLLM 副本,并逐个单独测试每个推理项目。预填充和解码都由同一批 Worker 完成。下图展示了所有方案共用的测试环境。
| 组成部分 | 配置 | 限制与设置 |
|---|---|---|
| 节点 | GKE Spot | 一块 96 GB 的 NVIDIA RTX PRO 6000;Kubernetes v1.36.5-gke.2370000。路由器和负载生成器 Job 运行在同一个节点上。 |
| 副本 | 3 个引擎 | vllm/vllm-openai:v0.31.0 上的 Qwen/Qwen2.5-7B-Instruct。每个副本获得 28,000 MiB,不设 nvidia.com/gpucores 限制。Dynamo 自己的 Worker 使用它的 vllm-runtime:1.6.2 镜像,该镜像固定了相同的 vLLM 版本。 |
| 引擎设置 | 全程使用相同的值 | 上下文长度 16,384,gpu_memory_utilization 为 0.90,外加路由器和测量所需的 3 个参数:--enable-prompt-tokens-details、--enable-scale-out 和 --kv-events-config。我们没有调优引擎自身的参数。 |
| KV 缓存 | 每个副本 | 166,576 个 token,分为 10,411 个块,每块 16 个 token。预填充批次(max_num_batched_tokens)为每个引擎步 2,048 个 token,这是 vLLM 对 28,000 MiB 切片的默认值。使用整张卡时,默认值是 8,192。 |
| 路由器 | 每次一套方案 | Dynamo 平台 chart 和运行时 1.6.2。Kinference 0.1.0-alpha.7,位于 Buoyant Gateway 0.1.0-alpha.6 之后。Kthena chart 1.1.0,只安装路由器。llm-d 路由器 1.0.0,以独立模式运行,带 Envoy 边车,不使用 InferencePool。production-stack chart vllm-stack-0.1.14,使用它的 Python 路由器对接已有的 Pod。 |
路由配置
我们使用了每个项目在文档中说明的缓存感知路由模式,并校准了那些取决于模型和硬件的值,例如 Kinference 的 profile。对 Kthena 和 production-stack 来说,这个模式是基于前缀的模式:我们没有测试 Kthena 的 kvcache-aware 插件,它需要在每个引擎旁边部署一个边车;也没有测试 production-stack 的 kvaware 逻辑,它需要 LMCache。这些值是在单独的调优运行中选定的,先于计入结果的那 5 次重复。下表列出了每种配置的名称、选取数值的方法以及最终的设置。
| 配置 | 方法 | 设置 |
|---|---|---|
| Kubernetes Service | 不调优 | 选择 3 个引擎的 ClusterIP Service。 |
| Dynamo | 权重扫描 | 使用 Worker 事件的 KV 路由,DYN_ROUTER_PREFILL_LOAD_SCALE=8(4 和 8 中表现更好的一个),以及 Dynamo 调优指南中的 DYN_ROUTER_PREDICTED_TTL_SECS=5。 |
| Kinference | 观测脚本 | kvBlockSize: 16。一个分析已记录选择的脚本把 base_ms 设为 55,attention_uncached_block_ms 设为 1.28,attention_uncached_per_every_block_ms 设为 0.002,forward_pass_ms 设为 17.4。 |
| Kthena | 权重扫描 | prefix-cache 权重设为 4,而不是 chart 的 1。 |
| llm-d(近似) | 校准 Job | optimized-baseline 指南,加上 peakPrefillThroughput: 24914,该值在 CHUNK_SIZE=2048 下测得。 |
| llm-d(精确) | 校准 Job | precise prefix cache routing 指南,使用相同的吞吐量和 blockSizeTokens: 16。 |
| production-stack | 模式选择 | routingLogic: prefixaware,不需要针对硬件做校准。 |
测试内容
| 工作负载 | 测试点 | 请求模式 |
|---|---|---|
| shared-prefix | 复用 | 38 条约 8,000 token 的系统提示词,每条访问 6 次。这些前缀占用的空间是单个副本缓存的 1.8 倍。 |
| multi-turn | 对话历史 | 36 段对话,每段 8 轮,逐轮变长。 |
| control | 不重复的提示词 | 228 条约 8,000 token 的提示词,没有复用。 |
| pressure | 缓存逐出 | 76 条系统提示词,12 个进行中的请求。 |
| burst | 新前缀 | 24 个前缀,每个前缀以 6 个同时到达的请求出现,之后再访问 1 次。 |
| mixed | 相互竞争的工作 | 3 个负载生成器客户端发送长提示词并接收长回答,另有 240 个短请求与之并行。 |
| rate-sweep | 不断上升的到达速率 | 针对热前缀,平均每秒到达 1、2、3、4 和 6 个请求,每个速率持续 45 秒。 |
| replica-restart | 删除引擎 Pod | 在稳定流量下删除一个引擎 Pod。 |
| router-restart | 删除路由器 Pod | 240 秒的流量,在 45 秒后删除路由器 Pod。 |
| overhead | 额外延迟 | 300 对单 token 请求,每对中一个经过路由器,一个直接发给引擎(Dynamo 的 Worker 没有直连路径)。 |
一次重复会让每套方案依次跑完这些工作负载,每次只运行一套,并在下一套开始之前移除上一套,只有 Dynamo 的 operator 例外。在同一次重复中,每套方案收到的提示词完全相同。下一次重复使用新的随机种子,并从另一套方案开始。每个工作负载开始时,引擎副本都会重新创建,缓存为空。前 6 个工作负载运行了 5 次。后 4 个运行了 3 次,路由器的默认配置也运行了 3 次,但只在 shared-prefix、multi-turn 和 control 上运行。
shared-prefix 和 control 保持 6 个进行中的请求,multi-turn 则同时进行 6 段对话。负载生成器为每个请求新建一条连接。被复用的连接会一直留在连接建立时 kube-proxy 选中的那个副本上,所以每个请求新建一条连接,才能让 Service 为每个请求选择副本。
测量方法
负载生成器运行在集群内部,并记录每一个请求。它在客户端一侧测量 TTFT,从打开连接的那一刻算起,到收到第一个带有文本的流式数据块为止。因此 TTFT 包含了建立连接、路由器决策、在引擎队列中的等待以及预填充。每个响应的最后一个数据块带有引擎的用量报告:提示词 token 数,以及其中有多少是引擎在缓存中找到的。缓存占比等于缓存 token 数除以提示词 token 数,两者都按一项数据所覆盖的全部请求求和。请求返回错误或没有返回首个 token 时计为失败;失败的请求不计入延迟数据。
shared-prefix 和 pressure 报告的是第一次之后的访问,multi-turn 报告的是第一轮之后的各轮。无论由哪个副本处理,对某个前缀的第一次访问和一段对话的第一轮都没有任何内容可以复用。
我们先在每次运行内计算各项统计量,再对各次运行的结果取平均。大多数单次运行的百分位覆盖 190 到 380 个请求,所以第 95 百分位(p95)取决于一次运行中最慢的 10 到 20 个请求。
本文提到某个请求由哪个副本处理时,放置信息来自路由器的日志,并按请求 ID 与负载生成器的记录对应起来。llm-d 的日志和 Service 不提供放置信息,所以对这两者以及突发场景,我们使用了每个引擎已完成请求的计数。
结果
3 个引擎副本共用一块 GPU,所以路由既影响缓存复用,也影响对算力的争抢。这些结果适用于我们测试的配置;使用独立的 GPU 或不同的路由插件,结果可能会改变。下面的延迟是各次运行百分位的平均值。
重复的前缀
每一种调优后的缓存感知配置,都让重复请求约 99% 的输入 token 来自缓存,而经过 Service 时是 42%。TTFT 中位数从 834 ms 降到 115 到 132 ms 之间。这些数据不包含对每个前缀的第一次访问。总响应时间的改善幅度更小,从 2.88 s 降到 1.85 到 1.87 s 之间,因为生成回答仍然占了大部分时间。
多轮对话也体现了同样的收益。处理上一轮的副本最有可能持有最新的对话历史,路由器把后续各轮引向它。这些路由器的 p95 TTFT 为 146 到 158 ms,而 Service 是 590 ms。
不重复的提示词
没有可复用的前缀时,没有任何路由器的 TTFT 中位数优于 Service 的约 1.15 s。Dynamo、Kinference、Kthena 和 llm-d 确实改善了尾部,这说明在缓存帮不上忙时,负载均衡仍然可以起作用。但在我们的共享 GPU 上,这是一种取舍:它们的 TTFT 中位数比 Service 高 5% 到 29%,响应时间中位数大约长 5%。Kthena 在尾部的优势最小,接近它各次运行之间的波动幅度。
原因在于共享的 GPU。Service 所做的随机选择经常让一个副本空闲,这时另外两个副本的预填充会更快:不需要排队的提示词大约 0.8 s 就得到了首个 token,而 3 个副本都繁忙时大约需要 1.15 s。做负载均衡的路由器几乎从不让副本空闲。排队的请求变少,尾部因此缩短,但几乎每一次预填充都以较慢的速度运行。
Dynamo 把请求分散得最均匀,让每个副本上始终有 2 个请求。于是 3 个引擎在同一时刻做预填充并争抢 GPU,每两个请求中就有一个要在自己的副本上排在另一条提示词后面。Dynamo 有一半的请求大约在 1.22 s 得到首个 token,另一半大约在 1.75 s。它的中位数 1.48 s 是最高的,正好落在这两组之间。轮询配置也表现出同样的模式。使用独立的 GPU 可能会改变这一点。
缓存压力
pressure 工作负载超出了机群的缓存容量,迫使引擎逐出缓存块。Dynamo、Kinference 和精确配置的 llm-d 的 p95 TTFT 为 1.39 到 1.59 s。Kthena、近似配置的 llm-d 和 production-stack 则达到 2.42 到 2.79 s。
Dynamo、Kinference 和精确配置的 llm-d 会读取引擎的 KV 事件,因此能够得知某个前缀何时被逐出。Kthena、近似配置的 llm-d 和 production-stack 依据自己的历史记录来路由,无法得知。在这些运行中,这三者会把已知的前缀一直发给最初处理它的那个副本,即使该副本已经逐出了这个前缀。Kthena 和 production-stack 的日志记录了每一次放置,对它们来说,这类访问在最慢 5% 的请求中占比超过 90%。
Dynamo 只有 33% 的输入 token 来自缓存,而其他路由器是 51% 到 54%,但它的尾部仍然是最短的之一。它的负载模型会把排队中的预填充工作一直计入负载,直到首个 token 产生,这使得不那么繁忙的冷副本更有吸引力。仅靠缓存复用并不能保证等待时间短。
尾部由不得不排队的缓存未命中构成。如果某次未命中在它的副本上前面没有任何请求,那么无论用哪个路由器,耗时都是 1.2 s 左右。在 Kthena 和 production-stack 上,每一个耗时超过 2 s 的请求,在同一个副本上前面都至少还有一条其他提示词。Dynamo 的未命中更频繁,但它把未命中的请求发给等待中的预填充工作很少的副本,它每 10 次未命中里有 9 次在 1.3 s 内完成。
新前缀的突发请求
每次突发会发送 6 个带有同一个新前缀的请求。一次突发如果留在 1 个副本上,耗时约 0.4 s;分布在 2 个副本上是 0.8 s,3 个副本上是 1.15 s。production-stack 把每次突发都留在 1 个副本上,TTFT 中位数为 388 ms。精确配置的 llm-d 平均每次突发使用 1.5 个副本,中位数为 492 ms。近似配置的 llm-d 平均使用 2.8 个副本,Dynamo、Kinference 和 Kthena 把 3 个副本全部用上,这四者都在 1.15 到 1.17 s 左右。
TTFT 取决于有多少个引擎在同一时间计算这个前缀。在 1 个副本上,引擎独占整块 GPU,把 8,000 token 的前缀计算一次,其余 5 个请求复用它。在 2 个或 3 个副本上,每个引擎都要在与其他引擎共享 GPU 的同时,把同一个前缀再算一遍。production-stack 在转发之前记录放置信息,让后面的请求可以跟随第一个请求。精确配置的 llm-d 也会记录最近的选择,但同时做出的决策有时会把突发分散开。使用独立的 GPU 可能会改变这种取舍。
与长预填充并存的短请求
在这个工作负载中,一个短请求要么立即开始,约 0.1 s;要么被发到一个仍在为 8,000 token 的提示词做预填充的副本上,等上 0.6 到 0.9 s,直到那次预填充结束。
在 Service、Kthena 和 production-stack 上,有 11% 到 12% 的短请求这样等待过。p95 标出的是最慢的 5%,所以对这三者来说,p95 就是其中一次等待:Service 为 651 ms,Kthena 为 847 ms,production-stack 为 730 ms。在 Dynamo、Kinference 和两种 llm-d 配置上,等待过的请求不到 1%,所以它们的 p95 是一个普通请求,低于 180 ms。中位数保持在 95 到 133 ms 之间。
差别在于路由器如何表示未完成的工作。无论哪套方案,每 10 个短请求中大约有 4 个是在某个副本正在为长提示词做预填充时到达的。经过 Service、Kthena 和 production-stack 时,这些请求中大约每 4 个就有 1 个被发到正在预填充的副本上并等待。经过 Dynamo、Kinference 和 llm-d 时,这一比例不到 2%。Service 和被测的 production-stack 前缀模式都不读取负载,所以它们会随机放置一条新的短提示词。Kthena 的 least-request 插件统计的是请求数而不是 token 数,所以一个正在预填充 8,000 token 的副本,与一个即将完成短回答的副本权重相同。所测试的 Dynamo、Kinference 和 llm-d 配置考虑了提示词的大小,使得长预填充看起来比短请求代价更高。Kthena 的 p95 最高,是因为它的短请求需要等待的剩余预填充更多:大约 0.8 s,而 production-stack 大约是 0.56 s。
等待本身发生在引擎内部:默认情况下,vLLM 会把每一步的 token 预算都分给长预填充,直到它完成。它的 long_prefill_token_threshold 设置可以对此加以限制;我们没有启用它。
不断上升的到达速率
rate-sweep 工作负载发送请求时不依赖之前的请求是否完成。在每秒 1 到 6 个请求的名义速率范围内,每个路由器的 p95 始终低于 190 ms。把每次访问发给持有其前缀的副本,避免了经过 Service 时产生的大量重复预填充工作。
在每秒到达 6 个请求时,Service 每秒完成 4.3 个请求,p95 达到 10.2 s。它的积压触及了负载生成器 96 个进行中请求的上限,导致平均每次运行有 34 个到达的请求被丢弃。这说明在所测试的流量下出现了过载;45 秒的阶段不足以确定可持续的最大吞吐量。
故障与重启
删除一个引擎 Pod 时,每次运行中直接失败的请求最多只有 1 个。另外,每次运行最多还有 4 个响应在首个 token 之后被截断,负载生成器把它们计为成功;Dynamo 和 Kinference 没有出现这种情况。这是一次正常的 Pod 删除,并不是对节点丢失、GPU 故障或网络分区的测试。
路由器重启同时暴露了请求失败和路由状态丢失。失败数量受客户端行为的影响很大:连接被立即拒绝会触发每 0.5 秒一次的重试,而发往 Dynamo、Kthena 和 production-stack 的部分连接卡住了约 133 秒。因此,失败请求的开始时间之间的跨度并不能衡量中断持续了多久。路由器 Pod 被删除时正在进行中的响应,在 Kthena 和 llm-d 上中断了,在另外三者上则顺利完成。
精确配置的 llm-d 在整个重启过程中保持了约 99% 的缓存占比:新的选择器在启动时重放了引擎缓冲的 KV 事件。Kinference 降到约 50%,并在重启后大约 1 分钟重新超过 90%;它的被测配置没有启用事件重放。近似配置的 llm-d 在丢失路由历史之后一度降到 68%。图中的占比是 3 次运行按 15 秒窗口计算的平均值。
Dynamo 恢复时是 99%,但卡住的客户端让它有大约 2 分钟没有流量的时间来重建索引。这一观察无法确定它的恢复速度。Kthena 和 production-stack 需要新的流量来重建它们的放置历史。在比较可用性之前,请先设置明确的客户端连接超时,再测试重启。
资源用量
按工作负载和重复次数取平均,每套被测方案使用的 CPU 都不到 50 毫核。采样到的内存峰值的平均值,从 Kthena 的 28 MiB、Kinference 的 29 MiB 到 production-stack 的 712 MiB 不等。
这些数据涵盖了新增的路由组件,包括 Dynamo 的 operator 和 Kinference 网关的数据平面,但不包括该网关的 2 个控制平面 Pod,我们没有对它们采样。这些是平均值,不是资源限制。10 秒一次的采样可能漏掉短暂的峰值,而且 replica-restart 工作负载期间的测量值更高。请根据有代表性的峰值用量来规划生产环境的资源。
默认设置与调优后的设置
并非所有默认配置都能保持缓存亲和性。Dynamo 和 production-stack 默认以轮询模式启动,而 Kthena 的默认前缀权重要与 3 个负载得分竞争。
调整 Dynamo 的 KV 路由预填充权重后,shared-prefix 的 p95 从 1.22 s 降到 155 ms。提高 Kthena 的前缀权重后,这一 p95 从 1.18 s 降到 147 ms。Kinference 本来就在复用前缀;校准提高了它的预测准确度,但没有明显改变 shared-prefix 的延迟。默认配置的数据是 3 次运行的平均值,调优后的数据是 5 次运行的平均值。
调优也改变了取舍。把 production-stack 切换到前缀感知路由后,复用得到改善,但它在不重复提示词上的 p95 从 1.76 s 升到 2.12 s,而它的 TTFT 平均值从 1.49 s 降到 1.25 s。这两种模式都不读取负载:轮询依次轮转各个副本,prefixaware 则把没有已知前缀的提示词发给一个随机的副本。请同时用可复用的提示词和不重复的提示词来验证配置。
该选哪一个
请根据你的流量和现有基础设施来选择。下面的结论适用于我们测试的版本和配置。
- Kubernetes Service:在只有一个副本或前缀复用很少时,是一个合理的起点。它在不检查提示词的情况下均衡连接,所以当请求大小混杂或队列不均衡时,仍然可能值得引入负载感知的路由器。
- Dynamo:如果你需要引擎编排,并希望可以把预填充和解码拆分到不同的 Worker 池,可以考虑它。这些能力超出了本次基准测试的范围,本次测试使用的是共用一块 GPU 的未拆分 Worker。
- Kinference:如果策略需要在本地副本和托管提供商之间做选择,可以考虑它,不过本次基准测试没有测试这项能力。所测试的版本需要 Buoyant Gateway,或者一个实现了其 gRPC API 的客户端;它的 API 处于 alpha 阶段,并且有只能运行单个路由器的限制。
- Kthena:适合已经用 Volcano 做工作负载调度的团队。我们只测试了它的路由器:提高前缀亲和性改善了复用,但在短请求与长预填充并存时,被测配置的短请求尾部延迟表现不佳。
- llm-d:适合实现了 Gateway API Inference Extension 的网关;我们测试的是它的独立模式,由一个 Envoy 边车代替网关。它的精确配置在缓存逐出和突发场景下表现良好,但需要引擎 KV 事件,以及相互兼容的分词方式和块大小。
- production-stack:适合想要使用 vLLM 项目部署方案的团队,其中包括路由、监控和可选的 LMCache 集成。所测试的
prefixaware模式偏向复用,但忽略负载;如果要依据 LMCache 的缓存位置来路由,请单独评估kvaware或loadaware。在这个版本中,只有loadaware会读取聊天的messages。
采用路由器之前
从没有达到延迟目标的工作负载入手。测量首 token 延迟、完成时间、失败情况和缓存复用。对于 vLLM,按固定的时间区间计算缓存占比:
sum(rate(vllm:prefix_cache_hits_total[1h])) / sum(rate(vllm:prefix_cache_queries_total[1h]))把这两个指标限定在同一个部署和同一个模型上。这个比率包含了冷请求,所以不能与我们只统计重复访问的缓存数据直接比较。
在迁移生产流量之前:
- 检查配置。 针对你的模型和硬件校准负载估算值。如果路由使用引擎的 KV 事件,请确认事件能够送达,并且块大小一致。
- 重放有代表性的流量。 要包含缓存压力、同一个新前缀的并发请求,以及与长预填充并存的短请求。在测试之前,先定好可接受的延迟和失败阈值。
- 测试恢复过程。 设置明确的客户端连接超时,并在负载下重启路由器。既要检查成功的响应,也要检查缓存感知路由是否恢复。
- 确认高可用支持。 只有在所用版本和路由配置支持时,才使用多个路由器副本。所测试的 Kinference 版本和 llm-d 的精确配置有只能运行单个路由器的约束,其他被测配置则把前缀历史或进行中的负载保存在各个路由器进程内。
在我们的共享 GPU 上,所有被测的缓存感知配置都改善了重复前缀的延迟。更有价值的差异出现在工作负载相互竞争时和恢复过程中。请用这些场景来验证你打算运行的配置。
FAQ
关于推理路由,我们最常被问到的五个问题。
如果我的提示词都不重复,路由器还有用吗?
即使提示词没有可复用的前缀,路由器也可以通过均衡排队中的工作来降低尾部延迟。在我们基于一块共享 GPU 的测试中,缩短了尾部的路由器,TTFT 中位数也更高,响应时间中位数大约长 5%。
为什么缓存感知路由器需要调优?
调优是在缓存复用和排队中的工作之间取得平衡。合适的设置取决于你的模型、硬件和流量。
我需要引擎的 KV 事件吗?
有些路由器根据过去的请求来推断缓存的位置。有了 KV 事件,支持它的路由器就能跟踪实际的缓存变化和逐出。
我可以把 Kinference 放在现有的推理网关后面吗?
所测试的版本支持 Buoyant Gateway,或者使用其 gRPC API 的客户端。其他网关需要做集成。
采用路由器之前,我应该复现哪个结果?
先测试你自己的流量模式,然后在负载下重启路由器。设置明确的客户端超时,检查延迟、失败情况和缓存恢复。
如果你在推理路由的评估和运维上需要帮助,Todea 可以负责试点,并管理由此搭建起来的平台。


