Skip to content

AI 인프라

Kubernetes의 추론 라우팅: 여섯 가지 방식 벤치마크

Kubernetes에서 vLLM 요청을 라우팅하는 여섯 가지 방식을 일반 Service부터 추론 스택까지 테스트하고, 부하와 장애 상황에서 무엇이 달라지는지 설명합니다.

Ivan Porta

Founder & Principal Engineer

20 분 소요
#inference#kubernetes#vllm#benchmark#platform-engineering
Kubernetes의 추론 라우팅: 여섯 가지 방식 벤치마크

Kubernetes Service는 연결을 모델 레플리카들에 분산하지만, 어느 레플리카가 프롬프트의 KV 캐시를 이미 가지고 있는지도, 각 레플리카에 작업이 얼마나 대기 중인지도 알지 못합니다. 요청이 시스템 프롬프트를 반복하거나, 대화를 이어 가거나, 긴 프롬프트와 경쟁할 때는 이 두 가지 공백이 모두 문제가 됩니다.

이번 벤치마크에서는 NVIDIA Dynamo, Buoyant Kinference, Volcano Kthena, llm-d, vLLM production-stack을 일반 Kubernetes Service와 비교했습니다. 캐시 인지 라우팅이 첫 토큰까지의 시간을 어디에서 줄였는지, 그리고 캐시 압박이 있을 때와 경쟁하는 작업이 있을 때 무엇이 달라졌는지 측정했습니다. 또한 부하가 걸린 상태에서 엔진 파드와 라우터 파드를 삭제해, 각 스택이 어떻게 실패하고 복구되는지 확인했습니다.

아키텍처 비교

여섯 가지 방식은 요청 경로의 서로 다른 지점에서, 서로 다른 정보를 사용해 레플리카를 고릅니다. 아래는 이번 테스트와 관련된 아키텍처와 라우팅 모드입니다.

  • Kubernetes Service(kube-proxy 규칙): 클라이언트는 Service IP에 연결합니다. kube-proxy 규칙은 요청을 읽지 않고, 새 연결마다 해당 Service에 속한 준비 상태의 파드 가운데 하나를 무작위로 골라 보냅니다.
  • Dynamo(Frontend): 클라이언트가 요청을 Frontend로 보내면, Frontend가 챗 템플릿을 적용하고 프롬프트를 토큰화합니다. KV 모드에서는 Frontend가 토큰을 블록 단위로 해시하고, 캐시 중첩과 부하를 기준으로 워커를 고릅니다. 기본값인 라운드 로빈 모드에서는 캐시를 고려하지 않습니다. 마지막으로, 선택한 워커에 토큰 ID를 보냅니다. 선택 사항으로, 각 단계(프리필과 디코드)를 별도의 워커에서 실행할 수도 있습니다.
  • Kinference(결정 서비스): 클라이언트가 요청을 Buoyant Gateway로 보내면, 게이트웨이가 요청 본문을 Kinference로 보냅니다. Kinference는 기본적으로 서빙 엔진에 프롬프트 토큰화를 맡기며, 모델의 토크나이저로 프로세스 안에서 직접 토큰화할 수도 있습니다. Kinference는 토큰을 블록 단위로 해시하고, 각 레플리카의 캐시 재사용과 대기 중인 작업을 바탕으로 그 레플리카의 첫 토큰까지의 시간(TTFT)을 예측합니다. 그런 다음 예측값이 가장 낮은 엔드포인트를 반환하고, 게이트웨이가 요청을 그곳으로 보냅니다.
  • Kthena(라우터): 클라이언트가 요청을 Kthena 라우터로 보내면, 라우터가 해당 모델을 서빙하는 파드를 찾습니다. 차트의 기본 플러그인을 쓰면, 라우터는 대기 중인 요청이 10개 이상인 파드를 제외하고, 나머지 파드에 프리픽스 일치, 처리 중인 요청 수, KV 캐시 사용량, 레이턴시를 기준으로 점수를 매깁니다. 마지막으로 점수가 가장 높은 파드로 요청을 전달합니다. 토큰화 역시 선택 사항이며, 활성화한 플러그인에 따라 달라집니다. 예를 들어 kvcache-aware 플러그인은 엔진에 프롬프트 토큰화를 맡기고, 엔진이 보내는 KV 캐시 이벤트를 사용해 어느 파드가 프롬프트의 프리픽스를 이미 캐시하고 있는지 파악합니다. 차트는 이 플러그인을 활성화하지 않으며, 저희도 테스트하지 않았습니다.
  • llm-d(엔드포인트 피커): 클라이언트가 요청을 Envoy로 보내면, Envoy가 ext-proc을 통해 엔드포인트 피커에 파드를 요청합니다. 피커는 서빙 엔진에 프롬프트 토큰화를 맡기거나 프롬프트의 바이트에서 토큰을 추정한 다음, 토큰을 블록 단위로 해시합니다. 이어서 피커는 그 블록의 80% 이상을 가진 파드만 남깁니다. 단, 그런 파드가 없거나 그 파드들이 나머지보다 훨씬 바쁜 경우는 예외입니다. 그런 다음 처리 중인 토큰이 가장 적은 파드를 골라 그 IP를 Envoy에 반환하고, 마지막으로 Envoy가 요청을 보냅니다. Kthena와 마찬가지로 결정에 영향을 주는 플러그인이 여러 개 있으며, 예를 들어 가중치를 둔 프리픽스 점수, 큐 점수, KV 캐시 점수를 더할 수 있습니다.
  • production-stack(라우터): 클라이언트가 요청을 production-stack 라우터로 보내면, 라우터가 요청된 모델을 서빙하는 엔드포인트만 남깁니다. 라우팅 로직이 그중 하나를 고릅니다. 기본값은 라운드 로빈이고, prefixaware 모드에서는 메시지 텍스트에서 프리픽스가 가장 길게 일치하는 엔드포인트를 고릅니다. 그 밖에 세션 기준, LMCache 배치 기준(kvaware, loadaware), 우선순위 기준 라우팅 로직도 있습니다. 그런 다음 라우터가 요청을 해당 엔드포인트로 전달합니다.

Kinference 해설과 Ingress에서 추론 게이트웨이로는 요청이 Kinference와 llm-d의 엔드포인트 피커를 거치는 과정을 단계별로 따라갑니다.

테스트 방법

인프라

요청 하나하나를 들여다볼 수 있을 만큼 작은 플릿에서 라우팅 결정을 비교하고자 했습니다. 이를 위해 HAMi로 96 GB RTX PRO 6000의 메모리를 vLLM 레플리카 3개에 나누고, 각 추론 프로젝트를 하나씩 따로 테스트했습니다. 프리필과 디코드는 모두 같은 워커가 수행했습니다. 아래 그림은 모든 스택이 공유한 테스트 환경입니다.

노드GKE Spot96 GB NVIDIA RTX PRO 6000 한 장, Kubernetes v1.36.5-gke.2370000. 라우터와 부하 생성기 Job은 같은 노드에서 실행했습니다.
레플리카엔진 3개vllm/vllm-openai:v0.31.0에서 실행한 Qwen/Qwen2.5-7B-Instruct. 각 레플리카는 nvidia.com/gpucores 제한 없이 28,000 MiB를 받았습니다. Dynamo의 자체 워커는 같은 vLLM 버전을 고정한 vllm-runtime:1.6.2 이미지를 사용했습니다.
엔진 설정모든 테스트에서 동일컨텍스트 길이 16,384와 gpu_memory_utilization 0.90, 그리고 라우터와 측정에 필요한 플래그 3개인 --enable-prompt-tokens-details, --enable-scale-out, --kv-events-config. 엔진 자체의 플래그는 튜닝하지 않았습니다.
KV 캐시레플리카별16토큰짜리 블록 10,411개에 166,576 토큰. 프리필 배치(max_num_batched_tokens)는 엔진 스텝당 2,048 토큰으로, 28,000 MiB 슬라이스에 대한 vLLM의 기본값입니다. 카드 전체를 쓰면 기본값은 8,192입니다.
라우터한 번에 스택 하나Dynamo 플랫폼 차트와 런타임 1.6.2. Buoyant Gateway 0.1.0-alpha.6 뒤의 Kinference 0.1.0-alpha.7. 라우터만 설치한 Kthena 차트 1.1.0. 스탠드얼론 모드의 llm-d 라우터 1.0.0(Envoy 사이드카 포함, InferencePool 없음). production-stack 차트 vllm-stack-0.1.14(기존 파드에 Python 라우터를 연결해 사용).

라우팅 구성

각 프로젝트가 문서화한 캐시 인지 라우팅 모드를 사용했고, Kinference의 프로파일처럼 모델과 하드웨어에 따라 달라지는 값은 보정했습니다. Kthena와 production-stack에서는 프리픽스 기반 모드가 이에 해당합니다. 엔진마다 사이드카가 필요한 Kthena의 kvcache-aware 플러그인과, LMCache가 필요한 production-stack의 kvaware 로직은 테스트하지 않았습니다. 값은 결과에 보고한 5회 반복에 앞서 별도의 튜닝 실행에서 골랐습니다. 아래 표는 각 구성의 이름, 값을 고른 방법, 그 결과로 정한 설정을 보여 줍니다.

Kubernetes Service튜닝 없음엔진 3개를 선택하는 ClusterIP Service.
Dynamo가중치 스윕워커 이벤트를 사용하는 KV 라우팅. DYN_ROUTER_PREFILL_LOAD_SCALE=8(4와 8 중 더 나은 값)과, Dynamo의 튜닝 가이드라인에 나온 DYN_ROUTER_PREDICTED_TTL_SECS=5.
Kinference관측 스크립트kvBlockSize: 16. 로그에 기록된 선택을 분석하는 스크립트로 base_ms를 55, attention_uncached_block_ms를 1.28, attention_uncached_per_every_block_ms를 0.002, forward_pass_ms를 17.4로 정했습니다.
Kthena가중치 스윕prefix-cache 가중치를 차트의 1 대신 4로 설정.
llm-d, 근사보정 Joboptimized-baseline 가이드에 peakPrefillThroughput: 24914를 적용. 이 값은 CHUNK_SIZE=2048에서 측정했습니다.
llm-d, 정밀보정 Jobprecise prefix cache routing 가이드에 같은 처리량과 blockSizeTokens: 16을 적용.
production-stack모드 선택routingLogic: prefixaware. 하드웨어별 보정이 필요 없습니다.

테스트한 내용

shared-prefix재사용약 8,000 토큰짜리 시스템 프롬프트 38개를 각각 6번씩 방문합니다. 프리픽스 전체는 레플리카 하나의 캐시의 1.8배를 차지합니다.
multi-turn대화 기록턴마다 길어지는 8턴짜리 대화 36개.
control고유한 프롬프트재사용이 없는 약 8,000 토큰짜리 프롬프트 228개.
pressure축출시스템 프롬프트 76개, 처리 중인 요청 12개.
burst새 프리픽스프리픽스 24개. 각 프리픽스는 동시 요청 6개로 도착하고, 이후 한 번 더 방문합니다.
mixed경쟁하는 작업긴 프롬프트를 보내 긴 응답을 받는 부하 생성기 클라이언트 3개와, 그와 동시에 보내는 짧은 요청 240개.
rate-sweep증가하는 도착률웜 상태의 프리픽스에 초당 평균 1, 2, 3, 4, 6개의 요청이 도착하며, 도착률마다 45초씩 진행합니다.
replica-restart엔진 파드 삭제일정한 트래픽이 흐르는 동안 엔진 파드 하나를 삭제합니다.
router-restart라우터 파드 삭제240초 동안 트래픽을 보내며, 45초 뒤에 라우터 파드를 삭제합니다.
overhead추가 레이턴시1토큰짜리 요청 300쌍. 한 쌍 중 하나는 라우터를 거치고 하나는 엔진으로 직접 보냅니다(Dynamo의 워커에는 직접 경로가 없습니다).

한 번의 반복에서는 모든 스택이 한 번에 하나씩 이 워크로드들을 수행하며, 다음 스택을 시작하기 전에 앞선 스택을 제거합니다. Dynamo의 오퍼레이터만 예외입니다. 한 반복 안에서는 모든 스택이 같은 프롬프트를 받습니다. 다음 반복은 새 시드를 사용하고 다른 스택부터 시작합니다. 각 워크로드는 엔진 레플리카를 새로 만들고 캐시가 비어 있는 상태에서 시작합니다. 앞의 워크로드 6개는 5회 실행했습니다. 뒤의 4개는 3회 실행했고, 라우터의 기본 구성도 3회 실행했는데 shared-prefix, multi-turn, control에서만 실행했습니다.

shared-prefix와 control은 처리 중인 요청을 6개로 유지하고, multi-turn은 대화 6개를 동시에 진행합니다. 부하 생성기는 요청마다 새 연결을 열었습니다. 재사용한 연결은 연결을 열 때 kube-proxy가 고른 레플리카에 계속 머물기 때문에, 요청마다 새 연결을 열어야 Service가 요청마다 레플리카를 고를 수 있습니다.

측정 방법

부하 생성기는 클러스터 안에서 실행했고 모든 요청을 기록했습니다. TTFT는 클라이언트 측에서, 연결을 연 순간부터 텍스트가 담긴 첫 스트리밍 청크가 도착할 때까지를 측정했습니다. 따라서 TTFT에는 연결, 라우터의 결정, 엔진 큐에서의 대기, 프리필이 모두 포함됩니다. 각 응답의 마지막 청크에는 엔진의 사용량 보고가 담겨 있습니다. 프롬프트 토큰 수와, 그중 엔진이 캐시에서 찾은 토큰 수입니다. 캐시 비율은 해당 수치가 다루는 요청 전체에 대해 캐시된 토큰의 합을 프롬프트 토큰의 합으로 나눈 값입니다. 요청이 오류를 반환하거나 첫 토큰을 받지 못하면 실패로 집계하며, 실패한 요청은 레이턴시 수치에서 제외했습니다.

shared-prefix와 pressure의 수치는 첫 방문 이후의 방문을, multi-turn의 수치는 첫 턴 이후의 턴을 대상으로 합니다. 프리픽스의 첫 방문과 대화의 첫 턴은 어느 레플리카가 처리하든 재사용할 것이 없기 때문입니다.

각 통계는 실행 단위로 계산한 다음, 실행별 결과를 평균했습니다. 실행별 백분위수는 대부분 요청 190~380개를 대상으로 하므로, 95번째 백분위수(p95)는 한 실행에서 가장 느린 요청 10~20개에 좌우됩니다.

이 글에서 어느 레플리카가 요청을 처리했는지 말할 때, 그 배치 정보는 라우터의 로그를 요청 ID로 부하 생성기의 기록과 대조해 얻은 것입니다. llm-d의 로그와 Service는 배치 정보를 제공하지 않으므로, 이 둘과 버스트에 대해서는 각 엔진의 완료된 요청 수를 사용했습니다.

결과

엔진 레플리카 3개가 모두 GPU 하나를 공유했기 때문에, 라우팅은 캐시 재사용과 연산 자원 경쟁 모두에 영향을 주었습니다. 이 결과는 저희가 테스트한 구성에 해당하며, GPU를 분리하거나 다른 라우팅 플러그인을 쓰면 결과가 달라질 수 있습니다. 아래의 레이턴시는 실행별 백분위수의 평균입니다.

반복되는 프리픽스

튜닝한 캐시 인지 구성은 모두 반복 요청의 입력 토큰 가운데 약 99%를 캐시에서 처리했고, Service를 거쳤을 때는 42%였습니다. TTFT 중앙값은 834 ms에서 115~132 ms로 줄었습니다. 이 수치는 각 프리픽스의 첫 방문을 제외한 것입니다. 전체 응답 시간은 2.88 s에서 1.85~1.87 s로, 더 작은 비율로 개선되었습니다. 응답을 생성하는 데 여전히 대부분의 시간이 들었기 때문입니다.

멀티턴 대화에서도 같은 효과가 나타났습니다. 직전 턴을 처리한 레플리카가 최신 대화 기록을 가지고 있을 가능성이 가장 높았고, 라우터는 이후의 턴을 그 레플리카로 보냈습니다. 라우터들의 p95 TTFT는 146~158 ms였고, Service는 590 ms였습니다.

고유한 프롬프트

재사용할 프리픽스가 없을 때는 어떤 라우터도 Service의 TTFT 중앙값인 약 1.15 s보다 나아지지 않았습니다. 다만 Dynamo, Kinference, Kthena, llm-d는 테일을 개선했고, 이는 캐싱이 도움이 되지 않을 때도 로드 밸런싱은 여전히 도움이 될 수 있음을 보여 줍니다. 저희의 공유 GPU에서는 얻는 것과 잃는 것이 함께 있었습니다. 이 라우터들의 TTFT 중앙값은 Service보다 5~29% 높았고, 응답 시간 중앙값은 약 5% 더 길었습니다. 테일에서 Kthena의 개선 폭이 가장 작았고, 실행 간 편차와 비슷한 수준이었습니다.

원인은 공유 GPU입니다. Service가 하는 무작위 선택은 레플리카 하나를 유휴 상태로 남겨 두는 일이 잦고, 그러면 나머지 두 레플리카의 프리필이 더 빨라집니다. 큐에서 기다릴 필요가 없었던 프롬프트는 약 0.8 s 만에 첫 토큰에 도달했지만, 레플리카 3개가 모두 바쁠 때는 약 1.15 s가 걸렸습니다. 부하를 분산하는 라우터들은 레플리카를 유휴 상태로 두는 일이 거의 없었습니다. 큐에서 기다리는 요청이 줄어 테일은 짧아졌지만, 거의 모든 프리필이 느린 쪽 속도로 실행되었습니다.

Dynamo는 요청을 가장 고르게 분산해 모든 레플리카에 요청을 2개씩 유지했습니다. 그 결과 엔진 3개가 같은 순간에 프리필을 수행하며 GPU를 두고 경쟁했고, 요청 두 개 중 하나는 자기 레플리카에서 다른 프롬프트 뒤에 줄을 섰습니다. Dynamo 요청의 절반은 약 1.22 s에, 나머지 절반은 약 1.75 s에 첫 토큰에 도달했습니다. 중앙값 1.48 s는 가장 높으며, 이 두 그룹 사이에 놓입니다. 라운드 로빈 구성에서도 같은 패턴이 나타났습니다. GPU를 분리하면 달라질 수 있습니다.

캐시 압박

pressure 워크로드는 플릿의 캐시 용량을 넘어서, 엔진이 블록을 축출할 수밖에 없게 만듭니다. Dynamo, Kinference, 정밀 llm-d의 p95 TTFT는 1.39~1.59 s였습니다. Kthena, 근사 llm-d, production-stack은 2.42~2.79 s에 이르렀습니다.

Dynamo, Kinference, 정밀 llm-d는 엔진의 KV 이벤트를 읽기 때문에 프리픽스가 축출되면 이를 알 수 있습니다. Kthena, 근사 llm-d, production-stack은 자체 이력을 바탕으로 라우팅하므로 알 수 없습니다. 이번 실행에서 이 세 구성은 알고 있는 프리픽스를 처음 처리한 레플리카에 계속 보냈고, 그 레플리카가 해당 프리픽스를 축출한 뒤에도 그랬습니다. 로그에 요청별 배치 정보가 남는 Kthena와 production-stack의 경우, 이런 방문이 가장 느린 5%의 90%를 넘습니다.

Dynamo는 입력 토큰의 33%를 캐시에서 처리해 다른 라우터의 51~54%보다 낮았지만, 테일은 가장 짧은 축에 속했습니다. Dynamo의 부하 모델은 대기 중인 프리필 작업을 첫 토큰이 나올 때까지 부하로 계속 반영했고, 그래서 덜 바쁜 콜드 레플리카가 더 유리한 선택이 되었습니다. 캐시 재사용만으로는 짧은 대기 시간이 보장되지 않았습니다.

테일은 큐에서 기다려야 했던 캐시 미스로 이루어집니다. 레플리카에서 앞에 아무것도 없었던 미스는 어느 라우터에서나 약 1.2 s가 걸렸습니다. Kthena와 production-stack에서는 2 s가 넘게 걸린 요청 모두가 같은 레플리카에서 앞에 다른 프롬프트를 하나 이상 두고 있었습니다. Dynamo는 미스가 더 잦았지만, 대기 중인 프리필 작업이 적은 레플리카로 미스를 보냈고, 미스 10건 중 9건이 1.3 s 안에 끝났습니다.

새 프리픽스의 버스트

각 버스트는 같은 새 프리픽스를 가진 요청 6개를 보냈습니다. 버스트는 레플리카 하나에 머물면 약 0.4 s, 두 개에 걸치면 0.8 s, 세 개에 걸치면 1.15 s가 걸렸습니다. production-stack은 모든 버스트를 레플리카 하나에 유지했고 TTFT 중앙값은 388 ms였습니다. 정밀 llm-d는 버스트당 평균 1.5개의 레플리카를 사용했고 492 ms였습니다. 근사 llm-d는 평균 2.8개, Dynamo, Kinference, Kthena는 세 개 모두를 사용했으며, 이 네 구성은 모두 약 1.15~1.17 s에 이르렀습니다.

TTFT는 같은 시점에 몇 개의 엔진이 그 프리픽스를 계산하는지에 따라 결정됩니다. 레플리카 하나에서는 엔진이 GPU 전체를 사용해 8,000 토큰짜리 프리픽스를 한 번만 계산하고, 나머지 요청 5개는 이를 재사용합니다. 레플리카 두 개나 세 개에서는 각 엔진이 다른 엔진들과 GPU를 나눠 쓰면서 같은 프리픽스를 다시 계산합니다. production-stack은 요청을 전달하기 전에 어느 레플리카에 배치했는지 기록하므로, 뒤따르는 요청이 첫 요청을 따라갈 수 있습니다. 정밀 llm-d도 최근 선택을 기록하지만, 동시에 내려진 결정 때문에 버스트가 분산되는 경우가 있었습니다. GPU를 분리하면 이 트레이드오프가 달라질 수 있습니다.

긴 프리필과 함께 들어오는 짧은 요청

이 워크로드에서 짧은 요청은 약 0.1 s 만에 바로 시작되거나, 8,000 토큰짜리 프롬프트를 아직 프리필하고 있는 레플리카에 도착해 그 프리필이 끝날 때까지 0.6~0.9 s를 기다렸습니다.

Service, Kthena, production-stack에서는 짧은 요청의 11~12%가 이렇게 기다렸습니다. p95는 가장 느린 5%의 경계이므로, 이 세 구성의 p95는 그렇게 기다린 요청 가운데 하나입니다. Service는 651 ms, Kthena는 847 ms, production-stack은 730 ms였습니다. Dynamo, Kinference, 그리고 두 llm-d 구성에서는 기다린 요청이 1% 미만이어서, p95가 180 ms 미만의 평범한 요청에 해당합니다. 중앙값은 95~133 ms 사이를 유지했습니다.

차이는 처리 중인 작업을 라우터가 어떻게 표현하느냐에 있었습니다. 어느 스택에서나 짧은 요청 10건 중 약 4건은 레플리카 가운데 하나에서 긴 프롬프트가 프리필되는 동안 도착했습니다. Service, Kthena, production-stack을 거친 경우에는 그런 요청 4건 중 약 1건이 프리필 중인 레플리카에 도착해 기다렸습니다. Dynamo, Kinference, llm-d를 거친 경우에는 2% 미만이었습니다. Service와, production-stack의 테스트한 프리픽스 모드는 부하를 읽지 않으므로 새로운 짧은 프롬프트를 무작위로 배치했습니다. Kthena의 least-request 플러그인은 토큰이 아니라 요청 수를 세기 때문에, 8,000 토큰을 프리필 중인 레플리카와 짧은 응답을 마무리 중인 레플리카를 같은 무게로 봅니다. 테스트한 Dynamo, Kinference, llm-d 구성은 프롬프트 크기를 반영하므로, 긴 프리필이 짧은 요청보다 더 비싸게 보입니다. Kthena의 p95가 가장 높은 이유는 짧은 요청이 기다려야 할 프리필이 더 많이 남아 있었기 때문입니다. 약 0.8 s였고, production-stack에서는 약 0.56 s였습니다.

대기 자체는 엔진 안에서 일어납니다. vLLM은 기본적으로 긴 프리필이 끝날 때까지 각 스텝의 토큰 예산을 그 프리필에 할당합니다. long_prefill_token_threshold 설정으로 이를 제한할 수 있지만, 저희는 꺼 둔 상태로 두었습니다.

증가하는 도착률

rate-sweep 워크로드는 앞선 요청의 완료 여부와 무관하게 요청을 보냈습니다. 초당 1~6개 요청의 명목 도착률 전체에서 모든 라우터의 p95는 190 ms 미만을 유지했습니다. 각 방문을 해당 프리픽스를 가진 레플리카로 보냄으로써, Service를 거칠 때 발생하는 반복 프리필 작업의 상당 부분을 피했습니다.

초당 6개가 도착할 때 Service는 초당 4.3개의 요청을 완료했고 p95는 10.2 s에 이르렀습니다. 밀린 요청이 부하 생성기의 한도인 처리 중인 요청 96개에 닿았고, 그 결과 실행당 평균 34개의 도착 요청이 버려졌습니다. 이는 테스트한 트래픽에서 과부하가 발생했음을 보여 줍니다. 45초짜리 단계로는 지속 가능한 최대 처리량을 확정할 수 없습니다.

장애와 재시작

엔진 파드 하나를 삭제했을 때 완전히 실패한 요청은 실행당 많아야 1건이었습니다. 이와 별도로 실행당 최대 4건의 응답이 첫 토큰 이후에 끊겼는데, 부하 생성기는 이를 성공으로 집계합니다. Dynamo와 Kinference에서는 이런 응답이 없었습니다. 이것은 정상적인 파드 삭제였으며, 노드 손실이나 GPU 장애, 네트워크 파티션을 테스트한 것은 아닙니다.

라우터 재시작에서는 요청 실패와 라우팅 상태 손실이 모두 드러났습니다. 실패 건수는 클라이언트 동작의 영향을 크게 받았습니다. 연결이 즉시 거부되면 0.5초마다 재시도가 일어났고, Dynamo, Kthena, production-stack으로 향한 일부 연결은 약 133초 동안 멈춰 있었습니다. 따라서 실패한 요청들의 시작 시각 사이의 간격은 장애 지속 시간을 나타내지 않습니다. 라우터 파드를 삭제할 때 진행 중이던 응답은 Kthena와 llm-d에서는 끊겼고, 나머지 세 구성에서는 완료되었습니다.

정밀 llm-d는 재시작 내내 약 99%의 캐시 비율을 유지했습니다. 새로 뜬 피커가 시작할 때 엔진이 버퍼에 보관한 KV 이벤트를 재생했기 때문입니다. Kinference는 약 50%로 떨어졌다가 재시작 후 약 1분 만에 90%를 넘는 수준으로 돌아왔습니다. 테스트한 구성에서는 이벤트 재생을 비활성화한 상태로 두었습니다. 근사 llm-d는 라우팅 이력을 잃은 뒤 68%까지 내려갔습니다. 그림의 비율은 3회 실행을 15초 구간으로 나누어 평균한 값입니다.

Dynamo는 99%로 돌아왔지만, 멈춰 있던 클라이언트 덕분에 트래픽 없이 약 2분 동안 인덱스를 다시 만들 시간이 있었습니다. 이 관측으로는 Dynamo의 복구 속도를 확정할 수 없습니다. Kthena와 production-stack은 배치 이력을 다시 쌓기 위해 새 트래픽이 필요했습니다. 가용성을 비교하기 전에, 클라이언트 연결 타임아웃을 명시적으로 설정하고 재시작을 테스트하세요.

리소스 사용량

워크로드와 반복 전체를 평균하면, 테스트한 모든 스택의 CPU 사용량은 50밀리코어 미만이었습니다. 샘플링한 메모리 피크의 평균은 Kthena 28 MiB, Kinference 29 MiB에서 production-stack 712 MiB까지 분포했습니다.

이 수치는 추가된 라우팅 구성 요소를 대상으로 하며, Dynamo의 오퍼레이터와 Kinference 게이트웨이의 데이터 플레인을 포함합니다. 다만 그 게이트웨이의 컨트롤 플레인 파드 2개는 샘플링하지 않았으므로 포함되지 않습니다. 이 값은 평균이지 리소스 제한이 아닙니다. 10초 간격의 샘플링은 짧은 피크를 놓칠 수 있고, replica-restart 워크로드 중의 측정값은 더 높았습니다. 프로덕션 리소스는 대표성 있는 피크 사용량을 기준으로 산정하세요.

기본값과 튜닝한 설정의 비교

기본 구성이 모두 캐시 어피니티를 유지한 것은 아니었습니다. Dynamo와 production-stack은 라운드 로빈 모드로 시작했고, Kthena의 기본 프리픽스 가중치는 부하 점수 3개와 경쟁했습니다.

Dynamo의 KV 라우팅 프리필 가중치를 바꾸자 shared-prefix p95가 1.22 s에서 155 ms로 줄었습니다. Kthena의 프리픽스 가중치를 올리자 1.18 s에서 147 ms로 줄었습니다. Kinference는 이미 프리픽스를 재사용하고 있었고, 보정은 shared-prefix 레이턴시를 크게 바꾸지 않으면서 예측 정확도를 높였습니다. 기본값의 수치는 3회 실행의 평균이고, 튜닝한 구성의 수치는 5회 실행의 평균입니다.

튜닝은 트레이드오프도 바꾸었습니다. production-stack을 프리픽스 인지 라우팅으로 바꾸자 재사용은 개선되었지만, 고유한 프롬프트의 p95는 1.76 s에서 2.12 s로 올랐고 TTFT 평균은 1.49 s에서 1.25 s로 내려갔습니다. 두 모드 모두 부하를 읽지 않습니다. 라운드 로빈은 레플리카를 차례로 돌고, prefixaware는 알려진 프리픽스가 없는 프롬프트를 무작위 레플리카로 보냅니다. 재사용 가능한 프롬프트와 고유한 프롬프트 모두로 구성을 검증하세요.

어떤 것을 고를까

트래픽과 기존 인프라를 기준으로 선택하세요. 아래 내용은 저희가 테스트한 버전과 구성에 해당합니다.

  • Kubernetes Service: 레플리카가 하나이거나 프리픽스 재사용이 적다면 합리적인 출발점입니다. 프롬프트를 들여다보지 않고 연결만 분산하므로, 요청 크기가 섞여 있거나 큐가 고르지 않다면 부하 인지 라우터를 도입할 이유가 여전히 있을 수 있습니다.
  • Dynamo: 엔진 오케스트레이션이 필요하고 프리필과 디코드를 서로 다른 워커 풀로 분리할 선택지를 원한다면 고려해 볼 만합니다. 이런 기능은 이번 벤치마크의 범위를 벗어납니다. 이번 벤치마크에서는 GPU 하나를 공유하는 통합 워커를 사용했습니다.
  • Kinference: 정책에 따라 로컬 레플리카와 호스팅형 프로바이더 사이에서 선택해야 한다면 고려해 볼 만합니다. 이 기능은 이번 벤치마크에서 테스트하지 않았습니다. 테스트한 릴리스는 Buoyant Gateway 또는 Kinference의 gRPC API를 구현한 클라이언트가 필요하며, API가 알파 단계이고 라우터를 하나만 둘 수 있다는 제한이 있습니다.
  • Kthena: 워크로드 스케줄링에 이미 Volcano를 쓰고 있는 팀에 잘 맞습니다. 저희는 라우터만 테스트했습니다. 프리픽스 어피니티를 높이자 재사용은 개선되었지만, 테스트한 구성은 긴 프리필과 함께 들어오는 짧은 요청의 테일 레이턴시에서 어려움을 겪었습니다.
  • llm-d: Gateway API Inference Extension을 구현한 게이트웨이에 잘 맞습니다. 저희는 Envoy 사이드카가 게이트웨이의 자리를 대신하는 스탠드얼론 모드를 테스트했습니다. 정밀 구성은 축출과 버스트 상황에서 좋은 성능을 보였지만, 엔진의 KV 이벤트가 필요하고, 토큰화와 블록 크기도 서로 호환되어야 합니다.
  • production-stack: 라우팅, 모니터링, 선택 사항인 LMCache 통합을 포함한 vLLM 프로젝트의 배포 스택을 원하는 팀에 잘 맞습니다. 테스트한 prefixaware 모드는 재사용을 우선했지만 부하는 고려하지 않았습니다. LMCache 배치를 기준으로 라우팅하려면 kvaware나 loadaware를 별도로 평가하세요. 이 버전에서는 loadaware만 채팅 messages를 읽습니다.

라우터를 도입하기 전에

레이턴시 목표를 충족하지 못하는 워크로드부터 시작하세요. 첫 토큰 레이턴시, 완료 시간, 실패, 캐시 재사용을 측정하세요. vLLM에서는 고정된 구간에 대해 캐시 비율을 다음과 같이 계산하세요:

sum(rate(vllm:prefix_cache_hits_total[1h])) / sum(rate(vllm:prefix_cache_queries_total[1h]))

두 메트릭 모두 같은 배포와 모델로 범위를 한정하세요. 이 비율에는 콜드 요청이 포함되므로, 반복 방문만 집계한 이 글의 캐시 수치와 직접 비교할 수는 없습니다.

프로덕션 트래픽을 옮기기 전에:

  • 구성을 확인하세요. 모델과 하드웨어에 맞게 부하 추정치를 보정하세요. 라우팅이 엔진의 KV 이벤트를 사용한다면, 이벤트가 전달되는지와 블록 크기가 일치하는지 확인하세요.
  • 대표성 있는 트래픽을 재생하세요. 캐시 압박, 새 프리픽스에 대한 동시 요청, 긴 프리필과 함께 들어오는 짧은 요청을 포함하세요. 허용 가능한 레이턴시와 실패 임계값은 테스트 전에 정해 두세요.
  • 복구를 테스트하세요. 클라이언트 연결 타임아웃을 명시적으로 설정하고, 부하가 걸린 상태에서 라우터를 재시작하세요. 성공한 응답과 캐시 인지 라우팅의 복구를 모두 확인하세요.
  • 가용성 지원 여부를 확인하세요. 라우터 레플리카는 해당 릴리스와 라우팅 구성이 지원하는 경우에만 여러 개 두세요. 테스트한 Kinference 릴리스와 llm-d 정밀 구성에는 라우터를 하나만 둘 수 있다는 제약이 있고, 테스트한 나머지 구성은 프리픽스 이력이나 처리 중인 부하를 각 라우터 프로세스 안에 보관합니다.

저희의 공유 GPU에서는 테스트한 캐시 인지 구성 모두가 반복되는 프리픽스의 레이턴시를 개선했습니다. 더 의미 있는 차이는 경쟁하는 워크로드와 복구 과정에서 나타났습니다. 운영하려는 구성을 이런 경우들로 검증하세요.

FAQ

추론 라우팅에 관해 자주 받는 질문 다섯 가지.

프롬프트가 모두 고유해도 라우터가 도움이 되나요?

프롬프트에 재사용할 프리픽스가 없어도, 대기 중인 작업을 분산해 테일 레이턴시를 줄일 수 있습니다. 공유 GPU 하나에서 진행한 저희 테스트에서는 테일을 줄인 라우터들이 TTFT 중앙값은 더 높았고, 응답 시간 중앙값은 약 5% 더 길었습니다.

캐시 인지 라우터에는 왜 튜닝이 필요한가요?

튜닝은 캐시 재사용과 대기 중인 작업 사이의 균형을 맞춥니다. 적절한 설정은 모델, 하드웨어, 트래픽에 따라 달라집니다.

엔진의 KV 이벤트가 필요한가요?

일부 라우터는 과거 요청으로부터 캐시 위치를 추론합니다. KV 이벤트를 쓰면, 이를 지원하는 라우터가 실제 캐시 변경과 축출을 추적할 수 있습니다.

기존 추론 게이트웨이 뒤에 Kinference를 둘 수 있나요?

테스트한 릴리스는 Buoyant Gateway, 또는 Kinference의 gRPC API를 사용하는 클라이언트를 지원합니다. 다른 게이트웨이는 통합 작업이 필요합니다.

라우터를 도입하기 전에 어떤 결과를 재현해 봐야 하나요?

자신의 트래픽 패턴을 테스트한 다음, 부하가 걸린 상태에서 라우터를 재시작해 보세요. 클라이언트 타임아웃을 명시적으로 설정하고 레이턴시, 실패, 캐시 복구를 확인하세요.

추론 라우팅의 평가와 운영에 도움이 필요하시다면, Todea가 파일럿을 진행하고 그 결과로 구축한 플랫폼을 관리해 드립니다.