KubeCon India 2026: 클라우드 네이티브 스택 위의 소버린 AI

뭄바이에서 열린 KubeCon + CloudNativeCon India 2026은 하나의 흐름으로 관통되었습니다. 소버린 AI는 구호가 아닌 아키텍처상의 필요였고, Sarvam과 NPCI 같은 인구 규모 플랫폼이 상용 플랫폼과 동일한 클라우드 네이티브 도구로 부하를 감당했으며, Prometheus, Thanos, Argo CD, vLLM으로 이루어진 CNCF 네이티브 스택이 반복해서 등장했습니다. 이 글에서는 기조연설이 실제로 보여준 것과 다른 환경에도 적용할 수 있는 패턴을 정리합니다.

몇 주 전, 저희는 AWS Summit Seoul 2026: 한국 기업과 에이전틱 AI를 통해 한국 기업들이 어떻게 에이전틱 AI를 프로덕션에 도입하고 있는지 다루었습니다. KubeCon + CloudNativeCon India 2026에서도 비슷한 주제가 등장했지만, 그 양상은 고유한 도전 과제를 안고 있었습니다. 인도의 방대한 인구와 22개 공용어는, 시민을 위한 서비스가 마라티어로 농부에게 답하거나 힌디어로 대출 문의를 처리하는 일을 의미할 수 있으며, 이는 종종 앱이 아니라 전화로 이루어집니다. 이러한 다양성은 다른 성격의 엔지니어링 과제를 만들어 냈고, 이것이 뭄바이 기조연설의 초점을 형성했습니다.

기조연설을 관통한 흐름

'소버린(sovereign)'이라는 단어는 KubeCon India 기조연설에서 자주 등장했고, 두 강연이 이를 직접적으로 부각시켰습니다. Sarvam은 인도 전역을 위한 소버린 AI를 구축하는 일을 이야기했고, National Payments Corporation of India(NPCI)는 클라우드 네이티브 기술이 이제 대규모 소버린 AI를 위한 필수 인프라가 되었음을 강조했습니다. 이 흐름은 인도에만 국한되지 않습니다. 2025년 11월 서울에서 열린 Naver Cloud의 DAN25 콘퍼런스에서도 CEO Kim Yuwon을 비롯한 여러 발표자가 소버린 AI에 초점을 맞추며, 이를 자국의 언어, 데이터, 산업을 이해하는 기업이 만드는 버티컬 모델로 설명했습니다. 이 개념이 서울과 뭄바이에서 독립적으로 등장했다는 사실은, 소버린 AI가 이제 단순한 구호가 아니라 아키텍처상의 필요가 되었음을 보여줍니다.

이 행사에서 규모는 당연히 예상되는 것이었지만, 그것이 핵심 주제는 아니었습니다. 모든 기조연설이 대규모 운영을 다루었으나, 그 방식이 모두 같지는 않았습니다. Sarvam과 NPCI는 전체 인구를 대상으로 한 서비스에 초점을 맞춘 반면, Flipkart, Rapido, JioHotstar는 대형 상용 플랫폼을 대표했습니다.

Sarvam의 소버린 AI 접근 방식은 정책에 뿌리를 두고 있습니다. Sarvam은 IndiaAI Mission의 Innovation Center 부문에 선정된 12개 조직 중 하나로, ₹246.72 crore 규모의 자금과 컴퓨팅 자원을 지원받고 있습니다. Sarvam은 Bulbul(39개 음성으로 11개 인도 언어를 지원하는 텍스트 음성 변환)과 Saaras(22개 지정 언어 전체를 지원하는 음성 텍스트 변환) 같은 핵심 언어 및 음성 모델을 구축하고 있습니다.

엔터프라이즈 기조연설이 실제로 보여준 것

Sarvam의 Avi Kothari와 Vinayak Gavariya는 인도가 필요로 하는 대화형 AI 플랫폼을 22개 언어로 설명했습니다. 농부가 자신의 작물을 확인하는 마라티어부터, 시민이 정부 제도에 접근하는 타밀어, 대출 문의를 위한 힌디어에 이르기까지 다양합니다. 그들이 언급한 규모는 하루 수백만 건의 API 호출과 음성 대화였으며, 이를 1초 미만의 지연 시간으로 처리하면서도 감사 가능성을 유지해야 했습니다. 그리고 이를 구체적인 배포 사례로 뒷받침했는데, 단 24일간의 캠페인에서 1,700만 명의 농부에게 도달한 전국 작물 검증 프로그램이 그것입니다. 다음 시즌에는 8,000만 명의 농부로 확대하는 로드맵도 함께 제시했습니다. 스택은 전부 CNCF였습니다. 제로 트러스트 서비스 메시를 위한 Linkerd, 이벤트 스트리밍을 위한 Strimzi 관리형 Kafka, 약 20개 컴포넌트에 걸친 GitOps 배포를 위한 Argo CD와 Helm, 멀티 클러스터 통합 관측성을 위한 Prometheus와 Thanos, 그리고 기록 데이터베이스로서의 CloudNativePG가 사용되었습니다.

NPCI의 Tittu Varghese는 인구 규모(population-scale)가 결제에서 무엇을 의미하는지 부각시켰습니다. NPCI는 월 240억 건 이상의 트랜잭션과 하루 7억 건의 결제를 처리합니다. 또한 Kubernetes, Kubeflow, Prometheus, vLLM, OpenStack, NVIDIA AI 플랫폼을 활용해 1초 미만의 속도로 실시간 사기 탐지를 운영합니다. 이는 AI 추론이 필수적인 국가 인프라의 일부가 된 가장 명확한 사례였습니다.

Flipkart의 세션은 AI 추론보다 신뢰성에 초점을 맞췄습니다. Reliability Engineering 팀은 LitmusChaos 프로젝트를 활용해 중앙집중형 멀티 테넌트 카오스 엔지니어링 플랫폼을 구축하여 수백 개의 마이크로서비스를 강화했습니다. 그들은 Litmus를 네 가지 방식으로 커스터마이징했습니다. 하이브리드 멀티 테넌시 구성, 카오스 주입을 위한 DaemonSet 기반 고가용성 모델, 동적 대상 선택을 위한 Script Runner, 그리고 Kubernetes 외부의 VM 워크로드를 위한 하이브리드 확장입니다. 이러한 노력은 CNCF End User Case Study Contest에서 우승하며 무대에서 인정받았습니다. 그들은 약 90%의 카오스 실험을 스테이징 클러스터로 옮겼고, 데이터베이스 인덱스 및 중복 이름 검증 개선을 포함한 5건의 수정 사항을 업스트림에 기여했습니다.

Rapido와 JioHotstar는 소비자 규모의 사례를 더 보여주었습니다. Rapido의 CTO인 Srivatsa Katta와 Adarsh K Kumar는 인도 최대의 택시 플랫폼에 대해 이야기했는데, 이 플랫폼은 실시간으로 승객과 기사를 매칭하며 하루 400만 건 이상의 운행을 처리합니다. 그들의 시스템은 150개 이상의 마이크로서비스 위에서 동작하며 Kubernetes, Istio, Prometheus, Thanos, Cert Manager, External DNS를 활용해 초당 200,000건의 요청을 처리합니다. JioHotstar의 Pradeep Bishnoi는 대형 이벤트 동안 전 세계 다수의 클러스터에 걸쳐 Kubernetes, Amazon EKS, OpenTelemetry, Karpenter, Envoy Gateway를 활용해 5,000만~6,000만 명의 사용자에게 라이브 크리켓을 동시에 스트리밍하는 방법을 설명했습니다. 그는 또한 대화형 Kubernetes 트러블슈팅과 더 스마트한 SRE 자동화 같은 새로운 AI 기반 기능도 미리 선보였습니다.

계속 등장한 GPU 문제

또 다른 핵심 주제는, AI 워크로드의 주된 과제가 충분한 GPU를 확보하는 것이 아니라 GPU를 효율적으로 사용하는 것이라는 점이었습니다. vCluster의 Saiyam Pathak은 컨테이너, 오토스케일링, 멀티 테넌시, RBAC은 이미 해결되었지만, Kubernetes는 워크로드가 GPU의 10%만 필요로 하더라도 여전히 GPU 전체를 요구한다고 설명했습니다. 그의 해법은 물리 GPU를 메모리 기반 슬라이스로 분할하는 HAMi, 그리고 Kubernetes가 GPU를 단순한 개수 이상으로 다룰 수 있게 하는 DRA입니다. 그는 이를 라이브로 시연했는데, MacBook으로 NVIDIA DGX Spark를 제어하여 단일 Blackwell GPU에서 두 팀을 위한 두 개의 오픈소스 LLM을 동시에 실행했습니다. 다른 세션에서는 Red Hat의 Ravindra Patil이 llm-d를 통해 라우팅 계층에서 동일한 문제를 다루었습니다. 그는 이를, 반복되는 프롬프트를 여러 파드에 분산시켜 불필요한 캐시 재로딩을 유발하는 기본적인 라운드 로빈 밸런서와 비교했습니다. 대신 llm-d는 각 요청을 이미 필요한 캐시를 보유한 파드로 보내거나(cache-aware), 새로 시작하는 경우 부하가 가장 적은 파드로 보내며(load-aware), 스크레이퍼, 필터, 스코어러로 이루어진 파이프라인을 사용해 최적의 대상을 선택합니다. 이 방식은 중복 캐시 로딩을 줄이고 P95/P99 지연 시간을 개선했습니다.

반복적으로 등장한 CNCF 네이티브 스택

여러 프로젝트가 서로 다른 기조연설에 등장했습니다. Prometheus는 거의 모든 강연에서 언급되었고, 멀티 클러스터 관측성을 위해 Thanos와 함께 쓰이는 경우가 많았습니다. Argo CD는 GitOps 배포의 주요 도구였습니다. vLLM은 추론을 담당했고, GPU 분할(HAMi, DRA, KAI-Scheduler)에 관한 논의는 AWS Summit Seoul에서 다룬 Dynamic Resource Allocation 주제와 맞닿아 있었습니다. 서비스 메시는 폭넓게 사용되었으며, 기업들은 Linkerd와 Istio 사이에서 선택했습니다.

기억해 둘 만한 테마

몇 가지 핵심 패턴이 드러났습니다. 첫째, 소버린티(sovereignty)는 단순한 유행어가 아니라 핵심 아키텍처상의 필요가 되었으며, 이 개념은 뭄바이의 Sarvam과 NPCI부터 서울의 Naver DAN25에 이르기까지 여러 지역에 걸쳐 등장하고 있습니다. 둘째, Sarvam의 수백만 농부나 NPCI의 하루 7억 건 결제처럼 그 규모가 진정으로 인구 규모에 이르렀을 때, Flipkart, Rapido, JioHotstar가 상용 트래픽에 사용하는 것과 동일한 클라우드 네이티브 도구들이 그 부하를 감당했습니다. 셋째, GPU 과제는 충분한 하드웨어를 확보하는 것에서 그것을 더 잘 활용하는 것으로 옮겨갔으며, HAMi, DRA, KAI 같은 솔루션이 Kubernetes로 하여금 분할 가능하고 능력을 인식하는(capability-aware) GPU를 관리할 수 있게 돕고 있습니다. 가장 중요한 시사점은, 이 가운데 어느 것도 오직 AI만을 위해 새로 구축한 인프라에 의존하지 않는다는 점입니다. 핵심은 기존 CNCF 스택을 잘 활용하는 데 있습니다.