Skip to content
Kubernetes上のAIインフラ

確かな基盤に、AIを築く。

AIと業務アプリケーションのためのKubernetesプラットフォームを、設計・構築・運用します。スタック全体が連携して動くことまで責任を持つ、一つのエンジニアリングパートナーです。

エンジニアに相談する

簡単なお問い合わせフォームが開きます。1〜2営業日以内にエンジニアがご返信します。

プラットフォーム準備度診断から始める

本番環境のために設計されたAIインフラ。

多くのプラットフォームは、GPUも、モデルも、その両方を問う監査人も想定して作られていません。Todeaは、AIを本番へ運ぶKubernetes基盤を設計・運用し、その上で動く他のすべてのサービスも止めずに支えます。

GPUスケジューリング・共有

上限を確実に適用したGPU分割、厳密な分離が必要な場面ではMIG、ネイティブAPIとしてDRAを使い、1枚のGPUで複数のワークロードを動かします。

モデルサービング

モデルとトラフィックに合わせて調整したサービングエンジン、重みが1ノードに収まらない場合のマルチノードレプリカ、そしてCPUではなくキュー長に基づくオートスケーリング。

推論ルーティング

KVキャッシュとキューのメトリクスに基づいてルーティングし、LoRAアダプターを配信し、複数のモデルを1つのOpenAI互換エンドポイントにまとめるゲートウェイ。

AIの可観測性

最初のトークンまでの時間、出力トークンあたりの時間、GPUテレメトリーを並べて可視化し、ユーザーが実際に体感する指標でアラートを出します。

GPUコスト・キャパシティ

チーム・モデル別の割り当てと実際の利用率の比較、予算レビューにも耐えるチャージバック、実測の需要に基づくキャパシティ計画。

ソブリンAI・閉域網

ミラーリングしたレジストリ、オフラインのモデルストア、署名済みアーティファクト、アドミッションポリシーで、境界の外に出せないAIを支えます。

Todeaを選ぶ理由

スタック全体の連携に責任を持つ、一つのエンジニアリングパートナー。

本番環境の問題が、一つのコンポーネントの中で完結することはまれです。AIワークロードでも、それ以外のシステムでも、すべての契約は3つの約束に基づいています。

  1. プラットフォーム全体にわたる責任

    問題がネットワーク、サービスメッシュ、クラスター、貴社のワークロードにまたがるとき、調査と修正を当社が主導します。ベンダーやアップストリームのプロジェクトへのエスカレーションも含みます。

    障害対応の進め方
  2. 貴社のニーズに合わせて選ぶ技術

    要件、既存の投資、チームのスキル、コストを比較検討し、トレードオフをご説明します。既にお使いのツールが適していれば、そのまま活かします。

    意思決定の考え方
  3. 経験豊富なエンジニアによるプラットフォーム運用

    当社のエンジニアがプラットフォームの構成、保守、アップグレード、改善を行い、インシデントにも対応します。社内にプラットフォームチームを組織する必要はありません。

    当社が担う運用

このような状況からご相談ください

Todeaが解決する4つの状況。

一つでも心当たりがあれば、対応するサービスをご用意しています。どのサービスも、エンジニアとの対話から始まります。

「GPUはすべて割り当て済みなのに、ほとんど遊んでいます。」

GPU1枚単位のリクエストが、本来の能力の一部しか使わないアクセラレーターを丸ごと占有しています。実際の利用率を測定したうえで、共有・キューイング・ビンパッキングを導入し、追加購入の前に容量を取り戻します。

AIインフラ

「デモでは動きます。本番環境はまったく別の話です。」

レイテンシー目標、オートスケーリング、ロールアウト、KVキャッシュを理解するルーティングまで。貴社のモデルを支えるサービング基盤を構築し、ドキュメントとともに引き渡します。その後の運用は貴社のものです。

導入プロジェクト

「障害が起きると、プロバイダー間でたらい回しにされます。」

各プロバイダーは自社の担当部分を正常だと報告する一方で、アプリケーションの障害は続いています。当社はコンポーネントをまたいで責任を持ち、調査を主導し、ベンダーやアップストリームのプロジェクトとのやり取りを担い、修正を最後までやり遂げます。

マネージドプラットフォーム

「プラットフォームは構築しましたが、運用が追いついていません。」

アップグレード、パッチ適用、インシデント対応、日々の変更作業は、当社のエンジニアが引き受けます。運用に追いつくために、プラットフォームチームを新たに採用する必要はありません。貴社のプラットフォームに合わせてスコープを定める、12ヶ月のパートナーシップです。

マネージドプラットフォーム

フィールドノート

運用しているものについて書いています。

これらのプラットフォームを構築するエンジニアによる実践ガイド。仕組み、トレードオフ、そして本番環境で何が壊れるのか。

すべての記事

AIワークロードも、それ以外のすべてを支えるプラットフォームも。

プラットフォームの現状をお聞かせください。

エンジニアに相談する

簡単なお問い合わせフォームが開きます。1〜2営業日以内にエンジニアがご返信します。

プラットフォーム準備度診断から始める