インシデント記録
SEV2 · ロードバランサー、Ingress、サービスメッシュ
説明用の例
Ingressコントローラーのアップグレード後、チェックアウトで502エラーが断続的に発生。
検知
チェックアウトのエラー率アラートが発火します。ロードバランサー、Ingress、Podはいずれも正常を示しています。
緩和
一時的な措置として、Ingressコントローラーを以前のバージョンにロールバックします。エラー率は平常時の水準に戻ります。
原因の特定
プロキシのログから、新バージョンがサービスへのアイドル接続をメッシュのプロキシより長く保持するため、一部のリクエストがメッシュ側で既に閉じられた接続を再利用していることが分かります。
エスカレーションと修正
変更されたデフォルト値をIngressのプロジェクトに報告し、各ホップが次のホップより先にアイドル接続を閉じるよう、Gitでアイドルタイムアウトを揃えます。そのうえで、変更プロセスを通じてアップグレードを再適用します。
再発防止
アップストリーム接続のリセットを検知するアラートと、アップグレード用ランブックへのタイムアウト確認手順を追加し、貴社チームとインシデントを振り返ります。
担当 · Todeaプラットフォームチーム(アラートからレビューまで)
貴社チーム · 各ステップで報告を受け、変更作業の時間枠を承認
共有トラッキングシステムに記録。コンプライアンス、障害レビュー、計画に使える共通の履歴です。