장애 기록
SEV2 · 로드 밸런서, 인그레스, 서비스 메시
설명용 예시
인그레스 컨트롤러 업그레이드 후 체크아웃에서 간헐적인 502 오류.
감지
체크아웃에서 오류율 알림이 발생합니다. 로드 밸런서, 인그레스, 파드는 모두 정상으로 보고됩니다.
완화
임시 조치로 인그레스 컨트롤러를 이전 버전으로 롤백합니다. 오류율이 평소 수준으로 돌아옵니다.
원인 파악
프록시 로그를 보면, 새 버전은 서비스로 향하는 유휴 연결을 메시 프록시보다 오래 열어 두어, 일부 요청이 메시가 이미 닫은 연결을 재사용합니다.
에스컬레이션과 수정
변경된 기본값을 인그레스 프로젝트에 보고하고, 각 홉이 다음 홉보다 먼저 유휴 연결을 닫도록 Git에서 유휴 타임아웃을 맞춘 뒤, 변경 절차를 거쳐 업그레이드를 다시 적용합니다.
재발 방지
업스트림 연결 리셋에 대한 알림을 추가하고 업그레이드 런북에 타임아웃 점검을 넣은 뒤, 귀사 팀과 함께 장애를 리뷰합니다.
담당 · Todea 플랫폼 팀, 알림부터 리뷰까지
귀사 팀 · 단계마다 진행 상황을 공유받고, 변경 시간대를 승인
공유 추적 시스템에 기록: 컴플라이언스, 장애 리뷰, 계획에 쓰이는 하나의 공동 이력.