故障记录
SEV2 · 负载均衡器、Ingress 与服务网格
说明性示例
Ingress 控制器升级后,结账服务间歇性出现 502 错误。
发现
结账服务触发错误率告警,而负载均衡器、Ingress 与 Pod 均报告健康。
缓解
作为临时措施,我们将 Ingress 控制器回滚到先前的版本,错误率恢复到基线水平。
定位根因
代理日志显示,新版本与后端服务之间的空闲连接保持时间比服务网格代理更长,导致部分请求复用了服务网格已经关闭的连接。
上报与修复
我们向 Ingress 项目报告这一默认值的变化,在 Git 中统一调整空闲超时,使每一跳都比下一跳更早关闭空闲连接,再通过变更流程重新应用升级。
防止复发
我们为上游连接重置添加告警,在升级运维手册中加入超时检查,然后与贵司团队一起复盘此次故障。
负责人 · Todea 平台团队,从告警到复盘全程负责
贵司团队 · 每一步都及时获知进展;批准了变更窗口
记录在共享跟踪系统中:一份可用于合规、故障复盘与规划的共同记录。