跳到主要内容

1 篇博文 含有标签「SRE」

查看所有标签

半夜里 P1 事故群里失控,事故到哪一步没人能答

· 阅读需 7 分钟

开场

凌晨 2 点,值班的小周刚看完一轮监控曲线,准备去倒杯水。运维群里弹出第一条 P1 告警——"支付回调链路数据库连接池告警"。他放下水杯,回了句"看到了",开始在群里同步。

5 分钟内,运维群、业务群、上游链路群同时炸开。告警截图、监控曲线、日志片段、临时方案、互相追问——所有信息都按时间顺序混在同一条消息流里。

20 分钟过去,群消息刷过 200 条。

业务方在群里 @ 小周:"事故处理到哪一步了?"

小周翻了一下聊天记录,迟疑了 5 秒。

没人能一句话答清楚。

凌晨 2 点值班现场:群里消息刷屏,值班同学看着屏幕