跳到主要内容

2 篇博文 含有标签「告警中心」

查看所有标签

半夜里 P1 事故群里失控,事故到哪一步没人能答

· 阅读需 7 分钟

开场

凌晨 2 点,值班的小周刚看完一轮监控曲线,准备去倒杯水。运维群里弹出第一条 P1 告警——"支付回调链路数据库连接池告警"。他放下水杯,回了句"看到了",开始在群里同步。

5 分钟内,运维群、业务群、上游链路群同时炸开。告警截图、监控曲线、日志片段、临时方案、互相追问——所有信息都按时间顺序混在同一条消息流里。

20 分钟过去,群消息刷过 200 条。

业务方在群里 @ 小周:"事故处理到哪一步了?"

小周翻了一下聊天记录,迟疑了 5 秒。

没人能一句话答清楚。

凌晨 2 点值班现场:群里消息刷屏,值班同学看着屏幕

10 条告警背后其实是 1 个问题,如何高效治理

· 阅读需 12 分钟

10 条里真正该接哪 1 条

发布刚结束,告警列表已经刷出一排红色状态。

主机指标在抖,应用错误率在涨,日志平台也在冒异常,群里几分钟就被不同来源的提醒顶满了。平台排障同学老钱盯着列表,没有立刻去逐条认领。不是他反应慢,而是他知道,这种时候最怕的不是没人看到问题,而是所有人都被 10 条看起来同样着急的告警同时拉走注意力

真正困难的地方,很少是“有没有发现异常”。

真正困难的地方是:这 10 条里,到底哪一条才是处理单位。