起因:机器死了,我不知道

我有一台放在家里的服务器,跑着文件共享、几个自用服务、还有一些说不清来路的东西。它不顺,会挂。

不是"优雅重启"那种挂,是——按了电源键、拔了插头、内核 panic、或者网线被猫扒了。等我想起来用它的时候,才发现它已经安静了几个小时。

我翻了一圈现成的方案,大多在解决"服务进程挂了要重启"这个问题,而我要解决的是整台机器没了:没有进程在跑,没有日志能写,没有任何代码有机会执行。这种情况下,任何装在这台机器上的监控都是无效的——它能告诉你"我病了",但没法告诉你"我死了"。

结论很朴素:从外面看,才能知道它死了。

为什么不做关机通知

最直觉的想法是:关机的时候发条消息不就行了。

我一开始也这么想,查了 systemd 的 Before=shutdown.target,写了个 oneshot。然后意识到这条路根本走不通:

  • 它只在干净关机时执行。断电、panic、kill -9、内核卡死——这些正是最需要通知的场景,一条都不会跑。
  • 就算跑到了,那一刻网络和本地代理已经先被拆掉了。消息发不出去,脚本还得给自己写日志证明自己失败过。

关机钩子解决的是"可预期的停止",而事故从来不可预期。

所以:心跳 + 外部判决

思路反过来:机器活着的时候,每 30 秒冲监控机喊一声"我还在"。喊不动了,就是出事了。

被监控机                                监控中心
hb-ping.timer 每 30 秒
    │  ssh hb@监控机 <机器名>
    ▼
                                     sshd → 强制命令
                                     写 /var/lib/hb/last.<机器名>

                                     hb-check.timer 每 30 秒
                                       age < 90 秒  → 正常
                                       age ≥ 90 秒  → 🔴 告警
                                       恢复         → ✅ 已恢复

判活阈值取 90 秒(三次心跳),是为了容忍重启——我家这台机器 10 天里被按了 9 次电源键,每次关机到开机稳定在 20–32 秒之间。阈值太低的话,我收到的告警会比快递短信还多。

三个关键选择

1. 用 SSH 当传输通道,不用 HTTPS

HTTPS 要域名、要证书、要反向代理。证书过期是最阴险的故障:它不报错,它只是让你的告警全部消失。

SSH 只要目标机有 sshd——Linux 上基本都有,用现成的密钥当凭据,不新开端口,证书永远不会过期。

安全性上用 command= 把公钥锁死,泄露了也只能干一件事——写个时间戳:

command="/usr/local/bin/hb-touch-ssh.sh",no-agent-forwarding,no-port-forwarding,\
no-pty,no-user-rc,no-X11-forwarding ssh-ed25519 AAAA... hb-ping@homeserver

2. 用 timer,不用常驻进程

我最初写的是 while true; do sleep 30; done 的守护脚本。它能跑,但常驻着 2–3MB 内存,就为了每 30 秒干一次 0.6 秒的活。

改成 systemd timer 触发 oneshot 之后,空闲时内存占用是 0——不是"很小",是真的没有任何进程存在。实测单次峰值:心跳 8.5MB、判活 3.7MB、告警 13.6MB,跑完即退。

3. 告警不依赖任何框架

第一版我图省事,直接在监控机上调用了当时装着的 agent 框架来发消息。然后意识到这个设计有个致命的循环依赖:

我要监控的东西挂了,需要用这台机器上的某个进程告诉我。

那个进程自己崩了呢?被我更新坏呢?模型供应商挂了导致它超时呢?只要告警路径上多一个环节,就多一个静默失败的入口。

最后是纯 curl 直发 QQ 开放平台:取 token → POST 消息 → 确认响应里有 id 才算成功。

最后这条很关键。curl 返回 0 不代表消息发出去了:

{"code":100016,"message":"invalid appid or secret"}

HTTP 200,退出码 0,消息丢了,而监控安安静静地显示"一切正常"。我踩过这个坑——凭据配错了,告警静默失效,直到真的出事才发现自己根本没有监控。

现在取 token 失败 exit 3、发送失败 exit 4,失败原因写进日志,status 里能看到。

安装:只回答一个问题

这台机器要监控,那台机器当监控中心——用户不应该关心这种内部结构。所以安装器只有一个问题:

① 监控中心放在哪台机器上?
   1) 另一台服务器 —— 我 SSH 过去帮你装好(推荐)
   2) 就用这台机器 —— 本机既当监控中心又受监控

选 1,填那台机器的地址、账号、密码。剩下的全自动:

  1. 本机生成专用密钥
  2. 先探测那台机器装没装过——装过就只登记本机公钥,跳过整个部署(输出"已接入现有监控中心(没有重复安装)")
  3. 没装过才打包源码,通过同一条 SSH 连接推过去,比对 SHA-256(传坏了自动重传),远端装服务端
  4. 回本机配好定时器,立刻发一次心跳验证

整个过程除了最开始 git clone,不会再访问 GitHub。 远程安装是把本地这份源码打包走 SSH 推过去的,不经过任何外部下载。

一个反直觉的坑:OpenID

QQ 机器人要发私聊消息,需要一个 openid。我以为这是个"去后台复制一下"的事,结果不是:

  • 它不是 QQ 号,不是昵称,后台查不到完整值
  • 它只在有人给这个机器人发过消息之后才会产生

所以我最初在安装向导里问"接收者 OpenID 是多少"这个设计,等于把用户卡死在最后一步——一个正常人根本答不上来。

现在的做法:向导里不问,装完之后自动进入最后一步:

用要接收告警的那个 QQ,给机器人随便发一句话(比如「绑定」)。
我收到后自动记下你的 openid,不用你去后台翻日志。

程序连上 QQ 的 WebSocket 网关,等消息事件,从里面取出 author.user_openid,写进配置,然后回一条确认 + 发一条测试告警。用户全程只在 QQ 里发了一句话。

这个客户端是纯 Python 标准库手写的(约 100 行,TLS + WebSocket 帧编解码),服务器上不需要装任何第三方包。

想踢掉一台机器

装的时候很轻松,那不想监控了呢?只删状态文件是不行的——它 30 秒后自己又回来了,因为它的公钥还躺在 authorized_keys 里。

sudo bash install.sh list              # 看看都有谁
sudo bash install.sh remove testbox    # 删记录 + 撤销公钥

两件事必须一起做。实测:

✓ 已删除 testbox 的心跳记录
✓ 已撤销 1 个对应公钥

# 它再试
Permission denied (publickey).        ← 报不上来了
# 目录里
last.homeserver / lock / notify.log   ← 没有 last.testbox,不会再冒出来

几个花了时间的 bug

写这种东西,功能半小时,边界三小时。

  • 重复告警:30 秒的 timer 加上手动跑一次,两个进程同时看到"超时",各发一条。加 flock 解决,并且先写状态再发送——否则发送途中崩溃会重发。
  • 配置值的引号:配置文件里写 HB_SEND="/usr/local/bin/hb-notify.sh"(因为要被 source),安装脚本用 sed 抓出来时引号也跟着来了,执行时报 No such file or directory——看起来像脚本丢了。取值要执行的东西必须用子 shell source 后再取。
  • 子 shell 吃掉退出码:oid=$(func) 的 func 在子 shell 里跑,函数内设置的全局变量传不出来,于是错误码永远是 0,失败被显示成"退出码 0"。
  • 备份文件变成幽灵机器:我把旧的 last 改名成 last.legacy-<时间戳>,而判活脚本遍历的是 last.*——备份文件被当成了一台新机器,而且时间戳很旧,于是立刻判定它"中断"。改名要在命名空间之外(移到子目录),否则每个 last.* 的消费者都得加一句跳过。

现在的样子

  • 仓库:17 个文件,85 KB
  • 被监控机:hb-ping.timer,每 30 秒,空闲 0 常驻
  • 监控中心:hb-check.timer,每 30 秒判活,90 秒阈值,900 秒重复提醒
  • 告警:纯 curl 直发 QQ,成功判据是响应里有消息 id
  • 命令:status / list / remove / qq / bind / pack

还有两件没做

WebUI 想放在独立仓库,靠三条窄契约对接(读状态文件、读配置、调现成命令),核心仓库只留一个"是否安装"的提问。但它是个常驻进程,20–30MB 内存,跟这个项目"0 常驻"的初衷冲突,所以必须是纯可选。

扫码换凭据做不到。AppID 和 Secret 只存在于机器人后台里,进后台必须人扫码登录,没有任何 API 用一次扫码换凭据。能做的是用无头浏览器去后台抓——几十兆系统库,后台一改版就坏,不值得。


源码:github.com/MIEOEMI/heartbeat-monitor(私有)

它现在安静地跑着,每 30 秒写一个时间戳。我希望它永远只做这件事。