起因:机器死了,我不知道
我有一台放在家里的服务器,跑着文件共享、几个自用服务、还有一些说不清来路的东西。它不顺,会挂。
不是"优雅重启"那种挂,是——按了电源键、拔了插头、内核 panic、或者网线被猫扒了。等我想起来用它的时候,才发现它已经安静了几个小时。
我翻了一圈现成的方案,大多在解决"服务进程挂了要重启"这个问题,而我要解决的是整台机器没了:没有进程在跑,没有日志能写,没有任何代码有机会执行。这种情况下,任何装在这台机器上的监控都是无效的——它能告诉你"我病了",但没法告诉你"我死了"。
结论很朴素:从外面看,才能知道它死了。
为什么不做关机通知
最直觉的想法是:关机的时候发条消息不就行了。
我一开始也这么想,查了 systemd 的 Before=shutdown.target,写了个 oneshot。然后意识到这条路根本走不通:
- 它只在干净关机时执行。断电、panic、
kill -9、内核卡死——这些正是最需要通知的场景,一条都不会跑。 - 就算跑到了,那一刻网络和本地代理已经先被拆掉了。消息发不出去,脚本还得给自己写日志证明自己失败过。
关机钩子解决的是"可预期的停止",而事故从来不可预期。
所以:心跳 + 外部判决
思路反过来:机器活着的时候,每 30 秒冲监控机喊一声"我还在"。喊不动了,就是出事了。
被监控机 监控中心
hb-ping.timer 每 30 秒
│ ssh hb@监控机 <机器名>
▼
sshd → 强制命令
写 /var/lib/hb/last.<机器名>
hb-check.timer 每 30 秒
age < 90 秒 → 正常
age ≥ 90 秒 → 🔴 告警
恢复 → ✅ 已恢复
判活阈值取 90 秒(三次心跳),是为了容忍重启——我家这台机器 10 天里被按了 9 次电源键,每次关机到开机稳定在 20–32 秒之间。阈值太低的话,我收到的告警会比快递短信还多。
三个关键选择
1. 用 SSH 当传输通道,不用 HTTPS
HTTPS 要域名、要证书、要反向代理。证书过期是最阴险的故障:它不报错,它只是让你的告警全部消失。
SSH 只要目标机有 sshd——Linux 上基本都有,用现成的密钥当凭据,不新开端口,证书永远不会过期。
安全性上用 command= 把公钥锁死,泄露了也只能干一件事——写个时间戳:
command="/usr/local/bin/hb-touch-ssh.sh",no-agent-forwarding,no-port-forwarding,\
no-pty,no-user-rc,no-X11-forwarding ssh-ed25519 AAAA... hb-ping@homeserver
2. 用 timer,不用常驻进程
我最初写的是 while true; do sleep 30; done 的守护脚本。它能跑,但常驻着 2–3MB 内存,就为了每 30 秒干一次 0.6 秒的活。
改成 systemd timer 触发 oneshot 之后,空闲时内存占用是 0——不是"很小",是真的没有任何进程存在。实测单次峰值:心跳 8.5MB、判活 3.7MB、告警 13.6MB,跑完即退。
3. 告警不依赖任何框架
第一版我图省事,直接在监控机上调用了当时装着的 agent 框架来发消息。然后意识到这个设计有个致命的循环依赖:
我要监控的东西挂了,需要用这台机器上的某个进程告诉我。
那个进程自己崩了呢?被我更新坏呢?模型供应商挂了导致它超时呢?只要告警路径上多一个环节,就多一个静默失败的入口。
最后是纯 curl 直发 QQ 开放平台:取 token → POST 消息 → 确认响应里有 id 才算成功。
最后这条很关键。curl 返回 0 不代表消息发出去了:
{"code":100016,"message":"invalid appid or secret"}
HTTP 200,退出码 0,消息丢了,而监控安安静静地显示"一切正常"。我踩过这个坑——凭据配错了,告警静默失效,直到真的出事才发现自己根本没有监控。
现在取 token 失败 exit 3、发送失败 exit 4,失败原因写进日志,status 里能看到。
安装:只回答一个问题
这台机器要监控,那台机器当监控中心——用户不应该关心这种内部结构。所以安装器只有一个问题:
① 监控中心放在哪台机器上?
1) 另一台服务器 —— 我 SSH 过去帮你装好(推荐)
2) 就用这台机器 —— 本机既当监控中心又受监控
选 1,填那台机器的地址、账号、密码。剩下的全自动:
- 本机生成专用密钥
- 先探测那台机器装没装过——装过就只登记本机公钥,跳过整个部署(输出"已接入现有监控中心(没有重复安装)")
- 没装过才打包源码,通过同一条 SSH 连接推过去,比对 SHA-256(传坏了自动重传),远端装服务端
- 回本机配好定时器,立刻发一次心跳验证
整个过程除了最开始 git clone,不会再访问 GitHub。 远程安装是把本地这份源码打包走 SSH 推过去的,不经过任何外部下载。
一个反直觉的坑:OpenID
QQ 机器人要发私聊消息,需要一个 openid。我以为这是个"去后台复制一下"的事,结果不是:
- 它不是 QQ 号,不是昵称,后台查不到完整值
- 它只在有人给这个机器人发过消息之后才会产生
所以我最初在安装向导里问"接收者 OpenID 是多少"这个设计,等于把用户卡死在最后一步——一个正常人根本答不上来。
现在的做法:向导里不问,装完之后自动进入最后一步:
用要接收告警的那个 QQ,给机器人随便发一句话(比如「绑定」)。
我收到后自动记下你的 openid,不用你去后台翻日志。
程序连上 QQ 的 WebSocket 网关,等消息事件,从里面取出 author.user_openid,写进配置,然后回一条确认 + 发一条测试告警。用户全程只在 QQ 里发了一句话。
这个客户端是纯 Python 标准库手写的(约 100 行,TLS + WebSocket 帧编解码),服务器上不需要装任何第三方包。
想踢掉一台机器
装的时候很轻松,那不想监控了呢?只删状态文件是不行的——它 30 秒后自己又回来了,因为它的公钥还躺在 authorized_keys 里。
sudo bash install.sh list # 看看都有谁
sudo bash install.sh remove testbox # 删记录 + 撤销公钥
两件事必须一起做。实测:
✓ 已删除 testbox 的心跳记录
✓ 已撤销 1 个对应公钥
# 它再试
Permission denied (publickey). ← 报不上来了
# 目录里
last.homeserver / lock / notify.log ← 没有 last.testbox,不会再冒出来
几个花了时间的 bug
写这种东西,功能半小时,边界三小时。
- 重复告警:30 秒的 timer 加上手动跑一次,两个进程同时看到"超时",各发一条。加
flock解决,并且先写状态再发送——否则发送途中崩溃会重发。 - 配置值的引号:配置文件里写
HB_SEND="/usr/local/bin/hb-notify.sh"(因为要被source),安装脚本用sed抓出来时引号也跟着来了,执行时报No such file or directory——看起来像脚本丢了。取值要执行的东西必须用子 shellsource后再取。 - 子 shell 吃掉退出码:
oid=$(func)的func在子 shell 里跑,函数内设置的全局变量传不出来,于是错误码永远是 0,失败被显示成"退出码 0"。 - 备份文件变成幽灵机器:我把旧的
last改名成last.legacy-<时间戳>,而判活脚本遍历的是last.*——备份文件被当成了一台新机器,而且时间戳很旧,于是立刻判定它"中断"。改名要在命名空间之外(移到子目录),否则每个last.*的消费者都得加一句跳过。
现在的样子
- 仓库:17 个文件,85 KB
- 被监控机:
hb-ping.timer,每 30 秒,空闲 0 常驻 - 监控中心:
hb-check.timer,每 30 秒判活,90 秒阈值,900 秒重复提醒 - 告警:纯 curl 直发 QQ,成功判据是响应里有消息 id
- 命令:
status/list/remove/qq/bind/pack
还有两件没做
WebUI 想放在独立仓库,靠三条窄契约对接(读状态文件、读配置、调现成命令),核心仓库只留一个"是否安装"的提问。但它是个常驻进程,20–30MB 内存,跟这个项目"0 常驻"的初衷冲突,所以必须是纯可选。
扫码换凭据做不到。AppID 和 Secret 只存在于机器人后台里,进后台必须人扫码登录,没有任何 API 用一次扫码换凭据。能做的是用无头浏览器去后台抓——几十兆系统库,后台一改版就坏,不值得。
源码:github.com/MIEOEMI/heartbeat-monitor(私有)
它现在安静地跑着,每 30 秒写一个时间戳。我希望它永远只做这件事。