凌晨两点,手机突然开始疯狂弹告警:CPU 使用率持续 15 分钟超过 95%。连上 SSH 的那一刻,敲个 ls 都要卡三秒才出结果。这大概是每个运维人最不愿面对的噩梦场景。
更诡异的是,当你打开 top 命令想看看是谁在作妖时,却发现排行第一的进程名字很正常——kworker、dbus-daemon,甚至干脆就是一串乱码。你想 kill 掉它,它换个 PID 又满血复活。恭喜你,大概率是中了挖矿木马,而且对方还做了进程隐藏。
这篇文章,站长结合自己踩过的坑和帮朋友救火的经验,把高 CPU 占用排查和恶意挖矿木马隐藏进程的对抗思路一次性讲透。
一、先别急着 top,这几个问题你大概率会碰到
💡 推荐阅读:Nginx 多域名与泛域名证书怎么配才不踩坑?三套方案实测对比,看完直接上手
Q1:top 里看不到高占用进程,但 CPU 就是 100%,怎么回事?
这是最经典的“隐藏进程”场景。恶意程序通过 LD_PRELOAD 劫持 或 替换系统命令(比如把 ps、top、netstat 换成阉割版),让这些工具主动“过滤”掉自己的 PID。
你看到的 top 输出是假的。真实情况是:木马进程在疯狂跑 xmrig 或者 kdevtmpfsi,但 top 假装看不见。
Q2:kill -9 杀掉了,过几分钟又自动起来,像打不死的小强
因为它有守护进程或者定时任务在盯着。常见套路包括:
- 写入了
/etc/crontab或/var/spool/cron/下的定时任务,每分钟拉起一次; - 注册了 systemd 服务,伪装成
systemd-networkd之类的名字; - 父进程和子进程互相守护,杀一个另一个立刻重启它。
Q3:/tmp 目录下有奇怪的可执行文件,删了又出现
挖矿木马最爱 /tmp、/dev/shm、/var/tmp 这三个目录,因为权限宽松、不易被注意。如果你发现这些目录下有随机命名(比如 kworker、.X11-unix 变体)的可执行文件,基本可以实锤。
Q4:服务器对外发起大量陌生连接,甚至被服务商封了 IP
挖矿木马通常还带蠕虫传播模块,会扫描内网和公网 IP 的 22、6379、2375 等端口,尝试横向感染。一旦被云厂商检测到异常外联,轻则限速,重则直接封机器。
二、根因剖析:木马是怎么藏起来的?
💡 延伸阅读:Docker 容器把服务器内存吃满了?别急着重启,先按这套路子摸一遍
知己知彼,才能精准打击。Linux 下恶意挖矿木马隐藏进程的核心手段就那么几种:
| 隐藏手段 | 原理 | 典型现象 |
|---|---|---|
| LD_PRELOAD 劫持 | 通过 /etc/ld.so.preload 加载恶意 .so 文件,劫持 readdir 等系统调用 |
ps/top/ls 看不到特定 PID 或文件 |
| 替换系统命令 | 把 /usr/bin/top、/bin/ps 替换成过滤版 |
命令输出明显偏少,文件修改时间异常 |
| 进程名伪装 | 把进程名改成 [kworker/0:1] 等内核线程格式 |
top 里出现带方括号的“内核进程”却占用极高 CPU |
| 挂载隐藏 | 通过 mount --bind 把恶意目录挂到空目录上 |
du 和 df 结果对不上 |
其中 LD_PRELOAD 劫持 是最阴险的。你检查 /etc/ld.so.preload 这个文件,如果里面有一行指向某个 .so 路径,那你的系统命令已经被“戴上了眼罩”。
三、实战排查:五步揪出隐藏的挖矿进程
💡 深度技术指南:告别宝塔面板:用 Docker Compose 把 WordPress 和 MySQL 打包成一条命令的私房教程
第一步:用“干净”的工具看真实进程
既然系统自带的 ps 和 top 可能被污染,我们就用 /proc 文件系统直接读。每个进程在 /proc/<PID>/ 下都有记录,木马很难完全隐藏这里。
# 查看所有进程的真实命令行,按 CPU 时间排序
for pid in /proc/[0-9]*; do
if [ -r "$pid/stat" ]; then
cmd=$(tr '\0' ' ' < "$pid/cmdline" 2>/dev/null)
utime=$(awk '{print $14+$15}' "$pid/stat" 2>/dev/null)
echo "$utime $pid $cmd"
fi
done | sort -rn | head -20
如果看到某个进程的 cmdline 是空的或者乱码,但 CPU 时间极高,重点标记它。
第二步:检查 LD_PRELOAD 劫持
# 查看是否有恶意预加载
cat /etc/ld.so.preload
# 正常应该报“No such file”或者为空
# 检查环境变量
echo $LD_PRELOAD
env | grep -i preload
如果 /etc/ld.so.preload 里有内容,先备份再清空:
mv /etc/ld.so.preload /etc/ld.so.preload.bak
# 然后重新登录或 source 一下,再用 top 看
第三步:检查定时任务和 systemd 服务
# 查看所有用户的 crontab
for user in $(cut -f1 -d: /etc/passwd); do
crontab -u $user -l 2>/dev/null | grep -v '^#'
done
# 查看系统级定时任务
cat /etc/crontab
ls -la /etc/cron.d/ /etc/cron.hourly/ /etc/cron.daily/
# 查看可疑 systemd 服务
systemctl list-units --type=service | grep -v 'systemd\|dbus\|network'
ls -la /etc/systemd/system/ | grep -v '^d'
重点看那些名字像 sysupdate、networkservice、kdevtmpfsi 的服务,以及指向 /tmp 或 /dev/shm 的 ExecStart 路径。
第四步:检查网络连接和文件
# 查看异常外联(挖矿池通常连 3333、5555、7777 等端口)
ss -antp | grep -E 'ESTAB|SYN'
# 检查 /tmp /dev/shm /var/tmp 下的可执行文件
find /tmp /dev/shm /var/tmp -type f -executable -ls 2>/dev/null
# 检查最近被修改的系统命令
find /usr/bin /bin /usr/sbin -mtime -7 -type f -ls
第五步:清理与加固
确认恶意进程后,按以下顺序操作:
- 先停掉守护:删除恶意 crontab、禁用恶意 systemd 服务;
- 再杀进程:
kill -9 <PID>,如果父进程守护,先杀父再杀子; - 删除恶意文件:
/tmp、/dev/shm下的可执行文件,以及被替换的系统命令; - 恢复被替换的命令:从同版本系统的干净机器上拷贝,或
yum reinstall coreutils procps-ng; - 检查 SSH 密钥:
cat ~/.ssh/authorized_keys,删除陌生公钥; - 修改所有密码,包括 root、数据库、SSH 端口。
四、预防建议:别等中招了才后悔
说句实在话,挖矿木马能进来,99% 是因为弱密码和未修复的漏洞。站长见过太多人用 123456 做 root 密码,或者 Redis 直接暴露在公网不加密码。以下几条是底线:
- SSH 禁止 root 密码登录,改用密钥对,改默认 22 端口;
- Redis、Docker、MySQL 绝不裸奔在公网,必须绑内网或加防火墙规则;
- 定期更新系统,尤其是内核和常用服务;
- 安装轻量级 HIDS,比如开源的
Osquery或云厂商自带的主机安全agent; - 选择靠谱的云服务器,大厂的安全组和流量清洗能力能帮你挡掉不少自动化扫描。别贪便宜买那种来路不明的“高防服务器”,很多时候它们本身就是肉鸡。
另外,如果你在运营网站,域名和服务器都建议走正规渠道。黑灰产团伙最喜欢盯着那些用廉价资源、长期不维护的站点下手,一旦被入侵,不光 CPU 被吃满,你的域名还可能被用来做钓鱼跳板,得不偿失。
最后说一句,遇到高 CPU 占用先别慌着重装系统。重装虽然能解决 99% 的问题,但如果不搞清楚入侵路径,下次照样中招。按上面的步骤走一遍,你不仅能清掉木马,还能顺带把服务器的安全水位提上一截。