做站长这些年,最怕半夜收到监控告警:CPU飙红、负载爆表、网站打开慢如蜗牛。SSH连上去,面对黑漆漆的终端,很多朋友第一反应就是“重启试试”——重启能解决90%的问题,但剩下那10%,才是真正要命的性能瓶颈。今天笔者就把压箱底的排查套路掏出来,围绕top、htop、iotop这三个命令,带你从“瞎猜”进化到“精准定位”。
为什么你的服务器总是“假死”?先搞懂这三个指标
💡 推荐阅读:WordPress 打开慢到想砸键盘?我花了两天实测 Redis 缓存和页面加速,说点大实话
在进入问答之前,先给不太熟悉的朋友补个底。排查Linux性能,核心盯三样东西:CPU使用率、内存占用、磁盘I/O。很多新手只看CPU,一看不高就觉得没问题,结果网站还是卡——其实瓶颈往往在磁盘I/O或者内存交换上。这也是为什么单靠一个top不够,得配合htop和iotop一起看。
Q1:top命令里load average都冲到20了,但CPU使用率才30%,到底谁在捣鬼?
根因剖析:这是最经典的误区。Load Average高不代表CPU忙,它统计的是运行队列中等待CPU的进程数 + 等待磁盘I/O的进程数。如果CPU空闲但负载高,说明大量进程卡在I/O等待上,磁盘很可能是瓶颈。
解决方案:在top界面按1展开每个CPU核心,然后观察%wa(I/O等待)这一列。
top - 10:23:45 up 30 days, 2:14, 3 users, load average: 18.20, 15.33, 12.10
Tasks: 245 total, 2 running, 243 sleeping, 0 stopped, 0 zombie
%Cpu(s): 12.3 us, 5.1 sy, 0.0 ni, 45.6 id, 35.2 wa, 0.0 hi, 1.8 si, 0.0 st
看到wa高达35.2了吗?说明CPU有三分之一的时间在干等磁盘。这时候别犹豫,立刻上iotop。
Q2:iotop显示某个进程磁盘读写爆表,但我不敢杀,怎么确认它在干什么?
根因剖析:iotop能直接按I/O排序,揪出读写大户。常见元凶包括:日志疯狂写入、数据库刷盘、备份脚本跑飞了、或者某个应用内存泄漏导致频繁swap。
解决方案:先用iotop定位进程PID,再用lsof或ls -l /proc/PID/fd看它到底在读写哪个文件。
# 安装iotop(CentOS为例)
yum install iotop -y
# 只显示有I/O活动的进程,每2秒刷新
iotop -o -d 2
# 输出示例
Total DISK READ: 45.2 M/s | Total DISK WRITE: 120.8 M/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
8821 be/4 mysql 12.3 M/s 98.5 M/s 0.00 % 85.21 % mysqld
9012 be/4 root 0.0 B/s 22.3 M/s 0.00 % 12.45 % rsync
如果发现是mysqld在疯狂写,八成是慢查询或者innodb刷脏页太猛;如果是rsync,可能是备份任务撞上了业务高峰。这时候要么优化SQL,要么调整备份时间窗口。
Q3:htop比top好用在哪?为什么老运维都推荐装一个?
根因剖析:top虽然经典,但交互反人类,颜色单调,不支持鼠标,横向滚动费劲。htop相当于top的现代化升级版:彩色进度条、支持鼠标点击、树状显示进程父子关系、一键kill、搜索过滤,排查问题时效率翻倍。
解决方案:装就完了,基本所有发行版仓库都有。
# Debian/Ubuntu
apt install htop -y
# CentOS/RHEL需要epel源
yum install epel-release -y && yum install htop -y
打开htop后,按F6可以按CPU%、MEM%、TIME等排序,按F4输入关键字过滤进程,按F9直接发信号杀进程。笔者习惯把htop设为默认,top只用来跑脚本采集。
Q4:内存明明还剩很多,为什么系统开始用swap了?
根因剖析:Linux的内存管理策略是“不用白不用”,会把空闲内存拿去做文件缓存(buff/cache)。当应用程序需要内存时,内核会回收缓存。但如果available内存不足,或者vm.swappiness参数设置过高,系统就会提前把不常用的内存页换到swap,导致磁盘I/O飙升、响应变慢。
解决方案:在top或htop里重点看MiB Mem和MiB Swap两行。如果swap used持续增长,且si/so(swap in/out)不为零,说明内存真的不够了。
# 临时调整swappiness(默认60,建议改10)
sysctl vm.swappiness=10
# 永久生效
echo "vm.swappiness=10" >> /etc/sysctl.conf
sysctl -p
如果调整后swap依然猛涨,别硬撑了,升级服务器内存或者排查内存泄漏才是正道。笔者见过太多人为了省几十块钱,硬扛着2G内存跑MySQL+PHP,最后时间全耗在排查卡顿上,得不偿失。选择云服务器时,内存和磁盘IOPS往往比CPU更重要,建议至少选择SSD云盘且内存预留30%以上余量。
实战:一次完整的性能瓶颈排查流程
💡 延伸阅读:Docker镜像动辄几个G?你可能从第一步就写错了
光说不练假把式,笔者还原一个真实案例:某天网站响应超时,监控显示CPU 40%、负载15。
- 第一步:top看全局。发现
%wa高达40%,load average 15,初步判断I/O瓶颈。 - 第二步:iotop定位进程。发现mysqld磁盘读高达80M/s,写入30M/s。
- 第三步:htop看进程树。按F5树状模式,发现mysqld下面挂了一堆sleep状态的查询进程。
- 第四步:进MySQL看慢查询。
show processlist;发现一条没走索引的SELECT在反复扫全表。 - 第五步:解决。加上索引后,I/O瞬间回落,负载降到2以下。
整个排查过程不到10分钟,靠的就是这三个命令的配合。如果只会top,可能还在纠结CPU为啥不高;如果只会htop,可能看不到磁盘层面的细节。
预防建议:别等炸了再救火
💡 深度技术指南:别再用22端口了!手把手教你给Linux服务器SSH换把“隐形锁”
笔者踩过的坑总结下来就几条:
- 装好监控再上线。Zabbix、Prometheus都行,至少把CPU、内存、磁盘I/O、负载四项盯住。
- 日志切割必须做。见过太多服务器被一个没切割的日志文件撑爆磁盘。
- 数据库和业务分离。别把MySQL和Web服务塞同一台小机器上,I/O争抢会让你怀疑人生。
- 选云服务器别只看价格。便宜套餐往往限制IOPS和带宽,性能瓶颈排查到最后发现是邻居在挖矿,那才叫冤。正规厂商的独享型实例虽然贵点,但省下的排查时间够你买好几台了。
说到底,top、htop、iotop只是工具,真正的功夫在于理解Linux的资源调度逻辑。多动手试,多踩几次坑,自然就有手感了。下次服务器再卡,别急着重启,先连上去敲几个命令,你会发现真相往往就藏在那些跳动的数字里。