服务器卡成PPT?别再瞎猜了,top、htop、iotop三板斧教你揪出性能真凶

做站长这些年,最怕半夜收到监控告警:CPU飙红、负载爆表、网站打开慢如蜗牛。SSH连上去,面对黑漆漆的终端,很多朋友第一反应就是“重启试试”——重启能解决90%的问题,但剩下那10%,才是真正要命的性能瓶颈。今天笔者就把压箱底的排查套路掏出来,围绕top、htop、iotop这三个命令,带你从“瞎猜”进化到“精准定位”。

为什么你的服务器总是“假死”?先搞懂这三个指标

💡 推荐阅读:WordPress 打开慢到想砸键盘?我花了两天实测 Redis 缓存和页面加速,说点大实话

在进入问答之前,先给不太熟悉的朋友补个底。排查Linux性能,核心盯三样东西:CPU使用率、内存占用、磁盘I/O。很多新手只看CPU,一看不高就觉得没问题,结果网站还是卡——其实瓶颈往往在磁盘I/O或者内存交换上。这也是为什么单靠一个top不够,得配合htop和iotop一起看。

Q1:top命令里load average都冲到20了,但CPU使用率才30%,到底谁在捣鬼?

根因剖析:这是最经典的误区。Load Average高不代表CPU忙,它统计的是运行队列中等待CPU的进程数 + 等待磁盘I/O的进程数。如果CPU空闲但负载高,说明大量进程卡在I/O等待上,磁盘很可能是瓶颈。

解决方案:在top界面按1展开每个CPU核心,然后观察%wa(I/O等待)这一列。

top - 10:23:45 up 30 days,  2:14,  3 users,  load average: 18.20, 15.33, 12.10
Tasks: 245 total,   2 running, 243 sleeping,   0 stopped,   0 zombie
%Cpu(s): 12.3 us,  5.1 sy,  0.0 ni, 45.6 id, 35.2 wa,  0.0 hi,  1.8 si,  0.0 st

看到wa高达35.2了吗?说明CPU有三分之一的时间在干等磁盘。这时候别犹豫,立刻上iotop。

Q2:iotop显示某个进程磁盘读写爆表,但我不敢杀,怎么确认它在干什么?

根因剖析:iotop能直接按I/O排序,揪出读写大户。常见元凶包括:日志疯狂写入、数据库刷盘、备份脚本跑飞了、或者某个应用内存泄漏导致频繁swap。

解决方案:先用iotop定位进程PID,再用lsof或ls -l /proc/PID/fd看它到底在读写哪个文件。

# 安装iotop(CentOS为例)
yum install iotop -y

# 只显示有I/O活动的进程,每2秒刷新
iotop -o -d 2

# 输出示例
Total DISK READ: 45.2 M/s | Total DISK WRITE: 120.8 M/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
 8821 be/4  mysql      12.3 M/s   98.5 M/s  0.00 %  85.21 %  mysqld
 9012 be/4  root        0.0 B/s   22.3 M/s  0.00 %  12.45 %  rsync

如果发现是mysqld在疯狂写,八成是慢查询或者innodb刷脏页太猛;如果是rsync,可能是备份任务撞上了业务高峰。这时候要么优化SQL,要么调整备份时间窗口。

Q3:htop比top好用在哪?为什么老运维都推荐装一个?

根因剖析:top虽然经典,但交互反人类,颜色单调,不支持鼠标,横向滚动费劲。htop相当于top的现代化升级版:彩色进度条、支持鼠标点击、树状显示进程父子关系、一键kill、搜索过滤,排查问题时效率翻倍。

解决方案:装就完了,基本所有发行版仓库都有。

# Debian/Ubuntu
apt install htop -y

# CentOS/RHEL需要epel源
yum install epel-release -y && yum install htop -y

打开htop后,按F6可以按CPU%、MEM%、TIME等排序,按F4输入关键字过滤进程,按F9直接发信号杀进程。笔者习惯把htop设为默认,top只用来跑脚本采集。

Q4:内存明明还剩很多,为什么系统开始用swap了?

根因剖析:Linux的内存管理策略是“不用白不用”,会把空闲内存拿去做文件缓存(buff/cache)。当应用程序需要内存时,内核会回收缓存。但如果available内存不足,或者vm.swappiness参数设置过高,系统就会提前把不常用的内存页换到swap,导致磁盘I/O飙升、响应变慢。

解决方案:在top或htop里重点看MiB Mem和MiB Swap两行。如果swap used持续增长,且si/so(swap in/out)不为零,说明内存真的不够了。

# 临时调整swappiness(默认60,建议改10)
sysctl vm.swappiness=10

# 永久生效
echo "vm.swappiness=10" >> /etc/sysctl.conf
sysctl -p

如果调整后swap依然猛涨,别硬撑了,升级服务器内存或者排查内存泄漏才是正道。笔者见过太多人为了省几十块钱,硬扛着2G内存跑MySQL+PHP,最后时间全耗在排查卡顿上,得不偿失。选择云服务器时,内存和磁盘IOPS往往比CPU更重要,建议至少选择SSD云盘且内存预留30%以上余量。

实战:一次完整的性能瓶颈排查流程

💡 延伸阅读:Docker镜像动辄几个G?你可能从第一步就写错了

光说不练假把式,笔者还原一个真实案例:某天网站响应超时,监控显示CPU 40%、负载15。

  • 第一步:top看全局。发现%wa高达40%,load average 15,初步判断I/O瓶颈。
  • 第二步:iotop定位进程。发现mysqld磁盘读高达80M/s,写入30M/s。
  • 第三步:htop看进程树。按F5树状模式,发现mysqld下面挂了一堆sleep状态的查询进程。
  • 第四步:进MySQL看慢查询。show processlist;发现一条没走索引的SELECT在反复扫全表。
  • 第五步:解决。加上索引后,I/O瞬间回落,负载降到2以下。

整个排查过程不到10分钟,靠的就是这三个命令的配合。如果只会top,可能还在纠结CPU为啥不高;如果只会htop,可能看不到磁盘层面的细节。

预防建议:别等炸了再救火

💡 深度技术指南:别再用22端口了!手把手教你给Linux服务器SSH换把“隐形锁”

笔者踩过的坑总结下来就几条:

  • 装好监控再上线。Zabbix、Prometheus都行,至少把CPU、内存、磁盘I/O、负载四项盯住。
  • 日志切割必须做。见过太多服务器被一个没切割的日志文件撑爆磁盘。
  • 数据库和业务分离。别把MySQL和Web服务塞同一台小机器上,I/O争抢会让你怀疑人生。
  • 选云服务器别只看价格。便宜套餐往往限制IOPS和带宽,性能瓶颈排查到最后发现是邻居在挖矿,那才叫冤。正规厂商的独享型实例虽然贵点,但省下的排查时间够你买好几台了。

说到底,top、htop、iotop只是工具,真正的功夫在于理解Linux的资源调度逻辑。多动手试,多踩几次坑,自然就有手感了。下次服务器再卡,别急着重启,先连上去敲几个命令,你会发现真相往往就藏在那些跳动的数字里。

相关技术专题与延伸阅读

滚动至顶部