凌晨两点,手机突然开始疯狂弹告警:服务器 SSH 连不上、网站 502、监控面板直接失联。你火急火燎登上 VNC 一看,内存爆了,Swap 被榨干,系统 OOM Killer 正在满世界杀进程。而罪魁祸首,往往就是那几个跑得好好的 Docker 容器。
笔者这些年帮不少朋友救过这种“火场”,发现大多数人的第一反应是 reboot,重启完事,第二天继续爆。其实容器内存失控这件事,只要你按正确的顺序排查一遍,根因基本跑不掉那几类。下面我把高频疑问和实操步骤一次讲透。
一、先别慌,这几个问题你是不是也遇到过?
💡 推荐阅读:告别宝塔面板:用 Docker Compose 把 WordPress 和 MySQL 打包成一条命令的私房教程
Q1:容器内存一直涨,从来不降,是内存泄漏吗?
不一定。很多人看到 docker stats 里 MEM USAGE 一路爬升就断定泄漏,其实要分两种情况看:
- 应用层泄漏:进程真的没释放对象,比如 Node.js 里挂了全局缓存、Java 堆外内存没回收。
- 系统层“假高”:Linux 会把文件缓存算进
cgroup memory.usage_in_bytes,这部分内存是可回收的,压力大时会自动释放。真正要盯的是memory.stat里的anon(匿名页)而不是file。
所以第一步不是下结论,而是把“可回收”和“真占用”分开看。
Q2:明明给容器加了 –memory 限制,为什么宿主机还是被拖死?
这是最坑的一类。常见原因有三个:
- 只限制了内存,没限制 Swap,容器疯狂用 Swap 导致 IO 打满,系统照样卡死。
- 限制值设得比物理内存还大,等于没限制。
- 容器内跑的是多进程(比如 PHP-FPM + Nginx 混装),主进程被限制了,子进程却在 cgroup 之外,或者被 OOM 杀掉后反复重启形成雪崩。
Q3:docker stats 显示占用不高,但 free -h 内存快没了,谁在吃?
别只信 docker stats。它统计的是容器 cgroup 视角,宿主机上还有一堆东西在吃内存:内核 slab、page cache、其他非容器进程、甚至是你自己写的定时脚本。这时候要上 smem 或 ps aux --sort=-%mem 从宿主机全局看,再对照 /sys/fs/cgroup/memory/ 下的数据交叉验证。
Q4:容器被 OOM Killer 杀了,日志里啥都没有,怎么定位?
容器被内核干掉时,应用日志往往来不及写。真正的证据在 dmesg 里,关键词是 Out of memory: Killed process,后面会跟着 PID 和进程名。用 dmesg -T | grep -i "killed process" 就能捞出时间线和凶手。
二、根因剖析:内存到底是怎样一步步把服务器拖垮的
💡 延伸阅读:别再手动 docker start 了:聊聊容器自启动那些坑与生产环境最优解
容器内存失控拖死宿主机,本质是一条连锁反应链:
应用内存增长 → cgroup 达到 limit → 触发直接回收 → 回收不动就开始用 Swap → Swap IO 飙升 → 系统负载爆炸 → 内核 OOM Killer 介入 → 杀进程(可能杀错)→ 容器重启 → 循环。
关键节点有两个:一是限制没设好或没设,二是没有区分“可回收内存”和“不可回收内存”。很多教程只教你 -m 512m,却没告诉你还要配 --memory-swap,结果就是限制形同虚设。
下面这张表是我排查时的速查对照:
| 现象 | 大概率根因 | 优先查看 |
|---|---|---|
| MEM USAGE 缓慢上涨不降 | 应用内存泄漏 | memory.stat 的 anon 值 |
| 宿主机卡死但容器占用不高 | page cache / slab 占用 | free -h、slabtop |
| 容器反复重启 | OOM 被杀 | dmesg、docker inspect |
| Swap 被打满 | 未限制 swap 或限制过松 | docker inspect 的 MemorySwap |
三、实操排查五步法(照着敲就行)
💡 深度技术指南:Nginx 防盗链配了还是被刷爆?聊聊我怎么堵住高频 IP 和恶意爬虫的
第一步:确认凶手是哪个容器
docker stats --no-stream --format "table {{.Name}}\t{{.MemUsage}}\t{{.MemPerc}}"
# 按内存排序,找出占用最高的那个
第二步:看宿主机全局,别被容器视角骗了
free -h
ps aux --sort=-%mem | head -n 15
slabtop -o | head -n 20 # 看内核 slab 是否异常
第三步:进容器 cgroup 看“真实占用”
# 找到容器 ID
docker inspect --format '{{.Id}}' 容器名
# 查看关键指标
cat /sys/fs/cgroup/memory/docker/<容器ID>/memory.stat | grep -E "anon|file|slab"
cat /sys/fs/cgroup/memory/docker/<容器ID>/memory.usage_in_bytes
如果 anon 很高,是真占用;如果 file 高,那是缓存,不用太慌。
第四步:查 OOM 记录,还原案发现场
dmesg -T | grep -i "killed process"
journalctl -k | grep -i oom
第五步:确认限制配置是否生效
docker inspect 容器名 | grep -i -A2 "Memory"
重点看 Memory 和 MemorySwap 两个值。如果 MemorySwap 是 -1 或者远大于 Memory,那你的限制就是纸糊的。
四、对症下药:常见场景的解决代码
场景一:应用真泄漏,短期先止血
docker update --memory 512m --memory-swap 512m 容器名
把 swap 和 memory 设成相等,等于禁用 swap,避免 IO 被拖死。长期方案还是得修代码。
场景二:多进程容器,限制总内存并让子进程可见
docker run -d --memory 1g --memory-swap 1g \
--oom-kill-disable=false \
--memory-reservation 768m \
镜像名
memory-reservation 是软限制,能让内核在内存紧张时优先回收这个容器,比硬限制更平滑。
场景三:Java / Node 这类有堆外内存的应用
光靠 Docker 限制不够,还得让运行时自己知道边界。Java 加 -XX:MaxRAMPercentage=70,Node 加 --max-old-space-size,否则容器被限制了,JVM 还按宿主机内存去申请,死得更快。
场景四:宿主机本身内存太小
如果你跑的是 1G 或 2G 内存的小鸡,还硬塞三四个容器,那再好的配置也救不了。该升级就升级,选云服务器时优先看内存和带宽是否够用,别为了省几十块让业务天天半夜崩。笔者自己踩过这个坑,后来换了配置宽裕的机器,告警直接少了一大半。
五、防患于未然:几条血泪经验
- 所有容器必须设内存限制,包括你以为“很轻”的。没有例外。
- MemorySwap 要么不设,要么设成和 Memory 相等,千万别留 -1。
- 用
docker-compose时,把deploy.resources.limits.memory写清楚,别靠默认值。 - 上监控,Prometheus + cAdvisor 盯
container_memory_working_set_bytes,比usage更准,涨到阈值就告警。 - 宿主机留 20% 内存余量,别把物理内存算得刚刚好。
- 定期
docker system prune,但注意别把正在用的卷删了——这又是另一个坑。
说到底,Docker 内存问题排查的核心就一句话:先分清“谁在占”和“占的是什么”,再决定是调限制、改代码还是换机器。别一上来就重启,重启只是把炸弹的引线重新点了一遍而已。按上面这套流程走一遍,你基本能定位到九成以上的内存失控问题。剩下的那一成,多半是时候考虑给服务器加内存了——毕竟,省钱和省心,有时候真的只能选一个。