Docker 容器把服务器内存吃满了?别急着重启,先按这套路子摸一遍

凌晨两点,手机突然开始疯狂弹告警:服务器 SSH 连不上、网站 502、监控面板直接失联。你火急火燎登上 VNC 一看,内存爆了,Swap 被榨干,系统 OOM Killer 正在满世界杀进程。而罪魁祸首,往往就是那几个跑得好好的 Docker 容器。

笔者这些年帮不少朋友救过这种“火场”,发现大多数人的第一反应是 reboot,重启完事,第二天继续爆。其实容器内存失控这件事,只要你按正确的顺序排查一遍,根因基本跑不掉那几类。下面我把高频疑问和实操步骤一次讲透。

一、先别慌,这几个问题你是不是也遇到过?

💡 推荐阅读:告别宝塔面板:用 Docker Compose 把 WordPress 和 MySQL 打包成一条命令的私房教程

Q1:容器内存一直涨,从来不降,是内存泄漏吗?

不一定。很多人看到 docker stats 里 MEM USAGE 一路爬升就断定泄漏,其实要分两种情况看:

  • 应用层泄漏:进程真的没释放对象,比如 Node.js 里挂了全局缓存、Java 堆外内存没回收。
  • 系统层“假高”:Linux 会把文件缓存算进 cgroup memory.usage_in_bytes,这部分内存是可回收的,压力大时会自动释放。真正要盯的是 memory.stat 里的 anon(匿名页)而不是 file。

所以第一步不是下结论,而是把“可回收”和“真占用”分开看。

Q2:明明给容器加了 –memory 限制,为什么宿主机还是被拖死?

这是最坑的一类。常见原因有三个:

  • 只限制了内存,没限制 Swap,容器疯狂用 Swap 导致 IO 打满,系统照样卡死。
  • 限制值设得比物理内存还大,等于没限制。
  • 容器内跑的是多进程(比如 PHP-FPM + Nginx 混装),主进程被限制了,子进程却在 cgroup 之外,或者被 OOM 杀掉后反复重启形成雪崩。

Q3:docker stats 显示占用不高,但 free -h 内存快没了,谁在吃?

别只信 docker stats。它统计的是容器 cgroup 视角,宿主机上还有一堆东西在吃内存:内核 slab、page cache、其他非容器进程、甚至是你自己写的定时脚本。这时候要上 smem 或 ps aux --sort=-%mem 从宿主机全局看,再对照 /sys/fs/cgroup/memory/ 下的数据交叉验证。

Q4:容器被 OOM Killer 杀了,日志里啥都没有,怎么定位?

容器被内核干掉时,应用日志往往来不及写。真正的证据在 dmesg 里,关键词是 Out of memory: Killed process,后面会跟着 PID 和进程名。用 dmesg -T | grep -i "killed process" 就能捞出时间线和凶手。

二、根因剖析:内存到底是怎样一步步把服务器拖垮的

🔥 【限时特惠福利】高性价比独享云服务器限时 1 折起

搭建网站或部署容器推荐选择高稳定性独享云服务器。限时特惠通道开放中,点击即可领取专属满减代金券与特惠折扣:

👉 立刻领取云服务器限时优惠券

💡 延伸阅读:别再手动 docker start 了:聊聊容器自启动那些坑与生产环境最优解

容器内存失控拖死宿主机,本质是一条连锁反应链:

应用内存增长 → cgroup 达到 limit → 触发直接回收 → 回收不动就开始用 Swap → Swap IO 飙升 → 系统负载爆炸 → 内核 OOM Killer 介入 → 杀进程(可能杀错)→ 容器重启 → 循环。

关键节点有两个:一是限制没设好或没设,二是没有区分“可回收内存”和“不可回收内存”。很多教程只教你 -m 512m,却没告诉你还要配 --memory-swap,结果就是限制形同虚设。

下面这张表是我排查时的速查对照:

现象 大概率根因 优先查看
MEM USAGE 缓慢上涨不降 应用内存泄漏 memory.stat 的 anon 值
宿主机卡死但容器占用不高 page cache / slab 占用 free -h、slabtop
容器反复重启 OOM 被杀 dmesg、docker inspect
Swap 被打满 未限制 swap 或限制过松 docker inspect 的 MemorySwap

三、实操排查五步法(照着敲就行)

💡 深度技术指南:Nginx 防盗链配了还是被刷爆?聊聊我怎么堵住高频 IP 和恶意爬虫的

第一步:确认凶手是哪个容器

docker stats --no-stream --format "table {{.Name}}\t{{.MemUsage}}\t{{.MemPerc}}"
# 按内存排序,找出占用最高的那个

第二步:看宿主机全局,别被容器视角骗了

free -h
ps aux --sort=-%mem | head -n 15
slabtop -o | head -n 20   # 看内核 slab 是否异常

第三步:进容器 cgroup 看“真实占用”

# 找到容器 ID
docker inspect --format '{{.Id}}' 容器名
# 查看关键指标
cat /sys/fs/cgroup/memory/docker/<容器ID>/memory.stat | grep -E "anon|file|slab"
cat /sys/fs/cgroup/memory/docker/<容器ID>/memory.usage_in_bytes

如果 anon 很高,是真占用;如果 file 高,那是缓存,不用太慌。

第四步:查 OOM 记录,还原案发现场

dmesg -T | grep -i "killed process"
journalctl -k | grep -i oom

第五步:确认限制配置是否生效

docker inspect 容器名 | grep -i -A2 "Memory"

重点看 Memory 和 MemorySwap 两个值。如果 MemorySwap 是 -1 或者远大于 Memory,那你的限制就是纸糊的。

四、对症下药:常见场景的解决代码

场景一:应用真泄漏,短期先止血

docker update --memory 512m --memory-swap 512m 容器名

把 swap 和 memory 设成相等,等于禁用 swap,避免 IO 被拖死。长期方案还是得修代码。

场景二:多进程容器,限制总内存并让子进程可见

docker run -d --memory 1g --memory-swap 1g \
  --oom-kill-disable=false \
  --memory-reservation 768m \
  镜像名

memory-reservation 是软限制,能让内核在内存紧张时优先回收这个容器,比硬限制更平滑。

场景三:Java / Node 这类有堆外内存的应用

光靠 Docker 限制不够,还得让运行时自己知道边界。Java 加 -XX:MaxRAMPercentage=70,Node 加 --max-old-space-size,否则容器被限制了,JVM 还按宿主机内存去申请,死得更快。

场景四:宿主机本身内存太小

如果你跑的是 1G 或 2G 内存的小鸡,还硬塞三四个容器,那再好的配置也救不了。该升级就升级,选云服务器时优先看内存和带宽是否够用,别为了省几十块让业务天天半夜崩。笔者自己踩过这个坑,后来换了配置宽裕的机器,告警直接少了一大半。

五、防患于未然:几条血泪经验

  • 所有容器必须设内存限制,包括你以为“很轻”的。没有例外。
  • MemorySwap 要么不设,要么设成和 Memory 相等,千万别留 -1。
  • 用 docker-compose 时,把 deploy.resources.limits.memory 写清楚,别靠默认值。
  • 上监控,Prometheus + cAdvisor 盯 container_memory_working_set_bytes,比 usage 更准,涨到阈值就告警。
  • 宿主机留 20% 内存余量,别把物理内存算得刚刚好。
  • 定期 docker system prune,但注意别把正在用的卷删了——这又是另一个坑。

说到底,Docker 内存问题排查的核心就一句话:先分清“谁在占”和“占的是什么”,再决定是调限制、改代码还是换机器。别一上来就重启,重启只是把炸弹的引线重新点了一遍而已。按上面这套流程走一遍,你基本能定位到九成以上的内存失控问题。剩下的那一成,多半是时候考虑给服务器加内存了——毕竟,省钱和省心,有时候真的只能选一个。

相关技术专题与延伸阅读

滚动至顶部