很多站长在单机跑 Docker 时觉得一切顺风顺水,一旦业务扩展到两三台机器,容器之间要跨主机通信,问题就全冒出来了:容器能 ping 通宿主机却 ping 不通隔壁机器的容器、VXLAN 隧道建好了但丢包严重、重启后 IP 全乱套、防火墙一开直接失联。笔者在生产环境里踩过的坑,基本都集中在网络模型理解偏差和内核参数没调优这两块。这篇文章就把跨主机内网互通的完整 SOP 拆开讲透,从原理到加固清单,照着做能少走大半夜的弯路。
一、核心原理:容器跨主机通信到底难在哪
💡 推荐阅读:别再让定时任务半夜偷偷挂掉:一份老站长压箱底的 crontab 生产环境配置与排错心法
Docker 默认的 bridge 网络是单机隔离的,每个宿主机上的 docker0 网段各自为政,容器 IP 只在本地有意义。跨主机互通,本质上要解决三件事:地址可达、报文能封装转发、路由能回程。
主流方案有三类,选型前先搞清楚差异:
| 方案 | 原理 | 适用场景 | 主要代价 |
|---|---|---|---|
| Overlay(VXLAN) | 报文封装进 UDP,跨三层网络传输 | 跨机房、跨网段、云上多可用区 | MTU 损耗、封装开销 |
| Macvlan | 容器直接拿物理网段 IP,走二层 | 同二层内网、追求高性能 | 需交换机支持、IP 管理复杂 |
| 路由方案(静态路由/BGP) | 宿主机间互告容器网段路由 | 同内网、可控性强 | 需维护路由表 |
笔者建议:同机房内网优先路由或 Macvlan,跨网段再上 Overlay。别一上来就 Overlay,VXLAN 的 MTU 问题足够让新手怀疑人生。
二、生产环境架构规范:先定规矩再动手
💡 延伸阅读:别让你的WordPress越跑越慢:聊聊数据库里那些冗余版本和瞬态数据,参数怎么调才不踩坑
1. 网段规划要一次性定死
这是最容易被忽视、后期最难改的一步。自定义 bridge 网络务必避开 172.17.0.0/16(Docker 默认)和常见内网段,建议按机器划分:
# 每台宿主机使用独立子网,避免冲突
# node-01: 172.20.1.0/24
# node-02: 172.20.2.0/24
docker network create \
--driver bridge \
--subnet 172.20.1.0/24 \
--gateway 172.20.1.1 \
app-net
2. Overlay 网络的标准创建姿势
跨主机通信走 Swarm overlay 时,务必显式指定 --attachable 和子网,否则默认分配的网段可能和你的内网打架:
docker network create \
--driver overlay \
--attachable \
--subnet 10.10.0.0/16 \
--opt encrypted \
app-overlay
注意:--opt encrypted 会带来额外 CPU 开销,内网可信环境可酌情关闭,公网跨机房则强烈建议开启。
三、性能与安全加固调优清单
💡 深度技术指南:凌晨三点数据库崩了?聊聊云服务器定时备份脚本那些坑与开机自启的正确姿势
1. MTU:跨主机丢包的元凶
VXLAN 封装会吃掉约 50 字节,物理网卡 MTU 1500 时,容器内 MTU 应设为 1450。不调的话,小包正常、大包(比如 HTTPS 握手、数据库查询)直接卡死,非常隐蔽。
# 创建网络时指定 MTU
docker network create --driver overlay \
--opt com.docker.network.driver.mtu=1450 \
app-overlay
# 或修改 daemon.json 全局生效
{
"mtu": 1450
}
2. 内核转发与 conntrack 调优
跨主机流量大时,nf_conntrack 表打满会导致新连接被丢弃,表现为“偶发连不上”。在 /etc/sysctl.d/99-docker.conf 中固化:
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_tcp_timeout_established = 86400
net.core.somaxconn = 32768
执行 sysctl -p /etc/sysctl.d/99-docker.conf 生效。这一步做完,高并发下的连接抖动能明显缓解。
3. 防火墙放行规则别漏
Overlay 依赖 TCP 2377(管理)、TCP/UDP 7946(节点通信)、UDP 4789(VXLAN 数据面)。很多“容器互通失败”其实是 4789 被防火墙拦了:
firewall-cmd --permanent --add-port=2377/tcp
firewall-cmd --permanent --add-port=7946/tcp
firewall-cmd --permanent --add-port=7946/udp
firewall-cmd --permanent --add-port=4789/udp
firewall-cmd --reload
4. 安全边界
- Overlay 网络默认隔离,不要随意把容器加入 host 网络,否则隔离形同虚设。
- 跨主机通信尽量走内网私网,公网节点务必开启
--opt encrypted。 - 定期用
docker network inspect审计网段,防止人为创建冲突子网。
四、验证测试与 SOP 总结
配置完别急着上线,按下面顺序验证,一步都不能跳:
- 连通性:跨主机容器互 ping,确认基础可达。
- 大包测试:
ping -s 1400 -M do验证 MTU 是否合理,不丢包才算过。 - 服务层:用
nc -zv或实际业务端口测试,排除只通 ICMP 不通 TCP 的假象。 - 压测:短时并发压一下,观察
dmesg有无 conntrack 溢出告警。
把整条链路固化成一个 SOP:定网段 → 建网络 → 调 MTU 与内核参数 → 放行防火墙 → 分层验证。每次扩容新节点,照单执行,别凭记忆临时改参数。另外提醒一句,跨主机网络的稳定性非常依赖宿主机本身的网络质量,如果宿主机是廉价小厂机器,内网抖动、带宽超售会让你误以为是 Docker 配置问题。笔者建议选正规云厂商或口碑好的独立服务器,内网带宽和稳定性有保障,排查问题才不会被底层网络干扰。域名和证书也尽量走正规渠道注册,省得后面迁移折腾。
跨主机网络这块,难点从来不是命令本身,而是对封装、MTU、路由回程这几层关系的理解。把上面的清单跑一遍,绝大多数“玄学丢包”和“间歇性失联”都能定位到根因。剩下的,就是把这套规程沉淀成团队文档,让每次扩容都有据可依。