做容器化部署的朋友,十有八九都遇到过这个场景:单机上 Docker 跑得好好的,一旦把服务拆到两台甚至多台宿主机上,容器之间就开始“失联”。docker0 网桥默认只在单机内有效,跨主机通信必须自己搭桥。站长这几年在测试环境和生产环境里反复折腾过 Overlay、Macvlan、路由转发这几种方案,也踩了不少坑。今天这篇就把高频报错、根因和实测数据一次性讲清楚,帮你少走弯路。
先搞清楚:为什么跨主机就是不通?
💡 推荐阅读:Docker容器跨主机内网互通:三种主流方案选型对比,别再被网络报错折磨了
很多新手的第一反应是“防火墙没开”,其实大部分时候问题出在网络模型本身。Docker 默认创建的 bridge 网络,每个宿主机各管各的网段(比如都是 172.17.0.0/16),两台机器上的容器 IP 甚至可能重复,路由表里也根本没有对方容器的网段。所以跨主机通信不是“打开某个开关”就能解决,而是要从 Overlay 隧道、二层打通或三层路由中选一条路。
下面这几个问题,是笔者在社区和实际排障中被问到最多的,逐个拆解。
Q1:容器之间能 ping 通宿主机,但 ping 不通另一台机器上的容器,怎么回事?
根因:宿主机之间网络是通的,但容器网段没有互相宣告路由。你 ping 宿主机用的是宿主机自己的 IP,走的是物理网卡;而容器发出的包源地址是 172.17.x.x,对方宿主机收到后不知道往哪回,直接丢弃。
解决思路(路由方案):在两台宿主机上互相添加静态路由,把对方容器网段指向对方宿主机 IP,同时确保 net.ipv4.ip_forward=1。
# 宿主机 A(容器网段 172.17.0.0/16,IP 10.0.0.1)
ip route add 172.18.0.0/16 via 10.0.0.2
# 宿主机 B(容器网段 172.18.0.0/16,IP 10.0.0.2)
ip route add 172.17.0.0/16 via 10.0.0.1
# 两边都要确认转发开启
sysctl -w net.ipv4.ip_forward=1
注意:这个方案要求两台宿主机的容器网段不能冲突,创建自定义 bridge 时记得用 --subnet 显式指定不同网段。
Q2:用 Overlay 网络创建成功,但容器互相 ping 不通、日志报 “no route to host”?
根因:Overlay 依赖 Swarm 集群和 VXLAN 隧道,常见问题有三个:节点没加入同一个 Swarm、节点间 4789/UDP 和 7946/TCP 端口被安全组拦截、或者节点主机名解析失败。
解决步骤:先确认集群状态,再放行端口,最后检查防火墙。
# 初始化 Swarm(在第一台执行)
docker swarm init --advertise-addr 10.0.0.1
# 其余节点加入
docker swarm join --token <token> 10.0.0.1:2377
# 创建 overlay 网络
docker network create -d overlay --attachable my-overlay
# 检查节点状态
docker node ls
如果用的是云服务器,务必在安全组里放行 4789/UDP、7946/TCP/UDP、2377/TCP。笔者见过太多人卡在这里,排查半天以为是 Docker 的锅,其实是云厂商安全组默认全关。
Q3:Macvlan 配置后容器有独立 IP,但宿主机自己反而访问不了容器?
根因:这是 Macvlan 的经典“坑”——宿主机物理网卡和 macvlan 子接口在同一网段时,内核出于安全策略会拒绝宿主机与子接口之间的直接通信。容器对外服务正常,但你在宿主机上 curl 容器 IP 就是不通。
解决:在宿主机上再建一个 macvlan 子接口专门用于访问,或者干脆换一台机器测试。配置示例:
docker network create -d macvlan \
--subnet=192.168.1.0/24 \
--gateway=192.168.1.1 \
-o parent=eth0 macnet
docker run -d --net=macnet --ip=192.168.1.50 nginx
Macvlan 的好处是容器直接拿到局域网 IP,性能接近物理网卡,适合需要固定 IP、对延迟敏感的业务;缺点是会占用交换机 MAC 地址表条目,规模大了要留意。
Q4:容器跨主机能通,但一压测就丢包、延迟飙升,是网络配错了吗?
根因:多半不是配置错,而是方案选型与业务量不匹配。Overlay 的 VXLAN 封装有额外开销,MTU 设置不当还会导致分片;路由方案则受限于宿主机转发性能。
三种主流方案性能实测对比
💡 延伸阅读:Nginx反向代理总报502、504?手把手教你排查配置,附PDF整理思路
笔者在同一局域网、千兆内网环境下,用 iperf3 对三种方案做了简单压测(两台 4 核 8G 云服务器,容器直连),结果供参考:
| 方案 | 吞吐(近似) | 延迟 | 适用场景 |
|---|---|---|---|
| 静态路由 + bridge | 约 900 Mbps | 低 | 同机房、网段可控、规模小 |
| Macvlan | 约 940 Mbps | 极低 | 需固定 IP、低延迟业务 |
| Overlay(VXLAN) | 约 600–700 Mbps | 中 | 跨机房、多节点编排、Swarm/K8s |
数据不是绝对值,但趋势很明确:追求性能选 Macvlan 或路由,追求可扩展和跨网段选 Overlay。如果业务已经上了 K8s,直接用它自带的 CNI 插件(Calico、Flannel)更省心,别自己造轮子。
选型建议与预防排坑
💡 深度技术指南:别再怪服务器了!WordPress 慢成蜗牛?我靠这 6 步硬核提速实录,首页加载从 4.8s 干到 1.2s
- 先规划网段:多台宿主机的容器网段提前划分,避免 172.17.0.0/16 全撞车,这是路由方案的前提。
- 云服务器安全组别忘放行:VXLAN 的 4789/UDP、Swarm 的 2377/TCP 是重灾区。买机器时优先选同地域、同 VPC 的实例,内网互通更稳,也省去公网隧道的麻烦。
- MTU 要对齐:Overlay 封装后有效 MTU 变小,建议容器网络 MTU 设为 1450 左右,否则大包会莫名丢。
- 生产别用默认 bridge:自建网络并显式指定子网,排查问题时心里有底。
- 域名与解析:如果服务要通过域名互访,记得用正规渠道注册域名并配置好内网 DNS,别用临时 hosts 硬扛,后期迁移会哭。
最后说句实在话:跨主机网络没有“万能方案”,只有“匹配你规模的方案”。小规模同机房,静态路由最省事;要固定 IP 上 Macvlan;要做编排和跨机房,老老实实上 Overlay 或 K8s CNI。把网段、端口、MTU 这三件事提前想清楚,能省掉八成的排障时间。希望这篇能帮你把那个“ping 不通”的夜晚早点结束。