做微服务或者分布式部署的朋友,大概率都踩过这个坑:单机跑 Docker 一切正常,一旦把容器分散到两台以上的宿主机,网络立刻“翻脸”——容器之间 ping 不通、服务注册失败、跨主机调用超时。更让人头大的是,报错信息往往只有一句 no route to host 或者 connection refused,根本看不出根因在哪。
笔者在近两年的生产环境里,先后用三种方案搭过跨主机容器网络,也帮朋友排查过不少类似故障。今天这篇文章,站长就从选型背景讲起,把三种主流方案的参数、优缺点摆出来对比,再深入拆解各自的报错原因和实操配置。看完你至少能省下两个通宵的排查时间。
一、为什么容器跨主机通信这么容易翻车?
💡 推荐阅读:Nginx反向代理总报502、504?手把手教你排查配置,附PDF整理思路
先理清一个基础事实:Docker 默认的 bridge 网络只在本机生效。每台宿主机上的 docker0 网桥各自为政,分配的网段还可能重复(比如两台机器都用 172.17.0.0/16)。容器 A 在 Host1 上,容器 B 在 Host2 上,它们各自以为对方在本地子网里,数据包发出去自然石沉大海。
要打通跨主机内网,本质上要解决三件事:网段不冲突、路由可达、服务可发现。围绕这三个目标,社区演化出了多种方案,下面这张表是笔者根据实际使用体验整理的横向对比。
二、三种主流方案核心参数对比
💡 延伸阅读:别再怪服务器了!WordPress 慢成蜗牛?我靠这 6 步硬核提速实录,首页加载从 4.8s 干到 1.2s
| 对比维度 | 方案A:Docker Overlay(Swarm) | 方案B:Flannel(VXLAN) | 方案C:Macvlan 直连 |
|---|---|---|---|
| 网络性能 | 中等,VXLAN 封装有开销 | 中等偏上,内核态转发效率不错 | 接近物理网卡,几乎无损耗 |
| 配置复杂度 | 低,Swarm 原生支持 | 中,需部署 etcd 和 flanneld | 低,但依赖交换机配置 |
| 适用场景 | 中小规模 Swarm 集群 | K8s 或自建大规模集群 | 同机房、二层网络互通环境 |
| 优势 | 开箱即用,服务发现内置 | 灵活,支持多种后端 | 性能极佳,配置直观 |
| 劣势 | 依赖 Swarm,生态偏窄 | 组件多,排错链路长 | 需交换机支持混杂模式,跨网段无效 |
| 常见报错 | 节点未加入、加密密钥不一致 | etcd 连接失败、VXLAN ID 冲突 | 宿主机网卡不支持、IP 冲突 |
表格只是快速筛选,真要落地还得看细节。接下来分别拆解。
三、方案A:Docker Overlay 深度评测
💡 深度技术指南:服务器半夜疯狂往外发数据?别慌,手把手教你揪出Linux里的“内鬼”
实操步骤
Swarm 模式下,Overlay 网络是官方最省心的方案。初始化集群:
# 在管理节点执行
docker swarm init --advertise-addr 192.168.1.10
# 在工作节点执行加入命令(输出会提示)
docker swarm join --token SWMTKN-xxx 192.168.1.10:2377
然后创建可附加的 Overlay 网络:
docker network create -d overlay --attachable my-overlay
启动容器时指定该网络,不同宿主机上的容器就能通过服务名互访。
常见报错与根因
- 报错“node is not a swarm manager”:执行命令的节点角色不对。用
docker node ls确认管理节点,或者把命令发到正确的机器上。 - 容器间 ping 不通,但 DNS 能解析:大概率是 VXLAN 端口 4789/udp 被防火墙拦截。很多云服务器默认安全组不放行 UDP,需要手动加规则。
- 报错“network with name my-overlay already exists”:同名网络残留。先
docker network rm清理,或者换个名字。
笔者提醒:如果你用的是云服务器,购买时务必确认安全组支持自定义 UDP 规则。某些低价套餐对 UDP 有限制,跨主机通信会莫名其妙断掉,换一台靠谱的机器能省很多事。
四、方案B:Flannel VXLAN 深度评测
实操步骤
Flannel 需要先有一个 etcd 存储子网信息。以两台机器为例:
# 在 etcd 节点写入网络配置
etcdctl put /coreos.com/network/config \
'{"Network":"10.10.0.0/16","SubnetLen":24,"Backend":{"Type":"vxlan"}}'
# 两台宿主机分别启动 flanneld
flanneld --etcd-endpoints=http://192.168.1.10:2379
flanneld 会自动创建 flannel.1 网卡并写入路由。之后把 Docker 的 bridge 网段改为 Flannel 分配的子网即可。
常见报错与根因
- 报错“failed to get subnet lease”:etcd 连不上或配置路径写错。先用
etcdctl get /coreos.com/network/config确认数据存在。 - 跨主机不通,本机容器正常:检查
ip route是否有指向flannel.1的路由。缺失通常是 flanneld 没正常启动。 - VXLAN ID 冲突:多个集群共用一套 etcd 时,Network 网段重叠。给每个集群分配独立的 /16 网段。
Flannel 的排错链路比 Overlay 长,因为它多了 etcd 和 flanneld 两个组件。建议在测试环境先跑通再上生产。
五、方案C:Macvlan 直连深度评测
实操步骤
Macvlan 让容器直接拿物理网络的 IP,性能最好,但要求宿主机网卡开启混杂模式,且交换机允许同一 MAC 段多 IP。
docker network create -d macvlan \
--subnet=192.168.1.0/24 \
--gateway=192.168.1.1 \
-o parent=eth0 my-macvlan
启动容器时指定 --network my-macvlan --ip 192.168.1.50,容器就像局域网里的一台独立主机。
常见报错与根因
- 报错“operation not supported”:宿主机网卡或虚拟化平台不支持 Macvlan。云服务器大多不支持,物理机才靠谱。
- 容器能出网但宿主机 ping 不通容器:这是 Macvlan 的固有特性,宿主机和容器不能直接通信,需要额外加一个 macvlan 子接口。
- IP 冲突导致网络时通时断:手动指定 IP 时没做规划。建议用 DHCP 或严格分配静态地址池。
六、最终选型建议
三种方案没有绝对优劣,关键看你的环境:
- 已经在用 Swarm 或想快速验证:直接上 Overlay,省心省力,注意放行 UDP 4789。
- 准备上 K8s 或需要大规模灵活组网:选 Flannel,前期多花点时间搭 etcd,后期扩展性强。
- 同机房物理机、追求极致性能:Macvlan 是首选,但务必确认交换机和网卡支持。
最后说句实在话:跨主机网络报错,八成逃不出“防火墙拦截、网段冲突、组件没起来”这三类。排查时先用 ping 和 traceroute 确认链路,再看 docker network inspect 和路由表,基本能定位到问题。如果你还在用单机 Docker 硬扛分布式业务,建议尽早换一台网络质量过硬的云服务器,把基础环境搭稳,后面的事会顺很多。