k8s容器互联flannel vxlan通信原理_开发_开发者

k8s容器互联-flannel vxlan 原理篇

容器系列文章

容器系列视频

vxlan 模式通信原理

flannel 在为不同主机的pod分配ip地址的时候，会在一个大的网段范围内分配ip地址，而同一台主机上的pod，则是在大的网段下延伸出一个较小的子网，同一台主机上的ip地址则是在较小的子网范围内去进行分配。

例如k8s启动flannel插件时，会通过flannel的配置文件指定大的网段的范围和flannel启动方式，我们选用的是vxlan模式

  net-conf.json: |
    {
      "Network": "10.10.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }

这样整个集群的ip地址就是在10.10.0.0/16 网段去进行分配。而各个主机上的ip地址范围则是在例如10.10.1.0/24 ，10.10.2.0/24这样的网段去进行分配。

跨主机通信的目的，就是让主机A上的网段10.10.1.0/24 内分配的ip能够ping通主机B上的 10.10.2.0/24 网段分配的ip。

flannel的xvlan模式是如何办到的呢？

为了更好的理解vxlan的模式，我搭建了一个真实的3节点集群环境，然后实际的去主机上分析vxlan工作模式

集群网络模型

集群有3个节点:

master 集群的控制节点，ip地址是 192.168.2.17;

worker1 工作节点 ip地址是 192.168.2.16;

worker2 工作节点 ip 地址是 192.168.2.15 ;

由于工作节点才承担具体的pod承载认为，所以我们只看工作节点即可。

这里先放一张集群网络模型的图，接下来的分析都将会根据这个图一步步分析网络包时如何从worker2 的pod到达到worker1的pod的。

k8s容器互联flannel vxlan通信原理

查看worker2网络设备类型

查看网络接口有哪些

parallels@worker2:~/Desktop$ ifconfig
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.10.2.1  netmask 255.255.255.0  broadcast 10.10.2.255
       ...
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        ether 02:42:41:ce:a9:49  txqueuelen 0  (Ethernet)
        ...
enp0s5: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.2.15  netma编程sk 255.255.255.0  broadcast 192.168.2.255
        ...
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 编程客栈10.10.2.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::647c:5aff:fe24:c42e  prefixlen 64  scopeid 0x20<link>
        ether 66:7c:5a:24:c4:2e  txqueuelen 0  (Ethernet)
        ...
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        ...
veth9c0a9a53: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet6 fe80::fc7d:fdff:fe6f:a32e  prefixlen 64  scopeid 0x20<link>
        ether fe:7d:fd:6f:a3:2e  txqueuelen 0  (Ethernet)
        ...
vethd6f08999: flags=4163<UP,BROADCAST,RUNNING,MUL开发者_Python培训TICAST>  mtu 1450
        inet6 fe80::68b2:41ff:fee2:9074  prefixlen 64  scopeid 0pythonx20<link>
        ether 6a:b2:41:e2:90:74  txqueuelen 0  (Ethernet)
        ...

k8s 在主上创建一个cni0和flannel.1的虚拟网络设备，cni0是网桥类型的设备，flannel.1是vxlan类型的设备 (准确的说是vtep设备，在vxlan模式下，我们将这个封包解包的设备叫做vtep设备VXLAN Tunnel Endpoints)。

记下这里worker2节点上cni0的ip地址10.10.2.1 ，flannel.1的ip地址 10.10.2.0

parallels@worker2:~/Desktop$ ethtool -i flannel.1
driver: vxlan
...
parallels@worker2:~/Desktop$ ethtool -i cni0
driver: bridge
...

先看下网桥的作用(vxlan设备作用稍后进行分析) 网桥拥有交换机的作用。

我们知道，在同一台主机上，不同pod的网络命名空间是不同的，在linux上有一种veth的虚拟网络设备，它是成对出现的，所以也被叫做veth pair，可以连接不同命名空间。

从veth一端发出去的包能够被另外一端接收到，通过veth pair能够连通两个命名空间。

但是如果一台主机上，有许多pod，要想让那么多pod都连通的话，就得两两建立veth pair设备，这样的排列组合数量随着pod的增加会变得相当大。

而网桥的出现能够让这个网络模型变成 veth pair的一端连通着pod的网络命名空间，一端是连接在网桥上，让网桥充当交换机的作用，同一台主机的不同pod的数据包都经过网桥去进行转发。

交换机是工作在网络的第二层，所以只会将数据包解析到数据帧的格式，只认MAC地址，如果是广播帧，转发给所有接入网桥的设备，如果是单播帧，那么就会发往特定的端口。

但是网桥作为交换机与之不同的一点是，网桥具有将转发数据包到主机的三层网络协议栈的功能，如果发往网桥的数据包的mac地址就是网桥自身mac地址的话，那么网桥就会认为数据包是要发往数据的数据包，然后去对其进行转发。

查看集群pod 信息

再结合 pod 看看pod内部的网络数据包是如何输出到网桥上的。我在集群内部启动了一个3副本的busybox镜像的 pod。

来看看pod分布的工作节点以及其ip地址

(base) ➜  ~ kubectl get pods -o wide
NAME                       READY   STATUS    RESTARTS        AGE     IP          NODE      NOMINATED NODE   READINESS GATES
busybox-8647b8666c-74nmg   1/1     Running   0               3h19m   10.10.1.3   worker1   <none>           <none>
busybox-8647b8666c-bwgh9   1/1     Running   1 (4h29m ago)   12d     10.10.2.4   worker2   <none>           <none>
busybox-8647b8666c-qwzrh   1/1     Running   1 (4h29m ago)   4h57m   10.10.2.5   worker2   <none>           <none>

我们的目的就是让worker2节点上ip为10.10.2.4 的pod能ping通 worker1节点上ip为10.10.1.3的pod

进入worker2节点上 ip为10.10.2.4 的pod内部看看路由信息。

/ # route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.10.2.1       0.0.0.0         UG    0      0        0 eth0
10.10.0.0       10.10.2.1       255.255.0.0     UG    0      0        0 eth0
10.10.2.0       0.0.0.0         255.255.255.0   U     0      0        0 eth0

还记得刚刚说的worker2节点上的cni0网桥的ip是10.10.2.1 吗？

通过路由信息，可以看到10.10.2.1正是pod的网关，所以如果在pod内部 ping worker1上的pod ip 10.10.1.3 ，就会匹配上第二条路由信息。

那么worker2 的pod发出去的数据包就指定到达10.10.2.1这个ip上，所以mac地址就是10.10.2.1对应的mac地址，即cni0的mac地址。

正是由于这个原因，触发了cni0网桥的转发到主机上的三层网络协议栈的这个机制，而到达worker2主机后，通过ip要看具体转发到哪张网卡是看主机的路由信息的，所以，先看下worker2的路由信息。

parallels@worker2:~/Desktop$ route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0python.0.0.0         192.168.2.1     0.0.0.0         UG    100    0        0 enp0s5
10.10.0.0       10.10.0.0       255.255.255.0   UG    0      0        0 flannel.1
10.10.1.0       10.10.1.0       255.255.255.0   UG    0      0        0 flannel.1
10.10.2.0       0.0.0.0         255.255.255.0   U     0      0        0 cni0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.2.0     0.0.0.0         255.255.255.0   U     100    0        0 enp0s5
192.168.2.1     0.0.0.0         255.255.255.255 UH    100    0        0 enp0s5

我们数据包目的地是worker1上的pod ，ip是10.10.1.3 ，通过路由信息，看到属于10.10.1.0/24这个网段的数据包都会经过 flannel.1发出，网关是10.10.1.0 ，这个ip也就是对端vtep设备的ip地址。

数据包就这样从worker2的pod来到了worker2节点上的flannel.1 这个网卡上。

flannel.1会对数据包进行一些加工，加工时需要加上对端vtep的mac地址，由于flannel.1 通过路由信息已经知道对端vtep的ip地址，通过查询本地arp缓存表，得到目的vtep的mac地址。

parallels@worker2:~/Desktop$ ip neigh show dev flannel.1
10.10.1.0 lladdr 72:5a:79:44:22:7b PERMANENT
10.10.0.0 lladdr 62:03:91:cb:cc:36 PERMANENT

k8s是通过flanneld（在flannel插件工作模式下，每个节点上都有一个flanneld的后台进程，对节点上的一些网络信息进行配置）在worker2的arp缓存中写入了mac地址，且永不过期。

同时还会加上vxlan头部信息，在头部信息中表明了这是一个vxlan帧，这样worker1节点收到数据包时，知道这是一个vxlan帧后，会将这个包去进行解包操作，同时头部信息中也包含一个vni的信息，只有vni相同的网络设备才有解包的资格。

这样封装以后，还需要将这个包发往对端vtep所在的主机节点，怎么发送呢？

worker2的flannel.1用udp格式的数据包再包裹一下vxlan帧，封装成udp时，需要知道对端的ip地址。

这里封装成udp包的时候，是如何知道目的节点主机的ip的呢。 flannel.1 通过查询本机的一个叫做fdb的转发数据库获取目的节点主机的ip。

parallels@worker2:~/Desktop$ bridge fdb show flannel.1 | grep 72:5a:79:44:22:7b
72:5a:79:44:22:7b dev flannel.1 dst 192.168.2.16 self permanent

注意这些配置信息是在woker1节点启动后，就会在workejsr2节点自动加上的，而完成配置信息的动作是由各个主机上的flanneld进程完成的

知道了udp的目的ip后，就是一个正常数据包在宿主机上的封包，发送流程了。

这样，数据包就到达了worker1。

worker1节点的接收过程

worker1 的内核协议栈收到数据包以后，发现有vxlan header以及vni标记是1，就将这个vxlan包发给本机的vni标记也为1的flannel.1设备。

然后flannel.1进行解包，取出数据包的目的ip是10.10.1.3，然后查看worer1本机路由信息。

arallels@worker1:~/Desktop$ route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.2.1     0.0.0.0         UG    100    0        0 enp0s5
10.10.0.0       10.10.0.0       255.255.255.0   UG    0      0        0 flannel.1
10.10.1.0       0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.10.2.0       10.10.2.0       255.255.255.0   UG    0      0        0 flannel.1
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.2.0     0.0.0.0         255.255.255.0   U     100    0        0 enp0s5
192.168.2.1     0.0.0.0         255.255.255.255 UH    100    0        0 enp0s5
parallels@worker1:~/Desktop$

发现发往10.10.1.0/24这个网段的包要经过cni0网桥，所以flannel.1将解包后的数据包转发给了cni0网桥。

接下来就是cni0网桥在一个10.10.1.0/24 子网内发送目的ip为 10.10.1.3 的流程了。

cni0网桥先通过10.10.1.3查找本地mac地址，如果有则发往mac地址对应的端口，端口连通的另一端是veth设备也是worker1上的pod的网卡。

如果没有10.10.1.3的mac地址，则先通过arp协议，在一个局域网内获得arp响应包后，再发送数据包到对应端口连通的pod veth网卡上。

至此，worker1成功收到了worker2发送的数据包了。