linux 記一次鏈路聚合


前言:

       將多個linux網絡端口綁定為1個,可以提升網絡性能。公司做了glusterfs網絡文件系統,讀寫都在一塊網卡上,導致I/O很低,最后決定做鏈路聚合來提升服務器的網絡吞吐(I/O)可以使用linux teaming bond模塊。目前發布的各個linux版本內核均已包含了該模塊,大多數情況下不需要重新編譯內核。公司的系統是centos6.5,使用bonding模塊。Bonding模塊提供了綁定/集成多個網卡作為一個虛擬邏輯網口的功能。本次采用了模式0負載均衡模式,常用的還有1冗余模式。服務器共有4塊網卡,其余兩塊都被占用,所以只聚合剩余兩塊網卡。

步驟

(1)創建bond網卡文件

[root@rsync ~]# cd /etc/sysconfig/network-scripts/                //進入網卡配置目錄

[root@rsync network-scripts]# vim ifcfg-bond1             //創建bond1文件,因為已經創建過bond0
DEVICE=bond1                        //網卡名稱bond1
IPADDR=192.168.0.36            //ip地址
NETMASK=255.255.255.0       //子網掩碼
#GATEWAY=192.168.130.1     //網關被注釋了,因為已經做了高級路由
TYPE=Ethernet                        //類型是以太網
ONBOOT=yes                         //開機自啟
NM_CONTROLLED=no           //不接受NerworkManager管理
BOOTPROTO=none                //靜態ip

wKiom1eJ1h2jqkYVAAAjm--Kp5o757.png

(2)配置要聚合的網卡

[root@rsync network-scripts]# vim ifcfg-em1
DEVICE=em1                                     //設備名稱em1
HWADDR=78:2B:CB:58:37:77            //mac地址
TYPE=Ethernet                           //類型以太網
MASTER=bond1                        //主是bond1
SLAVE=yes                                //開啟聚合
UUID=95e495f1-da8c-4235-a32c-547da4635ec8              //uuid
ONBOOT=yes                           //開機自啟
NM_CONTROLLED=no 
BOOTPROTO=none

wKioL1eJ1tPB_VUmAAAn-mtL74I274.png

[root@rsync network-scripts]# cat ifcfg-em2
DEVICE=em2
HWADDR=78:2B:CB:58:37:79
TYPE=Ethernet
UUID=b91ae4e3-0bc0-4fe1-a77f-fb39a1204341
MASTER=bond1
SLAVE=yes
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
DNS1=202.106.0.20                //設置dns
IPV6INIT=no                          //不允許ipv6
USERCTL=no                         //普通用戶不能控制網卡

wKioL1eJ1uTCRb2nAAAw9IucWAg332.png

(3)裝載bond模塊驅動

[root@rsync network-scripts]# vim /etc/modprobe.d/dist.conf

alias bond1 bonding
options bond1 miimon=100 mode=0

wKioL1eJ11fQYfoUAAAIbglxN9A991.png

(4)設置開機自動運行

[root@rsync network-scripts]# vim /etc/rc.local

ifenslave bond1 em1 em2

wKioL1eJ15-gFP7SAAAEP2KBv3o654.png

(5)測試

[root@rsync network-scripts]# service network restart

[root@rsync network-scripts]# modprobe bonding

[root@rsync network-scripts]# less /proc/net/bonding/bond1

wKioL1eJ2OWxXVWcAABjLwCdZLs901.png

(6)bond 7中模式說明

不知道在哪看到的,以下屬於復制別人的東西

七種bond模式說明:

第一種模式:mod=0 ,即:(balance-rr)Round-robin policy(平衡掄循環策略)

特點:傳輸數據包順序是依次傳輸(即:第1個包走eth0,下一個包就走eth1….一直循環下去,直到最后一個傳輸完畢),此模式提供負載平衡和容錯能力;但是我們知道如果一個連接或者會話的數據包從不同的接口發出的話,中途再經過不同的鏈路,在客戶端很有可能會出現數據包無序到達的問題,而無序到達的數據包需要重新要求被發送,這樣網絡的吞吐量就會下降

第二種模式:mod=1,即: (active-backup)Active-backup policy(主-備份策略)

特點:只有一個設備處於活動狀態,當一個宕掉另一個馬上由備份轉換為主設備。mac地址是外部可見得,從外面看來,bondMAC地址是唯一的,以避免switch(交換機)發生混亂。此模式只提供了容錯能力;由此可見此算法的優點是可以提供高網絡連接的可用性,但是它的資源利用率較低,只有一個接口處於工作狀態,在有 N 個網絡接口的情況下,資源利用率為1/N

第三種模式:mod=2,即:(balance-xor)XOR policy(平衡策略)

特點:基於指定的傳輸HASH策略傳輸數據包。缺省的策略是:(MAC地址 XOR 目標MAC地址)% slave數量。其他的傳輸策略可以通過xmit_hash_policy選項指定,此模式提供負載平衡和容錯能力

第四種模式:mod=3,即:broadcast(廣播策略)

特點:在每個slave接口上傳輸每個數據包,此模式提供了容錯能力

第五種模式:mod=4,即:(802.3ad)IEEE 802.3ad Dynamic link aggregationIEEE802.3ad 動態鏈接聚合)

特點:創建一個聚合組,它們共享同樣的速率和雙工設定。根據802.3ad規范將多個slave工作在同一個激活的聚合體下。外出流量的slave選舉是基於傳輸hash策略,該策略可以通過xmit_hash_policy選項從缺省的XOR策略改變到其他策略。需要注意的 是,並不是所有的傳輸策略都是802.3ad適應的,尤其考慮到在802.3ad標准43.2.4章節提及的包亂序問題。不同的實現可能會有不同的適應 性。

必要條件:

條件1ethtool支持獲取每個slave的速率和雙工設定

條件2switch(交換機)支持IEEE802.3ad Dynamic link aggregation

條件3:大多數switch(交換機)需要經過特定配置才能支持802.3ad模式

第六種模式:mod=5,即:(balance-tlb)Adaptive transmit load balancing(適配器傳輸負載均衡)

特點:不需要任何特別的switch(交換機)支持的通道bonding。在每個slave上根據當前的負載(根據速度計算)分配外出流量。如果正在接受數據的slave出故障了,另一個slave接管失敗的slaveMAC地址。

該模式的必要條件:ethtool支持獲取每個slave的速率

第七種模式:mod=6,即:(balance-alb)Adaptive load balancing(適配器適應性負載均衡)

特點:該模式包含了balance-tlb模式,同時加上針對IPV4流量的接收負載均衡(receiveload balance, rlb),而且不需要任何switch(交換機)的支持。接收負載均衡是通過ARP協商實現的。bonding驅動截獲本機發送的ARP應答,並把源硬件地址改寫為bond中某個slave的唯一硬件地址,從而使得不同的對端使用不同的硬件地址進行通信。

來自服務器端的接收流量也會被均衡。當本機發送ARP請求時,bonding驅動把對端的IP信息從ARP包中復制並保存下來。當ARP應答從對端到達時,bonding驅動把它的硬件地址提取出來,並發起一個ARP應答給bond中的某個slave。使用ARP協商進行負載均衡的一個問題是:每次廣播 ARP請求時都會使用bond的硬件地址,因此對端學習到這個硬件地址后,接收流量將會全部流向當前的slave。這個問題可以通過給所有的對端發送更新(ARP應答)來解決,應答中包含他們獨一無二的硬件地址,從而導致流量重新分布。當新的slave加入到bond中時,或者某個未激活的slave重新 激活時,接收流量也要重新分布。接收的負載被順序地分布(roundrobin)在bond中最高速的slave上當某個鏈路被重新接上,或者一個新的slave加入到bond中,接收流量在所有當前激活的slave中全部重新分配,通過使用指定的MAC地址給每個 client發起ARP應答。下面介紹的updelay參數必須被設置為某個大於等於switch(交換機)轉發延時的值,從而保證發往對端的ARP應答 不會被switch(交換機)阻截。

必要條件:

條件1ethtool支持獲取每個slave的速率;

條件2:底層驅動支持設置某個設備的硬件地址,從而使得總是有個slave(curr_active_slave)使用bond的硬件地址,同時保證每個 bond 中的slave都有一個唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址將會被新選出來的 curr_active_slave接管其實mod=6mod=0的區別:mod=6,先把eth0流量占滿,再占eth1….ethX;而mod=0的話,會發現2個口的流量都很穩定,基本一樣的帶寬。而mod=6,會發現第一個口流量很高,第2個口只占了小部分流量



本文出自 “庭中有奇樹” 博客,請務必保留此出處http://zhangdl.blog.51cto.com/11050780/1826965


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2020 ITdaan.com