yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
    yum install -y drbd90 kmod-drbd90
    https://github.com/LINBIT 源码安装
    iptables -I INPUT -p tcp --dport 7788:7799 -j ACCEPT
    iptables-save > /etc/sysconfig/iptables
    /etc/DRBD.conf 包含 /etc/drbd.d/global_common.conf /etc/drbd.d/*.res 所有节点相同
    vi /etc/drbd.d/global_common.conf
        global {
            usage-count no;
        }
        common {
            net {
                protocol C; //A B
                transport "tcp";//rdma
                allow-two-primaries no; //双主模式
                verify-alg sha1; //md5、crc32c 在线磁盘同步校验
                csums-alg sha1; //md5、crc32c 复制同步差异校验方法
                data-integrity-alg sha1; //md5、crc32c 复制数据传输正确性校验

                //拥塞策略
                on-congestion pull-ahead;
                congestion-fill 2G;
                congestion-extents 2000;

                //脑裂
                after-sb-0pri://裂脑被检测到，但此时资源在任何主机上都不是主要角色。
                disconnect;不要自动恢复，调用split brain处理程序脚本如果已配置,断开连接并以断开模式继续。
                discard-younger-primary;放弃并回滚对最后担任主服务器角色的主机所做的修改。
                discard-least-changes;丢弃并回滚发生较少更改的主机上的更改。
                discard-zero-changes;如果有任何主机根本没有发生任何更改，只需在另一个主机上应用所做的所有修改并继续。

                after-sb-1pri: 裂脑被检测到，此时资源在一个主机上扮演主要角色
                disconnect;与 after-sb-0pri 一样。
                consensus;应用 after-sb-0pri 中指定的相同恢复策略。如果在应用这些策略后可以选择裂脑受害者，则自动解决。否则，行为就像指定了 disconnect 一样。
                call-pri-lost-after-sb;应用 after-sb-0pri 中指定的恢复策略。如果在应用这些策略后可以选择裂脑受害者，请调用受害者节点上的 pri-lost-after-sb 处理程序。必须在 handlers 部分中配置此处理程序，并要求将节点从集群中强制删除。
                discard-secondary;无论哪个主机当前处于第二个角色，使该主机成为裂脑受害者

                after-sb-2pri:裂脑被检测到，此时资源在两个主机上都处于主要角色
                disconnect;与 after-sb-0pri 一样。

                //安装drbd-proxy和drbd-proxy.license后
                proxy {
		            memlimit 512M;
		            plugin {
			            zlib level 9;
		            }
	            }
            }
        }
    vi /etc/drbd.d/mydisk.res
        resource mydisk {
            net {
                protocol C; //A B
                transport "tcp";//rdma
            }

            disk {
                c-plan-ahead 5;     //5秒检测一次网络动态调整速率
                c-max-rate 10M;     //最大使用1M的带宽
                c-fill-target 2M;   //

                on-io-error detach; //发生IO错误丢弃备份设备以无盘模式运行
                on-io-error pass_on; //IO发生在主节点报告错误,次节点忽略
                on-io-error call-local-io-error;//调用自定义IO错误处理程序

                //如果只有部分主机有缓存可以把disk移动到on hostname节点里面
                disk-flushes yes;  //启用复制数据的强制磁盘刷新
                md-flushes yes;    //元数据的强制磁盘刷新

            }
            disk {
                c-plan-ahead 0;     //固定速率
                cresync-rate 10M;   //10M带宽
            }

            handlers {  // 可以使用任何系统命令
                split-brain "/usr/lib/drbd/notify-split-brain.sh root";//数据脑裂逻辑, 将邮件通知root
            }
            

            volume 0 {
                device    /dev/drbd1;
                disk      /dev/sda7;
                meta-disk internal;
            }
            volume 1 {
                device    /dev/drbd2;
                disk      /dev/sda8;
                meta-disk internal;
            }

            //链接数是 n*(n-1)/2

            //单网卡
            on hostname-1 {
                address   10.1.1.31:7789;
                node-id   0;
                proxy on ostname-1 {
			        inside 127.0.0.1:7815; 节点与代理通信
			        outside 192.168.23.1:7715; 代理间通信
		        }
            }
            on hostname-2 {
                address   10.1.1.32:7789;
                node-id   1;
            }
            on hostname-3 {
                address   10.1.1.33:7789;
                node-id   2;
            }
            connection-mesh {
                hosts hostname-1 hostname-2 hostname-3;
            }

            //多网卡
            connection {
                host hostname-1     address 10.1.2.1:7010;
                host hostname-2     address 10.1.2.2:7001;
            }
            connection {
              host hostname-1       address 10.1.3.1:7020;
              host hostname-3       address 10.1.3.2:7002;
            }
            connection {
                host hostname-2     address 10.1.4.1:7021;
                host hostname-3     address 10.1.4.2:7012;
            }
        }

    drbdadm create-md --max-peers=xx mydisk         //初始化元数据
    提示 drbdmeta 1 v09 /dev/xxx internal create-md x terminated with exit code 40 磁盘空不能判断大小
    dd if=/dev/zero of=/dev/xxx bs=1M count=100 写入100M数据

    drbdadm up mydisk                               //启用资源
    drbdadm status mydisk                           //查看资源状态

    drbdadm primary --force mydisk  //同步原始数据,在一台要保留数据的节点上执行,其它节点数据丢失
    drbdadm status mydisk                           //查看资源同步状态
    drbdadm status mydisk --verbose --statistics

    mkfs.ext4 /dev/drbdx
    mount /dev/drbdx /xxx


    //或离线同步
    //保留数据的机器上执行
    drbdadm new-current-uuid --clear-bitmap mydisk/volume 0
    drbdadm new-current-uuid --clear-bitmap mydisk/volume 1
    使用RAD-1或按位复制(dd命令)到临时挂载的备份机的磁盘上
    drbdadm new-current-uuid mydisk


    //在备份机上执行
    将磁盘插入备份机,在磁盘未使用情况下,执行命令将节点ID修改
    drbdadm -- --force [--stacked 堆栈需要] dump-md mydisk/volume0 > /tmp/md_orig.txt
    
    sed -e "s/node-id 1/node-id 0/" \
	-e "s/^peer.1. /peer-NEW /" \
	-e "s/^peer.0. /peer[1] /" \
	-e "s/^peer-NEW /peer[0] /" \
	< /tmp/md_orig.txt > /tmp/md.txt

    drbdmeta --force [--stacked 堆栈需要] $(drbdadm sh-minor mydisk/volume0) v09 $(drbdadm sh-ll-dev mydisk/volume0) inter

    mydisk/volume1 也是相同的操作

    drbdadm up mydisk       //启用资源
    节点连接建立后,只会同步及复制后期变化的数据

    drbdsetup events2 --now –statistics –timestamp mydisk 更底层的监控
    drbdadm cstate mydisk 链接状态
    drbdadm cstate hostname-1:mydisk 只看单个节点的链接状态

    drbdadm role mydisk 查看节点角色
    drbdadm dstate mydisk 磁盘状态

    drbdadm down mydisk 禁用资源

    故障切换
    主节点
    umount /dev/drbd/by-res/mydisk/volume0
    drbdadm secondary mydisk 将节点降为从节点

    从节点
    drbdadm primary mydisk 将节点提升为主节点
    mount /dev/drbd/by-res/mydisk/volume0 <mountpoint>

    
    升级
    systemctl stop drbd
    yum upgrade
    rmmod drbd 卸载旧内核,如果出现错误应该是有些资源没有停止 drbdadm down all
    modprobe drbd 加载新内核
    drbdadm dump all 可以将旧的配置导出为新版的配置 大版本变动
    drbdadm create-md --max peers=xx mydisk 更改元数据 大版本变动需要
    drbdadm up mydisk 启动同步
    systemctl start drbd

    drbdadm net-options --protocol=C --allow-two-primaries mydisk 临时允许双主
    drbdadm net-options --protocol=C --allow-two-primaries=no mydisk 停止

    drbdadm verify mydisk 联机验证磁盘
    如果校验不同步,调用下面命令重新同步
    drbdadm disconnect mydisk
    drbdadm connect mydisk

    修改配置->同步所有节点配置->drbdadm adjust mydisk

    drbdadm resize mydisk 在线扩容,次扩容的是逻辑卷如LVM,此时只能有一个主
    drbdadm -- --assume-clean resize mydisk 扩容磁盘数据为空跳过同步
    drbdadm resize --size=xxK|M|G mydisk 在线缩容

    如果扩容非逻辑块设备, 且使用external meta data
    drbdadm down mydisk
    添加磁盘
    drbdadm up mydisk

    如果扩容非逻辑块设备, 且使用internal meta data
    drbdadm down mydisk
    drbdadm dump-md mydisk > /tmp/metadata 每个节点
    添加磁盘
    编辑/tmp/metadata 在扇区中修改la-size-sect
    drbdadm create-md mydisk
    drbdmeta_cmd=$(drbdadm -d dump-md mydisk)
    ${drbdmeta_cmd/dump-md/restore-md} /tmp/metadata
    drbdadm up mydisk
    drbdadm primary mydisk

    离线缩容块设备都与internal meta data类似,只是external meta data无需导入导出

    drbdadm dstate all 将显示所有资源, all 可以用在所有资源名的地方

    drbd-proxy-ctl -c 代理配置