每日一博 | 在 CentOS 7 上使用 PaceMaker 構建 NFS HA 服務

基本環境

  • 總共四臺虛擬機器,安裝CentOS 7 X64系統。

  • 每臺虛擬機器兩張網絡卡,分別連線兩個網路,NAT網路192.168.195.0,僅主機網路192.168.162.0。

  • Target主機安裝iSCSI TGT服務,提供共享儲存服務。

  • Test1和Test2主機利用Target主機提供的共享儲存對外提供A/P結構的NFS服務,使用PaceMaker進行叢集管理。

  • Develop主機mount有Test主機提供的NFS服務並測試其功能。

網路配置

IP地址

使用靜態IP地址,並按如下的方式進行配置。

Target
 eth0 : 192.168.195.131
 eth1 : 192.168.162.131

Test1
 eth0 : 192.168.195.132
 eth1 : 192.168.162.132

Test2
 eth0 : 192.168.195.133
 eth1 : 192.168.162.133

Develop
 eth0 : 192.168.195.136
 eth1 : 192.168.162.136

NFS使用的浮動IP為:192.168.195.200。

域名解析

在四臺機器的域名解析文件下增加如下部分,並確保相互可以ping通。

$ vi /etc/hosts
192.168.195.131 target
192.168.195.132 test1
192.168.195.133 test2
192.168.195.136 develop

配置iSCSI

安裝tgt服務

在Target主機上執行如下操作:

安裝軟體包

$ yum install -y scsi-target-utils iscsi-initiator-utils

配置tgt服務,使用/dev/sdd1分割槽作為第一個LUN,密碼為nfsha。

$ cp -v /etc/tgt/targets.conf /etc/tgt/targets.conf.bak
$ vi /etc/tgt/targets.conf
<target iqn.2016-12.org.lr:lvm>
  backing-store /dev/sdd1
  initiator-address 192.168.0.0/16
  incominguser nfsha nfsha
</target>

在LVM中忽略掉/dev/sdd1分割槽。

$ vi /etc/lvm/lvm.conf
global_filter = [ "a|/dev/sdc|", "r|.*/|" ]

重啟服務

$ systemctl enable tgtd.service
$ systemctl restart tgtd.service
$ systemctl status tgtd.service

$ tgtadm -L iscsi -m target -o show

配置initiator客戶端

在Test1,Test2,Develop三個主機上執行如下操作:

安裝軟體包。

$ yum install -y iscsi-initiator-utils

設定客戶端名稱,把XXX分別換成test1,test2,develop。

$ vi /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2016-12.com.lr:XXX

設定驗證協議和密碼。

$ vi /etc/iscsi/iscsid.conf
node.session.auth.authmethod = CHAP
node.session.auth.username = nfsha
node.session.auth.password = nfsha

重啟服務。

$ systemctl enable iscsid.service
$ systemctl restart iscsid.service
$ systemctl status iscsid.service

發現及新增儲存。

$ iscsiadm -m discovery -t st -p 192.168.195.131
$ iscsiadm -m node -T iqn.2016-12.org.lr:lvm -p 192.168.195.131:3260 -l
$ iscsiadm -m discovery -t st -p 192.168.162.131
$ iscsiadm -m node -T iqn.2016-12.org.lr:lvm -p 192.168.162.131:3260 -l

檢視新新增的儲存。

$ iscsiadm -m node –l
192.168.195.131:3260,1 iqn.2016-12.org.lr:lvm
192.168.162.131:3260,1 iqn.2016-12.org.lr:lvm
$ ll /dev/sd*
brw-rw---- 1 root disk 8,  0 11月 24 16:25 /dev/sda
brw-rw---- 1 root disk 8,  1 11月 24 16:25 /dev/sda1
brw-rw---- 1 root disk 8,  2 11月 24 16:25 /dev/sda2
brw-rw---- 1 root disk 8,  3 11月 24 16:25 /dev/sda3
brw-rw---- 1 root disk 8, 16 11月 24 16:25 /dev/sdb
brw-rw---- 1 root disk 8, 17 11月 24 16:25 /dev/sdb1
brw-rw---- 1 root disk 8, 32 11月 24 16:25 /dev/sdc
brw-rw---- 1 root disk 8, 48 11月 24 16:25 /dev/sdd
brw-rw---- 1 root disk 8, 64 11月 24 16:25 /dev/sde
brw-rw---- 1 root disk 8, 80 11月 24 16:25 /dev/sdf

新生成的裝置為sde和sdf。

增加多路徑

在Test1,Test2,Develop三個主機上執行如下操作:

安裝軟體包並載入驅動。

$ yum install -y device-mapper*
$ modprobe dm-multipath

檢視iSCSI裝置的WWID。

$ /lib/udev/scsi_id -g -u /dev/sde
360000000000000000e00000000010001

配置多路徑名稱。

$ vi /etc/multipath.conf
blacklist {
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
  devnode "^sd[a-d][0-9]*"
}

defaults {
  user_friendly_names yes
  path_grouping_policy multibus
  failback immediate
  no_path_retry fail
}

multipaths {
  multipath {
    wwid 360000000000000000e00000000010001
    alias lvm
  }
}

啟動服務

$ mkdir /run/multipathd/ -pv
$ touch /run/multipathd/multipathd.pid
$ chmod 777 /run/multipathd/multipathd.pid

$ systemctl enable multipathd.service
$ systemctl restart multipathd.service
$ systemctl status multipathd.service
$ reboot

重新整理multipath快取

$ multipath -F
$ multipath -v2
$ multipath -ll
lvm (360000000000000000e00000000010001) dm-2 IET     ,VIRTUAL-DISK    
size=10G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 4:0:0:1 sde 8:64 active ready running
  `- 3:0:0:1 sdf 8:80 active ready running

配置LVM

允許LVM掃描iscsi裝置

$ vi /etc/lvm/lvm.conf
filter = [ "a|/dev/mapper/lvm|", "r|.*/|" ]

建立LVM分割槽

$ pvcreate /dev/mapper/lvm
$ vgcreate storage /dev/mapper/lvm

$ lvcreate -L 10G -n test storage

配置LVM,設定locking_type為1,設定use_lvmetad為0,禁用lvmetad服務。

$ lvmconf --enable-halvm --services --startstopservices

設定volume_list,排除我們要使用的storage卷組,避免系統自動啟用。

$ vgs --noheadings -o vg_name
  storage
$ vi /etc/lvm/lvm.conf
volume_list = [  ]

重建initramfs,避免核心啟動時,卷組自動啟用。

$ dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r)

重啟系統,使配置生效。

$ reboot

配置叢集服務

初始化設定

在Test1和Test2上進行如下配:

禁用防火牆

$ systemctl disable firewalld
$ systemctl stop firewalld
Or
$ firewall-cmd --permanent --add-service=high-availability
$ firewall-cmd --add-service=high-availability
$ firewall-cmd --reload

禁用SeLinux

$ setenforce 0
$ sed -i.bak "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
$ reboot

安裝軟體包。

$ yum install pcs pacemaker fence-agents-all

修改叢集賬號密碼

$ passwd hacluster
$ cat /etc/passwd | grep hacluster
hacluster:x:189:189:cluster user:/home/hacluster:/sbin/nologin

重啟服務

$ systemctl start pcsd.service
$ systemctl enable pcsd.service
$ systemctl status pcsd.service

初始化叢集

在任意一個Test節點上進行如下配:

認證叢集賬戶

$ pcs cluster auth test1 test2
Username: hacluster
Password: 
test1: Authorized
test2: Authorized

建立叢集

$ pcs cluster setup --start --name my_cluster test1 test2
Shutting down pacemaker/corosync services...
Redirecting to /bin/systemctl stop  pacemaker.service
Redirecting to /bin/systemctl stop  corosync.service
Killing any remaining services...
Removing all cluster configuration files...
test1: Succeeded
test2: Succeeded
Starting cluster on nodes: test1, test2...
test2: Starting Cluster...
test1: Starting Cluster...
Synchronizing pcsd certificates on nodes test1, test2...
test1: Success
test2: Success

Restaring pcsd on the nodes in order to reload the certificates...
test1: Success
test2: Success

手動啟動叢集

$ pcs cluster start

設定叢集開機啟動

$ pcs cluster enable --all

檢視叢集狀態

$ pcs cluster status
test1: Success
test2: Success

$ pcs cluster enable --all
test1: Cluster Enabled
test2: Cluster Enabled

$ pcs cluster status
Cluster Status:
 Last updated: Tue Dec 13 14:58:32 2016  Last change: Tue Dec 13 14:57:07 2016 by hacluster via crmd on test2
 Stack: corosync
 Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
 2 nodes and 0 resources configured
 Online: [ test1 test2 ]

PCSD Status:
  test1: Online
  test2: Online

配置fence裝置

安裝外掛軟體包

$ yum install -y fence-*

檢視可用fence外掛

$ pcs stonith list

檢視fence外掛使用說明

$ pcs stonith describe fence_kdump
fence_kdump - Fence agent for use with kdump

The fence_kdump agent is intended to be used with with kdump service.

Stonith options:
  nodename: Name or IP address of node to be fenced
  ipport: Port number
  family: Network family
  action: Fencing action
  timeout: Timeout in seconds
  verbose: Print verbose output
  version: Print version
  usage: Print usage
  priority: The priority of the stonith resource. Devices are tried in order of highest priority to lowest.
  pcmk_host_map: A mapping of host names to ports numbers for devices that do not support host names.
  pcmk_host_list: A list of machines controlled by this device (Optional unless pcmk_host_check=static-list).
  pcmk_host_check: How to determine which machines are controlled by the device.
  pcmk_delay_max: Enable random delay for stonith actions and specify the maximum of random delay

建立fence_kdump。

$ pcs stonith create my_fence fence_kdump test1

檢視fence狀態。

$ pcs stonith show my_fence
 Resource: my_fence (class=stonith type=fence_kdump)
  Operations: monitor interval=60s (my_fence-monitor-interval-60s)

配置NFS服務

建立文件系統資源

建立NFS分割槽,並格式化為ext4文件系統。

$ lvcreate -L 50G -n nfs storage
$ mkfs.ext4 /dev/storage/nfs

掛載NFS分割槽。

$ mkdir /mnt/nfs
$ mount /dev/storage/nfs /mnt/nfs

建立NFS目錄和測試文件。

$ mkdir -pv /mnt/nfs/exports
$ mkdir -pv /mnt/nfs/exports/export1
$ mkdir -pv /mnt/nfs/exports/export2

$ touch /mnt/nfs/exports/export1/clientdatafile1
$ touch /mnt/nfs/exports/export2/clientdatafile2

解除安裝NFS分割槽,並去啟用LVM卷組。

$ umount /dev/storage/nfs
$ vgchange -an storage

建立LVM資源,以便啟用卷組。

$ pcs resource create my_lvm LVM volgrpname=storage exclusive=true --group nfsgroup

建立文件系統資源。

$ pcs resource create nfsshare Filesystem \
device=/dev/storage/nfs directory=/mnt/nfs fstype=ext4 --group nfsgroup

建立匯出資源

建立NFS服務資源。

$ pcs resource create nfs-daemon nfsserver \
nfs_shared_infodir=/mnt/nfs/nfsinfo nfs_no_notify=true --group nfsgroup

建立exportfs資源。

$ pcs resource create nfs-root exportfs clientspec=192.168.0.0/255.255.0.0 \
options=rw,sync,no_root_squash directory=/mnt/nfs/exports fsid=0 --group nfsgroup

$ pcs resource create nfs-export1 exportfs clientspec=192.168.0.0/255.255.0.0 \
options=rw,sync,no_root_squash directory=/mnt/nfs/exports/export1 fsid=1 --group nfsgroup

$ pcs resource create nfs-export2 exportfs clientspec=192.168.0.0/255.255.0.0 \
options=rw,sync,no_root_squash directory=/mnt/nfs/exports/export2 fsid=2 --group nfsgroup

建立浮動IP資源。

$ pcs resource create nfs_ip IPaddr2 ip=192.168.195.200 cidr_netmask=24 --group nfsgroup

建立nfsnotify資源。

$ pcs resource create nfs-notify nfsnotify source_host=192.168.195.200 --group nfsgroup

檢視當前狀態。

$ pcs status
Cluster name: my_cluster
Last updated: Tue Dec 13 15:09:27 2016  Last change: Tue Dec 13 15:09:15 2016 by root via cibadmin on test1
Stack: corosync
Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
2 nodes and 9 resources configured

Online: [ test1 test2 ]

Full list of resources:

 my_fence (stonith:fence_kdump): Started test1
 Resource Group: nfsgroup
     my_lvm (ocf::heartbeat:LVM): Started test2
     nfsshare (ocf::heartbeat:Filesystem): Started test2
     nfs-daemon (ocf::heartbeat:nfsserver): Started test2
     nfs-root (ocf::heartbeat:exportfs): Started test2
     nfs-export1 (ocf::heartbeat:exportfs): Started test2
     nfs-export2 (ocf::heartbeat:exportfs): Started test2
     nfs_ip (ocf::heartbeat:IPaddr2): Started test2
     nfs-notify (ocf::heartbeat:nfsnotify): Started test2

PCSD Status:
  test1: Online
  test2: Online

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

驗證和測試

在Develop節點上進行如下測試。

檢視當前匯出的文件系統

$ showmount -e 192.168.195.200
Export list for 192.168.195.200:
/mnt/nfs/exports/export1 192.168.0.0/255.255.0.0
/mnt/nfs/exports         192.168.0.0/255.255.0.0
/mnt/nfs/exports/export2 192.168.0.0/255.255.0.0

驗證NFSv4

$ mkdir nfsshare
$ mount -o "vers=4" 192.168.195.200:export1 nfsshare
$ mount | grep nfsshare
192.168.195.200://export1 on /root/nfsshare type nfs4 (rw,relatime,vers=4.0,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.195.136,local_lock=none,addr=192.168.195.200)
$ ls nfsshare
clientdatafile1
$ umount nfsshare

驗證NFSv3

$ mkdir nfsshare
$ mount -o "vers=3" 192.168.195.200:/mnt/nfs/exports/export2 nfsshare
$ mount | grep nfsshare

192.168.195.200:/mnt/nfs/exports/export2 on /root/nfsshare type nfs (rw,relatime,vers=3,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.195.200,mountvers=3,mountport=20048,mountproto=udp,local_lock=none,addr=192.168.195.200) $ ls nfsshare clientdatafile2 $ umount nfsshare

Failover測試

使用NFSv4掛載export1。

$ mkdir nfsshare
$ mount -o "vers=4" 192.168.195.200:export1 nfsshare
$ ls nfsshare

檢視叢集執行狀態,當前服務全部執行在Test2節點上。

$ Cluster name: my_cluster
Last updated: Tue Dec 13 15:20:53 2016  Last change: Tue Dec 13 15:20:50 2016 by root via crm_attribute on test1
Stack: corosync
Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
2 nodes and 9 resources configured

Online: [ test1 test2 ]

Full list of resources:

 my_fence (stonith:fence_kdump): Started test1
 Resource Group: nfsgroup
     my_lvm (ocf::heartbeat:LVM): Started test2
     nfsshare (ocf::heartbeat:Filesystem): Started test2
     nfs-daemon (ocf::heartbeat:nfsserver): Started test2
     nfs-root (ocf::heartbeat:exportfs): Stopped
     nfs-export1 (ocf::heartbeat:exportfs): Stopped
     nfs-export2 (ocf::heartbeat:exportfs): Stopped
     nfs_ip (ocf::heartbeat:IPaddr2): Stopped
     nfs-notify (ocf::heartbeat:nfsnotify): Stopped

PCSD Status:
  test1: Online
  test2: Online

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

執行測試迴圈程式碼。

$ while :; do date +"%s %c -- $i" | tee -a ~/nfsshare/nfstest.log; sleep 1; (( ++i )); done

掛起Test2主機。

$ pcs cluster standby test2

檢視叢集執行狀態,當前服務全部執行在Test1節點上。

$ pcs status
Cluster name: my_cluster
Last updated: Tue Dec 13 15:26:16 2016  Last change: Tue Dec 13 15:25:47 2016 by root via crm_attribute on test1
Stack: corosync
Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
2 nodes and 9 resources configured

Node test2: standby
Online: [ test1 ]

Full list of resources:

 my_fence (stonith:fence_kdump): Started test1
 Resource Group: nfsgroup
     my_lvm (ocf::heartbeat:LVM): Started test1
     nfsshare (ocf::heartbeat:Filesystem): Started test1
     nfs-daemon (ocf::heartbeat:nfsserver): Started test1
     nfs-root (ocf::heartbeat:exportfs): Started test1
     nfs-export1 (ocf::heartbeat:exportfs): Started test1
     nfs-export2 (ocf::heartbeat:exportfs): Started test1
     nfs_ip (ocf::heartbeat:IPaddr2): Started test1
     nfs-notify (ocf::heartbeat:nfsnotify): Started test1

PCSD Status:
  test1: Online
  test2: Online

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

在Test2主機上。

$ dmesg -c
[ 3145.065649] nfsd: last server has exited, flushing export cache

在Test1主機上。

$ dmesg -c
[ 4423.429239] EXT4-fs (dm-2): mounted filesystem with ordered data mode. Opts: (null)
[ 4424.169604] NFSD: starting 90-second grace period (net ffffffff81a26d80)

在Develop主機上。

$ cat ~/nfsshare/nfstest.log 
...
1481613943 2016年12月13日 星期二 15時25分43秒 -- 71
1481613944 2016年12月13日 星期二 15時25分44秒 -- 72
1481613945 2016年12月13日 星期二 15時25分45秒 -- 73
1481613946 2016年12月13日 星期二 15時25分46秒 -- 74
1481613947 2016年12月13日 星期二 15時25分47秒 -- 75
1481614054 2016年12月13日 星期二 15時27分34秒 -- 76
1481614055 2016年12月13日 星期二 15時27分35秒 -- 77
1481614056 2016年12月13日 星期二 15時27分36秒 -- 78
1481614057 2016年12月13日 星期二 15時27分37秒 -- 79
1481614058 2016年12月13日 星期二 15時27分38秒 -- 80
1481614059 2016年12月13日 星期二 15時27分39秒 -- 81
...

$ dmesg -c
...
[39697.057079] nfs: server 192.168.195.136 not responding, still trying
[39701.648036] nfs: server 192.168.195.136 not responding, still trying
[39738.902904] nfs: server 192.168.195.136 not responding, timed out
[39918.946359] nfs: server 192.168.195.136 not responding, timed out
[39923.889380] nfs: server 192.168.195.136 not responding, timed out
...

$ cat /proc/fs/nfsfs/servers
NV SERVER   PORT USE HOSTNAME
v4 c0a8c3c8  801   1 192.168.195.200

$ cat /proc/fs/nfsfs/volumes 
NV SERVER   PORT DEV     FSID              FSC
v4 c0a8c3c8  801 0:42    0:0               no

可以看到,在切換主機前後後,Develop主機上的寫入程序大概被阻塞107秒(多次反覆測試,均在95秒到110秒之間),之後可以正常進行讀寫。

在讀寫時進行主備切換,檢視文件是否能夠正確讀寫。

$ cp /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso .
$ md5sum /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso CentOS-7-x86_64-Everything-1511.iso
dba29c59117400b111633be2bf2aaf0e  /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso
dba29c59117400b111633be2bf2aaf0e  CentOS-7-x86_64-Everything-1511.iso

參考文件

Red Hat Enterprise Linux 7 High Availability Add-On Administration