iSCSI storage 를 OCFS2 를 이용하여 여러 대의 서버에서 사용하는 공유디스크로 설정하는 방법을 아래에 정리한다.
본 내용의 방법을 응용하여 iSCSI 와 유사한, 다른 Network 방식의 Block storage 를 OCFS2 파일시스템을 적용하여 공유 스토리지로 사용할 수 있으며, Oracle DBMS를 위한 RAC(Real Application Cluster)구성시에도 응용 가능하다(단, CRS, ASM 등의 Clusterware를 적용하는 방법은 약간씩 상이하며 - RAC를 위한 공유메모리, 세마포 등의 Kernel 설정은 제외하고 - 공유 스토리지에 대한 기본 개념은 유사함).
* 참고로 DRBD(Distributed Replicated Block Device) 를 이용한 양방향(Active-active) OCFS2 설정에 관한 설명은 다음 포스팅에서 다룰 예정이다.
구성을 진행할 목표의 논리적 구성도는 아래와 같다.
1. iSCSI 스토리지 장치의 준비
Server-side 의 iSCSI target device 는 시중의 NAS 스토리지 장비인 Synology(TM) NAS 장비를 이용하여 설정한다.
스토리지 장비의 기본적인 설정 방법에 대해서는 따로 설명하지 않으며, 본 설명에서는 iSCSI 스토리지를 아래와 같이
설정하여 사용한다.
IQN: iqn.2000-01.com.synology:wtnas.bryanstest
ip: 10.10.250.250
port: 3260
단일 iSCSI 스토리지 장치(대상, target)에 대해 여러 개의 iSCSI 초기자(개시자, initiator)로부터의 접속이 가능하여야
하므로, 반드시 아래의 그림과 같이 다중 접속이 가능하도록 설정하여야 한다.
2. iSCSI 초기자(개시자, initiator)와 OCFS2 를 통한 공유 스토리지 설정
iSCSI 초기자를 통하여 OCFS2 디스크를 사용할 2대의 서버를 준비한다. 본 내용에서는 Machine1, Machine2 로 칭하며,
아래와 같이 2대의 머신에 공통적으로 설치 및 설정 작업을 수행한다.
2.1 iSCSI 스토리지 준비 절차
2.1.1 Machine 준비
iSCSI 대상 장비에 network access가 가능한, OpenSUSE 12.x 이 설치된 2대의 머신을 준비한다.
* Machine1
IP: 10.10.253.253
hostname: ocfsnode1
* Machine2
IP: 10.10.253.254
hostname: ocfsnode2
2대의 머신내에 /etc/hosts 설정에 아래 내용을 추가한다.
10.10.253.253 ocfsnode1
10.10.253.254 ocfsnode2
2.1.2 iSCSI 장치 연결을 위한 설정
준비된 2대의 머신에 다음와 같은 과정을 설치 & 설정을 진행한다.
# zypper search iscsi
i | open-iscsi | Linux* Open-iSCSI Software Initiator | package
i | yast2-iscsi-client | YaST2 - iSCSI Client Configuration | package
만약 open-iscsi 패키지가 설치되어 있지 않다면 zypper install 명령으로 설치를 진행한다(yast2-iscsi-client 는 본 설명에서 사용하지 않으므로 설치하지 않아도 무방함)
# chkconfig --add iscsid
# chkconfig iscsid on
# vi /etc/iscsid.conf
...
node.startup = automatic
...
node.startup 부분을 찾아서 설정값을 automatic 으로 수정한다.
# service iscsid start
# ps -eaf | grep iscsid
root 19748 1 0 10:51 ? 00:00:00 /sbin/iscsid -c /etc/iscsi/iscsid.conf -n
root 19749 1 0 10:51 ? 00:00:00 /sbin/iscsid -c /etc/iscsi/iscsid.conf -n
# service iscsid status
redirecting to systemctl
iscsid.service - LSB: iSCSI initiator daemon
Loaded: loaded (/etc/init.d/iscsid)
Active: active (running) since Mon, 08 Apr 2013 10:51:32 +0900; 38s ago
Process: 900 ExecStop=/etc/init.d/iscsid stop (code=exited, status=0/SUCCESS)
Process: 32368 ExecReload=/etc/init.d/iscsid reload (code=killed, signal=TERM)
Process: 19728 ExecStart=/etc/init.d/iscsid start (code=exited, status=0/SUCCESS)
CGroup: name=systemd:/system/iscsid.service
├ 19748 /sbin/iscsid -c /etc/iscsi/iscsid.conf -n
└ 19749 /sbin/iscsid -c /etc/iscsi/iscsid.conf -n
# iscsiadm -m discovery -t sendtargets -p 10.10.250.250
10.10.250.250:3260 via sendtargets
iSCSI discovery 기능을 이용하여 network 내의 접속 가능한 대상장비(target device)를 찾는다
# iscsiadm -m node -l -p 10.10.250.250:3260
Logging in to [iface: default, target: iqn.2000-01.com.synology:wtnas.bryanstest, portal: 10.10.250.250, 3260]
Login to .... : successful
대상 장치에 접속을 시도한다.
# iscsiadm -m session
tcp: [1] 10.10.250.250:3260,0 iqn.2000-01.com.synology:wtnas.bryanstest
접속된 세션 정보를 확인한다.
* 대상 장치와의 접속을 끊으려면 다음과 같이 수행한다
# iscsiadm -m node -u -p 10.10.250.250:3260
또는 port 번호를 생략하려면 다음과 같이 수행한다
# iscsiadm -m node -u 10.10.250.250
* discovery 된 target 정보를 삭제하려면 다음과 같이 수행한다
# iscsiadm -m node -o delete 10.10.250.250
2.1.3 대상 디스크의 파티션 설정
2대의 Machine중 하나에서 다음과 같이 디스크 파티션 수행
=> 파티션 추가(n, primary), 설정 저장(w)
# fdisk -l
Disk /dev/sdc: 10.7 GB, 10737418240 bytes
64 heads, 32 sectors/track, 10240 cylinders, total 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x9be02ef9
Device Boot Start End Blocks Id System
/dev/sdc1 2048 20971519 10484736 83 Linux
설정된 파티션 정보를 확인한다. 대상 장치의 정확한 인식 여부의 확인을 위하여 Disk identifier 부분에 주의한다.
2.2 OCFS2 설치 및 Cluster 설정
iSCSI storage를 연결한 2대(또는 여러 대)의 머신을, OCFS2 cluster 에 참여시켜, 공유된 디스크(Shared storage) 로
사용하기 위한 Cluster 설정 과정이다.
2.2.1 Machine 1 설정
Machine 1# zypper in -y ocfs2-tools ocfs2-tools-o2cb ocfs2console
OCFS2를 구동할 패키지를 설치한다. ocfs2console 은 설치하지 않아도 무방하다(본 설명에서는 사용하지 않음)
Machine 1# mkdir /etc/ocfs2
Machine 1# vi /etc/ocfs2/cluster.conf
cluster:
node_count = 2
name = ocfscluster1
node:
ip_port = 7777
ip_address = 10.10.253.253
number = 1
name = ocfsnode1
cluster = ocfscluster1
node:
ip_port = 7777
ip_address = 10.10.253.254
number = 2
name = ocfsnode2
cluster = ocfscluster1
OCFS2 용 cluster 설정 파일을 작성한다.
Machine 1# chkconfig --add o2cb
Machine 1# chkconfig --add ocfs2
부팅시 실행되도록 자동 시작 스크립트를 설정한다.
Machine 1# service o2cb configure
Configuring the O2CB driver
This will configure the on-boot properties of the O2CB driver.
The following questions will determine whether the driver is loaded on
boot. The current values will be shown in brackets ('[]'). Hitting
<ENTER> without typing an answer will keep that current values. Ctrl-C
will abort.
Load O2CB driver on boot (y/n) [n]: y
Cluster stack backing O2CB [o2cb]:
Cluster to start on boot (Enter "none" to clean) []: ocfscluster1
Specify heartbeat dead threshold (>=7) [31]:
Specify network idle timeout in ms (>=5000) [30000]:
Specify network keepalive delay in ms (>=1000) [2000]:
Specify network reconnect delay in ms (>=2000) [2000]:
Writing O2CB configuration: OK
Mounting configfs filesystem at /sys/kernel/config: OK
Loading stack plugin "o2cb": OK
Loading filesystem "ocfs2_dlmfs": OK
Creating directory '/dlm': OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
Setting cluster stack "o2cb": OK
Starting O2CB cluster ocfscluster1: OK
[주의]
mount: configfs already mounted or /sys/kernel/config busy 와 같은 오류 발생시
mount 명령으로 configfs on /sys/kernel/config type configfs (rw, relatime) 라인을 찾아서, 있으면
# service o2cb unload
# umount /sys/kernel/config 로 un-mount 한 후에 service o2cb configure 재 실행
Machine 1# service o2cb status
o2cb service
Loaded: error (Reason: No such file or directory)
Active: inactive (dead)
설정 결과의 확인. 서비스는 정상적으로 Loading 되었으며, ocfs2 디스크를 포맷하기 전까지는 위와 같이 inactive 로 보이는 것이 정상임
Machine 1# mkfs.ocfs2 -b 4K -C 32K -N 2 -L "OCFS2Filesystem" /dev/sdc1
Machine 1# mkdir /mnt/ocfs2
Machine 1# mount -t ocfs2 -o nointr /dev/sdc1 /mnt/ocfs2
대상 디스크를 OCFS2 포맷으로 초기화한다. -N 옵션의 숫자 값은 다중 접속수를 의미하며, 확장시에는 tunefs.ocfs2 로 변경 가능하다. 초기화 후에 정상적으로 사용이 가능한지 mount 를 수행하여 확인한다.
Machine 1# sync
Machine 1# reboot
디스크에 대한 기본 설정이 완료 되었으면 시스템을 재시작하여 전체 설정 결과를 확인한다.
2.2.2 Machine 2 설정
Machine 2# zypper in -y ocfs2-tools ocfs2-tools-o2cb ocfs2console
OCFS2를 구동할 패키지를 설치한다. ocfs2console 은 설치하지 않아도 무방하다(본 설명에서는 사용하지 않음)
Machine 2# mkdir /etc/ocfs2
Machine 2# scp root@10.10.253.253:/etc/ocfs2/cluster.conf /etc/ocfs2
Machine1의 OCFS2 용 cluster 설정 파일을 복사한다.
Machine 2# chkconfig --add o2cb
Machine 2# chkconfig --add ocfs2
부팅시 실행되도록 자동 시작 스크립트를 설정한다.
Machine 2# service o2cb configure
Configuring the O2CB driver
This will configure the on-boot properties of the O2CB driver.
The following questions will determine whether the driver is loaded on
boot. The current values will be shown in brackets ('[]'). Hitting
<ENTER> without typing an answer will keep that current values. Ctrl-C
will abort.
Load O2CB driver on boot (y/n) [n]: y
Cluster stack backing O2CB [o2cb]:
Cluster to start on boot (Enter "none" to clean) []: ocfscluster1
Specify heartbeat dead threshold (>=7) [31]:
Specify network idle timeout in ms (>=5000) [30000]:
Specify network keepalive delay in ms (>=1000) [2000]:
Specify network reconnect delay in ms (>=2000) [2000]:
Writing O2CB configuration: OK
Mounting configfs filesystem at /sys/kernel/config: OK
Loading stack plugin "o2cb": OK
Loading filesystem "ocfs2_dlmfs": OK
Creating directory '/dlm': OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
Setting cluster stack "o2cb": OK
Starting O2CB cluster ocfscluster1: OK
[주의]
mount: configfs already mounted or /sys/kernel/config busy 와 같은 오류 발생시
mount 명령으로 configfs on /sys/kernel/config type configfs (rw, relatime) 라인을 찾아서, 있으면
# service o2cb unload
# umount /sys/kernel/config 로 un-mount 한 후에 service o2cb configure 재 실행
Machine 2# service o2cb status
o2cb service
Loaded: error (Reason: No such file or directory)
Active: inactive (dead)
설정 결과의 확인. 서비스는 정상적으로 Loading 되었으며, ocfs2 디스크를 포맷하기 전까지는 위와 같이 inactive 로 보이는 것이 정상임
Machine 2# mkdir /mnt/ocfs2
Machine 2# mount -t ocfs2 -o nointr /dev/sdc1 /mnt/ocfs2
정상적으로 디스크의 접속, 사용이 가능한지 mount 를 수행하여 확인한다.
Machine 2# sync
Machine 2# reboot
디스크에 대한 기본 설정이 완료 되었으면 시스템을 재시작하여 전체 설정 결과를 확인한다.
2.3 OCFS2 cluster 설정 로드 및 자동 마운트 설정 & 확인
2.3.1 정상 Mount 확인 및 자동 마운트 설정
2대의 머신 모두에 대해 2.2의 모든 과정을 거치고 Reboot 후, 다음과 같은 방법으로 마운트 확인 및 설정 수행
# mount -t ocfs2 /dev/sdc1 /mnt/ocfs2
# vi /etc/fstab
/dev/sdc1 /mnt/ocfs2 ocfs2 _netdev,nointr 0 0
자동 마운트를 위해 설정 라인 추가
Machine 1# sync
Machine 1# reboot
Machine 2# sync
Machine 2# reboot
부팅 후 자동 마운트까지의 전체 과정을 최종 확인하기 위하여 2대의 머신 모두 reboot 를 수행한다.
2.3.2 설정 결과 최종 확인
* Machine 1 확인
Machine 1# service o2cb status
o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb)
Active: active (exited) since Mon, 08 Apr 2013 13:07:51 +0900; 3h 1min ago
Process: 1912 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
CGroup: name=systemd: /system/o2cb.service
Booting 후, dmesg 로 정상 로딩 과정, 결과 확인
[xx.xxxxx] br0: port 1(eth0) entering forwarding state
[xx.xxxxx] Loading iSCSI transport class v2.0-870
[xx.xxxxx] OCFS2 Node Manager 1.5.0
[xx.xxxxx] OCFS2 DLM 1.5.0
[xx.xxxxx] ocfs2: Registered cluster interface o2cb
[xx.xxxxx] iscsi: registered transport (iser)
[xx.xxxxx] OCFS2 CLMFS 1.5.0
[xx.xxxxx] OCFS2 User CLM kernel interface loaded
[xx.xxxxx] scsiX : iSCSI Initiator over TCP/IP
[xx.xxxxx] scsi X:0:0:0: Direct-Access SYNOLOGY iSCSI Storage 3.1 PQ: 0 ANSI: 5
[xx.xxxxx] sd X:0:0:0: Attached scsi generic sg3 type 0
[xx.xxxxx] sd X:0:0:0: [sdc] 20971520 512-byte logical blocks: (10.7 GB/10.0 GiB)
...
[xx.xxxxx] sdc: sdc1
[xx.xxxxx] sd X:0:0:0: [sdc] Attached SCSI disk
[xx.xxxxx] o2net: accepted connection from node ocfsnode2 (num 2) at 10.10.253.254:7777
[xx.xxxxx] OCFS2 1.5.0
[xx.xxxxx] o2dlm: Nodes in domain 0D44652863FD42B4896FF57249AEE740: 1 2
[xx.xxxxx] ocfs2: Mounting device (8,33) on (node 1, slot 1) with ordered data mode.
...
대상 디스크에 IO 발생 및 결과 확인
Machine 1# echo xxxxxxxxxxxx >> /mnt/ocfs2/test.txt
* Machine 2 확인
위의 Machine 1 확인 과정과 동일하게 수행후 Disk IO 발생 및 결과 확인
Machine 2# echo yyyyyyyyyyyy >> /mnt/ocfs2/test.txt
Machine 2# cat /mnt/ocfs2/test.txt
xxxxxxxxxxxx
yyyyyyyyyyyy
댓글을 달아 주세요