HoguInside & ㅁ ㅇ ㄷ nail

SECURITY

pfsense 2.5.2 방화벽 설치 및 Dashboard 접근 구성

By 때찌때찌맴매 - 8월 17, 2021

pfsense 2.5.2 방화벽 설치 및 Dashboard 접근 구성

* 랜섬웨어 대응으로 백업존 구성을 위해 pfsense 방화벽 설치.

I. pfsense 다운로드

* https://www.pfsense.org/download/ 에서 위 사친 처럼 선택 후 다운 로드

* 다운로드 후 iso 파일을 보면 pfSense-CE-2.5.2-RELEASE-amd64.iso.gz 로 압축이 되어 있는데, 7zip 등으로 압축 해제 후 사용

II. L2스위치 + 서버(pfsense 방화벽 서버) 라인 연결

* wan을 사용할 업링크를 pfsense 서버 1번 링크에 연결

* L2 스위치 1번 링크와 pfsense 서버 2번 링크에 연결

III. pfsense 설치

IV. pfsense 네트워크 설정

* vlan 설정은 패스

* 각 WAN,LAN 에 네트워크 장치 할당

* 위 입력된 아이피는 테스트 진행으로 할당 된것. 원래 192 대역으로 dhcp 가 사용되지만, 현재 구성에서는 dhcp를 사용하지 않을 것

* 해당 메뉴에서 2번 선택 후 장치별로 ip 입력.

* 사진은 없지만 Do you want to revert to HTTP as the webConfigurator protocol? (y/n)

내용이 나오는데 대시보드를 사용해야 하기 때문에 Y 로 진행.

* 본래 WAN 에서는 공인 IP로 진행하는데 필자는 vpn 을 통해 구성하기 때문에 10대역 사설IP가 들어감. 상황에 맞춰 진행.

V. pfsense 대시보드 설정

* wan, lan 을 설정 하면 초기 대시보드는 lan 으로 설정된 ip로 접속이 가능함. 때문에 사무실 업무pc나 외부에서 접근이 가능 하려면 초기에 설정을 해줘야 하는데, 노트북을 pfsense 방화벽에 다이렉트로 연결하여 기본 셋팅을 함.

* pfsense 방화벽 서버 2번링크(192.168.30.3) + 노트북 연결

* 최초 계정 정보는 " admin / pfsense "

* hostname, domain, dns 설정.

* dns 만 추가 해주고 나머지는 기본으로 둬도 무방.

* 시간 도메인과 타임존 설정.

* 대시보드 패스워드 변경( pfsense => 신규패스워드 )

* 대시보드에 로그인 되면 기초 정보가 표시됨

* 위 정보들을 재설정을 하려면 해당 위치에서 시작.

VI. pfsense wan 접속 룰 추가

* 업무pc에서 접근 및 모니터링 하기 위해 wan 접근 설정

* pfsense 룰 추가시 aliase 등록하여 편리하게 사용

[ aliase 설정 ]

* wan aliase 추가

Name => aliase 명칭

Description => aliase 설명

IP or FQDN => wan IP

* wan 접근 대역 aliase 추가

Name => aliase 명칭

Description => aliase 설명

Type => 네트워크

IP or FQDN => wan 접근 할 ip대역

* 허용 포트

[ Rule 추가 ]

* wan pfsense 접근 룰 추가

* Source(출발지) => aliase - Trusted_Network(접근할 IP대역)

Destination(목적지) => any

Description => aliase 설명

* Source(출발지) => any

Destination(목적지) => aliase - HTTPS_SERVICE(wan IP)

Destination Port Range => aliase - WEB_PORT(허용포트 80, 443)

Description => aliase 설명

[ WAN 접속 확인 ]

* 업무pc 에서 접속 확인.

0 Comments

LINUX

nbd (qcow2 이미지 마운트 with kernel builde , modprobe: FATAL: Module nbd not found.) 생성 및 사용법

By 때찌때찌맴매 - 7월 02, 2021

nbd (qcow2 이미지 마운트 with kernel builde , modprobe: FATAL: Module nbd not found.) 생성 및 사용법

loop device : qcow2 이미지 파일의 파티션을 인식하지 못함. raw type 이미지 파일만 인식 가능. 단, 정상적인 파티션이 있을경우에만 연결이 가능.

nbd device : 이미지 파일 모두 가능. nbd 모듈이 있어야 하며, OS 설치를 minimal 로 했을경우 커널 컴파일이 필요.

[ 해결 방법 ]

I. qcow2 => raw 이미지 파일로 변환해 loop device 에 연결하여 마운트.

II. qemu-nbd 명령어를 통해 nbd device 에 연결하여 마운트.

convert qcow2 to raw format

yum install qemu-img

qcow2 to raw
qemu-img convert -f qcow2 -O raw {{img_name}}.qcow2 {{img_name}}.img

raw to qcow2
qemu-img convert -f raw -O qcow2 {{img_name}}.img {{img_name}}.qcow2

##mount
losetup /dev/loop0 /{{path}}/{{img_name}}.img
kpartx -a /dev/loop0
mount /dev/mapper/loop0p3 /{{path}}/{{mount_point}}
losetup -a

##unmount
umount /{{path}}/{{mount_point}}
kpartx -d /dev/loop0
losetup -d /dev/loop0
losetup -a

[ 시나리오 I ]

[root@new-kvm08 13:54:30:/home/test]# ll
합계 2927556
drwxr-xr-x  2 root root         24  7월  2 13:54 .
drwxr-xr-x. 6 root root         57  7월  2 13:54 ..
-rw-r--r--  1 root root 2997878784  7월  2 13:53 test.qcow2
[root@new-kvm08 13:54:31:/home/test]# losetup /dev/loop7 test.qcow2
[root@new-kvm08 13:54:47:/home/test]# kpartx -a /dev/loop7
[root@new-kvm08 13:55:05:/home/test]# mount /dev/mapper/loo
## 해당 위치에서 아무리 tab을 눌러도 넘어 가지 않음. 파티션이 매핑이 안되었기 때문

[root@new-kvm08 13:55:05:/home/test]# ll /dev/mapper/
합계 0
drwxr-xr-x  2 root root      60  7월  2 12:16 .
drwxr-xr-x 19 root root    3820  7월  2 12:16 ..
crw-------  1 root root 10, 236  7월  1 15:36 control
## 매핑된 loop device 없음

[root@new-kvm08 14:01:57:/home/test]# kpartx -d /dev/loop7
[root@new-kvm08 14:02:05:/home/test]# losetup -d /dev/loop7
##loop 해제 후 컨버팅 진행

[root@new-kvm08 14:02:54:/home/test]# qemu-img convert -f qcow2 -O raw test.qcow2 test.img
[root@new-kvm08 14:03:30:/home/test]# ll
합계 5770500
drwxr-xr-x  2 root root         40  7월  2 14:03 .
drwxr-xr-x. 6 root root         57  7월  2 13:54 ..
-rw-r--r--  1 root root 8589934592  7월  2 14:03 test.img
-rw-r--r--  1 root root 2997878784  7월  2 13:53 test.qcow2

[root@new-kvm08 14:03:31:/home/test]# losetup /dev/loop7 test.img
[root@new-kvm08 14:03:58:/home/test]# kpartx -a /dev/loop7
[root@new-kvm08 14:04:01:/home/test]# mkdir img_mount
[root@new-kvm08 14:04:15:/home/test]# mount /dev/mapper/loop7p3 img_mount/
[root@new-kvm08 14:04:32:/home/test]# df -Th | grep img_mount
/dev/mapper/loop7p3 xfs             6.2G  2.0G  4.3G  31% /home/test/img_mount
## 정상적으로 연결

[root@new-kvm08 14:06:09:/home/test]# umount img_mount/
[root@new-kvm08 14:08:04:/home/test]# kpartx -d /dev/loop7
[root@new-kvm08 14:08:07:/home/test]# losetup -d /dev/loop7
## 작업 후 해제.
## 이미지를 raw 형태로 사용 가능 하면 그대로 사용 해도 되고, 아니면 다시 역으로 컨버팅해서 사용.

###########################################################################################
## 만약 loop device 자체가 없다면 loop 모듈이 없어서 그렇기 때문에 모듈 로드및 장치 활성화 하여 사용.
[root@new-kvm08 14:08:11:/home/test]# vi /etc/modprobe.d/loop-local.conf
## 파일이 없다면 생성.

options loop max_loop=10
##  내용 삽입. 숫자는 장치 개수.

[root@new-kvm08 14:21:24:/home/test]# modprobe loop
[root@new-kvm08 14:21:29:/home/test]# lsmod | grep loop
loop                   28072  0

[root@new-kvm08 14:43:07:/home/test]# ll /dev/loop
loop-control  loop0         loop1         loop2         loop3         
loop4         loop5         loop6         loop7         loop8         loop9

nbd device mount

yum install qemu-common
modprobe nbd

qemu-nbd -c /dev/nbd0 /{{path}}/{{img_name}}.qcow2
mount /dev/nbd0p3 /{{path}}/{{mount_point}}

[ 시나리오 2-1 ]

[root@new-kvm08 15:04:32:/home/test]# qemu-nbd -c /dev/nbd0 test.qcow2
[root@new-kvm08 15:04:36:/home/test]# mount /dev/nbd0p3 img_mount/
[root@new-kvm08 15:04:50:/home/test]# df -Th | grep img
/dev/nbd0p3        xfs             6.2G  2.0G  4.3G  31% /home/test/img_mount

[ 시나리오 2-2 ]

[root@new-kvm08 15:19:13:/home/kvm]# modprobe nbd
modprobe: FATAL: Module nbd not found.
## os설치 시 minimal로 설치 하게 되면 nbd 모듈이 없기 때문에 커널을 재컴파일을 해야함.

[root@new-kvm08 ]# yum install rpm-build
[root@new-kvm08 ]# uname -r
3.10.0-1160.31.1.el7.x86_64
[root@new-kvm08 ]# cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)
## 본인의 os버전과 커널 버전 확인 후 다운.

[root@new-kvm08 ]# cd /usr/local/src
[root@new-kvm08 ]# wget http://vault.centos.org/7.9.2009/updates/Source/SPackages/
                   kernel-3.10.0-1160.31.1.el7.src.rpm

[root@new-kvm08 ]# rpm -ivh kernel-3.10.0-1160.31.1.el7.src.rpm
## rpm 설치

[root@new-kvm08 ]# mkdir -p ~/rpmbuild/{BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}
[root@new-kvm08 ]# echo '%_topdir %(echo $HOME)/rpmbuild' > ~/.rpmmacros
[root@new-kvm08 ]# cd ~/rpmbuild/SPECS
[root@new-kvm08 ]# rpmbuild -bp --target=$(uname -m) kernel.spec
## build 진행시 의존성 문제로 패키지가 나오면 해당 패키지 설치

[root@new-kvm08 ]# yum install gcc xmlto asciidoc hmaccalc python-devel newt-devel perl pesign 
elfutils-devel binutils-devel bison audit-libs-devel java-devel numactl-devel pciutils-devel 
ncurses-devel python-docutils flex perl-ExtUtils-Embed

[root@new-kvm08 ]# cd ~/rpmbuild/BUILD/kernel-3.10.0-1160.31.1.el7/linux-3.10.0-1160.31.1.el7.centos.x86_64
[root@new-kvm08 ]# sed -i 's/REQ_TYPE_SPECIAL/REQ_TYPE_DRV_PRIV/' drivers/block/nbd.c
## 빌드 준비

[root@new-kvm08 ]# make menuconfig
# Device Driver -> Block devices -> Set “M” On “Network block device support”
## 메뉴가 나오면 위에 메뉴를 순차적으로 들어가 “Network block device support” 장치에서 "M"을 눌러
   활성화.

[root@new-kvm08 ]# make prepare && make modules_prepare && make


[root@new-kvm08 ]# make M=drivers/block -j8
[root@new-kvm08 ]# modinfo drivers/block/nbd.ko
[root@new-kvm08 ]# cp drivers/block/nbd.ko /lib/modules/3.10.0-1160.31.1.el7.x86_64/extra/
[root@new-kvm08 ]# depmod -a && modprobe nbd
## nbd.ko 모듈 복사 및 모듈 활성화.

[root@new-kvm08 ]# qemu-nbd -c /dev/nbd0 test.qcow2
[root@new-kvm08 ]# mount /dev/nbd0p3 img_mount/
[root@new-kvm08 ]# df -Th | grep img
/dev/nbd0p3        xfs             6.2G  2.0G  4.3G  31% /home/test/img_mount
## 정상적으로 연결


###########################################################################################
## 만약 nbd 장치가 없다면 loop 장치 처럼 conf 파일 생성 후 모듈 다시 적용 시키면됨.

[root@new-kvm08 ]# vi /etc/modprobe.d/nbd.conf 
##
options nbd max_part=16 nbds_max=128

##
[root@new-kvm08 ]# modprobe nbd
[root@new-kvm08 ]# ll /dev/nbd
nbd0   nbd1   nbd10  nbd11  nbd12  nbd13  nbd14  nbd15  nbd2   nbd3   nbd4   nbd5   nbd6   
nbd7   nbd8   nbd9


또는

modprobe nbd nbds_max=128

0 Comments

CEPH

CEPH - OSD 추가및 제거 + CRUSHMAP 시나리오 (Ver. 10.2.11_jewel OS. Centos7)

By 때찌때찌맴매 - 1월 07, 2019

CEPH - OSD 추가및 제거 + CRUSHMAP 시나리오 (Ver. 10.2.11_jewel, OS. Centos7) )

* [ 시나리오 ]

I. 현재 SATA 스토리지 만 제공하라는 방침으로 인해 적용했던 SSD 스토리지는 제거.

II. 언제 SSD 스토리지 를 제공하라고 할지 모르기 때문에... SSD rule 설정은 추가...;;

III. SSD 또는 SATA 스토리지를 증설할 수 있기 때문에 깔끔하게 OSD 추가진행.


[ 현재 상태 ]

[root@MGMT03:20:16:~]# ceph -s
    cluster 427f2e6a-5722-4365-a475-8fcdc218a418
     health HEALTH_OK
     monmap e2: 4 mons at {MON-0=192.168.1.13:6789/0,MON-1=192.168.1.14:6789/0,MON-2=192.168.1.15:6789/0,MON-3=192.168.1.16:6789/0}
            election epoch 6, quorum 0,1,2,3 MON-0,MON-1,MON-2,MON-3
     osdmap e195: 6 osds: 6 up, 6 in
            flags sortbitwise,require_jewel_osds
      pgmap v1181: 256 pgs, 2 pools, 32 bytes data, 5 objects
            674 MB used, 60483 GB / 60484 GB avail
                 256 active+clean

[root@MGMT03:20:16:~]# ceph osd dump
epoch 196
fsid 427f2e6a-5722-4365-a475-8fcdc218a418
created 2018-11-02 17:51:47.398137
modified 2018-11-05 15:20:17.528584
flags sortbitwise,require_jewel_osds
pool 0 'hdd_pool' replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 128 pgp_num 128 last_change 127 flags hashpspool stripe_width 0
 removed_snaps [1~3]
pool 2 'ssd_pool' replicated size 2 min_size 1 crush_ruleset 1 object_hash rjenkins pg_num 128 pgp_num 128 last_change 195 flags hashpspool stripe_width 0
max_osd 6
osd.0 up   in  weight 1 up_from 116 up_thru 195 down_at 113 last_clean_interval [4,112) 192.168.1.17:6800/78512 192.168.1.17:6802/78512 192.168.1.17:6803/78512 192.168.1.17:6804/78512 exists,up 68757359-7180-4092-9687-4b5787cb89cd
osd.1 up   in  weight 1 up_from 110 up_thru 195 down_at 107 last_clean_interval [8,106) 192.168.1.18:6800/78034 192.168.1.18:6802/78034 192.168.1.18:6803/78034 192.168.1.18:6804/78034 exists,up c1587381-1a3b-4271-846c-c572d4556fe8
osd.2 up   in  weight 1 up_from 106 up_thru 195 down_at 101 last_clean_interval [13,100) 192.168.1.19:6800/92762 192.168.1.19:6801/92762 192.168.1.19:6802/92762 192.168.1.19:6803/92762 exists,up 82df91cc-cd25-4ff9-8c6a-53e30df4c499
osd.3 up   in  weight 1 up_from 98 up_thru 195 down_at 95 last_clean_interval [18,94) 192.168.1.20:6800/97427 192.168.1.20:6801/97427 192.168.1.20:6802/97427 192.168.1.20:6803/97427 exists,up 57e998fb-77dd-48a5-8d17-5e6aa5509574
osd.4 up   in  weight 1 up_from 187 up_thru 193 down_at 0 last_clean_interval [0,0) 192.168.1.37:6800/50611 192.168.1.37:6801/50611 192.168.1.37:6802/50611 192.168.1.37:6803/50611 exists,up 5ced4724-ebcf-430c-be9a-332bf4bdbe17
osd.5 up   in  weight 1 up_from 189 up_thru 193 down_at 0 last_clean_interval [0,0) 192.168.1.38:6800/94910 192.168.1.38:6801/94910 192.168.1.38:6802/94910 192.168.1.38:6803/94910 exists,up 04c4dfe8-b9a8-4f45-b030-225ce078b5e0

[root@MGMT03:20:19:~]# ceph osd tree
ID  WEIGHT   TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -2  0.90799 root ssd                                             
-20  0.45399     ssd_osd OSD-20                                   
  4  0.45399         osd.4           up  1.00000          1.00000 
-21  0.45399     ssd_osd OSD-21                                   
  5  0.45399         osd.5           up  1.00000          1.00000 
 -1 58.15997 root hdd                                             
-10 14.53999     hdd_osd OSD-0                                    
  0 14.53999         osd.0           up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                    
  1 14.53999         osd.1           up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                    
  2 14.53999         osd.2           up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                    
  3 14.53999         osd.3           up  1.00000          1.00000



[ SSD_OSD 제거 ]

* 반드시 선행 작업으로 SSD용 pool(ssd_pool)을 hdd 룰에 이동시킨 후 recovery가 끝나면 작업 시작.
  해당 선행 작업은 굉장히 중요한 작업이기 때문에 무조건 해야함.!!!
  그냥 osd 제거시 pool을 사용중이 었다면, 되돌릴 수 없는 강을 건널 수 있기 때문에 ssd_pool 역시 정상적으로 작동하게끔 만든 후 해당 작업을 진행하길 바람.

i. ssd_pool 을 hdd 룰셋인 0번으로 편입

[root@MGMT03:20:19:~]#  ceph osd pool set ssd_pool crush_ruleset 0

ii. osd 제거

[root@MGMT03:20:19:~]# ceph osd out osd.4
[root@MGMT03:20:19:~]# ceph osd out osd.5

[root@MGMT03:21:29:~]# ceph osd tree
ID  WEIGHT   TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -2  0.90799 root ssd                                             
-20  0.45399     ssd_osd OSD-20                                   
  4  0.45399         osd.4           up        0          1.00000 
-21  0.45399     ssd_osd OSD-21                                   
  5  0.45399         osd.5           up        0          1.00000 
 -1 58.15997 root hdd                                             
-10 14.53999     hdd_osd OSD-0                                    
  0 14.53999         osd.0           up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                    
  1 14.53999         osd.1           up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                    
  2 14.53999         osd.2           up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                    
  3 14.53999         osd.3           up  1.00000          1.00000 


[root@MGMT03:26:38:~]# ceph osd down osd.4 
[root@MGMT03:26:38:~]# ceph osd down osd.5

* mgmt 서버에서 osd down 이 먹히지 않으면 각 osd에서 service ceph-osd@4 stop 하면됨

[root@MGMT03:26:38:~]# ceph osd tree
ID  WEIGHT   TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -2  0.90799 root ssd                                             
-20  0.45399     ssd_osd OSD-20                                   
  4  0.45399         osd.4         down        0          1.00000 
-21  0.45399     ssd_osd OSD-21                                   
  5  0.45399         osd.5         down        0          1.00000 
 -1 58.15997 root hdd                                             
-10 14.53999     hdd_osd OSD-0                                    
  0 14.53999         osd.0           up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                    
  1 14.53999         osd.1           up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                    
  2 14.53999         osd.2           up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                    
  3 14.53999         osd.3           up  1.00000          1.00000 


[root@MGMT03:28:46:~]# ceph osd rm osd.4
removed osd.4
[root@MGMT03:29:59:~]# ceph osd rm osd.5
removed osd.5
[root@MGMT03:30:01:~]# ceph osd tree
ID  WEIGHT   TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -2  0.90799 root ssd                                             
-20  0.45399     ssd_osd OSD-20                                   
  4  0.45399         osd.4          DNE        0                  
-21  0.45399     ssd_osd OSD-21                                   
  5  0.45399         osd.5          DNE        0                  
 -1 58.15997 root hdd                                             
-10 14.53999     hdd_osd OSD-0                                    
  0 14.53999         osd.0           up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                    
  1 14.53999         osd.1           up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                    
  2 14.53999         osd.2           up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                    
  3 14.53999         osd.3           up  1.00000          1.00000 


[root@MGMT03:31:45:~]# ceph osd crush remove osd.4
removed item id 4 name 'osd.4' from crush map
[root@MGMT03:31:45:~]# ceph osd crush remove osd.5
removed item id 5 name 'osd.5' from crush map

[root@MGMT03:31:57:~]# ceph osd tree
ID  WEIGHT   TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -2        0 root ssd                                             
-20        0     ssd_osd OSD-20                                   
-21        0     ssd_osd OSD-21                                   
 -1 58.15997 root hdd                                             
-10 14.53999     hdd_osd OSD-0                                    
  0 14.53999         osd.0           up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                    
  1 14.53999         osd.1           up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                    
  2 14.53999         osd.2           up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                    
  3 14.53999         osd.3           up  1.00000          1.00000 


[root@MGMT03:32:00:~]# ceph osd crush remove OSD-20
removed item id -20 name 'OSD-20' from crush map
[root@MGMT03:32:35:~]# ceph osd crush remove OSD-21
removed item id -21 name 'OSD-21' from crush map

[root@MGMT03:32:37:~]# ceph osd tree
ID  WEIGHT   TYPE NAME         UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -2        0 root ssd                                            
 -1 58.15997 root hdd                                            
-10 14.53999     hdd_osd OSD-0                                   
  0 14.53999         osd.0          up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                   
  1 14.53999         osd.1          up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                   
  2 14.53999         osd.2          up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                   
  3 14.53999         osd.3          up  1.00000          1.00000 


[root@MGMT03:32:39:~]# ceph -s
    cluster 427f2e6a-5722-4365-a475-8fcdc218a418
     health HEALTH_OK
     monmap e2: 4 mons at {MON-0=192.168.1.13:6789/0,MON-1=192.168.1.14:6789/0,MON-2=192.168.1.15:6789/0,MON-3=192.168.1.16:6789/0}
            election epoch 6, quorum 0,1,2,3 MON-0,MON-1,MON-2,MON-3
     osdmap e217: 4 osds: 4 up, 4 in
            flags sortbitwise,require_jewel_osds
      pgmap v1487: 256 pgs, 2 pools, 32 bytes data, 5 objects
            452 MB used, 59556 GB / 59556 GB avail
                 256 active+clean

* osd는 깔끔하게 제거됨. hdd 룰셋으로 편입된 ssd_pool은 hdd_osd에 데이터들이 배열되며, 추후에 ssd_osd 를 추가 시키고 해당 ssd 룰셋으로 변경 하게 되면 ssd_osd에 데이터들이 재배열됨.
* 사전 룰셋적용은 URL=ceph_rule 링크 에서 확인


iii. ssd_osd keyring  제거

* ceph auth list 에 등록 된 키값과 권한제거. 제거하지 않고 추후에 osd를 추가 하게 되면 osd.4, osd.5 를 건너뛰고 osd.6 부터 생성되기 때문에 관리가 지저분해짐.

[root@MGMT03:33:15:~]# ceph auth del osd.4
updated
[root@MGMT03:33:22:~]# ceph auth del osd.5
updated

iv. crushmap으로 현재값 확인

[root@MGMT03:52:56:~]# ceph osd getcrushmap -o /tmp/crushmap
got crush map from osdmap epoch 240
[root@MGMT03:53:12:~]# crushtool -d /tmp/crushmap -o /tmp/crushmap.txt
[root@MGMT03:53:16:~]# cat /tmp/crushmap.txt
# begin crush map
tunable choose_local_tries 0
tunable choose_local_fallback_tries 0
tunable choose_total_tries 50
tunable chooseleaf_descend_once 1
tunable chooseleaf_vary_r 1
tunable straw_calc_version 1
tunable allowed_bucket_algs 54

# devices
device 0 osd.0
device 1 osd.1
device 2 osd.2
device 3 osd.3

# types
type 0 osd
type 1 ssd_osd
type 2 hdd_osd
type 3 root

# buckets
hdd_osd OSD-0 {
 id -10  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.0 weight 14.540
}
hdd_osd OSD-1 {
 id -11  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.1 weight 14.540
}
hdd_osd OSD-2 {
 id -12  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.2 weight 14.540
}
hdd_osd OSD-3 {
 id -13  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.3 weight 14.540
}
root hdd {
 id -1  # do not change unnecessarily
 # weight 58.160
 alg straw
 hash 0 # rjenkins1
 item OSD-0 weight 14.540
 item OSD-1 weight 14.540
 item OSD-2 weight 14.540
 item OSD-3 weight 14.540
}
root ssd {
 id -2  # do not change unnecessarily
 # weight 0.000
 alg straw
 hash 0 # rjenkins1
}

# rules
rule hdd {
 ruleset 0
 type replicated
 min_size 1
 max_size 10
 step take hdd
 step chooseleaf firstn 0 type hdd_osd
 step emit
}
rule ssd {
 ruleset 1
 type replicated
 min_size 1
 max_size 10
 step take ssd
 step chooseleaf firstn 0 type ssd_osd
 step emit
}

# end crush map

* crushmap 을 통해 확인결과 룰과 버킷은 남아 있고, 클라이언트에서 명령어를 통해 체크 해보면 정상 적으로 체크가됨. 풀을 못찾고 딜레이 되는 현상이 발생 안함.


[ OSD 추가 (SATA,SSD) ]

* 자세한 osd설치 내용 URL=OSD_cepe설치 에서 확인
* 아래 install 명령어 옵션중 " --repo-url 'https://download.ceph.com/rpm-jewel/el7' --gpg-url 'https://download.ceph.com/keys/release.asc' " 은 가끔 repo에서 최신 버젼을 설치 해버림;;; 그래서 강제적으로 10버전을 지정하고 진행.

i. OSD ceph 설치 및 구동

[root@MGMT03:41:43:~]# ceph-deploy install --repo-url 'https://download.ceph.com/rpm-jewel/el7' --gpg-url 'https://download.ceph.com/keys/release.asc' OSD-20 OSD-21
[root@MGMT03:41:43:~]# ceph-deploy disk zap OSD-20:sda OSD-21:sda
[root@MGMT03:41:43:~]# ceph-deploy osd prepare OSD-20:sda OSD-21:sda
[root@MGMT03:41:43:~]# ceph-deploy osd activate OSD-20:sda1 OSD-21:sda1


[root@MGMT03:42:52:~]# ceph osd tree
ID  WEIGHT   TYPE NAME         UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -3  0.90579 root default                                        
  4  0.45380     osd.4              up  1.00000          1.00000 
  5  0.45200     osd.5              up  1.00000          1.00000 
 -2        0 root ssd                                            
 -1 58.15997 root hdd                                            
-10 14.53999     hdd_osd OSD-0                                   
  0 14.53999         osd.0          up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                   
  1 14.53999         osd.1          up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                   
  2 14.53999         osd.2          up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                   
  3 14.53999         osd.3          up  1.00000          1.00000 


ii. crushtool 을 이용하여 crushmap 적용

* 신규 osd 추가시 default 버킷이 같이 생겨버림. 명령어를 통해서 신규 osd를 ssd,hdd 버킷으로 나누어도 되지만 깔끔하게 crushtool 을 이용하여 진행.
* 수량, 타입에 따라 다르니 해당 내용은 가변적으로 적용하시길...

[root@MGMT03:42:58:~]# vi /tmp/crushmap.txt
# begin crush map
tunable choose_local_tries 0
tunable choose_local_fallback_tries 0
tunable choose_total_tries 50
tunable chooseleaf_descend_once 1
tunable chooseleaf_vary_r 1
tunable straw_calc_version 1
tunable allowed_bucket_algs 54

# devices
device 0 osd.0
device 1 osd.1
device 2 osd.2
device 3 osd.3
device 4 osd.4
device 5 osd.5

# types
type 0 osd
type 1 ssd_osd
type 2 hdd_osd
type 3 root

# buckets
hdd_osd OSD-0 {
 id -10  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.0 weight 14.540
}
hdd_osd OSD-1 {
 id -11  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.1 weight 14.540
}
hdd_osd OSD-2 {
 id -12  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.2 weight 14.540
}
hdd_osd OSD-3 {
 id -13  # do not change unnecessarily
 # weight 14.540
 alg straw
 hash 0 # rjenkins1
 item osd.3 weight 14.540
}
root hdd {
 id -1  # do not change unnecessarily
 # weight 58.160
 alg straw
 hash 0 # rjenkins1
 item OSD-0 weight 14.540
 item OSD-1 weight 14.540
 item OSD-2 weight 14.540
 item OSD-3 weight 14.540
}
ssd_osd OSD-20 {
 id -20  # do not change unnecessarily
 # weight 0.454
 alg straw
 hash 0 # rjenkins1
 item osd.4 weight 0.454
}
ssd_osd OSD-21 {
 id -21  # do not change unnecessarily
 # weight 0.454
 alg straw
 hash 0 # rjenkins1
 item osd.5 weight 0.454
}
root ssd {
 id -2  # do not change unnecessarily
 # weight 0.908
 alg straw
 hash 0 # rjenkins1
 item OSD-20 weight 0.454
 item OSD-21 weight 0.454
}

# rules
rule hdd {
 ruleset 0
 type replicated
 min_size 1
 max_size 10
 step take hdd
 step chooseleaf firstn 0 type hdd_osd
 step emit
}
rule ssd {
 ruleset 1
 type replicated
 min_size 1
 max_size 10
 step take ssd
 step chooseleaf firstn 0 type ssd_osd
 step emit
}

# end crush map

[root@MGMT03:44:39:~]# crushtool -c /tmp/crushmap.txt -o /tmp/crushmap-new.bin
[root@MGMT03:45:35:~]# crushtool -c /tmp/crushmap.txt -o /tmp/crushmap.coloc
[root@MGMT03:45:39:~]# ceph osd setcrushmap -i /tmp/crushmap.coloc 
set crush map

[root@MGMT03:45:45:~]# ceph osd tree
ID  WEIGHT   TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
 -2  0.90799 root ssd                                             
-20  0.45399     ssd_osd OSD-20                                   
  4  0.45399         osd.4           up  1.00000          1.00000 
-21  0.45399     ssd_osd OSD-21                                   
  5  0.45399         osd.5           up  1.00000          1.00000 
 -1 58.15997 root hdd                                             
-10 14.53999     hdd_osd OSD-0                                    
  0 14.53999         osd.0           up  1.00000          1.00000 
-11 14.53999     hdd_osd OSD-1                                    
  1 14.53999         osd.1           up  1.00000          1.00000 
-12 14.53999     hdd_osd OSD-2                                    
  2 14.53999         osd.2           up  1.00000          1.00000 
-13 14.53999     hdd_osd OSD-3                                    
  3 14.53999         osd.3           up  1.00000          1.00000 

iii. ssd_osd 추가시 ssd_pool ssd ruleset 변경

[root@MGMT03:46:19:~]#  ceph osd pool set ssd_pool crush_ruleset 1

[root@MGMT03:46:25:~]# ceph osd dump | grep crush_ruleset
pool 0 'hdd_pool' replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 128 pgp_num 128 last_change 127 flags hashpspool stripe_width 0
pool 2 'ssd_pool' replicated size 2 min_size 1 crush_ruleset 1 object_hash rjenkins pg_num 128 pgp_num 128 last_change 225 flags hashpspool stripe_width 0

[root@MGMT03:47:47:~]# ceph -s
    cluster 427f2e6a-5722-4365-a475-8fcdc218a418
     health HEALTH_OK
     monmap e2: 4 mons at {MON-0=192.168.1.13:6789/0,MON-1=192.168.1.14:6789/0,MON-2=192.168.1.15:6789/0,MON-3=192.168.1.16:6789/0}
            election epoch 6, quorum 0,1,2,3 MON-0,MON-1,MON-2,MON-3
     osdmap e224: 6 osds: 6 up, 6 in
            flags sortbitwise,require_jewel_osds
      pgmap v1673: 256 pgs, 2 pools, 32 bytes data, 5 objects
            675 MB used, 60483 GB / 60484 GB avail
                 256 active+clean


* 시나리오 구성 완료

0 Comments

HoguInside & ㅁ ㅇ ㄷ nail

IT. POST LIST

pfsense 2.5.2 방화벽 설치 및 Dashboard 접근 구성

pfsense 2.5.2 방화벽 설치 및 Dashboard 접근 구성

I. pfsense 다운로드

II. L2스위치 + 서버(pfsense 방화벽 서버) 라인 연결

III. pfsense 설치

IV. pfsense 네트워크 설정

V. pfsense 대시보드 설정

VI. pfsense wan 접속 룰 추가

nbd (qcow2 이미지 마운트 with kernel builde , modprobe: FATAL: Module nbd not found.) 생성 및 사용법

nbd (qcow2 이미지 마운트 with kernel builde , modprobe: FATAL: Module nbd not found.) 생성 및 사용법

CEPH - OSD 추가및 제거 + CRUSHMAP 시나리오 (Ver. 10.2.11_jewel OS. Centos7)

CEPH - OSD 추가및 제거 + CRUSHMAP 시나리오 (Ver. 10.2.11_jewel, OS. Centos7) )

About me

VIEW

cloud

Interested user

Blog Archive

Follow Us

LABEL

#ㅁㅇㄷ Nail by nailist Young