pve ceph超融合（二）
发布时间：2024-01-19 点击：114
系统运维
创建pve虚拟化集群
1，首先安装三台pve主机，安装过程参考本站之前的文章。
2，pve主机安装就绪后，创建pve cluster虚拟化集群。
需要通过pve_shell创建。
3，在pve1节点执行以下命令：
pvecm create vclusters
4，在另外两个节点执行以下命令，加入集群
pvecm add 192.168.77.160
显示successfully added node ‘pve-2’ to cluster就算成功了
5，查看pve集群状态，确认集群已经正确建立
在pve-1节点上
pvecm status
root@pve-1:~# pvecm status
quorum information
date: wed jul 3 11:27:05 2019
quorum provider: corosync_votequorum
nodes: 3
node id: 0x00000001
ring id: 1/12
quorate: yes
votequorum information
expected votes: 3
highest expected: 3
total votes: 3
quorum: 2
flags: quorate
membership information
nodeid votes name0x00000001 1 192.168.77.160 (local)
0x00000002 1 192.168.77.170
0x00000003 1 192.168.77.180
全部节点都已经加入集群
在所有节点上使用以下命令安装ceph。（ceph也是可以单独安装融合进来的，单独安装的ceph还可以做其他使用，看需要）
pveceph install -version luminous
全部节点都已经加入集群
在所有节点上使用以下命令安装ceph。（ceph也是可以单独安装融合进来的，单独安装的ceph还可以做其他使用，看需要）
pveceph install -version luminous
配置ceph集群存储网络，在所有节点上执行
pveceph init -network 192.168.77.0/24
创建ceph集群存储mon监控，在所有节点上执行以下命令
pveceph createmon
查看硬盘信息
root@pve-1:~# lsblk
name maj:min rm size ro type mountpoint
sda 8:0 0 20g 0 disk
├─sda1 8:1 0 1007k 0 part
├─sda2 8:2 0 512m 0 part
└─sda3 8:3 0 19.5g 0 part
├─pve-swap 253:0 0 2.4g 0 lvm [swap]
├─pve-root 253:1 0 4.8g 0 lvm /
├─pve-data_tmeta 253:2 0 1g 0 lvm
│ └─pve-data 253:4 0 8g 0 lvm
└─pve-data_tdata 253:3 0 8g 0 lvm
└─pve-data 253:4 0 8g 0 lvm
sdb 8:16 0 50g 0 disk
sdc 8:32 0 50g 0 disk
sdd 8:48 0 50g 0 disk
sr0 11:0 1 655.3m 0 rom
rbd0 252:0 0 32g 0 disk
创建ceph集群存储osd服务，在所有节点上执行
因为我们模拟了三块硬盘所有把三块硬盘都加上
pveceph createosd /dev/sdb
pveceph createosd /dev/sdc
pveceph createosd /dev/sdd
创建完成后，查看osd运行状态，确认osd运行正常：
root@pve-1:~# ceph osd tree
id class weight type name status reweight pri-aff
-1 0.43822 root default
-7 0.14607 host pve-1
6 hdd 0.04869 osd.6 up 1.00000 1.00000
7 hdd 0.04869 osd.7 up 1.00000 1.00000
8 hdd 0.04869 osd.8 up 1.00000 1.00000
-3 0.14607 host pve-2
0 hdd 0.04869 osd.0 up 1.00000 1.00000
2 hdd 0.04869 osd.2 up 1.00000 1.00000
3 hdd 0.04869 osd.3 up 1.00000 1.00000
-5 0.14607 host pve-3
1 hdd 0.04869 osd.1 up 1.00000 1.00000
4 hdd 0.04869 osd.4 up 1.00000 1.00000
5 hdd 0.04869 osd.5 up 1.00000 1.00000
6，创建集群存储资源池，pve内建ceph采用的是rbd的模型：最外层是pool，相当于一块磁盘，默认的
pool名字叫做rbd。每个pool里面可以有多个image，相当于文件夹。每个image可以映射成一个块设备，
有了设备就可以加载它。在pve-1节点上执行以下命令：
ceph osd pool create mytest 128 128
128代表placement-group的数量。每个pg都是一个虚拟节点，将自己的数据存在不同的位置。这样一旦
存储宕机，pg就会选择新的存储，从而保证了自动高可用。
7，复制存储id和密钥到指定文件位置，在pve-1节点执行以下操作：
cd /etc/pve/priv/
cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring
到这里ceph分布式存储基本完成,下来就在web端设置
腾讯云服务器怎么修改系统吗
服务器被攻击问题-云服务器问题
域名转出取消-域名及账户问题
阿里云服务器挂steam
2020低价阿里云服务器购买攻略-上云年中促服务器专场
了解NVIDAI显卡驱动（包括：CUDA、CUDA Driver、CUDA Toolkit、CUDNN、NCVV）
阿里云购买服务器里面包含空间
猩便利成便利店业态创新标杆
创建pve虚拟化集群
1，首先安装三台pve主机，安装过程参考本站之前的文章。
2，pve主机安装就绪后，创建pve cluster虚拟化集群。
需要通过pve_shell创建。
3，在pve1节点执行以下命令：
pvecm create vclusters
4，在另外两个节点执行以下命令，加入集群
pvecm add 192.168.77.160
显示successfully added node ‘pve-2’ to cluster就算成功了
5，查看pve集群状态，确认集群已经正确建立
在pve-1节点上
pvecm status
root@pve-1:~# pvecm status
quorum information
date: wed jul 3 11:27:05 2019
quorum provider: corosync_votequorum
nodes: 3
node id: 0x00000001
ring id: 1/12
quorate: yes
votequorum information
expected votes: 3
highest expected: 3
total votes: 3
quorum: 2
flags: quorate
membership information
nodeid votes name0x00000001 1 192.168.77.160 (local)
0x00000002 1 192.168.77.170
0x00000003 1 192.168.77.180
全部节点都已经加入集群
在所有节点上使用以下命令安装ceph。（ceph也是可以单独安装融合进来的，单独安装的ceph还可以做其他使用，看需要）
pveceph install -version luminous
全部节点都已经加入集群
在所有节点上使用以下命令安装ceph。（ceph也是可以单独安装融合进来的，单独安装的ceph还可以做其他使用，看需要）
pveceph install -version luminous
配置ceph集群存储网络，在所有节点上执行
pveceph init -network 192.168.77.0/24
创建ceph集群存储mon监控，在所有节点上执行以下命令
pveceph createmon
查看硬盘信息
root@pve-1:~# lsblk
name maj:min rm size ro type mountpoint
sda 8:0 0 20g 0 disk
├─sda1 8:1 0 1007k 0 part
├─sda2 8:2 0 512m 0 part
└─sda3 8:3 0 19.5g 0 part
├─pve-swap 253:0 0 2.4g 0 lvm [swap]
├─pve-root 253:1 0 4.8g 0 lvm /
├─pve-data_tmeta 253:2 0 1g 0 lvm
│ └─pve-data 253:4 0 8g 0 lvm
└─pve-data_tdata 253:3 0 8g 0 lvm
└─pve-data 253:4 0 8g 0 lvm
sdb 8:16 0 50g 0 disk
sdc 8:32 0 50g 0 disk
sdd 8:48 0 50g 0 disk
sr0 11:0 1 655.3m 0 rom
rbd0 252:0 0 32g 0 disk
创建ceph集群存储osd服务，在所有节点上执行
因为我们模拟了三块硬盘所有把三块硬盘都加上
pveceph createosd /dev/sdb
pveceph createosd /dev/sdc
pveceph createosd /dev/sdd
创建完成后，查看osd运行状态，确认osd运行正常：
root@pve-1:~# ceph osd tree
id class weight type name status reweight pri-aff
-1 0.43822 root default
-7 0.14607 host pve-1
6 hdd 0.04869 osd.6 up 1.00000 1.00000
7 hdd 0.04869 osd.7 up 1.00000 1.00000
8 hdd 0.04869 osd.8 up 1.00000 1.00000
-3 0.14607 host pve-2
0 hdd 0.04869 osd.0 up 1.00000 1.00000
2 hdd 0.04869 osd.2 up 1.00000 1.00000
3 hdd 0.04869 osd.3 up 1.00000 1.00000
-5 0.14607 host pve-3
1 hdd 0.04869 osd.1 up 1.00000 1.00000
4 hdd 0.04869 osd.4 up 1.00000 1.00000
5 hdd 0.04869 osd.5 up 1.00000 1.00000
6，创建集群存储资源池，pve内建ceph采用的是rbd的模型：最外层是pool，相当于一块磁盘，默认的
pool名字叫做rbd。每个pool里面可以有多个image，相当于文件夹。每个image可以映射成一个块设备，
有了设备就可以加载它。在pve-1节点上执行以下命令：
ceph osd pool create mytest 128 128
128代表placement-group的数量。每个pg都是一个虚拟节点，将自己的数据存在不同的位置。这样一旦
存储宕机，pg就会选择新的存储，从而保证了自动高可用。
7，复制存储id和密钥到指定文件位置，在pve-1节点执行以下操作：
cd /etc/pve/priv/
cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring
到这里ceph分布式存储基本完成,下来就在web端设置
腾讯云服务器怎么修改系统吗
服务器被攻击问题-云服务器问题
域名转出取消-域名及账户问题
阿里云服务器挂steam
2020低价阿里云服务器购买攻略-上云年中促服务器专场
了解NVIDAI显卡驱动（包括：CUDA、CUDA Driver、CUDA Toolkit、CUDNN、NCVV）
阿里云购买服务器里面包含空间
猩便利成便利店业态创新标杆