二、部署Ceph集群
一、Ceph版本选择
Ceph版本来源介绍
Ceph 社区最新版本是 14，而 Ceph 12 是市面用的最广的稳定版本。 第一个 Ceph 版本是 0.1 ，要回溯到 2008 年 1 月。多年来，版本号方案一直没变，直到 2015 年 4 月 0.94.1 （ Hammer 的第一个修正版）发布后，为了避免 0.99 （以及 0.100 或 1.00 ？），制定了新策略。
x.0.z - 开发版（给早期测试者和勇士们）
x.1.z - 候选版（用于测试集群、高手们）
x.2.z - 稳定、修正版（给用户们）
x 将从 9 算起，它代表 Infernalis （ I 是第九个字母），这样第九个发布周期的第一个开发版就是 9.0.0 ；后续的开发版依次是 9.0.1 、 9.0.2 等等。 | 版本名称 | 版本号 | 发布时间 | | ------ | ------ | ------ | | Argonaut | 0.48版本(LTS) | 2012年6月3日 | | Bobtail | 0.56版本(LTS) | 2013年5月7日 | | Cuttlefish | 0.61版本 | 2013年1月1日 | | Dumpling | 0.67版本(LTS) | 2013年8月14日 | | Emperor | 0.72版本 | 2013年11月9 | | Firefly | 0.80版本(LTS) | 2014年5月 | | Giant | Giant | October 2014 - April 2015 | | Hammer | Hammer | April 2015 - November 2016| | Infernalis | Infernalis | November 2015 - June 2016 | | Jewel | 10.2.9 | 2016年4月 | | Kraken | 11.2.1 | 2017年10月 | | Luminous |12.2.12 | 2017年10月 | | mimic | 13.2.7 | 2018年5月 | | nautilus | 14.2.5 | 2019年2月 | ###### Luminous新版本特性 - Bluestore * ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统，来管理每个OSD存储的数据，这提供了更大的性能和功能。 * BlueStore支持Ceph存储的所有的完整的数据和元数据校验。 * BlueStore内嵌支持使用zlib，snappy或LZ4进行压缩。（Ceph还支持zstd进行RGW压缩，但由于性能原因，不为BlueStore推荐使用zstd） - 集群的总体可扩展性有所提高。我们已经成功测试了多达10,000个OSD的集群。 - ceph-mgr * ceph-mgr是一个新的后台进程，这是任何Ceph部署的必须部分。虽然当ceph-mgr停止时，IO可以继续，但是度量不会刷新，并且某些与度量相关的请求（例如，ceph df）可能会被阻止。我们建议您多部署ceph-mgr的几个实例来实现可靠性。 * ceph-mgr守护进程daemon包括基于REST的API管理。注：API仍然是实验性质的，目前有一些限制，但未来会成为API管理的基础。 * ceph-mgr还包括一个Prometheus插件。 * ceph-mgr现在有一个Zabbix插件。使用zabbix_sender，它可以将集群故障事件发送到Zabbix Server主机。这样可以方便地监视Ceph群集的状态，并在发生故障时发送通知。
二、安装前准备
- 安装要求：
- 最少三台Centos7系统虚拟机用于部署Ceph集群。硬件配置：2C4G，另外每台机器最少挂载三块硬盘(每块盘5G)
| 主机名 | IP |
|---|---|
| cephnode01 | 192.168.171.135 |
| cephnode02 | 192.168.171.136 |
| cephnode03 | 192.168.171.137 |
| cephyumresource01 | 192.168.171.10（内网yum源服务器） |
- 环境准备（在Ceph三台机器上操作） ### 三、安装内网yum源
（1）关闭防火墙： systemctl stop firewalld systemctl disable firewalld （2）关闭selinux： sed -i 's/enforcing/disabled/' /etc/selinux/config setenforce 0 （3）关闭NetworkManager systemctl disable NetworkManager && systemctl stop NetworkManager （4）添加主机名与IP对应关系： vim /etc/hosts 192.168.171.135 cephnode01 192.168.171.136 cephnode02 192.168.171.137 cephnode03 （5）设置主机名： hostnamectl set-hostname cephnode01 hostnamectl set-hostname cephnode02 hostnamectl set-hostname cephnode03 （6）同步网络时间和修改时区 systemctl restart chronyd.service && systemctl enable chronyd.service cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime （7）设置文件描述符 echo "ulimit -SHn 102400" >> /etc/rc.local cat >> /etc/security/limits.conf << EOF * soft nofile 65535 * hard nofile 65535 EOF （8）内核参数优化 cat >> /etc/sysctl.conf << EOF kernel.pid_max = 4194303 echo "vm.swappiness = 0" /etc/sysctl.conf EOF sysctl -p （9）在cephnode01上配置免密登录到cephnode02、cephnode03 ssh-copy-id root@cephnode02 ssh-copy-id root@cephnode03 (10)read_ahead,通过数据预读并且记载到随机访问内存方式提高磁盘读操作 echo "8192" > /sys/block/sda/queue/read_ahead_kb (11) I/O Scheduler，SSD要用noop，SATA/SAS使用deadline echo "deadline" >/sys/block/sd[x]/queue/scheduler echo "noop" >/sys/block/sd[x]/queue/scheduler
仅在192.168.171.10操作
1、安装httpd、createrepo和epel源
yum install httpd createrepo epel-release -y[root@cephyumresource01 ~]# more /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
或者阿里云yum源：（推荐！！）
[Ceph-SRPMS]
name=Ceph SRPMS packagesno
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
[Ceph-x86_64]
name=Ceph x86_64 packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/
enabled=1
gpgcheck=0
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.ascyum --downloadonly --downloaddir=/var/www/html/ceph/rpm-nautilus/el7/x86_64/ install ceph ceph-radosgwwget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/ceph-14.2.4-0.el7.src.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/ceph-deploy-2.0.1-0.src.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-deploy-2.0.1-0.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-grafana-dashboards-14.2.4-0.el7.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-mgr-dashboard-14.2.4-0.el7.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-mgr-diskprediction-cloud-14.2.4-0.el7.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-mgr-diskprediction-local-14.2.4-0.el7.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-mgr-rook-14.2.4-0.el7.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-mgr-ssh-14.2.4-0.el7.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/ceph-release-1-1.el7.src.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/ceph-medic-1.0.4-16.g60cf7e9.el7.src.rpm
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/repodata/repomd.xml
wget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/repodata/repomd.xml
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/repodata/a4bf0ee38cd4e64fae2d2c493e5b5eeeab6cf758beb7af4eec0bc4046b595faf-filelists.sqlite
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/repodata/a4bf0ee38cd4e64fae2d2c493e5b5eeeab6cf758beb7af4eec0bc4046b595faf-filelists.sqlite.bz2
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/repodata/183278bb826f5b8853656a306258643384a1547c497dd8b601ed6af73907bb22-other.sqlite.bz2
wget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/repodata/52bf459e39c76b2ea2cff2c5340ac1d7b5e17a105270f5f01b454d5a058adbd2-filelists.sqlite.bz2
wget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/repodata/4f3141aec1132a9187ff5d1b4a017685e2f83a761880884d451a288fcedb154e-primary.sqlite.bz2
wget mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS/repodata/0c554884aa5600b1311cd8f616aa40d036c1dfc0922e36bcce7fd84e297c5357-other.sqlite.bz2
wget mirrors.163.com/ceph/rpm-nautilus/el7/noarch/repodata/597468b64cddfc386937869f88c2930c8e5fda3dd54977c052bab068d7438fcb-primary.sqlite.bz2createrepo --update /var/www/html/ceph/rpm-nautilus四、安装Ceph集群
1、编辑内网yum源,将yum源同步到其它节点并提前做好yum makecache
当然如果外网没有任何限制，也建议直接配置如上阿里云镜像源即可！
# vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://192.168.171.10/ceph/rpm-nautilus/el7/$basearch
gpgcheck=0
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://192.168.171.10/ceph/rpm-nautilus/el7/noarch
gpgcheck=0
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://192.168.171.10/ceph/rpm-nautilus/el7/srpms
gpgcheck=0
priority=1# yum list | grep ceph
# yum install -y ceph-deploy
# ceph-deploy --version
然后测试一下，发现报错：
Traceback (most recent call last):
File "/usr/bin/ceph-deploy", line 18, in <module>
from ceph_deploy.cli import main
File "/usr/lib/python2.7/site-packages/ceph_deploy/cli.py", line 1, in <module>
import pkg_resources
ImportError: No module named pkg_resources
原因是缺python-setuptools，安装它即可：
# yum install -y python-setuptools
# ceph-deploy --version
2.0.1# mkdir /my-cluster
# cd /my-cluster# ceph-deploy new cephnode01 cephnode02 cephnode03
...省略
[ceph_deploy.new][DEBUG ] Resolving host cephnode03
[ceph_deploy.new][DEBUG ] Monitor cephnode03 at 192.168.171.137
[ceph_deploy.new][DEBUG ] Monitor initial members are ['cephnode01', 'cephnode02', 'cephnode03']
[ceph_deploy.new][DEBUG ] Monitor addrs are ['192.168.171.135', '192.168.171.136', '192.168.171.137']
[ceph_deploy.new][DEBUG ] Creating a random mon key...
[ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring...
[ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf...# ls ceph-deploy-ceph.log5、安装Ceph软件（每个节点执行）
# yum -y install epel-release
# yum install -y ceph
# ceph -v
ceph version 12.2.12 (1436006594665279fe734b4c15d7e08c13ebd777) luminous (stable)# ceph-deploy mon create-initial
# ls
ceph.bootstrap-mds.keyring ceph.bootstrap-osd.keyring ceph.client.admin.keyring ceph-deploy-ceph.log
ceph.bootstrap-mgr.keyring ceph.bootstrap-rgw.keyring ceph.conf ceph.mon.keyring# ceph-deploy admin cephnode01 cephnode02 cephnode03# ceph-deploy mgr create cephnode01 cephnode02 cephnode03
# more ceph.conf
[global]
fsid = b1f800c7-a4bc-4fc7-87e2-239291f2e4c7
mon_initial_members = cephnode01, cephnode02, cephnode03
mon_host = 192.168.171.135,192.168.171.136,192.168.171.137
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx# yum install -y ceph-radosgw
# ceph-deploy rgw create cephnode01# ceph-deploy mds create cephnode01 cephnode02 cephnode03# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 30G 0 disk
├─sda1 8:1 0 4G 0 part
└─sda2 8:2 0 26G 0 part /
sdb 8:16 0 8G 0 disk ##磁盘仅仅为一块裸盘，没有做任何的初始化和处理；
sr0 11:0 1 4.3G 0 rom
ceph-deploy osd create --data /dev/sdb cephnode01 ##会自动的格式化成ceph可以读取的格式；
...省略
[ceph_deploy.osd][DEBUG ] Host cephnode01 is now ready for osd use.
# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.00780 root default
-3 0.00780 host cephnode01
0 hdd 0.00780 osd.0 up 1.00000 1.00000
##继续添加其它盘及其它node的盘
ceph-deploy osd create --data /dev/sdX cephnode01 如有，修改sdX即可；
ceph-deploy osd create --data /dev/sdX cephnode01
ceph-deploy osd create --data /dev/sdb cephnode02
ceph-deploy osd create --data /dev/sdX cephnode02
ceph-deploy osd create --data /dev/sdX cephnode02
ceph-deploy osd create --data /dev/sdb cephnode03
ceph-deploy osd create --data /dev/sdX cephnode03
ceph-deploy osd create --data /dev/sdX cephnode03
[root@cephnode01 my-cluster]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.02339 root default
-3 0.00780 host cephnode01
0 hdd 0.00780 osd.0 up 1.00000 1.00000
-5 0.00780 host cephnode02
1 hdd 0.00780 osd.1 up 1.00000 1.00000
-7 0.00780 host cephnode03
2 hdd 0.00780 osd.2 up 1.00000 1.00000[root@cephnode01 my-cluster]# ceph -s
cluster:
id: b1f800c7-a4bc-4fc7-87e2-239291f2e4c7
health: HEALTH_OK
services:
mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03
mgr: cephnode01(active), standbys: cephnode02, cephnode03
osd: 3 osds: 3 up, 3 in
rgw: 1 daemon active
data:
pools: 4 pools, 32 pgs
objects: 187 objects, 1.09KiB
usage: 3.01GiB used, 21.0GiB / 24.0GiB avail
pgs: 32 active+clean
[root@cephnode01 my-cluster]# ceph health detail
HEALTH_OK
[root@cephnode01 my-cluster]# ceph osd df ##每块盘的使用量
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
0 hdd 0.00780 1.00000 8.00GiB 1.00GiB 6.99GiB 12.55 1.00 32
1 hdd 0.00780 1.00000 8.00GiB 1.00GiB 6.99GiB 12.55 1.00 32
2 hdd 0.00780 1.00000 8.00GiB 1.00GiB 6.99GiB 12.55 1.00 32
TOTAL 24.0GiB 3.01GiB 21.0GiB 12.55
MIN/MAX VAR: 1.00/1.00 STDDEV: 0五、ceph.conf
1、该配置文件采用init文件语法，###和;为注释，ceph集群在启动的时候会按照顺序加载所有的conf配置文件。 配置文件分为以下几大块配置。
global：全局配置。
osd：osd专用配置，可以使用osd.N，来表示某一个OSD专用配置，N为osd的编号，如0、2、1等。
mon：mon专用配置，也可以使用mon.A来为某一个monitor节点做专用配置，其中A为该节点的名称，ceph-monitor-2、ceph-monitor-1等。使用命令 ceph mon dump可以获取节点的名称。
client：客户端专用配置。2、配置文件可以从多个地方进行顺序加载，如果冲突将使用最新加载的配置，其加载顺序为。
$CEPH_CONF环境变量
-c 指定的位置
/etc/ceph/ceph.conf
~/.ceph/ceph.conf
./ceph.conf3、配置文件还可以使用一些元变量应用到配置文件，如。
$cluster：当前集群名。
$type：当前服务类型。
$id：进程的标识符。
$host：守护进程所在的主机名。
$name：值为$type.$id。4、ceph.conf详细参数
[global]#全局设置
fsid = xxxxxxxxxxxxxxx #集群标识ID
mon host = 10.0.1.1,10.0.1.2,10.0.1.3 #monitor IP 地址
auth cluster required = cephx #集群认证
auth service required = cephx #服务认证
auth client required = cephx #客户端认证
osd pool default size = 3 #最小副本数 默认是3
osd pool default min size = 1 #PG 处于 degraded 状态不影响其 IO 能力,min_size是一个PG能接受IO的最小副本数
public network = 10.0.1.0/24 #公共网络(monitorIP段)
cluster network = 10.0.2.0/24 #集群网络
max open files = 131072 #默认0###如果设置了该选项，Ceph会设置系统的max open fds
mon initial members = node1, node2, node3 #初始monitor (由创建monitor命令而定)
###########################################################################################################################
[mon]
mon data = /var/lib/ceph/mon/ceph-$id
mon clock drift allowed = 1 #默认值0.05###monitor间的clock drift
mon osd min down reporters = 13 #默认值1###向monitor报告down的最小OSD数
mon osd down out interval = 600 #默认值300 #标记一个OSD状态为down和out之前ceph等待的秒数
###########################################################################################################################
[osd]
osd data = /var/lib/ceph/osd/ceph-$id
osd mkfs type = xfs #格式化系统类型
osd max write size = 512 #默认值90 #OSD一次可写入的最大值(MB)
osd client message size cap = 2147483648 #默认值100 #客户端允许在内存中的最大数据(bytes)
osd deep scrub stride = 131072 #默认值524288 #在Deep Scrub时候允许读取的字节数(bytes)
osd op threads = 16 #默认值2 #并发文件系统操作数
osd disk threads = 4 #默认值1 #OSD密集型操作例如恢复和Scrubbing时的线程
osd map cache size = 1024 #默认值500 #保留OSD Map的缓存(MB)
osd map cache bl size = 128 #默认值50 #OSD进程在内存中的OSD Map缓存(MB)
osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" ###默认值rw,noatime,inode64 ###Ceph OSD xfs Mount选项
osd recovery op priority = 2 #默认值10 #恢复操作优先级，取值1-63，值越高占用资源越高
osd recovery max active = 10 #默认值15 #同一时间内活跃的恢复请求数
osd max backfills = 4 #默认值10 #一个OSD允许的最大backfills数
osd min pg log entries = 30000 #默认值3000 #修建PGLog是保留的最大PGLog数
osd max pg log entries = 100000 #默认值10000 #修建PGLog是保留的最大PGLog数
osd mon heartbeat interval = 40 #默认值30 #OSD ping一个monitor的时间间隔（默认30s）
ms dispatch throttle bytes = 1048576000 #默认值 104857600 #等待派遣的最大消息数
objecter inflight ops = 819200 #默认值1024 #客户端流控，允许的最大未发送io请求数，超过阀值会堵塞应用io，为0表示不受限
osd op log threshold = 50 #默认值5 #一次显示多少操作的log
osd crush chooseleaf type = 0 #默认值为1 #CRUSH规则用到chooseleaf时的bucket的类型
###########################################################################################################################
[client]
rbd cache = true #默认值 true #RBD缓存
rbd cache size = 335544320 #默认值33554432 #RBD缓存大小(bytes)
rbd cache max dirty = 134217728 #默认值25165824 #缓存为write-back时允许的最大dirty字节数(bytes)，如果为0，使用write-through
rbd cache max dirty age = 30 #默认值1 #在被刷新到存储盘前dirty数据存在缓存的时间(seconds)
rbd cache writethrough until flush = false #默认值true #该选项是为了兼容linux-2.6.32之前的virtio驱动，避免因为不发送flush请求，数据不回写
#设置该参数后，librbd会以writethrough的方式执行io，直到收到第一个flush请求，才切换为writeback方式。
rbd cache max dirty object = 2 #默认值0 #最大的Object对象数，默认为0，表示通过rbd cache size计算得到，librbd默认以4MB为单位对磁盘Image进行逻辑切分
#每个chunk对象抽象为一个Object；librbd中以Object为单位来管理缓存，增大该值可以提升性能
rbd cache target dirty = 235544320 #默认值16777216 #开始执行回写过程的脏数据大小，不能超过 rbd_cache_max_dirty本博客所有文章除特别声明外，均采用 CC BY-SA 4.0 协议 ，转载请注明出处！