首先停止故障osd运行:
# ceph osd out osd.4
# systemctl stop ceph-osd@4.service
解除bcache绑定（停用前端缓存），假设故障osd是建立在bcache1上，缓存盘的cset-uuid为805bc5f1-36e9-4685-a86a-3ea8c03f1172，我osd只是偶尔出现错误即将故障，而不是不能识盘，所以正常解除绑定清理脏数据:
# echo 805bc5f1-36e9-4685-a86a-3ea8c03f1172 > /sys/block/bcache1/bcache/detach
下午收到故障警报，有个ceph节点osd故障。故障osd建立在节点bcache2分区上，但是这分区不见了，bcache2是一个RAID0的前端缓存分区。
通过MegaRAID检查RAID硬盘状态，发现有个RAID0下的硬盘变成外来设备了：
/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL -NoLog|grep "Firmware state"
Firmware state: Unconfigured(good), Spun Up
也就是没有RAID信息列阵不识别这个盘了，也许是高负荷下掉盘又恢复后无法识别了？但起码盘还能识到，也就是说可能盘还没坏，可以尝试RAID导入一下外来配置：
错误类似：26 slow ops, oldest one blocked for 48 sec, daemons [osd.15,osd.17,osd.18,osd.5,osd.6,osd.7] have slow ops.
如果只是集群中极少部分的OSD出现该问题，可以通过：
systemctl status ceph-osd@{num}
查看OSD日志找到问题并处理，常见的有磁盘故障等，根据错误网络搜索很多解决方案。
如果是集群中所有osd，或者过半数的osd出现这个问题呢？检查了磁盘、网络、mon都正常。其实还有一种可能，想一下是否近期升级过ceph，有升级不完整osd版本问题造成。
自Nautilus版本开始Ceph支持自动调整PG merging，减少了每次加osd时候自己计算、修改的麻烦。
但其实自己计算也是很简单的，一个原则就是每个OSD大约能够分配到100pg就是合理的范围，计算公式：
（OSD数量×100）÷副本数量，如果有多个pool，还需要再除以pool数量，结果取接近计算值的2次幂。比如16个OSD ÷ 3副本÷ 1个pool，计算就是：(16×100）÷3÷1= 533.33，近2次幂的就是512了。
如果CEPH已经使用Bcache缓存加速了OSD，使用未加速的OSD也需要应用Bcache缓存加速，则可以参考下文连贯操作记录，如有出错请留言。
[root@ceph-node-1 ceph-admin-node]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
nvme0n1 259:0 0 447.1G 0 disk
├─bcache0 252:0 0 3.7T 0 disk
│ └─ceph--60bcd20c--264c--489b--8315--6b3fe7d9753b-osd--block--40eedca5--3120--416a--a021--b1dceaa15815 253:1 0 3.7T 0 lvm
└─bcache1 252:128 0 3.7T 0 disk
└─ceph--f67b425f--a786--42db--8ee7--d0dad6fb2ba4-osd--block--949401de--81d5--477c--8f22--b8c01e671d58 253:2 0 3.7T 0 lvm
sdd 8:48 0 3.7T 0 disk
sdb 8:16 0 3.7T 0 disk
└─bcache0 252:0 0 3.7T 0 disk
└─ceph--60bcd20c--264c--489b--8315--6b3fe7d9753b-osd--block--40eedca5--3120--416a--a021--b1dceaa15815 253:1 0 3.7T 0 lvm
sde 8:64 0 3.7T 0 disk
sdc 8:32 0 3.7T 0 disk
└─bcache1 252:128 0 3.7T 0 disk
└─ceph--f67b425f--a786--42db--8ee7--d0dad6fb2ba4-osd--block--949401de--81d5--477c--8f22--b8c01e671d58 253:2 0 3.7T 0 lvm
sda 8:0 0 232.4G 0 disk
├─sda2 8:2 0 231.9G 0 part
│ └─centos-root 253:0 0 231.9G 0 lvm /
└─sda1 8:1 0 512M 0 part /boot
需要安装ceph-deploy，如果未安装执行以下命令安装：
sudo yum install ceph-deploy python-pushy
版本号查看：https://docs.ceph.com/en/latest/releases/#ceph-releases-index
运行升级命令：
ceph-deploy install --release {release-name} ceph-node1[ ceph-node2]
例如：
ceph-deploy install --release nautilus ceph-node-1 ceph-node-2 ceph-node-3 ceph-node-4
1 显示所有pool
ceph osd pool ls
2 查询 pool 当前状态
ceph osd pool stats {pool_name}
3 查询 pool 的使用状态
ceph df
1 格式化盘
如果添加的盘上面有分区，可以通过如下命令清除(分区上的数据也会被清除)
ceph-deploy disk zap {osd-server-name} {disk-name}
2 添加OSD
ceph-deploy osd create {osd-server-name} --data /dev/{disk-name} {osd-server-name}
如果出现类似错误：
ceph-node-1 write cluster configuration to
/etc/ceph/{cluster}.conf ceph_deploy.osd RuntimeError:
config file /etc/ceph/ceph.conf exists with different content; use
--overwrite-conf to overwrite ceph_deploy GenericError: Failed to create 1 OSDs
同步配置文件到其他节点
ceph-deploy --overwrite-conf config push {ceph-node-hostname}
或mv后再次启动服务
mv /etc/ceph/ceph.conf /etc/ceph/ceph.conf.bak
PG全称是placement groups，它是ceph的逻辑存储单元。在数据存储到cesh时，先打散成一系列对象，再结合基于对象名的哈希操作、复制级别、PG数量，产生目标PG号。根据复制级别的不同，每个PG在不同的OSD上进行复制和分发。可以把PG想象成存储了多个对象的逻辑容器，这个容器映射到多个具体的OSD。PG存在的意义是提高ceph存储系统的性能和扩展性。
1 ceph-deploy安装（如以安装跳过此步骤）
yum install ceph-deploy -y
部署Ceph-deploy部署过程中会生成一些集群初始化配置文件和key，后续扩容的时候也需要使用到，因此，建议在admin-node上创建一个单独的目录，后续操作都进入到该目录中进行操作，以创建的ceph-admin-node为例。