通过Cephadm工具搭建Ceph分布式存储及文件系统挂载指南

Ceph是一个高度可扩展的分布式存储系统，提供了对象、块和文件系统存储服务。Cephadm是Ceph官方推荐的部署和管理工具，它简化了Ceph集群的安装与运维。本文将详细介绍如何通过cephadm工具搭建Ceph集群，并配置Ceph文件系统（CephFS）进行挂载，为信息处理和存储提供支持服务。

一、环境准备与前提条件

在开始部署前，请确保满足以下条件：

1. 操作系统：建议使用CentOS 8/RHEL 8、Ubuntu 20.04 LTS或更高版本。所有节点系统时间需同步。
2. 节点规划：至少需要3个节点（物理机或虚拟机），分别承担监视器（Mon）、管理器（Mgr）和存储（OSD）角色。生产环境建议更多节点以实现高可用。
3. 网络配置：所有节点需在同一网络，并配置主机名解析（如/etc/hosts或DNS）。建议规划公共网络（前端客户端访问）和集群网络（后端数据同步）以提升性能。
4. 权限：在所有节点上使用具有root权限或sudo权限的用户进行操作。
5. 存储设备：为OSD节点准备未使用的磁盘或分区（如/dev/sdb、/dev/sdc）。

二、安装Cephadm工具

在计划作为初始管理节点的服务器上安装cephadm。

1. 下载cephadm脚本：
`bash
curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
chmod +x cephadm
`

2. 安装cephadm包（以RHEL/CentOS为例）：
`bash
./cephadm add-repo --release octopus # Octopus为Ceph版本，可按需替换
./cephadm install
`
或直接使用脚本安装Ceph集群组件：
`bash
./cephadm install ceph-common cephadm
`

三、引导初始Ceph集群

在管理节点上，使用cephadm引导一个新集群。假设管理节点主机名为node1，IP为192.168.1.10。

cephadm bootstrap --mon-ip 192.168.1.10

此命令将：

• 在当前节点（node1）上部署Ceph监视器和管理器。
• 生成SSH密钥对，用于管理其他节点。
• 输出访问Ceph集群的默认凭据（如admin用户密钥）。

完成后，可通过ceph status验证集群状态。

四、添加集群节点

将其他节点添加到集群中，使其承担OSD等角色。

1. 将SSH公钥复制到所有节点：引导过程生成的密钥位于/etc/ceph/ceph.pub，需将其添加到每个节点的~/.ssh/authorized_keys中。
2. 添加主机：在管理节点执行：
`bash
ceph orch host add node2
ceph orch host add node3
`
可指定IP地址：ceph orch host add node2 192.168.1.11。

1. 查看主机列表：ceph orch host ls。

五、添加存储设备（OSD）

OSD是实际存储数据的守护进程。将磁盘添加到集群作为OSD。

1. 列出可用设备：
`bash
ceph orch device ls
`

1. 创建OSD：

• 自动添加所有可用设备：ceph orch apply osd --all-available-devices

- 或指定特定设备（如node2上的/dev/sdb）：
`bash
ceph orch daemon add osd node2:/dev/sdb
`

1. 验证OSD：ceph osd tree 或 ceph osd status。

六、部署Ceph文件系统（CephFS）

CephFS是一个符合POSIX标准的分布式文件系统，需部署MDS（元数据服务器）守护进程。

1. 部署MDS服务：
`bash
ceph orch apply mds myfs --placement="node1,node2" # 在node1和node2上部署MDS
`

2. 创建CephFS：
`bash
ceph fs volume create myfs # 自动创建所需存储池
`

3. 验证CephFS：
`bash
ceph fs ls
ceph mds stat
`

七、挂载CephFS到客户端

在需要访问CephFS的客户端节点上执行挂载。

1. 安装Ceph客户端软件包：
`bash
# RHEL/CentOS

yum install ceph-common
# Ubuntu

apt install ceph-common
`

2. 获取管理员密钥：从管理节点的/etc/ceph/ceph.client.admin.keyring复制密钥环到客户端的/etc/ceph/目录。
3. 创建挂载点并挂载：
`bash
mkdir /mnt/mycephfs
mount -t ceph node1:6789,node2:6789,node3:6789:/ /mnt/mycephfs -o name=admin
`
或使用内核驱动挂载（推荐）：
`bash
mount -t ceph 192.168.1.10:6789,192.168.1.11:6789,192.168.1.12:6789:/ /mnt/mycephfs -o name=admin
`

4. 验证挂载：df -hT /mnt/mycephfs 或写入测试文件。
5. 配置自动挂载：在/etc/fstab中添加：
`

192.168.1.10:6789,192.168.1.11:6789,192.168.1.12:6789:/ /mnt/mycephfs ceph name=admin,_netdev 0 0
`

八、管理与监控

• 集群健康状态：定期使用ceph status或ceph health detail检查。
• Web Dashboard：Cephadm默认启用仪表板，可通过ceph mgr services查看URL，使用引导输出的凭据登录。
• 扩展集群：添加新节点或OSD时，重复第四、五步即可。
• 注意事项：确保防火墙开放所需端口（如6789用于Mon，6800-7300用于OSD，3300用于MDS）。

九、

通过cephadm工具，我们可以高效地部署和管理Ceph分布式存储集群。CephFS提供了一个可扩展的共享文件系统，适用于云环境、大数据分析及备份存储等场景，为信息处理与存储支持服务提供了坚实保障。后续可根据业务需求调整存储池策略、设置配额或集成OpenStack/Kubernetes等平台。