Rackspace 解决方案架构师 Keith Tenzer 讨论了为什么 OpenStack 和 Ceph 是一个了不起的组合。在本文中，我们将讨论为什么 Ceph 非常适合 OpenStack。
总揽
我们还将展示如何将三个重要的 OpenStack 用例：Cinder（块存储）、Glance（镜像）和 Nova（虚拟机虚拟磁盘）与 Ceph 集成。
Ceph 提供统一的横向扩展存储，使用带有自我修复和智能预测故障功能的商用 x86 硬件。它已经成为软件定义存储的事实上的标准。因为 Ceph 是开源的，它使许多供应商能够提供基于 Ceph 的软件定义存储系统。 Ceph 不仅限于 Red Hat、Suse、Mirantis、Ubuntu 等公司。 SanDisk、富士通、惠普、戴尔、三星等公司现在也提供集成解决方案。甚至还有大规模的社区建造的环境（如 CERN），为 10000 个虚拟机提供存储服务。
Ceph 绝不局限于 OpenStack，但是这是 Ceph 开始获得牵引力的地方。看看最新的 OpenStack 用户调查，Ceph 是 OpenStack 存储的显著领导者。2016 年 4 月 OpenStack 用户调查报告的第 42 页显示，Ceph 占 OpenStack 存储的 57％，下一个是 LVM（本地存储）占 28％，NetApp 占 9％。如果我们不看 LVM，Ceph 领先其他存储公司 48％，令人难以置信。这是为什么？
有好几个原因，我认为以下是最重要的三个：
-
Ceph 是一个横向扩展的统一存储平台。OpenStack 最需要的存储能力的两个方面：能够与 OpenStack 本身一起扩展，并且扩展时不需要考虑是块（Cinder）、文件（Manila）还是对象（Swift）。传统存储供应商需要提供两个或三个不同的存储系统来实现这一点。它们不同样扩展，并且在大多数情况下仅在永无止境的迁移周期中纵向扩展。它们的管理功能从来没有真正实现跨不同的存储用例集成。
-
Ceph 具有成本效益。 Ceph 利用 Linux 作为操作系统，而不是专有的系统。你不仅可以选择找谁购买 Ceph，还可以选择从哪里购买硬件。可以是同一供应商也可以是不同的。你可以购买硬件，甚至从单一供应商购买 Ceph +硬件的集成解决方案。已经有针对 Ceph 的超融合方案出现（在计算节点上运行 Ceph 服务）。
-
和 OpenStack 一样，Ceph 是开源项目。这允许更紧密的集成和跨项目开发。专有供应商总是在努力追赶，因为他们有秘密要保护，他们的影响力通常限于开源社区。
这里是一个架构图，显示了所有需要存储的不同 OpenStack 组件。它显示了这些组件如何与 Ceph 集成，以及 Ceph 如何提供一个统一的存储系统，扩展以满足所有这些用例。
如果你对与 Ceph 和 OpenStack 相关的更多主题感兴趣，推荐这个网址：http://ceph.com/category/ceph-and-openstack/。
说够了为什么 Ceph 和 OpenStack 如此伟大，该说说如何连接它们了。如果你没有 Ceph 环境，可以按照这篇文章快速设置。
Glance 集成
Glance 是 OpenStack 中的映像服务。默认情况下，映像存储在本地控制器，然后在被请求时复制到计算主机。计算主机缓存镜像，但每次更新镜像时，都需要再次复制。
Ceph 为 Glance 提供了后端，允许镜像存储在 Ceph 中，而不是本地存储在控制器和计算节点上。这大大减少了抓取镜像的网络流量，提高了性能，因为 Ceph 可以克隆镜像而不是复制镜像。此外，它使得在 OpenStack 部署或诸如多站点 OpenStack 之类的概念的迁移变得更简单。
安装 Glance 使用的 Ceph 客户端。
[root@osp9 ~]# yum install -y python-rbd
创建 Ceph 用户并将主目录设置为/etc/ceph。
[root@osp9 ~]# mkdir /etc/ceph
[root@osp9 ~]# useradd ceph
[root@osp9 ~]# passwd ceph
将 Ceph 用户添加到 sudoers。
cat << EOF >/etc/sudoers.d/ceph
ceph ALL = (root) NOPASSWD:ALL
Defaults:ceph !requiretty
EOF
在 Ceph 管理节点。为 Glance 镜像创建 Ceph RBD 池。
[ceph@ceph1 ~]$ sudo ceph osd pool create images 128
创建将允许 Glance 访问池的密钥环。
[ceph@ceph1 ~]$ sudo ceph auth get-or-create client.images mon 'allow r' osd 'allow class-read object_prefix rdb_children, allow rwx pool=images' -o /etc/ceph/ceph.client.images.keyring
将密钥环复制到 OpenStack 控制器上的/etc/ceph。
[ceph@ceph1 ~]$ scp /etc/ceph/ceph.conf root@osp9.lab:/etc/ceph
设置权限，让 Glance 可以访问 Ceph 密钥环。
[root@osp9 ~(keystone_admin)]# chgrp glance /etc/ceph/ceph.client.images.keyring
[root@osp9 ~(keystone_admin)]#chmod 0640 /etc/ceph/ceph.client.images.keyring
将密钥环文件添加到 Ceph 配置。
[root@osp9 ~(keystone_admin)]# vi /etc/ceph/ceph.conf
[client.images]
keyring = /etc/ceph/ceph.client.images.keyring
创建原始 Glance 配置的备份。
[root@osp9 ~(keystone_admin)]# cp /etc/glance/glance-api.conf /etc/glance/glance-api.conf.orig
更新 Glance 配置。
[root@osp9 ~]# vi /etc/glance/glance-api.conf
[glance_store]
stores = glance.store.rbd.Store
default_store = rbd
rbd_store_pool = images
rbd_store_user = images
rbd_store_ceph_conf = /etc/ceph/ceph.conf
重新启动 Glance。
[root@osp9 ~(keystone_admin)]# systemctl restart openstack-glance-api
下载 Cirros 镜像并将其添加到 Glance。
[root@osp9 ~(keystone_admin)]# wget http://download.cirros-cloud.net/0.3.4/cirros-0.3.4-x86_64-disk.img
将 QCOW2 转换为 RAW。 建议 Ceph 始终使用 RAW 格式。
[root@osp9 ~(keystone_admin)]#qemu-img convert cirros-0.3.4-x86_64-disk.img cirros-0.3.4-x86_64-disk.raw
将镜像添加到 Glance。
[root@osp9 ~(keystone_admin)]#glance image-create --name "Cirros 0.3.4" --disk-format raw --container-format bare --visibility public --file cirros-0.3.4-x86_64-disk.raw
+------------------+--------------------------------------+
| Property | Value |
+------------------+--------------------------------------+
| checksum | ee1eca47dc88f4879d8a229cc70a07c6 |
| container_format | bare |
| created_at | 2016-09-07T12:29:23Z |
| disk_format | qcow2 |
| id | a55e9417-67af-43c5-a342-85d2c4c483f7 |
| min_disk | 0 |
| min_ram | 0 |
| name | Cirros 0.3.4 |
| owner | dd6a4ed994d04255a451da66b68a8057 |
| protected | False |
| size | 13287936 |
| status | active |
| tags | [] |
| updated_at | 2016-09-07T12:29:27Z |
| virtual_size | None |
| visibility | public |
+------------------+--------------------------------------+
检查 Ceph 中是否存在 Glance 图像。
[ceph@ceph1 ceph-config]$ sudo rbd ls images
a55e9417-67af-43c5-a342-85d2c4c483f7
Cinder 集成
Cinder 是 OpenStack 中的块存储服务。 Cinder 提供了关于块存储的抽象，并允许供应商通过提供驱动程序进行集成。在 Ceph 中，每个存储池可以映射到不同的 Cinder 后端。这允许创建诸如金、银或铜的存储服务。你可以决定例如金应该是复制三次的快速 SSD 磁盘，银应该是复制两次，铜应该是使用较慢的擦除编码的磁盘。
为 Cinder 卷创建一个 Ceph 池。
[ceph@ceph1 ~]$ sudo ceph osd pool create 128
创建一个密钥环以授予 Cinder 访问权限。
[ceph@ceph1 ~]$ sudo ceph auth get-or-create client.volumes mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rx pool=images' -o /etc/ceph/ceph.client.volumes.keyring
将密钥环复制到 OpenStack 控制器。
[ceph@ceph1 ~]$ scp /etc/ceph/ceph.client.volumes.keyring root@osp9.lab:/etc/ceph
创建一个只包含 OpenStack 控制器上的身份验证密钥的文件。
[ceph@ceph1 ~]$ sudo ceph auth get-key client.volumes |ssh osp9.lab tee client.volumes.key
设置密钥环文件的权限，以便 Cinder 可以访问。
[root@osp9 ~(keystone_admin)]# chgrp cinder /etc/ceph/ceph.client.volumes.keyring
[root@osp9 ~(keystone_admin)]# chmod 0640 /etc/ceph/ceph.client.volumes.keyring
将密钥环添加到 OpenStack 控制器上的 Ceph 配置文件中。
[root@osp9 ~(keystone_admin)]#vi /etc/ceph/ceph.conf
[client.volumes]
keyring = /etc/ceph/ceph.client.volumes.keyring
使 KVM Hypervisor 访问 Ceph。
[root@osp9 ~(keystone_admin)]# uuidgen |tee /etc/ceph/cinder.uuid.txt
在 virsh 中创建一个密钥，因此 KVM 可以访问 Ceph 池的 Cinder 卷。
[root@osp9 ~(keystone_admin)]#vi /etc/ceph/cinder.xml
ce6d1549-4d63-476b-afb6-88f0b196414f
client.volumes secret
[root@osp9 ceph]# virsh secret-define --file /etc/ceph/cinder.xml
[root@osp9 ~(keystone_admin)]# virsh secret-set-value --secret ce6d1549-4d63-476b-afb6-88f0b196414f --base64 $(cat /etc/ceph/client.volumes.key)
为 Cinder 添加一个 Ceph 后端。
[root@osp9 ~(keystone_admin)]#vi /etc/cinder/cinder.conf
[rbd]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
rbd_user = volumes
rbd_secret_uuid = ce6d1549-4d63-476b-afb6-88f0b196414f
在所有控制器上重新启动 Cinder 服务。
[root@osp9 ~(keystone_admin)]# openstack-service restart cinder
创建 Cinder 卷。
[root@osp9 ~(keystone_admin)]# cinder create --display-name="test" 1
+--------------------------------+--------------------------------------+
| Property | Value |
+--------------------------------+--------------------------------------+
| attachments | [] |
| availability_zone | nova |
| bootable | false |
| consistencygroup_id | None |
| created_at | 2016-09-08T10:58:17.000000 |
| description | None |
| encrypted | False |
| id | d251bb74-5c5c-4c40-a15b-2a4a17bbed8b |
| metadata | {} |
| migration_status | None |
| multiattach | False |
| name | test |
| os-vol-host-attr:host | None |
| os-vol-mig-status-attr:migstat | None |
| os-vol-mig-status-attr:name_id | None |
| os-vol-tenant-attr:tenant_id | dd6a4ed994d04255a451da66b68a8057 |
| replication_status | disabled |
| size | 1 |
| snapshot_id | None |
| source_volid | None |
| status | creating |
| updated_at | None |
| user_id | 783d6e51e611400c80458de5d735897e |
| volume_type | None |
+--------------------------------+--------------------------------------+
List new cinder volume
[root@osp9 ~(keystone_admin)]# cinder list
+--------------------------------------+-----------+------+------+-------------+----------+-------------+
| ID | Status | Name | Size | Volume Type | Bootable | Attached to |
+--------------------------------------+-----------+------+------+-------------+----------+-------------+
| d251bb74-5c5c-4c40-a15b-2a4a17bbed8b | available | test | 1 | - | false | |
+--------------------------------------+-----------+------+------+-------------+----------+-------------+
在 Ceph 中列出 Cinder 卷。
[ceph@ceph1 ~]$ sudo rbd ls volumes
volume-d251bb74-5c5c-4c40-a15b-2a4a17bbed8b
[ceph@ceph1 ~]$ sudo rbd info volumes/volume-d251bb74-5c5c-4c40-a15b-2a4a17bbed8b
rbd image 'volume-d251bb74-5c5c-4c40-a15b-2a4a17bbed8b':
size 1024 MB in 256 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.2033b50c26d41
format: 2
features: layering, striping
flags:
stripe unit: 4096 kB
stripe count: 1
将 Ceph 与 Nova 计算集成
Nova 是 OpenStack 中的计算服务。 Nova 存储与默认的运行虚拟机相关联的虚拟磁盘镜像，在/ var / lib / nova / instances 下的 Hypervisor 上。在虚拟磁盘映像的计算节点上使用本地存储有一些缺点：
- 镜像存储在根文件系统下。大镜像可能导致文件系统被填满，从而导致计算节点崩溃。
- 计算节点上的磁盘崩溃可能导致虚拟磁盘丢失，因此无法进行虚拟机恢复。
Ceph 是可以直接与 Nova 集成的存储后端之一。在本节中，我们将看到如何配置。
[ceph@ceph1 ~]$ sudo ceph osd pool create vms 128
为 Nova 创建验证密钥环。
[ceph@ceph1 ~]$ sudo ceph auth get-or-create client.nova mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=vms, allow rx pool=images' -o /etc/ceph/ceph.client.nova.keyring
将密钥环复制到 OpenStack 控制器。
[ceph@ceph1 ~]$ scp /etc/ceph/ceph.client.nova.keyring root@osp9.lab:/etc/ceph
在 OpenStack 控制器上创建密钥文件。
[ceph@ceph1 ~]$ sudo ceph auth get-key client.nova |ssh osp9.lab tee client.nova.key
设置密钥环文件的权限，以便 Nova 服务可以访问。
[root@osp9 ~(keystone_admin)]# chgrp nova /etc/ceph/ceph.client.nova.keyring
[root@osp9 ~(keystone_admin)]# chmod 0640 /etc/ceph/ceph.client.nova.keyring
确保安装所需的 rpm 软件包。
[root@osp9 ~(keystone_admin)]# yum list installed python-rbd ceph-common
Loaded plugins: product-id, search-disabled-repos, subscription-manager
Installed Packages
ceph-common.x86_64 1:0.94.5-15.el7cp @rhel-7-server-rhceph-1.3-mon-rpms
python-rbd.x86_64 1:0.94.5-15.el7cp @rhel-7-server-rhceph-1.3-mon-rpms
更新 Ceph 配置。
[root@osp9 ~(keystone_admin)]#vi /etc/ceph/ceph.conf
[client.nova]
keyring = /etc/ceph/ceph.client.nova.keyring
让 KVM 可以访问 Ceph。
[root@osp9 ~(keystone_admin)]# uuidgen |tee /etc/ceph/nova.uuid.txt
在 virsh 中创建一个密钥，这样 KVM 可以访问 Cinder 卷的 Ceph 池。
[root@osp9 ~(keystone_admin)]#vi /etc/ceph/nova.xml
c89c0a90-9648-49eb-b443-c97adb538f23
client.volumes secret
[root@osp9 ~(keystone_admin)]# virsh secret-define --file /etc/ceph/nova.xml
[root@osp9 ~(keystone_admin)]# virsh secret-set-value --secret c89c0a90-9648-49eb-b443-c97adb538f23 --base64 $(cat /etc/ceph/client.nova.key)
备份 Nova 配置。
[root@osp9 ~(keystone_admin)]# cp /etc/nova/nova.conf /etc/nova/nova.conf.orig
更新 Nova 配置以使用 Ceph 后端。
[root@osp9 ~(keystone_admin)]#vi /etc/nova/nova.conf
force_raw_images = True
disk_cachemodes = writeback
[libvirt]
images_type = rbd
images_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_user = nova
rbd_secret_uuid = c89c0a90-9648-49eb-b443-c97adb538f23
重新启动 Nova 服务。
[root@osp9 ~(keystone_admin)]# systemctl restart openstack-nova-compute
列表 Neutron 网络。
[root@osp9 ~(keystone_admin)]# neutron net-list
+--------------------------------------+---------+-----------------------------------------------------+
| id | name | subnets |
+--------------------------------------+---------+-----------------------------------------------------+
| 4683d03d-30fc-4dd1-9b5f-eccd87340e70 | private | ef909061-34ee-4b67-80a9-829ea0a862d0 10.10.1.0/24 |
| 8d35a938-5e4f-46a2-8948-b8c4d752e81e | public | bb2b65e7-ab41-4792-8591-91507784b8d8 192.168.0.0/24 |
+--------------------------------------+---------+-----------------------------------------------------+
启动使用在 Glance 步骤中添加的 Cirros 镜像的临时 VM 实例。
[root@osp9 ~(keystone_admin)]# nova boot --flavor m1.small --nic net-id=4683d03d-30fc-4dd1-9b5f-eccd87340e70 --image='Cirros 0.3.4' cephvm
+--------------------------------------+-----------------------------------------------------+
| Property | Value |
+--------------------------------------+-----------------------------------------------------+
| OS-DCF:diskConfig | MANUAL |
| OS-EXT-AZ:availability_zone | |
| OS-EXT-SRV-ATTR:host | - |
| OS-EXT-SRV-ATTR:hypervisor_hostname | - |
| OS-EXT-SRV-ATTR:instance_name | instance-00000001 |
| OS-EXT-STS:power_state | 0 |
| OS-EXT-STS:task_state | scheduling |
| OS-EXT-STS:vm_state | building |
| OS-SRV-USG:launched_at | - |
| OS-SRV-USG:terminated_at | - |
| accessIPv4 | |
| accessIPv6 | |
| adminPass | wzKrvK3miVJ3 |
| config_drive | |
| created | 2016-09-08T11:41:29Z |
| flavor | m1.small (2) |
| hostId | |
| id | 85c66004-e8c6-497e-b5d3-b949a1666c90 |
| image | Cirros 0.3.4 (a55e9417-67af-43c5-a342-85d2c4c483f7) |
| key_name | - |
| metadata | {} |
| name | cephvm |
| os-extended-volumes:volumes_attached | [] |
| progress | 0 |
| security_groups | default |
| status | BUILD |
| tenant_id | dd6a4ed994d04255a451da66b68a8057 |
| updated | 2016-09-08T11:41:33Z |
| user_id | 783d6e51e611400c80458de5d735897e |
+--------------------------------------+-----------------------------------------------------+
等待直到 VM 处于活动状态。
[root@osp9 ceph(keystone_admin)]# nova list
+--------------------------------------+--------+--------+------------+-------------+---------------------+
| ID | Name | Status | Task State | Power State | Networks |
+--------------------------------------+--------+--------+------------+-------------+---------------------+
| 8ca3e74e-cd52-42a6-acec-13a5b8bda53c | cephvm | ACTIVE | - | Running | private=10.10.1.106 |
+--------------------------------------+--------+--------+------------+-------------+---------------------+
在 Ceph 虚拟机池中列出镜像。我们现在应该看到镜像存储在 Ceph 中。
[ceph@ceph1 ~]$ sudo rbd -p vms ls
8ca3e74e-cd52-42a6-acec-13a5b8bda53c_disk
故障排除
无法删除存储在 CEPH RBD 中的 Glance 镜像。
[root@osp9 ceph(keystone_admin)]# nova image-list
+--------------------------------------+--------------+--------+--------+
| ID | Name | Status | Server |
+--------------------------------------+--------------+--------+--------+
| a55e9417-67af-43c5-a342-85d2c4c483f7 | Cirros 0.3.4 | ACTIVE | |
| 34510bb3-da95-4cb1-8a66-59f572ec0a5d | test123 | ACTIVE | |
| cf56345e-1454-4775-84f6-781912ce242b | test456 | ACTIVE | |
+--------------------------------------+--------------+--------+--------+
[root@osp9 ceph(keystone_admin)]# rbd -p images snap unprotect cf56345e-1454-4775-84f6-781912ce242b@snap
[root@osp9 ceph(keystone_admin)]# rbd -p images snap rm cf56345e-1454-4775-84f6-781912ce242b@snap
[root@osp9 ceph(keystone_admin)]# glance image-delete cf56345e-1454-4775-84f6-781912ce242b
概要
在本文中，我们讨论了 OpenStack 和 Ceph 如何完美地结合在一起。我们讨论了关于 Glance、Cinder 和 Nova 的一些用例。最后，我们完成了将 Ceph 与这些用例集成的步骤。