• 1 目标
• 2 概要介绍
  • 2.1 关于Ceph
  • 2.2 关于Asterfusion CX-N系列超低时延交换机
• 3 存储集群组件介绍
• 4 环境声明与部署前的准备
  • 4.1 服务器系统与集群版本
  • 4.2 节点配置与网络架构
  • 4.3 部署前的网络环境准备
  • 4.4 部署前的系统环境准备
• 5 安装步骤
  • 5.1 单节点部署
  • 5.2 扩容OSD节点
  • 5.3 扩容MON节点
  • 5.4 配置MGR服务
  • 5.5 配置MDS服务
  • 5.6 配置RGW服务
  • 5.7 常用的监控解决方案
• 6 参考资料

1 目标

本文档将简要介绍分布式存储Ceph的基本概念，以及选用Asterfusion CX-N系列超低时延交换机进行组网，部署一个3节点存储集群的具体方法。

2 概要介绍

2.1 关于Ceph

Ceph是一个目前非常流行且应用广泛的SDS（Software Defined Storage）解决方案。Ceph官网上用这句话简明扼要地对其进行定义：“Ceph is a unified, distributed storage system designed for excellent performance, reliability and scalability.” 翻译为中文：“Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。”这句话可以作为理解Ceph系统设计思想和实现机制的基本出发点。在这个定义中，应当特别注意“存储系统”这个概念的两个修饰词，即“统一的”和“分布式的”。

具体而言，“统一的”意味着Ceph可以使用一套存储系统来同时提供对象存储、块存储和文件系统存储三种功能，以便在满足不同应用需求的前提下简化部署和运维。而“分布式的”在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。在实践当中，Ceph可以被部署于上千台服务器上。

2.2 关于Asterfusion CX-N系列超低时延交换机

星融元Asterfusion自主开发的面向数据中心网络的CX-N系列超低时延交换机，可为云数据中心中的高性能计算集群、存储集群、大数据分析、高频交易、Cloud OS全面融合等多业务场景提供高性能的网络服务。

本次验证部署的存储集群，选用了两台CX-N系列CX308P-48Y-N进行组网，这款1U交换机拥有48个25G/10G SFP28光口，8个100GE/40GE QSFP28光口，交换容量高达4.0Tbps。

3 存储集群组件介绍

Ceph集群最初有MON、OSD、MDS、RGW共四个服务组件，从Luminous版开始引入了MGR组件，用于采集和统计集群的各种指标。L版之后开始必须部署MGR组件，不过即使MGR服务停止运行，整个集群的IO还是可以进行的，只是各种指标不会继续更新，并且与其相关的命令行无法响应（例如：ceph status）。

本次部署的Ceph版本为N版，各组件功能说明如下。

• MON：控制器服务，主要维护集群中的各种MAP，同时也提供安全认证服务，是必要组件；
• OSD：对象存储服务，负责处理数据的复制、恢复、回填与再均衡，是必要组件；
• MGR：集群监控服务，负责监控整个集群的各种指标，并对外提供接口，是必要组件；
• MDS：元数据服务，为CFS存储、维护元数据，只在使用CFS时部署，是非必要组件；
• RGW：对象存储网关，对外提供RESTful访问接口，兼容S3与Swift，是非必要组件。

部署一个最小规模的Ceph集群，必须包含1个MON、1个MGR和2个OSD，否则整个集群是不健康的。因为，Monitor的Leader Elect机制要求集群中的MON最好为奇数，在生产环境中官方推荐使用３个MOＮ来提供高可用性。而2个OSD则是为了满足双副本机制，以确保数据的安全性。

4 环境声明与部署前的准备

4.1 服务器系统与集群版本

• CEPH：Nautilus 14.2.9（鹦鹉螺）稳定版；
• 操作系统：Red Hat Enterprise Linux Server 7.6 (Maipo)。

4.2 节点配置与网络架构

集群中3个节点的配置信息如上所示。网络方面按官方推荐，使用管理网（前端）和存储网（后端）两个独立的网络，可以显著提高Ceph集群的性能表现。因此，每台节点上必须配备多块物理网卡（最低两块物理网卡）。

4.3 部署前的网络环境准备

使用25G光纤模块将服务器与管理网、存储网交换机按照图4.2的拓扑连线。对于此次的验证方案，需要两个二层网络，在交换机上电开机后无需其他配置操作，只需要在完成连线后确认各个端口状态为UP且速率协商正常即可。

4.4 部署前的系统环境准备

需要在各个节点上都进行操作，下面的所有配置步骤均以节点node-01为例。

• 禁用SELinux

[root@node-01 ~]# setenforce 0
[root@node-01 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

• 禁用防火墙

[root@node-01 ~]# systemctl stop firewalld
[root@node-01 ~]# systemctl disable firewalld

• 配置IP地址

修改两块网卡的配置文件，如下所示：

[root@node-01 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens192 
TYPE=Ethernet
BOOTPROTO=none
NAME=ens192
DEVICE=ens192
ONBOOT=yes
IPADDR=192.168.2.81
GATEWAY=192.168.2.1
DNS1=223.5.5.5
DNS1=223.6.6.6

[root@node-01 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens224 
TYPE=Ethernet
BOOTPROTO=none
NAME=ens224
DEVICE=ens224
ONBOOT=yes
IPADDR=192.168.20.81
GATEWAY=192.168.20.1

[root@node-01 ~]# systemctl stop NetworkManager
[root@node-01 ~]# systemctl disable NetworkManager

[root@node-01 ~]# systemctl restart network

• 配置主机名

[root@node-01 ~]# hostnamectl set-hostname node-01.open-source.cc
[root@node-01 ~]# cat /etc/hosts
......
# Cluster Node Resolve
192.168.2.81 node-01.open-source.cc node-01
192.168.2.82 node-02.open-source.cc node-02
192.168.2.83 node-03.open-source.cc node-03
......

配置国内YUM源

国内YUM源可选择的非常多，如：阿里、163、中科大、清华等，配置YUM源的具体方法此处不赘述，此处仅列出文档中的所有安装包操作依赖的源，如下所示：

[root@node-01 ~]# ll /etc/yum.repos.d/
total 28
-rw-r--r-- 1 root root 1441 May 19 09:00 CentOS7-Base-163.repo
-rw-r--r-- 1 root root  575 May 20 21:26 ceph.repo
-rw-r--r-- 1 root root  951 Oct  3  2017 epel.repo
-rw-r--r-- 1 root root 1050 Oct  3  2017 epel-testing.repo

5 安装步骤

首先，需要在集群中的所有节点上，安装Ceph软件包及其依赖。

[root@node-01 ~]# yum makecache fast
[root@node-01 ~]# yum install -y ceph ceph-radosgw

5.1 单节点部署

在节点node-01上进行以下操作，以完成单节点部署，后续再进一步介绍集群的扩容操作。

• 生成集群ID

[root@node-01 ~]# uuidgen 
dd3807d6-0850-4080-8638-a47e946986ed

• 创建配置文件

[root@node-01 ~]# touch /etc/ceph/ceph.conf
[root@node-01 ~]# cat /etc/ceph/ceph.conf 
[global]
fsid = dd3807d6-0850-4080-8638-a47e946986ed
mon host = 192.168.2.81
public network = 192.168.2.0/24
cluster network = 192.168.20.0/24
auth cluster required = none
auth service required = none
auth client required = none
osd journal size = 1024
osd pool default size = 2
osd pool default min size = 2
osd pool default pg num = 128
osd pool default pgp num = 128
osd crush chooseleaf type = 1
osd_mkfs_type = xfs
max mds = 5
mds max file size = 100000000000000
mds cache size = 1000000
mon osd down out interval = 900

[mon]
mon clock drift allowed = .50

• 生成monmap文件

[root@node-01 ~]# monmaptool --create --add node-01 192.168.2.81 --fsid <ClusterID> /tmp/monmap

• 准备mon的数据目录

[root@node-01 ~]# sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node-01

• 初始化mon服务

[root@node-01 ~]# sudo -u ceph ceph-mon --mkfs -i node-01 --monmap /tmp/monmap
[root@node-01 ~]# sudo -u ceph touch /var/lib/ceph/mon/ceph-node-01/done

• 启用msgr2协议支持

[root@node-01 ~]# ceph mon enable-msgr2

• 设置mon开机自启

[root@node-01 ~]# systemctl restart ceph-mon@node-01
[root@node-01 ~]# systemctl enable ceph-mon@node-01

• 检查集群健康状态

[root@node-01 ~]# ceph status

• 初始化OSD目录树

[root@node-01 ~]# ceph osd tree

[root@node-01 ~]# ceph osd crush add-bucket node-01 host
[root@node-01 ~]# ceph osd crush add-bucket node-02 host
[root@node-01 ~]# ceph osd crush add-bucket node-03 host

[root@node-01 ~]# ceph osd crush move node-01 root=default
[root@node-01 ~]# ceph osd crush move node-02 root=default
[root@node-01 ~]# ceph osd crush move node-03 root=default

• 添加OSD

[root@node-01 ~]# ceph-volume lvm create --data /dev/sdb
[root@node-01 ~]# ceph-volume lvm create --data /dev/sdc
[root@node-01 ~]# ceph-volume lvm create --data /dev/sdd
[root@node-01 ~]# ceph-volume lvm create --data /dev/sde
[root@node-01 ~]# ceph-volume lvm create --data /dev/sdf

• 设置OSD守护进程自启

[root@node-01 ~]# systemctl restart ceph-osd@0.service
[root@node-01 ~]# systemctl enable ceph-osd@0.service

[root@node-01 ~]# systemctl restart ceph-osd@1.service
[root@node-01 ~]# systemctl enable ceph-osd@1.service

[root@node-01 ~]# systemctl restart ceph-osd@2.service
[root@node-01 ~]# systemctl enable ceph-osd@2.service

[root@node-01 ~]# systemctl restart ceph-osd@3.service
[root@node-01 ~]# systemctl enable ceph-osd@3.service

[root@node-01 ~]# systemctl restart ceph-osd@4.service
[root@node-01 ~]# systemctl enable ceph-osd@4.service

5.2 扩容OSD节点

• 在Node-02上添加OSD

[root@node-02 ~]# ceph-volume lvm create --data /dev/sdb
[root@node-02 ~]# ceph-volume lvm create --data /dev/sdc
[root@node-02 ~]# ceph-volume lvm create --data /dev/sdd
[root@node-02 ~]# ceph-volume lvm create --data /dev/sde
[root@node-02 ~]# ceph-volume lvm create --data /dev/sdf

[root@node-02 ~]# ceph-volume lvm list

[root@node-02 ~]# systemctl restart ceph-osd@5.service
[root@node-02 ~]# systemctl enable ceph-osd@5.service

[root@node-02 ~]# systemctl restart ceph-osd@6.service
[root@node-02 ~]# systemctl enable ceph-osd@6.service

[root@node-02 ~]# systemctl restart ceph-osd@7.service
[root@node-02 ~]# systemctl enable ceph-osd@7.service

[root@node-02 ~]# systemctl restart ceph-osd@8.service
[root@node-02 ~]# systemctl enable ceph-osd@8.service

[root@node-02 ~]# systemctl restart ceph-osd@9.service
[root@node-02 ~]# systemctl enable ceph-osd@9.service

• 在Node-03上添加OSD

[root@node-03 ~]# ceph-volume lvm create --data /dev/sdb
[root@node-03 ~]# ceph-volume lvm create --data /dev/sdc
[root@node-03 ~]# ceph-volume lvm create --data /dev/sdd
[root@node-03 ~]# ceph-volume lvm create --data /dev/sde
[root@node-03 ~]# ceph-volume lvm create --data /dev/sdf

[root@node-03 ~]# ceph-volume lvm list

[root@node-03 ~]# systemctl restart ceph-osd@10.service
[root@node-03 ~]# systemctl enable ceph-osd@10.service

[root@node-03 ~]# systemctl restart ceph-osd@11.service
[root@node-03 ~]# systemctl enable ceph-osd@11.service

[root@node-03 ~]# systemctl restart ceph-osd@12.service
[root@node-03 ~]# systemctl enable ceph-osd@12.service

[root@node-03 ~]# systemctl restart ceph-osd@13.service
[root@node-03 ~]# systemctl enable ceph-osd@13.service

[root@node-03 ~]# systemctl restart ceph-osd@14.service
[root@node-03 ~]# systemctl enable ceph-osd@14.service

5.3 扩容MON节点

• 同步配置文件

在Node-01：

[root@node-01 ~]# scp /etc/ceph/ceph.conf node-02:/etc/ceph
[root@node-01 ~]# scp /etc/ceph/ceph.conf node-03:/etc/ceph

• 创建mon数据目录

在Node-02：

[root@node-02 ~]# sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node-02

在Node-03：

[root@node-03 ~]# sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node-03

• 同步monmap文件

在Node-01：

[root@node-01 ~]# ceph mon getmap -o /tmp/ceph.mon.map
[root@node-01 ~]# scp /tmp/ceph.mon.map node-02:/tmp/
[root@node-01 ~]# scp /tmp/ceph.mon.map node-03:/tmp/

• 初始化mon服务

在Node-02：

[root@node-02 ~]# sudo -u ceph ceph-mon --mkfs -i node-02 --monmap /tmp/monmap
[root@node-02 ~]# sudo -u ceph touch /var/lib/ceph/mon/ceph-node-02/done

在Node-03：

[root@node-03 ~]# sudo -u ceph ceph-mon --mkfs -i node-03 --monmap /tmp/monmap
[root@node-03 ~]# sudo -u ceph touch /var/lib/ceph/mon/ceph-node-03/done

• 将新mon加入集群

在Node-01：

[root@node-01 ~]# ceph mon add node-02 192.168.2.82
[root@node-01 ~]# ceph mon add node-03 192.168.2.83

• 设置mon守护进程自启

在Node-02：

[root@node-02 ~]# systemctl restart ceph-mon@node-02
[root@node-02 ~]# systemctl enable ceph-mon@node-02

在Node-03：

[root@node-03 ~]# systemctl restart ceph-mon@node-03
[root@node-03 ~]# systemctl enable ceph-mon@node-03

• 检查集群状态：

[root@node-01 ~]# ceph status

5.4 配置MGR服务

• 准备MGR服务目录

在Node-01：

[root@node-01 ~]# sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-node-01

在Node-02：

[root@node-02 ~]# sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-node-02

在Node-03：

[root@node-03 ~]# sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-node-03

• 启动MGR服务，设置开机自启

在Node-01：

[root@node-01 ~]# systemctl restart ceph-mgr@node-01.service
[root@node-01 ~]# systemctl enable ceph-mgr@node-01.service

在Node-02：

[root@node-02 ~]# systemctl restart ceph-mgr@node-02.service
[root@node-02 ~]# systemctl enable ceph-mgr@node-02.service

在Node-03：

[root@node-03 ~]# systemctl restart ceph-mgr@node-03.service
[root@node-03 ~]# systemctl enable ceph-mgr@node-03.service

5.5 配置MDS服务

• 准备MDS服务目录

在Node-01：

[root@node-01 ~]# sudo -u ceph mkdir /var/lib/ceph/mds/ceph-node-01

在Node-02：

[root@node-02 ~]# sudo -u ceph mkdir /var/lib/ceph/mds/ceph-node-02

在Node-03：

[root@node-03 ~]# sudo -u ceph mkdir /var/lib/ceph/mds/ceph-node-03

• 修改配置文件，追加配置项

在Node-01：

[root@node-01 ~]# cat /etc/ceph/ceph.conf
……
[mds.node-01]
host = 192.168.2.81

[mds.node-02]
host = 192.168.2.82

[mds.node-03]
host = 192.168.2.83

• 同步配置文件到各个存储集群节点

在Node-01：

[root@node-01 ~]# scp /etc/ceph/ceph.conf node-02:/etc/ceph
[root@node-01 ~]# scp /etc/ceph/ceph.conf node-03:/etc/ceph

• 启动MDS服务，设置开机自启

在Node-01：

[root@node-01 ~]# systemctl restart ceph-mds@node-01
[root@node-01 ~]# systemctl enable ceph-mds@node-01

在Node-02：

[root@node-02 ~]# systemctl restart ceph-mds@node-02
[root@node-02 ~]# systemctl enable ceph-mds@node-02

在Node-03：

[root@node-03 ~]# systemctl restart ceph-mds@node-03
[root@node-03 ~]# systemctl enable ceph-mds@node-03

• 创建文件系统的存储池

在Node-01：

[root@node-01 ~]# ceph osd pool create CFS_Data 128
[root@node-01 ~]# ceph osd pool create CFS_Metadata 128
[root@node-01 ~]# ceph fs new CFS CFS_Metadata CFS_Data

[root@node-01 ~]# ceph fs ls
name: CFS, metadata pool: CFS_Metadata, data pools: [CFS_Data ]

[root@node-01 ~]# ceph mds stat
CFS:1 {0=node-02=up:active} 2 up:standby

• 文件系统的挂载与使用

在客户端（Node-00）测试：

[root@node-00 ~]# yum install -y ceph-fuse
[root@node-00 ~]# mkdir /mnt/ceph_fs
[root@node-00 ~]# ceph-fuse -m 192.168.2.81:6789 /mnt/ceph_fs/
[root@node-00 ~]# df -h
Filesystem             Size  Used Avail Use% Mounted on
/dev/mapper/rhel-root   50G   11G   40G  21% /
devtmpfs               7.8G     0  7.8G   0% /dev
tmpfs                  7.8G     0  7.8G   0% /dev/shm
tmpfs                  7.8G   18M  7.8G   1% /run
tmpfs                  7.8G     0  7.8G   0% /sys/fs/cgroup
/dev/sda1             1014M  146M  869M  15% /boot
/dev/mapper/rhel-home  146G   33M  146G   1% /home
tmpfs                  1.6G     0  1.6G   0% /run/user/0
ceph-fuse              1.4T     0  1.4T   0% /mnt/ceph_fs
[root@node-00 ~]# cd /mnt/ceph_fs
[root@node-00 ceph_fs]# touch ce.file 
[root@node-00 ceph_fs]# ll
total 0
-rw-r--r--  1 root root   0 Feb 22 10:57 ce.file

5.6 配置RGW服务

• 对象存储服务简介

RGW是Ceph集群的对象存储网关，也称Rados网关，它使客户端能够利用标准对象存储API来访问存储集群，它支持S3和Swift API。

通过对象存储，将数据存储为对象，每个对象除了包含数据，还包含数据自身的元数据。对象通过Object ID来检索，无法通过普通文件系统操作来直接访问对象，只能通过API来访问，或者第三方客户端（实际上也是对API的封装）。对象存储中的一个个对象不是整理到目录树中，而是存储在扁平的命名空间中，Amazon S3将这个扁平命名空间称为Bucket，而Swift则将其称为容器。无论是Bucket还是容器都不能嵌套，且Bucket需要被授权才能访问到。一个帐户可以获取多个Bucket的授权，而且不同Bucket的权限是互不干扰、分别制定的。

• 内置网关前端CivetWEB的配置

在所有节点的配置文件中，追加以下配置信息：

[root@node-01 ~]# cat /etc/ceph/ceph.conf
……
[client.rgw.node-01]
host = node-01
log file = /var/log/radosgw/client.radosgw.gateway.log
rgw_s3_auth_use_keystone = False
rgw_frontends = civetweb port = 8080

[client.rgw.node-02]
host = node-02
log file = /var/log/radosgw/client.radosgw.gateway.log
rgw_s3_auth_use_keystone = False
rgw_frontends = civetweb port = 8080

[client.rgw.node-03]
host = node-03
log file = /var/log/radosgw/client.radosgw.gateway.log
rgw_s3_auth_use_keystone = False
rgw_frontends = civetweb port = 8080

• 创建对象存储服务的存储资源池

编写脚本，在Node-01上创建对象存储服务所需的存储资源池：

[root@node-01 ~]# cat rgwPools.txt 
.rgw
.rgw.root
.rgw.control
.rgw.gc
.rgw.buckets
.rgw.buckets.index
.rgw.buckets.extra
.log
.intent-log
.usage
.users
.users.email
.users.swift
.users.uid

[root@node-01 ~]# cat createPool.sh 
#!/bin/bash
PG_NUM=32
PGP_NUM=32
SIZE=2
for i in `cat /root/rgwPools.txt`
do
  ceph osd pool create $i $PG_NUM $PGP_NUM 
done

[root@node-01 ~]# bash createPool.sh

• 创建日志文件目录

在Node-01：

[root@node-01 ~]# mkdir /var/log/radosgw/
[root@node-01 ~]# chown ceph:ceph /var/log/radosgw/

在Node-02：

[root@node-02 ~]# mkdir /var/log/radosgw/
[root@node-02 ~]# chown ceph:ceph /var/log/radosgw/

在Node-03：

[root@node-03 ~]# mkdir /var/log/radosgw/
[root@node-03 ~]# chown ceph:ceph /var/log/radosgw/

• 启动并设置RGW守护进程自启

在Node-01：

[root@node-01 ~]# systemctl restart ceph-radosgw@rgw.node-01
[root@node-01 ~]# systemctl enable ceph-radosgw@rgw.node-01

在Node-02：

[root@node-02 ~]# systemctl restart ceph-radosgw@rgw.node-02
[root@node-02 ~]# systemctl enable ceph-radosgw@rgw.node-02

在Node-03：

[root@node-03 ~]# systemctl restart ceph-radosgw@rgw.node-03
[root@node-03 ~]# systemctl enable ceph-radosgw@rgw.node-03

• 测试RGW服务状态

确认所有节点上的RGW服务状态正常，端口监听状态正常（以Node-01为例）：

[root@node-01 ~]# systemctl status ceph-radosgw@rgw.node-01
[root@node-01 ~]# netstat -ntlp | grep 8080
tcp    0    0 0.0.0.0:8080         0.0.0.0:*               LISTEN      7889/radosgw

• 使用S3CMD连接验证对象存储服务

创建用户：

[root@node-01 ~]# radosgw-admin user create --uid="admin" --display-name="admin"

获取Access Key ID和Secret Access Key：

[root@node-01 ~]# radosgw-admin user info --uid="admin"

配置S3CMD：

[root@node-01 ~]# s3cmd –configure #进入交互配置模式

查看所有Bucket：

[root@node-01 ~]# s3cmd ls

创建Bucket：

[root@node-01 ~]# s3cmd mb s3://nextcloud-bucket

删除Bucket：

[root@node-01 ~]# s3cmd rb s3://nextcloud-bucket

查看Bucket中的文件：

[root@node-01 ~]# s3cmd ls s3://nextcloud-bucket/

上传文件到Bucket中：

[root@node-01 ~]# s3cmd put ./Bigfile s3://nextcloud-bucket/Bigfile

从Bucket中下载文件：

[root@node-01 ~]# s3cmd get s3://nextcloud-bucket/Bigfile

5.7 常用的监控解决方案

• Ceph-Dash

此监控解决方案是一个开源项目，使用Python Flask框架开发，界面干净、简单、整洁，风格让人感到非常舒服。虽然呈现的内容不多，只是将ceph status命令的输出进行了可视化，但是简单的开发框架和界面结构，使得它有二次开发的余地，且便于上手学习。

选择一个 MON 节点部署，或者在所有 MON 节点部署均可：

[root@node-01 ~]# git clone https://github.com/Crapworks/ceph-dash.git
[root@node-01 ~]# pip2 install --upgrade pip
[root@node-01 ~]# pip2 install flask
[root@node-01 ~]# pip2 install rados
[root@node-01 ~]# mv ceph-dash/ /opt/
[root@node-01 ~]# nohup python /opt/ceph-dash/ceph-dash.py > /var/log/ceph/dashboard.log &

启动成功后，监控界面如下图所示：

• MGR Dashboard

在集群中的所有MGR节点上安装相应的软件包：

[root@node-01 ~]# yum install -y ceph-mgr-dashboard

在集群中的任意MON节点上，开启Dashboard模块：

[root@node-01 ~]# ceph mgr module enable dashboard

Web端配置自签名证书、设置用户名密码：

[root@node-01 ~]# ceph dashboard create-self-signed-cert
Self-signed certificate created

[root@node-01 ~]# ceph dashboard set-login-credentials admin admin
Username and password updated

[root@node-01 ~]# ceph mgr services
{
    "dashboard": "https://node-02.open-source.cc:8443/"
}

按照提示的地址，使用设置的用户名密码进行登录，界面如下：

6 参考资料

【1】 Ceph 浅析系列文章（开源技术专家章宇著）
【2】 Ceph 国内社区中文文档
【3】 Ceph 官网的Document
【4】 Ceph 读写性能估算方法

如有其它问题，请填写右侧需求表单联系我们。www.asterfusion.com

• 1 目标
• 2 Ceph简介
• 3 OpenStack简介
• 4 OpenStack集成Ceph做存储后端的优势
• 5 实验环境
  • 5.1 系统与软件版本
  • 5.2 节点配置与部署架构
• 6 集成步骤
  • 6.1 创建所需存储池
  • 6.2 配置Ceph客户端
  • 6.3 配置Glance使用Ceph RBD
  • 6.4 配置Cinder使用Ceph RBD
  • 6.5 配置Nova使用Ceph RBD
  • 6.6 重启OpenStack服务使生效
• 7 结果验证

1 目标

       本文档使用Stein版OpenStack开源云平台与Nautilus版Ceph存储集群，实现OpenStack与Ceph的集成。

2 Ceph简介

Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(RDB)、对象存储服务(RGW)以及文件系统存储服务(CephFS)。目前也是OpenStack的主流后端存储，为OpenStack提供统一共享的存储服务。

Ceph的整体架构如下图所示：

3 OpenStack简介

OpenStack是一个开源的云计算管理平台项目，是一系列软件开源项目的组合，而不是一个软件。由NASA（美国国家航空航天局）和Rackspace合作研发，以Apache许可证（Apache软件基金会发布的一个自由软件许可证）进行开源授权。我们可以使用OpenStack来管理一个数据中心的大量硬件资源，起初它主要有计算、存储、网络三大子项目，面向IaaS服务。发展至今，整个生态已经涉及到PaaS服务、SaaS服务和FaaS服务等层面。

OpenStack项目的整体框架如下图所示：

4 OpenStack集成Ceph做存储后端的优势

使用Ceph作为OpenStack后端存储，具有如下优点：

1. 计算节点共享存储，可以保证实例运行时的健壮性，也可以实现各节点间实例的快速迁移；
2. 统一平台提供多种类型存储，减轻部署复杂度与工作量，可在运行时灵活扩展；
3. 利用COW特性，从而可以实现云平台秒级创建实例；

5 实验环境

5.1 系统与软件版本

• CEPH：Nautilus 14.2.9（鹦鹉螺）稳定版；
• OpenStack：Stein (April 2019)；
• 操作系统：Red Hat Enterprise Linux Server 7.6 (Maipo)；

5.2 节点配置与部署架构

本次实验共使用了4台节点，OpenStack与Ceph已经提前部署完成，为节省资源进行了角色融合。其中，node-01、node-02、node-03为3个节点的N版Ceph存储集群，同时也是OpenStack的计算节点。在部署OpenStack时，考虑到现有3个节点的承载能力，新加入一台节点node-00作为OpenStack的云控节点。

各节点的配置与角色设置如下表所示：

表5-1：节点配置与角色

部署架构如下图所示：

6 集成步骤

6.1 创建所需存储池

• 为OpenStack创建所需的RBD存储池：

[root@node-01 ~]# ceph osd pool create volumes
[root@node-01 ~]# ceph osd pool create images
[root@node-01 ~]# ceph osd pool create vms

• 初始化RBD存储池：

[root@node-01 ~]# rbd pool init volumes
[root@node-01 ~]# rbd pool init images
[root@node-01 ~]# rbd pool init vms

• 设置存储池类型：

[root@node-01 ~]# ceph osd pool application enable volumes rbd
[root@node-01 ~]# ceph osd pool application enable images rbd
[root@node-01 ~]# ceph osd pool application enable vms rbd

• 检查存储池创建结果：

[root@node-01 ~]# ceph osd pool ls
.rgw
.rgw.root
.rgw.control
.rgw.gc
.rgw.buckets
.rgw.buckets.index
.rgw.buckets.extra
.log
.intent-log
.usage
.users
.users.email
.users.swift
.users.uid
default.rgw.control
default.rgw.meta
default.rgw.log
default.rgw.buckets.index
default.rgw.buckets.data
default.rgw.buckets.non-ec
volumes
images
vms
CFS_Data
CFS_Metadata

6.2 配置Ceph客户端

• 导出Ceph配置文件到OpenStack中的所有节点，对于本文档，仅需导出至云控节点（node-00）：

[root@node-00 ~]# mkdir /etc/ceph/
[root@node-00 ~]# scp node-01:/etc/ceph/ceph.conf /etc/ceph/

• 在云控节点上（node-00）：

[root@node-00 ~]# yum install python-rbd
[root@node-00 ~]# yum install ceph-common

6.3 配置Glance使用Ceph RBD

• 在Glance的控制节点中（node-00），修改 /etc/glance/glance-api.conf 配置文件：

[DEFAULT]
……
show_image_direct_url = True
show_multiple_locations = True
......
[glance_store]
stores = rbd,file
filesystem_store_datadir = /var/lib/glance/images
default_store = rbd
rbd_store_pool = images
rbd_store_user = admin
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8

6.4 配置Cinder使用Ceph RBD

• 在所有存储节点中（node-00、node-01、node-02、node-03），修改 /etc/cinder/cinder.conf 配置文件：

[DEFAULT]
……
enabled_backends = ceph
glance_api_version = 2
……
[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
volume_backend_name = ceph
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4

6.5 配置Nova使用Ceph RBD

• 在所有计算节点中，向配置文件/etc/nova/nova.conf中增加如下部分：

[libvirt]
images_type = rbd
images_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
disk_cachemodes="network=writeback"
inject_password = false
inject_key = false
inject_partition = -2

6.6 重启OpenStack服务使生效

• 在云控节点中（node-00）：

[root@node-00 ~]# systemctl restart openstack-glance-api.service

• 在各个计算/存储节点中（node-01/node-02/node-03）：

[root@node-01 ~]# systemctl restart openstack-nova-compute.service
[root@node-01 ~]# systemctl restart openstack-cinder-volume.service
[root@node-02 ~]# systemctl restart openstack-nova-compute.service
[root@node-02 ~]# systemctl restart openstack-cinder-volume.service
[root@node-03 ~]# systemctl restart openstack-nova-compute.service
[root@node-03 ~]# systemctl restart openstack-cinder-volume.service

7 结果验证

• Glance：

[root@node-00 ~]# rbd ls images
……
75978fcd-1f18-477b-8ce4-9ce7ac47b353

• Cinder：

[root@node-00 ~]# rbd ls volumes
……
volume-62bc9247-8f4a-4604-990c-10c42c9ee48e

• Nova：

[root@node-00 ~]# rbd ls volumes
……
volume-c0387940-3bd9-47c5-942f-38e287722bfb

8 参考资料

【1】 官方文档：BLOCK DEVICES AND OPENSTACK
【2】 Glance&Cinder集成Ceph
【3】 Nova集成Ceph

如有其它问题，请填写右侧需求表单联系我们。www.asterfusion.com

• 1 目标与物理网络拓扑
• 2 硬件与软件环境
• 3 Magnum简介
• 4 安装步骤
  • 4.1 创建数据库
  • 4.2 创建openstack用户、服务凭据、API端点
  • 4.3 在controller节点上安装magnum服务
  • 4.4 在controller节点上安装magnum-ui服务
• 5 结果验证
• 6 参考资料

1 目标与物理网络拓扑

本文主要描述在现有OpenStack（stein版）平台上如何扩展安装Magnum功能组件，实现容器管理服务。
涉及物理拓扑，如图1所示：

部署过程中所涉及到的设备、接口及管理网口的IP地址如下表所示：

表1：设备管理口列表

2 硬件与软件环境

部署环境中涉及到的硬件和软件如表2和表3所示：

表2：硬件环境

表3：软件环境

3 Magnum简介

Magnum项目是OpenStack中的容器编排服务引擎，向上提供统一API，向下异构兼容K8S，Mesos，Swarm等容器管理平台，是OpenStack与容器结合的官方正式项目

Magnum使用Heat部署一个包含Docker和Kubernetes的操作系统镜像，让容器集群运行在虚拟机（Virtual Machine）或者裸机（Bare Metal）中。

Magnum 由三个代码库组成：

• Magnum: http://git.openstack.org/cgit/openstack/magnum
• Python-magnumclient: http://git.openstack.org/cgit/openstack/python-magnumclient
• Magnum-ui: http://git.openstack.org/cgit/openstack/magnum-ui

Magnum主要提供两个服务：

• Magnum API 和 Magnum Conductor。
• Magnum API是提供资源的Rest接口。

Magnum Conductor是整个项目的核心，首先通过Heat部署虚拟机实例或者裸机实例上，然后通过Cloud init在虚拟机实例或者裸机实例上，调用Kubernetes、Swarm或者Mesos部署容器集群。

Python-magnumclient封装Magnum Rest API向外提供Magnum的接口调用，同时提供CLI功能。

Magnum-ui提供一个Horizon的插件，使用Django和AngularJS实现Magnum的界面操作。

下面是Magnum的整体架构：

主要概念：

• Bay：Bay在magnum主要表示一个集群，新版改为Cluster，现在通过Magnum可以创建K8s和Swarm的Bay，也就是K8s和Swarm的集群。
• Baymodel：Baymodel是Flavor的一个扩展，新版改为Cluster Template，Flavor主要是定义虚拟机或者物理机的规格，Baymodel主要是定义一个Docker集群的一些规格，例如这个集群的管理节点的Flavor，计算节点的Flavor，集群使用的Image等等，都可以通过Baymodel去定义。
• Node：主要是指Bay中的某个节点。
• Container：就是具体的某个Docker容器。

Pod、Replication Controller和Service的意思和在K8s的意思是一样的。

• Pod：是Kubernetes最基本的部署调度单元，可以包含多个Container，逻辑上表示某种应用的一个实例。比如一个Web站点应用由前端、后端及数据库构建而成，这三个组件将运行在各自的容器中，那么我们可以创建包含三Pod，每个Pod运行一个服务。或者也可以将三个服务创建在一个Pod，这个取决于用户的应用需求。一个Pod会包含N个Container，多出来的那一个Container是Net Container，专门做路由的。
• Service：可以理解为是Pod的一个路由，因为Pod在运行中可能被删除或者IP发生变化，Service可以保证Pod的动态变化对访问端是透明的。
• Replication Controller：是Pod的复制抽象，用于解决Pod的扩容缩容问题。通常，分布式应用为了性能或高可用性的考虑，需要复制多份资源，并且根据负载情况动态伸缩。通过Replication Controller，我们可以指定一个应用需要几份复制，Kubernetes将为每份复制创建一个Pod，并且保证实际运行Pod数量总是与预先定义的数量是一致的(例如，当前某个Pod宕机时，自动创建新的Pod来替换)。

简单总结：Magnum自身作为一套 API 框架，本身调用其它的容器管理平台的 API 来实现功能。目前支持的后端包括 Kubernetes、Swarm和Mesos。

如果说 Nova 是一套支持不同 Hypervisor 虚拟机平台的API 框架，那么 Magnum 则是支持不同容器机制的 API 框架。

4 安装步骤

[root@controller ~] 表示在控制节点上执行

[root@compute ~] 表示在计算节点上执行

4.1 创建数据库

• 创建数据库并授权：

[root@controller ~]# mysql -uroot -p
MariaDB [(none)]> CREATE DATABASE magnum;
MariaDB [(none)]> GRANT ALL PRIVILEGES ON magnum.* TO magnum@'localhost' \
  IDENTIFIED BY 'magnum';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON magnum.* TO magnum@'%' \
  IDENTIFIED BY 'magnum';

注：帐号密码根据自己的情况修改

4.2 创建openstack用户、服务凭据、API端点

• 在安装和配置Magnum之前，必须创建用户、服务凭据和API端点：

[root@controller ~]# . admin-openrc
[root@controller ~]# openstack user create --domain default --password-prompt magnum
[root@controller ~]# openstack role add --project service --user magnum admin
[root@controller ~]#openstack service create --name magnum \
  --description "OpenStack Container Infrastructure Management Service" \
  container-infra
[root@controller ~]#openstack endpoint create --region RegionOne \
  container-infra public http://controller:9511/v1
[root@controller ~]#openstack endpoint create --region RegionOne \
  container-infra internal http://controller:9511/v1
[root@controller ~]#openstack endpoint create --region RegionOne \
  container-infra admin http://controller:9511/v1

• Magnum需要身份服务中的其他信息来管理COE群集

创建 magnum域

[root@controller ~]# openstack domain create --description "Owns users and projects \
  created by magnum" magnum

在magnum域中创建magnum_domain_admin用户

[root@controller ~]# openstack user create --domain magnum --password-prompt \
  magnum_domain_admin

添加admin角色到 magnum域 中的magnum_domain_admin用户

[root@controller ~]# openstack role add --domain magnum --user-domain magnum --user \
  magnum_domain_admin admin

4.3 在controller节点上安装magnum服务

• 创建用户、组：

[root@controller ~]#groupadd --system magnum
[root@controller ~]#useradd --home-dir "/var/lib/magnum" \
      --create-home \
      --system \
      --shell /bin/false \
      -g magnum \
      magnum

• 创建目录：

[root@controller ~]#mkdir -p /var/log/magnum
[root@controller ~]#mkdir -p /etc/magnum
[root@controller ~]#chown magnum:magnum /var/log/magnum
[root@controller ~]#chown magnum:magnum /var/lib/magnum
[root@controller ~]#chown magnum:magnum /etc/magnum

• 安装软件包：

[root@controller ~]#yum install openstack-magnum-api openstack-magnum-conductor  \
python-magnumclient

• 编辑配置文件：

[root@controller ~]#vi /etc/magnum/magnum.conf
[DEFAULT]
transport_url = rabbit://openstack:tera123@controller
log_dir = /var/log/magnum
[api]
host = 192.168.4.144
port = 9511
[certificates]
#生产环境建议用barbican,如果没有安装barbican则使用x509keypair
#cert_manager_type = barbican
cert_manager_type = x509keypair
[cinder_client]
region_name = RegionOne
[database]
connection = mysql+pymysql:://magnum:magnum@controller/magnum
[keystone_authtoken]
memcached_servers = controller:11211
auth_version = v3
www_authenticate_uri = http://controller:5000/v3
project_domain_id = default
project_name = service
user_domain_id = default
password = magnum
username = magnum
auth_url = http://controller:5000
auth_type = password
admin_user = magnum
admin_password = magnum
admin_tenant_name = service
[trust]
trustee_domain_name = magnum
trustee_domain_admin_name = magnum_domain_admin
trustee_domain_admin_password = magnum_domain_admin
# trustee_keystone_interface with either public or internal 取决于网络配置 默认public
trustee_keystone_interface = public
[oslo_messaging_notifications]
driver = messaging
[oslo_concurrency]
lock_path = /var/lib/magnum/tmp

• 填充数据库：

[root@controller ~]#su -s /bin/sh -c "magnum-db-manage upgrade" magnum

• 启动服务：

[root@controller ~]# systemctl enable openstack-magnum-api.service \
  openstack-magnum-conductor.service
[root@controller ~]# systemctl start openstack-magnum-api.service \
  openstack-magnum-conductor.service

4.4 在controller节点上安装magnum-ui服务

• 安装magnum-ui：

[root@controller ~]#pip install magnum-ui==5.0.1

• 复制文件：

[root@controller ~]#cd /usr/lib/python2.7/site-packages/magnum_ui
[root@controller ~]#cp enabled/*  \
 /usr/share/openstack-dashboard/openstack_dashboard/local/enabled/

• 重启服务：

[root@controller ~]#systemctl restart httpd memcached

5 结果验证

在controller节点列出magnum服务

• 列出服务

[root@controller ~]#source admin-openrc
[root@controller ~]#openstack coe service list

• 启动实例

(1)创建一个外部网络

[root@controller ~]#openstack network create public --provider-network-type vxlan \
                                  --external \
                                  --project service
[root@controller ~]#openstack subnet create public-subnet --network public \
                                  --subnet-range 192.168.5.0/24 \
                                  --gateway 192.168.5.1 \
                                  --ip-version 4

(2)创建一个密钥对

[root@controller ~]#openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey

(3)创建一个卷类型

[root@controller ~]#openstack volume type create volumnType1

(4)上传集群必须的镜像

VM版本的Kubernetes和Docker Swarm驱动程序需要Fedora Atomic映像。以下是由Atomic团队构建并经过Magnum团队测试的Fedora Atomic原始图像。

a. 先下载镜像

[root@controller ~]#wget https://download.fedoraproject.org/pub/alt/atomic/stable/Fedora-Atomic-27-20180419.0/CloudImages/x86_64/images/Fedora-Atomic-27-20180419.0.x86_64.qcow2

b. 注册镜像到镜像服务并将os_distro 属性设为fedora-atomic

[root@controller ~]#openstack image create \
                      --disk-format=qcow2 \
                      --container-format=bare \
                      --file=Fedora-Atomic-27-20180419.0.x86_64.qcow2\
                      --property os_distro='fedora-atomic' \
                      fedora-atomic-latest

(5)设置Docker Swarm集群并且创建容器

a. 使用fedora-atomic-latest镜像为Docker Swarm集群创建集群模板：

[root@controller ~]#openstack coe cluster template create swarm-cluster-template \
                     --image fedora-atomic-latest \
                     --external-network public \
                     --dns-nameserver 8.8.8.8 \
                     --master-flavor m1.small \
                     --flavor m1.small \
                     --coe swarm

b. 使用一个master和一个node创建一个集群：

[root@controller ~]# openstack coe cluster create swarm-cluster \
                        --cluster-template swarm-cluster-template \
                        --master-count 1 \
                        --node-count 1 \
                        --keypair mykey  \
                        --labels docker_volume_type=volumnType1

c. 检查创建的集群状态

[root@controller ~]# openstack coe cluster list
[root@controller ~]#openstack coe cluster show swarm-cluster

d.将集群验证凭据添加到环境变量里：

[root@controller ~]#mkdir myclusterconfig
[root@controller ~]#$(openstack coe cluster config swarm-cluster --dir myclusterconfig)

上面的命令会将身份验证工件保存在 myclusterconfig目录中，导出环境以下变量：DOCKER_HOST，DOCKER_CERT_PATH和DOCKER_TLS_VERIFY

[root@controller ~]#export DOCKER_HOST=tcp://172.24.4.10:2376
[root@controller ~]#export DOCKER_CERT_PATH=myclusterconfig
[root@controller ~]#export DOCKER_TLS_VERIFY=True

e. 创建一个容器：

[root@controller ~]#docker run busybox echo "Hello from Docker!"

f. 删除集群

[root@controller ~]# openstack coe cluster delete swarm-cluster

(6)设置Kubernetes集群并且创建部署

本示列中，将会使用一个master和一个node创建一个k8s集群，然后用k8s原生命令kubectl来创建一个部署

a. 使用fedora-atomic-latest镜像为kubernetes集群创建集群模板：

[root@controller ~]# openstack coe cluster template create kubernetes-cluster-template \
                     --image fedora-atomic-latest \
                     --external-network public \
                     --dns-nameserver 8.8.8.8 \
--docker-volume-size=5  \
                     --master-flavor m1.small \
                     --flavor m1.small \
                     --coe kubernetes

b. 使用一个master和一个node创建一个集群：

[root@controller ~]# openstack coe cluster create kubernetes-cluster \
                        --cluster-template kubernetes-cluster-template \
                        --master-count 1 \
                        --node-count 1 \
                        --keypair mykey \
                        --labels docker_volume_type=volumnType1

c. 检查创建的集群状态

[root@controller ~]# openstack coe cluster list
[root@controller ~]#openstack coe cluster show kubernetes-cluster

d. 将集群验证凭据添加到环境变量里：

[root@controller ~]# mkdir -p ~/clusters/kubernetes-cluster
[root@controller ~]# $(openstack coe cluster config kubernetes-cluster --dir ~/clusters/kubernetes-cluster)

上面的命令会将身份验证工件保存在~/clusters/kubernetes-clusterg目录中，导出环境以下变量：KUBECONFIG

[root@controller ~]# export KUBECONFIG=/home/user/clusters/kubernetes-cluster/config

e. 检查k8s集群的控制器组件：

[root@controller ~]# kubectl -n kube-system get po

f. 验证部署一个nginx：

[root@controller ~]# kubectl run nginx --image=nginx --replicas=5
deployment "nginx" created
[root@controller ~]#kubectl get po

g. 删除集群：

[root@controller ~]#openstack coe cluster delete kubernetes-cluster

6 参考资料

https://wiki.openstack.org/wiki/Magnum
https://docs.openstack.org/magnum/latest/install/install.html
https://docs.openstack.org/python-magnumclient/latest/
https://docs.openstack.org/magnum-ui/latest/
https://releases.openstack.org/teams/magnum.html
https://docs.openstack.org/magnum/latest/admin/troubleshooting-guide.html

如有其它问题，请填写右侧需求表单联系我们。www.asterfusion.com