Ceph RGW对象存储

对象存储概述

对象是对象存储系统中数据存储的基本单位,每个Object是数据和数据属性集的综合体,数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等每个对象自我维护其属性,从而简化了存储系统的管理任务对象的大小可以不同,甚至可以包含整个数据结构,如文件、数据库表项等对象存储系统一般是一类智能设备,它具有自己的存储介质、处理器、内存以及网络系统等,负责管理本地的对象,是对象存储系统的核心

  • 对象存储(Object Storage)是无层次结构的数据存储方法,通常用于云计算环境中
  • 不同于其他数据存储方法,基于对象的存储不使用目录树
    • 数据作为单独的对象进行存储
    • 数据并不放置在目录层次结构中,而是存在于平面地址空间内的同一级别
    • 应用通过唯一地址来识别每个单独的数据对象
    • 每个对象可包含有助于检索的元数据
    • 专为使用API在应用级别(而非用户级别)进行访问而设计

基本概念

虽然在设计与实现上有所区别,但大多数对象存储系统对外呈现的核心资源类型大同小异

  • Amazon S3:提供了user、bucket和object分别表示用户、存储桶和对象,其中bucket隶属于user,因此user名称即可做为bucket的名称空间,不同用户允许使用相同名称的bucket

  • OpenStack Swift:提供了user、container和object分别对应于用户、存储桶和对象,不过它还额外为user提供了父级组件account,用于表示一个项目或租户,因此一个account中可包含一到多个user,它们可共享使用同一组container,并为container提供名称空间

  • RadosGW:提供了user、subuser、bucket和object,其中的user对应于S3的user,而subuser则对应于Swift的user,不过user和subuser都不支持为bucket提供名称空间,因此,不同用户的存储桶也不允许同名;不过,自Jewel版本起,RadosGW引入了tenant(租户)用于为user和bucket提供名称空间,但它是个可选组件

  • Jewel版本之前,radosgw的所有user位于同一名称空间,它要求所有user的ID必须惟一,并且即便是不同user的bucket也不允许使用相同的bucket ID

各pool的意义

  • 当创建RGW时候默认会创建对应的池信息,不需要人为创建
rgw.root 
default.rgw.control        #控制器信息
default.rgw.meta           #记录元数据
default.rgw.log            #日志信息
default.rgw.buckets.index  #为rgw的bucket信息
default.rqw.buckets.data   #是实际存储的数据信息

认证与授权方式

S3和Swift使用了不同的认证机制

  • 用户账号是认证(Authentication)、授权(Authorization)及存储配额(Quota)功能的载体,RGW依赖它对RESTfulAPI进行请求认证、控制资源(存储桶和对象等)的访问权限并设定可用存储空间上限
    • S3主要采用的是基于访问密钥(access key)和私有密钥(secret key)进行认证,RGW兼容其V2和V4两种认证机制,其中V2认证机制支持本地认证、LDAP认证和kerberos认证三种方式,所有未能通过认证的用户统统被视为匿名用户

    • Swift结合Swift私有密钥(swift key)使用令牌(token)认证方式,它支持临时URL认证、本地认证、OpenStack Keystone认证、第三方认证和匿名认证等方式

  • 通过身份认证后,RGW针对用户的每次资源操作请求都会进行授权检查,仅那些能够满足授权定义(ACL)的请求会被允许执行

    • S3使用bucket acl和object acl分别来控制bucket和object的访问控制权限,一般用于向bucket或object属主之外的其它用户进行授权
    • Swift API中的权限控制则分为user访问控制列表和bucket访问控制列表两种,前一种针对user进行设定,而后一定则专用于bucket及内部的object,且只有read和write两种权限

RADOS网关

为了支持通用的云存储功能,Ceph在RADOS集群的基础上提供了RGW(RADOS GateWay)数据抽象和管理层,它是原生兼容S3和SwiftAPI的对象存储服务,支持数据压缩和多站点(Multi-Site)多活机制,并支持NFS协议访问接口等特性。RADOS网关也称为Ceph对象网关、RADOSGW、RGW,是一种服务,使客户端能够利用标准对象存储API来访问Ceph集群。它支持S3和Swift API

  • radosgw的http/https服务由内建的Civeweb提供,它同时也能支持多种主流的Web服务程序以代理的形式接收用户请求并转发至ceph-radosgw进程,这些Web服务程序包括nginx和haproxy等

  • rgw客户端通过s3或者swift api使用rgw用户进行身份验证,S3和Swift是RESTful风格的API,它们基于http/https协议完成通信和数据交换。然后rgw网关代表用户利用cephx与ceph存储进行身份验证

功能概述

RGW的功能依赖于Ceph对象网关守护进程(ceph-radosgw)实现,它负责向客户端提供RESTAPI接口,并将数据操作请求转换为底层RADOS存储集群的相关操作

  • 出于冗余及负载均衡的需要,一个Ceph集群上的ceph-radosgw守护进程通常不止一个,这些支撑同一对象存储服务的守护进程联合起来构成一个zone(区域)用于代表一个独立的存储服务和存储空间

  • 在容灾设计的架构中,管理员会基于两个或以上的Ceph集群定义出多个zone,这些zone之间通过同步机制实现冗余功能,并组成一个新的父级逻辑组件zonegroup

企业级部署架构

  • 以下图为生产环境常用架构方式

rados网关部署步骤

  • 手工开启方式
#1.生成用于网关验证的cephx用户
ceph auth get-or-create client.rgw.servera mon 'allow rwx' osd 'allow rwx' -o /etc/ceph/ceph.client.rgw.servera.keyring 

#2.修改ceph.conf配置文件
[client.rgw.servera]
host = server
keyring = /etc/ceph/ceph.client.rgw.servera.keyring
rgw_frontends = civetweb port=80  #默认端口7480

#3.安装ceph-radosgw
yum install -y ceph-radosgw

#4.启动ceph-radosgw
systemctl restart ceph-radosgw@rgw.servera

配置Citeweb

  • 自0.80版本起,Ceph放弃了基于apache和fastcgi提供radosgw服务的传统而代之以默认嵌入在ceph-radosgw进程中的Citeweb,这种新的实现方式更加轻便和简洁,但直到Ceph 11.0.1版本,Citeweb才开始支持SSL协议

  • Citeweb默认监听于TCP协议的7480端口提供http服务,修改配置需要编辑ceph.conf配置文件,以如下格式进行定义

  • 配置https

    • 额外添加参数ssl certificate=/PATH/TO/PEM FILE
    • 定义port=443s,或者port=80+443s
[client.rgw.<gateway-node>]
rgw host=<hostname OR ipaddr>
rgw frontends="civetweb port=80"

#配置完成后需要重启ceph-radosgw进程以生效新配置
systemctl restart ceph-radosgw@rgw.<gateway-node>

常用的配置项

参数选项 信息描述
ssl_certificate 配置默认https的证书位置开启加密访问(生产基本不用,因为会在前加个负载均衡器)
access_log_ file 定义访问日志的路径
error_log_file 定义错误日志的路径
num_threads Citeweb以线程模型处理客户端请求,它为每个连接请求分配一个专用线程,因而此参数定义了其支持的最大并发连接数,默认值为50
request_timeout_ms 网络发送与接收操作的超时时长,以ms为单位,默认值为30000,可以在必要时通过增大此值实现长连接的效果
  • 具体的配置示例
/etc/ceph/ceph.conf
#也可以全部写在rgw_frontends=""中空格分割开
[client.rgw.servera]
rgw_frontends="civetweb port=80"
#生产环境中指向负载均衡器的域名后缀
rgw_dns_name=servera
log_file=/var/log/ceph/servera.rgw.log
access_log_file=/var/log/ceph/civetweb.access.log
error_log_file=/var/log/ceph/civetweb.error.log
num_threads=100

访问测试

  • curl http://servera

什么是S3存储

S3由Amazon于2006年推出,全称为Simple Storage Service,S3定义了对象存储,是对象存储事实上的标准,从某种意义上说,S3就是对象存储,对象存储就是S3,它对象存储市场的霸主,后续的对象存储都是对S3的模仿


S3的特点

  • 跨区域复制
  • 事件通知
  • 版本控制
  • 安全加密
  • 访问管理切可编程

rgw中s3的API支持

对象存储在bucket中若要利用S3 API访问对象,需要为RADOS网关配置用户每个用户具有一个access key和一个secret key。access key标识用户,secret key验证用户身份

  • S3服务的RESTAPI使用用户账号(user)、存储桶(bucket)和对象(object)三个组件来组织存储的数据对象,对象保存于存储桶中,而存储桶则支持授权给特定账号进行读写及创建/删除等操作

  • Amazon S3 API授权和身份验证模型具有单层设计。一个用户可以有多个access key和secret key,用于在同一帐户中提供不同类型的访问

  • radosgw-admin是用于管理radowgw服务的命令行接口,它有着众多的分别用于不同管理功能的命令,例如user、subuser、key、bucket和object等

#创建示例
radosgw-admin user create--uid=john --display-name="John Doe" --email=iohn@example.com --access-key=12345 --secret=67890 --id rgw.servername
    -uid 指定用户名
    --display-name 指定备注名
    --email 指定邮箱
    --access-key 指定access key,如果不指定,会自动生成
    --secret 指定secret key如果不指定,会自动生成
    --id 如果没有权限则需要指定有权限的cephX用户去执行命令
#当radosgw-admin自动生成密钥时,有时会在access key和secretkey中包含josn转义符"\”。在使用的时候,不能包含这个字符

S3中的用户管理

#修改用户:
radosgw-admin user modify --uid=uid --display-name="John E.Doe" --max-buckets=2000

#禁用用户:
radosgw-admin user suspend --uid=uid

#启用用户:
radosgw-admin user enable --uid=uid

#删除用户:
radosgw-admin user rm --uid=uid[--purge-data][--purge-keys]

管理用户密钥

#创建一个用户的key
radosgw-admin key create --uid=uid--key-type=s3[--access-key=key][--secret=secret]

#删除一个用户的key
radosgw-admin key rm --uid=uid --access-key=key在创建密钥时,可以通过--gen-access-key和--gen-secret来生成随机的access key和secret key

S3设置配额数

#基于用户的配额
radosgw-admin quota set --quota-scope=user --uid=uid[--max-objects=number][--max-
size=sizeinbytes]

#基于bucket的配额
radosgw-admin quota set --quota-scope=bucket --uid=uid[--max-ob.jects=number][--max-
size=sizeinbytes]

#启用配额
radosgw-admin quota enable --quota-scope=[user|bucket] --uid=uid

#禁用配额
radosgw-admin quota disable --quota-scope=[userlbucket] --uid=uid

检索用户信息

#查看某个用户信息
radosgw-admin user info --uid=user

#查看所有的用户信息
radosgw-admin user list

统计数据

#用户在具体的时间段写入了多少的数据
radosgw-admin usage show --uid=uid --start-date=start --end-date=end
radosgw-admin usage trim --start-date=start --end-date=end
radosgw-admin usage show --show-log-entries=false

#时间的方式
data表示方式:YYYY-MM-DD hh:mm:ss

配置DNS实现数据传输

配置泛域名解析

  • S3的存储桶是用于存储对象的容器,每个对象都必须储存在一个特定的存储桶中,且每个对象都要直接通过RESTfulAPI基于URL进行访问,URL格式为http(s)://bucket-name.radowgw-host[:port]/key"

  • 例如,对于存储在rgw01.test.io上的S3API对象存储系统上eshop存储桶中的名为images/test.ipg的对象,可通过http://eshop.rgw01.test.io/images/test.jpg对其进行寻址

  • 因此,radosgw的S3API接口的功能强依赖于DNS的泛域名解析服务,它必须能够正常解析任何<bucket-name>.<radowgw-host>格式的名称至radosgw主机

  • 另外,还需要配置每个radowgw守护进程的rgw dns name为其DNS名称

#下面是一个在bind中用于泛域名解析的配置示例
         IN   NS   ns
ns       IN   A        172.29.1.199
rgw01    IN   A        172.29.0.11
rgw02    IN   A        172.29.0.12
*.rgW01  IN CNAME      rgw01
*.rgW02  IN CNAME      rgw02

rados网关访问S3对象

#修改网关服务的/etc/ceph/ceph.conf,添加如下内容:
rgw_dns_name = lab.example.com

启用S3-api客户端s3cmd

如果基于编程的方式过于复杂切大量重复操作所以S3为了简化操作退出了命令行版本的客户端

  • 使用s3cmd命令之前需要事先配置其工作环境,包括指定Access Key和Secret Key,以及S3服务的访问端点和默认的Region(Ceph的新版本中称作zonegroup)等
  • s3cmd –configure,配置的结果将保存于~/.s3cmd.cfg配置文件中,用户随后可通过编辑此文件修改配置参数,或者再次运行此配置命令为其指定新的配置信息
#安装客户端
yum install -y s3cmd
#配置客户端信息
s3cmd --configure
1.配置密钥
2.配置cloudfront_host
3.配置host_base
4.配置host_bucket
5.配置website_endpoint

命令测试

#创建bucket
s3cmd mb s3://demobucket

#上传文件至bucket
s3cmd put --acl-public /tmp/demoobject s3://demobucket/demoobject

#获取文件
s3cmd get s3://demobucket/demoobject ./demoobject
curl http://demobucket.lab.test.io/demoobject
curl http://lab.test.io/test/demoobject

Bucket常用操作

#列出bucket
radosgw-admin bucket list

#删除bucket
radosgw-admin bucket rm --bucket=bucket

#查看bucket信息
radosgw-admin bucket stats --bucket=bucket

#检查bucket
radosgw-admin bucket check --bucket=bucket

什么是Swift

openstack swift是openstack开源云计算项目开源的对象存储,提供了强大的扩展性、冗余和持久性

Swift特性

  • 极高的数据持久性

  • 完全对称的系统架构

  • 无限的可扩展性

  • 无单点故障

Swift-API操作

Swift-API的上下文中,存储桶以container表示,而非S3中的bucket,但二者在功用上类同,都是对象数据的容器,且对象存储在容器中。Openstack Swift API的用户模型与Amazon S3 API稍有不同。若要使用swift api通过rados网关的身份验证,需要为rados网关用户帐户配置子用户。swift有租户概念,rados网关用户对应swift的租户,而子帐号则对应swift的api用户

  • Swift的用户账号对应于radosgw中的subuser(子用户),它隶属于某个事先存在的user(用户账号)
#创建主账户
radosgw-admin user create--uid="swiftuser"--display-name="Swift Testing User"

#创建swift子用户
radosgw-admin subuser create --uid 主帐户名 --subuser 主帐户名:swift子账户 --access=指定权限
    --uid 指定现有的rgw网关用户
    --subuser 指定子用户
    --access 指定用户权限
        - r 读取
        - w 写入
        - rw 读写
        - full 完全
  • 例如:Python Swiftclient是一个用于与Swift API交互的Python客户端程序,它包含了Python API(swift 模块)和一个命令行工具swift
#安装pythonswift的工具方式
pip instal--upgrade python-swiftclient
swift命令可以通过Swift API完成容器和对象数据的管理操作,其基础语法格式为
ccswift [-A Auth URL][-U username][-K password]subcommand

Swift用户管理

#修改子用户
rados-admin subuser modify --subuser=uid:subuserid --access=full

#删除子用户
radosgw-admin subuser rm --subuser=uid:subuserid [--purge-data] [--purge-keys]

#修改子用户密钥
radosgw-admin key create --subuser=uid:subuserid --key-type=swift [--access-key=key] [--secret=secret]

#删除子用户密钥
radosgw-admin key rm --subuser=uid:subuserid

Swift客户端

  • swift客户端不像s3客户端一样有本地的配置信息文件,所以没有次操作都要带上账号的认证信息

  • RADOS网关支持Swift v1.0以及OpenStack keystone v2.0身份验证

#3安装swift客户端
yum install -y python-swiftclient

#创建一个容器
swift -V 1.0 -A http://servera/auth -U john:swift -K secret post container

#向容器中上传一个文件
swift -A http://servera/auth/v1.0 -U john:swift -K secret upload container filepath

#列出容器中的文件
swift -A http://servera/auth/v1.0 -U john:swift -K secret list [container]

#查看容器状态
swift -A http://servera/auth/v1.0 -U john:swift -K secret stat

swift读写练习

使用openstack swift提供对象存储

  • 使用openstack swift接口创建一个可访问ceph集群的用户

  • 使用openstack swift接口管理对象的存储

# servera上操作

ssh servera

systemtl status ceph-radosgw@*

su - ceph

# 创建swift子用户

radosgw-admin subuser create --uid="operator" --subuser="operator:swift" --access="full" --secret="opswift"

# 安装swift客户端

sudo yum install -y python-swiftclient


# 查看swift状态

swift -V 1.0 -A http://servera/auth/v1 -U operator:swift -K opswift stat

# 列出containers
swift -V 1.0 -A http://servera/auth/v1 -U operator:swift -K opswift list

# 创建container
swift -V 1.0 -A http://servera/auth/v1 -U operator:swift -K opswift post my-container

swift -V 1.0 -A http://servera/auth/v1 -U operator:swift -K opswift list

# 创建一个10M的文件并上传

dd if=/dev/zero of=/tmp/swift.dat bs=1024k count=10

swift -V 1.0 -A http://servera/auth/v1 -U operator:swift -K opswift upload my-container /tmp/swift.dat

# 查看my-container状态

swift -V 1.0 -A http://servera/auth/v1 -U operator:swift -K opswift stat my-container

# 查看operator:swift用户状态

Ceph多区域网关

多区域的概念

Multi-Site功能是从J版本开始的。一个single zone配置通常由一个zone group组成,该zone group包含一个zone和多个用于负载均衡的RGW实例。从K版本开始,ceph为RGW提供了Multi-Site的配置选项。为Ceph存储集群启用radosgw服务之后,它会默认生成一个名为default的zonegroup,其内含一个名为default的zone,管理员可按需扩展使用更多的zone或zonegroup

  • 区域(zone): 一个ceph集群可以包含多个区域,一个区域只属于一个集群,一个区域可以有多个RGW

  • 区域组(zonegroup):由一个或多个区域组成,包含一个主区域(master zone),其他区域称为Secondary Zone,区域组内的所有区域之间同步数据

  • 域(realm): 同一个或多个区域组组成,包含一个主区域组,其他都次区域组。域中的所有rados网关都从位于主区域组和主区域中的rados网关拉取配置

  • 注意: master zone group中的master zone处理所有元数据更新,因此创建用户、bucket等操作都必须经由master zone

架构图

  • single-zone:一个realm中只有一个zonegroup和一个zone,可以有多个RGW

  • multi-zone:一个relam中只有一个zonegroup,但是有多个zone。一个realm中存储的数据复制到该zonegroup中的所有zone中

  • multi-zonegroup:一个realm中有多个zonegroup,每个zonegroup中又有一个或多个zone

  • multi-realms:多个realm

Periods和Epochs

  • 每个zone有关联的period,每个period有关联的epoch。

  • period用于跟踪zone、zone group和realm的配置状态

  • epoch用于跟踪zone period的配置变更的版本号

  • 每个period具有唯一ID,含有zone配置,并且知道其先前period的id

  • 在更改zone的配置时,需要更新zone的当前period

多区域同步流程

  • RGW在所有zone group集合之间同步元数据和数据操作。元数据操作与bucket相关:创建、删除、启用和禁用版本控制、管理用户。meta master位于master zone group中的master zone,负责管理元数据更新

  • 多区域配置后处于活跃状态时,RGW会在master和secondary区域之间执行一次初始的完整同步。随后的更新是增量更新

  • 当RGW将数据写入zone group的任意zone时,它会在该zone group的所有其他zone之间同步这一数据

  • 当RGW同步数据时,所有活跃的网关会更新数据日志并通知其他网关

  • 当RGW网关因用户操作而同步元数据时,主网关会更新元数据日志并通知其他RGW网关

多区域网关配置

  • Secondary区域配置例子
#拉取realm
radosgw-admin realm pull --url http://servera.lab.example.com --access-key access-key --secret secret-key   # 主区域中syncuser的key

#拉取period
radosgw-admin period pull --url http://servera.lab.example.com --access-key access-key --secret secret-key

#创建 Secondary Zone
radosgw-admin zone create --rgw-zonegroup wuhan --rgw-zone hankou --access-key access-key --secret secret-key --endpoints http://serverf.lab.example.com [--read-only]

#更新rgw配置文件
[client.rgw.serverf]
rgw_zone = hankou

#更新period
radosgw-admin period update --commit 

#启动RGW
systemctl restart ceph-radosgw@rgw.serverf

#检查同步状态
radosgw-admin sync status

故障恢复与切换

故障恢复步骤

1.原master zone恢复以后,将该zone再恢复到master
2.拉取period
3.设置恢复后的zone为master zone
4.重启恢复后的zone的rgw
5.更新period以使修改生效
6.重启secondary zone的rgw

维护

  • 查看同步状态
radosgw-admin sync status
  • 变更metadata master zone(需要在元数据完全同步完成之后才能进行变更操作,否则可能会丢失数据):
radosgw-admin zone modify --rgw-zonegroup wuhan --rgw-zone hankou --master
radosgw-admin period update --commit

故障切换

  • 假如当前master zone故障,需切换到secondary zone以进行容灾恢复:
#提升secondary zone为master zone
radosgw-admin zone modify --rgw-zone hankou --master --default [--read-only=False]
  • 更新period以使修改生效,重启RGW
radosgw-admin period update --commit
systemctl restart ceph-radosgw@rgw.serverf  

迁移Single-Zone至Multi-Zone

1. 创建realm
2. 重命名default zone和zonegroup(可不修改)
radosgw-admin zonegroup rename --rgw-zonegroup default --zonegroup-new-name newgroup
radosgw-admin zone rename --rgw-zonegroup newgroup --rgw-zone default --zone-new-name newzone
3. 修改default zonegroup将其加入到realm,并将其设置为master zonegroup
4. 将default zone配置为master zone
5. 创建系统用户
6. 将master zone与系统用户关联
7. 提交更新的配置
8. 重启RGW

发表评论