分布式存储是当前企业构建高效、弹性数据底座的核心选择,以满足大规模数据存储与应用需求。Ceph作为开源分布式存储的领军者,具备高扩展性、多协议支持和成熟生态的特点,是国内运营商、金融、头部互联网公司等各行业的首选存储方案。
忆联Ceph分布式存储方案有如下优势:
• 基于PCIe 5.0 ESSD,数据吞吐效率为上一代的2倍。
• 创新的智能多流技术,精准适配Ceph数据分布特性,性能优于同代际主流竞品高至3.15%。
• 有效抑制写放大效应(WAF),优于同代际主流竞品20%-32%。
方案将SSD预期寿命延长20%以上,实现性能、耐用性与可靠性三重突破,为云原生环境提供兼具超低延迟与超高一致性的存储基础设施,满足企业级客户对存储系统全生命周期稳定性的严苛需求。
Ceph分布式存储挑战
Ceph通过RBD(RADOS Block Device)提供企业级块设备服务,支持快照、克隆、精简配置等高级功能。然而,在分布式存储场景下,多副本数据一致性、网络延迟及存储介质性能瓶颈等问题,极易导致写放大效应加剧,影响SSD寿命及系统稳定性。
传统SSD在应对Ceph读写负载时,因冷热数据识别效率低、垃圾回收(GC)策略僵化,导致写放大系数居高不下,进而降低SSD寿命并增加时延。忆联UH812a/UH832a通过智能多流技术,实现数据冷热分类与IO路径优化,从硬件层面突破这一瓶颈。
忆联Ceph分布式存储方案验证
测试环境配置
测试验证硬件配置如下:
CPU
Intel Xeon Gold 6430 *2
内存
256GB (32GB*8 DDR5)
存储
系统盘:SATA (480GB*2)
数据盘:UH812a NVMe SSD(7.68TB*4)
网卡
2端口100GE以太网卡
每台服务节点配置2张网卡,每台客户端配置单张网卡
测试验证软件配置如下:
操作系统
CentOS Stream 9
内核
5.14.0-229.el9.x86_64
Ceph版本
17.2.7 Quincy
FIO版本
3.27(带rbd引擎)
图1:Ceph组网规划架构图
测试方法
1. 创建存储池与RBD卷。
• 创建1个RBD储存池,配置3副本。
• 创建60个100GB RBD卷,占总容量21%。
2. 进行性能测试。
• 每个客户端指定15个RBD,使用FIO工具向4个客户端同时下发IO测试,指定rbd测试引擎,绑定CPU核以减少干扰。
• 用不同模型遍历测试各种队列深度(QD)时的Ceph性能,通过监控工具记录服务节点与客户端的IO、CPU、网络数据。
3. 进行单节点WAF对比测试。
• 选取4块不同友商的PCIe 5.0 ESSD,预埋数据将RBD空间顺序写2遍,4K随机写5小时。
• 采用JESD219业务模型连续测试47小时,同步监控各SSD的数据写入量,计算WAF(NAND写入量/主机写入量)。
验证结果与分析
性能表现
(1)随机读写与混合读写性能
在3副本下,随着QD数量的增加,IOPS迅速增加,时延增长缓慢,平均性能优于友商1%。
• QD为32时,UH812a随机读IOPS突破175.5万,时延稳定在1.1毫秒内;随机写IOPS突破19万,时延稳定在9.9毫秒内。
• QD为32时,UH812a混合读写IOPS超过50万,时延约为20毫秒。
图2:Ceph随机读写性能测试结果
图3:Ceph随机混合读写性能测试结果
(2)顺序读写性能
随着QD数量的增加(QD在64之内),带宽显著增长,时延增长缓慢。QD为64时,UH812a顺序读带宽超过56GB/s,时延为8.85毫秒,平均性能与友商持平;顺序写带宽超过15.3GB/s,时延为32.88毫秒,平均带宽超出友商3.15%,平均时延低于友商1.68%。
图4:Ceph顺序读性能测试结果
图5:Ceph顺序写性能测试结果
智能多流技术对WAF的优化
UH812a通过智能数据分类算法,将元数据、日志及用户数据分配至独立流,减少GC过程中的无效数据搬移。本次测试显示:
• WAF对比:UH812a WAF平均值1.78,低于友商A 25%(2.38)、低于友商B 32%(2.61)、低于友商C 20%(2.22)。
• 寿命提升:WAF降低使UH812a的DWPD有效利用率提升,预计寿命延长20%以上。
图6:多友商WAF测试结果
忆联UH812a/UH832a技术优势总结
智能多流技术
UH812a/UH832a系列采用动态冷热数据分层机制与多流协同控制技术,实现1.78超低写放大系数(WAF),通过智能化的数据生命周期管理,显著延长SSD使用寿命,对比各友商优势明显,为高负载企业级场景提供可靠的存储保障。
性能一致性
UH812a/UH832a在混合负载及多副本部署场景中,凭借业界领先的时延控制与带宽稳定性表现,有效保障业务SLA达标,关键指标波动率优于行业标准。
高可靠性
UH812a/UH832a通过融合分布式存储副本策略与纠删码(EC)技术,并集成SPDK DIF/DIX的端到端数据完整性保护能力,构建了多层次数据防护体系,为业务系统提供符合工业标准的企业级端到端数据保护。
典型客户价值
在不同领域,UH812a/UH832a可为运营商、互联网、金融等行业客户解决特定需求与技术挑战,例如:
• 为运营商行业提升存储效率、降低成本:智能多流技术使存储资源的利用更高效,降低运营商存储成本,而ESSD的使用寿命提升超过20%,进一步减少更换硬件的频率与开支。
• 保障头部互联网公司业务连续性和用户体验:性能一致性确保关键业务的时延和带宽稳定性,帮助大型互联网公司在高并发情况下维持优质的用户体验,确保对最终用户服务水平协议(SLA)的达成。
• 强化金融行业数据安全与合规性:多层次的数据防护体系,确保金融数据的安全性和完整性,帮助金融机构满足严格的合规要求,降低数据泄露和损失的风险。
结论
忆联PCIe 5.0 ESSD借智能多流技术与深度Ceph优化,在分布式存储场景中展现出卓越性能与稳定性。WAF指标显著优于主流竞品,大幅提升企业存储效能超过20%,是构建新一代高度可扩展的分布式存储系统的理想选择。