近日,腾讯云在存储领域的论文入选并行编程领域顶级会议PPOPP 2025。通过设计面向小型对象的、感知访问关联性的内存缓存系统AC-Cache,成功解决小型对象存储场景中的负载不均衡问题,实测显示,该系统可降低80.2%尾部延迟并提升5倍以上访问吞吐量。
据悉,作为并行编程领域的国际顶级学术会议,PPoPP(Principles and Practice of ParallelProgramming)致力于推动理论基础、技术、语言、编译器、运行时系统、工具和实践等并发和并行系统领域的突破性研究,该会议持续聚焦两大前沿议题:优化并行编程生产力,强化异构硬件协同,同时解决超大规模科学计算与企业级负载衍生的新型并行工作负载挑战。
当前高速网络技术持续升级,导致网络带宽与存储带宽性能代差不断扩大,存储访问已成为核心性能瓶颈。在此背景下,腾讯云联合厦门大学提出了AC-Cache,一个基于访问关联性构建的面向小型对象的内存高效缓存系统。
目前,AC-Cache 前沿技术已在在Github - nankeys/ACCache: ACCache PPoPP25 上开源,并在腾讯云 GooseFS 产品中得以应用。
腾讯云数据加速器GooseFS(Data Lake Accelerator Goose File System)是搭建在对象存储COS之上的分布式缓存系统,它能够为上层计算应用提供统一的命名空间和访问协议,方便用户在不同的存储系统管理和流转数据。
GooseFS具备性能强劲、稳定易用、生态亲和的三大核心特点。具体而言,它能够基于分布式缓存架构,为用户提供近计算端的高性能数据访问能力,吞吐能力可达Tbps,延时达到亚毫秒级;此外,它还提供了全托管、Master托管、管控面托管三种部署方式供用户选择,集成云原生Prometheus监控体系,还能实时监测系统健康,简化运维流程,提升系统稳定性;更值得一提的是,GooseFS 深度集成了云原生与大数据技术栈,为企业提供开箱即用的数据加速能力,它支持TKECSI,通过CSI播件实现存储卷秒级自动扩缩容,能够满足突发业务负载需求,还支持 EMR集群挂载,并兼容Hadoop/Spark/Hive等组件零改造接入,更深度适配主流AI训练框架,支持与TensorFlow等AI计算框架无缝对接。
随着GooseFS 2025年的技术更新,其单链接性能更是达到了Gbps级别,最大化提升了硬件资源的利用效率;此外,还通过元数据分级管理技术,做到支持百万级元数据QPS,能够在高并发、大规模数据访问场景下依然保持高效的元数据访问性能;并进一步实现了元数据的一致性,确保COS与GooseFS之间的元数据能够实时同步,做到无感缓存加速。
如今,传统的对象存储已经难以满足科技等行业对带宽、延迟和 QPS 等高性能计算要求,GooseFS能够加速海量数据分析、机器学习、人工智能等业务访问存储的性能,目前已成功应用在海量数据分析、AIGC、汽车辅助驾驶、具身智能等业务场景中。
在部署了GooseFS后,某手机厂商Deepseek模型分发单链接速度达到了300 MBps,整体下载带宽达到200Gbps,较未部署前带宽提升了10倍,并在GPU节点提升1.5倍的情况下,分发时间缩短至原有的三分之一,大幅提升了分发效率;在汽车辅助驾驶方面,某汽车厂商通过部署GooseFS,并将其作为统一数据中台,配合Airflow 调度算法,进行数据预热,加速训练预处理和自动驾驶训练业务,解决了数据孤岛问题,并进一步降低了本地盘成本,实现90%以上的数据命中率在Cache,整体训练速度提高了30%。
随着GooseFS在更多行业中得以应用,AC-Cache研究成果将助力更多企业突破存储访问的性能瓶颈,迈向发展快车道。