Agent时代,海量数据处理性能仍在持续突破。
8月18日,据国际事务处理性能委员会(TPC)官网信息,腾讯云数据湖计算DLC刷新TPC-DS 100TB性能和性价比两项世界纪录,综合性能成绩达6.54亿,是此前最高纪录的近10倍;单位性能成本降至11.04元,仅为此前的约六分之一。

(TPC官网成绩)
TPC-DS是全球数据分析领域最具代表性的性能测试之一,主要衡量一套系统处理海量、复杂数据任务的综合能力。过去多年,Oracle、IBM、Databricks等海外技术厂商均曾参与TPC相关测试,其中100TB也是TPC-DS目前设置的最大测试规模之一。
腾讯云此次挑战的100TB,约等于一个大型电商平台连续数年的交易、退货、库存、订单明细全部打包在一起。系统要在这座“数据山”上完成从数据导入到复杂分析、数据更新的完整流程,而不是只跑某一个专项。
难度还在于任务的复杂和并发。系统不仅要连续完成99类不同的分析任务,并在4组任务同时运行时一轮处理396次复杂查询,还要同步应对数据的持续插入和更新,整个测试更接近企业真实运行时的高负载状态。
最终得分也不是看某一次跑得多快。TPC-DS 会综合单任务处理速度、并发吞吐、数据维护等多个环节计算总分,并同时计算获得这些性能所需的成本。
腾讯云打破世界纪录,其背后的引擎来源于腾讯内部天穹平台自研的统一计算引擎 SuperSQL,它通过统一的计算底座,将批量计算、实时计算以及 CPU、GPU 等不同算力整合到一套引擎中,并支持 SQL、Python 和多模态数据处理,可统一分析结构化、半结构化和非结构化数据,目前已在腾讯内部多个业务中稳定运行多年。
这也是腾讯近年来第三次在TPC核心测试中刷新世界纪录。2023年,腾讯云曾刷新高并发交易性能纪录,2024年登顶10TB数据分析测试;此次测试进一步扩大到100TB,持续验证腾讯云在高并发交易和海量数据分析场景下的处理能力。
值得一提的是,这些能力正在面对新的应用环境。随着企业AI从模型调用进一步走向Agent,数据系统不仅要支撑传统交易和分析,还需要持续承接Agent带来的数据读取、处理、沉淀,以及模型训练和推理等计算任务,对数据处理规模、并发和效率提出更高要求。
腾讯云也在沿这一方向升级数据技术体系,上个月,DLC进一步升级为AI DLC,将数据处理能力延伸至AI计算、模型训练、推理和Agent应用,支撑企业快速构建Agent-Ready的数据基础设施。
