阿里巴巴新一代数据库X-DB亮相深圳互联网

砍柴网 / / 2018-04-23 16:10

4月19日,继阿里巴巴西溪园区举办之后,双11数据库技术峰会第二站来到了深圳,与华南地区的企业一起相聚在深圳科兴科学园,共同探讨数据库技术。双11是互联网的超级工程,这次的深圳站双11数据库技术峰会现场,尤其珠三角地区的企业来宾热度高涨,分享嘉宾全面地揭秘了超级工程背后的数据库技术,会后仍有很多来宾与分享嘉宾交流探讨。

1.1.jpg

1.2.jpg

阿里巴巴新一代数据库X-DB亮相深圳站

X-DB使用最极限的技术,支撑最极限的数据库压力

1.3.jpg

曲山是阿里资深的数据库内核研发,典型的工科技术男,这次带来X-DB的纯干货分享。X-DB是在阿里诞生的新一代分布式数据库,具备高性能、低成本、全球化部署等特点。为了实现这些特点,X-DB采用软硬件一体化设计。高可用上,X-DB使用自研的X-Paxos协议实现跨AZ、Region的数据强一致能力,同时可以实现高达5个9的持续可用性。X-DB底层存储引擎是自研的X-Engine,实现自动冷热数据分离、支持计算和存储分离架构,底层实现使用了Cache-Conscious Index、Parallel Logging & Recover、Lock Free & Latch Free、Adaptive Concurrency Control、Adaptive Data Lifecycle Management、Hybrid Row-Column Store、Adaptive Encoding & Compression、事务处理流水线等一系列“黑”科技,来实现X-DB的高性能和低成本。X-DB基于阿里巴巴的盘古2.0,可以实现存储的按需扩展。X-DB还与FPGA深度结合,实现从单纯用FPGA到自研FPGA IP的升级(FPGA加速与X-Engine存储引擎紧密结合),对于计算密集型的任务,如Compaction、Compression/Decompression都直接转移到FPGA上完成。

数据库的双11—互联网的超级工程

1.4.jpg

刘昆是双十一数据库的负责人,每年的双十一是他最忙碌,也是最兴奋的时候。从业务发展过程中不断对技术提出更高标准的需求开始展开,介绍了阿里数据库发展的全貌;从最早的单机集中式数据库,到分库分表的分布式,到跨城市的异地多活实现,一直到今天的阿里第四代分布式数据库架构体系X-DB。为了保障每年双十一数据库的稳定,数据库团队做了大量的技术探索和创新,包括X-KV(数据库上的高性能KV接口)、使用ESDB实现的卖家库的二级散列、数据库优化引擎-CloudDBA等。高性能,高可用,低成本是所有企业追求的永恒的话题,只用不断用最新的思考,最新的技术,才能不断进步,为业务提供更好的数据库服务,用技术驱动商业的发展。

阿里云RDS上的双十一

1.5.jpg

阿里云上有丰富的数据库引擎,包括了MySQL、SQL Server、PostgreSQL、Redis、MongoDB等等。如果你的业务是在阿里云上,那么凌洛带来的这个分享,一定会让你受益匪浅。数据安全是云上的重中之重,RDS通过访问控制、网络隔离、数据加密、行为审计、服务授权等多种方式立体的保护云上的数据安全。另外,凌洛还介绍了各种使用RDS的技巧,例如,如何根据具体的业务场景调节RDS的参数,实现最适合业务的高性能;如何选择RDS的链路类型,协调安全和性能;如何通过云端提供的CloudDBA服务实现数据库的诊断和优化;如何实现平滑的云端弹性扩容实践。

稳定、高性能的分布式数据库产品DRDS

1.6.jpg

DRDS是阿里云上的一款数据库分库分表产品,在阿里巴巴内部广泛的被使用(内部是TDDL)。这次阿里架构师庆涛,详细的介绍了阿里分布式数据的架构方案和它所解决的问题。随着业务快速发展,数量和在线事务的压力也会越来越大,一个很自然的想法就是把在线大表拆分成多个小的分片。DRDS应运而生,很简单的提供了非常高的在线事务处理能力、也很好的解决单机数据存储性能容量有限的问题。但是,分布式数据库架构也会带来一些新的挑战,比如如何实现全局唯一的主键,不带拆分键的查询性能问题,如何实现跨表的连接等。庆涛从DRDS的实现架构角度分别给出解决方案:自增序列支持、异构二级索引、分布式Join下推等。从业务角度来看,诸如会员注册、登录业务、红包发放和领用业务、买卖家订单业务场景需求等在DRDS下都可以得到很好的满足。阿里的分布式数据库产品DRDS,以及周边相关的数据迁移DTS(用于上云迁移和容灾)、RDS或混合云管控HDM(用于数据库自动化运维)、数据管理DMS(用于数据变更和查询等),在公有云和专有云都逐步开始输出。我们的愿景是让每一个企业都可以享受到阿里数据库产品的能力。

阿里的企业数据安全管理之路

1.7.jpg

倩薇是阿里数据管理产品DMS(阿里内部对应的是iDB)的产品专家。随着Facebook用户隐私问题的持续发酵,越来越多的企业已经意识到数据安全的重要性。但是,一直以来安全和效率之前的平衡,让很多企业在发展初期,都忽略了数据安全体系的建设。倩薇介绍了阿里内部的数据库服务平台iDB如何在保障安全的基础上,让研发人员依旧可以最高效的访问、管理数据库。iDB输出到阿里云之后的产品是数据管理DMS企业版,它实现了WEB端、全操作可审计的的细粒度权限管控、数据查询、库表结构设计、性能监控、SQL审核、生产发布、灵活的变更审批流程定义等,可以快速帮你实现数据安全成熟度等级3级以上的服务能力。

阿里自研时序数据库HiTSDB

1.8.jpg

在刚刚过去的3月份的深圳云栖大会上,阿里云总裁胡晓明宣布:阿里巴巴全面进军IoT,5年内发展100亿设备,IoT是阿里巴巴集团继电商、金融、物流、云计算后新的主赛道。IoT的设备所产生的大量、持续的数据对数据存储产生了新的挑战,HiTSDB应运而生。阿里巴巴高级专家悠你,向大家介绍时序数据库的基本概念和它在存储时序数据的优势,IoT设备所生产的数据一般为数值型,数据量很大,在查询的时候往往需要做特定的处理。如果使用传统的关系型数据库存储,一般会遇到下面的问题:写入瓶颈、扩展性差、聚合查询性能差等。HiTSDB通过创新的数据存储、倒排索引、高压缩比缓存、分布式聚合引擎等技术,解决了时序数据高效的存储和查询的问题。

企业级数据库容灾建设与选型

1.9.jpg

阿里巴巴的异地多活是企业数据容灾建设的一个典型的案例。异地多活解决了单地资源容量的限制,实现业务层面的高可用、实现业务的全球化就近访问。核心的挑战包括跨地区数据一致性、业务快速切换的持续可用的保障等。在这次峰会中,数据架构师明磊详细介绍了异地多活的实现架构和演进,以及在阿里环境中的具体实现形态。明磊也提到,在企业发展的不同阶段应该根据成本、实现难度等多个角度考虑企业的容灾建设:最简单我们可以通过离线数据备份的方式实现初步的容灾;也可以选择阿里云DBS实现实时数据备份;进一步,可以通过DTS等数据同步产品,实现在线容灾数据库;更进一步,实现异地双活/多活,把数据库的RPO/RTO同时降到最低。另外,混合云数据库管理HDM将会通过上层封装,将用户的容灾建设的实施成本降低到最低。



1.砍柴网遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.砍柴网的原创文章,请转载时务必注明文章作者和"来源:砍柴网",不尊重原创的行为砍柴网或将追究责任;3.作者投稿可能会经砍柴网编辑修改或补充。


阅读延展



最新快报

1
3