数据中台作为数字经济时代的新基建,能够帮助企业搭建数据信息于一体、开放共享、安全可靠的数据共享中心,最终实现数据驱动业务的新模式。9月17日,行业领先的企业数字化基础设施供应商袋鼠云,联合爱分析在杭州西溪宾馆首次举办了2020DDIC数智+行业峰会暨数栈战略发布会。本次峰会由浙江省工业和信息化研究院、长三角数字经济产业联盟、浙江大学智云实验室、杭州数字经济联合会、未来科技鲲鹏企业联盟为指导单位,36氪、极客学院、双态IT联盟、B.P数字生态商学院协办。规模宏大,话题前沿,从技术到方法论再到实践,亮点颇多。其中,数栈DTinsight4.0:云原生数据中台产品发布更是成为全场焦点之一。
累计数亿元研发投入,近五年全身心迭代打磨数栈DTinsight4.0具备天生云原生、自研核心引擎、金融级安全三大特性,覆盖数据源采集、离线计算、实时计算、数据挖掘、数据治理、数据资产管理、数据共享服务等整个数据中台生命周期。袋鼠云数栈事业部总经理闵佳在《数栈DTinsight4.0:云原生数据中台产品发布》中表示:数栈DTinsight要成为中国企业数字化首选平台。
采用微服务架构的数栈DTinsight4.0满足复杂性和多元性的环境
云原生
在考虑到客户环境的复杂性和多元性后,数栈DTinsight4.0采用了微服务的架构,把各个子产品之间解耦化,每个产品内部服务也会按照一定逻辑进行拆开,从而采用标准化的容器方式进行产品部署,可以实现30分钟完成产品的交付。实现弹性扩容则是天生云原生的特点之二,可以根据不同时间点,计算集群的负载情况,自动扩容,这样就可以很好地提升资源利用率。天生云原生的特点之三,是存储计算分离,可以有效解决很多场景下对于计算资源和存储资源要求不匹配,以及资源利用不均衡的弊端。同时数栈DTinsight4.0也实现了调度的统一化,几大开发平台全部采用容器化方式做调度,能够保证不同任务之间的隔离性和安全性。服务API化是天生云原生的第四大特点,数栈DTinsight4.0中采用了声明式API方式,执行效率更高,可为后续的持续产品迭代留非常大的升级空间。
袋鼠云数栈事业部总经理 闵佳发布数栈DTinsight4.0
自研核心引擎
自研核心引擎包括FlinkX、DAGSchedulerX和EasyManager。引擎FlinkX实现了分布式同步,一种框架可以去支持实时采集和离线采集两种场景要求,可以实现100%以上的开发和管理效率的提升。DAGSchedulerX在单台两核CPU 8G内存的配置下,可以实现百万级任务的并发调度,并可支持几十种任务在平台上调度,保证任务的稳定运行。同时可以实现对新引擎、新版本的快速兼容,实现10倍以上兼容效率的提升。
金融级安全
金融级安全也是袋鼠云一直持续打造的产品核心能力。数栈DTinsight4.0通过多数据中心容灾的方式,可以实现零数据的丢失,并基于多集群、多租户、多项目的管控方式,实现数据资源的隔离,保证数据安全。同时,通过数据层加密、脱敏等手段,实现数据的可收、可管。另外,由于在很多场景下,当面临大规模任务调度时,数栈DTinsight4.0可以自动做到计算资源的弹性扩展,这样可以保证集群稳定运行的同时,还可以让任务及时获取到足够的资源,及时运行出结果,支撑数据业务的发展。而对一些高危操作,比如删表或者下线任务,数栈DTinsight4.0后台都会做到自动预警,保证整个平台的安全性。
历经5年,四次版本飞跃
袋鼠云成立至今一直在结合市场需求变化对数据中台产品数栈DTinsight进行打磨,近5年来数栈DTinsight经历了几百次迭代、四次版本飞跃。
在产品研发和迭代过程当中,袋鼠云除了做好产品本身的功能迭代和场景迭代之外,也非常重视和强化产品的基础能力、技术能力。数栈从1.0到4.0逐步打造数据平台化核心能力、数据资产化核心能力、数据服务化核心能力、算法智能核心能力,真正拥有自主可控的云原生数据中台核心技术。
可应用的数智场景可以布局到众多行业生态中
致力于成为云原生数据中台基础设施的数栈DTinsight可以应用到众多数智场景,数据化运营、智能化应用、可视化大屏、数据化运维等,这些可应用的数智场景可以布局到众多行业生态中,金融、零售、政务、电力、工业、农业、文旅、教育等。而在此次峰会中,就有来自各个行业的负责人分享了数栈应用的实例。华夏银行杭州分行信息科技部负责人朱萧峰表示,银行业目前都采用系统集中、数据集中的模式,对分行的管理存在“一收就死、一放就乱”的问题。与袋鼠云共创的分行数据集市应用云平台,具备完善的大数据工具链,采用总分2级架构设计,满足总行管理+分行灵活的需求,在此基础上,定制了一键数据下发、模型管理与OLAP加速、集成BI等功能。平台上线后,彻底改变了总行数据下发的工作过程,真正做到了数据的集中存储与管理,同时在集群运维方面释放了分行的精力,大幅提升了分行的数据应用开发效率。
招商证券相关负责人也表示:随着证券交易数据越来越多,证券公司需要对数据进行实时计算和实时监控,进而快速处理问题、响应客户。基于此,招商证券对于客户统一识别、账户查询、反洗钱、客户运营等方面有了更高、更新的要求。袋鼠云基于数栈 DTinsight帮助客户构建实时数仓,实时汇聚证券交易、融资融券、个股期权等多个领域数据流,推进企业UCM(统一客户模型)体系构建,解决超大规模数据计算问题,满足秒级响应需求,快速响应各业务系统数据应用需求。招商证券只需要关注业务逻辑及数据建模,通过SQL化开发,可快速响应业务部门实时数据需求。基于数栈 DTinsight平台,招商证券进行实时数据开发的效率提升2倍以上,实时任务排错及解决时间减少了80%,实时业务消费数据的时效从秒级提升到毫秒级。
数栈DTinsight4.0,赋能企业智能化转型
数字正在积极改变人类生产生活方式,深刻改变社会治理能力,已经成为中国新时代最鲜明的标志。可以这样说,以数字经济带来产业变革,已经成为中国经济从速度型向创新型跨越的重要动力。发展数字经济,已经成为这个时代最大的共识。历经5年不断的打磨和迭代,数栈DTinsight4.0的到来,将会赋能数字经济,加速企业数字化转型,助力企业抢占新时代的至高点。
