对话青云QingCloud|有关大数据工作台的“十问十答”

互联网
2022
06/16
16:12
分享
评论

近日,青云QingCloud正式发布大数据工作台,可为客户提供“数据上云、数据开发、数据同步、作业运维调度、引擎资源管理”等功能模块,实现数据在云平台各产品之间快速流转,消除“数据孤岛”,统一调度和计算,助力企业一键开启云端数据洞察之旅。

青云QingCloud 大数据产品经理刘雄风与多家 IT 科技媒体分享了大数据工作台在云原生、混合云、工业互联网等热门领域的技术实践和业务应用。我们精选了十个精彩问答,一起深入了解青云大数据工作台????

Q:与目前市面上已有的大数据开发和治理平台相比,青云的产品具有哪些优势和不同?

A:市面上成熟的大数据开发和治理平台,大多都是在比功能。而现实场景里,客户不一定需要所有功能,而是更看重性能。就像我们买手机一样,运行流畅与否更加重要,而不是那些不常用的功能。

关于青云的产品优势,首先,我们是基于云原生架构进行开发的,具备天然的跨云服务和弹性计算的优点。其次,我们聚焦解决客户实时计算等数据业务场景需求。此外,我们的界面及功能上的历史包袱基本上是没有的,客户可以更聚焦地做数据开发。

Q:大数据工作台是否可以看作是一个数据中台?如果不是,它与数据中台的差别在哪?

A:数据中台是在 DT 时代大背景下,企业为实现数据快速、准确、低成本赋能业务发展目标,将数据统一整合起来,基于 Onedata 方法论而搭建的平台。借助于数据中台,企业可以进行完善的、统一的数据加工和处理,对外提供数据服务能力。目前市面上的数据中台,主要以大项目的定制化方式进行私有化交付,其成本是比较大的,周期也是比较长的。

与数据中台的差别在于,青云大数据工作台采用云原生架构,没有基于传统的 Hadoop 体系的YARN 来做资源调度,而是基于 Kubernetes 实现资源的调度。同时,青云大数据工作台聚焦于数据使用场景下,解决数据集成、流批一体计算、统一运维和统一数据服务共享等问题,并通过云端一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。

Q:混合云成为越来越多企业数字化转型的选择,大数据工作台如何确保跨云之间数据甚至是算力调度的流畅及安全?

A:数据跨云传输和计算其中有两个关键点:一致性流畅的体验,以及组网。青云作为“混合云第一股”,一直是以“公私一致”的技术架构为混合云用户交付公有云与私有云,大数据工作台也是公私统一架构,能够为客户提供一致的使用体验,降低运维管理的复杂度。网络层面,青云提供丰富的组网模式,用户通过控制台即可完成不同网络接入方案的配置。

目前我们正在规划满足客户跨云算力分配的场景功能,即在私有云突发算力任务加剧的情况下,将一部分数据作业调度到公有云,利用公有云作为算力补充。

Q:弹性和灵活的部署是现在很多企业看重的一个特点,大数据工作台在这方面有何优势?

A:大数据工作台是一款即开即用、便捷高效的企业级数据开发云服务,几分钟就可以搭建整体的环境和部署,一键开启您的数据价值洞察之旅。除了支持基于云平台/AppCenter的部署,我们也支持私有化交付,支持基于容器(K8s、KubeSphere)的部署,对于希望基于容器部署大数据组件的用户来说是非常友好的。

Q:对于企业而言,如何根据自身发展阶段和业务规模,把大数据工作台的价值发挥到最大?

A:如果一个企业需要一个人专门负责企业日常的数据计算和输出,甚至数据的开发,那么他一定会需要大数据工作台。当企业数据量达到GB级别,也可以使用大数据工作台。在复杂场景下,大数据工作台每个CU每秒可以处理3000条至15000条数据。在这种数据量的处理下,我们一个CU的计费不到4毛钱/小时,既经济又高效。因此,无论从计算成本来看,还是从人力成本来看,只要有数据计算需求的企业,都可以把数据的集成、开发和数据的使用交给大数据工作台,开发人员只需要专注业务即可。

(*CU:大数据工作台的计算资源单位。1 CU 是 1 核CPU 4 GB 内存)

Q:大数据工作台的使用者具体是大数据技术人员还是业务人员?

A:我们的使用者除了技术人员,还有业务人员。技术人员包括数据开发人员、数据运维工程师、数据架构工程师等多种角色。对于技术人员,我们提供Flink SQL的方式,技术人员只要会写SQL,就可以进行数据的处理。业务人员可以通过拖拽的方式构建数据的连线,只需要定义数据的来源和目的,通过字段的映射连线,即可使用。

Q:目前青云大数据工作台最大的亮点是什么?

A:大数据开发工程师是一个庞大的群体,以往大数据引擎 QingMR 给数据开发工程师提供的是一个免运维的大数据存储计算平台,虽然节约了运维成本,但用户要做数据开发,还是需要在本地 IDE 开发好后,通过命令行的方式提交到 QingMR 中,非常不方便。

大数据工作台提供「云端可视化开发 Studio」,可以让数据开发工程师在云端可视化开发,一键提交,全托管调度,大幅度节约开发成本和周期。

Q:大数据工作台的运维中心支持哪些运维工作?

A:我们的运维中心主要包括:一、对资源的调度,可以对集群整体资源进行管理,就是对全托管 Flink 集群进行操作。二、对数据加工作业进行运维管理,可以管理数据加工作业的调度状态、运行状态、作业版本。三、提供原生的 Flink UI,能进行任务运维的查看。

Q:大数据工作台在企业中的应用如何?得到了什么样的使用反馈?

A:目前,青云大数据工作台已经应用在工业互联网客户场景中,为企业构建工业互联网数据中台。通过研发工程师的工单机制,快速响应客户的需求和问题,获得了客户的好评。同时,我们也在快速迭代产品功能,和客户共同快速成长。

Q:大数据工作台还有哪些需要优化的地方?接下来如何进行优化升级?

A:接下来,大数据工作台会利用公有云快速反馈迭代的优势,优化客户体验,增强平台稳定性和高可用性,并逐步迭代扩充客户所需的功能,包括数据资产、数据治理等。通过与客户商业化合作和共建来沉淀场景化方案,在工业、交通等细分领域深耕,沉淀产品能力,并推广到其他行业客户中。

青云大数据工作台目前处于公测阶段,可免费试用,并每位用户提供 12 CU 的免费计算资源,一键开启大数据洞察之旅。

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

相关推荐

1
3