被评为openGauss赛道金奖的多模多态分布式数据库GBase 8c其含金量表现在哪些方面?基于openGauss有哪些技术创新? 其商业价值是什么?在哪些场景发挥作用?
面向全球开发者的年度顶级赛事——鲲鹏应用创新大赛已经举办三个年头了。三年来,大赛鼓励广大鲲鹏开发者围绕产业真实难题,基于鲲鹏全栈软硬件技术进行行业应用创新、加速跨领域技术融合、促进产业人才培养。
近日,鲲鹏应用创新大赛2022全国总决赛(下称“大赛”)完美收官。大赛围绕数字政府、科技金融、企业数字化、openEuler、openGauss、HPC高性能计算及初创应用7大赛道,其中南大通用基于openGauss的多模多态分布式数据库GBase 8c获得鲲鹏应用创新大赛openGauss赛道金奖。
被评为openGauss赛道金奖的多模多态分布式数据库GBase 8c其含金量表现在哪些方面?基于openGauss有哪些技术创新? 其商业价值是什么?在哪些场景发挥作用?相信读者们也十分关注,基于此,南大通用公司产品总经理张益受邀接受了至顶网的采访,分享了获奖解决方案的众多细节。张益作为高级工程师,具备多年软硬件产品研发和管理经验,对分布式数据库有深入研究,负责GBase 8c的规划、研发和市场推广的全流程。
随着互联网尤其是移动互联网业务的飞速发展,传统的集中式数据库在应对如大促、秒杀、春运等新应用,新场景时存在的高并发和高吞吐的性能需求显得的力不从心。急需新形态数据库出现,而具备弹性伸缩能力的分布式数据库,能显著降低业务总体拥有成本,是解决这一问题的最佳实践。
数据库被誉为基础软件皇冠上的明珠,研发难度大,而分布式数据库的研发难度又上了一个台阶,不仅要求开发者具备数据库内核的研发能力,还需要对网络原理、分布式原理等知识有较深的积累。要快速实现分布式数据库领域的创新,开源就是最好的选择。这其中就包括开源数据库openGauss。自2020年6月开源以来,openGauss社区已经发展成为中国最具创新力的开源数据库根社区。 openGauss作为一个开源数据库,具备高性能、高安全、高可靠等特性,提供了单机和主备式的关系型数据库的能力。
南大通用是国内少有的专注于数据库产品研发,并且在金融、电信行业得到规模化应用的独立数据库服务商。南大通用于2021年底正式加入openGauss社区,却是业界首个基于openGauss3.0版本推出分布式数据库产品的玩家。基于openGauss开发分布式数据库,需要深入理解openGauss的架构和设计,并在此基础上再进行分布式能力的构建。“南大通用有近二十年的数据库研发积累,其主打产品GBase 8a就是一款分布式的分析型数据库,这些积累为研发基于openGauss的原生分布式数据库GBase 8c提供了基础。” 张益谈到。
作为目前唯一一个基于openGauss3.0构建的原生分布式数据库,相对于一些采用中间件方式来提供分布式能力的解决方案,GBase 8c作为原生分布式数据库,在系统架构和内核层面进行了大量的优化。特别是在数据强一致性、复杂查询性能方面具有其核心优势。
GBase 8c具备全局强一致性的能力,通过全局事务管理器发放的全局时间戳,可以保证整个集群内的所有数据的强一致,相对中间件方案的最终一致性更适合核心业务系统。
GBase 8c具备数据节点间数据交换的能力。对于一些复杂的查询,中间件解决方案只能把数据都拉取到中间件进行查询过滤,在大数据量的情况下,会加大网络的负担和中间件处理的压力。GBase 8c可以将复杂查询下推给数据节点进行操作,由数据节点进行数据交换和计算,通过多个数据节点的并行处理,大幅提升整个集群的处理效率。
“GBase 8c提供的这些能力,让用户可以像使用集中式数据库一样使用分布式数据库,平滑地进行数据库架构的切换。”张益谈到。
GBase 8c是基于openGauss3.0构建的多模多态原生分布式数据库,支持行存、列存、内存等多种存储模式和单机、主备与分布式等多种部署形态。
张益详细介绍了什么是“多模多态”,多模指的是多存储模式依托openGauss提供的行存储、列存储和内存三种存储引擎,GBase 8c支持多个存储引擎以满足不同场景的业务需求。具体而言:
1、行存储引擎:主要面向OLTP场景设计,例如订货、发货、银行交易系统;
2、列存储引擎:主要面向OLAP场景设计,例如数据统计报表,分析系统;
3、内存引擎:主要面向极致性能场景设计,例如银行风控场景。
多态指的是多部署形态,在openGauss原来单机和主备部署形态的基础上,GBase 8c提供了分布式形态的部署能力,让产品具备单机、主备式和分布式三种部署形态。
“单机形态是数据库最经典的部署形态,优势在于低成本,部署简洁;主备形态支持一主多备部署方式,优势在于部署简洁,交付高效,且具备一定的容灾能力,适用于较低数据量、追求极致单机性能且对高可用有一定要求的场景;分布式形态支持分布式全组件冗余的高可用,支持计算存储分离的部署,优势在于可以根据业务需求对计算和存储能力分别进行水平扩展,适用于大数据量高并发且追求数据高安全性的场景。”张益进一步解释道。
在GBase 8c的研发过程中,openGauss团队提供了很多帮助。在系统概念阶段,openGauss团队面向开发者组织多场培训,对社区版本的架构、设计进行了讲解,让南大通用的研发人员能够以较短时间掌握openGauss的架构和设计,并了解相对于国外开源数据库openGauss架构的差异化优势。
比如相比国外开源数据库的32位xid的能力,openGauss提供了64位xid的特性。因为每个数据库业务都需要分配一个xid,随着业务量的不断增加,xid耗尽会引起数据库的冻结,从而影响业务系统的正常运行。“GBase 8c是一款分布式数据库,承载的业务量是集中式数据库的数倍甚至数十倍,xid耗尽的可能性会变得更大。openGauss将xid从32位变为64位,大大缓解了xid耗尽的可能性,为业务系统的稳定运行提供了有力的支撑。”张益讲到。
在系统设计阶段,openGauss的社区技术专家对GBase 8c的架构设计进行了评审,保证了GBase 8c的设计合理性和产品竞争力。在系统开发的阶段,openGauss社区对南大通用对于代码的具体问题进行了点对点的讲解,提升了开发的效率。
当前openGauss3.0构建的多模多态原生分布式GBase 8c实现了高性能、高可用、弹性伸缩、高安全性等特性,可以部署在物理机、虚拟机、容器、私有云和公有云,为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。
GBase 8c目前已在健康码项目、城商行网贷平台、身份认证平台、市场监管委等多个项目完成落地。在南方某政府部门的健康码管理上,使用GBase 8c构建了全新数据库,解决了高峰时段亮码和扫码的问题,用较低的成本解决了性能不足的难题。在金融和电信等领域,GBase 8c也已经完成了POC测试,并将陆续替代传统集中式数据库,支撑核心业务系统。
张益最后表示,对双方的合作信心满满,展望未来,在技术层面,南大通用将持续投入研发资源,一起构建开源数据库根社区,让openGauss成为数据库业内主流的开源社区。在市场层面,南大通用将联合openGauss推出更多行业解决方案,将原生分布式数据库的能力真正落实到行业和企业数字化创新发展的过程中,为数据库产业发展助力。
可以看到,openGauss是华为将自己在数据库领域数十年的积累贡献出来,力推开源生态,南大通用在openGauss的基础上,结合自己在数据库领域二十年的积累,构建了多模多态的原生分布式数据库GBase 8c,丰富openGauss在分布式数据库的生态。
TOM2022-11-11 13:0311-11 13:03
TOM2022-11-11 12:1811-11 12:18
TOM2022-11-11 12:1411-11 12:14
TOM2022-11-11 12:0111-11 12:01
TOM2022-11-11 11:5311-11 11:53