天玑科技助力中国移动国产化国内某数据库资源池技术实践
2024-04-27 00:25:22

d1.png

长期以来,运营商在IT领域的技术探索与应用始终处于行业领先位置,通过基础架构及中台架构的不断演进,实现对前端业务需求的快速响应及稳定支撑。在不断提升IT能力的同时,运营商也十分重视国产化自主能力的建设。近年来各省移动IT环境的国产化架构替代改造也全面铺开,陆续进入深水区,涵盖了服务器、网络、安全、操作系统、数据库、应用等多个方面。在这些细分领域替代改造中,最谨慎的莫过于针对数据库领域。


早在2013年,业界就提出了『去IOE』的说法,但时至今日,在运营商IT环境中,Oracle仍然占据了数据库软件的较大份额数据库的替代改造,并不仅仅是简单的一个数据库软件的更换,同时还需要兼顾到承载各类数据库运行管理的基础架构平台,因此,数据库环境的国产化改造,需要考虑的是方案成熟度、开放性、兼容性及整个生态成熟度、市场认可度等多方面因素,否则可能得不偿失。




痛点


基于上述考量因素,中国移动集团及各省分公司持续性推进各类国产数据库的试点工作,通过真实试点业务环境,来摸清各种类型数据库特性及适用场景。近期,某省移动经过论证,计划通过采用分布式数据库及达梦数据库来试点数据库的国产化替换工作,总体思路是:对于重型核心业务及OLAP类业务,采用分布式数据库进行替代;对于一些改造难度较大、分布式改造效果不佳、或中小型非核心的OLTP类数据库,采用达梦数据库替代。从计划应用的国产化数据库数量上而言,达梦数据库的占比较大,那么问题也随之接踵而来:


1

基础架构的资源整合困难

对于重型核心业务及OLAP业务而言,采用分布式数据库,利用标准的高性能服务器组网,形成一个或多个大的数据库集群,并具备多租户模式,可在一套集群上承载同类型的多个相关业务,实现高效的资源利用。但对于达梦数据库而言,暂时还不具备多租户模式,在需要承载的业务系统数量多,且对资源的需求多样化的应用需求下如何实现资源整合,避免烟囱架构,是大规模应用前需解决的一个痛点。


2

传统的虚拟化资源池不适合承载数据库业务

资源池化后可以有效提升资源弹性、利用率及交付效率,但对于业务数据库而言,却有所水土不服。对于关键业务数据库部署在传统虚拟机资源池中,存在以下不足:


计算机性能不满足

虚拟化模式,CPU采用共享方式使用,资源存在争用,无法满足数据库大并发低时延的响应需求;

存储能力不匹配

通用虚拟化模式下,CPU采用共享方式使用,各业务争抢资源存在争用,无法满足数据库大并发低时延的响应需求;且在虚拟化过程中存在一定的资源损耗,降低硬件性能。

集群部署不便

虚拟化资源池在部署达梦的共享集群DMDSC时,通常不具备独立的数据库私有心跳及内部通讯网络,也不易实现针对数据库集群部署的互斥组及高可用策略,存在诸多不便之处。

后期扩容难度大

在数据库试点过程中,很多业务数据库经过验证可行后,会快速从测试环境演进为生产环境,对资源和性能的需求成倍数增长,此时如采用传统资源池化方式,扩容也未必能满足需求,此时就需要大规模的迁移及基础设施重建过程。

3

交付效率低

对于数据库而言,传统的交付方式中存在工作量大,交付周期长,交付标准化程度低的问题。在大规模数据库试点改造项目中,更加需要标准化、流程化、自动化的交付方式,用户能够通过平台自助申请并获取资源,能够直观地了解数据库的运行状态。




解决思路


那么,是否有这样一套架构?可以解决上述痛点,既能够保证数据库的性能需求,又能够实现多数据库环境下的资源整合利用;同时在性能需求提升时,可快速升级,甚至平滑提升迁移至高性能模式;此外,还具备快速交付、自动化运维监控的配套能力。


该移动公司信息技术部门经过综合考量,决定采用天玑科技『分区数据库资源』模式进行部署,具体实现思路如下:


1

采用服务器『软分区』模式部署达梦数据库

『分区』模式是介于物理服务与传统虚拟化之间的一种资源虚拟化分配、使用方式,有机实现资源与性能的平衡,其与传统虚拟化的最大的区别在于:传统虚拟化技术,通常基于vCPU模式进行资源调度,较少将vCPU与物理内核心建立一对一的映射关系;而分区模式锁定了CPU物理核资源,同时预占了物理内存模式,避免频繁线程切程及内存申请,在网卡及HCA卡层面,采用SR-IOV硬件虚拟化技术,保证各分区数据通讯的低时延及QoS。


d2.png
d3.png
d4.png
d5.png


2

基于数据库一体机架构实现

数据库一体机是承载高并发、高IO的重负荷数据库的一件利器,其核心技术是基于IB或RoCE无损交换机通过RDMA协议实现节点间内存数据直接快速交换,但其通常用于Oracle数据库场景。准确地说,单独纯采用服务器部署MySql、Postgresl、达梦等开源、国产数据库很难使用这种高速协议,难以充分发挥硬件全部性能,但如果通过某个平台架构将分区技术与高速协议技术相结合,再用于部署达梦数据库,后期随着数据库技术能力及业务需求的提升可不断加大分区资源直至采用物理计算节点部署,则集约性带来的性价比及后续平滑升级这两方面痛点就能迎刃而解。

d6.jpg


3

数据库资源云化交付

为帮助用户实现大规模应用需求落地及满足项目进度要求,需要实现流程自动化、交付自动化、运维自动化。天玑科技数据库一体机解决方案可对接客户云管理平台,可通过云管理平台实现数据库资源的申请、审批;并实现单机、集群模式的自动化交付;后期可为租户提供相应的监控管理界面实现自服务。这需要基于分区的数据库一体机架构能够对接企业云管理平台,且不仅仅单纯实现数据库承载,还需要实现从硬件底层至上层SQL的运维及告警。




天玑数据库分区一体机解决方案


d7.png


天玑科技PBData-K 高性能异构数据库私有云平台【简称 PBData-K】是天玑公司为整合多种类型数据库运行环境设计的高性能异构数据库私有云解决方案。


PBData-K 通过对物理资源进行管理、分配,将单台物理机划分为拥有独立资源的云分区,每个云分区可以运行独立的数据库,通过分区技术提高企业物理资源利用率的同时,又保证数据库之间不会互相影响;PBData-K 采用分布式存储技术、基于 IB 网络的 RDMA 存储直接访问技术、IO 隔离技术、资源分配隔离技术等为云分区提供极致性能保障;PBData-K 提供预定义的数据库模板,支持一键快速完成数据库的创建,帮助企业完成快速业务上线运行;PBData-K 提供统一异构数据库统一监控管理平台,极大简化企业运维。


以下是云分区模式,同配置下针对虚拟机及物理机的性能测试对比:


d8.png

【存储读写性能对比】


d9.png

【4物理核心分区&同等配置物理机达梦数据库Benchmark TpmC对比】


通过上述针对IO性能及数据库事务能力的对比,可以直观地看出,分区模式下的IO性能及数据库承载能力接近物理机,相较于传统的虚拟机有巨大的提升。严格来说,分区也是虚拟化技术的另类模式,在强化IO和计算能力的同时,弱化了数据库环境所不需要的一些特性,使其更好的承载数据库应用,兼顾用户数据库技术转型不同阶段性能需求的同时,大幅提供资源利用率及交付效率。


多年来,天玑公司一直以来致力于用户的IT基础架构能力提升,专注于数据库一体机细分技术领域的研发,通过长期服务客户的经验,为客户提供可信赖的数据库一体化解决方案。