某省电信运营商数据仓库系统CirroData加速案例

环京津网   2天前

日前,某省电信运营商完成了数据仓库系统的优化加速工作,该优化案例利用了东方国信与Intel公司的先进软硬件技术,该项目的底层数据库采用了东方国信自主研发的CirroData分布式数据库,在CirroData中引进了国际先进的Intel傲腾SSD盘存储技术,对CirroData计算存储分离架构中的计算节点进行垂直扩展(Scale-up),在保持集群架构不变的情况下,实现了数据仓库系统的加速优化。

一、项目背景:

某省电信运营商基于东方国信国产CirroData分布式数据库,构建了数据仓库系统,并采用东方国信“数据云”和“数据科学云”产品作为数据中台,完成了数字化多维分析生态体系建设,通过统一数据标准和口径,对海量异构数据进行集中化的采集、存储、计算和加工,实现了全域数据的一体化计算和存储。

随着数据仓库系统中全域数据融合的日益成熟,进一步发挥数据仓库系统的潜能,提升全域数据资产的服务体验,成为数据仓库系统的重要发展方向之一。

二、加速优化案例架构:

某省电信运营商为实现数据仓库系统的加速优化,提升数据仓库系统的服务体验,联合东方国信和Intel公司,通过对原有系统的业务数据访问链路进行性能分析,在保持原有数据仓库系统架构不变的前提下,设计出系统性能优化方案:即对分布式集群节点进行垂直扩展(Scale-up),在每个节点的存储层增加Intel傲腾SSD盘作为高速缓存,在提升每个节点缓存性能的同时,让每个节点的计算能力也能得到进一步的发挥。

某省电信运营商数据仓库加速方案架构图如下:

图1: 某省电信运营商数据仓库加速方案架构

某省电信运营商数据仓库系统整体流程中,日批次数据加工流程的任务数多达5000多个,每日增量数据约4TB左右,通过对全流程的性能数据做深入分析,发现:流程中结果数据加载任务是系统中最为耗时的一个环节,所以,提升系统数据加载性能是本次加速优化的重点之一。综合上述分析,本加速方案基于CirroData存储访问代价模型,发挥CirroData分布式数据库计算存储分离架构的灵活性,在存储层面对每个节点进行了垂直扩展(Scale-up),采用了Intel傲腾SSD盘作为高速缓存,从而使得日批次数据加工流程的性能得到明显改善。

CirroData存储访问代价模型可参考如下:

图2: CirroData存储访问代价模型

其中:傲腾SSD盘是Intel公司基于傲腾技术研发的一款新型固态存储产品,作为CirroData分布式数据库的加速、缓存和分层存储产品,可以加快分析型应用速度、降低延迟敏感型工作负载的处理代价,并改善数据中心的整体TCO。

测试结果表明,对比原有系统中CirroData采用普通硬盘作为外部缓存,CirroData采用傲腾SSD盘作为外部缓存的加速效果是:日批次数据加工业务性能提升12.48%,做到了 “空间换时间”的系统优化目标。

三、未来展望:

此次基于实际生产系统的性能优化和测试验证,遵循空间和时间平衡的优化原则,有效地利用了CirroData的“计算分布”“数据分布”全局均衡特性,通过采用Intel傲腾SSD盘对集群节点进行垂直扩展(Scale-up),使得CirroData分布式数据库的强大分析能力得到进一步发挥,也为某省电信运营商、东方国信与Intel三方未来深入合作,充分利用国际先进技术,提供了可供参考的实际案例。未来,在此案例基础上,将进一步打造CirroData分布式数据库特色产品方案,以帮助企业用户进一步发挥数据库仓库系统的业务潜能。

点击全部