云南移動經分系統——開放、穩定、動態擴展
云南移動經分系統——開放、穩定、動態擴展
項目背景
近年隨著云南移動的業務量激增,企業的業務分析系統不斷面臨日益增長的數據處理規模的壓力,并且以精細化、個性化服務的理念做驅動,運營商企業對經營分析的處理模型愈加復雜,由此業務對系統的數據承載能力和分析處理能力提出了更高的要求。基于以上要求,中國移動云南經分大數據平臺改造工程,計劃引入MPP 關系型數據庫來實現整體性能提升。
解決方案
MPP 經分倉庫數據庫和 DB 構建的傳統經分主庫共同組構為實現云南移動經分業務的客戶分析類、服務分析類、渠道分析類等各類主題域分析的統一數據分析平臺。為使企業構建面向更大規模數據和更復雜的挖掘分析處理打下平臺建設基礎。做為本項目的經分數據倉庫的擴容思路,擴容后經分系統下的各個平臺要素之間的數據處理具體流程如下:
從 BOSS、計費、CRM 等業務系統收集業務原始數據;
經傳統系統下的 Informatica、SAS 等 ETL 工具對數據進行清洗和轉換;
將清洗后數據通過 ETL 工具的加載功能分路傳送到當前的 Oracle/DB2 經分
主庫和 MPP 接口機上。接口機完成最終的數據向 GBase 8a MPP Cluster 數據庫的加載。
數據平臺劃分為由傳統集中式數據庫與 MPP 分布式數據庫共同構建的集成式數據倉庫平臺。新的數據平臺可以融合 MPP 分布式數據庫的可擴展優勢,也可集成傳統數據倉庫平臺上對高價值密度數據的強一致性等各類數據可靠性保證。
云南移動經分系統架構圖
應用效果
低成本:GBase 8aMPP Cluster數據庫運行于低成本的X86PCServer,有效節省硬件投入成本,將擴容成本降為原來的1/10左右;
動態擴展:GBase8aMPPCluster數據庫節點的水平橫向擴展模式,動態擴展無須停止服務,保證服務連貫性;
高可用:GBase 8a MPP Cluster 數據庫提升整個系統的協同效率,基于安全組的備份策略,能夠保證某節點在發生故障時,不影響系統對外提供服務的連續性