核心數據倉庫經營分析系統國產化替換項目
核心數據倉庫經營分析系統國產化替換項目
項目概況
項目背景
流量經營已是河北聯通戰略轉型的重點,原有的傳統小型機+Oracle 的經分系統由于其成本與性能的限制,無法滿足當前河北聯通的數據處理性能要求。
河北聯通采用 GBase 8a MPP Cluster 數據庫作為底層數據平臺,用 GBase 8a 建設核心數據倉庫存儲河北聯通全域的高價值結構化數據,并通過對全域數據的關聯分析計算,向平臺應用層以及外圍系統數據接口提供高度匯總的結果數據,同時直接支撐前臺頁面的報表查詢和即席查詢。
業務需求
傳統小型機+Oracle 的經分系統由于其成本與性能的限制,無法滿足當前河北聯通的數據處理性能要求,隨著后續更多業務平臺的接入,省級經分的數據規模將達到PB級別,現有平臺完全無法承載。為了實現對用戶的精準畫像業務,數據內容、互聯網數據都將納入統一數據平臺中。在上述問題亟待解決的背景下,河北聯通秉承“高效低成本”的指導原則,兼顧海量數據的存儲及管理能力和海量數據的處理及分析能力,采用 GBase 8a MPP Cluster 數據庫作為底層數據平臺,建立起公司業務融合運營、能力對外服務的大數據平臺。
解決方案
本項目使用二十余節點 GBase 8a MPP Cluster 數據庫構建核心數據倉庫,采用 GBase 8a 快速加載工具,將數據快速的加載到數據倉庫中。用 GBase 8a 建設核心數據倉庫存儲河北聯通全域的高價值結構化數據,并通過對全域數據的關聯分析計算,向平臺應用層以及外圍系統數據接口提供高度匯總的結果數據,同時直接支撐前臺頁面的報表查詢和即席查詢。
河北聯通大數據平臺架構圖
應用效果
實施情況
平臺已部署數十節點(管理節點+數據節點),數據總量達數百TB ,庫內數萬張數據表。
效果及價值
高效低成本:通過使用廉價 X86 設備建立分布式集群,提供比小型機更高的處理性;
擴展更靈活:完全不受數據量與設備能力的限制,集群從8節點到12、24節點再到36節點,隨需擴展;
數據更融合:全面融入省內各業務支撐系統的數據,數據保存周期更久;
遷移更安心:原廠工程師全面保障 Oracle 到 GBase 8a MPP 的數據與應用遷移,原系統零改動直接在 GBase 8a MPP上運行。