項目背景

北京公司經營分析系統自2004年正式開始全面建設和整合，經分系統集中支撐了各部門、各分公司的管理分析需求；2020年建設新數據中心，擴容GBase 8a MPP數據庫集群，對經分架構體系進行優化設計，實現投資降本增效、應用百花齊放和體系優化提升的目標。

解決方案

北京移動數據中心系統采用PC Server+Linux+本地磁盤的部署模式，近百個（一經主數據倉庫）+數十個（一經專用庫）+十余個（自助分析平臺）節點規模，系統整體采用多種分布式存儲處理平臺的混搭架構，Hadoop的Map/Reduce、Hive處理海量的非結構/半結構化數據的批處理場景；GBase 8a MPP Cluster數據庫處理結構化的海量數據（包括批處理和準實時的交互處理）（本方案在應用展示層采用MySQL數據庫配合GBase 8a MPP Cluster數據庫完成部分與應用的交互處理；流式數據處理框架Streams、MQ、VlotDB實現流處理及復雜數據處理，支撐實時營銷場景。MPP與Hadoop之間的數據傳輸速度，每小時的傳輸速度最快可以達到30T左右。

北京移動數據中心系統架構圖

GBase 8a MPP Cluster數據庫在系統中作為整個企業數據中心的主數據倉庫，擔負處理數據的深度加工和BOM域之間的數據融合，即承擔了整個數據供應鏈中最復雜的數據加工處理過程，具體功能詳見下圖。

整個系統中GBase 8a MPP Cluster數據來源主要是上游數據如boss和crm系統將數據傳到接口機，此時的數據分為結構化數據和非結構化數據，非結構數據的批處理由Hadoop進行處理，然后加載到MPP中再次進行加工使用；結構化數據處理直接加載到MPP數據庫完成。

應用效果

擴展系統數據處理范圍：全面融合運營商的B域/O域/M域數據，為全價值鏈分析打下了數據基礎，實現了從產品、客戶、資源、渠道、基建等多角度挖掘分析；

滿足系統更長周期數據可擴展性存儲，管理和處理：支持長周期的海量數據的存儲管理，滿足了企業數據中心支撐“大數據”的本質訴求。

提高系統數據入庫時間：整體裸數據文件入庫速度最高可達20TB/小時，比原DB2數據庫性能提高100倍以上。

數據庫操作性能提升：一般統計查詢類操作性能提升1倍以上，更新類操作性能提升30%-50%。

提升系統存儲空間利用率：數據容量進一步降至未壓縮前的1/4，極大提高了整個系統的數據生命周期。

降低系統建設軟硬件成本：普通X86架構下的PC Server+源Linux操作系統部署方式，降低了系統的軟硬件投入成本。