廣西移動大數據平臺IOE替代升級改造項目——混合架構助力系統升級
廣西移動大數據平臺IOE替代升級改造項目——混合架構助力系統升級
項目背景
廣西移動用戶與業務不斷發展，經分系統的數據量與日俱增。在這種背景下，為滿足不斷擴展的數據量和業務量要求，廣西移動決定對其NGBASS系統進行云化改造。通過使用Hadoop與MPP等x86云化技術，實現經營分析系統的去IOE化，以達到快速處理大規模的數據，系統有能力持續的擴容等目的。
需求分析
廣西移動的需求在于：使用目前比較成熟的云化技術，將原有經分系統使用小型機處理的各類數據完全放到x86平臺上處理。隨著業務的不斷發展，對今后4G的統計分析將全部使用云化平臺處理，屆時需要對云化平臺進行在線擴容。
解決方案
廣西移動的數據量非常龐大，每天的新增數據在1TB以上。整體解決方案使用了87臺x86服務器作為計算節點搭建了一個GBase 8a MPP Cluster集群，GCluster/GCWare為11個節點集群，GNode為76個節點集群，目前總數據量為610TB。
在底層使用了Hadoop平臺作為ETL系統，將BOSS、客服、網站等接口數據先入到Hadoop平臺中，在其內進行數據清洗轉換。數據在Hadoop平臺上也進行少量的匯總工作，將ODS層的數據放到Hadoop平臺上進行匯總，減輕數據倉庫的壓力。
由GBase 8a MPP Cluster構成的數據倉庫，不僅承擔了整個數據倉庫的所有模型建立、數據匯總等工作，也承擔了數據集市的功能。外部用戶可以訪問集群，對有權限的數據進行自助訪問和分析。
價值體現
l 高性能：入庫、匯總、查詢速度比傳統數據庫提升10-20倍；
l 與Hadoop整合：易與Hadoop平臺進行接口，快速的進行數據交換；
l 低投高效：GBase 8a MPP Cluster平臺的建立，成本僅僅是相同計算能力小型機成本的1/10。