【GBASE案例】GBase 8a mpp助力農行大數據平臺集群搬遷案例分析
項目背景
隨著農行數據量的與日俱增,GBase集群規劃也逐年增大,截止目前農行集群規模1000節點以上,幾十套集群環境。為了便于后期服務器的統一管理、降低運營管控成本。故農總行決定將亦莊所有GBase集群服務器搬遷至農行北清路稻香湖數據中心機房。
中國農業銀行總行企業級大數據平臺建設從2014年4月建設,2016年4月完成數據庫主倉121節點AB雙活集群,而后針對業務主題建立了多套數據集市,GBase 8a mpp產品承載搭建了17套集市集群、1套主倉業務集群、8套分析類業務集群。支撐總數據量大于20PB(源數據)。完成了農總行重要數據的整合,匯聚、存儲、管理全行高價值數據,并根據上層應用需求提供全業務數據共享服務;提供海量數據處理和分析能力,提供高性能、高效率和高質量的數據分析、挖掘、清洗等能力。
因管理全行業務數據巨增及生命周期加長,隨之存儲空間和分析性能不足,需進行擴容、搬遷管理及整合,為了便于后期服務器的統一管理、降低運營管控成本。故決定將亦莊所有GBase集群服務器搬遷至農行北清路稻香湖數據中心機房。
解決方案
1. 前期對AB雙活集群進行切換模擬演練,梳理切換過程中相關步驟,異常問題的評估與解決;
2. 對已有的雙活集群采用集群雙活切換搬遷機制。先搬遷B集群,次日AB集群再開啟數據同步功能。保證B集群數據與A集群一致;之后在適當時間窗口再搬遷A集群服務器;
3. 對只有A集群沒B集群的集群環境,采用臨時搭建B集群(新地方)的方式。將A集群數據同步到臨時B集群,在AB數據一致的前提下,進行A集群的搬遷;
4. 保證在搬遷過程中南大通用技術人員全力配合農行相關運維人員的工作,保證集群搬遷后的集群狀態檢查,異常處理等工作。
價值體現
● 全面盤點數據資產
對業務數據進行全面盤點,形成數據地圖,為業務應用和數據獲取夯實基礎
● 不斷提升數據質量
數據質量的不斷提升是基礎
● 實現數據互聯互通
實現數字化轉型,打破數據孤島,實現全行業務數據互聯互通
● 提高數據獲取效率
讓數據隨時快速有效就緒,縮短數據準備時間
● 保障數據安全合規
保障安全是數據資產管理的底線
● 數據價值持續釋放
持續和動態地改進,隨技術、市場、產業的變化不斷迭代
對大數據進行管理、整合、分析并挖掘其價值,從而幫助客戶實現大數據資產的風險可控、安全合規、績效提升,持續提供不斷創新的大數據服務,更有效地使用大數據資產而組織和實施的制度、標準、流程、管理、整合、分析等工作的實踐集合,為客戶創造更多的業務價值。
服務:厚積薄發的數據服務
產品:豐富的全棧產品線
研發:雄厚的研發技術實力
技術:近20年的產品技術沉淀
資金:近20億的研發資金投入