北農商項目-數據倉庫平臺替換項目
項目概況
隨著信息技術的發展和進步,數據資源已經成為企業的核心資源。整合數據資源,發現數據價值,成為企業經營的新趨勢和迫切訴求,數據倉庫平臺是企業的重要數據分析系統,在數據收集、數據整合、數據分析、數據應用等方面發揮了核心作用。在此背景下,北農商行為推進數字化轉型發展,提升信息技術體系自主可控水平,確保信息技術產品供應鏈安全,決定進行數據倉庫平臺信息技術應用創新改造。
我行數據倉庫平臺2.0從2018年上線以來,已運行6年時間,目前可基本保持平穩運行。隨著業務發展,數據規模迅速增長,下游數據接口、報表、監管報送等業務應用不斷增加,使得我行建立在Oracle Exadata一體機上的數據倉庫系統在容量和性能等方面面臨更大的問題和挑戰,這些問題已直接影響數據倉庫系統的數據服務能力,也制約著數據倉庫的進一步發展。
目前Oracle Exadata一體機已使用空間95T左右,接近100T的數據備份限制,隨著數據量的持續增長,數據備份面臨一定的風險。另外隨著業務量的增加,跑批時長也在逐漸增長,很難滿足下游系統以及報表等的時效性要求。
解決方案
新平臺基于MPP大規模并行計算框架,采用南大通用GBase 8a分析型數據庫。數據分布在多個節點上,可以并行執行計算;節點內具有列存儲技術,可以創建智能索引、列并行處理、高效壓縮,提高批量效率;Shared Nothing架構,可以進行在線擴展以及透明的數據分布;管理節點實例多活冗余、計算節點實例冗余,具有高可用性;可以根據數據資源以及計算資源動態擴展,適應未來業務需求。
采購數據倉庫信創數據庫產品授權,部署在我行生產環境、測試環境、開發環境上,生產環境15臺計算節點、測試環境3臺計算節點、開發環境3臺計算節點。
應用效果
新系統體現完善的性能和本地服務優勢。
1、高可用能力
提供完善的高可用機制,確保各數據中心之間的數據能夠同步,并提供高可用系統架構、環境部署、環境搭建、資源分析、系統設計等技術方案支持。
2、資源復用能力
支持多租戶使用,而且不同租戶之間的資源使用完全隔離。
3、圖形化及自動化管理能力
擁有圖形化數據庫監控管理工具和自動化運維工具,具備數據庫資源分配、容量管理、安全控制、性能監控、故障報警、數據備份、主從切換、災備切換等功能。
4、在線資源管理能力
具備數據庫資源的在線擴容、縮容等功能。
5、數據保護能力
提供多種數據備份方式,至少包括物理備份和邏輯備份兩種,并支持在線驗證備份數據準確性和可用性。