承德銀行數據中臺項目
項目概況
項目背景
隨著各渠道數據的的不斷增加以及既有數據的不斷累積，承德銀行原有系統已經不能滿足當前綜合數據分析的需求。為此，承德銀行搭建Hadoop+MPP混搭架構的數據中臺，在一期建設數據采集、數據預處理、數據存儲、數據處理、數據分析、數據可視化等支撐能力為一體的平臺為將來的數據中臺進一步建設奠定基礎。
業務需求
為解決用戶各系統數據不共享問題及綜合渠道數據分析及未來數據源擴展靈活性問題，中臺一期項目需求主要包括：
數據開發能力：建設統一的數據交換、作業調度和數據開發等管理平臺，更好進行技術管理，提升數據開發效率及數據流轉效率；
數據應用能力：建設指標管理平臺，實現指標在指標管理平臺落地管理與查詢；
建設數據貼源層：完成對業務系統數據進行采集、匯聚，盡可能保留原始業務流程數據，與業務系統基本保持一致，僅做簡單整合或者增加標識數據日期描述；
建設數據模型層：基于源系統，按照我行數據標準建設統一數據模型，包括但不限于基礎整合層模型、共性加工層模型，沉淀公共數據，實現數據標準落地，形成統一規范的標準業務數據體系；
建設指標匯總層：根據監管報表、數據應用和經營管理需求，梳理金融機構常見指標，形成具有接地氣、前瞻性的指標體系，實現至少500個指標在指標管理平臺落地；
歷史數據導入：補追自2021年1月1日產生的主數據文件入庫。
建設要求
采用加密技術進行通訊數據的加密；按照《承德銀行數據倉庫技術規范》，每日向數據倉庫自動提供本業務數據，相關技術標準要滿足《承德銀行數據質量要求》；支持雙機熱備、雙活等系統部署模式，如：主機出現故障無法對外提供服務時，備機要立刻自動接管，以保證系統連續性服務要求；能夠通過增加應用節點的方式線性擴展處理能力。
解決方案
承德銀行中臺數據來源于業務平臺、渠道、CRM等眾多異構平臺，數據融合是打通各個平臺實現數據無縫共享的關鍵。通過南大通用 GBase 8a MPP Cluster 數據庫構建融合數據的統一存儲與管理平臺，在平臺上實現各渠道數據的統一管理，并按照《承德銀行數據倉庫技術規范》及《承德銀行數據質量要求》實現數據歸集及數據治理，完成數據中臺的數據基礎建設。
承德銀行數據中臺一期建設分生產環境和測試環境兩個部分。生產環境：在5臺服務器上，部署3個管理節點、5個數據節點的GBase 8a及2個管理節點、4數據節點的HADOOP；測試環境：配備3個混合節點的GBase 8a和3個混合節點的HADOOP。通過生產環境的GBase 8a數據庫完成業務系統數據進行采集、匯聚、整理工作。透過基礎整合層模型、共性加工層模型等模型，沉淀公共數據，實現數據標準落地，形成統一規范的標準業務數據體系，完成一期的數據治理。
圖1- 1承德銀行數據中臺一期系統架構示意圖
應用效果
實施情況
一期中臺數據審查部分部署了3個管理節點、5個數據節點的GBase 8a及2個管理節點、4數據節點的HADOOP，二期根據業務擴展擴容3個數據節點。
效果及價值
數據統一管理：實現承德銀行業務數據、渠道數據及CRM等數據的統一融合管理，為綜合業務分析提供了基礎；
實現了數據初步治理：通過融合及標準化清洗，完成了數據的初步治理，實現了人行數據初步治理的目標；
靈活的可擴展性：通過混搭結構，實現了全數據類型覆蓋，為未來的進一步數據中臺建設，打下了良好的基礎。