中信證券國產分析型數據庫采購項目
項目概況
項目背景
信息技術應用創新發展是目前我國的一項國家戰略,也是當今形勢下國家經濟發展的新動能。發展信創是為了解決本質安全的問題。本質安全也就是將其變成自己可掌控、可研究、可發展、可生產的,通過發展信創產業構建自己的IT產業標準和生態,使得IT產品和技術安全可控。
為響應國家發展戰略,中信證券股份有限公司將對外報送數倉系統進行數據庫國產化替代進行立項。在中信證券信息技術中心的統一部署下,啟動中信證券國產分析型數據庫(對外報送數倉)系統的建設工作,報送數倉的主要模塊包括:數據采集、模型轉換、報送指標計算以及報送管理等。當前對外報送數倉是一個數個節點的Greenplum一體機的數據庫。本次采購目標是實現對外報送數倉項目的全面國產化,包括服務器、操作系統及數據庫的國產化替代。
關注問題
本項目選型產品需要滿足如下要求:
成熟案例要求:所選產品要有典型成功案例,證明已經經過大規模數據的持久驗證;
三方評測要求:在國家認可的權威第三方機構如工業和信息化部計算機與微電子發展研究中心(簡稱中國軟件測評中心)或中國信息通信研究院(簡稱信通院)完成國產服務器、國產操作系統上的兼容性認證,并提供有測試結果的真實可信的證明文件復印件;
國產服務器兼容:所選產品要有在國產服務器上運行的成功案例,或者做過兼容性驗證,有兼容性適配的證明文件;
國產操作系統兼容:所選產品要有在國產操作系統上運行的成功案例,或者做過兼容性驗證,有兼容性適配的證明文件;
數據、數據庫對象、應用代碼大部分遷移時,能夠使用自動化遷移工具遷移。
建設要求
完成國產替代,包括國產服務器、國產操作系統及國產分析型數據庫的替代,滿足兼容性及性能要求。
解決方案
原對外報送數倉是一個數個節點的Greenplum一體機的數據庫,集市采用oracle搭建,本次采購目標實現國產化,包括服務器、操作系統及數據庫的國產化替代。
新系統采用GBase 8a MPP Cluster集群搭建,GBase 8a MPP面向分析型應用領域,以列為基本存儲方式和數據運算對象,結合列數據壓縮處理、并行處理、快速智能索引等新型數據處理技術,在查詢、統計、分析以及批量加載性能上具備突出的優勢。
交易數據通過數據同步層的informatica批量同步加載至數據管理層的GBase 8a MPP集群。需要支撐采集任務(11個系統19個任務數百張數據庫表)、轉換任務(簡單歸歷史轉換任務數百個),計算程序(8個轉換任務組,共計數百個)。
中信證券對外報送數倉系統架構圖
應用效果
實施情況
本項目共部署集群,共數十個節點,其中數個管理節點,庫內數據達數十T。
效果及價值
成本可控、國產化、可擴展:通過使用國產設備建立分布式集群,替換國外Greenplum一體機,降低維護成本,現實系統未來擴展成本可控,采用全國產可控組件實現自主可控,保障系統信息安全;
開放架構,按需水平擴展: Shared-Nothing架構,支持不中斷業務在線按需擴展;
原廠服務:原廠全方位產品服務,完成數據對象遷移、數據遷移、應用遷移,保障對外報送數倉項目升級改造完成。