大豐銀行數(shù)據(jù)平臺(tái)國(guó)產(chǎn)替換項(xiàng)目
項(xiàng)目概況
隨著大豐銀行業(yè)務(wù)不斷發(fā)展,數(shù)據(jù)積累日益增多,海量的歷史數(shù)據(jù)得不到有效利用,金融業(yè)務(wù)和服務(wù)創(chuàng)新缺乏IT技術(shù)支撐。如何利用海量數(shù)據(jù)資源進(jìn)行價(jià)值和商業(yè)變現(xiàn),成為提高核心競(jìng)爭(zhēng)力、搶占市場(chǎng)先機(jī)的關(guān)鍵。隨著數(shù)據(jù)量的增長(zhǎng)及業(yè)務(wù)場(chǎng)景的變化,取數(shù)和計(jì)算范圍不斷擴(kuò)充,整個(gè)ETL過(guò)程的調(diào)度也日益復(fù)雜,這不僅帶來(lái)運(yùn)維成本的增加,也讓數(shù)據(jù)生產(chǎn)質(zhì)量難于保障。
大豐銀行數(shù)據(jù)平臺(tái)使用DB2,存量數(shù)據(jù)達(dá)TB級(jí)以上,數(shù)據(jù)庫(kù)性能和穩(wěn)定性都遇到挑戰(zhàn),急需保證數(shù)據(jù)平臺(tái)系統(tǒng)在高并發(fā)和高負(fù)荷下進(jìn)行查詢分析的快速響應(yīng)能力和系統(tǒng)穩(wěn)定性。在擴(kuò)展性方面,需滿足未來(lái)業(yè)務(wù)對(duì)系統(tǒng)擴(kuò)展的要求。另外在成本方面,系統(tǒng)需要具有較高的性價(jià)比,避免后期建設(shè)由于成本過(guò)高導(dǎo)致的不可持續(xù)維護(hù)和擴(kuò)容。
解決方案
為了滿足大豐銀行數(shù)據(jù)查詢分析的用戶需求,采用GBase 8a MPP Cluster大規(guī)模分布式并行數(shù)據(jù)庫(kù)集群系統(tǒng)替代DB2建設(shè)新的數(shù)據(jù)平臺(tái)以滿足用戶的預(yù)期,并帶來(lái)更高的價(jià)值。
數(shù)據(jù)平臺(tái)采用數(shù)節(jié)點(diǎn)GBase 8a集群支撐TB級(jí)數(shù)據(jù)量。通過(guò)GBase 8a的列存儲(chǔ)、智能索引、高壓縮等技術(shù),有效減少磁盤(pán)I/O訪問(wèn)量,在查詢統(tǒng)計(jì)分析方面較原有系統(tǒng)有很大幅度的提升;支持即席查詢和多維分析;支撐各種復(fù)雜的BI應(yīng)用分析展示。作為數(shù)據(jù)調(diào)度平臺(tái)的基礎(chǔ)平臺(tái),實(shí)現(xiàn)模型、指標(biāo)、ETL的統(tǒng)一管理,為金融行業(yè)其他用戶提供方案級(jí)復(fù)用。
大豐銀行數(shù)據(jù)平臺(tái)架構(gòu)圖
應(yīng)用效果
大豐銀行原來(lái)的數(shù)據(jù)平臺(tái)系統(tǒng)是DB2,目前已全面遷移到GBase 8a集群中運(yùn)行,對(duì)大豐銀行的數(shù)倉(cāng)報(bào)表出數(shù)性能有了明顯提升。
海量存儲(chǔ)高速加載:實(shí)現(xiàn)集群加載TB級(jí)數(shù)據(jù),性能高達(dá)數(shù)十TB/小時(shí)。同時(shí)提供高壓縮比入庫(kù),從而提升性能;
即席查詢:在大數(shù)據(jù)量的前提下,實(shí)現(xiàn)快速高效即席查詢和秒級(jí)響應(yīng),為調(diào)度系統(tǒng)提供穩(wěn)定支撐;
統(tǒng)計(jì)分析:針對(duì)行業(yè)大幅提升快速分析性能,比原有系統(tǒng)有2~10倍的性能提升,復(fù)雜統(tǒng)計(jì)分析秒級(jí)響應(yīng);
統(tǒng)一管理:作為數(shù)據(jù)調(diào)度平臺(tái)的基礎(chǔ)平臺(tái),實(shí)現(xiàn)模型、指標(biāo)和ETL的統(tǒng)一管理;
數(shù)據(jù)備份:提供了用戶數(shù)倉(cāng)平臺(tái)重要數(shù)據(jù)的周期導(dǎo)出備份,包括實(shí)例級(jí)備份、庫(kù)級(jí)備份和表級(jí)備份。