中信信托業(yè)務(wù)系統(tǒng)項(xiàng)目
項(xiàng)目概況
中信信托有限責(zé)任公司原信托業(yè)務(wù)系統(tǒng)使用的是TDSQL 庫,從信托客戶方螞蟻、京東、美團(tuán)等頭部互聯(lián)網(wǎng)企業(yè)獲取數(shù)據(jù)賬務(wù)數(shù)據(jù),信托通過FTP方式加載到TDSQL 庫中,然后統(tǒng)一數(shù)據(jù)格式,對(duì)數(shù)據(jù)進(jìn)行匯總、建模,分庫分表等操作將最初以日期分成的表通過hash方式分到最終的16張表中,在表基礎(chǔ)上進(jìn)行賬務(wù)處理、指標(biāo)計(jì)算以及各種監(jiān)管報(bào)送的數(shù)據(jù)加工等操作;
解決方案
本項(xiàng)目使用系統(tǒng)由6節(jié)點(diǎn)GBase 8a MPP Cluster集群組成,承載3~5TB數(shù)據(jù)。
GBase 8a 大規(guī)模分布式并行數(shù)據(jù)庫集群系統(tǒng)處理結(jié)構(gòu)化數(shù)據(jù),能夠適應(yīng)OLAP計(jì)算模型的業(yè)務(wù)場(chǎng)景,完成數(shù)據(jù)的查詢和分析。為解決原系統(tǒng)性能瓶頸及單點(diǎn)故障問題,采用MPP+Shared Nothing的分布式聯(lián)邦架構(gòu),為客戶提升了信息處理能力和水平,提升了客戶數(shù)據(jù)分析時(shí)效性和使用體驗(yàn)。
業(yè)務(wù)系統(tǒng)數(shù)據(jù)通過FTP上傳到TDSQL數(shù)據(jù)庫中,然后把需要分析處理數(shù)據(jù)加載到GBase 8a 集群中,GBase 8a對(duì)數(shù)據(jù)整合、清洗、轉(zhuǎn)換等操作,加工完成的數(shù)據(jù)提供給上層系統(tǒng)使用。
應(yīng)用效果
實(shí)施情況
引入GBase 8a MPP Cluster集群后,中間層的數(shù)據(jù)計(jì)算和報(bào)送從最初的MySQL處理,轉(zhuǎn)換為GBase集群處理,處理時(shí)間效率加快,從開始的3.5小時(shí)處理完成,引入GBase后,1小時(shí)即可處理完并進(jìn)行結(jié)果推送;
效果及價(jià)值
高速加載、海量存儲(chǔ):實(shí)現(xiàn)億行大表數(shù)據(jù)高速加載,通過高壓縮比入庫功能來提升數(shù)據(jù)庫入庫性能和數(shù)據(jù)存儲(chǔ)能力,同時(shí)海量存儲(chǔ)存儲(chǔ)有利于,整合多業(yè)務(wù)部門數(shù)據(jù);
即席查詢、秒級(jí)響應(yīng):在海量數(shù)據(jù)下,實(shí)現(xiàn)高速即席查詢和區(qū)間范圍查詢,為分析系統(tǒng)提供穩(wěn)定支撐;
極高性能:應(yīng)用智能索引、全并行架構(gòu)、透明壓縮技術(shù)等實(shí)現(xiàn)極速查詢分析,全面支持高性能查詢分析場(chǎng)景;
高可擴(kuò)展:集群采用Shared-Nothing架構(gòu),支持不中斷業(yè)務(wù)在線按需動(dòng)態(tài)橫向擴(kuò)展,滿足業(yè)務(wù)系統(tǒng)對(duì)存儲(chǔ)容量和計(jì)算能力的需求。