廣發(fā)銀行Sybase IQ數(shù)據(jù)庫(kù)遷移項(xiàng)目
項(xiàng)目概要
廣發(fā)新報(bào)表服務(wù)平臺(tái)建設(shè)構(gòu)建一套全新國(guó)產(chǎn)化MPP 數(shù)倉(cāng)平臺(tái),滿足以下需求:
高性能、高擴(kuò)展性、高穩(wěn)定性
精準(zhǔn)分析平臺(tái)數(shù)倉(cāng)數(shù)據(jù)遷移
遷移現(xiàn)有Sybase IQ數(shù)據(jù)到新數(shù)倉(cāng)平臺(tái)、14TB壓縮前容量(高頻事實(shí)表與維表)、僅遷移數(shù)據(jù),數(shù)據(jù)模型維持不變
實(shí)施服務(wù)
負(fù)責(zé)完成新平臺(tái)構(gòu)建、對(duì)接新平臺(tái)業(yè)務(wù)、數(shù)據(jù)遷移服務(wù)
五層架構(gòu)描述:
數(shù)據(jù)來源層:廣發(fā)銀行的各個(gè)業(yè)務(wù)系統(tǒng)
數(shù)據(jù)交換層:作為源數(shù)據(jù)與數(shù)倉(cāng)/數(shù)據(jù)湖的中間數(shù)據(jù)交換層,兼容各種數(shù)據(jù)抽取工具
數(shù)據(jù)處理層:該層分為數(shù)據(jù)處理和數(shù)據(jù)加工:數(shù)據(jù)處理層采用湖倉(cāng)一體化架構(gòu) :數(shù)據(jù)清洗/粗加工在hadoop上完成,借助GBase 8a數(shù)據(jù)融合能力,處理后數(shù)據(jù)透明入倉(cāng)(不落地)
數(shù)據(jù)加工層:數(shù)據(jù)經(jīng)過清洗加工后,進(jìn)入數(shù)據(jù)主倉(cāng),數(shù)據(jù)在主倉(cāng)完成基礎(chǔ)和共性數(shù)據(jù)加工,主倉(cāng)由GBase 8a承載
數(shù)據(jù)集市(模型)層:完成數(shù)據(jù)模型的建立和處理, GBase 8a支持各種數(shù)據(jù)模型(關(guān)系、維度模型)。
應(yīng)用&展示層:本層為數(shù)據(jù)應(yīng)用系統(tǒng),包含報(bào)表系統(tǒng)和營(yíng)銷系統(tǒng)以及其它新業(yè)務(wù)平臺(tái)。 GBase 8a支持各種BI平臺(tái)(PowerBI、Cognos、帆軟、永洪 、SmartBi 等 )
項(xiàng)目使用分布式數(shù)據(jù)庫(kù)GBase 8a建設(shè)報(bào)表服務(wù)平臺(tái),解決報(bào)表統(tǒng)計(jì)耗時(shí)長(zhǎng)、數(shù)據(jù)庫(kù)擴(kuò)展困難等問題,對(duì)外提供平臺(tái)化開發(fā)能力,提供自定義報(bào)表服務(wù)、自助報(bào)表數(shù)據(jù)下載等功能。