ODS/EDW系統(tǒng)改造支撐項(xiàng)目
項(xiàng)目背景
上海電信ODS/EDW應(yīng)用系統(tǒng)范疇存在以下幾類問(wèn)題:
數(shù)據(jù)庫(kù)存儲(chǔ)緊缺;
ETL性能瓶頸,后續(xù)增加應(yīng)用會(huì)出現(xiàn)爭(zhēng)搶資源的現(xiàn)象,導(dǎo)致程序整體性能下降;
針對(duì)這些問(wèn)題,構(gòu)建分布式數(shù)據(jù)處理平臺(tái)作為ODS/EDW數(shù)據(jù)倉(cāng)庫(kù)的有益補(bǔ)充。GBase 8a MPP Cluster數(shù)據(jù)庫(kù)采用大規(guī)模并行處理架構(gòu)高效的處理能力和強(qiáng)大的關(guān)聯(lián)查詢性能,突破目前大數(shù)據(jù)量業(yè)務(wù)數(shù)據(jù)加載的性能瓶頸,克服傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)高成本、運(yùn)算時(shí)間長(zhǎng)、分析結(jié)果及業(yè)務(wù)報(bào)表滯后等劣勢(shì),并且采用PC Server模式,大大節(jié)約新購(gòu)存儲(chǔ)成本。
解決方案
本項(xiàng)目采用GBase 8a MPP Cluster 數(shù)據(jù)庫(kù),所有業(yè)務(wù)的高度匯總和分析,集團(tuán)寬表處理及上傳,本地寬表層處理,本地匯總層處理全部遷移至 MPP 平臺(tái),銷售管控體系、全景銷售視圖相關(guān)程序也同時(shí)遷移上去。
應(yīng)用效果
運(yùn)營(yíng)提速:滿足集團(tuán)要求的全網(wǎng)數(shù)據(jù)運(yùn)營(yíng)進(jìn)入提速階段,每天10點(diǎn)之前確保產(chǎn)品實(shí)例,銷售品等全量數(shù)據(jù)的上傳;
即席查詢:自助報(bào)表查詢實(shí)現(xiàn)秒級(jí)響應(yīng),解決部分大數(shù)據(jù)量應(yīng)用查詢效率低下問(wèn)題 ,有效提升用戶感知和滿意度;
性能提升:利用大規(guī)模并行處理架構(gòu)高效的處理能力和強(qiáng)大的關(guān)聯(lián)查詢性能,突破目前大數(shù)據(jù)量業(yè)務(wù)數(shù)據(jù)加載的性能瓶頸,克服傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)高成本、運(yùn)算時(shí)間長(zhǎng)、分析結(jié)果及業(yè)務(wù)報(bào)表滯后等劣勢(shì);
高擴(kuò)展:原有服務(wù)器的垂直縱向擴(kuò)展模式改為依據(jù)數(shù)據(jù)量的水平橫向擴(kuò)展模式,支持在線線性擴(kuò)展,且性能隨著節(jié)點(diǎn)的增加而線性提升;