2023 DTC數(shù)據(jù)技術(shù)嘉年華湖倉(cāng)技術(shù)創(chuàng)新論壇現(xiàn)場(chǎng)，GBASE南大通用8a產(chǎn)品總工程師張紹勇分享了《GBase GCDW云原生實(shí)時(shí)邏輯數(shù)倉(cāng)支持湖倉(cāng)一體》的主題演講。本篇文章帶大家深入解讀GBase GCDW云原生數(shù)倉(cāng)是如何支持和實(shí)現(xiàn)湖倉(cāng)一體。

數(shù)據(jù)倉(cāng)庫(kù)不同于數(shù)據(jù)庫(kù)與數(shù)據(jù)湖，數(shù)據(jù)庫(kù)主要面向業(yè)務(wù)系統(tǒng)，數(shù)據(jù)湖則負(fù)責(zé)存儲(chǔ)所有原始數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)的誕生得益于企業(yè)對(duì)數(shù)據(jù)價(jià)值挖掘需求的涌現(xiàn)，傳統(tǒng) OLTP 事務(wù)型數(shù)據(jù)庫(kù)跨部門數(shù)據(jù)難以打通，易產(chǎn)生數(shù)據(jù)孤島，數(shù)據(jù)倉(cāng)庫(kù)將不同源的數(shù)據(jù)聚合到集中且一致的數(shù)據(jù)存儲(chǔ)系統(tǒng)中，解決傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法跨庫(kù)操作的問(wèn)題，并結(jié)合數(shù)據(jù)挖掘、人工智能 （AI） 和機(jī)器學(xué)習(xí)等技術(shù)發(fā)掘數(shù)據(jù)價(jià)值，以支持企業(yè)經(jīng)營(yíng)決策；并使其作為 BI 的技術(shù)底座，滿足客戶的數(shù)據(jù)分析和決策支持。

張紹勇談及：傳統(tǒng)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)伴隨著應(yīng)用場(chǎng)景的極速拓展以及數(shù)據(jù)規(guī)模和類型攀升正面臨著六類挑戰(zhàn)。

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)演進(jìn)趨勢(shì)

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)由來(lái)已久，從上世紀(jì)八十年代獨(dú)立出單獨(dú)產(chǎn)品后，不斷演進(jìn)發(fā)展，經(jīng)歷了若干發(fā)展階段。

云原生實(shí)時(shí)邏輯數(shù)倉(cāng) 構(gòu)筑湖倉(cāng)一體的新支點(diǎn)

因數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)不支持非結(jié)構(gòu)化數(shù)據(jù)、成本高、不靈活等局限，數(shù)據(jù)湖也存在查詢性能低下、實(shí)時(shí)性、可靠性差的問(wèn)題。將兩者融合的技術(shù)方案即湖倉(cāng)一體融合雙方優(yōu)點(diǎn)，逐步發(fā)展起來(lái)。GBase GCDW應(yīng)運(yùn)而生。

云數(shù)倉(cāng)GBase Cloud Data Warehouse（簡(jiǎn)稱GCDW）是GBASE自主研發(fā)的一款基于行列混合存儲(chǔ)的海量分布式大規(guī)模并行處理的彈性云原生數(shù)據(jù)倉(cāng)庫(kù)。滿足客戶企業(yè)級(jí)彈性數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)應(yīng)用場(chǎng)景需求。GCDW有兩個(gè)核心特性。

• GCDW既支持本地部署（私有云下的計(jì)算與存儲(chǔ)分離模式）也支持云上部署，具備彈性資源擴(kuò)展能力，用戶可以根據(jù)自身的需要隨時(shí)彈性擴(kuò)展計(jì)算單元或者存儲(chǔ)單元。

• GCDW在云上提供SaaS能力，為客戶提供企業(yè)級(jí)彈性數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，讓用戶能夠在云中更輕松地設(shè)置、操作。

GCDW的虛擬集群（物理隔離）和資源管理（邏輯隔離）實(shí)現(xiàn)了資源的彈性和混合負(fù)載；支持多源的、實(shí)時(shí)高效的數(shù)據(jù)集成，并提供向量化計(jì)算、硬件加速的能力來(lái)實(shí)時(shí)響應(yīng)用戶的數(shù)據(jù)處理需求，讓業(yè)務(wù)從單一離線跑批走向?qū)崟r(shí)；

其新一代向量計(jì)算引擎結(jié)合經(jīng)典火山模型與塊（Block）處理，充分利用CPU，提高 Cache 利用率，減少不必要的存儲(chǔ)和內(nèi)存訪問(wèn)；同時(shí)，基于第四代至強(qiáng) 可擴(kuò)展處理器大幅提高性能與壓縮率，顯示更高的壓縮比并改善單位數(shù)字性能。

案例

• GCDW某行集市應(yīng)用

項(xiàng)目中試點(diǎn)了三類業(yè)務(wù)場(chǎng)景：風(fēng)險(xiǎn)集市、監(jiān)管報(bào)送、歷史數(shù)據(jù)重跑。

利用GCDW彈性資源、多租戶能力，針對(duì)每個(gè)集市應(yīng)用建立一個(gè)子租戶，實(shí)現(xiàn)資源隔離、彈性擴(kuò)展、資源快速供給，以及未來(lái)的湖倉(cāng)一體。

風(fēng)險(xiǎn)集市：50+日作業(yè)，日增數(shù)據(jù)1TB，4~8節(jié)點(diǎn)WH，性能和GBase8a集群基本持平；

監(jiān)管報(bào)送臨時(shí)業(yè)務(wù)：界面配置WH計(jì)算資源立即可得，數(shù)據(jù)已在庫(kù)內(nèi)，立即進(jìn)入開(kāi)發(fā)測(cè)試；

歷史數(shù)據(jù)重跑：數(shù)據(jù)湖中歸檔數(shù)據(jù)無(wú)需“升溫”，湖倉(cāng)一體直接從湖中讀取數(shù)據(jù)重跑；多租戶特性，誰(shuí)需要誰(shuí)操作，而不需要依賴主庫(kù)。

GBase GCDW作為具有綜合處理能力的大數(shù)據(jù)平臺(tái)重要組件，具備、多租戶數(shù)據(jù)開(kāi)放能力和跨中心操作能力，結(jié)合大數(shù)據(jù)應(yīng)用的復(fù)雜化融合化等特點(diǎn)，能夠集成管理各類平臺(tái)，融入機(jī)器學(xué)習(xí)的智能計(jì)算能力，關(guān)系計(jì)算與非關(guān)系型計(jì)算的融合計(jì)算能力以及數(shù)據(jù)的實(shí)時(shí)接入、處理的實(shí)時(shí)能力，同時(shí)集成數(shù)據(jù)湖，支持?jǐn)?shù)據(jù)的安全傳輸和數(shù)據(jù)統(tǒng)一存儲(chǔ)，依靠計(jì)算存儲(chǔ)分離的架構(gòu)來(lái)實(shí)現(xiàn)分析域私有云和公有云對(duì)接的DaaS服務(wù)部署和開(kāi)放能力。依靠這些能力在云上構(gòu)筑湖倉(cāng)一體。