GBase 8a
產(chǎn)品簡(jiǎn)介
市場(chǎng)定位
關(guān)鍵指標(biāo)
- 真正的列存儲(chǔ),數(shù)據(jù)壓縮比最高可達(dá)1:30
- 自動(dòng)提供粗粒度智能索引,高效過(guò)濾,膨脹小,免維護(hù)
- 集群支持100PB以上結(jié)構(gòu)化裸數(shù)據(jù)單結(jié)點(diǎn)100TB裸數(shù)據(jù)
- 支持并行計(jì)算,充分利用現(xiàn)代的 SMP 多核 CPU 資源
- 集群加載速度大于30TB/小時(shí)
- 集群支持事務(wù)的可重復(fù)讀(RR)隔離級(jí)別和快照隔離級(jí)別,支持MVCC多版本并發(fā)控制
產(chǎn)品架構(gòu) · 技術(shù)特性
- 支持標(biāo)準(zhǔn)Linux 內(nèi)核:Cent OS,Redhat, Suse等
- 支持基于x86-64和ARM的標(biāo)準(zhǔn)PC服務(wù)器
- 支持本地存儲(chǔ)(Sata, SAS, SSD etc)
- 支持陣列部署(SAN,NAS)
- 支持SSD,F(xiàn)lash存儲(chǔ)介質(zhì)作為2級(jí)I/O緩存
- 持標(biāo)準(zhǔn)SQL
- 提供通用API: JDBC, ODBC,CAPI,ADO.Net
- 集群支持分布式事務(wù),支持主副本分片的事務(wù)高可用,支持事務(wù)原子性
產(chǎn)品FAQ
- Q:GBase 8a能干什么?A:GBase 8a能夠?qū)崿F(xiàn)大數(shù)據(jù)的全數(shù)據(jù)(結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù))存儲(chǔ)管理和高效分析,為行業(yè)大數(shù)據(jù)應(yīng)用提供完整的數(shù)據(jù)庫(kù)解決方案。
- Q:GBase 8a的水平如何?A:GBase 8a能夠在百TB至PB級(jí)數(shù)據(jù)規(guī)模下實(shí)現(xiàn)數(shù)據(jù)查詢的秒級(jí)響應(yīng);能夠幫助客戶節(jié)省50%-90%存儲(chǔ)空間;能夠?yàn)榭蛻艄?jié)省50%-90%的投資和運(yùn)維成本;能夠?qū)Y(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一處理;能夠?qū)崿F(xiàn)千億級(jí)文本條目全文檢索的秒級(jí)響應(yīng);能夠提供全過(guò)程可視化的數(shù)據(jù)查詢分析及展現(xiàn)工具。
- Q:GBase 8a目前有什么成功案例?A:GBase 8a已經(jīng)在電信、金融和政務(wù)等領(lǐng)域取得規(guī)模化市場(chǎng)應(yīng)用,主要包括中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)電信、銀監(jiān)會(huì)、公安部、安全部、工信部、國(guó)稅總局、國(guó)家海洋局、中國(guó)石油等。
- Q:GBase 8a在項(xiàng)目中的測(cè)試情況如何?A:參加了150多次用戶現(xiàn)場(chǎng)測(cè)試:中國(guó)移動(dòng)集團(tuán)下一代數(shù)據(jù)倉(cāng)庫(kù)選型測(cè)試前三名,是唯一入圍的國(guó)產(chǎn)產(chǎn)品;在公安部、招商銀行、新疆移動(dòng)、吉林移動(dòng)、中興通訊、用友軟件等單位的項(xiàng)目測(cè)試中取得了優(yōu)異的成績(jī),獲得用戶的一致好評(píng)。
- Q:GBase 8a的事務(wù)支持到什么程度?A:GBase 8a通過(guò)表屬性方式設(shè)置該表支持行存儲(chǔ)、列存儲(chǔ)以及支持事務(wù)日志。GBase 8a事務(wù)表支持行級(jí)鎖,支持DML并發(fā),大幅提升了表的DML性能、insert入庫(kù)性能。
商業(yè)價(jià)值
GBase 8a MPP Cluster是國(guó)內(nèi)首款支持融合數(shù)據(jù)處理的分布式關(guān)系型數(shù)據(jù)庫(kù)集群產(chǎn)品。與國(guó)外主流的大數(shù)據(jù)廠商EMC、HP、IBM等,在金融、電信等領(lǐng)域同臺(tái)競(jìng)技,技術(shù)實(shí)力相當(dāng),形成集群雙活、大規(guī)模集群管理、虛擬集群等特有技術(shù),實(shí)現(xiàn)部分特性國(guó)際領(lǐng)先優(yōu)勢(shì),已經(jīng)在人民銀行、銀監(jiān)會(huì)、證監(jiān)會(huì)、農(nóng)總行、中行、工行、招行、中移動(dòng)、中聯(lián)通、中電信、海關(guān)總署、國(guó)防某部等幾十個(gè)行業(yè)數(shù)百家用戶形成規(guī)模化應(yīng)用,總計(jì)上線超過(guò)10000節(jié)點(diǎn),管理數(shù)據(jù)超過(guò)200PB。
在不斷的市場(chǎng)實(shí)踐和用戶反饋中,GBase 8a體現(xiàn)出8個(gè)價(jià)值,可分為兩級(jí):一級(jí)價(jià)值包括提速、省盤(pán)、省錢(qián)、成云等核心優(yōu)勢(shì)和直接為客戶帶來(lái)的效益,二級(jí)價(jià)值包括全文、轉(zhuǎn)非、全數(shù)據(jù)、可視化等產(chǎn)品的創(chuàng)新功能帶來(lái)的價(jià)值。另外,作為國(guó)產(chǎn)數(shù)據(jù)庫(kù),GBase 8a與國(guó)外同類(lèi)產(chǎn)品相比,具有非常明顯的本地服務(wù)優(yōu)勢(shì)。
- 提速:查詢分析類(lèi)性能提升10-100倍
- 省盤(pán):存儲(chǔ)空間節(jié)省50%-90%
- 省錢(qián):軟硬件投資節(jié)省50-90%,節(jié)電30%-50%
- 成云:支持云計(jì)算架構(gòu),橫向擴(kuò)展能力
- 全文:集成全文檢索,管理半結(jié)構(gòu)化數(shù)據(jù)(云文件)
- 轉(zhuǎn)非:非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化提取和轉(zhuǎn)化
- 全數(shù)據(jù):統(tǒng)一處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)
- 可視化:支持GBase BI可視化數(shù)據(jù)分析平臺(tái)
核心優(yōu)勢(shì)
- 聯(lián)邦架構(gòu)集群部署:基于列存儲(chǔ)的完全并行的MPP + Shared Nothing的聯(lián)邦架構(gòu),采用多活Coordinator(Master)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)的兩級(jí)部署結(jié)構(gòu),避免了單點(diǎn)性能瓶頸和單點(diǎn)故障,對(duì)外提供單一的訪問(wèn)地址,具備各節(jié)點(diǎn)的連接數(shù)負(fù)載均衡的能力。Coordinator節(jié)點(diǎn)支持最多部署64個(gè);數(shù)據(jù)節(jié)點(diǎn)支持部署300個(gè)以上,單數(shù)據(jù)節(jié)點(diǎn)可支持50TB以上裸數(shù)據(jù)數(shù)據(jù)量,且所有節(jié)點(diǎn)無(wú)共享,具有對(duì)等計(jì)算能力;
- 海量數(shù)據(jù)分布式壓縮存儲(chǔ):集群支持海量數(shù)據(jù)存儲(chǔ)、查詢,支持15PB以上的結(jié)構(gòu)化數(shù)據(jù),采用HASH或RANDOM分布策略進(jìn)行數(shù)據(jù)分布式存儲(chǔ);同時(shí)采用先進(jìn)的壓縮算法,減少存儲(chǔ)數(shù)據(jù)所需的空間,并相應(yīng)地提高I/O性能;支持實(shí)例級(jí)、表級(jí)、列級(jí)三級(jí)壓縮;支持基于列存儲(chǔ)的數(shù)據(jù)編碼及高效壓縮技術(shù);理想情況下,壓縮比可達(dá)1:20以上;
- 高效存儲(chǔ)結(jié)構(gòu):采用基于列存儲(chǔ)、適合分析優(yōu)化的存儲(chǔ)結(jié)構(gòu);采用免維護(hù)的智能索引;支持行列混合存儲(chǔ)的存儲(chǔ)結(jié)構(gòu),有效提高列存數(shù)據(jù)庫(kù)在SELECT * 場(chǎng)景下的查詢性能;
- 智能索引:采用高性能、免維護(hù)的粗粒度智能索引技術(shù),索引建立膨脹率不超過(guò)百分之一。智能索引包含基于列的統(tǒng)計(jì)信息,在數(shù)據(jù)檢索定位時(shí)可被直接使用,有效過(guò)濾數(shù)據(jù),大幅降低數(shù)據(jù)庫(kù)磁盤(pán)I/O,大幅提高海量數(shù)據(jù)的查詢性能;
- 靈活的數(shù)據(jù)分布:用戶可以按照業(yè)務(wù)場(chǎng)景的需求,自定義數(shù)據(jù)分布策略,從而在性能、可靠性和靈活性間獲得最佳匹配。數(shù)據(jù)分布策略包括HASH分布和RANDOM分布;
- 在線高性能擴(kuò)展:支持集群節(jié)點(diǎn)的在線擴(kuò)容和縮容,效率更高,對(duì)業(yè)務(wù)的影響更小;在線擴(kuò)展性能大于20TB/小時(shí);
- 高并發(fā):讀寫(xiě)不互斥,支持?jǐn)?shù)據(jù)的邊加載邊查詢,3節(jié)點(diǎn)集群并發(fā)能力大于1000;
- 數(shù)據(jù)高可用:通過(guò)冗余機(jī)制來(lái)保證集群的高可用特性,互備分片間可實(shí)現(xiàn)數(shù)據(jù)自動(dòng)同步。數(shù)據(jù)通過(guò)副本提供冗余保護(hù),數(shù)據(jù)的副本機(jī)制支持1或2個(gè)數(shù)據(jù)副本,支持用戶自定義的數(shù)據(jù)副本分布方式;自動(dòng)故障探測(cè)和管理,自動(dòng)同步元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),副本故障不影響集群的可用性,支持故障的自動(dòng)恢復(fù),無(wú)需人工干預(yù);
- 完善的資源管理:通過(guò)資源池及資源使用計(jì)劃的靈活配置,能夠?qū)崿F(xiàn)不同數(shù)據(jù)庫(kù)用戶的資源隔離,支持對(duì) CPU、內(nèi)存、磁盤(pán)空間、磁盤(pán) IO、并發(fā)任務(wù)數(shù)等關(guān)鍵資源和指標(biāo)進(jìn)行管控,能夠提供完善的多租戶能力。
- 主備集群高可用:集群支持主備集群高可用模式;支持?jǐn)?shù)據(jù)全量、增量同步;支持主備同步回滾機(jī)制;支持主備同步錯(cuò)誤恢復(fù)機(jī)制;支持同城災(zāi)備;
- 安全性:提供完善的用戶、角色、權(quán)限控制策略,提高數(shù)據(jù)庫(kù)集群的安全性;支持詳盡的審計(jì)日志,可配置靈活的審計(jì)策略,記錄數(shù)據(jù)庫(kù)中與數(shù)據(jù)庫(kù)操作相關(guān)的所有日志,也可以通過(guò)圖形化的監(jiān)視工具實(shí)現(xiàn)審計(jì)管理;支持透明的數(shù)據(jù)加密:支持?jǐn)?shù)據(jù)存儲(chǔ)加密,支持?jǐn)?shù)據(jù)庫(kù)密碼加密,支持?jǐn)?shù)據(jù)加密壓縮;支持相關(guān)加密函數(shù),如AES_ENCRYPT()、ENCRYPT()、MD5()、SHA1()、SHA()等;支持庫(kù)內(nèi)數(shù)據(jù)脫敏;支持Kerberos認(rèn)證方式訪問(wèn)集群和外部數(shù)據(jù)源;
- 易維護(hù):提供圖形化管理及監(jiān)控工具,以簡(jiǎn)化管理員對(duì)數(shù)據(jù)庫(kù)的管理工作;
- 數(shù)據(jù)加載高效性:具備數(shù)據(jù)庫(kù)并行加載能力,加載速度隨節(jié)點(diǎn)增加線性增加,基于策略的數(shù)據(jù)加載模式,集群整體加載速度大于30TB/h;
- 自適應(yīng)負(fù)載:支持通過(guò)自適應(yīng)負(fù)載特性允許用戶執(zhí)行任意并發(fā)數(shù)量的作業(yè),數(shù)據(jù)庫(kù)系統(tǒng)根據(jù)負(fù)載情況,自動(dòng)決定可允許執(zhí)行作業(yè)的數(shù)量,實(shí)現(xiàn)參數(shù)免調(diào)優(yōu);
- Hadoop備份/恢復(fù):支持與Hadoop之間進(jìn)行數(shù)據(jù)備份/恢復(fù),將庫(kù)內(nèi)數(shù)據(jù)備份到Hadoop中,或?qū)adoop內(nèi)的數(shù)據(jù)文件恢復(fù)到庫(kù)內(nèi);Hadoop備份/恢復(fù)性能大于100TB/h;
- 標(biāo)準(zhǔn)化:支持SQL 92、SQL 99、SQL 2003 ANSI/ISO 標(biāo)準(zhǔn),支持ODBC、JDBC、ADO.NET、OLEDB等接口規(guī)范;支持C API、Python API、TCL API等接口;支持SQL 2003 OLAP函數(shù)。
技術(shù)特性
- 適配平臺(tái):支持金蝶、東方通等主流中間件;支持曙光、浪潮、華三、長(zhǎng)城、聯(lián)想等主流國(guó)產(chǎn)服務(wù)器;支持海光、鯤鵬、飛騰、申威、龍芯、兆芯等主流的國(guó)產(chǎn)處理器;支持中標(biāo)麒麟、銀河麒麟、中科方德、統(tǒng)信等主流的國(guó)產(chǎn)操作系統(tǒng)。
- 編碼格式:支持多種編碼格式,如UTF-8、UTF8-MB4、GBK 、GB18030、Unicode編碼格式,支持多語(yǔ)種。
- 海量數(shù)據(jù)高效存儲(chǔ):?jiǎn)蝹€(gè)集群可處理15PB以上的結(jié)構(gòu)化數(shù)據(jù),采用HASH或RANDOM分布策略進(jìn)行數(shù)據(jù)分布式存儲(chǔ);單數(shù)據(jù)節(jié)點(diǎn)可處理50TB以上裸數(shù)據(jù)數(shù)據(jù)量,且所有節(jié)點(diǎn)無(wú)共享,具有對(duì)等計(jì)算能力;同時(shí)單表支持247(萬(wàn)億級(jí))行級(jí)數(shù)據(jù)量。
- 大規(guī)模并行計(jì)算:針對(duì)數(shù)據(jù)加載和數(shù)據(jù)查詢實(shí)現(xiàn)了自動(dòng)高效的并行處理技術(shù),充分利用SMP多核CPU資源并行處理海量數(shù)據(jù)。利用單節(jié)點(diǎn)并行技術(shù),結(jié)合MPP集群跨節(jié)點(diǎn)并行,對(duì)算子進(jìn)行分布式并行計(jì)算處理,可實(shí)現(xiàn)數(shù)據(jù)查詢分析的超大規(guī)模分布式并行處理和多數(shù)據(jù)源并行加載。
- 數(shù)據(jù)高可用:通過(guò)冗余機(jī)制來(lái)保證集群的高可用特性,互備分片間可實(shí)現(xiàn)數(shù)據(jù)自動(dòng)同步。體現(xiàn)了集群環(huán)境中節(jié)點(diǎn)內(nèi)及跨節(jié)點(diǎn)的并行處理能力。
- Hash索引:利用Hash索引提高等值查詢的定位效率,針對(duì)集群內(nèi)單表精確查詢可實(shí)現(xiàn)秒級(jí)查詢響應(yīng)。
- 智能索引:采用高性能、免維護(hù)的粗粒度智能索引技術(shù),索引建立膨脹率不超過(guò)百分之一。智能索引包含基于列的統(tǒng)計(jì)信息,在數(shù)據(jù)檢索定位時(shí)可被直接使用,有效過(guò)濾數(shù)據(jù),大幅降低數(shù)據(jù)庫(kù)磁盤(pán)I/O,大幅提高海量數(shù)據(jù)的查詢性能;在億級(jí)數(shù)據(jù)規(guī)模下,可達(dá)到集群?jiǎn)喂?jié)點(diǎn)單表基于時(shí)間列精確查詢秒級(jí)響應(yīng)能力。
- 備份恢復(fù)管理:提供專用的備份恢復(fù)工具,支持物理備份恢復(fù)(完全、增量、差異)和邏輯備份恢復(fù)(實(shí)例級(jí)、用戶級(jí)、表級(jí)),方便用戶在不同應(yīng)用場(chǎng)景下自主選擇備份恢復(fù)策略。
- 數(shù)據(jù)加密:具備透明的數(shù)據(jù)加密功能,數(shù)據(jù)加密實(shí)現(xiàn)表級(jí)或者列級(jí)不同粒度的加密要求,支持?jǐn)?shù)據(jù)存儲(chǔ)加密,支持?jǐn)?shù)據(jù)庫(kù)密碼加密,支持?jǐn)?shù)據(jù)加密壓縮;支持相關(guān)加密函數(shù),如AES_ENCRYPT()、ENCRYPT()、MD5()、SHA1()、SHA()等;支持備份軟件進(jìn)行備份文件加密。
- 核心進(jìn)程級(jí)別高可用技術(shù):GNode,GCluster,GCware 等核心進(jìn)程被實(shí)時(shí)監(jiān)控,出故障后可及時(shí)恢復(fù)。具備完善的數(shù)據(jù)庫(kù)物理恢復(fù)功能,支持系統(tǒng)故障恢復(fù)、完全介質(zhì)故障恢復(fù)、網(wǎng)絡(luò)故障恢復(fù)、基于表空間/文件組的介質(zhì)故障的數(shù)據(jù)庫(kù)物理恢復(fù)功能;具有完全恢復(fù)模式和指定時(shí)間點(diǎn)恢復(fù)模式,可將數(shù)據(jù)恢復(fù)到崩潰時(shí)間點(diǎn)數(shù)據(jù)或指定時(shí)間點(diǎn)數(shù)據(jù)。