GBase UP
統(tǒng)一數(shù)據(jù)平臺(tái)GBase UP
產(chǎn)品簡(jiǎn)介
產(chǎn)品簡(jiǎn)介
南大通用統(tǒng)一數(shù)據(jù)平臺(tái)系統(tǒng),簡(jiǎn)稱:GBase UP,它是融合了GBase 8a MPP、GBase 8s、開源Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)平臺(tái)產(chǎn)品,兼顧大規(guī)模分布式并行數(shù)據(jù)庫(kù)集群系統(tǒng)、穩(wěn)定高效的事務(wù)數(shù)據(jù)庫(kù),以及Hadoop生態(tài)系統(tǒng)的多種大規(guī)模結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù),能夠適應(yīng)OLAP、OLTP和NOSQL三種計(jì)算模型的業(yè)務(wù)場(chǎng)景,是構(gòu)建企業(yè)數(shù)據(jù)平臺(tái)的重要基礎(chǔ)設(shè)施。
GBase UP以成熟的GBase 8a MPP商用數(shù)據(jù)庫(kù)為基礎(chǔ),擴(kuò)展出針對(duì)Hive & Spark、HBase、GBase 8s的計(jì)算和存儲(chǔ)引擎,建立引擎之間高效數(shù)據(jù)交換通道,構(gòu)建了對(duì)外統(tǒng)一,對(duì)內(nèi)可擴(kuò)展的集群數(shù)據(jù)庫(kù)產(chǎn)品。
對(duì)于企業(yè)而言,GBase UP建立了一個(gè)多種數(shù)據(jù)存儲(chǔ)和混搭計(jì)算的基礎(chǔ)設(shè)施,將存儲(chǔ)資源和計(jì)算資源合理調(diào)配,破除數(shù)據(jù)豎井,通過統(tǒng)一接口完成數(shù)據(jù)的加工生產(chǎn),從而創(chuàng)造更多的數(shù)據(jù)價(jià)值;對(duì)于信息集成廠商,GBase UP提供了能夠處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、關(guān)系型和非關(guān)系型數(shù)據(jù)的一站式解決方案。對(duì)于最終用戶和App開發(fā)者而言,GBase UP為用戶提供經(jīng)典的數(shù)據(jù)庫(kù)接入方式和結(jié)構(gòu)化查詢語(yǔ)言,從而大大降低維護(hù)和開發(fā)成本。
與數(shù)據(jù)網(wǎng)關(guān)、數(shù)據(jù)庫(kù)代理&路由、中間件等方案不同:GBase UP是一款分布式數(shù)據(jù)庫(kù)集群產(chǎn)品,對(duì)外構(gòu)建完整的Schema定義和數(shù)據(jù)庫(kù)訪問控制,能夠?qū)τ脩魯?shù)據(jù)庫(kù)訪問進(jìn)行解析、優(yōu)化、數(shù)據(jù)緩沖等操作,完成透明高效的中間數(shù)據(jù)存儲(chǔ)、關(guān)聯(lián)、聚合等操作,對(duì)內(nèi)構(gòu)建Gbase 8a MPP、GBase 8s、Hadoop之間的內(nèi)部數(shù)據(jù)傳輸協(xié)議,實(shí)現(xiàn)高效的數(shù)據(jù)交換,構(gòu)建統(tǒng)一的監(jiān)視和控制系統(tǒng),進(jìn)行資源調(diào)度。為用戶提供高效的、易管理的、總體擁有成本低的產(chǎn)品和服務(wù)。
借助GBase UP,企業(yè)可以在實(shí)施大數(shù)據(jù)項(xiàng)目時(shí)實(shí)現(xiàn)四減二增,四減:在項(xiàng)目前期避免陷入MPP數(shù)據(jù)庫(kù)和Hadoop生態(tài)的選型困難,減少?zèng)Q策成本;在系統(tǒng)業(yè)務(wù)信息架構(gòu)階段,借助統(tǒng)一模式,減少業(yè)務(wù)建模成本;在應(yīng)用開發(fā)階段,開發(fā)者采用標(biāo)準(zhǔn)的ODBC、JDBC等傳統(tǒng)方式訪問平臺(tái),減少開發(fā)成本;在項(xiàng)目交付后,通過統(tǒng)一的監(jiān)控系統(tǒng),減少運(yùn)營(yíng)成本;二增:破除數(shù)據(jù)孤島,打破“豎井”型數(shù)據(jù)中心間的隔離,實(shí)現(xiàn)數(shù)據(jù)增值;融合MPP和Hadoop各自計(jì)算能力,實(shí)現(xiàn)計(jì)算增值。

產(chǎn)品架構(gòu)
GBase UP是以GBase 8a MPP最新超大規(guī)模集群版本為基礎(chǔ),融合GBase 8s和Hadoop Hive/Spark,實(shí)際部署時(shí)可以理解為5個(gè)小集群/集合,其中:GBaseUP負(fù)責(zé)連接接入,元數(shù)據(jù)管理,跨集群查詢調(diào)度,安全認(rèn)證,日志記錄等一系列分布式數(shù)據(jù)庫(kù)的功能;GBase 8a集群(集合)負(fù)責(zé)高質(zhì)量高密度高性能的數(shù)據(jù)存儲(chǔ)和計(jì)算;Gbase 8s負(fù)責(zé)支撐高端事務(wù)處理;Hive集群負(fù)責(zé)驅(qū)動(dòng)Hadoop或Spark集群實(shí)現(xiàn)對(duì)低密度、低質(zhì)量、結(jié)構(gòu)化/非結(jié)構(gòu)化的大數(shù)據(jù)進(jìn)行分析;Hadoop集群的HDFS負(fù)責(zé)高效高可用的存儲(chǔ)海量數(shù)據(jù),HBase負(fù)責(zé)存儲(chǔ)海量中小文件,以及作為分布式可擴(kuò)展的KV型數(shù)據(jù)倉(cāng)庫(kù)。
技術(shù)特性
GBase UP繼承了GBase 8a MPP的Shared Nothing節(jié)點(diǎn)對(duì)等的扁平架構(gòu),能夠運(yùn)行在普通的X86服務(wù)器上,同時(shí)還具備以下技術(shù)特征:
統(tǒng)一的標(biāo)準(zhǔn)化接入
支持C API、ODBC、JDBC、ADO.NET等接口規(guī)范。
統(tǒng)一的標(biāo)準(zhǔn)化查詢語(yǔ)言
支持SQL92標(biāo)準(zhǔn),并在此基礎(chǔ)上支持HiveHQL、GBase 8s的SQL擴(kuò)展,DDL部分支持方言,DML盡可能采用標(biāo)準(zhǔn)SQL。
統(tǒng)一的數(shù)據(jù)視圖
通過統(tǒng)一的元數(shù)據(jù)管理,將OLTP、OLAP、Hadoop數(shù)據(jù)庫(kù)可以看作一個(gè)視圖,供數(shù)據(jù)建模工程師構(gòu)建統(tǒng)一的信息的生產(chǎn)流程。
統(tǒng)一安全
基于GBase 8a MPP的安全體系,擴(kuò)展對(duì)其他引擎的安全認(rèn)證,避免了多種認(rèn)證模式,彌補(bǔ)如HIVE等對(duì)安全實(shí)現(xiàn)不足的短板。
統(tǒng)一事務(wù)
支持跨異構(gòu)集群的事務(wù)管理。
統(tǒng)一調(diào)度
透明實(shí)現(xiàn)跨引擎關(guān)聯(lián)查詢。
統(tǒng)一日志
增加保存日志到hadoop的機(jī)制,供諸多分析工具訪問。
統(tǒng)一監(jiān)控
監(jiān)視UP平臺(tái)的各個(gè)服務(wù)器的軟硬件指標(biāo)。
高效數(shù)據(jù)交換
內(nèi)置引擎之間建立高速多對(duì)多的內(nèi)部通道。
高可擴(kuò)展性
GBase 8a MPP、GBase 8s、Hive是GBase UP的內(nèi)置引擎,還可以通過開發(fā)對(duì)應(yīng)的擴(kuò)展插件實(shí)現(xiàn)各層的擴(kuò)展。
數(shù)據(jù)生命周期管理
根據(jù)數(shù)據(jù)在不同時(shí)期的存儲(chǔ)和計(jì)算特征,實(shí)現(xiàn)跨異構(gòu)引擎的數(shù)據(jù)分區(qū)功能,實(shí)現(xiàn)數(shù)據(jù)透明的跨分區(qū)訪問和在線遷移。
增強(qiáng)的管理能力
數(shù)據(jù)通過副本提供冗余保護(hù),自動(dòng)故障探測(cè)和管理,自動(dòng)同步元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。提供圖形化工具,對(duì)GBase 8s、GBase 8a MPP和Hadoop生態(tài)提供統(tǒng)一的管理工作。
商業(yè)價(jià)值
易使用
- 豐富的SQL支持;
- 利用現(xiàn)有技能同時(shí)查詢NOSQL大數(shù)據(jù)和關(guān)系型數(shù)據(jù);
- 自動(dòng)化數(shù)據(jù)集成。
易維護(hù)
- 統(tǒng)一的用戶權(quán)限管理;
- 統(tǒng)一的監(jiān)控預(yù)警;
- 一鍵安裝部署升級(jí)。
統(tǒng)一調(diào)度
- 實(shí)現(xiàn)應(yīng)用和底層各引擎隔離,對(duì)上層應(yīng)用透明,使用戶專注于數(shù)據(jù)價(jià)值;
- 簡(jiǎn)化應(yīng)用開發(fā)復(fù)雜度;
- 實(shí)現(xiàn)了統(tǒng)一數(shù)據(jù)交換,統(tǒng)一數(shù)據(jù)集成,統(tǒng)一全數(shù)據(jù)分析。
全數(shù)據(jù)
- 同時(shí)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù);
- 同時(shí)具備處理SQL和NoSQL的能力;
- 支持多種應(yīng)用場(chǎng)景,支撐統(tǒng)計(jì)、自助查詢、多維分析、數(shù)據(jù)挖掘、深度學(xué)習(xí)、流處理、圖計(jì)算、批量處理等應(yīng)用場(chǎng)景。
低成本
- 大大降低項(xiàng)目實(shí)施、應(yīng)用開發(fā)的復(fù)雜度和成本;
- 可利用原有數(shù)據(jù)資產(chǎn),與原有數(shù)據(jù)資產(chǎn)進(jìn)行融合使用,能夠與云平臺(tái)融合使用。
核心優(yōu)勢(shì)
全融合,一套產(chǎn)品集成多種數(shù)據(jù)源,全類型數(shù)據(jù),全處理引擎;
統(tǒng)一調(diào)度,高性能;
基于GBase UP核心技術(shù)、領(lǐng)先的MPP核心技術(shù)進(jìn)行云分析;
結(jié)合多種引擎,根據(jù)場(chǎng)景各取所長(zhǎng);
成熟穩(wěn)定,案例豐富;
節(jié)點(diǎn)數(shù)>4000個(gè),總數(shù)據(jù)量>100PB;
標(biāo)準(zhǔn)化,標(biāo)準(zhǔn)訪問接口;
支持多種開發(fā)語(yǔ)言;
靈活的擴(kuò)展接口;
國(guó)產(chǎn)化,核心產(chǎn)品完全自主;
適配多種國(guó)產(chǎn)平臺(tái)。