GBase UP
統(tǒng)一數(shù)據(jù)平臺GBase UP
產(chǎn)品簡介
產(chǎn)品簡介
南大通用統(tǒng)一數(shù)據(jù)平臺系統(tǒng)，簡稱：GBase UP，它是融合了GBase 8a MPP、GBase 8s、開源Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)平臺產(chǎn)品，兼顧大規(guī)模分布式并行數(shù)據(jù)庫集群系統(tǒng)、穩(wěn)定高效的事務(wù)數(shù)據(jù)庫，以及Hadoop生態(tài)系統(tǒng)的多種大規(guī)模結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)，能夠適應(yīng)OLAP、OLTP和NOSQL三種計算模型的業(yè)務(wù)場景，是構(gòu)建企業(yè)數(shù)據(jù)平臺的重要基礎(chǔ)設(shè)施。
GBase UP以成熟的GBase 8a MPP商用數(shù)據(jù)庫為基礎(chǔ)，擴展出針對Hive & Spark、HBase、GBase 8s的計算和存儲引擎，建立引擎之間高效數(shù)據(jù)交換通道，構(gòu)建了對外統(tǒng)一，對內(nèi)可擴展的集群數(shù)據(jù)庫產(chǎn)品。
對于企業(yè)而言，GBase UP建立了一個多種數(shù)據(jù)存儲和混搭計算的基礎(chǔ)設(shè)施，將存儲資源和計算資源合理調(diào)配，破除數(shù)據(jù)豎井，通過統(tǒng)一接口完成數(shù)據(jù)的加工生產(chǎn)，從而創(chuàng)造更多的數(shù)據(jù)價值；對于信息集成廠商，GBase UP提供了能夠處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、關(guān)系型和非關(guān)系型數(shù)據(jù)的一站式解決方案。對于最終用戶和App開發(fā)者而言，GBase UP為用戶提供經(jīng)典的數(shù)據(jù)庫接入方式和結(jié)構(gòu)化查詢語言，從而大大降低維護和開發(fā)成本。
與數(shù)據(jù)網(wǎng)關(guān)、數(shù)據(jù)庫代理&路由、中間件等方案不同：GBase UP是一款分布式數(shù)據(jù)庫集群產(chǎn)品，對外構(gòu)建完整的Schema定義和數(shù)據(jù)庫訪問控制，能夠?qū)τ脩魯?shù)據(jù)庫訪問進行解析、優(yōu)化、數(shù)據(jù)緩沖等操作，完成透明高效的中間數(shù)據(jù)存儲、關(guān)聯(lián)、聚合等操作，對內(nèi)構(gòu)建Gbase 8a MPP、GBase 8s、Hadoop之間的內(nèi)部數(shù)據(jù)傳輸協(xié)議，實現(xiàn)高效的數(shù)據(jù)交換，構(gòu)建統(tǒng)一的監(jiān)視和控制系統(tǒng)，進行資源調(diào)度。為用戶提供高效的、易管理的、總體擁有成本低的產(chǎn)品和服務(wù)。
借助GBase UP，企業(yè)可以在實施大數(shù)據(jù)項目時實現(xiàn)四減二增，四減：在項目前期避免陷入MPP數(shù)據(jù)庫和Hadoop生態(tài)的選型困難，減少決策成本；在系統(tǒng)業(yè)務(wù)信息架構(gòu)階段，借助統(tǒng)一模式，減少業(yè)務(wù)建模成本；在應(yīng)用開發(fā)階段，開發(fā)者采用標準的ODBC、JDBC等傳統(tǒng)方式訪問平臺，減少開發(fā)成本；在項目交付后，通過統(tǒng)一的監(jiān)控系統(tǒng)，減少運營成本；二增：破除數(shù)據(jù)孤島，打破“豎井”型數(shù)據(jù)中心間的隔離，實現(xiàn)數(shù)據(jù)增值；融合MPP和Hadoop各自計算能力，實現(xiàn)計算增值。
產(chǎn)品架構(gòu)
GBase UP是以GBase 8a MPP最新超大規(guī)模集群版本為基礎(chǔ)，融合GBase 8s和Hadoop Hive/Spark，實際部署時可以理解為5個小集群/集合，其中：GBaseUP負責連接接入，元數(shù)據(jù)管理，跨集群查詢調(diào)度，安全認證，日志記錄等一系列分布式數(shù)據(jù)庫的功能；GBase 8a集群（集合）負責高質(zhì)量高密度高性能的數(shù)據(jù)存儲和計算；Gbase 8s負責支撐高端事務(wù)處理；Hive集群負責驅(qū)動Hadoop或Spark集群實現(xiàn)對低密度、低質(zhì)量、結(jié)構(gòu)化/非結(jié)構(gòu)化的大數(shù)據(jù)進行分析；Hadoop集群的HDFS負責高效高可用的存儲海量數(shù)據(jù)，HBase負責存儲海量中小文件，以及作為分布式可擴展的KV型數(shù)據(jù)倉庫。
技術(shù)特性
GBase UP繼承了GBase 8a MPP的Shared Nothing節(jié)點對等的扁平架構(gòu)，能夠運行在普通的X86服務(wù)器上，同時還具備以下技術(shù)特征：
統(tǒng)一的標準化接入
支持C API、ODBC、JDBC、ADO.NET等接口規(guī)范。
統(tǒng)一的標準化查詢語言
支持SQL92標準，并在此基礎(chǔ)上支持HiveHQL、GBase 8s的SQL擴展，DDL部分支持方言，DML盡可能采用標準SQL。
統(tǒng)一的數(shù)據(jù)視圖
通過統(tǒng)一的元數(shù)據(jù)管理，將OLTP、OLAP、Hadoop數(shù)據(jù)庫可以看作一個視圖，供數(shù)據(jù)建模工程師構(gòu)建統(tǒng)一的信息的生產(chǎn)流程。
統(tǒng)一安全
基于GBase 8a MPP的安全體系，擴展對其他引擎的安全認證，避免了多種認證模式，彌補如HIVE等對安全實現(xiàn)不足的短板。
統(tǒng)一事務(wù)
支持跨異構(gòu)集群的事務(wù)管理。
統(tǒng)一調(diào)度
透明實現(xiàn)跨引擎關(guān)聯(lián)查詢。
統(tǒng)一日志
增加保存日志到hadoop的機制，供諸多分析工具訪問。
統(tǒng)一監(jiān)控
監(jiān)視UP平臺的各個服務(wù)器的軟硬件指標。
高效數(shù)據(jù)交換
內(nèi)置引擎之間建立高速多對多的內(nèi)部通道。
高可擴展性
GBase 8a MPP、GBase 8s、Hive是GBase UP的內(nèi)置引擎，還可以通過開發(fā)對應(yīng)的擴展插件實現(xiàn)各層的擴展。
數(shù)據(jù)生命周期管理
根據(jù)數(shù)據(jù)在不同時期的存儲和計算特征，實現(xiàn)跨異構(gòu)引擎的數(shù)據(jù)分區(qū)功能，實現(xiàn)數(shù)據(jù)透明的跨分區(qū)訪問和在線遷移。
增強的管理能力
數(shù)據(jù)通過副本提供冗余保護，自動故障探測和管理，自動同步元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。提供圖形化工具，對GBase 8s、GBase 8a MPP和Hadoop生態(tài)提供統(tǒng)一的管理工作。
商業(yè)價值
易使用
- 豐富的SQL支持；
- 利用現(xiàn)有技能同時查詢NOSQL大數(shù)據(jù)和關(guān)系型數(shù)據(jù)；
- 自動化數(shù)據(jù)集成。
易維護
- 統(tǒng)一的用戶權(quán)限管理；
- 統(tǒng)一的監(jiān)控預(yù)警；
- 一鍵安裝部署升級。
統(tǒng)一調(diào)度
- 實現(xiàn)應(yīng)用和底層各引擎隔離，對上層應(yīng)用透明，使用戶專注于數(shù)據(jù)價值；
- 簡化應(yīng)用開發(fā)復(fù)雜度；
- 實現(xiàn)了統(tǒng)一數(shù)據(jù)交換，統(tǒng)一數(shù)據(jù)集成，統(tǒng)一全數(shù)據(jù)分析。
全數(shù)據(jù)
- 同時存儲結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；
- 同時具備處理SQL和NoSQL的能力；
- 支持多種應(yīng)用場景，支撐統(tǒng)計、自助查詢、多維分析、數(shù)據(jù)挖掘、深度學習、流處理、圖計算、批量處理等應(yīng)用場景。
低成本
- 大大降低項目實施、應(yīng)用開發(fā)的復(fù)雜度和成本；
- 可利用原有數(shù)據(jù)資產(chǎn)，與原有數(shù)據(jù)資產(chǎn)進行融合使用，能夠與云平臺融合使用。
核心優(yōu)勢
全融合，一套產(chǎn)品集成多種數(shù)據(jù)源，全類型數(shù)據(jù)，全處理引擎；
統(tǒng)一調(diào)度，高性能；
基于GBase UP核心技術(shù)、領(lǐng)先的MPP核心技術(shù)進行云分析；
結(jié)合多種引擎，根據(jù)場景各取所長；
成熟穩(wěn)定，案例豐富；
節(jié)點數(shù)>4000個，總數(shù)據(jù)量>100PB；
標準化，標準訪問接口；
支持多種開發(fā)語言；
靈活的擴展接口；
國產(chǎn)化，核心產(chǎn)品完全自主；
適配多種國產(chǎn)平臺。
適用場景
企業(yè)級數(shù)據(jù)倉庫
基于DaaS、GBase UP LDW架構(gòu)的數(shù)據(jù)倉庫
電信行業(yè)數(shù)據(jù)倉庫
金融行業(yè)大數(shù)據(jù)分析的數(shù)據(jù)倉庫
