1. 項(xiàng)目概況

   • 具備一體化業(yè)務(wù)管理平臺(tái)采集數(shù)據(jù)實(shí)時(shí)入庫(kù)的能力；

1、項(xiàng)目背景

集中運(yùn)營(yíng)平臺(tái)（IOP）中的源數(shù)據(jù)屬于為大數(shù)據(jù)分析而做準(zhǔn)備。根據(jù)目前IOP源數(shù)據(jù)并發(fā)查詢及加載的特點(diǎn)，隨著電信業(yè)務(wù)的發(fā)展，會(huì)有更多的源數(shù)據(jù)要更大并發(fā)地加載到IOP前置庫(kù)中，對(duì)于這種超大規(guī)模并發(fā)處理，GBase8s產(chǎn)品更擅長(zhǎng)，因此把這部分工作從原有的IOP中剝離出來(lái)，形成新的IOP前置系統(tǒng)，為IOP提供更好地?cái)?shù)據(jù)支撐服務(wù)。為了提高IOP前置業(yè)務(wù)系統(tǒng)的高可用和方便今后業(yè)務(wù)發(fā)展后前置系統(tǒng)的橫向擴(kuò)展，用GBase8s數(shù)據(jù)庫(kù)集群技術(shù)來(lái)支持IOP前置業(yè)務(wù)系統(tǒng)。分離出來(lái)的IOP前置業(yè)務(wù)系統(tǒng)數(shù)據(jù)量大約在10T左右，處理數(shù)大約是5百左右并發(fā)。

2、關(guān)注問(wèn)題

在10TB以上級(jí)別數(shù)據(jù)量，超大規(guī)模并發(fā)查詢和加載入庫(kù)的實(shí)時(shí)處理能力。

3、建設(shè)要求

• 具備高穩(wěn)定性，保障一體化業(yè)務(wù)管理平臺(tái)7×24業(yè)務(wù)需求；

• 具備基于共享存儲(chǔ)集群架構(gòu)的高可用集群。

• 滿足高峰時(shí)段500及以上并發(fā)量的處理需求，數(shù)據(jù)量超過(guò)10TB；

• 提供可自動(dòng)切換節(jié)點(diǎn)的高可用方案，無(wú)需手動(dòng)干預(yù)；

• 提供數(shù)據(jù)庫(kù)服務(wù)器間的雙向復(fù)制，實(shí)現(xiàn)特定表數(shù)據(jù)的雙向?qū)崟r(shí)復(fù)制。

• 億行級(jí)表響應(yīng)時(shí)間為毫秒級(jí)，滿足平臺(tái)業(yè)務(wù)高峰時(shí)期的處理能力；

• 數(shù)據(jù)庫(kù)具備負(fù)載均衡的能力，可以支撐未來(lái)數(shù)據(jù)量的巨大增長(zhǎng)；

提供從服務(wù)器、存儲(chǔ)到數(shù)據(jù)庫(kù)的全國(guó)產(chǎn)化平臺(tái)解決方案，要求數(shù)據(jù)庫(kù)對(duì)國(guó)產(chǎn)

硬件平臺(tái)的全適配能力。

1. 解決方案

四川移動(dòng)數(shù)據(jù)應(yīng)用與服務(wù)系統(tǒng)，業(yè)務(wù)系統(tǒng)的指標(biāo)源數(shù)據(jù)主要通過(guò)批量方式進(jìn)行加載，業(yè)務(wù)查詢主要是把相關(guān)業(yè)務(wù)指標(biāo)數(shù)據(jù)的查詢出來(lái)并展示，并發(fā)查詢規(guī)模大約有500，系統(tǒng)總體數(shù)據(jù)量大約有10T左右。采用GBase8s非共享存儲(chǔ)集群來(lái)支持運(yùn)行。根據(jù)系統(tǒng)當(dāng)前并發(fā)查詢規(guī)模和總體數(shù)據(jù)量，先建設(shè)2節(jié)點(diǎn)數(shù)據(jù)庫(kù)集群；隨并發(fā)查詢規(guī)模增大或總體數(shù)據(jù)量增大，系統(tǒng)性能無(wú)法滿足用戶標(biāo)準(zhǔn)要求時(shí)，再增加集群節(jié)點(diǎn)。在2節(jié)點(diǎn)集群中，其中1個(gè)節(jié)點(diǎn)作為主節(jié)點(diǎn)來(lái)支持批量的數(shù)據(jù)加載工作，并發(fā)數(shù)據(jù)查詢操作可同時(shí)利用集群中的2個(gè)節(jié)點(diǎn)共同來(lái)完成，且可做到系統(tǒng)總負(fù)載在2節(jié)點(diǎn)間的均衡；

系統(tǒng)的應(yīng)用是通過(guò)CM管理器與數(shù)據(jù)庫(kù)集群進(jìn)行連接的，當(dāng)主節(jié)點(diǎn)發(fā)生故障（如斷電、斷網(wǎng)或主節(jié)點(diǎn)CPU、內(nèi)存發(fā)生故障或操作系統(tǒng)、數(shù)據(jù)庫(kù)軟件發(fā)生故障等）時(shí)，原連接到主節(jié)點(diǎn)上的應(yīng)用會(huì)自動(dòng)連接到輔節(jié)點(diǎn)上去，輔節(jié)點(diǎn)這時(shí)會(huì)升級(jí)為主節(jié)點(diǎn)；節(jié)點(diǎn)切換時(shí)間長(zhǎng)短將受到主節(jié)點(diǎn)當(dāng)時(shí)事務(wù)處理量的影響，最快的節(jié)點(diǎn)切換時(shí)間為小于10秒。當(dāng)輔節(jié)點(diǎn)發(fā)生故障時(shí)，原連接到輔節(jié)點(diǎn)上的應(yīng)用會(huì)自動(dòng)連接到主節(jié)點(diǎn)上去，主節(jié)點(diǎn)對(duì)所有業(yè)務(wù)應(yīng)用繼續(xù)提供支持服務(wù)。對(duì)于批量加載數(shù)據(jù)操作，可利用GBase8s外部表的功能，快速地將數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中。為了更好地支持查詢的并發(fā)操作，所有表的鎖粒度應(yīng)設(shè)為行級(jí)鎖；對(duì)于系統(tǒng)中較大表，為了更好地并行操作、提高操作的效率和方便數(shù)據(jù)管理，要進(jìn)行分片處理；對(duì)于相關(guān)表，要按照查詢條件或相關(guān)表關(guān)聯(lián)字段創(chuàng)建索引，以加快相關(guān)數(shù)據(jù)的查詢速度，另外，對(duì)于大表的索引也可以進(jìn)行分片處理，以對(duì)大表索引操作利用到并行處理技術(shù)，以加快索引數(shù)據(jù)的查詢。在加載大量數(shù)據(jù)或?qū)Υ蟊韯?chuàng)建索引時(shí)，可把PDQ（并行數(shù)據(jù)處理）打開，以加快數(shù)據(jù)的裝載或索引的創(chuàng)建。

1、主節(jié)點(diǎn)和輔節(jié)點(diǎn)不共享數(shù)據(jù)儲(chǔ)存，有各自的獨(dú)立的數(shù)據(jù)庫(kù)存儲(chǔ)空間，可預(yù)防集群系統(tǒng)中數(shù)據(jù)存儲(chǔ)單點(diǎn)故障的風(fēng)險(xiǎn)；兩節(jié)點(diǎn)之間除了用光纖網(wǎng)連接或在一個(gè)局域網(wǎng)內(nèi)以外，還要設(shè)置心跳網(wǎng)絡(luò)，以互相檢測(cè)對(duì)方的工作狀態(tài)，防止節(jié)點(diǎn)的故障。

2、所有應(yīng)用不是直連數(shù)據(jù)庫(kù)集群中的數(shù)據(jù)庫(kù)節(jié)點(diǎn)，而是通過(guò)連接管理器CM來(lái)連接數(shù)據(jù)庫(kù)節(jié)點(diǎn)，CM的功能包括讀寫分離、負(fù)載均衡和主節(jié)點(diǎn)故障時(shí)的節(jié)點(diǎn)切換，最短的切換時(shí)間為不到10秒，時(shí)間長(zhǎng)短與主節(jié)點(diǎn)當(dāng)時(shí)的工作負(fù)載有關(guān)。為了保障系統(tǒng)的全面高可用，建議CM也部署在多個(gè)應(yīng)用節(jié)點(diǎn)上，不與數(shù)據(jù)庫(kù)節(jié)點(diǎn)在一起。

3、除了數(shù)據(jù)庫(kù)集群外，還提供了許多數(shù)據(jù)庫(kù)管理、應(yīng)用開發(fā)、安全管理及數(shù)據(jù)庫(kù)遷移等工具，以方便用戶使用。

• 應(yīng)用效果

  自主可控戰(zhàn)略實(shí)現(xiàn)：為金融業(yè)全面推進(jìn)“去IOE”戰(zhàn)略，為全面加快國(guó)產(chǎn)化“安全可控”監(jiān)管落地施行，為促進(jìn)行業(yè)技術(shù)架構(gòu)發(fā)展，起到了積極的表率作用；

  全兼容、全適配的OLTP國(guó)產(chǎn)數(shù)據(jù)庫(kù)：實(shí)現(xiàn)了從服務(wù)器、存儲(chǔ)到數(shù)據(jù)庫(kù)的全國(guó)產(chǎn)化金融業(yè)務(wù)平臺(tái)解決方案，為客戶業(yè)務(wù)系統(tǒng)的數(shù)據(jù)安全提供有力保障；

  滿足用戶系統(tǒng)建設(shè)的業(yè)務(wù)需求：滿足了用戶應(yīng)對(duì)高并發(fā)數(shù)據(jù)處理系統(tǒng)建設(shè)需求，提升了系統(tǒng)高可用，和滿足日后隨業(yè)務(wù)擴(kuò)大進(jìn)行系統(tǒng)擴(kuò)展的要求。