GBase新聞
DTC 2023回顧丨基于數據復制技術的多寫多讀數據庫集群解決方案
在不久前結束的2023 DTC數據技術嘉年華中國數據庫創新論壇上,GBASE南大通用8s產品經理郭茁分享了GBase 8s《基于數據復制技術的多寫多讀數據庫集群解決方案》。今天帶大家一同回顧下本次演講。
海量數據的存儲和運算是目前行業內面臨的一個重要問題,業界目前也提出了很多解決方法。此次GBase 8s提出“基于集中式高可用技術搭載數據復制技術”,探究突破傳統集中式集群局限的可支持多讀多寫的集群整體解決方案。
集中式數據庫
計算集中、存儲集中
遵循ACID,強調事務處理性能和數據強一致性
適用于事務密集型場景及行業核心交易系統
分布式數據庫
分布式計算、分布式存儲
遵循CAP,強調可用性和擴展性
適用于數據密集型場景及大數據應用領域
分布式數據庫相較集中式數據庫在可用性方面具有天然優勢,而集中式數據庫又主要應用于行業核心交易場景,因此,既能突破傳統集群技術瓶頸又保留強一致性等優勢是集中式數據庫需要重點關注的能力。
GBase 8s的數據復制技術GBase 8s Replication(GR)恰好為這一問題的解決提供了助力。
數據復制就是在一個或多個地點產生數據的多份拷貝,實現數據共享目的。
GBase 8s Replication(GR)是基于日志的異步工具,用于在GBase 8s數據庫服務器之間復制數據。源服務器上的GR通過讀取邏輯日志,存儲事務并將每個事務作為復制數據可靠傳輸至目標服務器。
GR 復制數據分為三個階段:數據捕獲、數據傳輸和應用復制的數據。
1. 客戶端應用程序在定義了復制的數據庫中執行事務。
2. 該事務被寫入邏輯日志。
3. 日志捕捉組件讀取邏輯日志并將邏輯記錄傳遞到分組組件。
4. 分組組件計算需要復制的邏輯日志,并將它們分組到描述原始事務的操作的消息中。
5. 分組組件將消息添加到發送隊列。在特定情況下,發送隊列將消息臨時儲存到磁盤上。
6. 發送隊列通過 GR 網絡將復制消息傳輸到目標服務器。
7. 復制消息被添加到目標服務器的接收隊列中。
8. 數據同步組件將該事務應用到目標數據庫。如果有必要的話,數據同步組件還會執行沖突解決。
9. 在確認隊列中放置一條表示消息已成功應用的消息。
10. 將確認消息發送回到源服務器。
數據復制技術的優勢
多寫多讀落地案例
山西省某運營商智能網
該項目于2017年上線,采用GBase 8s 復制集群技術,用于山西省某運營商的IVPN業務, 4節點GR集群。
客戶價值
1. 實現了數據的實時復制;
2. SQL平均時間小于5ms,遠低于傳統數據庫的響應時間;
3. 4個節點可以實現負載均衡,多節點寫入多節點查詢的功能。
北京某商超集團
該項目于2017年上線,用于該商超集團的公司業務管理和門店結算業務。2018年上線了68節點的GR復制集群,用戶門店和總部的數據進行實時交換和同步。
客戶價值
1. GR復制的節點多達68個;
2. 網絡帶寬2Mb/s,集群同步對帶寬的要求不高;
3. 門店和總部的數據庫均是可寫可讀,并進行數據的實時同步;
4. 如果網絡異常,在網絡故障恢復之后,積壓的數據會自動同步到對端;
5. 如果主機或數據庫異常,故障處理完畢之后,對端的數據也會自動的完成同步。
某變電站監控系統
業務系統為變電站的監控系統,設備長期處于偏遠地區,服務器的工作環境較差,維護人員的IT技能相對薄弱。用戶希望數據庫具備優秀的自維護能力。
客戶價值
1、故障期間業務系統切換可以在1秒之內完成;
2、故障恢復之后數據庫中的數據可以自動追平,無需人工干預;
3、數據庫長期處于自動恢復的狀態,不需要專職的DBA,客戶只需要維護數據庫服務器即可。