中國石油石化行業(yè)央企智能油氣田項目——多類型數據存儲與計算平臺
價值體現(xiàn)
海量數據管理:為用戶提供了并行海量復雜數據處理平臺,幫助客戶形成PB級以上的業(yè)務數據單一視圖,為客戶提供及時高效的數據分析結果;
數據安全防護:通過采用國產系列數據庫軟件,替代國外及開源數據存儲與計算平臺,提升能源安全防護能力;
多類型統(tǒng)一管理:實現(xiàn)對企業(yè)三大類6種業(yè)務數據統(tǒng)一管理與訪問,通過數據治理平臺實現(xiàn)對數據溯源、血緣關系管理、對外統(tǒng)一服務等;
解決方案
智能油氣田架構如下圖所示,由數據源層,數據匯集層,數據存儲層,數據計算層及數據服務層組成。
數據源層:
最下層為數據源層,數據源層包括油田日常生產運行中產生的數據,成果圖片、報告、施工文檔、施工報告等成果圖形文檔,監(jiān)控類音視頻數據,物聯(lián)等實時數據,測井類大塊提數據,GIS影像等六大類數據結構化、半結構化及非結構化數據。
數據匯集層:
數據匯集層采用GBaseMTK元數據同步工具、GBaseRTSync實時同步工具、kafka消息隊列、Sqoop、Flume、對象存儲等數據傳輸及處理工具進行匯集。
數據存儲層:
數據存儲層采用GBase8s高并發(fā)事務數據庫、GBase8a分布式海量數據olap分析數據庫、及GBaseHD提供的HDFS、hive、HBase等存儲與管理引擎平臺、Neo4j圖庫、對象存儲等作為三大類數據存儲平臺。
數據計算層:
包括GBase8s數據計算、GBase8a分布式系統(tǒng)數據計算、MR/Spark/Flink/ES/圖計算等計算引擎及數據庫,對三大類6種業(yè)務數據類型進行數據計算及檢索。
數據服務層:
系統(tǒng)通過結構化數據API、實時數據API、音視頻API、Gis數據API、文檔圖片API、體數據API、數據推送、BI服務、AI服務等對應用及外部應用提供數據服務。
需求分析
項目采購符合成熟、穩(wěn)定要求、并基于Hadoop架構的大數據平臺軟件,支撐結構化與非結構化數據的存儲、訪問、計算和分析處理。通過數據虛擬化、數據聯(lián)邦技術以及引擎間高效的數據實時交換通道,融合復雜關聯(lián)分析、流計算、圖計算、圖計算、批量處理等計算模型,構建大數據云平臺,支撐智能油氣田云平臺中OLAP、OLTP和NOSQL三種計算模型的業(yè)務場景。
具體需求包括:
(1)滿足石油石化行業(yè)央企智能油氣田云平臺部署;
(2)開展大數據分析,實現(xiàn)對實時數據、體數據、成果數據等非結構化數據和外部數據的數據存儲,開展數據治理和數據標準化相關工作。數據來自于采氣廠、電力調度、分析化驗、凈化廠、以及地震數據、測錄井曲線、分析化驗曲線、地質模型網格化數據、視頻監(jiān)控平臺等及部分外部數據;
(3)建立統(tǒng)一的數學算法庫和模型庫,開展數據檢索、互動分析、關聯(lián)分析等數據挖掘分析,支撐智能油氣田業(yè)務發(fā)展;
(4)實現(xiàn)對流數據的實時采集、存儲和分析應用;
(5)支持海量數據的快速查詢分析,查詢響應速度在秒級以內;
(6)具備統(tǒng)一的圖形化監(jiān)控和圖形化管理操作等交互能力;
(7)支持數據加密、數據備份恢復、數據一致性校驗、操作審計功能;支持統(tǒng)一的系統(tǒng)身份認證和安全訪問檢查、驗證,實現(xiàn)對各數據庫引擎及數據的訪問;支持按用戶、角色授權。
項目背景
根據石油石化行業(yè)央企“十三五”信息化發(fā)展規(guī)劃和智能油氣田項目總體規(guī)劃的部署安排,結合油田企業(yè)提高生產效率、優(yōu)化生產運營的業(yè)務目標和集中集成、協(xié)同共享的信息化需求,開展智能油氣田項目試點建設。
智能油氣田建設總體目標為以ICT最新技術為手段,圍繞核心資產全生命周期管理,打造全面感知、集成協(xié)同、預警預測及分析優(yōu)化四項能力,助力“高效勘探,效益開發(fā)”,實現(xiàn)企業(yè)資產價值最大化。本期試點項目目標是建設智能油氣田云平臺,補充和完善智能油氣田標準化體系和技術支持體系,圍繞油氣藏、單井、管網、設備等油氣田企業(yè)核心資產,實現(xiàn)油氣藏動態(tài)管理與優(yōu)化,單井、管網、設備的智能診斷與優(yōu)化,建成智能油氣田示范區(qū),打造國家級智能制造示范工程。
鑒于中國在貿易摩擦中受到的巨大影響,關鍵核心技術自主化顯得愈發(fā)重要,長期使用國外數據庫管理石油勘探開發(fā)數據,不利于保障國家能源安全,因此使用數據庫軟件支撐智能油氣田云平臺勢在必行。通過在智能油氣田云平臺中多種大規(guī)模結構化、半結構化與非結構化數據處理技術,通過數據虛擬化、數據聯(lián)邦技術以及引擎間高效的數據實時交換通道,融合復雜關聯(lián)分析、流計算、圖計算、圖計算、批量處理等計算模型,構建大數據云平臺,支撐智能油氣田云平臺中OLAP、OLTP和NOSQL三種計算模型的業(yè)務場景。
由于現(xiàn)有傳統(tǒng)的數據倉庫不能完全滿足以上業(yè)務需求,為實現(xiàn)上述目標,更好地服務于智能油氣田業(yè)務發(fā)展,加強決策支持系統(tǒng)深化應用,深入挖掘數據價值,提升決策支持數據分析能力,需要對現(xiàn)有數據應用集成決策支持系統(tǒng)進行功能拓展和延伸,補充數據分析功能,實現(xiàn)對海量多元異構數據的存儲管理、數據建模及挖掘分析。