項(xiàng)目背景

通信管理局是省級(jí)行政區(qū)域內(nèi)通信行業(yè)的主管部門，對(duì)省內(nèi)電信業(yè)進(jìn)行集中統(tǒng)一的監(jiān)督管理。為了實(shí)現(xiàn)對(duì)基礎(chǔ)電信網(wǎng)絡(luò)安全分析和行業(yè)監(jiān)管，通管局大數(shù)據(jù)分析平臺(tái)總體定位是提供智能威脅信息的整合管理和分析功能，通過(guò)海量異構(gòu)數(shù)據(jù)的集中采集和數(shù)據(jù)集中進(jìn)行威脅分析，發(fā)現(xiàn)威脅并將相關(guān)潛在威脅信息予以挖掘呈現(xiàn)。

建設(shè)要求

本項(xiàng)目要求大數(shù)據(jù)分析平臺(tái)能夠有效支撐各類業(yè)務(wù)信息的處理和運(yùn)行，提供面向在線、離線數(shù)據(jù)存儲(chǔ)和處理的綜合能力，并滿足易于管理和擴(kuò)展的需要。
平臺(tái)系統(tǒng)需要支持各類結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，通過(guò)可擴(kuò)展性的分布式平臺(tái)技術(shù)有效支撐對(duì)各類數(shù)據(jù)的加工、檢索、統(tǒng)計(jì)、分析和數(shù)據(jù)深度挖掘的需要，并對(duì)資源與任務(wù)實(shí)現(xiàn)最優(yōu)的調(diào)配管理，最終為上層各業(yè)務(wù)系統(tǒng)提供基于標(biāo)準(zhǔn)接口方式的數(shù)據(jù)的存儲(chǔ)、檢索、統(tǒng)計(jì)和分析等服務(wù)能力。

平臺(tái)建設(shè)需要支撐以下功能實(shí)現(xiàn)：

• 數(shù)據(jù)的匯入存儲(chǔ)

采用先進(jìn)的大數(shù)據(jù)存儲(chǔ)查詢架構(gòu)，實(shí)現(xiàn)對(duì)各類結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)采集、預(yù)處理、日志數(shù)據(jù)標(biāo)準(zhǔn)化入庫(kù)，并實(shí)現(xiàn)高效的數(shù)據(jù)整合存儲(chǔ)、海量數(shù)據(jù)快速分析、實(shí)時(shí)查詢等；

• 威脅信息關(guān)聯(lián)發(fā)現(xiàn)

通過(guò)特征抽取，和大數(shù)據(jù)平臺(tái)的關(guān)聯(lián)分析能力，實(shí)現(xiàn)大數(shù)據(jù)的關(guān)聯(lián)發(fā)現(xiàn)、數(shù)據(jù)間透視分析、和威脅行為的上下文推測(cè)，為威脅分析提供數(shù)據(jù)的邏輯支撐；

• 數(shù)據(jù)的深度分析和挖掘

通過(guò)各類匯合數(shù)據(jù)為大數(shù)據(jù)的分析判定提供數(shù)據(jù)支撐，并通過(guò)大數(shù)據(jù)的逐步分析到深度分析的技術(shù)流程建立，發(fā)現(xiàn)各類威脅模式，完善安全知識(shí)庫(kù)的功能，包括但不限于自治區(qū)漏洞庫(kù)、惡意代碼庫(kù)、惡意程序庫(kù)、IP/域名信譽(yù)庫(kù)、入侵特征庫(kù)等，并通過(guò)系統(tǒng)的管理實(shí)現(xiàn)各知識(shí)庫(kù)中規(guī)則的更新、管理等功能。

• 靈活的數(shù)據(jù)共享訪問(wèn)

主要實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一共享功能，其中平臺(tái)對(duì)上層服務(wù)的各類數(shù)據(jù)輸出接口，主要通過(guò)標(biāo)準(zhǔn)化接口進(jìn)行實(shí)時(shí)數(shù)據(jù)的調(diào)用輸出，非實(shí)時(shí)數(shù)據(jù)接口主要是以標(biāo)準(zhǔn)日志格式通過(guò)FTP等進(jìn)行數(shù)據(jù)傳輸。

本項(xiàng)目采用GBase UP大數(shù)據(jù)融合平臺(tái)，為用戶構(gòu)建標(biāo)準(zhǔn)統(tǒng)一的數(shù)據(jù)采集、數(shù)據(jù)訪問(wèn)的DaaS平臺(tái)。平臺(tái)包括數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)計(jì)算層、分析服務(wù)層和大數(shù)據(jù)統(tǒng)一監(jiān)控管理。平臺(tái)架構(gòu)如下： 

說(shuō)明：

• 數(shù)據(jù)采集層用于支持?jǐn)?shù)據(jù)采集、過(guò)濾、緩存、中轉(zhuǎn)分發(fā)調(diào)度；

• 數(shù)據(jù)存儲(chǔ)層用于支持海量異構(gòu)數(shù)據(jù)的統(tǒng)一可靠的存儲(chǔ)管理，對(duì)外提供標(biāo)準(zhǔn)化統(tǒng)一的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的訪問(wèn)接口；

• 數(shù)據(jù)計(jì)算層是基于支持多種計(jì)算模型的分布式計(jì)算框架，為上層業(yè)務(wù)系統(tǒng)提供專業(yè)的計(jì)算處理庫(kù)；

• 分析服務(wù)層為上層業(yè)務(wù)系統(tǒng)提供各種不同協(xié)議和標(biāo)準(zhǔn)的訪問(wèn)接口，并實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)內(nèi)跨引擎間的任務(wù)調(diào)度；

• 大數(shù)據(jù)統(tǒng)一監(jiān)控管理用于完成對(duì)數(shù)據(jù)分析平臺(tái)的運(yùn)維、監(jiān)控等功能，并同時(shí)提供命令行和圖形兩種管理界面。

本項(xiàng)目通過(guò)MPP及Hadoop構(gòu)建了融合平臺(tái)，累計(jì)部署上百個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)了項(xiàng)目需求。

本項(xiàng)目的價(jià)值體現(xiàn)如下：

• 滿足客戶統(tǒng)一數(shù)據(jù)管理需求，提升業(yè)務(wù)上線速度

通過(guò)采用GBase UP融合大數(shù)據(jù)平臺(tái)，滿足了客戶對(duì)多模數(shù)據(jù)統(tǒng)一管理的需求，并且為上層應(yīng)用提供了標(biāo)準(zhǔn)開(kāi)發(fā)接口，提高了開(kāi)發(fā)效率，提升了業(yè)務(wù)上線速度。

• 有效降低成本

整個(gè)系統(tǒng)平臺(tái)基于開(kāi)放架構(gòu)的軟硬件設(shè)備搭建，極大地降低了系統(tǒng)建設(shè)成本。

• 全國(guó)產(chǎn)化配置，保障系統(tǒng)安全

通管局項(xiàng)目數(shù)據(jù)保密性強(qiáng)，采用全國(guó)產(chǎn)化的技術(shù)組件，保障了用戶數(shù)據(jù)的安全可控。