杭州交通管理指揮平臺二期項(xiàng)目——低成本數(shù)據(jù)倉庫支撐海量數(shù)據(jù)
價(jià)值體現(xiàn)
l 海量數(shù)據(jù)存儲：支撐PB級數(shù)據(jù)的存儲和處理，實(shí)現(xiàn)條塊融合和跨警種信息資源的歸并整合，為上層應(yīng)用和數(shù)據(jù)挖掘提供基礎(chǔ)支撐；
l 高性能：克服傳統(tǒng)的關(guān)系型數(shù)據(jù)庫高成本、運(yùn)算時(shí)間長、分析結(jié)果及業(yè)務(wù)報(bào)表滯后等劣勢，將大數(shù)據(jù)量業(yè)務(wù)數(shù)據(jù)處理的性能提升10倍；
l 輔助科學(xué)決策：為科學(xué)決策提供了客觀依據(jù)，確保動態(tài)信息及時(shí)掌握；
l 低成本、高擴(kuò)展：最高1:20的壓縮存儲，硬件為X86 PC Server，有效節(jié)省硬件投入成本；架構(gòu)為Shared Nothing扁平架構(gòu)，線性在線擴(kuò)展，解決傳統(tǒng)數(shù)據(jù)庫技術(shù)架構(gòu)無法擴(kuò)展問題。
解決方案
物理層采用X86 PC Server，軟件層采用GBase 8a MPP Cluster 構(gòu)建交通管理指揮大數(shù)據(jù)平臺，整個(gè)集群分為6集群節(jié)點(diǎn)+1臺加載節(jié)點(diǎn)。每個(gè)2個(gè)節(jié)點(diǎn)組成一個(gè)SafeGroup，共3個(gè)SafeGroup。
杭州交管局需要將2010年之后所有主要的業(yè)務(wù)數(shù)據(jù)，包括警情、情報(bào)、違法、卡口過車記錄、浮動車、微波、SCATS（信號機(jī)）、路段狀態(tài)、動態(tài)地圖坐標(biāo)等數(shù)據(jù)以及在此基礎(chǔ)上產(chǎn)生的衍生數(shù)據(jù)進(jìn)行匯總和分析。
對于后續(xù)的的數(shù)據(jù)，通過數(shù)據(jù)庫鏈接或ETL工具從其他系統(tǒng)中將數(shù)據(jù)加載入GBase 8a MPP Cluster，ETL作業(yè)數(shù)量最多同時(shí)可達(dá)數(shù)十個(gè)，以時(shí)間調(diào)度為主。
需求分析
l 數(shù)據(jù)來源多樣性：需要從杭州交管現(xiàn)有的十幾個(gè)系統(tǒng)中抽取加載數(shù)據(jù)，數(shù)據(jù)異構(gòu)化嚴(yán)重；
l 統(tǒng)一性：由于現(xiàn)有的以O(shè)racle為基礎(chǔ)構(gòu)建的交易型數(shù)據(jù)庫性能的限制，許多分析無法做成。另外，數(shù)據(jù)條塊分割，信息關(guān)聯(lián)共享程度不高，缺乏深度挖掘分析。需要建設(shè)支撐海量數(shù)據(jù)、統(tǒng)一管理、統(tǒng)一調(diào)度的數(shù)據(jù)倉庫平臺；
l 兼容性：需要在已建成的業(yè)務(wù)操作環(huán)境下，提供大數(shù)據(jù)技術(shù)下的智能化輔助決策和分析功能，支撐復(fù)雜分析計(jì)算，滿足數(shù)據(jù)分析型應(yīng)用的需求；
l 前瞻性：適應(yīng)未來五年大數(shù)據(jù)平臺規(guī)劃，具備不斷擴(kuò)容的能力。
項(xiàng)目背景
隨著杭州交通的發(fā)展，機(jī)動車數(shù)量迅猛增長，交通流量持續(xù)攀升。同時(shí)與此相關(guān)的警情、車流量、路網(wǎng)狀態(tài)、違法記錄、通行記錄等交通信息也快速增長，與交警業(yè)務(wù)相關(guān)的數(shù)據(jù)越來越多，數(shù)據(jù)總量巨大。如何高效的分析這些數(shù)據(jù)，挖掘出數(shù)據(jù)背后隱藏的價(jià)值，從而提高交通設(shè)施利用率，提升交通管理水平，改善交通安全成為了亟待解決的問題。