北京聯通流媒體日志查詢平臺項目——轉非實現日志統一管理
項目背景
北京聯通寬帶業務中心在IPV6流媒體系統升級改造完成的基礎上,需要進一步實現對用戶訪問信息的統計,達到深度分析用戶訪問行為,快速定位故障、快速響應聯通客戶投訴,提升客戶滿意度的目的,并為經營分析、營銷及運維提供高價值的數據支持。寬帶業務中心各類系統每天產生大量的非結構化、半結構化日志信息,包含故障信息、用戶訪問情況等內容,需要對各類日志文件進行統一轉化和存儲,進而實現信息價值的挖掘。
需求分析
需要圍繞寬帶業務中心流媒體各類系統建立統一的日志管理平臺,實現對復雜日志文件的結構化轉化和存儲,有效應對日志數據量大、結構復雜、響應要求高等挑戰。系統須具備海量日志壓縮存儲能力和高效的統計分析能力,處理能力達到百TB級別,復雜分析查詢響應達到秒級,有效監控業務系統的運營狀態。
解決方案
本方案采用GBase 8a MPP Cluster構建IPV6流媒體日志管理平臺。日志文件加載工具將各類系統中生成的日志文件進行分析、清洗和轉換,以結構化數據類型加載至GBase 8a MPP Cluster進行存儲。基于MPP+Shared Nothing架構的新型列存GBase 8a MPP Cluster數據庫集群作為日志管理平臺的核心,實現對日志信息的完整、一致和持久化存儲。通過GBase 8a MPP Cluster標準化接口實現與上層BI應用的連接,為用戶提供即席查詢、多維分析、交互式報表等豐富的業務專題應用的支撐。
價值體現
管理升級:定制的轉換工具將原有的非結構化、半結構化日志文件轉換為結構化信息,實現信息的自動化處理和存儲,減少了日志手工維護的難度和成本。系統標準化SQL和第三方應用接口,為日志信息的深度分析、價值挖潛和可視化管理提供了基礎支撐;
性能提升:流媒體日志管理平臺提供高性能的查詢響應能力,以及數據庫高效的關聯查詢和統計分析能力,保障了問題發現、用戶行為分析等應用的處理效率;
節省成本:基于PC Server+Linux+本地磁盤的低成本架構,節省了前期設備投資。日志數據以10~20倍以上高壓縮方式進行存儲,節省磁盤空間和持續的電力消耗。