在6月10日下午舉辦的亞太內容分發大會暨CDN峰會【運營商論壇】上,浩瀚深度應用產品部經理劉少凱發表了題為《IDC數據中心內容運營一體化解決方案》的精彩演講。
首先劉少凱分析了目前IDC和CDN市場的發展趨勢,隨著5G等新興技術的日益成熟,數據中心也在飛速的發展。據Gartner的數據顯示,到2020年中國數據中心總收入達到了一千五百億;IDC行業每年保持著30%的復合增長率。中國CDN市場預計到2022年達到約一千四百億元的市場規模。
全球每個數據中心的規模也在日益增長;據不完全統計,2019年年底我國數據中心數量達到了288萬。因此無論是CDN還是數據中心,目前都面臨著非常激烈的競爭,降本增效成為關注的焦點。
如何降低成本、增加效益?劉少凱歸納了四個方面:
第一 安全防護
第二 鏈路高效
第三 質量穩定
第四 智能運維
浩瀚深度成立于1994年,二十余年來一直致力于互聯網流量采集、流量挖掘以及流量可視化和大數據應用范疇;目前主要應用于運營商和垂直行業客戶,在DPI領域耕耘多年。目前,浩瀚深度已在運營商的關鍵鏈路出口(省網和IDC等出口)部署了大量專業的數據采集設備。
浩瀚深度通過DPI技術對鏈路流量進行高速采集、合成、挖掘,把這些流量轉換為格式化的日志,傳輸至大數據平臺,進而提供一體化的內容運營的解決方案。
劉少凱首先介紹了CDN和IDC數據中心出口的DPI的設備。DPI設備承載了浩瀚深度25年的技術積累,是目前最高密度的設備,單臺支持處理的流量能達4.8T,在業界處于領先水平,且支持百G和十G的混合部署。劉少凱該將設備的核心功能點歸納為三大類:
第一大類就是業務識別,支持串接在關鍵的鏈路出口,對網絡流量進行識別、分類,目前支持五千多種業務的識別。
第二大類是流量控制功能,能根據IP地址、端口、業務等多種維度進行流量控制或者封堵。
第三大類是流量的鏡像和轉發,根據特定的規則、特定的策略對流量進行轉發。
目前浩瀚DPI設備已經廣泛部署在運營商和CDN服務商出口,覆蓋鏈路僅2018-2020年就增加300Tbps。流量采集之后,把高速鏈路中的流量進行采集、識別、合成,最后生成大量的格式化的數據,浩瀚深度的全國日增數據處理量達PB級。
除了DPI專用的設備,浩瀚深度也在大數據平臺的PaaS層耕耘了十多年,自研了順水云大數據平臺。采集層除了支持對DPI數據的采集,同時支持實時數據、分布式數據的采集。浩瀚深度自研了高性能的傳輸軟件,無論是壓縮性能還是傳輸安全性、可靠性,都比開源軟件有很大提升。
數據存儲方面,浩瀚也在研發高密度存儲設備,支持現在市面上主流的分布式文件存儲、塊存儲等。計算層是重中之重,目前支持實時計算、離線運算以及交互式查詢,關于交互式產品,浩瀚自研的索引機制能支持幾十億的數據快速查詢。
除了核心的計算引擎,另外浩瀚還在機器學習、人工智能方面構建很多模型,如電信行業的數據模型。此外,浩瀚深度還配套了很多邊緣系統,比如數據治理、元數據管理、數據血緣關系管理,以及自動化運維平臺,包括對設備、服務器、交換機全域硬件狀態檢測。數據安全方面,浩瀚深度自研了大數據多租戶安全管控,全面防護數據安全、計算資源濫用。
劉少凱總結說,浩瀚深度的DPI設備部署在數據中心和CDN出口,源源不斷地對流量進行實時的采集和挖掘,形成格式化日志流量的數據,傳輸至大數據平臺,進行CDN和數據中心的數據挖掘,最終形成上層的應用。
具體而言,劉少凱列舉了四方面:
第一是客戶安全管理,主要是數據中心和CDN客戶行為合規(違規行為檢測)管理。
第二是流量內容運營,主要針對內容,對CDN和數據中心內的流量進行全路徑的可視化。
第三是質量感知溯源,對網絡層面、專題質量層面的網絡指標進行刻畫,對低感質差情況進行挖掘發現,進而質差現象進行定位定界。
第四是是智能運維,對數據中心和CDN內硬件設備、軟件進程等狀態進行監控告警,提升整個系統的穩定性。
隨后,劉少凱對上述四點展開進行了介紹:
01 客戶安全管理
1)針對CDN或數據中心存在的黑寬帶、私自違規連接情況,浩瀚深度能夠通過DPI手段獲取流量特征、用戶行為特征,能夠找出寬帶的轉租轉售甚至違規資源些并做一鍵處置。
2)流量跨網絡后,其傳輸的時延明顯增加,質量下降。浩瀚深度能夠幫助CDN和數據中心把資源調度盡可能靠近用戶側,以提升用戶質量感知。對此,浩瀚深度的實時檢測包括了數據中心的回源流量和流量吞吐異常情況挖掘,并及時進行告警。
3)鑒于上述違規行為,設備通過策略下發,能夠對違規內容流量進行有效的控制。
02 流量內容運營
浩瀚深度DPI設備串接在CDN的出口,能夠將所有通過CDN的流量、采集、挖掘,如此以來就能夠從ICP、業務、流向、出口等維度進行流量可視化;并對中間承載的業務資源以及客戶的網絡資源進行資源空間測繪,把熱點資源全部可視化呈現出來,為CDN和數據中心對資源的引入和資源的分布提供最優化的建議。
03 質量感知溯源
通過對底層網絡指標的剖析挖掘,分為兩大類,第一大類是對于網絡通用的指標,比如客戶端時延、服務端時延、首包時延、下載速率等進行監控和可視化。第二大類是對于專題的質量,針對大流量應用如視頻的特有指標——畫質、清晰度轉換、卡頓等解析。進而找到低感、質差的情況并進行告警。第二步,在發現這些現象的同時能夠進行精細化的定位,甄別是用戶側、鏈路側還是資源側出現了問題,之后把清單依據提交給數據中心或CDN做排查整頓,完成后又回到系統里面做這種閉環的監測,對比監測問題解決效果。
04 智能運維管理
智能化運維主要分為三部分,第一部分是說對數據中心甚至CDN全域內所有硬件、所有的設備進行狀態的檢測和資源利用率的監控。第二部分是作業平臺監控,浩瀚深度正在構建自動化運維大平臺,通過中心管控的方式實現一鍵化的下發命令、批量腳本、文件的上傳和下載等操作。第三部分是流量的監控和核對,從CDN出口或者IDC出口,流量的進入、流量的采集、流量的合成、流量的處理、流量的輸出,最后數據進入大數據平臺進行每一個階段的處理、挖掘、生成,每一個階段都設置合理的監控點,實現對整個數據通路全流程的可視化。一旦某個問題出現的時候,監控平臺就會出現斷點拉平,很清楚地發現到底是哪個環節出現了問題,進而及時進行保障,提高整個系統的可靠性。