亞太內(nèi)容分發(fā)大會暨CDN峰會一直致力于推動CDN產(chǎn)業(yè)深度融合發(fā)展和市場普及,現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡盛會。十年來,在以阿里云、網(wǎng)宿科技、騰訊云等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下,CDN產(chǎn)業(yè)已經(jīng)成為基礎(chǔ)性設(shè)施網(wǎng)絡,以堅定的基石之姿,支撐起中國成為世界最大的互聯(lián)網(wǎng)市場。
隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進,亞太內(nèi)容分大會暨CDN峰會的影響力正在逐漸向全球延伸,同時也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個角落。
在6月10日下午舉辦的【運營商論壇】上,中國科學院信息工程研究所博士/副研究員 韓言妮帶來了以《AI賦能內(nèi)容網(wǎng)絡的實踐與思考》為題的主題演講。演講中,韓言妮從CDN內(nèi)容網(wǎng)絡發(fā)展趨勢、CDN在運營商現(xiàn)網(wǎng)中實踐、CDN新型架構(gòu)的實踐、AI賦能CDN內(nèi)容網(wǎng)絡思考等四方面探討,為大家?guī)砹司蕛?nèi)容。
中科院作為科研單位為什么會對CDN網(wǎng)絡非常感興趣呢?韓言妮表示,作為科研單位一直關(guān)注歷屆的CDN大會主題演講分享,并且今年的大會主題是“敬畏技術(shù),踐行初心”,也是符合中科院秉承的理念。
談到初心韓言妮重溫道CDN的誕生的一個小故事。CDN最早的發(fā)明是源于一個麻省理工學院的學術(shù)問題,最早在1995年,萬維網(wǎng)的發(fā)明者李博士在發(fā)明互聯(lián)網(wǎng)之后,發(fā)現(xiàn)隨著這種寬帶接入的豐富,內(nèi)容資源的豐富,大量的用戶來訪問互聯(lián)網(wǎng)上的資源。
這必將會造成互聯(lián)網(wǎng)內(nèi)容訪問的一個擁塞,李博士便請他的應用數(shù)學同事Tom Leighton博士,從數(shù)學算法的角度對以上問題提出優(yōu)化方法,能夠在現(xiàn)有的無序訪問中進行內(nèi)容的體驗提升,減少這種網(wǎng)絡的無序。這就引起了這個博士的興趣,他就立即召集他的學生組成了研究團隊,從數(shù)學的角度,包括動態(tài)的部分內(nèi)容優(yōu)化,用一種分布式服務器的方式部署在網(wǎng)絡的邊緣,隨后進行內(nèi)容的復制和緩存。這就是CDN的誕生過程。
CDN從1998年正式誕生以來,伴隨著互聯(lián)網(wǎng)的發(fā)展,CDN有過快速發(fā)展和短暫低迷的時候。韓言妮介紹,CDN發(fā)展歷程分為4個階段。
其中,第一階段是CDN誕生之際的數(shù)字化階段,互聯(lián)網(wǎng)以靜態(tài)內(nèi)容為主,并采用緩存手段;
第二階段為CDN2.0時代,屬于動態(tài)化階段。此時出現(xiàn)了動態(tài)信息的交互式上傳。這一階段提升了網(wǎng)絡性能,解決動態(tài)內(nèi)容的問題;
第三階段是CDN3.0時代,屬于網(wǎng)絡化階段。各種智能手機和平板設(shè)備開始快速普及,用戶上網(wǎng)的介質(zhì)也從過去的固定電腦向移動設(shè)備轉(zhuǎn)移為CDN發(fā)展帶來了挑戰(zhàn);
第四階段為CDN4.0時代,屬于云智能化階段。CDN云化整合,基于云平臺的CDN向智能化演進,智能流量調(diào)配和鏈路管理成主線。面對海量數(shù)據(jù),實現(xiàn)定制化的智能調(diào)度、大數(shù)據(jù)分析技術(shù)等,具有更強分發(fā)能力、更高效計算能力和彈性存儲能力。
以上四個階段是至2019年為止的,那么2019年至今,是屬于融合智能CDN階段?,F(xiàn)有的CDN架構(gòu)方式結(jié)構(gòu)相對穩(wěn)定,對現(xiàn)有架構(gòu)進行大修大補或者完全創(chuàng)新目前來講是非常困難的。因此,融合智能階段包括四個趨勢:一是全業(yè)務智能化CDN;二是ICT新興技術(shù)的融合演進;三是邊緣節(jié)點下沉/MEC;四是SDN/NFV技術(shù)的結(jié)合。韓言妮介紹。
與此同時,網(wǎng)絡智能化已經(jīng)是未來的必然趨勢,它的智能一體是從調(diào)度、運維、分析、服務等方面都需要CDN注入新的活力。隨著5G、云計算、人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)等數(shù)據(jù)信息技術(shù)的迅速發(fā)展,全球數(shù)據(jù)流量呈幾何級增長的態(tài)勢,2021年全球所有互聯(lián)網(wǎng)流量的77%將流經(jīng)CDN;互聯(lián)網(wǎng)視頻在個人互聯(lián)網(wǎng)流量中占比達到81%,主要得益于短視頻及直播行業(yè)應用的爆發(fā)。
此外,CDN產(chǎn)業(yè)蓬勃發(fā)展也敦促相應國家的政策不停出臺?!白鳛檠芯克?,我們長期關(guān)注國家近幾年在CDN領(lǐng)域的一些戰(zhàn)略和方針。從2013年最早的寬帶中國,國家非常就明確的提出要將CDN列為國家基礎(chǔ)設(shè)施的重要組成部分。同時在之后的數(shù)字中國方面,CDN的重要性日漸突出,已然成為國家戰(zhàn)略關(guān)鍵基礎(chǔ)設(shè)施?!表n言妮說。
韓言妮介紹,在國家政策的推動下,中科院在2014年與運營商簽訂戰(zhàn)略合作框架協(xié)議。目的在于內(nèi)容網(wǎng)絡是運營商重要基礎(chǔ)設(shè)施,是掌控互聯(lián)網(wǎng)流量調(diào)度權(quán)的前提。而且優(yōu)化現(xiàn)網(wǎng)內(nèi)容分布,提升用戶體驗,構(gòu)建運營商核心競爭優(yōu)勢。面向未來實現(xiàn)CDN與SDN融合,探索新型內(nèi)容網(wǎng)絡發(fā)展演進路線。
在CDN的運營商現(xiàn)網(wǎng)中實踐的過程中,中科院發(fā)現(xiàn)當前運營商缺乏一些有效的內(nèi)容管理手段,業(yè)務質(zhì)量無法保障。隨著短視頻、在線直播、AR及VR等新型應用及服務迅速發(fā)展,互聯(lián)網(wǎng)上內(nèi)容資源極大豐富,導致內(nèi)容管理手段未能充分協(xié)同工作、發(fā)揮存量資源效益,為此運營商意識到內(nèi)容管理的重要性和緊迫性。
“因為當時大家充分認為互聯(lián)網(wǎng)上內(nèi)容資源非常豐富,那么如何對內(nèi)容網(wǎng)絡進行一個由黑盒變成白盒是掌握互聯(lián)網(wǎng)流量調(diào)度非常重要的抓手。因此我們希望在這方面充分發(fā)揮它的智能數(shù)據(jù)分析、智能流量調(diào)度等能力,同時面向未來開展SDN、CCN、NDN等技術(shù)的演進,探索新興的互聯(lián)網(wǎng)架構(gòu)。”韓言妮說。對此,中科院進行多維布局,首先在運營商現(xiàn)網(wǎng)中開展內(nèi)容管理平臺CRS的建設(shè),并利用平臺從運營商現(xiàn)網(wǎng)中采集海量、多源的網(wǎng)絡日志。通過數(shù)據(jù)分析與處理,力爭實現(xiàn)全網(wǎng)互聯(lián)網(wǎng)用戶、分省資源的可視化。此外,通過分析熱門資源的組成、分布、質(zhì)量等,最終提升互聯(lián)網(wǎng)用戶的訪問量。
韓言妮介紹,中科院協(xié)同運營商提出CDN內(nèi)容網(wǎng)絡建設(shè)的總體架構(gòu)。目前運營商中共有三個調(diào)度中心、四個內(nèi)容資源池。中科院長期承擔上層內(nèi)容管理平臺的功能建設(shè),通過采集底層邊緣節(jié)點情況、調(diào)度中心日志等,形成CDN內(nèi)容展示、決策和優(yōu)化建議,并形成調(diào)度策略管理推送給內(nèi)容調(diào)度層,便于全網(wǎng)內(nèi)容資源的布局優(yōu)化?!表n言妮說。
其實,內(nèi)容網(wǎng)絡現(xiàn)網(wǎng)實踐還包括不同AI場景。包括智能化/自動化系統(tǒng)運維、數(shù)據(jù)分析與智能處理、網(wǎng)站域名自動化分析與維護、CDN內(nèi)容安全分析和故障預測/異常分析等。
實踐中,第一個應用就是熱點內(nèi)容智能分析與預判。是基于日志分析,強化人工智能在用戶點擊、流量、性能大數(shù)據(jù)的融合,部署智能算法實現(xiàn)熱門內(nèi)容預判,聚焦用戶訪問、內(nèi)容引入、解析出網(wǎng)、調(diào)度錯誤等問題,發(fā)現(xiàn)內(nèi)容引入差異的問題及短板。其價值在于提升內(nèi)容引入精度和避免定位域名調(diào)度錯誤的問題。CRS現(xiàn)網(wǎng)從2016年建設(shè)到如今,能夠把整體內(nèi)容的點擊率提升到95%以上,調(diào)度準確性也能到達95%。這些運營指標的有效引入支撐了內(nèi)容引入的精度。韓言妮介紹。
第二個應用是CDN業(yè)務智能運維與異常檢測。在CDN業(yè)務的運維方面,韓言妮認為對于云服務商運維是大難題。尤其是最傳統(tǒng)的人工運維包括所謂的自動化運維,其實更多是通過一些閾值來定義的。
韓言妮講解道:“我們覺得在CDN因為要運營大量的數(shù)據(jù),還要進行數(shù)據(jù)分析,因此為了保證它的穩(wěn)定性,減少人工的繁瑣配置。經(jīng)過實踐探索,結(jié)合AI的智能算法,針對歷史事件、當前事件和未來事件進行智能運維和異常檢測。如,對歷史事件進行KPI聚類、瓶頸分析、關(guān)聯(lián)關(guān)系挖掘;對當前事件進行異常檢測、故障根因分析、異常定位;對未來事件進行故障預測、趨勢預測、容量預測等?!?/p>
除了在運營商CDN現(xiàn)網(wǎng)中實踐,韓言妮還分享了中科院在CDN新型架構(gòu)的實踐。中科院最早從內(nèi)容節(jié)點進一步下沉到LTE核心網(wǎng)、接入網(wǎng)側(cè),結(jié)合LTE網(wǎng)絡特性對傳統(tǒng)CDN進行改進和優(yōu)化,包括協(xié)議適配與兼容性設(shè)計、請求調(diào)度方法、內(nèi)容協(xié)同管理、業(yè)務計費、流量優(yōu)化、訪問控制與鑒權(quán)等技術(shù)方案等。
“將內(nèi)容下沉到無線基站,構(gòu)建移動CDN網(wǎng)絡,是5G網(wǎng)絡技術(shù)的必然要求。那么,我們在內(nèi)容下沉基站的方案驗證中,采用部分現(xiàn)網(wǎng)的無線基站數(shù)據(jù)進行模擬和理論分析。首先,我們從理論上驗證了下沉到基站思路的可行性。其次,通過現(xiàn)有的數(shù)據(jù)發(fā)現(xiàn),基站中訪問的內(nèi)容熱度是服從長尾分布,基本上10%的熱門內(nèi)容可以滿足近50%的用戶請求。因此我們聯(lián)合華為設(shè)備商做了相應實驗,并基于現(xiàn)網(wǎng)數(shù)據(jù)對RAN側(cè)流量特征及緩存性能進行了詳細分析,驗證了在移動基站側(cè)部署內(nèi)容節(jié)點/緩存的可行性。分析表明,基站側(cè)部署100GB 的緩存時,HTTP 流量可降低24.4%,命中率可提高42.2%”韓言妮說。
除此之外,中科院還進行了MCDN原型系統(tǒng)的測試。韓言妮介紹,測試中利用省會城市LTE網(wǎng)絡的三個基站(2個商用基站,1個網(wǎng)管中心試驗基站)進行測試,分別從源網(wǎng)站(CDN)、MCDN-Core、MCDN-Edge節(jié)點下載該資源,取平均下載速率計算。
測試結(jié)果是,從MCDN-Core下載,速率是源網(wǎng)站的2.71倍;從MCDN-Edge下載,速率是源網(wǎng)站的3.1倍。隨后,中科院關(guān)于面向內(nèi)容的新型未來網(wǎng)絡架構(gòu)SDCN開展先導專項的工作,借鑒SDN/CCN等技術(shù)理念,支持內(nèi)容與網(wǎng)絡的協(xié)同和融合,實現(xiàn)全網(wǎng)內(nèi)容管理平臺與SDN控制器的對接,驗證融合內(nèi)容和網(wǎng)絡的資源動態(tài)管理及傳輸優(yōu)化。
“最后,我們從思路上驗證了一下內(nèi)容路由的基本機制,包括研制SDCN智能交換機原型設(shè)備。該設(shè)備主要功能為內(nèi)容路由、協(xié)同緩存、傳輸優(yōu)化、能耗管理等。此外,近幾年我們針對內(nèi)容網(wǎng)絡方面研制了大量的專利,申請參與了國際ETSI、IETF相應的標準制定,以及和運營商共同撰寫專著等,對我們的現(xiàn)網(wǎng)建設(shè)和前瞻技術(shù)架構(gòu)的探索成果進行了匯總?!表n言妮說。
演講最后,韓言妮分享了AI賦能內(nèi)容網(wǎng)絡的思考。她表示,隨著人工智能時代的到來,AI得到了大規(guī)模商業(yè)應用。那么,是否能夠用人工智能的優(yōu)化算法,在海量的CDN數(shù)據(jù)分析、網(wǎng)絡運維和內(nèi)容調(diào)度方面進行更深刻的融合是需要考慮的問題。因此重點從智能化,邊緣下沉和安全化等方面入手思考。
“希望我們現(xiàn)在的AI技術(shù),從賦能單一技術(shù)演進為賦能整體CDN生態(tài)系統(tǒng)。在網(wǎng)絡演進的前提下,我們能夠進行智能分析、智能調(diào)度、智能運維和智能服務。從安全化方面,我們從它的運行安全、內(nèi)容安全和服務安全等能力上進行深度的融合和更扎實的工作?!表n言妮說。