備受關注的Distributed Cloud|2021全球分布式云大會·北京站于4月7日隆重召開,分布式云是2021年全球十大重要戰略科技趨勢,利用分布式架構技術創新,連接邊緣節點、私有云和公有云的IT資源組成分布式混合云。
全球分布式云聯盟力求打造分布式云計算旗艦級技術盛會,本次大會共設有分布式云報告會、邊緣計算論壇、Serverless云原生論壇、分布式數據庫論壇、分布式存儲論壇,跨境SD-WAN咨詢會等六大論壇,圍繞分布式云、分布式算力、Serverless、云原生、HTAP、IPFS等技術與實踐展開。聯合阿里云、騰訊云、百度云、金山云等全棧技術引領者與全球分布式云聯盟攜手打造這場技術饕餮盛宴。
備受關注的2021全球分布式云大會·北京站于4月7日隆重召開,分布式云是2021年全球十大重要戰略科技趨勢之一,利用分布式架構技術創新,連接邊緣節點、私有云和公有云的閑置資源組成分布式混合云發展潛力無限。
全球分布式云聯盟力求打造分布式云計算旗艦級技術盛會,本次大會共設有分布式云、邊緣計算、云原生、分布式數據、分布式存儲四大論壇,圍繞分布式云計算、邊緣云、Serverless、容器、HTAP、IPFS、跨境SD-WAN合法合規運營等尖端熱門技術話題展開。阿里云、騰訊云、百度智能云、金山云、PingCAP等云計算頭部企業,將與全球分布式云聯盟攜手打造這場技術饕餮盛宴。
邊緣計算的核心目標是人、事、物的快速決策
什么是邊緣計算?邊緣計算是相對傳統集中通用計算而言,將工作負載部署在邊緣的一種計算方式。采用分散式運算架構,在盡可能靠近物、數據源或用戶的地方進行應用計算與數據存儲,僅將必要的結果送到云中心。同時,邊緣計算也是中心云和設備之間的緩沖,是中心云的延伸,與中心云互補。目前邊緣計算落地推動力分別是延遲/確定性、數據/帶寬、有限的自治權、隱私/安全性。
李克總結道:邊緣計算的核心目標是推動人、事、物的快速決策。
Gartner按照位置不同劃分3種計算場景,分別是Near Edge、Far Edge、Cloud,對應著終端計算、IDC計算和中心云計算。其中Near Edge是標準服務器或設備,在距離端側最近的地方,例如在工廠和園區,可以為任何Arm,X86設備;而Far Edge是標準的IDC節點,而Cloud是公共云或專有云服務,特征為資源集中、中心化管理。
在IDC資源定義下,邊緣計算的結構又可以分為Heavy Edge與Light Edge。其中Heavy Edge通常是集中的大規模節點,提供通用的計算存儲能力,如CDN、自建IDC比較常見;而Light Edge是特殊功能的低功耗計算平臺,通常適用于工業控制,基本的數據處理、傳輸等物聯網場景。
2022年邊緣云計算將成為數字業務剛需
5G發展帶來大數據、大連接、低時延應用場景,需要邊緣云計算提供基礎的計算能力,催生邊緣云需求快速增長。邊緣云分布式的網絡架構,可實現離線、就近計算,滿足特定行業對實時性、可靠性與安全性等的嚴格要求。邊緣云起到了承上啟下的作用,除了場景上的需求,另一個需要考慮的是成本,中心機房一般都是超大規模,幾千上萬臺機器,對應的建設投入和運營成本都非常高,而且一般都是BGP帶寬,使用成本比較高,而邊緣云節點,機器配置不用太高,節點規模也較小,一般幾十臺左右,網絡也是單線接入,在成本上具備較大的優勢。
比如在一個城市大腦項目中,通過將應用部署下沉到邊緣,能夠節省大量的BGP帶寬開銷,另外邊緣上也能夠卸載大量的數據,當數據收斂到5%之后,總成本可以節約一半以上。而成本一直都是客戶選擇云計算的一個核心要素。
李克表示,在市場需求不斷上升與自身技術不斷突破雙重推動下,在2022年,邊緣云將成為所有數字業務的基礎設施。
傳統的公有云肯定會一直存在,提供超強的計算和存儲能力,距離客戶較遠,而邊緣云有遍布全國的幾千個小型節點,能夠離客戶較近。邊緣云是中心云的拓展,和中心云一起來提供面向應用場景,以及面向產業互聯網的下一代云計算解決方案。
在未來,中心式公有云的大數據中心節點數量少、單點規模大、離終端距離近遠;而分布式邊緣云節點數量多、單點規模小、離終端距離近。分布式邊緣云可以更好的面對低延時場景、大寬帶場景、大連接等場景,并可以更好地面向產業互聯網。
阿里云邊緣云產品ENS
在介紹了整個邊緣計算的架構與未來發展之后,李克提到了邊緣技術面臨的挑戰。
第一是資源的管理。一方面資源形態較多,比如有CPU機器、GPU機器,也有面向ANDROID應用的ARM陣列,機型的不統一和節點網絡環境不統一,使得節點建設和交付會面臨較大的挑戰,另外節點的數量規模也會比較大,隨著MEC節點的引入,節點規模會發展到百萬量級,對資源的管理帶來較大的挑戰
第二是資源使用。資源使用也需要更好的技術方案,云中心的標準虛擬化方案在小型節點上需要進行改造和適配,邊緣上的計算、存儲、網絡的切片能力,以及中心的云產品和中間件能力下沉都需要大量技術投入,能夠將所有邊緣異構節點形成統一資源管理。
第三是云邊一體的管控技術。中心和邊緣、邊緣之間的管控需要統一,對客戶提供位置無感的服務,在邊緣節點上需要做好邊緣的自治能力,資源可以快速擴縮容,以及實例的冷熱遷移能力。
第四是協同網絡的挑戰。所有的邊緣節點之間,以及邊緣和中心之間需要一個統一的底層網絡,能夠提供穩定可靠、質量成本最優的的傳輸體驗。
總體上講,需要在邊緣云上提供統一的資源建設納管和統一的調度和生產能力,以及位置無感的服務和網絡傳輸。
在面對以上提到的四大挑戰上,李克為我們帶來了阿里云邊緣云產品ENS。
李克首先介紹了阿里云邊緣云發展的情況,第一個階段是錘煉期,在2017開始打造,依托于CDN的資源開始進行邊緣計算節點的改造;第二個階段是提供IAAS的基礎服務,18年實現了覆蓋100公里的邊緣節點布局,19年進一步擴大了節點規模,有了超過300個ENS節點,未來會進行更多節點的管理;第三個階段對具體業務和場景的支持,比如智慧城市項目,智能家居等;現在已經步入了第四個階段,在IAAS的基礎上,打造一些通用的PAAS能力,來進行更好的業務場景支持,比如云原生平臺、視圖計算平臺、全球交互通信網絡等。
李克表示阿里云邊緣云整體上發展策略是資源一步步下沉到離端最近的地方,另外對上層提供的能力越來越貼近業務場景,如今阿里云邊緣云產品ENS已擁有眾多產品能力:
1、在計算上支持三種基礎計算形態,虛機容器和安全容器,終端的數字孿生計算。
2、在存儲上,支持塊存儲、文件存儲,對象存儲等多種形態,將原有CDN的緩存能力變為通用的KV能力。
3、在網絡上,實現了節點內的多種網絡形態,跨節點的網絡加速和交換能力,以及邊緣的負載均衡產品。
4、在安全上,提供了四七層的防攻擊能力,針對內容和主機的安全能力等,600G的DDOS攻擊。
5、在管控上,能夠高效的進行節點的自動化建設,以及容器虛機的高效生產,和鏡像發布的管控。
在架構上,李克進一步介紹道:阿里云邊緣云計算產品ENS從基礎設施開始,一層層進行封裝,底層的服務器、交換機能夠形成統一的池化資源。在IAAS層通過邊緣飛天操作系統,抽象出來計算、存儲網絡的資源形態;在PAAS層提供了存儲平臺、計算平臺、容器平臺、視圖計算平臺和應用管理平臺;最上層的SAAS場景交給客戶進行封裝實現,完成垂直化業務和創新場景的落地。
邊緣業務場景實踐
李克表示阿里云做邊緣云有3個優勢:第一個是資源優勢、第二個是技術優勢、第三個是自有業務的優勢。
李克為我們舉例道:阿里云有一個飛天操作系統用來管理中心的云計算體系,我們基于邊緣打造了一個飛天邊緣操作系統,主要是希望邊緣上能夠承載中心云的算力下沉,以及端上的算力上移,讓計算在發生在最低成本和最佳體驗的節點上。比如數據分析,就可以在邊緣上進行預處理,而不需要全量的數據回傳到中心云處理,這就實現了算力的下沉。
終端算力上移場景代表性的場景就是云游戲、云應用等,終端不需要配置較好的芯片,運算和渲染發生在邊緣節點上,終端只需要進行流式顯示即可,從而完成了算力的上移。
接下來看一下內部的場景,我們先拿分布式日志平臺來舉例子:
在邊緣上不管是提供CDN服務,還是視頻服務,都會有大量的訪問日志和操作日志,這些日志需要給業務決策提供輸入,涉及到大量的計算和存儲開銷,其挑戰也是非常大的。
首先在規模上,大量的分布式集群,每天產生超過10PB的數據,這些數據都需要能夠可靠的進行收集和處理。其次在成本上,對應的計算、存儲、網絡開銷每年高達幾億,而且業務還在持續快速增長在效率上,有大量的定制分析需求,需要快速發布,原始數據檢索也需要快速支持,最后在穩定性上,因為很多數據涉及到調度和計費場景,其可用性也需要保障。
目前的做法是設計了一套分布式的日志處理平臺,能夠在邊緣上做大量的計算和存儲,分析任務通過算子的方式在節點上進行編排,只有不到千分之一的分析結果需要上傳中心。
大量的計算檢索都在邊緣上產生,一方面提高了效率,另一方面在成本上有非常顯著的降低,利用邊緣的空閑資源,分而治之的把全網數據進行邊緣處理,每年節約成本超過1個億。
接下里第二個內部場景是邊緣的云原生,邊緣之所以云原生,是為了解決資源的使用效率,以及應用的發布效率,能夠提供云原生的環境,面向未來打造邊緣的技術基座。
李克認為云原生核心是改變業務使用資源的模式,開發效率的提升。傳統的資源使用是基于物理機,所有的運維體系都是基于設備和操作系統,即使有了虛擬化技術,也只是在資源形態上發生了一些改變,對于發布和運維,以及開發模式沒有本質的提升。
云原生要做的就是實現高效的資源管理,能夠進行租戶隔離和資源的彈性生產,對外提供標準化的服務和接口,提供應用注冊、發現和編排的能力,未來的應用只有基于了微服務,不必關系資源的彈性和運維才是真正的云原生技術。
目前云原生平臺典型的技術有容器、微服務和服務網格,邊緣云原生在技術上分為三層,底層是基礎的容器技術,不管是使用原始的DOCKER,還是基于K8S,需要在不同的節點和機器上提供統一的容器生產接口,并且還需要進行相關的容器存儲和網絡支持,在中心,無法使用單一的K8S集群管理這么大規模的服務器和POD,因此需要分層的容器化平臺,調度和控制指令能夠快速下達到每一個小的集群。
在容器臺之上,提供了MESH的應用管理能力,可以進行靈活的發布和灰度,以及完善的數據和監控體系,整個云原生平臺,對業務來講,可以提供不同類型的計算資源,如容器、K8S、以及位置無關的SERVERLESS服務。
目前邊緣云計算已經實現了全面的云化,內部業務如CDN和視頻等已經基于容器進行大規模部署,資源實現了統一的池化,所有的邊緣節點都可以進行標準的POD生產,能夠分鐘級別提供超過10w的計算資源,目前在壓測場景已經大規模在使用。
接下來講2個外部的場景:
第一個是云應用,典型例子是云游戲,云游戲的歷史也比較悠久,一直無法大規模復制,而5g和邊緣計算出現恰好彌補了資源覆蓋和網絡傳輸問題,因此云游戲能夠更好的發展。通過云游戲平臺,根據客戶位置和應用特性,可以選擇一個最合適邊緣節點,生產出來一個虛擬設備,客戶直接連接邊緣節點,操作指令直接發送到邊緣計算節點的虛擬終端上,節點處理后再將數據通過流式的方法下發給客戶。
云游戲這種模式,對于云廠商來說,能夠實現比較好的資源復用,只有活躍的玩家才會有虛擬終端;對于游戲廠商來說,游戲的種類和更新可以更敏捷,具備更強的競爭力;對于客戶來說,終端芯片要求較低,能夠體驗更多游戲。
基于邊緣云的游戲解決方案,對玩家和廠商都有較好的收益,目前云游戲已經在邊緣實現規模化支持,同時支持端游和手游的方案。
李克講述的第二個案例是在視頻領域。邊緣云也能很好的滿足場景需求,政府、行業、商業等多類場景均有視頻需求,視頻流眾多,直接上云高成本、質量服務保障,自建機房投入高、運維難度大。阿里云邊緣云可以提供同城同區就近視頻匯聚能力,讓視頻更好的收流、存儲;實現低成本、高質量的智能分析、智能計算。
展望未來:標準化+開放的生態建設
最后,李克表示在未來邊緣云發展要注重兩個關鍵詞:標準化和開放生態的建設。越來越多的生態應用依賴于 “云-邊-端” 協同,邊緣云在這個協同中扮演的正是上下銜接的關鍵角色;需要大家在標準和開放上持續堅持,完善邊緣云的生態。
一方面整合各種各樣的邊緣節點,從骨干網到城域網,再到基站和廠區,都可以有邊緣的虛擬節點,建設出來一個無處不在的邊緣覆蓋;另一方面基于自研的邊緣操作系統,提供分布式的融合計算網絡,實現資源的統一納管、統一調度、統一生產,對外提供統一的開放API。
李克最后總結,不管技術如何發展,場景永遠是第一位的, 4G催生了視頻行業,5G下各類新型場景正在成為現實,在低延遲、大連接、大流量下,一切皆有可能,當更有價值的應用出現時,邊緣云一定要提前做好準備。