在數字化轉型速度不斷提升的今天,大帶寬、低時延、高并發的場景不斷涌現,終端用戶對于網絡內容反應速率要求提升,對于CDN的應用需求也在不斷攀升。而今正值中國CDN發展十年轉型期,提升CDN核心競爭力,以CDN為切入點帶動邊緣計算、分布式云計算、音視頻直播、云游戲等服務,為用戶打造更高質量的CDN服務將成為新時代產業競爭的關鍵所在。
8月25日,以“新征程,耀一起”為主題的2022亞太內容分發大會暨CDN峰會在北京隆重開幕,本屆大會由亞太CDN產業聯盟、眾視Tech聯合主辦。亞太CDN產業聯盟攜手
阿里云、騰訊云、網宿科技、火山引擎、天翼云、中興通訊、金山云等內容分發領域頭部企業,為行業破舊立新、閃耀新征程發出最強音!
在8月25日下午舉辦的【邊緣計算論壇】上,阿里云技術專家
徐若晨發表了題為《邊緣容器云平臺的探索和實踐》的主題演講,基于阿里云大規模邊緣容器云平臺展開介紹阿里云邊緣容器云平臺的發展背景、歷程、設計與架構,深入解析了阿里云邊緣容器云平臺上的典型業務場景與實踐案例,本文為整理內容。
立足于用戶視角構建“云邊端”一體化平臺
從用戶視角出發,當前在邊緣側業務面臨挑戰眾多:
· 自建邊緣機房交付周期長、資產重;
· 邊緣集群常態化裁撤、割接,SLA難保障;
· 單集群業務規模小、彈性差;
· 屬地性應用多,集群維護成本高、難度大;
通過在中心和客戶現場之間,構建起邊緣云這一層服務,就能夠解決以上問題。邊緣云為用戶帶來的對應方面價值主要體現在:
· 提升效率:為終端提供距離更近、時延更低的算力資源,支持時效性強、交互性強的業務場景,實現秒級算力交付;
· 降低成本:通過終端上移這一手段有效提升部分業務靈活性,實現按量付費、彈性擴容,降低客戶的成本;
· 易運維:采用云原生交付方式,提升邊緣應用可運維性,降低客戶運維投入
· 低時延、提升用戶體驗:基于海量低延時的邊緣集群資源覆蓋,為客戶提供時延更低的體驗;
基于“云-邊-端”的架構模式,邊緣云實現了云端算力下沉與終端算力上移:
· 云端算力下沉:通過將應用、算力分布式部署邊緣,從而卸載掉中心Region核心服務的負載。考慮到中心Region帶寬的成本遠高于邊緣,因此對于帶寬較大的業務,在邊緣云實現流量的收斂再回到中心,能夠大幅度縮減帶寬的成本,為客戶提供離終端更近的算力資源,提升業務交互性與時效性;
· 終端算力上移:對終端應用進行瘦身的同時為應用開發者提供標準化運維與云邊體驗一致的開發過程,幫助快速開發、迭代。對比終端應用,邊緣云擁有更加豐富的生態,提升業務靈活性。除此之外,邊緣上提供專屬GPU硬件,進一步優化應用性能。
深度解析邊緣容器云平臺架構 精準應對技術挑戰
邊緣容器云平臺技術挑戰
邊緣容器云平臺的技術挑戰主要是來自于三方面:
首先是集群規模小而多。受限于邊緣的物理環境,單個集群的規模通常有限。隨著資源的進一步下沉,終端算力的進一步上移,各類資源被納管到邊緣云中,資源規模迅速增長,邊緣規模呈現出小型化、廣覆蓋的特點,為資源管控、彈性調度帶來技術挑戰;
二是邊緣環境復雜。處于邊緣的設備工作狀態與條件對比數據中心更差,往往存在弱網、斷網等情況,對于邊緣自治、云邊協同、邊邊協同、跨節點遷移能力、故障逃逸能力提出較高要求;
三是邊緣基礎設施異構。出于成本考量、業務定制化需求的考量,硬件操作系統、網絡結構等方面存在明顯異構場景,給資源的云化納管工作造成困難;
邊緣容器云平臺架構
物理資源層包括多云融合資源、MEC、ARM陣列、自有節點、多云融合資源等,上層為資源建設與運維平臺,提供基礎的IaaS服務。
中間層從下往上,首先由異構資源納管部分負責將IaaS資源以k8s節點形式接入k8s集群中;正如前文所述,單一的或少量的k8s集群無法容納所有資源,所以基于異構資源納管層需要構建多集群管理與調度融合能力,為上層提供標準的k8s界面;在標準k8s界面的基礎上進行邊緣能力的加強,包括邊緣容器鏡像、邊緣工作負載、邊緣服務網格、邊緣應用管理等。
最頂層是邊緣能力開放層,通過提供OpenAPI、開發者工具、能力開放平臺等,使得用戶、開發者可以通過開放層去使用阿里云邊緣容器平臺的各項能力來管理自己的業務。
針對中間層的邊緣容器云平臺將展開進行介紹:
異構資源納管
異構資源納管核心功能是將邊緣資源以k8s節點形式接入集群中,如圖所示為標準化接入流程,適配了MEC、ARM等各種業務場景。接入過程中同時感知集群水位分布與邊緣資源網絡狀態等多維度指標,選擇最優接入集群,基于組件預置等技術方案減少接入過程中如組件安裝、下載等時間成本,加速接入流程。
多集群管理
多集群管理流程如圖所示,客戶通過虛擬集群創建工作負載與pod,基于全域融合調度器,實時感知資源集群狀態選擇最優調度結果,將結果反饋租戶虛擬集群中,利用同步器進行向下同步生產工作。
過程中將k8s集群分為兩類,資源集群與為租戶創建的獨立虛擬集群。通過多層樹狀拓撲結構使每一個獨立虛擬集群能夠通過原生k8s語義使用全域邊緣資源,并且提升了租戶間的隔離性。
對于k8s集群的讀操作通過統一事件總線完成,而非直接對k8s集群進行操作。因此每個k8s集群都能有效控制集群上的客戶端數量,減少服務器上list-watch的消耗,并且使系統具備水平擴展能力。
全域融合調度在模型中作為k8s集群的總調度器,類比于大腦這一角色,有效實現了全域資源的多維度實時感知與多層次調度。
邊緣特性增強
由于邊緣資源單集群數量較多,因此需要通過單元化管理的概念將其映射到邊緣的多個集群上,同時完成單元間的并行分發,以此提升業務發布效率。阿里云通過自研適配邊緣場景的工作負載,對每一臺機器上的每一個pod版本更新實現精準控制,使得系統更契合邊緣異構場景上的容器與多開場景。
基于阿里云內容分發網絡的技術與生態優勢,構建出具備全網緩存與加速能力的邊緣鏡像服務,對于大規模流量并發提供支持,實現容器擴容,提高創建速度。
穩定性體系
基于阿里云內容分發網絡構建的管控命令傳播網絡,使管控命令可以低延遲,高觸達地下發到機器上執行。目前所有的云邊管控操作都通過云邊管控通道實現,在邊緣節點出現異常的情況下,將按照異常上報,由中心進行處理策略匹配工作,熔斷檢查,最后將自動化處理策略下發至邊緣節點形成閉環。
風控中心組件除去前文提到的熔斷檢查工作,還具備高危操作攔截能力,如k8s集群中大量node刪除、pod對象刪除、工作負載刪除、權限修改、大規模標簽修改等,幫助客戶業務實現穩定運行,為系統保駕護航。
兩大典型業務場景 構建邊緣容器云平臺最佳實踐
中心業務下沉
日志網關下沉場景,包括httpdns、內容安全識別下沉,本質都是中心業務的下沉。
終端通過請求調度尋找邊緣節點,通過邊緣網關服務將日志上報到容器中,此處請求調度與容器調度是協同工作的。例如業務容器CPU內存消耗的水位,將會影響請求調度的策略生成,水位高的情況下對請求調度節點進行修改。此外,請求調度同時影響容器調度,例如在集群副本數不夠的情況下,觸發容器調度對容器進行擴容操作。二者相互協同工作實現日志下沉。
中心下沉場景業務邏輯本質是通過云邊端協同操作,節省中心帶寬成本,降低接入延時,為客戶打造最佳使用體驗。
終端上云
機頂盒上云是終端上云場景的一類典型應用場景,同類場景還包括云手機、云游戲等。
管理員通過應用管理中心,通過阿里云自研工作負載與多集群管理等方式將容器運行在邊緣服務器上。如圖所示為一組多開容器實例,通過自研工作負載精準控制每一個服務器上的每一個容器版本。同時,阿里云與英特爾合作,于服務器上安裝Intle Server dGPU,對終端流化渲染性能實現進一步提升。
終端上云場景中,核心應用上移幫助終端瘦身,將更多的應用運維與管理開發工作集中在邊緣,實現了對業務靈活性與使用性能的優化。