亞太內容分發大會暨CDN峰會一直致力于推動CDN產業深度融合發展和市場普及,現已成為亞太地區影響力最大的內容分發網絡盛會。十年來,在以阿里云、網宿科技、騰訊云等亞太CDN產業聯盟成員孜孜不輟的努力下,CDN產業已經成為基礎性設施網絡,以堅定的基石之姿,支撐起中國成為世界最大的互聯網市場。
隨著全球數字化、“一帶一路”戰略的推進,亞太內容分大會暨CDN峰會的影響力正在逐漸向全球延伸,同時也將中國智造CDN及產業鏈推廣向全球每一個角落。
在6月10日下午舉辦的【對象存儲論壇】上,深圳市杉巖數據技術有限公司(以下簡稱“杉巖數據”)CDN解決方案架構師 孫永國發表了題為《CDN遇上對象存儲 杉巖CDN存儲解決方案》的精彩演講。
孫永國表示,CDN非結構化數據存儲正處于需求量爆發的時期,CDN和對象存儲面臨著非結構化數據帶來的變化。隨著新的CDN邊緣節點部署,CDN云傳輸和用戶訪問將發生革命性的改變。從CDN溯源到用戶就近訪問之間的邊緣云計算的數據量激增,倒逼非結構化對象存儲升級和革新。
當前,音視頻、圖片、下載文件和靜態腳本等待上傳和處理等文件數據量龐大,數據預熱和回源數據請求的計算量給以往傳統的CDN中心計算提出了更高的要求,隨著CDN邊緣計算節點的普及和推廣,數據分發模式向分散式非結構化的對象存儲演進。用戶可以訪問就近的邊緣節點,既釋放了數據分發對象存儲的壓力,又極大地滿足了用戶的需求。
加速這一對象存儲演進的根本原因是2020年數據結構性的改變。其實,從2015年開始,新增數據中非結構化數據的組成部分就開始呈現指數型的上漲,預計會從8 ZB (2015年)快速增長到了180 ZB (2025年)。
距離時間更近一些,在2020年,有80%的新增數據是非結構化數據。這種結構性的變化脫離不了用戶對音視頻產品和內容的消費需求的增長。非結構化數據主要的文件形式是文本、圖像、圖形、音頻和視頻等,在流媒體極速增長發展的今天,這些類型的數據存儲必然會呈現出爆發式的增長。其實,在商業領域,非結構化數據更早占據了數據量的絕對占比,2020年商業領域,非結構化數據已占95%。
孫永國認為,對象存儲天然匹配海量非結構化數據場景。傳統的文件存儲容量上限通常到百萬級別TB,可是對象存儲尤其是非結構化對象存儲時代,文件存儲數量上限當前可以到達百億級別EB,可謂是天壤之別。因為對象存儲采用的是HASH計算來檢索文件,無元數據檢索。
為了更好地適配非結構化數據存儲的特點,杉巖數據在CDN平臺和各級存儲、服務、管理、接口層面實施了相應的解決方案。對象存儲MOS方面,存儲層提供雙引擎,存儲核心引擎和智能處理引擎。存儲核心引擎,提供權限管理、系統管理、生命周期和元數據管理等功能;智能處理引擎提供了可插拔文件處理層,專門負責視頻審核、內容分析、自動標簽和智能生產,這極大方便了服務層。CDN邊緣節點最后分散緩解了數據壓力,通過邊緣計算實現內容分發和視頻點播。
孫永國表示,杉巖MOS模式提供的核心價值是整合存儲-管理-智能,是為了應對大數據的挑戰,深挖客戶價值。
MOS的存儲系統有四個方面的升級追求,追求從高性價比到極致效益,追求從高可靠性到極致安全,追求從高并發性到極致性能,從高擴展性到極致規模。
MOS的管理策略基于四個方面的考量。混合云存儲的統一管理,數據存放在私有云,更加安全、節省成本,業務部署在公有云,更加敏捷、高效;實現邊緣與中心間匯聚并發,簡化總部與分支機構的數據管理;傳統存儲/SDS統一管理,納管現有的設備,提高復用率;以及,全生命周期自動化管理,實現熱溫冷數據流動,簡化運維。
MOS為了實現智能地價值深挖,優化了機器學習場景方案,加速模型訓練。同時,杉巖數據采用的智能數據處理引擎,簡化了業務流程,提升了處理效率。
基于上述架構,全分布式云存儲就像高速動車車組,每節車廂自帶動力,單個環節出現問題不影響整體運行,列車總動力等于所有車廂動力之和,即整體算力等于所有邊緣節點和中心之和。自然而然地,更快的上傳/訪問下載、更高的并發數據讀寫能力、百億級文件業務能力都可以實現。而且,值得注意的是,非結構化數據的安全可靠性得到保證,單個節點故障,系統副本和糾錯機制就會啟動自愈,并且成本也更加節省,因為單節點采用通用服務器,無中心控制器,無私有平臺。
通過數據可查,杉巖MOS測試期間,對象數增長迅速,達到了30億,而性能波動卻不超過10%。開源平臺測試對象數增至4億,耗能卻下降了83%。
在論及杉巖數據面向存儲領域的目標時,孫永國回顧了杉巖數據的發展和業務拓展。
2015年,杉巖統一存儲平臺USP在制造業等行業上線商用,同期獲得上海天璣數據天使輪融資;
2016年,杉巖數據推出面向海量非結構化數據存儲和利用場景的智能對象存儲的杉巖對象存儲MOS產品,還推出自主品牌杉巖超融合一體機HyperCube產品,杉巖數據產品在中國移動獲得近10個省級私有云的大規模商用;
2017年,杉巖數據獲得順為資本領投的A輪融資,并通過國家高技術企認定,產品應用于廣發證券、廣汽豐田、湖南建工等標桿客戶,累計客戶突破100+;
2018年,杉巖數據在IDC排名亮相,對象存儲位列第二(15.1%),塊存儲位列第四(7.1%),杉巖數據收獲了累計30多項發明專利及軟件著作權,成功突破中廣核、中國人保、中移物聯網等標桿客戶,全面覆蓋10多個行業,20多個應用場景,累計上線 300+PB;
2019年,杉巖數據完成廣發乾和領投、深圳市人オ基金跟投的B輪融資,完成飛騰、鯤鵬、海光等國產CPU和操作系統的適配,推出全國產杉巖HuaYan安全存儲一體機產品,同年杉巖數據加入了信息技術應用創新工作委員會,參與編制的云計算國標 GB/T37732-2019 發布;
2020年,杉巖的業務擴展到更多的領域,客戶數量和服務范圍也進一步擴大,不僅完成中遠海運領投,襄禾資本、無錫金投跟投的 B+輪融,還中標某省級數據中心2EB單一存儲集群項目,累計服務 500多位客戶。“數據引領未來,存儲無限精彩”,杉巖數據一步步走來,用軟件定義存儲領導廠商,用產品來豐富非結構化數據存儲和利用的場景。
孫永國專門把杉巖數據的自主研發能力做了詳細的分享,當前杉巖數據取得的自主研發成果顯著,累計交付容量4500PB,杉巖數據也部署了最大單一存儲集群,達到2EB的容量。而且杉巖數據投入了大量的資源到自主研發,在深圳和成都都設立了研發中心,獲得專利和軟件著作權60多項,收獲了800多位行業客戶的信賴。
杉巖數據歡迎廣泛的生態合作建立深度合作關系,在基礎設施生態、云生態和行業生態三個領域聯合了多家著名廠商、通信品牌和機構,其中不乏像華為、騰訊云、阿里云、科大訊飛這樣的頭部企業。
最后,孫永國強調了杉巖數據對國內市場的重視與售后投入。杉巖數據的16個辦事機構遍布全國東西南北,研發中心輻射東西,有專業的團隊支撐。杉巖數據提供全面的方案設計和專業的咨詢服務,制度化地例行重大巡檢和客戶培訓,7*24小時的售后服務也是杉巖數據的對客戶滿意度重視的體現,及時跟蹤用戶的訴求和追求最大化的用戶滿意度,隨時為CDN對象存儲保駕護航。