亞太內(nèi)容分發(fā)大會暨CDN峰會一直致力于推動CDN產(chǎn)業(yè)深度融合發(fā)展和市場普及，現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡(luò)盛會。十年來，在以阿里云、網(wǎng)宿科技、騰訊云等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下，CDN產(chǎn)業(yè)已經(jīng)成為基礎(chǔ)性設(shè)施網(wǎng)絡(luò)，以堅定的基石之姿，支撐起中國成為世界最大的互聯(lián)網(wǎng)市場。

隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進，亞太內(nèi)容分大會暨CDN峰會的影響力正在逐漸向全球延伸，同時也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個角落。

在6月10日下午舉辦的【對象存儲論壇】上，阿里巴巴資深技術(shù)專家、對象存儲OSS負責人 羅慶超發(fā)表了題為《對象存儲OSS支撐CDN場景的經(jīng)驗教訓》的精彩演講。

羅慶超從多個角度出發(fā)，講解了阿里云對象存儲OSS和CDN結(jié)合過程當中的總結(jié)和教訓。

一 如何提高互聯(lián)網(wǎng)全球訪問體驗

提高互聯(lián)網(wǎng)全球訪問體驗，需要全球部署的CDN網(wǎng)絡(luò)支持，而在雙十一這樣的特殊節(jié)日怎樣提高用戶體驗?zāi)兀苛_慶超表示可以通過L1-L2-L3緩存再回到源站實現(xiàn)，源站不能是唯一的，要在不同的國家和地區(qū)構(gòu)建源站，在此基礎(chǔ)上構(gòu)建圈層。尤其是在海外，根據(jù)國家地區(qū)的網(wǎng)絡(luò)的情況去甄別出50毫秒的圈層、100毫秒圈層等，通過圈層部署源站，再搭建L1、L2、L3緩存，這樣應(yīng)用才能達到秒開效果。對象存儲作為CDN源站是非常好的選擇，阿里云對象存儲OSS支持了淘寶、支付寶等阿里絕大部分應(yīng)用，支持了CDN百Tbps級別的全球訪問流量。

二 如何保護數(shù)據(jù)隱私和安全防護

如果沒有為APP做安全隔離設(shè)計，數(shù)據(jù)就面臨泄露的隱患。2020年，全球發(fā)生了2932起安全泄露事件，泄露記錄達到370億條。為了防護黑客攻擊，對象存儲的數(shù)據(jù)隱私、簽名都要做防護。

OSS提供云認證體系、訪問授權(quán)功能，數(shù)據(jù)可以只被指定賬號使用、指定IP訪問，通過日志還可提供訪問審計。除了數(shù)據(jù)隱私被授權(quán)訪問外，還需要面對應(yīng)用突然爆發(fā)帶來的影響，例如游戲類客戶被競爭對手攻擊，瘋狂下載客戶的圖片、視頻，讓費用陡然增高，之后欠費停服。因此在CDN層面和對象存儲層面，一定要做到防攻擊，特別是是CC攻擊、DDOS攻擊能力，同時OSS提供用戶帶寬上限、單鏈接限速、沙箱防護等特性，發(fā)現(xiàn)誰攻擊就直接把攻擊來源拉入黑洞，讓攻擊方無法攻擊整個系統(tǒng)。

三 如何保證數(shù)據(jù)不丟

訪問的數(shù)據(jù)不存在會導致業(yè)務(wù)失敗，數(shù)據(jù)丟失對于企業(yè)的影響非常大，據(jù)統(tǒng)計如果企業(yè)丟數(shù)據(jù)10天，則 93% 的企業(yè)將會在一年內(nèi)倒閉。

沒有數(shù)據(jù)可靠性衡量標準，對于云廠商來說是不可接受的，因此阿里云OSS定義了云可靠性度量的指標。通常業(yè)界對象存儲是11個9的年可靠性標準，表示每年可丟失0.000000001%對象，這是可度量的值和廠家明確的定義，可以通過該標準來判斷可靠性是否滿足業(yè)界要求。

存儲服務(wù)是云服務(wù)中最基礎(chǔ)的，有了這個標準之后就可以讓SaaS、PaaS放心使用。OSS經(jīng)過優(yōu)化，把這一指標提高了10倍，其中有不少關(guān)鍵技術(shù)，例如降低年故障率AFR，故障率降低修復(fù)的代價就越小；跨數(shù)據(jù)中心的算法，實現(xiàn)數(shù)據(jù)中心損壞依然有方法把數(shù)據(jù)找回來，通過這些技術(shù)把可靠性標準提高。

四 保證數(shù)據(jù)不錯

數(shù)據(jù)錯誤存在于以下場景中：使用IT設(shè)備的時候經(jīng)常會遇到這樣的問題，硬盤發(fā)生靜默錯誤，一塊硬盤放置了幾年，文件無法找回了，原因是存在硬盤中的介質(zhì)數(shù)據(jù)是會翻轉(zhuǎn)的，數(shù)據(jù)翻轉(zhuǎn)的影響非常大，尤其對于金融系統(tǒng)，1翻轉(zhuǎn)成0帶來的影響和損失不可估量。因為規(guī)模非常大，除了硬盤靜默數(shù)據(jù)錯誤外，也會發(fā)現(xiàn)服務(wù)器的網(wǎng)卡翻轉(zhuǎn)，以及CPU的靜默數(shù)據(jù)損壞。其中CPU靜默數(shù)據(jù)損壞最難處理，谷歌和臉書都發(fā)表了相關(guān)論文，阿里也正在和高校合作一起探索解決該問題。

除了硬件錯誤外還有軟件錯誤，特別是軟件BUG會導致數(shù)據(jù)丟失，如果元數(shù)據(jù)收到影響，則可能從一臺機器擴散到一個集群，甚至被數(shù)據(jù)復(fù)制功能擴展到全球整個服務(wù)，所以數(shù)據(jù)出錯是非常困難的一件事。通過數(shù)據(jù)校驗設(shè)計，端到端全流程跟蹤數(shù)據(jù)錯誤。單純依靠主動防護檢查是不夠的，還需假設(shè)數(shù)據(jù)就會出錯來設(shè)計防護機制，特別是快速檢測BUG、快速修復(fù)數(shù)據(jù)，將整個機制有機結(jié)合起來，才能真正的保證數(shù)據(jù)在軟、硬件異常時不丟不錯。

五 如何提高數(shù)據(jù)訪問成功率

提高訪問成功率，可以提高APP的用戶體驗。阿里云支撐業(yè)界APP的應(yīng)對方法就是提供99.995%的可用性SLA。日常生活中APP訪問成功率影響體驗的場景，就是去掃碼支付時，一直不成功無法交易。當今的國民級APP應(yīng)用一旦出現(xiàn)不可用，并且超過30分鐘，肯定引起重大輿情。

解決這一問題，需要使用可用性SLA度量指標，業(yè)界對象存儲典型的可用性SLA為99.9%，而OSS依靠大量的冗余架構(gòu)設(shè)計，將該指標提升了10倍以上，達到99.995%，從而支撐上層APP達到5個9的可用性。除了冗余架構(gòu)設(shè)計外，基于公共云的DEVOPS機制，快速迭代、優(yōu)化問題、智能運維都是幫助異常快速恢復(fù)的關(guān)鍵機制。

六 如何提升容災(zāi)能力

針對光纖挖斷、地質(zhì)災(zāi)害等意外帶來的數(shù)據(jù)中心級故障OSS做了容災(zāi)設(shè)計，從一個數(shù)據(jù)中心將數(shù)據(jù)復(fù)制到另一個數(shù)據(jù)中心，從而保證業(yè)務(wù)連續(xù)性。

為了讓多個數(shù)據(jù)中心同時提供服務(wù)，OSS還提供異地多活解決方案，它結(jié)合跨地域復(fù)制和鏡像回源功能，數(shù)據(jù)從主站寫入，OSS然后復(fù)制到備站，然后就可以在三個數(shù)據(jù)中心讀取數(shù)據(jù)。當在備站讀取時沒有得到最新數(shù)據(jù)，那么采用鏡像回源去主站讀取最新數(shù)據(jù)。阿里云上有大量應(yīng)用采取異地多活的方案，提高了數(shù)據(jù)容災(zāi)能力同時，提供多活功能，實現(xiàn)高可用。

七 解決海量數(shù)據(jù)擴展性

通過業(yè)務(wù)使用數(shù)據(jù)的方式來看，目錄層級設(shè)計是限制文件系統(tǒng)擴展的瓶頸，特別是到了百萬億量級，使用目錄的方式非常難。對象存儲OSS采用平坦模式管理數(shù)據(jù)，在EB級規(guī)模下實現(xiàn)線性擴展、按需付費、讀寫高效。

八 如何優(yōu)化性能

數(shù)據(jù)存入對象存儲后，還要關(guān)注性能，特別是帶寬、QPS、時延。所以在對象存儲設(shè)計時，要對這三方面的性能進行全方位考慮，找出數(shù)據(jù)熱點、時延抖動原因，針對瓶頸進行優(yōu)化，從而實現(xiàn)高性能。針對數(shù)據(jù)湖場景還提供性能加速器，它靠近計算的可用區(qū)部署，讓帶寬和時延都得到更好的滿足。

九 如何高效處理數(shù)據(jù)

羅慶超以內(nèi)容分發(fā)為例，該場景需要大量處理圖片、視頻、文檔，分發(fā)給不同的終端，將不同尺寸的圖片在CDN全部緩存，成本很高。可以在需要時，才對圖片進行實時處理，此時使用OSS的圖片處理功能按需進行圖像處理，從而減少在海量的CDN節(jié)點來處理圖片，大大降低計算成本。

OSS在數(shù)據(jù)中心內(nèi)提供數(shù)據(jù)就近處理框架，該框架支持多種運行環(huán)境，能夠卸載各種算子，支持實時、離線處理，大幅度優(yōu)化存儲、網(wǎng)絡(luò)、計算成本，這就是做OSS數(shù)據(jù)處理背后的設(shè)計邏輯。

十 如何提升優(yōu)化圖片體驗

通過OSS訪問對象的url后面指定參數(shù)，就可以完成圖片處理，非常簡單易用，可以稱的上是云上PS，無需本地安裝圖片處理軟件、非常高效，目前支持6種類型的格式，并且通過加速之后時延下降80%-90%。

十一 如何提升優(yōu)化視頻體驗

如用戶想對視頻進行截圖，然后進行協(xié)作編輯，調(diào)用OSS的視頻處理就非常合適。只需要在OSS訪問對象的url后指定視頻截幀參數(shù)即可。整個處理都是在后端，對成本、時延、體驗都非常好，阿里云上有大量視頻團隊調(diào)用該能力處理數(shù)據(jù)。

十二 如何提升優(yōu)化文檔體驗

處理文檔方面，可以直接在對象存儲上實現(xiàn)文檔的預(yù)覽和轉(zhuǎn)換，應(yīng)用最多的就是釘釘。基于釘釘APP，手機上不裝任何文檔處理軟件，就可以實現(xiàn)48種文件的預(yù)覽，而實際上整個預(yù)覽都在OSS上完成。文檔轉(zhuǎn)換場景，使用最多的就是生活中開發(fā)票，其背后就是文檔轉(zhuǎn)換，將發(fā)票抬頭、稅號、紅印章在word文檔中編輯，然后轉(zhuǎn)換成PDF格式，大量線上做文檔轉(zhuǎn)換公司也在采用該技術(shù)。

十三 如何優(yōu)化成本

如何降低成本是客戶非常關(guān)心的問題，每年SS重要的任務(wù)就是和業(yè)務(wù)團隊討論成本怎樣優(yōu)化。從訪問的路徑可以看到，CDN從L1緩存、L2緩存、L3緩存、再回到源站OSS，在整條路徑上拉專線，就能降低成本。第二個路徑，如果訪問CDN命中率低，客戶端可以直接訪問OSS，它減少了訪問的網(wǎng)絡(luò)路徑從而成本更優(yōu)，因此根據(jù)命中率優(yōu)化訪問路徑也是降成本的重要手段。

十四 如何做好數(shù)據(jù)管理

數(shù)據(jù)治理，核心是根據(jù)數(shù)據(jù)的熱度進行有效的成本優(yōu)化。不少互聯(lián)網(wǎng)應(yīng)用都具有熱點效應(yīng)，數(shù)據(jù)集中在幾周或一個月內(nèi)高頻訪問，之后很少使用。因此，熱點數(shù)據(jù)使用性能最好的標準型，價格高、性能好；訪問較少的數(shù)據(jù)，保存到歸檔性，價格低、性能弱。數(shù)據(jù)治理時，就要根據(jù)數(shù)據(jù)的冷熱度，配置生命周期策略，OSS自動將標準型數(shù)據(jù)遷移為歸檔型數(shù)據(jù)，從而讓整體成本更低。

羅慶超最后表示，數(shù)據(jù)治理是對象存儲中很關(guān)鍵的技術(shù)，也是很愿意和同仁們一起分享討論的技術(shù)點。