隨著阿里云、騰訊云、華為云等云計算頭部企業在分布式云賽道的發展進程加快，以及企業上云速度加快，市場對云計算不斷提出更高要求，中國分布式云計算發展進入實踐落地階段。近期，黨的二十大報告更是提出了“加快建設數字中國”“加快發展方式綠色轉型”等重大戰略，為分布式云計算的發展指明了方向和路徑。

以“萬象智算”為主題的2022全球分布式云大會·上海站于10月26日正式拉開帷幕，本次大會集結了信通院、阿里云、騰訊云、F5、OceanBase、浪潮云等分布式云計算及細分領域的領袖企業，共同助推云計算向智能計算升級，促進數網協同、數云協同、云邊協同、綠色智能的多層次算力設施體系建設。

在10月27日上午舉辦的音視頻技術領袖論壇上，騰訊云音視頻專家工程師 劉兆瑞發表了題為《4K/8K超高清時代，媒體處理技術如何加速媒體數字化升級》的精彩演講。

4K/8K超高清

當前業務接觸的8K場景，碼率基本達到100兆以上。如此大的帶寬無論對于系統還是播放端，都帶來了很多新的壓力；同時，存儲的成本也會幾何倍數增長。無論是直播系統還是點播系統，都要經過轉碼過程，對于直播系統來說，如果要實現實時8K的高大分辨率，市面上還沒有任何一個編碼器能夠在單臺服務器上實現8K的實時轉碼，這也是行業面臨的痛點問題之一。

另一方面，高清片源稀少，在AI之前也有專門的影片修復技術，大部分是通過人工手段，非常耗費人力、物力，無法大批量生產。現在通過AI能力的迭代，對非常老舊經典電影的修復能力，已經有很大的能力提升。

面向未來來，AR/VR的興起，如果要達到比較好的效果、避免眩暈，往往需要更高的4K/8K的分辨率。除了清晰度和碼率之外，延時也是AR/VR的關注重點，要考慮在大分辨率編碼應用在新的玩法、新的應用上的延時問題。

媒體處理4K/8K架構優化

騰訊云音視頻在編碼方面實現了極速高清的能力，在不降低主觀評分的情況下，降低50%以上的帶寬以及存儲。目前，團隊在編碼上的優化主要核心方向在兩個點：

（1）怎么樣在保證主觀評分的情況下，盡可能降低視頻的碼率；降低碼率的情況下，主要是要去解決4K/8K超高清視頻它的高帶寬的問題，比如8K大概在100兆碼率，如果降低50%，那就是在50兆，超高清視頻壓力會大幅降低。

（2）在編碼上的優化，主要是指在速度的優化。對于一個超高碼率的直播系統來說，要實現實時編碼，整體的編碼器系統架構和速度上需要進行非常多的迭代。

編碼優化

為了支持編碼優化，騰訊云音視頻內部無論是在264、265還是最新的266，都有專門的團隊進行完全編碼內核的自研，尤其在266方面參與了國際標準的制定，有100項以上的專利，各項編碼評分成績都很優秀。團隊對整個系統進行了實時的轉碼的應用，支持了北京冬奧會8K 120FPS的實時直播。

一方面是適合編碼的，或者是去適應主觀的，進行一些對應的視頻增強的工作，然后進行對應的編碼IDU的分析，包括參考幀的決策，包括量化的過程等等，之后再進行一些后處理的工作。

編碼標準規范協議，內容、碼率分配、內部算法等自主決策的地方，也是實現編碼器優化所要關注的重點，也是各個編碼器壓縮性能的區別點。

騰訊云音視頻編碼器的優化核心主要關注兩個方面：一方面是工程上，在工程上第一點是在指令級，把大量代碼用指令級進行優化，大幅提升運算速度；另外一點是幀級的并行，進一步更大范圍內的宏塊的并行。

算法上的創新，一方面是提升壓縮率，包括幀結構的決策、碼率分配；另一方面，在算法的速度上，快速過濾掉那塊。

壓縮率與速度

在壓縮率和速度方面，騰訊云音視頻著眼于幀結構的決策，如264只支持了一個B幀，可以被進行參考，無論是X64或X65，都不存在這樣的機制。如果沒有實現這樣的機制，在MEPG內有一個B幀，因為范圍內編碼架構只有一個B幀作為參考，如果第五號幀去參考第四號幀，就要實現被參考的結構。

騰訊云音視頻實現了多層級的B幀被參考機制，進行多層級的B幀參考，在16個B幀情況下，純編碼能力技術可以有5%以上的壓縮。

在低延遲場景上，如云游戲、AR/VR等場景，是不開B幀的，B幀往往會做后向的參考，因為解碼時要先解碼后幀再解碼前幀，必然帶來延時的增加。但B幀有它的好處，例如一個宏塊有兩個mv進行參考，極限情況下能帶來更大的壓縮率。

這種場景下，騰訊云音視頻提出了新的幀類型，叫GPB幀，它具有B幀的特性，有兩個MV進行利用，能夠提升壓縮率；為了減少延時率，對其前后list進行約束。因此，GBP幀是一個B幀，同時有兩個MV，有更大的壓縮率，并且沒有延時問題，在低延時場景下可以帶來2%~4%的BDrate收益。

編碼器向下兼容

編碼器在不斷迭代，例如266能夠哦支持更多后處理的濾鏡。將更領先的編碼器所支持的能力降級到低檔的編碼器上，例如將CDEF的約束濾波應用到264上。通過前置處理的方式，主動檢測編碼中主觀細節紋理的區域，平滑和消除周圍毛刺，最好的方法是利用AI的能力來處理，缺點是對GPU的消耗非常高。

碼率控制

前面提到的是對幀結構的構造提出了更好的幀結構參考和更加新的幀結構，從而讓整體的壓縮率降得更低。編碼器可以更好地降低壓縮率的另外一個方式就是整體的碼率控制。整體的碼率控制方式大致分為三個層級，第一個層級是場景級，第二個層級是幀級，第三個層級是宏塊級。騰訊云音視頻對多層級碼率做了控制，盡量讓每個bit的碼率分配在人眼各項指標都感受到的區域。

具體的方法是，首先把視頻切成若干個幾秒的場景區域，在場景區域提前訓練了AI模型，提取出視頻特征，通過模型訓練得到結果，即該段視頻大概是怎樣的碼率，VMAF分是95分，如果編碼質量高于95分，它跟源就非常接近的，再加更多碼率去提升VMAF分，人眼感受不到，沒有意義。

第一個層級會設計整個場景的基準碼率，通過一些AI的手段提取特征，當前的碼率大概是多少，VMAF大概是95分。

第二部分進行幀級的碼率分配，得到一個場景和基準碼率，看在場景內是有動的幀、靜的幀，復雜的幀、簡單的幀，進行更細粒度的幀級碼率分配。

最后進行宏塊級的碼率分配，自適應量化的能力等。需要注意的是，碼率分配的核心是在保證主觀不變的前提下盡可能降低碼率。例如，平坦區域細節并不多，碼率達到一定程度再加碼率只會造成浪費，JND或者AQ做的事情，是讓碼率分配得更均衡。

并行算法優化創新

4K/8K超高清場景要做到實時化，對編碼速度的壓力很大，騰訊云音視頻對編碼速度進行了很多的優化，分為以下兩個方面。

第一，更好地并行化。舉例來說，在做預分析時，X64或X65是大家已知開源最好的編碼器，而X64之所以沒有做幀級的并行，是由于X64是一幀一幀做幀結構的編碼，后面幀的參考關系有比較復雜的變化，無法快速進行并行。在這一背景下，騰訊云音視頻對整個編碼結構進行了優化，在進行幀結構決策之前，先快速做內部幀類型的關系決策，決定當前幀參考哪幾幀，另外的幀參考哪幾幀，預先知道哪些幀之間沒有并行參考關系，這些沒有參考關系的幀可以進行編碼并行加速。

第二，在算法方面，快速選擇出最合適的劃分，快速終止宏塊的塊劃分；在預算上，采用空間換時間的算法，盡可能用高層信息技術彌補，通過算法的加速，以大約百分之零點幾的壓縮增益損失置換80%以上的加速。

編碼能力方面，騰訊云音視頻獲得2020/2021 MSU（云端編碼大賽）[2020全項最佳，2021 12/15最佳]，O264/V265綜合最佳，V265 MSU連續4年行業領先；TXAV1 ?MSU 2021 視頻編碼評測中取得綜合指標第一，O266 4K@1FPS 賽道取得綜合指標第一。

媒體處理4K/8K 極速高清

盡管一個8K 120FPS的直播檔位上做了大量的優化，但在軟編上還是非常難以用一個單機實現，目前各大廠商提供的方案大多是基于硬件的方案，使用硬件芯片實現265或者AV1的8K。解決這一難題，需要考慮整個業務的分布式系統構建，直播的轉碼分布式等。之所以不用硬編解決問題是出于以下幾個方面考慮。

第一，從用戶角度考慮，編碼器在不停迭代，很多8K擋還是用265做，未來可能會換成266或者AV1。如果全身心投入一個硬件的方案或者給客戶提供一個硬件方案，帶來的問題就是隨著編碼標準的升級，再進行編碼標準遷移時，整個硬件的芯片都需要進行對應的升級。如果是以軟編實現，只需要做軟件的升級，原先購買的服務器可以復用，升級的成本是非常低的。

第二，離線的、最極致的編碼，壓縮率最高的一定是軟編方案，相比硬編有很多優勢，一些復雜的算法在硬編上不太好做。

第三，從業務的場景考慮。一套硬件編碼工具，可能支持了264或者265之類的8K視頻編碼，又支持HDR的能力，隨著新標準不斷迭代，之前的硬件不支持新標準的能力，更換整個系統是非常昂貴的。如果在軟編的基礎上，無論有什么新的標準，所有的業務需求都可以進行無損快速迭代優化。

既然軟編能夠做到，就應該用軟編去做，無論從系統迭代還是功能開發的角度考慮，軟編都有非常大的優勢。

在直播的系統中，單機的轉碼無法實現8K 120FPS的實時編碼，需要對于整體的直播轉碼架構進行更改，變成分布式的架構。傳統的直播系統，一個轉碼服務器從源站拉流進行轉碼，轉碼之后下行去拉對應的流進行分發，整個編碼的核心節點在一臺服務器上。把直播和點播系統相結合，直播拉流之后相對獨立，直播流處理系統并不進行實際的轉碼，反而進行分發工作，把整個實時直播流，做2秒或4秒一個小片，分發到點播離線的轉碼系統進行文件級轉碼。比如10秒的直播延時可以切5個兩秒的片，直接發給下游不同的轉碼集群的機器進行處理，實現一路直播流，底層有更多的機器并行轉碼。

這樣一來，可以通過軟件的方式實現非常高分辨率的實時編碼；另外，大部分直播系統是軟件服務，軟件系統的擴容非常簡單，甚至資源接近于無限，整個直播系統和點播系統的打通，可以使整體資源利用率大幅提升，降低使用成本。

但是，這種做法也存在缺點，要把一個直播流切成一個一個文件的小片進行分發，延時會變得很高。這個延時大部分情況下還是可以接受的。首先，8K編碼是非常復雜的一件事情，即使是硬件編碼器，延時也有5、6秒左右，很難做到2、3秒的延時。其次，高分辨率的直播流分發，自身也有5秒以上的延時。

把直播和點播的系統打通后，原先默認一路直播流N個轉碼，通過直播和點播打通結合的方式，可以做到直播系統的千人千面，直播系統不同的人，比如顯示不同廣告的插入，下行有N個人觀看的時候，可以把直播點播打通，切成很多小片放到下游的離線系統來進行并行處理，處理后，每個人觀看不同的片，廣告結束以后再回歸到原來的直播系統。

AI處理

目前4K的屏幕已經普及了，但4K的片源非常少，尤其是很多經典電影的清晰度遠遠達不到4K。在此基礎上，可以通過AI處理的方式，包括超分、畫質增強等進行主觀畫質的提升。

首先，無論是超分算法、插幀算法還是去噪等，不得不面對的問題是片源多種多樣，如果用一個通用的模型，都很難達到理想的效果；低清的片源需要很強的去噪，高清的片源則要細節增強的操作。這里延伸出第二個問題，一個視頻，該怎樣合理選擇模型。目前的做法是，首先做畫質評估，視頻源通過AI能力評估當前畫質如何，分辨率的超分形式是1080p到4K或是其他形式，之后從庫里選出合適的模型進行操作。

從服務客戶的角度考慮，騰訊云音視頻在系統里針對不同清晰度的視頻源預制了大量的定制模板，大部分的OTT或廣電客戶內部視頻都是結構化存儲，有自己的標簽，了解視頻屬于什么樣的類型，通過預先制定的模板，就可以選擇適合的方式進行操作。

4K/8K超高清媒體的處理

除了超分、增強等已經提到的處理方式，騰訊云音視頻還為超高清媒體提供以下處理支持。

當藝人劣跡曝光后，需要對劣跡藝人的相關視頻做批量下線操作，騰訊云音視頻系統為支持更好的人臉檢測、人臉識別等檢測，視頻入庫時進行結構化的存儲，應對突發事件時就可以更快速地做下線或者人臉替換等處理。

面對4K/8K的超高清視頻，大部分還是源站的服務。為了讓系統私有化，部署在沒有任何依賴的環境下，團隊把對騰訊內部組件的依賴全部去掉，整個系統以容器的方式輕松快速地部署在任何一個有CPU或GPU的通用環境，來實現完整的4K/8K的超高清轉碼以及增強處理。

很多用戶有自建的轉碼系統，騰訊云音視頻也提供更加開放的方式，如底層的原子編碼能力、底層原子的增強能力。如果用戶有自身的轉碼系統，只需要把整個編碼庫進行簡單替換，系統不需要操作，騰訊云音視頻就可以把領先的編碼能力、增強能力，完全部署在用戶自己的系統里，編碼器是完全開放的。