3月30日,中關村視聽產業技術創新聯盟會同中國智慧家庭產業聯盟、中國視頻體驗聯盟、廣東4K生態產業聯盟及眾多相關產業的企業團體、研究院、知名人士等組織編寫的《IPTV 業務系統AVS2實施指南(2018年)》正式發布。
以下為附文內容:
《IPTV 業務系統AVS2實施指南》
引 言
視頻編解碼技術是視頻產業的基礎。MPEG/H.26x系列標準已成為國際上影響最大、應用最多的視頻編碼標準,主要由ITU-T和ISO/IEC開發,但是MPEG/H.26x陳舊的知識產權(IP)管理和專利持有者主導的商業模式正面臨危機和挑戰。AVS2是我國自主知識產權的第二代數字音視頻編解碼技術標準,AVS2的編解碼效率及復雜度與H.265大致相當,于2016年12月頒布為國家標準GB/T 33475.2-2016。AVS2支持超高分辨率(4K以上)、高幀率、高量化精度、高動態范圍視頻的高效壓縮,與新一代超高清晰度視頻產業發展相契合。
IPTV產業正在引領超高清視頻時代,致力于為用戶提供全4K新體驗。AVS2對規范IPTV產業端到端系統技術和促進IPTV業務良性發展具有重大意義。在新的全4K業務發展形態下,考慮到IPTV系統現狀和AVS2的產業化推廣,建立AVS2護航IPTV的產業共識具有戰略意義。通過分析IPTV業務系統應用AVS2標準的挑戰,提出應用AVS2的實施指南,在技術方案和實施指引上提供清晰的建議和路徑,以此推進產業共識和產業化應用,對于IPTV產業應用AVS2具有現實意義。
本實施指南基于廣東4K產業應用AVS2的樣板試點,基于IPTV產業鏈在的研究和驗證工作,在產業鏈的支持和協同下編制完成,旨在對IPTV業務系統應用AVS2所面臨的挑戰和實踐進行描述,期望形成產業共識和實施指南,加快IPTV應用AVS2的步伐。
指導單位及組織:
中關村視聽產業技術創新聯盟
中國智慧家庭產業聯盟
中國視頻體驗聯盟
廣東4K生態產業聯盟
編寫人:
羅傳飛 中國電信上海研究院
王榮剛 北京大學深圳研究生院
郭曉強 廣電總局廣科院
宋利 上海交通大學
浦剛 華為技術有限公司 陳光亮 中興通訊股份有限公司
張玉鵬 華為技術有限公司
張偉民 中關村視聽產業技術創新聯盟
劉長虹 中國電信四川分公司
汪邦虎 中關村視聽產業技術創新聯盟
熊張亮 華為技術有限公司
王苫社 北京大學
黃勃 深圳中興微電子技術有限公司
陳戈 中國電信廣州研究院
潘邵武 華為技術有限公司
曾志華 廣州柯維新數碼科技有限公司
楊小勇 華為技術有限公司
徐暉 北京牡丹電子集團有限責任公司
王賀 上海國茂數字技術有限公司
參與單位:
中國電信上海研究、中國電信廣州研究院、中國電信廣東分公司、中國電信四川分公司、廣電總局廣科院、廣電總局規劃院、北京大學、上海交通大學、華為技術有限公司、中興通訊股份有限公司、烽火通信科技股份有限公司、南方新傳媒、百視通、華數傳媒、江蘇廣播電視總臺、4K花園、優朋普樂、上海國茂、數碼視訊、廣州柯維新、北京牡丹電子集團有限責任公司、海思、中興微、晶晨、晨星、中興微、瑞芯微、全志、上海艾策通訊科技股份有限公司。
1.AVS2視頻編解碼標準技術及應用趨勢
1.1AVS2視頻編解碼標準技術特色
AVS2標準的目標應用是超高清視頻壓縮,沿用了混合編碼框架,整個編碼過程包括幀內預測、幀間預測、變換量化、反量化反變換、環路濾波和熵編碼等模塊。
圖1-1 AVS2編碼框架
AVS2采用了基于四叉樹的塊劃分結構,支持非正方形的幀內預測塊劃分。在I,P,B三種圖像類型的基礎上,根據應用需求,AVS2增加了前向多假設預測F圖像。針對視頻監控、情景劇等特定的應用,AVS2設計了場景幀(G圖像和GB圖像)和參考場景幀S幀。對于B幀,除了傳統的前向、后向、雙向和skip/direct模式,新增了對稱模式。在對稱模式中,僅需對前向運動矢量進行編碼,后向運動矢量通過前向運動矢量推導得到。為了充分發揮B幀skip/direct模式的性能,AVS2在保留原有AVS1 B幀skip/direct模式的前提下,還采用了多方向skip/direct模式:雙向skip/direct模式、對稱skip/direct模式、后向skip/direct模式和前向skip/direct模式。對于這四種特殊模式,根據當前塊的預測模式尋找相鄰塊中相同的預測模式塊,將最先找到的具有相同預測模式的相鄰塊的運動矢量作為當前塊的運動矢量。
對于F幀,編碼塊可以參考前向兩個參考塊,相當于P幀的雙假設預測。AVS2將雙假設預測分為兩類,分別是時域雙假設和空域雙假設。時域雙假設的當前編碼塊利用預測塊加權平均作為當前塊的預測值,但運動矢量差MVD和參考圖像索引都只有一個,另外一個MVD和參考圖像索引根據時域上的距離按線性縮放推導出來。而空域雙假設預測也叫方向性多假設預測(Directional multi-hypothesis prediction,DMH),通過融合初始預測點周圍的兩個預測點得到,而且初始預測點位于這兩個預測點的連線上。除了初始預測點外,一共有8個預測點,只將和初始預測點連成同一條直線的兩個預測點進行融合。除了四種不同的方向外,還根據距離進行調整,對1/2像素距離和1/4像素距離位置的4種模式分別計算,在加上初始預測點,共9種模式進行比較,選擇出最佳預測模式。
場景幀是AVS2基于背景建模的監控視頻編碼方法提出來的。未打開監控工具時,I幀只給下個隨機訪問點之前的圖像做參考。打開監控工具后,AVS2會用視頻中的某一幀做場景圖像G幀,G幀對于后面的圖像可以作為長期參考。此外,AVS2還可以用視頻中的某幾幀生成場景圖像GB幀,GB幀也可以用作長期參考。
AVS2中的變換編碼主要使用整數DCT變換。對于4×4、8×8、16×16、32x32大小的變換塊直接進行整數DCT變換。而對于64×64大小的變換塊則采用一種邏輯變換LOT,先進行小波變換,再進行整數DCT變換。在DCT變換完成后,AVS2對低頻系數的4×4塊再進行二次4×4變換,從而進一步降低系數之間的相關性,是能量更集中。
AVS2的熵編碼首先將變換系數分為4×4大小的系數組(Coefficient Group,CG),然后根據系數組進行編碼和zig-zag掃描。系數編碼先編碼含有最后一個非零系數的CG位置,接著編碼每一個CG,直到CG系數都編碼完為止,這樣可以使得0系數在編碼過程中更集中。AVS2中仍使用基于上下文的二元算術編碼和基于上下文的二維變長編碼。算術編碼引擎采用了對數域編碼,將乘法轉換成加法運算。
AVS2的環路濾波模塊包含三個部分:去塊濾波、自適應樣點偏移和樣本補償濾波。去塊濾波的濾波塊尺寸為8×8,首先對垂直邊界進行濾波,然后是水平邊界。對每條邊界根據濾波強度不同選擇不同的濾波方式。在去塊濾波之后,采用自適應樣本偏移補償進一步減小失真。AVS2在去塊濾波和樣本偏移補償之后又添加了自適應濾波器,一種7×7十字加3×3方形中心對稱的維納濾波,利用原始無失真圖像和編碼重構圖像計算最小二乘濾波器系數,并對解碼重構圖像進行濾波,降低解碼圖像中的壓縮失真,提升參考圖像質量。
國家廣播電影電視總局廣播電視計量檢測中心的檢測報告(檢測編號:20491501212989)顯示:對于超高清4K視頻,在36Mbps條件下,AVS2和HEVC相對于源圖像質量下降分別為2.9%和3.0%。在相同碼率條件下,AVS2比HEVC的平均主觀質量略優。
1.2AVS2視頻編解碼標準的應用趨勢
上世紀以來,因缺乏核心標準和技術,我國音視頻產業始終處于產業鏈的低端,是典型的勞動力密集型的行業,國際競爭力受到嚴重制約且面臨巨大的專利風險。2002年,原信息產業部科學技術司發文成立“數字音視頻編解碼技術標準工作組”,即AVS工作組,并任命高文教授為AVS工作組組長,牽頭AVS標準制定。AVS由此從無到有、生根發芽,開啟我國制訂自主知識產權標準的創新之路。
AVS標準的一大創新是在標準制定之前先確立許可模式:凡是向AVS工作組提交技術和提案的單位都需要對其專利許可意向做出承諾,允許“免費使用”或者“加入AVS專利池”。這一機制解決了目前國際標準制定時缺乏對技術許可政策的約束,造成因為專利授權政策問題難以推廣的弊端。最近由于HEVC/H.265飽受專利授權政策混亂困擾,連MPEG主席Leonardo也承認:MPEG只考慮性能不考慮授權成本制定標準的“商業模式”面臨破裂。如下圖所示,目前已知的H.265/HEVC的專利持有人情況:共有43家公司持有H.265/HEVC專利,其中17家公司在MPEG LA專利池中,8家公司在HEVC Advance專利池中,5家公司在Velos Media專利池中,2家公司同時加入了MPEG LA和HEVC Advance專利池,還有15家公司沒有加入任何專利池。MPEG LA和HEVC Advance已發布H.265/HEVC的專利權使用費和許可政策,并多次進行了修訂,在目前的政策中,這兩家專利池大幅提升了專利收費額度。而Velos Media, Technicolor和另外14家公司暫時沒有公布自己的收費政策。總體上,HEVC/H.265存在巨大的潛在專利費用風險,一定程度上制約了它的普及應用。
圖1-2 HEVC/H.265的專利分布圖
AVS1和AVS+采取“AVS專利池”統一許可模式,每個編解碼器只象征性得收取1元專利費,不對內容收費;需要指出的是,到目前為止,AVS并沒有收取過專利費。AVS2雖然暫未出臺正式的專利許可政策,但根據AVS專利池管理委員會出臺的《關于AVS2專利池許可的建議性規定》,AVS2的專利授權將沿用AVS1的統一許可模式,只對設備象征性收費,不對內容收費。特別的,對互聯網上的軟件服務免收專利費。
在十三五規劃中,就明確指出“發展4K超高清電視是新聞出版廣播影視部門貫徹落實中央創新驅動發展戰略、促進文化與科技融合、深化廣播影視供給側結構性改革的重要舉措,對于滿足人民群眾日益增長的精神文化需求,提升廣播影視傳播力、影響力和輿論引導力,促進和推動文化產業與民族工業發展都具有重要意義”。2018年年初,國家新聞出版廣電總局發布了《關于規范和促進4K超高清電視發展的通知》,為規范和促進4K超高清電視健康有序發展提供了政策指導,按照技術發展規劃,我國4K超高清視頻編碼將采用AVS2標準。AVS2超高清標準的頒布,符合我國現階段發展的需求,加快了我國的超高清的發展,同時,也為我國避免陷入國外專利糾紛的境地。
2016年5月,AVS2廣電行標頒布后,AVS即開始組織了企業進行產品研發,打造完整端到端系統。目前,主要包括深圳海思的AVS2 4K解碼芯片、MStar的4K解碼芯片;北京博雅華錄的AVS2編碼芯片;數碼視訊、柯維新和上海國茂等企業的廣播級AVS2超高清實時編碼器;北京朝歌科技、四川九州等企業的AVS2-4K機頂盒,已正式推向市場。近期,廣東省為推動我國自主標準的發展,將建成全國首個AVS2的全省示范網,加快AVS2的商用;同時,央視也將在2018年10月試播AVS2超高清頻道。
2.IPTV業務系統應用AVS2標準的實施挑戰
22.1AVS2編解碼技術與開源視頻工具生態的完善
AVS2在壓縮效率顯著提升的同時,其編解碼器復雜度也有了明顯的提高。在AVS2標準發布之后,市場上迫切需求一款快速高效、能夠給各類基于AVS2的視頻應用提供技術支撐的編解碼軟件。北京大學于2018年1月發布AVS2開源編碼平臺xAVS2。開源平臺基于AVS2參考軟件對于代碼結構進行了深度優化,設計了高效的并行架構,對針對不同的編碼技術進行算法優化。針對不同的應用場景,xAVS2開源編碼器設置了preset 0 ~ preset 9共10個速度檔次。其中,preset 0是最快速的檔次,preset 9編碼效率最高。在i7處理器上和HEVC開源編碼器x265具有相當的編碼速度和壓縮性能,能夠實現高清視頻的實時編碼,有望獲得大規模地應用。
與此同時,AVS2深度融入視頻處理工具生態對加快AVS2廣泛應用具有重要的推動。支持AVS2的ffmpeg、VLC插件也在開發中,預計2018年下半年陸續進行開源。這些工具的開源將進一步降低相關應用的開發門檻,加速AVS2應用的普及。
2.2AVS2編碼效率的實現與編碼器設備的可用性測試
“AVS技術應用聯合推進工作組”于2017年9月-12月期間組織了AVS2廣播級專業編碼器的測試工作。測試主要圍繞廣電總局4K超高清電視相關技術應用指導意見展開,并參照AVS聯盟標準T/AVS 105-2017 《AVS2 4K 超高清編碼器技術要求和測量方法》進行。
參與測試的編解碼系統支持4K/UHD/50P SDR 709/2020色域圖像的AVS2 10bit實時編碼;其中,在編碼效率方面,測試了36Mbps碼率點的主觀質量。主觀評價采用GY/T 134-1998《數字電視圖像質量主觀評價方法》中的“雙刺激連續質量標度方法”,主觀評價經編解碼系統處理后的圖像序列質量相對于源圖像序列質量的損傷情況。
表2-1 AVS2全4K實時編碼器的圖像質量主觀評價結果
測試結論:現有AVS2全4K實時編碼器的圖像質量滿足全4K電視應用需求(要求經編解碼系統處理后的圖像序列質量相對于源圖像序列質量的損傷低于12%)。
AVS2是一套編碼效率領先的標準,為了保證4K超高清視頻生態的健康發展,除了依據《AVS2 4K超高清編碼器技術要求和測量方法》嚴格測試:
1)編碼器的視頻壓縮編碼技術采用必須嚴格遵守GB/T 33475.2-2016的規定,滿足GB/T 33475.2-2016關于類和級的要求。
2)應符合T/AVS 105-2017 《AVS2超高清編碼器技術要求和測量方法》中的各項技術要求。
3)至少應支持固定碼速率編碼(CBR)、可變碼速率編碼(VBR)和內容感知編碼(CAE)。
還需要加強對AVS2超高清編碼器設備的可用性測試,嚴格要求編碼質量:
1)主觀圖像質量下降百分比要求
編碼器視頻壓縮碼率在35Mbps時,對于AVS產業聯盟/推進工作組推薦的8個不同測試序列,其主觀評價平均圖像質量下降百分比(相對于源序列)不大于9%,任何單一序列主觀評價圖像質量下降百分比(相對于源序列)不大于20%。
2)客觀圖像質量PSNR測試要求
編碼器視頻壓縮碼率在35 Mbps時,對于AVS產業聯盟/推進工作組推薦的8個不同測試序列,其圖像質量PSNR檢測結果平均應≥34.5db。
2.3AVS2解碼芯片的一致性測試及應用認證
2.3.1 AVS2解碼芯片的一致性測試
為保證AVS2解碼芯片符合AVS2標準,滿足AVS2編碼器和解碼器產品的互聯互通性,開展IPTV業務所應用的AVS2解碼芯片必須進行標準一致性測試。AVS2解碼芯片一致性測試是指測試芯片是否按照GB/T 33475.2-2016《信息技術 高效多媒體編碼 第2部分:視頻》的規定對編碼位流進行解碼處理,并滿足運營商《IPTV業務系統視音頻編解碼規范》關于類、級等參數約定的要求。AVS2解碼芯片一致性測試規定的測試內容可能無法完全涵蓋GB/T 33475.2-2016所規定的所有的參數組合和要求,但必須涵蓋運營商《IPTV業務系統4K/全4K視音頻編解碼規范》關于類、級等參數約定的要求。
AVS2解碼芯片一致性測試有兩種測試類型:靜態測試和動態測試。
各芯片廠家應提供靜態測試方法、流程及測試報告。AVS2靜態測試碼流應涵蓋AVS2標準組織的測試碼流和容錯測試碼流。靜態測試對測試碼流解碼出的圖像文件進行逐比特比對,目的在于測試解碼處理的準確性。當被測解碼器與參考解碼器(可以使用GB/T 33475.2-2016的參考軟件作為參考解碼器)從同一編碼位流中解碼出同一幅編碼圖像時,這兩個解碼器產生的重建樣本應完全相同。如果被測解碼器重建的樣本與參考解碼器重建的樣本不同,則該被測解碼器不是合法解碼器。
表2-2 AVS2工作組測試碼流總結
表2-3 容錯碼流總結
2.3.2 AVS2解碼芯片的應用認證
運營商選用AVS2解碼芯片時應進一步進行動態測試,或要求芯片廠家通過業內認可的認證機構的測試,并提供認證報告。
動態測試碼流根據GB/T 33475.2-2016標準和《IPTV業務系統視音頻編解碼規范》設計制作,這些測試碼流經AVS2解碼芯片解碼輸出,主要從一般性測試、存儲帶寬的測試、幀內預測編碼測試、幀間預測編碼測試、變換編碼測試、環路濾波測試、熵編碼測試、編碼工具測試等幾個方面來測試是否符合GB/T 33475.2-2016規定和《IPTV業務系統4K/全4K視音頻編解碼規范》的約定。最后,動態測試還需要進行解碼芯片和編碼設備、現網內容互聯互通測試。
采用國際上通行的產品認證制度開展AVS2芯片標準一致性測試認證,將極大地推進AVS2標準化工作開展。建立AVS2芯片標準認證體系認證要素,包括:認證范圍、認證特性、認證標準、認證模式、檢測方法和檢測平臺、監督方式、認證標志等,制定相應產品認證實施規則。
建議AVS2芯片標準一致性測試認證應由中關村視聽產業技術創新聯盟指定的認證機構,如AVS工程檢測中心、國家廣播電視產品質量監督檢驗中心、北京賽西認證有限責任公司、工業和信息化部電子第五研究所(中國賽寶實驗室)等測試機構,遵循國際通行的產品認證制度,依據AVS2標準編寫《AVS2解碼芯片產品認證實施規則》,按《AVS2解碼芯片產品測試規范》要求進行測試并出具測試報告,測試合格則授權使用AVS2認證標志,在中關村視聽產業技術創新聯盟備案,并向國家認監委進行備案。
3.IPTV 業務系統應用AVS2標準的實施建議
1233.1IPTV 業務系統應用AVS2的實施路徑
3.1.1實施路徑
IPTV業務系統支持4K、高清和標清視頻直播、點播、時移、回看、畫中畫、增值業務等,除了4K業務以外,視頻編解碼均采用H.264/AVS+標準。隨著IPTV業務從4K進入全4K階段,視頻編解碼方式有了更多的選擇,為了支持新的AVS2視頻編碼,IPTV業務系統的接口和組件功能需要實施端到端的升級和改造,如圖:
圖3-1 IPTV業務系統總體架構
S1:機頂盒與平臺的開機認證、下發頻道列表、下發業務入口接口;
S2:機頂盒與EPG的內容呈現、播控控制接口;
S4:機頂盒與CDN的播放接口;
C1:播控平臺與IPTV平臺的EPG模板發布接口;
C2:播控平臺與IPTV平臺的內容發布接口。
涉及的關鍵組件如下:
1)4K/全4K直播、點播內容應用AVS2編碼:播控方提供AVS2編碼的點播內容注入和直播組播源,通過C2接口標示Movie和Channel描述媒體編碼為AVS2;
2)AVS2編碼格式內容注入、分發和服務:解析C2接口AVS2標示,將Movie和Channel媒體編碼AVS2同步到EPG和CDN。CDN支持AVS2格式的點播和頻道的內容下載、內容方法和抽幀,支持AVS2內容格式的RTSP/HTTP的播放。
3)4K/全4K直播、點播業務流程對AVS2的識別和支持:EPG支持JS讀取機頂盒的媒體解碼能力是否支持AVS2,EPG需要針對AVS2相關內容設計專區展示,EPG頁面模板需要考慮能夠區別機頂盒進行展示。
建議IPTV業務系統應用AVS2的實施路徑分四階段:
1)局點端到端測試驗證:基于現網IPTV業務系統,選擇一個局點進行升級和改造,承載牌照方基于AVS2的4K/全4K直播、點播內容,經過平臺(EPG/CDN)和機頂盒,打通AVS2視頻端到端的業務流程和播放體驗;
2)業務試點及全網版本升級:建議在用戶分組和CDN中均增加AVS2域,該域的內容只對AVS2機頂盒開放,CDN也只部分升級支持AVS2機頂盒,開通AVS2業務專區,專區開展新增的4K/全4K直播、點播、回看、時移業務。通過賬號分組方式,支持AVS2終端用戶訪問體驗,業務系統據此進行迭代優化,后續再逐步升級全網業務系統支持。
3)非AVS2內容和機頂盒兼容:對于非AVS2內容和機頂盒的兼容過渡,采用多種編碼方式碼流并存進行支持。原有的非AVS2編碼的 4K點播節目內容經過一段時間更新、下線,重新由內容提供方轉碼為AVS2編碼方式。原有不具備AVS2解碼能力的機頂盒經過折舊逐步退網,或者可以根據用戶的業務需求在EPG友好提示用戶更換機頂盒,加快兼容期的過渡。
4)全網規模商用階段:為了延長大量在網4K老機頂盒在網時間,首選采用多種編碼方式碼流并存進行支持,也可以通過對內容離線或實時轉碼方式進行支持。
3.1.2后續演進
當IPTV業務系統支持AVS2編碼格式的通用業務后,為了進一步豐富用戶的業務體驗,還需要考慮后續演進新業務的支持:
1)多頻道同看
讓用戶在一個屏幕上通過的不同窗口同時觀看不同的直播節目。用戶可以在不同的窗口之間切換焦點,機頂盒播放焦點所在頻道的聲音;用戶也可以將焦點畫面切換到全屏播放。機頂盒芯片需要支持多路AVS2的解碼播放能力。
2)多頻道導視
讓用戶在一個屏幕上通過的不同窗口同時觀看9路或者16路直播節目。用戶可以在不同的窗口之間切換焦點,機頂盒播放焦點所在頻道的聲音;用戶也可以將焦點畫面切換到全屏播放。頭端編碼設備需要支持將多路AVS2的直播頻道重編碼為一路視頻流、一路音頻流,音頻流包含多個音軌。
3)360視頻全景看
用戶通過遙控器的上下左右鍵,控制觀看的視角,從而達到在三維的360全景空間中漫游觀看的效果。編碼端需要支持360視頻編碼,解碼端需要支持360視頻的解碼、全景處理,根據用戶的視角,選擇視角播放。
4)多屏互動
IPTV業務系統根據終端(手機/PAD)的解碼能力,采用以下兩種多屏互動客戶端方案:
(1)手機/PAD支持硬解碼
當EPG獲取的終端能力為支持AVS2,則直接提供AVS2媒體的播放鏈接。
(2)手機/PAD支持不支持解碼
基于即時轉碼JITT方案,實現多屏客戶端對AVS2的兼容,如AVS2->H264。
3.2IPTV業務系統內容應用AVS2編碼操作
2018年1月29日,AVS2超高清電視頭端編解碼設備研發與產業化應用項目組(以下簡稱項目組)在廣州市對AVS2 4K編碼在IPTV網絡中的端到端聯調系統進行功能測試,該聯調系統框圖如圖2所示。
此外,還同時搭建了HEVC 4K編碼在IPTV網絡中的端到端參考系統,用于作為AVS2 4K編碼在IPTV網絡終端接收解碼顯示畫面的參考對比。
測試結論如下:
1. AVS2 4K編碼在IPTV網絡中的端到端聯調系統運行正常,驗證了該系統具備可連通性;
2. AVS2 4K編碼在IPTV網絡終端接收解碼顯示畫面與HEVC 4K編碼在IPTV網絡終端接收解碼顯示參考畫面相比,可正常解碼、顯示和播放,圖像還原良好。
根據IPTV對4K/全4K超高清業務的定義和需求,AVS2編碼操作至少需要支持實時在線和離線編轉碼。為了提供IPTV 4K/全4K超高清視頻內容AVS2編解碼互通性測試依據,盡可能保證好的編解碼質量,制定了《IPTV業務系統4K/全4K視音頻編解碼規范》,對應用AVS2的具體編碼參數和工具,包括檔次、等級、碼率、編碼方式等提出了要求。
表 3-1 AVS2視頻編碼器分實時編碼器和離線編碼器4K/全4K超高清編碼
3.3IPTV業務系統AVS2編碼內容的注入、分發和流化
3.3.1IPTV業務系統AVS2編碼內容注入方案
IPTV業務系統支持AVS2編碼內容注入,發布點播媒體和直播媒體內容的C2接口,需要C2接口規范新增AVS2支持:
1)直播頻道發布步驟說明
圖3-3 直播內容注入業務流程

(1)牌照方C2接口發布AVS2直播頻道,xml指令文件包含直播頻道元數據,標識AVS2的屬性和頻道的組播地址。
(2)CMS向CDN發送直播頻道創建工單,并標識AVS2的編碼屬性。
(3)CDN中心內容庫創建直播頻道描述文件,根據描述文件建立頻道的baseURL,從組播源中獲取AVS2的直播TS流進行錄制;FCC Server從組播源中獲取AVS2的直播TS流進行緩存供頻道切換時提供服務。
(4)CDN依據頻道分發策略,向區域/邊緣選擇合適的設備分發。
(5)CDN返回CMS內容注入結果。
(6)CMS通過C2接口通知牌照方AVS2頻道的注入結果。
2)點播內容發布步驟說明
圖3-4 點播內容注入業務流程
(1)牌照方C2接口向IPTV平臺CMS發布AVS2的影片,媒體屬性標識AVS2。
(2)CMS通知CDN發布AVS2 VOD媒體。
(3)CDN依據分發策略,選擇合適的設備注入VOD AVS2媒體。
(4)CDN向牌照方內容源ftp下載AVS2 VOD文件,對VOD文件進行存儲。
(5)CDN返回CMS內容注入結果。
(6)CMS通過C2接口通知牌照方AVS2影片的注入結果。
3.3.2IPTV業務系統AVS2編碼內容分發及流化方案
IPTV業務系統的CDN支持AVS2內容的組播、單播分發及提供服務。CDN內部分發、CDN流化服務過程中,媒體分發設備、媒體存儲設備均需要增加對AVS2編碼格式識別處理。支持AVS2的相關格式參數如下:
1)AVS2在TS中stream_type為0xD2;
2)AVS2的I幀起始碼為0x000001B3;
3)AVS2的PB幀起始碼為0x000001B6。
圖3-5 三級組網內容分發示意圖

1)直播服務
直播內容注入時,牌照方AVS2內容通過C2注入到CMS內容管理平臺,需要增加支持AVS2格式的媒體類型。AVS2視頻通過接口注入CDN,CDN接受AVS2視頻并打包分發。CDN支持AVS2視頻全網組播或區域組播,以及單播分發。終端接收組播或單播的AVS2視頻并支持解碼播放。
直播服務頻道快速切換(FCC)功能實現需要增加對AVS2格式幀類型的支持,在終端請求時,快速找到對應的I幀,以RTP包方式在網絡分發。
2)點播服務
點播內容注入時,需要根據AVS2視頻內容的I幀信息生成索引信息。用戶請求指定時間點服務時,CDN可以根據AVS2索引信息快速找到對應時間點的內容,分發給終端用戶。終端支持AVS2視頻解碼播放服務。
3)錄制視頻
時移和回看服務,需要錄制AVS2視頻,類似點播內容注入,根據直播媒體流中的AVS2視頻的I幀信息生成錄制內容的索引信息。
4)HLS服務
HLS內容由編碼器識別AVS2格式,并生成HLS索引文件和HLS分片文件。編碼器將內容推送到CDN,完成直播媒體注入操作。
CDN通過m3u8文件識別內容編碼格式為AVS2。AVS2的I幀信息由編碼器負責生成。
3.3.3現網IPTV CDN系統內容AVS2轉碼改造建議
1)內容源的云化轉碼
改造建議:內容源站對接云化轉碼系統,將源站視頻內容轉碼成AVS2編碼格式的視頻內容,并接入IPTV CDN系統。
圖3-6 云化轉碼方案

改造目標:
云化轉碼系統輸出音視頻參數需符合GB/T 33475.2 -2016和《IPTV業務系統視音頻編解碼規范》對AVS2、H.264的要求;
云化轉碼系統需支持多種輸入視頻編碼格式,如AVS2、H.264、PRORES等;
云化轉碼系統建議提供基于內容感知的編碼優化,轉碼前后的視頻主觀質量需無變化;
云化轉碼系統至少支持8bit、10bit兩種位深的視頻,支持分辨率最高可至4K,幀頻最高可至60fps。
云化轉碼系統需支持同一視頻多種分辨率多種碼率轉碼輸出,并要求視頻序列的時間線和關鍵幀位置對齊;
云化轉碼系統需支持倍速轉碼,支持迅速上片能力;
云化轉碼系統需支持靈活的轉碼模板配置調用;
云化轉碼系統需支持視頻內容質量自動監測,避免花屏、塊效應、卡頓、音視頻不同步等現象,提升人工審片效率;
云化轉碼系統需支持視頻增強,用于改善老片、舊片等質量較差片源質量;
2)CDN實時轉碼(JITT)
改造建議:在現有CDN系統中媒體服務網元模塊(邊緣節點)增加實時轉碼功能(JITT),將CDN系統中視頻內容根據STB等業務終端需求實時轉碼成AVS2、H.264編碼格式的視頻內容,提供給相應業務終端。
圖3-7 實時轉碼方案

改造目標:
JITT實時轉碼功能不影響原有媒體服務網元能力;
JITT實時轉碼功能輸出音視頻參數需符合GB/T 33475.2 -2016和《IPTV業務系統視音頻編解碼規范》對AVS2、H.264的要求;
JITT實時轉碼功能需支持多種輸入視頻編碼格式,如H.264、AVS2、H.265等;
JITT實時轉碼功能需提供基于內容感知的編碼優化,轉碼前后的視頻主觀質量需無變化;
JITT實時轉碼功能至少支持8bit、10bit兩種位深的視頻,支持分辨率最高可至4K,幀頻最高可至60fps。
JITT實時轉碼功能需支持同一視頻多種分辨率多種碼率轉碼輸出,并要求視頻序列的時間線和關鍵幀位置對齊;
JITT實時轉碼功能引入的額外時延需小于200ms;
3.4IPTV業務系統支持AVS2解碼的機頂盒
3.4.1支持AVS2解碼的IPTV機頂盒架構
如圖所示,支持AVS2解碼的IPTV設備由硬件和軟件組成,應進行軟硬件一體化定制以充分保證用戶高清流暢觀影體驗。軟件可劃分為應用層、應用運行層、中間組件層、硬件抽象層和內核與驅動層:
應用層:視頻APK查詢機頂盒是否支持AVS2,支持則下發AVS2的節目。EPG模板查詢機頂盒是否支持AVS2,支持則下發AVS2的節目。
應用運行層:包括Android應用框架和中間件瀏覽器引擎,為上層的Android應用和B/S模式的EPG頁面提供運行環境。Android應用框架支持AVS2能力查詢的API;瀏覽器引擎支持AVS2能力查詢的JS接口
中間組件層:Android和中間件的系統能力層,提供AVS2庫。中間件媒體播放框架支持AVS2的處理邏輯和API。SQM(Service Quality Management)探針支持AVS2的視頻質量分析算法。
硬件抽象層:負責適配芯片平臺和Linux內核,分為Android的硬件抽象層和中間件的硬件抽象層,分別提供AVS2的SDK。
內核與驅動層:驅動部分支持AVS2 Codec驅動。
芯片&硬件平臺:視頻硬件邏輯支持AVS2 Codec。
圖3-8 支持AVS2解碼的IPTV機頂盒基本架構邏輯

3.4.2支持AVS2解碼的IPTV機頂盒與業務系統接口
1)機頂盒與業務管理平臺接口:機頂盒通過S1接口與業務管理平臺交互,完成開機用戶應用認證、頻道列表獲取、業務入口地址獲取、用戶注銷等功能。在頻道列表獲取接口方面,其中頻道列表響應中應定義:
2)機頂盒與EPG服務系統接口:機頂盒業務使用接口、機頂盒瀏覽器解析業務頁面,并展示。其中業務頁面包含Javascrip,調用瀏覽器對象實現業務播放。瀏覽器JS對象MediaPlayer媒體相關參數的描述中,增加AVS2的枚舉值:
3)機頂盒與TS內容分發系統接口:包結構和語法方面,PMT中的視音頻components,增加AVS2定義:
4)JS接口, EGP模板讀取機頂盒的能力
var sValue=Utility.getValueByName('codecs’);
返回值:
{"video":”H264,AVS2”}
5)安卓API接口, APK模板讀取機頂盒的能力
SystemProperties.get("ro.codecs");
返回字符傳{"video":”H264,AVS2”}
6)HLS M3U8
#EXT-X-STREAM-INF:BANDWIDTH=65000,CODECS="avs2",
支持增加AVS2的定義
7)CTC_MediaProcessor接口類擴展的數據參數及接口
MediaFormat.h
VIDEO_FORMAT_E枚舉值擴充AVS2字段。
typedef enum {
VIDEO_FORMAT_UNKNOWN= -1,
VIDEO_FORMAT_MPEG1,
VIDEO_FORMAT_MPEG2,
VIDEO_FORMAT_MPEG4,
VIDEO_FORMAT_H264,
VIDEO_FORMAT_H265,
VIDEO_FORMAT_AVS2,
VIDEO_FORMAT_MAX,
} VIDEO_FORAMT_E;
void InitVideo(PVIDEO_PARA_T pVideoPara),在初始化解碼器時使用以上枚舉值。
3.4.3支持AVS2解碼的IPTV機頂盒測試規范和量化指標
3.5IPTV業務系統AVS2編碼內容的質量保障和分析
3.5.1終端軟探針
IPTV業務系統提供端到端的業務質量指標監控,其中機頂盒終端部署內嵌探針以采集數據。IPTV業務系統支持AVS2后,探針需要如下改造:
1)支持從機頂盒采集TS、RTP、HLS協議傳輸的AVS2視頻流;
2)支持解析TS、RTP、HLS協議封裝的AVS2視頻流,并獲取到幀信息相關數據。
3)支持基于AVS2視頻流的源質量評分、卡頓評分、花屏評分。
4)探針上報的采集數據需要擴展AVS2編碼方式。
3.5.2直播監測硬探針
針對AVS2編碼的直播頻道,需要增加支持AVS2視頻流的直播監測探針。
針對AVS2編碼的內容,撥測服務器和各個撥測節點,需要增加支持AVS2編碼內容撥測的完整流程,能夠探測并且監控支持AVS2編碼方式的IPTV節點的狀態。
4.總結與行動
44.1總結:AVS2護航IPTV
IPTV經過十多年的持續創新發展,已成為融合傳統媒體和新興媒體網絡傳播的重要渠道,具備新技術產業化應用和創新的巨大優勢:用戶成規模、體系標準化、技術創新活躍、產業影響力強。
十五年來,我國自主技術標準實現了創新和突破,從AVS、AVS+到AVS2達到國際同類標準類似性能,通過創新的知識產權管理機制,促使國際同類標準的專利授權費用向公平合理方向轉變。
2016年AVS2正式成為國家標準,2017年廣電總局發文規范4K超高清電視發展的管理和標準體系,AVS2在廣東省政府打造4K電視網絡與產業發展計劃中得到應用和驗證,AVS2產業生態開始逐步具備。高效的視頻編碼技術和成熟的視頻編碼標準生態對于超高清視頻業務發展尤為重要,2018年IPTV開展全4K技術升級,產業進入AVS2護航IPTV高速發展的階段。
AVS2護航IPTV,在于發揮AVS2的編碼特色和持續創新性,結合新一代超高清視頻技術需求,開創視頻體驗的新高度和新時代。全4K空間分辨率、時間分辨率、量化分辨率、亮度動態對比度和色域空間多個技術維度的提升構成了新一代視頻體驗的新高度,AVS2通過發揮持續創新優化的工匠傳統,可以支持全4K多個技術維度的高效率編解碼優化處理。通過加強同產業的銜接,協調持續的創新,可以滿足全4K、8K/VR創新驅動的需求,提前為產業發展奠定基礎。
AVS2護航IPTV,更在于建立AVS2“開放式”專利運營模式以加速產業應用進程,降低標準應用和專利授權的不確定性。標準組織傳統的FRAND(Fair,Reasonable And Non-Discriminatory)專利運營模式,與互聯網時代的開放式屬性和產業生態的共享競合屬性格格不入,在實踐中也很難實施,而開放、生態恰恰是技術推廣普及、加速落地的至高一環,通過開放技術專利、組建聯盟,采用激勵計劃的方式,可以滿足產業打造IPTV產業中國技術名片的各方需求。
AVS2護航IPTV,還在于多方協同、形成合力,激勵產業擼起袖子加油干,打造AVS2應用的成功樣板。廣東應用AVS2的4K產業化樣板經驗,對于營造良好的政策環境和發展氛圍,乃至在全國應用形成示范效應,具有特別的參考意義。AVS2發揮關鍵技術的原創力、IPTV發揮標準應用的凝聚力,可以通過“打造樣板點、快速復制”的模式迅速在產業中形成規模。
4.2行動:IPTV推廣AVS2
2018年3月,IPTV產業鏈在深圳召開AVS2編解碼技術產業應用研討會,產業鏈高度關注AVS2技術、關注AVS2的應用實施,IPTV的全4K超高清化進程與AVS2的產業化推廣歷史性的走到了一起。
IPTV在新的技術和業務階段推進AVS2的產業化應用行動恰逢其時,縱觀國內IPTV 4K超高清技術和產業發展的進程,2018年開始進入全4K標準和產業階段,IPTV從高清升級到全4K超高清的技術規格、業務形態和用戶體驗將穩步進入一個新的時代。結合國內4K超高清廣播電視和4K超高清視頻產業的發展需求,IPTV“全4K、AVS2”的全新組合可以推動AVS2產業化和生態完善再上一個高度。
IPTV從推動用戶視頻體驗提升和業務形態創新出發,積極謀篇布局8K/VR新技術的應用,2017年發布的IPTV VR技術產業白皮書、2018年計劃推進的VR落地試點,都將給AVS2的產業化應用提供廣闊的天地,也對AVS2提出更多挑戰性的技術需求。
IPTV在智慧家庭中已成為娛樂視頻、通信視頻、行業視頻的主入口,編解碼是視頻產業中最具廣泛性、基礎性、戰略性的技術。IPTV推廣AVS2,知行合一,最好的行動時機,就是現在始!
5.修訂記錄