在2021 GFIC 5G全球家庭互聯網大會的主論壇上，原廣電總局副總工、國家信息化專家咨詢委員會專家、國務院三網融合專家組專家 杜百川發表題為《5G和FTTR家庭XR業務》的精彩演講。

家庭大屏下一個熱點是XR業務。擴展現實（XR）是虛擬現實（VR Virtual Reality）、增強現實（AR Augmented Reality）和混合現實（MR Mixed Reality）以及尚未開發的沉浸式技術的總稱。

同時，VR和沉浸式兩個概念也經常容易混淆，把360度視頻歸到VR是不對的，VR是全虛擬環境，而360度視頻大部分是實際拍攝現實世界，不能稱為VR。——杜百川

ITU-R先進沉浸式感官媒體系統

今年3月發布的“ITU-R先進沉浸式感官媒體系統”中增加了“感官媒體”描述，未來沉浸式技術場景不僅僅涉及聽覺和視覺，還加上了觸覺，所以便稱為是感官媒體。

“高級沉浸式感官媒體系統（AISM）”允許用戶通過高級沉浸式視聽系統得到前所未有的臨場感和沉浸式體驗。其可以欺騙大腦感知系統，重建視聽現實并允許用戶自然地與虛擬場景交互。ITU-R已將“先進沉浸式感官媒體系統的廣播節目制作、交換和展現”列入了建議（或報告計劃），預計2023年完成。

AISM系統質量主要包括三個基本方面：高視覺質量、高音頻質量、直接用戶接口，可以提供沉浸式體驗。

舉例而言，電視和AR的集成，通過AR設備將不同位置的電視表演者或家人和朋友進行三維組合顯示。觀眾在看電視時可以感覺好像他們與電視表演者、家人和朋友共享同一個空間。 使用 AR 眼鏡，表演者或人物以實際尺寸顯示，以提供增強的真實感。

“ITU-R BT.2123-0(2019.1) ”提供了用于廣播節目制作和國際節目交換的高級沉浸式視聽系統(AIAV)視頻參數值。基于人眼的視力，以使觀看者在觀看360°圖像的任一部分時不會感知圖像的像素結構。全360°圖像要求30K×15K的像素數。一個半球或360°圖像的一部分可以用30K×15K的像素的一部分來表示。

在“ETSI TS 126 118 V16.2.1 (2021-05) ” 中的5G流媒體應用VR類內容生成指南指出，假設低分辨率區域以覆蓋整個360度區域的2K分辨率即使用2048×1024或1920×960進行編碼，針對不同幀率提供全覆蓋的可編碼高分辨率區域的最大百分比差異較大。通常視口(VP)覆蓋完整360度全景視頻的12-25%。

上述流程采用ISO/IEC 23090-2全向媒體格式(OMAF)包裝，ISO/IEC 23008-1的MPEG媒體傳送(MMT)和ISO/IEC 23009-1動態自適應流媒體(DASH)方式。

ETSI ARF-AR框架

AR應用格式(ARAF)和MAR參考模型(MAR-RM)：AR應用格式(ISO / IEC 23000-13 [i.2])側重于提供增強現實展現而不是客戶端或服務器過程的數據格式。ARAF指定用于表示AR內容的場景描述元素，連接到本地和遠程傳感器和執行器的機制，壓縮媒體（圖像、音頻、視頻、圖形）集成機制，連接到諸如地圖和壓縮媒體的遠程資源機制。MAR-RM(ISO/IEC 18039)定義了混合和增強現實的范圍和關鍵概念，相關術語定義以及通用系統架構作為MAR應用、組件、系統、服務和規范的參考模型。

AR標記語言和WebXR設備API：OGC(Open Geographic Consortium)發布的ARML 2.0是基于XML的描述性數據格式，建立在通用對象模型之上，允許使用多種語言以系列化。WebXR設備API提供對通常與VR和AR硬件相關的輸入和輸出功能的訪問。

AR-相關數據表達標準：文字、圖片、視頻、音頻、2D圖形對象、3D圖形對象和場景、場景描述、傳感器和執行器數據相關標準、地理數據相關標準。

通信協議標準、硬件API標準和用戶接口規范。

特殊域標準和AR質量評價標準：特殊域標準——建筑或施工、制造與安裝；AR質量評價標準——用戶體驗。

在“3GPP TR 26.998 V0.8.0 Release 17（2021-05）”中的“5G眼睛型AR/MR設備的支持”，主要介紹眼睛類AR/MR器件功能架構；器件功能；通用參考器件功能架構器件分為單獨的5G AR用戶設備STAR，依賴于5G 邊緣的AR用戶設備EDGAR，5G 無線系留的AR用戶設備；AR會晤的基本處理；AR內容格式和編解碼等。

5G中的XR出現于“ETSI TR 126.928 V16.1.0 Release 16（2021-01）”。

XR介紹涉及定義，QoE，沉浸度和現場感，交互延遲和內容年齡，5G系統XR交付，交付類型，用于XR的5G系統和無線功能，5G中QoS，5G媒體交付，邊緣計算，XR引擎和渲染等等。

XR的用例和場景主要有3D對象的離線共享，實時XR共享，XR多媒體流媒體，在線XR游戲，XR困難任務，XR會議，空間音頻多方呼叫等等。

將XR匹配到5G包括XR處理和媒體為中心的架構，視點無關的交付，視點相關的流媒體，在網絡中視點渲染，基于柵格分割的渲染，通用分割渲染，XR分布式計算，XR對話類；流量特性總匯；現存5QI(5G QoS Identifier)分析等等。

3GPP上的VR媒體業務出現于“ETSI TR 126.918 V16.0.0 Release 16(2020-11)”，主要規定5G當中的媒體業務，主要有大型活動廣播/組播，VR流媒體，在3GPP分發360°A/V內容庫，HMD消費的現場業務，社交電視和VR，電影VR等等。

移動流媒體應用的VR類

移動流媒體應用的VR出現于“ETSI TS 126.118 V16.2.1 Release 16(2021-05)”，指出了VR架構和接口，比如參考系統、端到端的架構、客戶端的參考架構、渲染方案、工作點和媒體類；提供了VR指標，客戶端參考架構及5個觀察點，指標定義，指標配置和報告。

VR相關的用戶體驗QoE參數和指標

VR相關用戶體驗QoE參數和指標出現于“ETSI TR 126.929 V16.1.0 Release 16(2020-11)”，目前還沒有形成標準，正在討論當中，影響用戶體驗因素主要有內容創建、網絡傳輸和設備要求。

該報告提供了與VR服務相關的QoE指標的研究，側重于為VR QoE測量點定義設備參考模型；研究可能影響VR業務體驗的關鍵性能指標；識別和定義與VR用戶體驗相關的新QoE參數和指標；分析現有QoE報告的潛在改進；為SA4中關于QoE參數和指標的未來標準工作提供建議，并在必要時與其他3GPP組和外部SDO協調。

VR相關的用戶體驗QoE指標主要有VR交互指標；VR內容對QoE的影響；傳輸對VR QoE的影響；VR設備對QoE的影響；VR QoE設置和報告。

GSTP-FTTR(fibre-to-the-room)用例和要求

杜百川最后指出，人們對5G太關注以至于忽略了光纖(fibre)，FTTR(fibre-to-the-room)是ITU今年的新文件。

云虛擬現實（VR）正在成為家庭網絡的新視頻供應。 Cloud VR 基于云計算技術，將 VR 內容存儲在云端并進行渲染。通過快速穩定的傳輸網絡，將視頻和音頻輸出經過編碼和壓縮后傳輸到用戶終端。終端用戶無需購買昂貴的主機或高端PC即可享受云VR服務，有助于推動VR服務的普及。

因此，端到端網絡，包括Wi-Fi連接、基于光纖的家庭網絡、接入網、傳送網和業務處理時延，在云VR的理想體驗質量下，網絡往返時延要求小于10ms。Wi-Fi 連接使用非授權頻譜和基于競爭的機制，這可能會導致相對較大的延遲。FTTR的家庭網絡帶來了額外的功能，可用于滿足更嚴格的要求。

FTTR在確保某些業務的低延時方面也可以做網絡切片。對于固定網絡，F5G定義了三個技術特性：增強型固定寬帶(eFBB)、全光纖連接(FFC)和保證可靠體驗(GRE)。

杜百川還介紹了近年來XR各個方面發布了相關白皮書，比如2020年國家廣電總局科技司發布了《5G高新視頻-沉浸式視頻技術白皮書》、中國通信標準化協會發布了《5G網絡下的云化虛擬現實平臺技術白皮書》和《云化增強現實關鍵場景及技術白皮書》等等。