9月1日,值2021世界5G大會召開時,原國家廣播電視總局副總工程師杜百川在5G新視聽論壇上以直播聯線的方式做了“3GPP AR/VR/MR/XR標準化”為題的報告。
杜百川首先解釋了擴展現實(XR eXtended Reality),其也就是虛擬現實(VR)、增強現實(AR)、混合現實(MR)以及尚未開發的沉浸式技術的總稱。
今年3月發布的“ITU-R先進沉浸式感官媒體系統”中增加了“感官媒體”描述,未來沉浸式技術場景不僅僅是音頻和視頻的形式,還加上了觸覺,所以便稱為是感官媒體。“高級沉浸式感官媒體系統(AISM)”允許用戶通過高級沉浸式視聽系統得到以前所未有的臨場感和沉浸式體驗。其可以欺騙大腦感知系統,重建視聽現實并允許用戶自然地與虛擬場景交互。ITU-R已將“先進沉浸式感官媒體系統的廣播節目制作、交換和展現”列入了建議(或報告計劃),預計可在2023年完成。
AISM主要包括三個大的方面:高視覺質量、高音頻質量、直接用戶接口,可以提供360度的立體觀看體驗。舉例而言,電視和AR的集成,不同位置的電視表演者、家人和朋友可呈現為三維組合,觀眾看電視的時候就像和電視表演者、家人以及朋友共享同一個空間,使用AR眼鏡顯示的時候,這些人物都是能呈現為真人尺寸的精確控制,所以就顯得極為生動。
需要注意AR的要求比VR更高,因為VR是單獨的虛擬場景,AR或者MR都要用虛擬場景、現實場景的結合,因此就有場景的描述元素,包括連接到本地和遠程的傳感器,以及這些元素的壓縮集成機制,還需要連接到地圖和壓縮媒體的遠程資源。AR應用格式側重于提供增強現實展現而不是客戶端或服務器過程的數據格式。
在“3GPP TR 26.998 V0.8.0 Release 17(2021-05)”中有關于“5G眼睛型AR/MR設備的支持”,相關內容主要是器件功能架構、通用參考器件功能架構等。
5G中的XR出現于“ETSI TR 126.928 V16.1.0 Release 16(2021-01)”,其報告定義涉及沉浸式、現場感、交互內容、5G系統、交互類型、用于XR的5G功能、5G當中的QOS等等,還有如3D背景的離線共享、實時XR共享、XR多媒體流媒體,多方呼叫等等。
3GPP上的VR媒體業務出現于“ETSI TR 126.918 V16.0.0 Release 16(2020-11)”,主要規定5G當中的媒體業務,包括視頻系統、FOV、光學像素、VR視頻系統的獲取、球面粘貼和投影、音頻系統、業務架構、流媒體架構等等,包括相應的媒體應用,比如大型活動主播、VR流媒體、基于3GPP分發360度內容庫、社交電視和VR電影等等。
移動流媒體應用的VR出現于“ETSI TS 126.118 V16.2.1 Release 16(2021-05)”,包括VR架構和接口,比如參考系統、端到端的架構、客戶端的參考架構、渲染方案、工作點和媒體類,包括媒體宣傳的操作點和測試點,以及音頻渲染、視頻怎么做、音頻怎么做、VR怎么表達、VR的指標等等。
VR相關用戶體驗QoE參數和指標出現于“ETSI TR 126.929 V16.1.0 Release 16(2020-11)”,目前還沒有形成標準,正在討論當中,用戶體驗因素主要是三個方面:內容、網絡和設備,VR體驗相關的QoE標準,報告到網絡進一步分析的方式,其中和VR服務指標相關的研究側重于設備參考模型,研究可能影響VR業務體驗的關鍵性性能標準和指標,確定與虛擬現實、用戶體驗相關的SX4標準,設備定義和VR體驗相關的新的傳輸標準。