7月6日,第一屆網媒融合前沿論壇舉行期間,中國工程院院士,深圳大學電子與信息工程學院院長、特聘救授丁文華做了題為《媒體發展與數字創意技術》的主旨報告。
數字創意產業需要以數字技術及數字裝備作為底座,隨著產業的發展需要,進一步又增添了創作設計的支撐,整體產業還劃分了數字創意內容軟體的核心領域及產品實體的跨界領域范疇。近些年還引入了新興領域,也就是VR/AR產業、元宇宙等。
數字對象的生產體系
LLM具備文本邏輯推理、上下文理解、多輪對話能力,使得AI產生了通用性的文本創作能力,已超過原有的搜索(知識問答),標志著AGI的誕生。相對于傳統的AI模型,AGI大模型基于一個模型便能適配多業務場景,模型參數量大,可學習海量的數據知識,其泛化能力也強,可基于人類反饋進行強化學習。
AIGC正改變數字內容生成方式,特別是2022年OpenAI進入到了DALL-E2后,AIGC的應用場景掀起了廣泛的潮流,主要在AI作畫、AI創作視頻等方面。
面向元宇宙數字對象的生成技術方面,構成數字環境的基本方法為數據采集、3D建模、材質貼圖、圖像渲染等。數據采集主要是采集數字環境的三維數據信息,3D建模是根據采集信息建?;驅胍延心P?,材質貼圖是將3D模型展開成2D平面并賦予材質,圖像渲染則是通過渲染引擎實時計算出光影等呈現效果。
構建數字人的基本方法中主要涉及了掃描、建模、驅動、渲染的過程,具體而言像傳統數字人構建方法中,需要對對象進行全身3D掃描,其建模數據量也是非常巨大的,MC驅動要依靠真人“動作+表情”來進行捕捉,需要正向渲染以完善數字人構建,其只是具有弱交互的能力。面向未來的話,可以基于AI進行數字人構建,通過多角度照片來替代全身掃描,使已有建模模型與AI的結合實現逼近真人效果,更能利用大模型實現具身交互能力。
在計算機視覺效果引擎及平臺技術方面,傳統的主要是基于時間或空間切片的渲染引擎,主要還是基于物理的引擎方式,特別是像體育轉播中的時間切片技術。而未來的視覺引擎可面向多維度發展,其實時渲染效果可達到多感官協同體驗要求,例如基于三維AR的醫療診斷概念,其代表的是生物引擎、化學引擎等全新方式。
數字世界的構建及服務體系
在未來專用視頻編解碼技術突破方面,可進一步面向內容和對象的視頻編碼邁進,如基于內容感知的視頻編碼,其中也可引入機器視覺的感知提取等。在元宇宙的語義編碼中,其傳輸對象將實現從2D向3D的演變,如何實現矢量化全集傳輸,以及如何終端按需局部呈現等都將是新的挑戰。
元宇宙場景下,傳輸對象變更為海量3D數字對象,需要全新的傳輸架構和處理機制,基于云邊端的混合分發技術將是未來的架構,對數字基礎設施要求也會發生新的變化,對智算、超算能力需要也會更高。
在未來的數字服務融合體系中,XR近眼顯示技術會改變用戶入口方式,是主要的入口方式。像當前階段,VR HMD近眼顯示技術中Fast-LCD已成為主流配置,光學成像方面Pancake透鏡也逐步取代了Fresnel透鏡,能夠顯著降低HMD的體積和重量。
新推出的Apple Vision Pro在對外宣傳中,其單眼已接近4K的顯示水平,能實現便捷的人機交互(包括眼動追蹤、手勢追蹤及聲音控制),其圖像處理方面具備Persona的孿生數字人實時交互功能。
AR Glasses近眼顯示技術方面,當前各家的技術路線很是多樣,MicroLED已經初露端倪,光學成像方面衍射光波導也正逐漸成為市場主流選擇,其采用了衍射光柵以取代傳統陣列光波導中的半透半反鏡,可實現二維擴瞳。
此外,智能網聯車技術的演進也正助力智能座艙打造起“第三空間”場景,重點將探索開發人機交互、艙內感知、車載信息娛樂分發、車內/車外信息交互等多方面的應用體驗。
在元宇宙的規則引擎方面,需要注意到,元宇宙建立的虛擬世界與現實世界交融,會帶來用戶準入、數字資產保護、隱私保護等一系列問題,因此需要制定相應的規則體系,并開發底層的規則引擎予以支撐。
最后丁文華院士表示,數字創意正為元宇宙發展提供基礎支撐技術,具備著廣闊的產業應用前景。數字創意也具有顯著的學科交融特性,單一學科無法滿足培養要,需要建立跨學科綜合培養體系。數字創意技術在研究方向方面覆蓋廣泛,因此也歡迎大家關注加入,共同推動產業向前發展。