炫酷的XR場景如何實(shí)現(xiàn)?

發(fā)布者:聯(lián)誠發(fā) 時間:2022-03-01 14:46 瀏覽量:1918

近年以來,XR技術(shù)開始走進(jìn)大眾視野,越來越多的演唱會、發(fā)布會現(xiàn)場、電影拍攝現(xiàn)場以及電視節(jié)目等場景,開始運(yùn)用高科技感以及逼真感的XR技術(shù),開辟拍攝制作又一新玩法。眾所周知,XR技術(shù)是一種融合AR、VR、MR技術(shù)的擴(kuò)展顯示技術(shù),那XR技術(shù)是如何融合,又是如何在屏幕面前實(shí)現(xiàn)炫酷畫面的呢?下面且聽聯(lián)誠發(fā)小編來分解XR技術(shù)。


XR場景技術(shù)框架包括由LED顯示屏組成的拍攝場地、攝像機(jī)、物體位置追蹤與定位技術(shù)、實(shí)時圖形渲染引擎(AR技術(shù))、高速低延遲的網(wǎng)絡(luò)等幾大元素組成,最后將加大元素組合的內(nèi)容傳輸顯示屏幕前,就成為炫酷的逼真的XR場景。其整體技術(shù)框架如下圖所示。


XR場景的實(shí)現(xiàn),首先將虛擬環(huán)境傳輸至現(xiàn)場的LED顯示屏,采用物體位置追蹤與定位技術(shù)對物體進(jìn)行跟蹤拍攝,并將素材傳回至實(shí)時圖形渲染引擎。與此同時,視頻服務(wù)器則用本地化運(yùn)行邏輯運(yùn)算進(jìn)行人物手勢分析及圖形渲染,輸出立體的逼真的AR內(nèi)容與拍攝素材交互呈現(xiàn),而在屏幕前呈現(xiàn)的內(nèi)容就是XR場景。值得注意的是,在現(xiàn)場還需要強(qiáng)大的網(wǎng)絡(luò)支持,為實(shí)現(xiàn)XR低時延交互、全景視頻等內(nèi)容大帶寬下發(fā)等提供強(qiáng)有力的支持。簡單的說,XR場景就是基于現(xiàn)實(shí)場景,與后臺炫酷的AR內(nèi)容進(jìn)行結(jié)合交互而來的,所以XR技術(shù)被譽(yù)為AR、VR、MR技術(shù)的融合。


案例分解

  我國短片《只為夢中與你相遇》,首次采用虛擬拍攝方式,把 XR工作流程與影視行業(yè)的工作流程相結(jié)合并實(shí)行最終內(nèi)容的輸出。短片現(xiàn)場無實(shí)景、無綠幕,實(shí)時渲染場景,而演員在LED屏幕所構(gòu)建的空間中進(jìn)行表演。在場景渲染上,XR擴(kuò)展現(xiàn)實(shí)使用實(shí)時渲染引擎搭建拍攝場景,通過媒體服務(wù)器輸出合成,運(yùn)用攝像機(jī)追蹤系統(tǒng)定位空間位置信息,實(shí)時映射人物與場景的空間關(guān)系,實(shí)時渲染技術(shù)將照片級別的動態(tài)數(shù)字場景,在LED屏幕上還原,并實(shí)時呈現(xiàn)并輸出一個無死角的虛擬場景,最終形成具有XR場景的短片。


image.png


  此外,在英雄聯(lián)盟全球總決賽舞臺上,也采用了XR技術(shù)進(jìn)行實(shí)時直播。由于是現(xiàn)場直播,沒有任何重來的機(jī)會,所以一場比賽就有幾十臺攝像機(jī)參與其中?,F(xiàn)場使用的全部是紅外攝像機(jī),而且在S10現(xiàn)場的墻壁上,有大量的這種小點(diǎn),這些小點(diǎn)的目的是為了反射紅外線。所有的紅外攝像機(jī)都會安裝一個特殊的模塊,當(dāng)攝像機(jī)移動時,它們會根據(jù)這些點(diǎn)的反射還有方向等,對攝像機(jī)本身進(jìn)行跟蹤,再實(shí)時反饋給計(jì)算機(jī)中,這套技術(shù)方案使得虛擬和現(xiàn)實(shí)的誤差小于1毫米。另外,團(tuán)隊(duì)通過自己開發(fā)的插件,把Unreal引擎中的燈光與現(xiàn)實(shí)中的skypanel進(jìn)行了匹配,也就意味著引擎里的燈光發(fā)生變化,現(xiàn)實(shí)中燈光也會進(jìn)行同步,虛擬內(nèi)容與賽場交互融合,呈現(xiàn)一個新的賽事直播方式。


  此前我國"奮斗者"號載人潛水器成功坐底馬里亞納海溝的重要時刻,中央廣播電視總臺央視新聞頻道、央視新聞新媒體通過xR虛擬演播進(jìn)行了同步科普講解。用虛擬環(huán)境將 LED 屏幕之外的現(xiàn)實(shí)環(huán)境實(shí)時覆蓋,并完成虛擬環(huán)境拓展的處理。詳細(xì)地說就是,攝影機(jī)追蹤系統(tǒng) Mosys 的運(yùn)用使得直播中的現(xiàn)場攝像機(jī)與虛擬攝像機(jī)始終保持一致與同步,并在 XR 虛擬演播室現(xiàn)場使用了1臺 disguise vx4 媒體服務(wù)器,作為虛擬渲染引擎增強(qiáng)渲染和控制,而工作流程將 AR 技術(shù)帶入環(huán)境之中,通過使用 Black Trax 動態(tài)追蹤系統(tǒng)實(shí)時了解參演者和虛擬影像的位置,從而與 CG 內(nèi)容更好的互動融合,給觀眾一種身臨其境的體驗(yàn),將視覺效果的傳遞提升到一個新的維度,與全國觀眾全景體驗(yàn)大洋10909米處的至深之藍(lán)。


  極具未來科技感的XR技術(shù)已經(jīng)在我國生根發(fā)芽,個別已經(jīng)開出美麗的花。雖然XR技術(shù)才剛剛興起,但目前應(yīng)用范圍已經(jīng)逐漸被拓寬,技術(shù)也愈加成熟。隨著小間距顯示技術(shù)的進(jìn)一步成熟,以及點(diǎn)間距的進(jìn)一步下探,高清細(xì)膩且可以實(shí)現(xiàn)裸眼3D顯示,未來可以更好地當(dāng)好背景板;5G網(wǎng)絡(luò)的進(jìn)一步落地,XR技術(shù)知名度的持續(xù)提升,以及相關(guān)人員技術(shù)培訓(xùn)體系的完善等,都將推動XR技術(shù)開始走向成熟。

分享:

13