下一代影視創作風口——XR虛擬制片

    XR詞匯的提出，可以追溯到CO Allen于2014年的申請的一份專利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》，文中將XR作為AR的別稱進行使用，約2年后，一些國際媒體服務器廠家開始在市場中嘗試推廣XR的概念。

    XR（Extended Reality）即通過攝像機追蹤與實時圖像渲染技術，使顯示介質（LED/投影幕）及顯示介質外的虛擬場景實時跟蹤攝像機視角，在攝像機鏡頭前與現實拍攝畫面合成，從而營造出無限空間感的技術。

    XR是虛擬現實（VR），增強現實（AR）和混合現實（MR）三種視覺交互技術的融合，以此帶來虛擬世界與現實世界之間無縫轉換的“沉浸感”數字體驗。

    2020年，XR延展技術的興起使影視行業出現了全新的變革，基于LED背景墻的LED虛擬制作成為了行業內人士一直討論的熱門話題。XR（Extend Reality）技術與LED顯示屏結合，搭建了一座貫通虛擬與現實的橋梁，在影視虛擬制作領域大放異彩。本文將重點從整體制作流程、集成設備應用、核心優勢等方面深入剖析，為更多影視虛擬化制作項目的成功落地提供參考。

    什么是LED影棚虛擬制作？

    LED影棚虛擬制作是一種綜合的解決方案，工具和途徑。我們將LED虛擬制作定義為“實時的數字化制作”，在實際使用中，LED虛擬制作可以分為“VP攝影棚”和“XR延展影棚”兩種類型應用。

    VP攝影棚

    VP攝影棚是一種新型的影視拍攝方式，更多用于電影、電視劇的拍攝，可以使影視制作人用LED屏取代綠幕，直接在片場顯示實時背景和視覺特效。

    VP攝影棚拍攝的優勢可以體現在多個方面：

    1、攝影空間自由化，可在室內影棚內完成各種場景的拍攝，無論是森林草原雪山，都可以使用渲染引擎實時創建，大幅度減少取景和拍攝成本。

    2、制片全流程簡單化，“所見即所得”，在拍攝過程中制作人可以在屏幕上及時查看想要的拍攝畫面，場景內容和敘事空間皆可實時修改、調整，大幅度提高換景、改景的效率。

    3、表演空間沉浸化，在片場的演員站在實時生成場景的XR舞臺上，可以在沉浸式空間內進行表演，直接體驗，演員表演更真實、更自然。

    同時，LED顯示屏的光源為現場提供真實光影效果與細膩色彩表現打光，拍攝出的效果更加逼真、完美，極大提升影片整體質量。

    4、縮短投資回報周期，相比起傳統的耗時耗力的電影拍攝流程，虛擬拍攝制作因為效率高、周期大幅度降低，可更快實現影片的上映，節省演員的片酬以及工作人員的支出費用，大幅度降低拍攝成本。

    這種基于LED背景墻的電影虛擬制作被認為是電影制作方面的巨大發展，為影視行業的未來提供了全新的動力。

    XR延展影棚

    XR延展拍攝，是指使用視覺交互技術，通過制作服務器將真實與虛擬相結合，利用LED顯示屏打造一個可人機交互的虛擬環境，為觀眾帶來虛擬世界與現實世界之間無縫轉換的“沉浸感”。

    XR延展影棚可用于網絡直播、電視臺直播、虛擬音樂會、虛擬晚會和廣告拍攝等場景。XR延展影棚拍攝可以將虛擬內容擴展到LED舞臺之外，使虛擬和現實實時疊加，增強觀眾的視覺沖擊感和藝術創意感，讓內容創作者在有限的空間創造出無限可能，盡情追求無盡的視覺體驗。

    XR能否取代綠幕一直是個熱點話題。相較綠幕，XR有一些明顯優勢：

    1、XR實時呈現的背景為演員提供臨場感，能夠讓缺乏無實物表演經驗的人們直觀了解當下處境，掌握自身走位。

    2、XR使演員表演與表演環境相結合的效果及時呈現，并且更方便創作團隊及時修改創作想法。

    3、XR能夠節省掉影視制作過程中許多花費在光線修復上的時間和金錢。

    但是xR技術本身同樣具有局限，如果是基于LED屏幕方案實現的xR技術，那么站在LED屏上的演員腳下將沒有影子，這是xR技術的一個較大遺憾。

    LED影棚虛擬制作的工作流程

    在LED影棚虛擬制作中，“VP攝影棚”與“XR延展影棚”的整個拍攝流程大致相同，分為前期籌備、前期制作、現場制作、后期制作四個部分。

    VP攝影棚拍攝流程

    VP影視制作與傳統電影制作方法最大的不同在于流程上的變化，最重要的特征是“后期前置化”。VP影視制作將傳統視效影片中的三維資產制作等環節移至影片實際拍攝之前，前期制作的虛擬內容可直接用于現場攝影機內視效拍攝，而渲染、合成等后期環節移至拍攝現場，合成畫面的實時完成，大大減少了后期制作的工作量，提高了制作效率。

    在視頻拍攝前期，視覺特效師需使用實時渲染引擎以及虛擬制作系統，創建3D數字資產。接下來，利用高顯示性能的無縫拼接LED顯示屏作為背景墻（通常呈現為環幕或球幕）在工作室中搭建一個LED舞臺，通過XR虛擬服務器將前期制作的三維渲染場景載入到LED背景墻上，打造出高畫面質量的沉浸式虛擬場景。再采用精確的攝影機追蹤系統，采用物體位置追蹤與定位技術對物體進行跟蹤拍攝，最終拍攝完成后，將拍攝到的素材通過特定協議（Free-D）傳回到XR虛擬服務器進行查看剪輯。

    XR延展影棚拍攝流程

    XR延展拍攝的步驟與VP影棚拍攝大致相同，但通常在VP攝影棚拍攝中整個拍攝畫面都是在相機中捕獲的，而不需要擴展。

    而在XR延展影棚中，因為其畫面延展的特殊性，在后期制作時多了對“背景”畫面進行擴展的環節。在拍攝好的素材回傳至XR虛擬服務器后，需要再通過畫面疊加的方法，將場景延展顯示到外錐無屏區域，將現實場景與虛擬位置進行融合，實現更真實、更加沉浸式的后臺效果。然后通過顏色校準、定位校正、色彩匹配及邊緣過度等畫面處理技術，實現屏內外畫面的和諧統一，最終輸出擴展后的整體畫面。在導播系統后臺，就可以看到并輸出完成的虛擬場景。

    在擴展現實的基礎上，XR延展拍攝還可以加入動態捕捉傳感器，實現AR追蹤的互動效果，表演者可以在舞臺上即時、無限制地與三維空間內的虛擬元素進行交互。

    LED虛擬制作用到的設備有哪些？

    LED影棚虛擬制作是技術的融合，所需要的軟硬件設備有LED顯示屏、虛擬引擎、攝像機追蹤系統以及虛擬制作系統等。只有通過這些軟硬件系統的完美集成配合，才可以拍攝出奇幻炫酷的視覺效果，獲得最終的效果。

    XR延展攝影棚的LED顯示屏雖然建設面積較小，但是在直播中需要低時延特性提供支持，需要更大的數據傳輸與實時互動，需要性能更強的系統支持即時的影像處理。

    VP攝影棚LED建設面積較大，但因不需畫面擴展，對系統的要求相對較低，但是需要高質量畫面拍攝，對虛擬引擎、攝像機等其他設備配置較高，須達到專業級別。

    虛擬制作服務器

    虛擬制作服務器是將物理舞臺與虛擬場景連接起來的基礎設施，高度集成LED顯示屏硬件、控制系統、內容渲染引擎和攝像頭跟蹤。

    XR虛擬制作服務器是虛擬拍攝工作流的核心，負責接入攝像機跟蹤系統+虛擬生產內容+攝像機拍攝的實時畫面，輸出虛擬內容到LED墻，輸出合成的XR視頻畫面給導播臺，用于直播及存儲。

    最常見的虛擬制作系統有：Disguise、Hecoos。

    渲染引擎

    視頻制作的渲染引擎是各種最新圖形技術的表現者，渲染引擎應用于視頻制作就猶如汽車的引擎，決定著節目畫面的真實感、流暢度、吸引力。

    觀眾所看到的畫面、場景、色彩效果等內容都是由引擎直接控制的，這些效果的實現包含了許多渲染技術：光線追蹤-圖像像素以光的粒子計算；路徑追蹤-光線反射回視口計算；光子映射-光源發射“光子”計算；光能傳遞-散射表面反射到攝影機中的照明路徑。

    最常見的渲染引擎有：Unreal Engine、Unity3D、Notch、Maya、3D MAX 。

    攝像機追蹤系統

    攝影機定位跟蹤指的是對真實空間中攝影機的位置和姿勢進行跟蹤的過程。由定位機、搖臂、攝像機穩定器、云臺、編碼器、雙目立體視覺機器等一整套設備組成。

    拍攝的空間信息被實時傳送至渲染引擎，為引擎中的虛擬攝影機提供真實攝影機在三維空間中的位置信息，以及鏡頭參數信息，包括焦距、焦點和光圈等。依靠實時渲染和實時摳像與合成技術，實現虛擬攝影機與真實攝影機的運動及構圖的同步，使得實拍畫面與虛擬元素得以實時合成。

    攝像機實時動態跟蹤技術分為三種：網格識別–基于攝影機在二維X、Y軸平面的輕微移動進行實時的運算的跟蹤方式，無需改裝攝像機的跟蹤方式；機械傳感跟蹤-裝在基座上或三腳架上，提供非常精確的高分辨率的解決方案；紅外跟蹤-通過紅外和發射器計算攝像機位置。

    最常見的攝像機追蹤系統有：Mosys、Redspy。

    燈光系統

    在場景已有的自然光源照明不足的前提下，有必要人為地增強場景中的照明，以增強膠片的感光，提高畫面的亮度，對于空間的建立、氛圍的營造有著重要的作用。

    基礎燈光-在LED背景墻提供基礎光照的情況下，仍需要利用燈光設備補充光照，以彌補背景墻照明窄光譜低顯色、無方向性、無硬光的問題；補充燈光-LED燈光矩陣+柔光燈彌補背景墻照明窄光譜、低顯色、無方向性、無硬光的問題；特效燈光-在特定的拍攝場景，根據場景+劇情需要而臨時布置的燈光；燈光控制系統-數控燈光可以通過DMX/Artnet等協議被虛擬引擎和XR融合系統直接驅動控制。

    常用的燈光系統有：ARRI。

    LED顯示屏

    LED影棚虛擬制作是大屏顯示應用的新場景，是LED小間距市場不斷發展，LED顯示設備的技術水平不斷提高而衍生出的新市場。

    與傳統的LED屏幕應用相比，虛擬制作的LED顯示屏對準確色彩還原，動態高刷新，動態高亮度，動態高對比度，無色彩偏移的廣視角、高質量畫面顯示等等都有更為嚴苛的要求。

    抑制摩爾紋

    摩爾紋是LED屏幕在拍照設備的感光元件上成像時形成的高頻干擾，會使圖片出現彩色的條紋。Mini 4合1技術可以使LED顯示屏達到80%以上的發光開口率。

    Mini LED搭配特殊型號的鏡頭、景深和光圈，可以獲得更廣的調節自由度，虛焦程度更低，巧妙避開顯示屏在成片中產生摩爾紋的情況，最終實現拍攝角度逼真的沉浸式效果。

    低反射

    小的光反射率對屏幕表面的影響越小，可以實現更真實的背景畫面。在Mini小間距屏體表面，燈組之間有獨特的吸光槽設計，以減少光的影響；并且表面采用磨砂啞光工藝，將光線反射率控制在5%以下，拍攝角度可接近180度。輕松應對拍攝現場的各種光線環境，畫面更干凈，拍攝不易穿幫。

    寬色域高顯指

    色域匹配及轉換技術應用，可以真實、準確地還原自然界色彩。高顯指CRI，保證色彩均勻性好，可以優化各色各波段的連續光譜，提升顯色指數。同時，提高光效，在保證發光效率前提下，抑制部分藍光能量，補償紅色（R9）光譜。

    廣視角無色偏差

    Mini LED產品能夠提供近180°更廣闊的拍攝視角，保證不偏色；24bit處理深度，更好地呈現圖像的層次、細節，從任何角度觀察或拍攝，都能呈現到良好的視覺效果。

    低掃描高刷新率

    1/6掃描率和7680Hz的刷新率，Mini LED小間距屏在高刷新下，拍攝畫面穩定，無波紋黑屏，圖像邊緣清晰，準確還原圖像真實信息。

    XR制作的好處

    沉浸式與實時的制作與編輯流程

    演員或主持人、制片人可以在現場看到虛擬環境，讓他們可以在現場進行表演或拍攝的調整與指導，減少了后期制作所花費的時間和預算。簡單來說就是“后期制作前置化”。此外，虛擬制作解決了外景拍攝的劇組交通成本及環境等待成本，簡單來說，你可以無需踩點等待下雨或夕陽落山的時刻，隨時復現和修改所需的環境。

    真實的現場交互燈光

    照明由XR現場的LED顯示屏提供，這有助于真實人物與虛擬環境的無縫融合，并減少進一步照明調整的時間。這點特別適合有高反射的真實物體拍攝，需要提供真實的環境反射信息及光照，而無需通過后期合成添加處理。

    沒有顏色溢出問題與摳像合成的困擾

    在傳統綠幕拍攝環境下，常常需要花費大量的時間進行精細的摳像處理，同時修補顏色溢出的問題，而XR完全不需要摳像，現場直接出鏡頭。

    XR的行業應用

    企業活動

    當今公司越來越多地將XR視為解決遠距離會務問題的新方法。虛擬會議、虛擬報告會甚至是產品發布會都可以使用XR技術來提高參與者的沉浸體驗，使他們真切感受到品牌的文化和理念。

    教育

    XR可以讓遠程教學中的學生沉浸在逼真的場景中，讓學生在模擬的虛擬情境中更好地理解知識，學習知識，并留下深刻的印象。

    電影

    xR為電影拍攝提供了機會，減少了工作人員的旅行時間和疫情期間的接觸危險。在后期制作中，LED屏幕可提供比綠色屏幕更快，更輕松和更高質量的替代產品，從而縮短了生產周期，并可以實時做出更具創造性的視覺決策。

    電視演播

    在演播室環境中，LED屏幕實時提供高分辨率的清晰內容和照明，雖然最后都需要用攝影機進行采集，但實時呈現的內容可以讓主持人更好地與虛擬環境進行交互，而不是像之前一樣進行盲猜與踩點。

    版權聲明：圖文素材來源ZEEY，如需轉載請注明來源。