微美全息科學(xué)院：基于虛擬現(xiàn)實技術(shù)的計算機圖像場景構(gòu)建

    隨著計算機圖形學(xué)的發(fā)展，可以通過傳統(tǒng)的幾何方法建立真實的虛擬環(huán)境。通常，創(chuàng)建三維幾何模型來描述場景中的照明和表面紋理等特征。通過計算光強來生成視點觀測的圖像需要很高的計算能力，由此產(chǎn)生的效果很難重現(xiàn)照片中呈現(xiàn)的復(fù)雜的自然紋理。作為納斯達克上市企業(yè)“微美全息WIMI.US”旗下研究機構(gòu)“微美全息科學(xué)院”的科學(xué)家們就虛擬現(xiàn)實技術(shù)的計算機圖像場景構(gòu)建展開深入研究。

    近年來，市面上有一種基于圖像的渲染技術(shù)，該技術(shù)具有真實場景的渲染質(zhì)量，且算法只與圖像分辨率有關(guān)。有對樣本的匹配待征由主垂直邊突出顯示，以避免局部最優(yōu)，提出了一種統(tǒng)一的圓軌跡圖像序列方法，使圖像采更加方便，將固定加速度繞水平面固定中心旋轉(zhuǎn)拍照，采集水平面內(nèi)各點的光信息，具有三維效果。

    以下論述了基于圖像的虛擬場景繪制技術(shù)的意義，討論了立體視覺的攝影幾何原理，討論了用三維全光函數(shù)構(gòu)造虛擬場景的方法，以減少傳統(tǒng)方法在相應(yīng)點匹配中的局部最優(yōu)。

    1、立體視覺的攝影幾何原理

    虛擬現(xiàn)實技術(shù)是近年來國內(nèi)外科學(xué)技術(shù)領(lǐng)域的熱點，涉及計算機圖形學(xué)、動力學(xué)和人工智能等研究領(lǐng)域。隨著相關(guān)學(xué)科的發(fā)展，虛擬現(xiàn)實技術(shù)得到了迅速發(fā)展，并應(yīng)用于航天、醫(yī)療康復(fù)、建筑和制造等領(lǐng)域。在計算機的幫助下，虛擬現(xiàn)實技術(shù)實現(xiàn)了人們通過視聽手段感受到的虛擬錯覺。虛擬現(xiàn)實技術(shù)具有沉浸性和交互性的特點。它使用各種信息通道及時模擬高級用戶界面。人類通過視覺感知所接收的信息占所接收信息總量的80%。構(gòu)建虛擬現(xiàn)實是虛擬現(xiàn)實的重要組成部分，在許多領(lǐng)域得到了廣泛的應(yīng)用。

    1.1 成像幾何原理

    虛擬現(xiàn)實技術(shù)要求用戶對虛擬環(huán)境有強烈的沉浸感。構(gòu)建虛擬場景是用戶體驗真實視覺效果的一種方式。成像系統(tǒng)通常將三維場景轉(zhuǎn)化為二維灰度圖像。透視投影是一種常用的成像模型。其特征在于場景的光線通過投影中心，垂直于圖像平面的直線為投影軸。正交投影是透視投影的一種特殊情況，它使用平行于光軸的光將場景投影到圖像平面上。獲取每個點與攝像機之間的距離是視覺系統(tǒng) 的一項重要任務(wù)。深度圖中的每個像素值表示場景中一個點與相機之間的距離。被動測距傳感器是視覺系統(tǒng)發(fā)射的光能。根據(jù)圖像恢復(fù)場景的深度信息，利用灰度圖像的陰影特征和運動特征，可以間接估計深度信息。雷達測距系統(tǒng)和三角測距系統(tǒng)是常用的主動測距傳感器系統(tǒng)。主動視覺主要研究視覺和行為的結(jié)合，通過主動控制攝像機的位置和光圈參數(shù)來獲得穩(wěn)定的感知。

    1.2 立體成像原理

    立體成像系統(tǒng)在立體圖像對中找到與實際立體圖像對的共軛對是立體視覺中最困難的一步，為了減少相應(yīng)的點失配，建立了許多約束條件。傳統(tǒng)的特征點搜索是在一幅圖像上選擇特征點，一幅圖像的特征點位于另一幅圖像對應(yīng)的極線上。如果已知目標與攝像機之間的距離在一定的間隔內(nèi)，可以將搜索范圍限制在一個小的間隔基于虛擬現(xiàn)實技術(shù)的計算機圖像場景構(gòu)建內(nèi)，這樣可以大大縮小尋找對應(yīng)點的搜索空間，減少不匹配點的數(shù)量。由于攝像機位置測量誤差的影響，匹配點可能無法精確地出現(xiàn)在圖像平面上對應(yīng)的極線上。立體視覺通常由兩個以上的攝像機組成。場景中對應(yīng)點的光強變化較大，匹配前需要對圖像進行歸一化處理。一幅圖像的每個特征點只能對應(yīng)于另一幅圖像的一個唯一點。圖像中物體表面上各點的投影是連續(xù)的，物體邊界上的連續(xù)約束不成立。

    1.3 區(qū)域相關(guān)性

    邊緣特征通常對應(yīng)于對象的邊界。邊界的深度值可以是對象閉合邊深度距離之間的任何值。在兩個圖像平面上觀察到的輪廓圖像的邊緣與物體的邊緣不對應(yīng)，圖像平面的邊緣只能沿閉合邊緣檢測。恢復(fù)深度的基本問題是識別圖像中分布的更多特征點。兩幅圖像中的匹配點應(yīng)盡可能容易識別。感興趣的操作員應(yīng)該查找圖像中有較大變化的區(qū)域。它可以在利息度量函數(shù)具有局部最大值的地方進行選擇。在識別出這兩幅圖像中的特征后，可以使用許多不同的方法進行匹配。只有滿足極線約束的點才能是匹配點。

    2、全光函數(shù)的虛擬場景構(gòu)建方法

    IBR（image-based rendering）技術(shù)改變了人們對傳統(tǒng)計算機圖形學(xué)的認識。IBR構(gòu)建虛擬環(huán)境的技術(shù)是基于泛函數(shù)理論的。構(gòu)建虛擬場景的全景方法突破了圖像樣本的匹配特征。均勻圓軌跡圖像序列的虛擬場景構(gòu)建方法是一種三維的完全函數(shù)。它可以產(chǎn)生水平立體的視覺效果，而且很容易獲得，渲染過程獨立于攝像機焦距等內(nèi)部參數(shù)，具有較高的操作效率。

    2.1 全光函數(shù)

    全光函數(shù) (Plenoptic Function) 描述了從空間中任何點看到的所有信息，描述了給定場景中可能出現(xiàn)的環(huán)境映射幾何，從一些定向離散樣本重建了一個連續(xù)的全光函數(shù)，并通過重采樣函數(shù)繪制了一個新的視圖。只要在任何視點收集入射光，就可以以某種方式構(gòu)建場景，圖像也是在特定時間通過空間中特定點的信息。五維全光函數(shù)很難捕捉。全光函數(shù)的維數(shù)可以繼續(xù)減小。全光函數(shù)是根據(jù)奈奎斯特定律，從空間采樣的光信息中重構(gòu)出一個連續(xù)的函數(shù)，從而構(gòu)造出一個虛擬場景。根據(jù)視點參數(shù)對函數(shù)進行采樣，得到通過視點觀察到的圖像。

    2.2 全光函數(shù)的虛擬場景構(gòu)建方法

    二維全景圖是固定的。簡化為二維的全光函數(shù)是固定視點，只收集空間中固定光點的信息。在重建的虛擬場景中，視點不能移動，也沒有視差產(chǎn)生立體感。如果使用全景照相機，可以很容易地獲得全景圖。在不同方向拍攝的照片可以用普通相機縫成全景。全景法構(gòu)建虛擬場景的主要過程是拼接全景圖。通過將相機采集的具有重疊邊界的圖像無縫拼接，如將直線拼接成虛線，可以獲得反映特定場景的全景圖。

    目前的圖像拼接算法一般采用拼接算法和縫合算法。匹配是通過搜索本地通信來執(zhí)行的。拼接全景圖像的采樣序列采集過程是將光的中心固定在固定的中心，并以一定的角度拍攝照片，使其在固定的平面上旋轉(zhuǎn)。可以認為同一圖像空間中相鄰圖像樣本之間存在平移關(guān)系。圖像的垂直邊緣成為匹配中的一個重要特征，基于垂直邊緣處理方法，利用圖像差分法找到相鄰圖像樣本的重疊區(qū)域 圖像樣本通常細節(jié)豐富。由于隨機噪聲的存在，數(shù)字圖像捕獲并不完全相同。細節(jié)紋理中的邊通常會在處理過程中引入其他錯誤。平滑的圖像樣本通過垂直邊緣進行銳化，圖像樣本卷積梯度算子方法用于突出銳化的邊緣特征，而不會導(dǎo)致邊緣被加寬從而引入誤差。

    2.3 均勻圓軌跡圖像序列的虛擬場景構(gòu)建方法

    平面功能和二維全景不能提供立體視覺。應(yīng)該找到一個適當?shù)男问降募兒瘮?shù)來創(chuàng)建一個虛擬場景。當一個人在水平面上移動，而垂直方向上沒有視差時，他仍然能感覺到強烈的立體視覺。基于均勻圓軌跡圖像序列的圖像虛擬場景構(gòu)建方法是將攝像機放置在旋轉(zhuǎn)中心O附近，以捕獲到的圖像序列作為輸入，構(gòu)建三維全光函數(shù)。通過對所獲得的圖像序列的處理，可以得到在水平面一定范圍內(nèi)不同視點所觀測到的圖像，并且圖像序列的采集比較簡單。

    2.4 景深計算

    虛擬場景的構(gòu)造允許用戶在一定范圍內(nèi)移動。傳統(tǒng)的深度計算 方法首先使用兩個經(jīng)過校準的針孔相機在不同位置捕捉同一物體的圖像。為了計算第一幅圖像中各點的三維位置，最好在第二幅圖像中搜索匹配點。人們在深度計算方面做了很多工作。多基線立體成像算法通過多幅圖像消除了噪聲的影響，優(yōu)于傳統(tǒng)的相關(guān)算法。圖像的每個特征點只能對應(yīng)于圖像的唯一特征點。由于大多數(shù)特征點不是很明顯，所以通常會產(chǎn)生相應(yīng)的歧義。一個點可以是真實的對應(yīng)點，另一個點是虛假的對應(yīng)點。多基線立體成像是消除相應(yīng)點模糊的有效方法。在實際應(yīng)用中，不需要計算輸入圖像序列中每個圖像的深度，通過計算一幅全景圖的深度可以得到所有場景點的深度信息。

    3、虛擬場景構(gòu)建實驗

    利用銳化圖像方法突出樣本的匹配特征，在大多數(shù)情況下，可以完成全景圖像的自動拼接，有效避免后一搜索過程陷入局部限制，拼接結(jié)果基本無縫。最小相似距離法對圖像亮度變化不敏感，具有一定的抗噪聲能力。實驗在計算機綜合仿真環(huán)境中進行。模擬環(huán)境是一個合成的室內(nèi)場景，包括放置在室內(nèi)的桌子和圓柱體等幾何對象。利

    用均勻圓軌跡圖像序列構(gòu)建虛擬場景的方法進行測試，產(chǎn)生立體視覺效果，較好地實現(xiàn)了虛擬場景深度信息的獲取實驗。在水平圓周圍均勻拍攝視頻，以獲得所需的圖像序列。當視點參數(shù)發(fā)生變化時，根據(jù)均勻圓軌跡圖像序列的原理重新繪制新視點的視圖。當視點在預(yù)定范圍內(nèi)變化時，計算出視點對應(yīng)的圖像序列之間的對應(yīng)關(guān)系。當繪制光不在采樣點時，將其替換為相鄰點。模擬環(huán)境是一個室內(nèi)場景，垂直深度近似可以用來減少垂直變形。假設(shè)場景的深度是一個常數(shù)，垂直失真會減小，圖像的寬度也會減小到不同的程度。由于視點的變化，相對深度發(fā)生了變化，在 垂直方向上不再獲取信息。場景點的深度實際上不是 s 常數(shù)，觀察到的變形是假定深度和設(shè)計之間的差異。

    該方法計算量小，在視場要求不太準確的情況下，用均勻的圓軌跡圖像序列在施工現(xiàn)場繪制新的視點是一種高效的方法。利用多基線立體成像算法對由圖像序列構(gòu)成的虛擬場景進行深度估計，首先將每個幀的相同序列拼接成全景圖像。每幅全景圖尺寸為 300×240。從 L=160列拼接全景圖中剪切320×240 圖像。將用于計算 SSSD 函數(shù)的窗口大小設(shè)置為 9×9。根據(jù)從最長基線 L=260 拼接的全景列的視差變化進行搜索，計算相應(yīng)的深度值，計算每個基線的 SSD。搜索的目的是找到 SSSD 最小深度值。搜索范圍從視差d=0 開始到全景圖中像素的方向并與參考圖像搜索中參考點的方向相同。用估計景深修正垂直變化效果最好，但應(yīng)以估計景深為基礎(chǔ)。如果要求場景和視點的視圖繪制是實時的，并且對圖像質(zhì)量的要求不高，則穩(wěn)定深度近似法更快。

    4、結(jié)論

    總體研究了基于圖像虛擬場景的構(gòu)建技術(shù)，它是基于全光函數(shù)理論的。根據(jù)奈奎斯特定律，利用空間中的光信息，以一定的方式重建連續(xù)的全光函數(shù)。當視點參數(shù)發(fā)生變化時，根據(jù)視點參數(shù)進行采樣。首先，討論了構(gòu)建虛擬場景的視覺攝影的幾何理論。然后，根據(jù)相關(guān)方法研究了全景圖像的全光函數(shù)，提出了全景圖像的垂直邊緣處理拼接算法。最后，研究了景深信息的估計方法。