TWI636422B

TWI636422B - 間接照明方法以及三維繪圖處理裝置

Info

Publication number: TWI636422B
Application number: TW106115147A
Authority: TW
Inventors: 簡韶逸; 陳彥瑜
Original assignee: 國立臺灣大學; 聯發科技股份有限公司
Priority date: 2016-05-06
Filing date: 2017-05-08
Publication date: 2018-09-21
Also published as: TW201805897A; US20170323474A1; US10275937B2

Abstract

本發明揭露一種使用於三維繪圖處理裝置的間接照明方法，該方法包含有取得一場景，並對該場景進行體素化；該場景中的複數個光源對體素化後的該場景進行一光照運算，並根據該光照運算，儲存一潛光照體素表；將該潛光照體素表進行排序，以產生一排序光照體素表；以及對該排序光照體素表進行一壓縮程序；其中，該潛光照體素表中的每個體素儲存有對應於每個體素的一反射光照度以及一摩頓碼。

Description

間接照明方法以及三維繪圖處理裝置

本發明係指一間接照明方法以及一三維繪圖處理裝置，尤指一種根據光照體素以處理場景運算的間接照明之三維渲染處理方法以及裝置。

隨著虛擬實境技術的成熟，越來越多的虛擬實境裝置逐漸應用在可攜式電子裝置之上，除了對影像品質的要求提高之外，亦因為可攜式電子裝置之記憶體限制，使得在要求影像品質的同時，同時能夠有效率的降低記憶體消耗以提高成像品質，然而，先前技術並無法在提供高品質影像的同時亦達到有效率的記憶體消耗，因此提供高品質影像的同時亦達到有效率的記憶體消耗，即成為業界所共同努力的目標之一。

因此，本發明之主要目的即在於提供一種間接照明方法及三維繪圖處理裝置，可以高解析度以及有效率的記憶體使用量處理場景之三維渲染，以改善先前技術之不足。

本發明實施例揭露一種使用於三維繪圖處理裝置的間接照明方法，該方法步驟包含有取得一場景，並對該場景進行體素化；該場景中的複數個光源對體素化後的該場景進行一光照運算，並根據該光照運算，儲存一潛光照體素表；將該潛光照體素表進行排序，以產生一排序光照體素表；以及對該排序光照體素表進行一壓縮程序；其中，該潛光照體素表中的每個體素儲存有對應於每個體素的一反射光照度以及一摩頓碼。

本發明另揭露一三維繪圖處理裝置，包括一處理單元；以及一儲存單元，用來儲存一程式碼，該程式碼指示該處理單元執行下列步驟：取得一場景，並對該場景進行體素化（Voxelization）；該場景中的複數個光源對體素化後的該場景進行一光照運算，並根據該光照運算，儲存一潛光照體素表（Potential Lighting Driven Voxel，pLDV）；將該潛光照體素表進行排序，以產生一排序光照體素表；以及對該排序光照體素表進行一壓縮（Compaction）程序；其中，該潛光照體素表中的每個體素儲存有對應於每個體素的一反射光照度以及一摩頓碼（Morton code）。

全域照明（Global illumination）可增加圖形成像上的視覺真實性，因此在互動應用中（例如電視遊樂器以及擬真系統）的感官體驗相當重要。即使在視覺需求很高的應用，大部分的照明能源仍是藉由第一反射間接照明以提供擬真的照明。近期，許多全域照明演算法為了平衡繪圖處理器（Graphics processing unit，GPU）的功耗使用像素（pixel）來演算間接照明，因為像素適合應用於繪圖處理器且可達到場景上的獨立性。為了達到高成像品質，部分做法採納了反射陰影圖（Reflective shadow maps，RSMs）來增強間接照明的互動計算。然而，當光源數量增加時，反射陰影圖的表現卻不佳，且對於所有的光源皆製作反射陰影圖對於記憶體使用上造成相當大的負擔，並可能因龐大的記憶體使用而降低了成像品質。

為了改善習知技術，本發明揭露一種光照體素（Lighting-driven voxels，LDVs）的方法，在體素架構表示場景時，可減低運算複數個光源反射光亮度時所需的記憶體。該方法只保留會造成間接照明的體素光亮度而不是如傳統方式中儲存所有體素，並以一個縮小列表管理所保留的體素。第1圖為傳統方式、反射陰影圖以及本發明的差異。總結來說，本發明至少可產生以下貢獻：

一有效率使用記憶體的反射光照度法（即光照體素），以減少計算單一反射間接照明時的記憶體使用；

對於光照體素的記憶體使用、查詢效能以及場景建置速度進行全盤的評估；以及

將本發明光照體素應用於體素光線追蹤法（Voxel ray tracing）以及體素圓錐追蹤法（Voxel cone tracing），可使用低記憶體而達到互動幀速率。

在發展全域照明上，習知技術已經投入許多研究，其已可達到互動甚而即時性的速率，以下章節將會聚焦描述與本發明相關的方法。

反射陰影圖藉由包含反射光亮度、光源位置、且正交於每個像素的光源之視角構築場景並捕捉亮面，每個像素可視為一個虛擬點光源（Virtual Point Light，VPL）並可在計算間接照明時用於第二光源。而單一反射間接照明可以藉由收集儲存於虛擬點光源的光照度有效率地獲得。除收集之外，以下亦會提出拍攝法適當的延伸濺射（Splat）尺寸以獲得光滑反射以及簡單的焦散線（caustics）。傳統以反射陰影圖為基礎的方法會受制於嚴重的過度繪製而造成性能不佳，因此本發明提出一種階層式方法，其可以一致性地將小濺射成像至不同解析度的緩衝器或超標度的多重解析度緩衝器上，並且合併小成像以獲得最終的影像。

考量到虛擬點光源與著色點間的能見度會增加成像上的逼真性，習知技術已提出不完美陰影圖（Imperfect Shadow Maps，ISMs）以近似虛擬點光源與著色點間的能見度。而不完美陰影圖最大的限制在於預先計算好的樣品點數量使用限制，無法在大規模場景成像時捕捉到更細微的細節，然而，此項限制會獲得解除（詳見後續說明）。關於虛擬點光源照明出現時間不同步的問題，其係根據Metropolis-Hastings（MH）取樣以選取重要的虛擬點光源，亦會探討。

近年來，許多基於體素架構的全域照明演算法平衡了繪圖處理器的功耗，達到互動性或是即時性成像品質。而為傳遞照明能量，以反射陰影圖初始化，編碼為球面諧波，並於均勻體素網格插入體素的擴散法被提出來。之後，使用隨著鏡頭移動的巢狀網格，視角相關之變量則被提出。光線體素交會測試（Ray-voxel intersection test）亦被提出可有效率的加速在二近位的體素上進行光線追蹤，當發現交會的體素時，可由反射陰影圖獲得反射光亮度以進行間接照明計算。體素架構全域照明法可達到即時性品質，但只針對於擴散式材質。體素圓錐追蹤法係以追蹤數個圓錐體至一階層式的表示法，以用來執行最後的收集作業。每個圓錐體聚積並混合場景裡儲存於每個階層中的體素光照度。為減低高解析度體素在記憶體上的消耗，會採用稀疏體素八叉樹（Sparse voxel octree，SVO）的架構；為近一步緩解體素圓錐追蹤法在記憶體的負擔，遮蔽資料中的照明資料被移出並在一分層反射陰影圖（Layered reflective shadow map，LRSM）中編碼；而為壓縮遮蔽資料中的記憶體使用量，可允許稀疏體素八叉樹中的節點分享向量給相同子樹的一個稀疏體素有向無迴圈圖（Directed acyclic graph，DAG）則被提出。

許多體素架構全域照明演算法由於反射陰影圖的記憶體消耗量有限制且亦可高品質成像，因而利用反射陰影圖來儲存光源所發出的照明資料（即反射光照度）。然而，這些演算法因為光源數的增加而表現下降，在一個畫面中計算複數個反射陰影圖對於記憶體使用上造成相當大的負擔，而最終因為過大的記憶體佔用（Memory footprint）而拖累成像品質。當需要高體素解析度以計算詳細的間接照明時（如間接光滑反射），儲存所有產生的體素之反射光照度也需要消耗大量的記憶體。

本發明的目的之一在於減低場景中複數個光源時的單一反射間接照明之運算時間，在瞭解到在間接照明時不需要所有的體素來進行運算，本發明提出使用光照體素（Lighting-driven voxels）。光照體素是體素化時（Voxelization）不是在陰影中的體素或是並非在相機背面的體素之子集合。一般而言，如表1所示，在建築中的場景裡，光照體素的數量與所產生體素的數量比值（即有效比率）有效比率都很低。以下將描述在應用於繪圖處理器時，光照體素的產生方法以及如何查詢光照體素。

第2圖繪示本發明產生光照體素的流程。首先，先將場景進行體素化，並且對每個產生的體素執行光照運算。反射光照度的體素以及摩頓碼（Morton code）會被輸出為片段著色器形成潛光照體素（potential LDV，pLDV），且全部會被存在一潛光照體素表中。接著，如第2圖所示，潛光照體素表會依照Morton碼的順序進行排序。由於體素可能會在不同的光源所照射形成重複，在一些的潛光照體素中可以將相同的摩頓碼合併以節省記憶體，因而可對潛光照體素列表進行壓縮程序，而每個潛光照體素列表可形成一串列，而對每一串列而言，比較每一個摩頓碼，若列表中右側（即升序方向）所鄰近的潛光照體素摩頓碼相等或其反射光照度為黑色時，則立即終止該摩頓碼。否則，即將左側（即第2圖底線所繪示的降序方向）有相同摩頓碼的潛光照體素合併，以產生有反射光照度的光照體素。

值得注意的是，光照體素列表已預先進行排序，因此可以簡單的二元搜尋演算法來查詢光照體，而由於壓縮後的光照體素數量相當少，使執行排序的負擔很小並且可平攤至所有的光照體素查詢。而欲取得所需的光照體素，會進行場景中所需該點的摩頓碼計算，並搜尋具有相同摩頓碼之光照體素（如第2圖所示），當所需的光照體素獲得後，則可獲得反射光照度，否則即會回傳黑色值。

本發明的方法可以歸納為流程90，如第9圖所示，流程90包含有以下步驟：

步驟900：開始。

步驟902：取得一場景，並對該場景進行體素化（Voxelization）。

步驟904：該場景中的複數個光源對體素化後的該場景進行一光照運算，並根據該光照運算，儲存一潛光照體素表（Potential Lighting Driven Voxel，pLDV）。

步驟906：將該潛光照體素表進行排序，以產生一排序光照體素表。

步驟908：對該排序光照體素表進行一壓縮（Compaction）程序。

步驟910：結束。

第10圖為本發明實施例一三維繪圖處理裝置100之示意圖。三維繪圖處理裝置100包含有處理單元1000以及儲存單元1002。其中，儲存單元1002可用來指示處理單元1000以進行流程90，以實現本發明之光照體素方法。

本發明的方法可應用於任何需要查詢反射光照度、由光源產生、在任何點上的建築於體素架構的演算法。本發明將其整合為兩個照明模組，其中分別採用體素光線追蹤法以及體素圓椎追蹤法以計算在著色點x 上沿著路徑所放出的光照度L_o ，即：(1)

其中，是在著色點x 上以入射角以及放射角的雙向反射分佈函數（Bidirectional reflectance distribution function，BRDF），L_i 為入射光照度而n 為點x上的垂直平面。

為計算單一反射間接照明，藉由蒙地卡羅積分（Monte Carlo Integration）可將上述式(1)近似為(2)

其中，為最終蒐集沿方向所蒐集到的光線之機率密度函數（Probability density function），而由光源射出後的第一反射的反射光照度的表示為，而根據延遲著色（Deferred shading），每個延遲的像素皆可視為一個著色點，複數個最終蒐集光束由著色點向以體素呈現的場景投射，而第一個所遮蔽的體素之中心則被用來近似為相交點。與其使用反射陰影圖以計算，由於成像所需負擔，包含記憶體消耗以及光照度查詢的速度與光源的數量相關度較低，因此本發明提出建構光照體素以判斷的方法。

在繪圖處理器應用上，習知技術已提出許多體素光線追蹤高效能應用相關的研究，而本發明則整合所提出的光照體素以及光線體素交會測試法以進行記憶體使用以及查詢速度之演示，除了使用圖譜的體素化之外，基於繪圖處理器的體素化亦被使用來進行場景的離散化，且可與產生光照體素的過程合併。而當發現交會的體素時，則搜尋具有相同摩頓碼的該光照體素視為交會體素，並取得累積反射光照度。為降低成像需求，只有少數最終蒐集光束被投射至每個著色點上，而接著以幾何感知（Geometry-aware）濾波器移除圖形成像的雜訊。

從圓錐追蹤法的角度而言，式(1)的積分方程式可以分為M部分為。 (3)

假設圓錐內的入射光照度皆相同，且場景內僅使用擴散材質，式(3)可表示為。 (4)

其中，係為權重方程式，而為平面的反射率，每一部分對應於以階層表示椎體積的追蹤，如第4圖所示，藉由混合沿著複數個圓錐軸上的圓錐例可以近似L_j 。

傳統的方法，如體素圓椎追蹤法，其反射光照度係預先經過濾波器且存於每一階層的體素中，如第4圖左側所示。在本發明中，所有的階層都建有光照體素表，所有的光照體素表會連結成單一列表。存了每一階層所有光照體素第一個指標的輔助緩衝器，則被用來避免在查詢光照體素時搜尋整個列表，因此，只有與被查詢光照體素同一階層的光照體素需要被評估，為判斷一圓錐例的反射光照度，取得16個鄰近的光照體素（粗略階級的一半以及細微階級的一半）以手動進行內插，如第4圖右側所示，由於光照體素表中的摩頓碼順序，可以有效率的取得鄰近的光照體素。

關於本發明對於記憶體消耗、查詢速度、建置速度、以及成像品質等，可依以下方式評估。測試場景係以一行進中的大象與12個點光源呈現在SPONZA中，其中十個點光源分別設置於一樓的每個窗簾之前，而其餘設置於二樓的角落，所有的光源在成像時都可以移動。

表1為使用光照體素以及反射陰影圖以成像的記憶體消耗，從表1中可以很明顯得知，當體素解析度升高時其有效比率隨之下降。由於體素的高解析度提供場景採樣更細緻的粒子，因此有更高比例的體素會在體素化的時候除去，如第5圖所示。在測試中，只有12%以下的體素需參與間接照明，換句話說，與傳統方法將光照度數據儲存在體素密集網格中，相比下可以省下超過88%的記憶體使用空間，而藉由在產生光照體素時進行壓縮，可以合併大量的潛光照體素，減少的比例如表2所示，可以達到接近90%。

相較於反射陰影圖，光照體素因為其與光源數較相關性較低的特性，只需消耗小部分的記憶體，因此假若場景中光源的數量越多，則此方法即會更有效率。如第6圖所示，本發明的方法在記憶體消耗上的所有情況皆超越反射陰影圖，以體素為128³ 的解析度作為例子，本發明方法在記憶體使用上較反射陰影圖低了一個數量級，而與稀疏體素八叉樹相較，本發明方法亦差了一個數量級的效率。

關於查詢速度，係以從100K最終蒐集光束至分別著色點上的光照度查詢平均值行時間所量測得來，第7圖為光照體素以及反射陰影圖在SPONZA中使用不同數量光源的情況下的查詢表現。

使用光照體素時，由於演算法中採取的二元搜尋程序關係，其速度會主要受制光照體素表的大小，而光照體素表大小主要由兩個因素而決定，即為體素的解析度以及光源的數量。增加體素的解析度可直接地增加更多的亮體素進而建置更多的光照體素（如表1所示）。對於光源數量而言，當場景中增加了更多的光源時，在建置光照體素時會有更少的體素被除去，造成更長的光照體素表。然而，由於光源數量的增加而對成像品質的影響極小，即使場景中使用了超過10個光源時，本發明方法仍可在512³ 的體素解析度下，提供每毫秒超過150萬次的查詢數，至於反射陰影圖之表現則會由於增加的內存佔用，隨著光源數量增加而變差。

表3為建置光照體素所需要的時間列表，毫無疑問地，在高體素解析度之下，由於在產生潛光照體素時會需要更多光照計算而需要更多的時間。而壓縮時間由於更長的潛光照體素列表而相對地增加，然而，在512³ 的體素解析度場景下，其需要低於10毫秒的時間，對於大部分互動式全域照明已足夠高。而本發明方法亦可以相當低的額外成本與許多體素架構演算法整合。舉例來說，如表4所示，光照體素的建置時間比較於反射陰影圖較低，使得單一反射間接照明可達到即時性成像效果。

間接照明可以藉由採用高解析度體素達到更細節的間接照明品質，例如高品質的間接光滑反射，在這種情況下，採用反射陰影圖以查詢光照度時，在反射陰影圖中用來取得光照度的不等式傾向於由查詢點上的再投射反射陰影圖像素的尺寸大小支配。此情況相似於陰影貼圖（Shadow mapping）在進行混疊時，由體素投影到反射陰影圖的像素上，無法總是一對一的投影，因而造成錯誤的光照度蒐集，而藉由本發明光照體素，假影（Artefact）可以藉由體素中所儲存的光照度資料而移除。

接著說明將光照體素整合於體素光線追蹤法以及體素圓錐追蹤法以成像的實施例，其係以SPONZA作為測試的場景以進行光照體素的體素光線追蹤法成像。而為進行比較，本發明使用體素架構全域照明。本發明採用基於繪圖處理器體素化來表示場景，將體素編碼並且存於二維紋理中。在成像時，會向著色點放射出十道光線來蒐集單一反射間接光照度，而與其如體素架構全域照明般查詢反射陰影圖，本發明藉由搜索所需的光照體素以獲得反射光照度。

表4繪示本發明方法與體素架構全域照明的處理時間比較表，本發明方法表現可優於體素架構全域照明，係因在查詢光照度上較快速的原因，更進一步，建置光照體素的所需負擔較反射陰影圖為低，以記憶體使用的觀點而言，本發明方法僅消耗部分記憶體使用量，相較於體素架構全域照明低了一個數量級。

在體素圓錐追蹤法中，使用了SIBENIK作為測試場景，場景中使用了一個點光源在舞台的上方，場景中所有的幾何皆設定為光滑反射，而為進行比較，我們採用一未搭配稀疏體素八叉樹的體素圓錐追蹤法應用於此場景作為比較，反射光照度被存在一體素密集網格中（即3D紋理），而後以等向濾波器以輸出紋理的技術（Mipmapping）輸出。

如表5所示，本發明相對於體素圓錐追蹤法可達到接近減少98%的記憶體消耗量，對於一個512³ 的體素解析度來說，儲存光照度資料只需要不到6MB的記憶體，然而對於體素圓錐追蹤法則消耗將近1.6GB的記憶體。對於成像品質來說，本發明較體素圓錐追蹤法為慢，係因為手動進行內差的運算時間。當體素解析度增加時，本發明方法會因為增長的光照體素列表而在追蹤圓錐體上花費更多時間。在增加的時間成本方面來說，光滑圓錐體因為需要評估較多的圓錐體，所以會較擴散圓錐體來的高。然而，本發明方法整體仍可在所有的體素解析度下達到互動性的速率。

若要近一步改善成像品質，本發明可以藉由體素磚以平衡繪圖處理器上硬體支援的濾波器，以減少每個圓錐體樣品的光照體素查詢數量，對於每個光照體素，每個紋理記憶體可分配一個333的體素磚並且儲存鄰近體素的光照度資料。當在評估圓錐體樣品時，圓錐體樣品所在的光照體素會被用來對於對應的體素磚進行定位。而藉由適當的紋理座標來存取紋理記憶體，即可取得圓錐體樣品的反射光照度。藉由較高的記憶體使用量，本發明方法可達到3的速度提升，然而仍然是慢於體素圓錐追蹤法。

因此，本發明係揭露一方法，在複數個光源下以節省記憶體消耗的方式，來管理單一反射光照度。而精髓在於光照體素，實際參與間接照明運算的一個小體素子集合。當進行全面的評估時，特別是在複數個光源場景之下時，可發現查詢光照體素的表現由於較小的內存佔用，相較於查詢反射陰影圖時可達到較佳的表現。除此之外，本發明更演示光照體素與體素光線追蹤法以及體素圓錐追蹤法進行整合，可在消耗小量的記憶體下即達到互動幀速率的品質。

本發明在進行當以體素圓錐追蹤法評估體素圓錐體樣品時，須以手動內差的改善。其可藉由插入光照體素的光照度資料至紋理記憶體的體素體積，以平衡硬體濾波器。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

90‧‧‧流程
900、902、904、906、908、910‧‧‧步驟
100‧‧‧三維繪圖處理裝置
1000‧‧‧處理單元
1002‧‧‧儲存單元

第1圖為本發明實施例一光照體素之示意圖。第2圖為本發明實施例一光照體素之示意圖。第3圖為本發明實施例一光照體素之示意圖。第4圖為本發明實施例一光照體素之示意圖。第5圖為本發明實施例一光照體素之示意圖。第6圖為本發明實施例一記憶體使用之示意圖。第7圖為本發明實施例一查詢比較之示意圖。第8圖為本發明實施例一速度比較之示意圖。第9圖為本發明實施例一流程之示意圖。第10圖為本發明實施例一三維繪圖處理裝置之示意圖。

Claims

一種間接照明的方法，應用於一三維繪圖處理系統中，包括：取得一場景，並對該場景進行體素化（Voxelization）；該場景中的複數個光源對體素化後的該場景進行一光照運算，並根據該光照運算，儲存一潛光照體素表（Potential Lighting Driven Voxel，pLDV）；將該潛光照體素表進行排序，以產生一排序光照體素表；以及對該排序光照體素表進行一壓縮（Compaction）程序；其中，該潛光照體素表中的每個體素儲存有對應於每個體素的一反射光照度以及一摩頓碼（Morton code）。
如請求項1所述之方法，其中該光照運算係將該場景中的每個光源所照射到的複數個體素儲存為複數個潛光照體素表子表，並將複數個潛光照體素表子表存為該潛光照體素表，其中潛光照體素子表的數量對應於光源的數量。
如請求項1所述的方法，其中將該潛光照體素表進行排序，以產生一排序光照體素表係根據該潛光照體素表中的摩頓碼數值，排序該潛光照體素表，而產生該排序光照體素表。
如請求項1所述之方法，其中該壓縮程序係根據該排序光照體素表中每個體素的該摩頓碼，若兩相鄰體素的該摩頓碼相同時或該體素的該反射光照度為一黑色，則終止升序方向的該體素。
一種三維繪圖處理裝置，包括：一處理單元；以及一儲存單元，用來儲存一程式碼，該程式碼指示該處理單元執行下列步驟：取得一場景，並對該場景進行體素化（Voxelization）；該場景中的複數個光源對體素化後的該場景進行一光照運算，並根據該光照運算，儲存一潛光照體素表（Potential Lighting Driven Voxel，pLDV）；將該潛光照體素表進行排序，以產生一排序光照體素表；以及對該排序光照體素表進行一壓縮（Compaction）程序；其中，該潛光照體素表中的每個體素儲存有對應於每個體素的一反射光照度以及一摩頓碼（Morton code）。
如請求項5所述之三維繪圖處理裝置，其中該處理單元另將該場景中的每個光源所照射到的複數個體素儲存為複數個潛光照體素表子表，並將複數個潛光照體素表子表存為該潛光照體素表，其中潛光照體素子表的數量對應於光源的數量以執行該光照運算。
如請求項5所述之三維繪圖處理裝置，其中該處理單元根據該潛光照體素表中的摩頓碼數值，排序該潛光照體素表，而產生該排序光照體素表以將該潛光照體素表進行排序，以產生一排序光照體素表。
如請求項5所述之三維繪圖處理裝置，其中該處理單元根據該排序光照體素表中每個體素的該摩頓碼，若兩相鄰體素的該摩頓碼相同時或該體素的該反射光照度為一黑色，則終止升序方向的該體素，以執行該壓縮程序。