TW201931313A

TW201931313A - 用於影像資料庫的光特徵空間

Info

Publication number: TW201931313A
Application number: TW107137425A
Authority: TW
Inventors: 李泰炫; 安德魯查爾摩斯
Original assignee: 紐西蘭商維多利亞連通公司
Priority date: 2017-10-23
Filing date: 2018-10-23
Publication date: 2019-08-01
Also published as: WO2019083380A1

Abstract

一種顯像過程係包含接收一輸入影像，並且施加一光特徵偵測過程至該輸入影像，以產生針對於該輸入影像的光特徵參數；利用該些光特徵參數來存取一輻照度圖資料庫以選擇一輻照度圖；以及利用一虛擬場景來顯像一輸出影像，並且利用所選擇的該輻照度圖來照明該輸出影像。該些光特徵參數係具有代表該輸入影像的主控光之一主控光特徵向量、以及代表該輸入影像的環境光之一環境光特徵向量。用於該輻照度圖資料庫的一光特徵索引係藉由下述來產生：利用一光特徵偵測過程來處理一輸入全景影像，以產生和該輸入全景影像相關的該些光特徵參數；以及利用該些光特徵參數作為該全景影像在該資料庫中的該索引。該資料庫係提供包括該光特徵索引的一照明空間。

Description

用於影像資料庫的光特徵空間

本發明係有關於產生用於一影像資料庫，並且尤其是用於一輻照度圖(radiance map)資料庫的一光特徵空間或索引的方法。本發明亦有關於一種用於處理一影像以偵測光特徵的方法。該光特徵或照明空間可被利用以選擇一輻照度圖，以提供適當照明給必須被顯像(rendered)為合成物件的一影像。

對於在包含視覺效果、擴增實境(AR)、以及混合實境(MR)的各種應用中的逼真顯像，真實世界照明的正確表現是重要的。輻照度圖(RM)是涵蓋360°視野的高動態範圍(HDR)全景影像，如此使得其適合用於儲存真實世界照明。結合影像為基礎的照明(IBL)下，當例如是用於靜止影像以及用於經儲存或即時視訊來顯像影像時，在合成物件以及真實世界場景之間達成一無縫合成是可能的。

隨著時間過去，許多工作室及個人已經收集大量的RM。例如是SUN360資料庫的低動態範圍(LDR)的資料庫已經在先前研究中被使用於合成，如同在Karsch, K.、Sunkavalli, K.、Hadap, S.、Carr, N.、Jin, H.、Fonte, R.、Sittig, M.、以及Forsyth, D.的2014年ACM圖像學報的“用於3d物件合成的自動場景推論”(“Karsch2014”)中所敘述。HDR資料庫現在是容易可在後製工作室及例如是DutchSkies360的http://www.dutch360hdr.com/、HDRMAPS的http://hdrmaps.com/、以及HDRIHUB的http://www.hdri-hub.com/的線上服務中所取得。此種資料庫提供大量高傳真度的照明資料。

如同在Karsch 2014中敘述的，由於大的RM資料庫很可能包含用於大多數給定場景的所要照明，因此查詢該資料庫以找出適當RM是重要的，但也是具有挑戰性的。如其牽涉到利用該RM的照明性質來叢集(clustering)、瀏覽以及搜尋該資料庫，而不是利用其紋理特徵。在AR及MR應用中，所拍照的真實世界場景可能沒有一對應RM，需要有一種用以從該資料庫擷取符合該真實世界場景的照明的一RM之方法。

紋理為基礎的特徵可提供影像的簡明語義描述，但是此方法受限於描述影像看起來為何，而不是其照明性質。此照明性質對於在所顯像影像中定義可察覺陰影以及色調氛圍而言是重要的。

RM的例如是球諧函數(spherical harmonics)的先前簡潔描述需要大量係數來表示高頻照明。該些球諧函數在利用高頻資訊來提供一RM的直覺及語義描述上有所限制。其它描述高頻照明的方法需要大量係數。一組簡明且語義上直覺的特徵對於管理大影像資料庫而言是所需的。

於是，解決以上議題或提供一有用替代方案是所要的。

本發明的一實施例係提供一種顯像過程，其係包含：
接收一輸入影像，並且施加一光特徵偵測過程至該輸入影像以產生對於該輸入影像的光特徵參數；
利用該些光特徵參數來存取一輻照度圖資料庫以選擇一輻照度圖；以及
利用一虛擬場景來顯像一輸出影像，並且利用所選的該輻照度圖來照明該輸出影像。

本發明的一實施例亦提供一種產生用於一輻照度圖資料庫的一光特徵索引之方法，其係包含：
利用一光特徵偵測過程來處理一輸入全景影像，以產生和該輸入全景影像相關的光特徵參數；以及
利用該些光特徵參數作為該輸入影像在該資料庫中的該索引。

如同在圖1中所示，一種顯像電腦系統100是一混合實境系統的一範例實施例，其執行如同在圖2中所示的一顯像過程200。該顯像過程200容許該系統100的使用者能夠使用一場景的一輸入影像202來搜尋一光特徵索引或照明空間206，以選擇及存取一適當的輻照度圖208來照明一場景。給定一輸入影像202，一光模型過程204判斷光特徵向量(亦即參數資料)，以存取該照明空間206並且找出該輻照度圖208。該輻照度圖208是在藉由該照明空間206進行索引的一RM資料庫中。該輻照度圖208提供類似照明至該輸入影像202，並且被用來利用合成的三維(3D)虛擬物件210以產生一逼真的合成影像220。該顯像過程200可被利用以無縫地將該物件210加入一電腦產生或合成視訊中。

該顯像電腦系統100包含一電腦102，其例如是一由聯想公司、IBM公司、三星電子公司、或是蘋果公司所製造的Intel架構的電腦或行動裝置。藉由該電腦系統102所執行的資料處理(包含該顯像過程200的步驟)藉由在該電腦102的非揮發性(例如是硬碟)儲存體104上所儲存的軟體元件或模組150的電腦程式指令碼及資料來加以定義及控制的。至少一RM資料庫亦可被儲存在該儲存體104上、或是加以遠端存取。該模組150可包含一遊戲引擎170以及GPU著色器，該些GPU著色器可被整合到該遊戲引擎中、或是分開地加以執行。藉由該些模組150所執行的過程可(替代地)藉由被儲存在唯讀記憶體(ROM)中的韌體、或是至少部分藉由該電腦102的專用硬體電路，例如是特殊應用積體電路(ASIC)及/或現場可程式化閘陣列(FPGA)來加以執行。這些積體電路可以是一顯示卡114的部分，並且執行該顯像過程200的過程。

該電腦102包含隨機存取記憶體(RAM)106、至少一微處理器(CPU)108、以及外部介面110、112、114，其全部都是藉由一系統匯流排116來加以連接。該些外部介面係至少包含萬用串列匯流排(USB)介面110、一網路介面連接器(NIC)112、以及該顯示卡114。其它例如是藍芽及Wifi介面的介面亦可被納入。該些USB介面110被連接至輸入/輸出裝置118，例如是VR手動控制器、一色彩捕捉感測器(亦即一攝影機)、一鍵盤及/或滑鼠。該顯示卡114被連接至顯示器螢幕，其可以是一平板電腦顯示器、或是一頭戴式顯示器(HMD)122，例如是Oculus的Rift、HTC的Vive、或是Sony的PlayStation VR。該顯示卡114包含一圖形處理單元(GPU)以支援及執行該顯像過程200。該NIC 112使得該電腦102能夠連接至一通訊網路120。該通訊網路120可包含現有網路，例如是一LAN、私有WAN、PSTN、網際網路、行動電話網路等等中之一者或是一組合。該電腦102包含一作業系統(OS)124，例如是微軟視窗、Mac OSX或是Linux。該模組150可以在該OS 124上執行，並且包含利用下述所撰寫的程式碼：例如是C、C++、Ruby或是C#的語言、由該遊戲引擎170提供的架構所支援的語言、或是由蘋果公司的ARKit架構所支援的語言(亦即該OS 124可以是iOS)。

例如，該系統100可具有一電腦102，其具有一Intel Xeon 3.5 GHz CPU 108、8GB記憶體106、以及一Nvidia Geforce GTX 970 GPU 114。該顯像過程200可藉由GPU著色器、及/或直接在該CPU 108上執行的一或多個軟體程式來加以實施。

RM被用來照明合成場景，並且就此而論，根據其照明性質來描述一RM是所期望的。先前工作成果已經聚焦在根據其用來描述該場景的色調及色彩的低頻成分以近似一RM，但是並未考量到高頻資訊。然而，其它工作成果確實考量到高頻成分，但是並未有效率地利用簡潔特徵予以達成。該照明空間206採用一完全不同方式以一有效率方式來描述高頻及低頻資訊。如此藉由以兩個部分：主控光特徵以及環境光特徵(分別被表示為F_l 及F_t )來定義一影像的光特徵而加以完成。該主控光特徵被用來描述一RM的高頻成分，例如是太陽、室內照明、或是明亮雲朵。而該環境光特徵描述該RM的例如是色調的低頻成分。主控特徵被區別出的原因為在一RM中的每一個像素代表在該顯像過程中的一光源，但是該照明空間206聚焦在一RM中的像素是否為足夠強到在可察覺陰影細節上具有一大影響的光源。

該些光特徵參數是簡潔的，並且具有語義意義。該簡潔是必要的，以維持在一低維度特徵空間中的叢集，並且該語義意義容許技術人士能夠使用該些特徵作為參數來搜尋整個資料庫。該些參數亦容許正確索引以及自動存取至一RM資料庫。F _l 可藉由5個維度特徵向量來表示，並且F _t 可藉由4個維度特徵向量來表示，如此得到用於一光特徵的總數9個維度。如此用於在該RM中的光特徵的語義意義以及其對應顯像影像係被描述在表1中。

表1

在虛線之上的是該些主控光特徵，並且在虛線之下是該些環境光特徵。前四個向量有關於一光特徵在一360度RM上的位置，第五個向量有關於一特徵的光數目。該兩個方向性色彩向量有關於色彩的不同頻率。

該光源的尺寸、高度、方位角位置、以及強度主宰在該顯像場景中的陰影柔和度、長度、方向以及暗度，其分別被表示為F _ls 、F _le 、F _lx 以及F _la 。該複雜度向量係被用來描述具有造成多個陰影的多個光源(例如，內部照明)的RM，其係被表示為F _lc 。該RM整體的環境色彩及亮度被表示為F _tl 及F _td 。該下標l是一整數(用於表1的0、1及2)，其對應於該些球諧函數頻率，並且低階頻率的一組合被用來描述方向性色調。最後，F _td 是用以描述該漫射強度的一項，其主宰該場景在漫射表面上的亮度。

一RM資料庫的每一個RM的光特徵向量被用來形成該照明空間206，並且提供一光特徵索引以用於存取該RM資料庫。

該系統100能夠使用該些光特徵向量以照明具有合成物件的一虛擬場景，其利用如同在圖3中所示的一輸入全景影像顯像過程300、或是如同在圖4中所示並且在圖2中描繪的一合成顯像過程400。

在一輸入全景影像或是360度影像下，一全景影像特徵偵測過程304被執行以對於該影像抽取出該些光特徵向量的參數306，並且利用該些參數以從該RM資料庫308存取一相關RM。該RM資料庫308包含該照明空間206，其藉由該些光特徵參數306而被用來存取該RM 310。該RM 310在該顯像過程340中被用來照明該虛擬場景320，以產生一輸出影像350。一旦該些光特徵向量參數306從該輸入RM影像302被抽取出之後，該RM 302可被加到該RM資料庫308，並且該些參數306被加到該照明空間206以索引該RM 302。

如同在圖4中所示，針對於該合成過程400，將與一虛擬場景的合成物件210合成的一輸入影像202受到一陰影特徵偵測過程402，以抽取出對於該影像202的光特徵向量404的參數，因而它們可被用以利用該光特徵空間206來存取RM資料庫308的一RM 406。該RM資料庫308的被存取的全景影像406在該顯像過程340中被使用以照明該虛擬場景210，其與該輸入影像202合成408以產生該輸出影像220。

如同在圖5中所示，該光模型過程204的全景影像光特徵偵測過程304包含利用一主控光偵測過程502來處理該輸入全景影像302，並且接著被偵測作為該過程502的部分的主控光被施加至一主控光模型擬合過程504，其利用該主控光模型(DLM)506來將該些偵測到的光擬合至該模型。該影像302亦被施加至一環境光模型擬合過程508，以產生完整的一組光特徵向量306。

如同在圖6中所示，對於該陰影特徵偵測過程402，在圖2中所示的輸入影像202受到一陰影偵測過程652，以抽取出在該輸入影像202中的主控光，並且該主控光模型擬合過程504接著利用該DLM 506來加以執行，以產生該些光特徵404的主控光特徵向量。該輸入影像202亦被施加至該環境光模型擬合過程508，以抽取出對於該些特徵404的環境光向量。

〔 主控光特徵 〕

主控光模型

該些主控光特徵F _l 描述高頻成分。在一顯像場景202、220中，如此係應於投射陰影。於是，根據該主控光模型(DLM)506，該光模型過程204需要將該些主控光投射在一顯像影像中的陰影映射或擬合至一影像或RM中的主控光，並且反之亦然。該過程204所用的DLM 506從該陰影邊緣模型(SEM)導出的，如同在Mohan, A.、Tumblin, J.以及Choudhury, P於2007年的“在數位照片中編輯柔和陰影”，IEEE電腦圖形及應用27, 2、23–31頁(“Mohan等人”)中所敘述者。該些光特徵F _ls 、F _le 及F _la 從該DLM的參數導出。Mohan等人的SEM是一分段二次函數，其代表一陰影的半影(penumbra)。
(1)
其中d是該垂直偏移，σ是該陰影柔和度，w是該陰影振幅，t是沿著該曲線所評估的每一個點，並且t₀ 是該陰影的中心位置。該些參數σ、w及t₀ 分別對應於該光源的尺寸、強度、以及高度(被表示為F _ls 、F _la 及F _le )。

Mohan等人要求使用者輸入以劃出橫跨從就在該陰影區域之內到就在該未遮蔽區域之前的陰影的轉變的一線。該系統100並不要陰影照片的手動輸入。而是，在一輻照度圖中的主控光被偵測到502，並且該光源的陰影投射性質藉由垂直地予以橫跨來進行積分702而加以模擬，即如同在圖7(a)中所示並且在以下進一步論述者。由Mohan等人所提出的陰影邊緣模型明確地對於該陰影邊緣所設計的。方程式1的分段函數對於第一及第四子函數具有一0梯度斜率，並且該陰影邊緣在第二及第三子函數中利用一拋物線來加以近似。儘管該函數良好作用於一定義明確的陰影邊緣，但是由於該第一及第四子函數而不佳地擬合整體的陰影區域(本影以及半影)。如此由於實際狀況是該本影區域通常不是不變的，並且該未遮蔽區域同樣也是如此，因為通常有一漸進且非可察覺梯度。為獲得一更佳擬合，該系統100使用不同的第一及第四子函數來考量到見於該未遮蔽及本影區域中的斜率，即如同在方程式(2)及(3)中所示者。
(2)
(3)
其中m_a 及m_b 是在該函數的每一側上的梯度，其內插在由σ所主宰的曲線的一0梯度至最大梯度m之間。該些梯度被偏移o_a 及o_b ，其分別藉由找出在該梯度之間的差值以及分別對該函數在q_a 及q_b 處求值而被計算出。改善在其主控光所分別產生的一RM(圖7(a))以及陰影(圖7(b))之間的擬合正確性的一模型506對於擬合整個RM資料庫308而言是特別重要的，因為該資料或參數無法被手動調整以更佳擬合到每一個RM。圖7展示在該兩個擬合之間的一密切對應性，其分別對於該光尺寸、高度及振幅具有一0:824^° 、1:321^° 及0:01的誤差。

主控光偵測

該DLM 506定義每一個主控光源將會個別地投射的陰影。因此，為擬合該DLM，該些主控光源需要從該RM被抽取出、或是對於該RM而被判斷出。如同在圖8中所示，該光偵測過程502偵測在HDR RM中的主控光源。由於該特徵F _l 描述對應在顯像影像中的陰影資料的高頻成分，因此該光偵測過程502目標是重建顯像影像，使得該些陰影細節保持完整的。再者，該光特徵空間206隨著偵測到的光數目而成長，因此，該光偵測過程502目標是找出在該RM 302中維持該陰影細節所需的最小像素數目。該些特徵F _lx 及F _lc 亦在該主控光偵測過程502已經被執行之後而加以獲得，並且這些參數對應於偵測到光的方位角、以及由偵測到的主控光數目所主宰的整體光複雜度。

HDR影像相關的一困難性係判斷一像素區域相對於周圍像素是否包含足夠的發光強度，以被視為一主控光源。為解決此，該過程502使用從該RM 302所產生的對應顯像影像，以作為一導引。在該顯像影像中的陰影資訊被使用作為在該RM中的像素是否提供造成該些陰影的一主控光源的一指示。該過程502係迭代的，以便於判斷在一輻照度圖中的像素是否包括一主控光源。

如同在圖9中所示，該光偵測過程502開始於過程602，其藉由從一RM顯像一真實數據(ground truth)影像(步驟802)，此係藉由執行：
(4)
其中I是給定一RM r (302)的顯像影像，並且在此顯像方程式中，L_i 是從該RM r取樣的一光。如同在圖11中所示，一圓柱在地平面上的由上而下正射攝影機影像被使用。該圓柱在每一個方向上投射陰影，並且該地平面捕捉該陰影資訊。一圓柱被使用的因為是其對稱的，並且均勻地在每一個方向上投射陰影。對於該圓柱及地平面兩者的材料性質是一漫射蘭伯特(Lambert)材料。

從該真實數據顯像，在該陰影資訊上的資料808被抽取出。為如此進行，一差分顯像過程806被採用，即如同在Debevec, P.於1998年的SIGGRAPH’98的會議論文集、ACM、第189–198頁(“Debevec”)中的“將合成物件顯像到真實場景中：將傳統及影像為基礎的圖形橋接全局照明以及高動態範圍攝影”中所敘述者。該過程806判斷在一圓柱在平面上的顯像影像802與只有該平面的顯像影像804之間的差異。如此實際上從該影像減去該場景的漫射值，以產生如同在圖11的中間所示的陰影抽取出的影像808。
f (I) = I - I_d (5)
其中I是該顯像影像802，並且I_d 是相關該地平面804的法線的蘭伯特反射係數模型的顯像。該材料的色彩被設定為白色。此運算的結果是該光偵測過程502產生一差值影像808，其包含如同在圖11的中間所示的所有陰影細節。

然而，存在人無法察覺的許多陰影細節被儲存在f(I)中。在抽取相關光特徵以及最小化該RM的表示的複雜度中，該過程502偵測重建該真實數據顯像的影像所需的最小光源數目。因此，該差值影像藉由移除人無法察覺的陰影資訊來加以修改。如此對於最佳化的影響是使得所有陰影細節的真實數據並未被映射，而是該過程502尋求只擬合人可察覺的陰影。如此實際上將排除並不在所察覺的陰影區域中投射陰影的非主控光源。

如同在Stern, M. K.以及 Johnson, J. H於2010年的“最小可覺差”、Corsini心理學百科全書(“Stern及Johnson”)中所敘述的，該最小可覺差(JND)以及韋伯定理(Weber’s Law)被用來判斷哪些陰影是人眼可察覺的。
(6)
其中I_d 是該漫射未遮蔽強度值，並且DI_d 是在強度上可察覺的變化。在該漫射光以及該察覺的額外光之間的比例是常數k。因此，此定理被用來作用為一臨界值，以消除人類視覺系統不可察覺的陰影區域。對於人類視覺系統而言，k大致是在1/12到1/100的範圍中。根據實驗所判斷出的是，1/30係良好地作用。實際上，這是在該差值影像上的一臨界值。因此，該JND臨界值是被該漫射強度所縮放的k：
JND = k, I_d (7)

如同在圖E及H中所示，一JND陰影輪廓904利用一過程604而被產生，並且被施加至f(I)808。
(8)

執行在步驟902中的方程式(8)產生該JND輪廓904。對於較亮或是較暗表面，該JND臨界值適當地進行縮放。圖11的最後一個影像展示在該光偵測過程502中施加此臨界值而在顯像影像上的效果、以及該陰影區域的可見差異。

一旦該真實數據陰影的影像資料808及904被建立後，該過程502利用SLIC來計算超像素606，如同在Achanta, R.、Shaji, A.、Smith, K.、Lucchi, A.、Fua, P.、以及Susstrunk, S.於2012年的“相較於目前最佳的超像素方法的Slic超像素”，IEEE樣式分析與機器智能實錄34、11 (Nov.)、第2274–2282頁(“Achanta等人”)中所敘述的，該輻照度圖302將被用來偵測該些光。每一個超像素被視為一可能的主控光源。從此組，該過程502判斷該超像素是一投射陰影光源、或是改變陰影光源。一l₀ 最佳化的一變化被用來獲得最佳組。最小集合的超像素被找出，以使得經JND過濾的差值影像可被重建：
(9)
其中A是一矩陣，其中每一行是對於每一個超像素的輻照度圖的部分，b是藉由未改變的輸入RM的顯像影像，並且x是在A中的超像素的一二進位激勵函數。該l₀ 最佳化是NP困難的(NP-hard)，因為在A中有大量組合以近似b。然而，為改善該迭代的最小化過程，該些超像素以從最亮超像素至最不亮超像素608的遞減順序而被分類。從此，一暴力匹配追蹤演算法被使用，並且每一個超像素依序地被致能。利用該輸入全景影像302，一目前的全景影像(CPI)被產生(其最初全部是黑色像素) 610，並且若在該表列608中有剩下任何超像素612，則在該表列中的下一最高強度的超像素被加到該CPI 614，並且在該過程602中被使用以產生一目前的陰影輪廓808。如此和該JND陰影輪廓904相比較，來看看相似性是否已經被改善616。該顯像的差值影像在該迭代的每一個步驟被產生808，並且和該JND的真實數據陰影的差值影像904相比較。該誤差利用STSIM-2而被計算出，即如同在Zujovic, J.、Pappas, T. N.、以及Neuhoff, D. L於2009年的“用於紋理分析及擷取的結構相似性度量”，在2009年第16次IEEE的影像處理國際研討會(ICIP)中，IEEE、第2225–2228頁(“Zujovic等人2009b”)；以及Zhao, X.、Reyes, M. G.、Pappas, T. N.、以及Neuhoff, D. L.於2008年的“用於擷取應用的結構紋理相似性度量”，在2008年第15次IEEE的影像處理國際研討會中，IEEE、第1196–1199頁(“Zhao等人”)中所敘述的，其是對應於人類視覺系統的一度量，並且和其它察覺度量相比較已經展現良好的結果。若該相似性分數616對先前迭代有所改善，則該目前的超像素被保持620，若並未改善，則被拒絕618。因為該過程502利用韋伯定理來排斥人類無法察覺的陰影資訊，如此具有省略在該RM中不足夠強到足以投射可察覺陰影的光源的所期望效果。一無臨界值參數被加到該誤差，以將不增加該誤差但也未大大改善該誤差的超像素排斥。實際上，該過程502對於此臨界值參數使用一個小值0.0001。

一旦該過程502迭代通過該表列608的每一個超像素612之後，一組超像素622被找出為該些主控光源。這些是產生具有陰影資訊之顯像影像所需的基本最少超像素，看起來非常類似於藉由該原始的RM 302的顯像影像。每一個相鄰另一超像素的超像素被組合成為單一補片(patch)。每一個補片區域被視為一主控光源。多個主控光源共用相同的補片區域是可能的。為避免此情形，局部最大值在被偵測光的RM上被計算出。並不是指定超像素至相鄰超像素，而是該些超像素被指定至最接近的局部最大值。為改善該局部最大值的偵測，該雜訊利用一高斯平滑濾波器來加以降低。對於每一個光源的每一具有方位角位置F _lx 的特徵被設定至該局部最大值的x位置。

圖12描繪在左邊的一影像中，該矩陣是如何被施加至在該RM上的超像素，並且在右邊的影像展示該組超像素被判斷為貢獻或提供一主控光源。

主控光模型 (DLM) 擬合

如同在圖13中所示，一最佳化過程504被執行來將該DLM 506擬合至每一個偵測到的主控光源。

為獲得一正確擬合，該最佳化過程504利用一猜測以及邊界條件而被初始化。該光偵測過程502提供一自動手段來估計初始的猜測以及邊界條件。對於一給定的主控光624，代表其的影像資料首先被垂直穿過地進行積分702以回傳一1D曲線C。該積分轉換將一方位角降低的主控光的輻照度輪廓映射至藉由一典範單位高度遮光板(亦即一圓柱)所引起的陰影輪廓。
(10a)

此方程式(10a)從圖25得出的，其中該函數f(x)對應於在該陰影的半影之內，在該地平面上的照射度。在地面點x的照射度是該光源在θ_i 到θ=arctan(x)(其為x與該遮光板的邊緣的連接)之間的角度間隔上的餘弦加權積分。

在該積分702期間，該高度被記錄，其具有最高強度l_e 。該主控光很可能具有一接近l_e 的值，並且用於方程式(2)中的參數t₀ 的第一初始估計或猜測是l_e 。接續此，為提供一更佳擬合，C可包含具有一非線性梯度的大的本影或是未遮蔽區域，而就在該半影之外的部分可利用一線性梯度來加以近似。因此，C在一較高速率下被重新取樣，並且利用立方內插法來加以近似以產生如同在圖14a中所示的曲線C’。該陰影偵測過程652根據該物件的高度以及陰影的長度來產生一類似曲線C，其代表一陰影投射以及在該陰影中的該物件投射。

該曲線利用高斯隨機取樣以一高集中率下在l_e 的附近而被重新取樣704，而不是擬合該整個曲線。為決定該集中密度，該高斯核心有3個參數待被估計：寬度、振幅以及位置。該位置由l_e 所限制，並且該振幅由在該點l_e 處取樣C’所限制。該DLM 506大致依循高斯的一累積分布函數(CDF)的形狀，因此該高斯濾波器藉由取得C’的導數並且在位置及振幅上的限制之下，在該導數附近擬合一高斯來加以近似706，即如同在圖14b中所示者。C’接著利用此近似高斯濾波器而被重新取樣708，以給出被重新取樣的曲線資料以提供如同圖14c展示的C_s 。

在該被重新取樣的曲線C_s 下，該最佳化的邊界條件被估計710。首先，σ是該陰影邊緣的寬度，並且無法超過在該光源中的該組超像素的總高度。因為該些超像素已經在一更高集中率下被重新取樣，因而如此進一步縮緊該邊界。對於σ的邊界被設定在0以及在來自C_s 的取樣點的最大值與最小值之間的差值之間，並且這樣如同猜測地被初始化至中心。該振幅w被侷限在0以及在未遮蔽漫射強度與該光源補片的總積分強度之間的差值(其對應於最小本影強度)之間。此參數亦被初始化在該中心。該些梯度m_a 及m_b 可藉由該曲線擬合過程來加以估計。然而，這些參數可藉由分別取樣該陰影曲線的前10%以及後10%、估計該線、並且在該擬合過程中設定該些梯度為常數來加以正確地估計。

給定該些初始化參數以及邊界條件，一非線性最佳化利用該dogleg演算法來加以執行710，如同在Voglis, C.以及Lagaris, I.在WSEAS會議中的“用於無約束以及邊界約束的非線性最佳化的矩形信賴區域dogleg方法”，17–19(“Voglis及Lagaris”)中所敘述的。該些約束條件、最初猜測、以及該最佳擬合被展示在圖14d中。

該最佳擬合亦在圖15中的RM上顯現，其中在(b)中的紅色水平線顯現在(a)中的DLM的參數，其展示在該主控光源(在此例中是太陽)附近的良好擬合。

該DLM 506中所關注的主要參數是該陰影柔和度參數σ、指出該陰影有多亮或是暗的振幅參數w、以及最佳化的光高度的t₀ 。利用該些最佳化參數所設定的光特徵306、404是F _ls =σ、F _le =t₀ 、以及F _la =w。

然而，藉由設定F _la =w，此振幅值明確地量測該陰影邊緣，而不是該本影區域。為了更佳結果，從整個半球的積分強度減去的光源的積分強度係替代地被使用。如此有效地描述相對於該整個RM，該光源區域所具有的整體影響。用在水平軸上的類似設定再次執行該擬合過程504給出該最佳化參數F _lx = t₀ 。第二次執行該擬合過程504亦給出另一σ。此值與該垂直σ平均，以改善F _ls 的正確性。該模型的改進益處是其不需要該光源的手動改善。該光源的積分及處理全部自動地被完成。

由於該DLM可被擬合到對於一給定RM的多個主控光源，因此每一個DLM的4個特徵(F _ls 、F _le 、F _lx 、F _la )需要被概述成為單組4個，以儲存在最終的主控光特徵中。較暗的陰影是最有影響力的。就此而論，每一光源的4個特徵藉由一起平均每一個DLM(其依據由每一主控光所投射的陰影有多暗來加權的)，而被濃縮成為單組4個。每一個DLM具有和其相關的振幅。此特徵量測該陰影是有多暗。因此，該振幅特徵被使用作為用於其對應DLM的權重。該些振幅特徵相關在該RM中的所有光源而被正規化
(10b)
其中N是在該RM中的主控光源的數目。類似過程被施加至F _le 及F _lx 。

最後的主控光特徵是複雜度(F _lc )。光的數目是在判斷陰影的複雜度中最強因數。然而，由於使用者被暗陰影所吸引，因此該振幅亦被用來加權該複雜度特徵。夏儂(Shannon)熵已被證明是複雜度的一良好預測器，即如同在Jaume Rigau、Miquel Feixas、以及Mateu Sbert於2008年的“資訊美觀量測”，IEEE電腦圖形及應用28、2(2008)中所敘述的，並且其被使用在光振幅陣列上以計算整體的複雜度
(11)
其中該光振幅向量被正規化至一機率分布。直觀地，單一主控光源具有一低熵值，而具有均勻分布的一組光具有一高熵值。其結果是具有一大組的主控光源的RM被分類為一高複雜度的光源。

〔 環境光特徵 〕

影像為基礎的照明(IBL)的重要性質是由該輻照度圖的低頻資訊所提供的環境光。如此在判斷一場景的基調(mood)及色調中扮演一重要角色。為考量到此，一光特徵被用來代表或定義一RM的環境色彩分布。

環境光模型 (ALM)

該球諧函數基礎已經證明是低頻照明的一精確描述器，即如同在Ramamoorthi, R.以及Hanrahan, P.於2002年在SIGGRAPH’02、ACM的會議論文集(“Ramamoorthi及Hanrahan2002”)中的“頻率空間環境圖顯像”中所敘述的，並且已經被用來描述天空圖的視覺色調。該系統100施加一類似方法，並且如同在圖16中所示，該輻照度圖302或是輸入影像202的RGB值被處理以參數化該環境照明。先前工作成果是有關於該天空圖的視覺色調，而該系統100執行根據顯像影像202、302的一方法。

該球諧函數是在球體上的正射基礎。該些實數基礎函數被定義為
(12)
其中是相關的勒壤得(Legendre)多項式，其回傳在該範圍(1;1)中的實數值數目，並且是該些正規化常數
(13)
其中l代表共用相同次的多項式的頻帶的指數，並且m是在該頻帶中的一特定頻率的指數。一輻照度圖接著被投影到球諧函數係數
(14)
其中是在每一個色彩通道(RGB)上被完成。如此牽涉到在該球體上的積分，其中s是代表朝向該球體的方向的球面座標，f是代表該輻照度圖的函數(其為一球面影像)，並且該函數y是該球諧函數權重(並且l 及m 指明從何基礎來取樣該權重)。實質上，來自該輻照度圖f的在每一個方向s上的像素值被乘以在該方向s上的球諧函數權重，並且該些結果被加總以產生最後係數。在此時點，在RM之間的兩組係數可以相比較，以導出其相隔距離。然而，此比較將需要太多係數，並且將需要該些球諧函數被旋轉以找出最佳匹配。取而代之的是，該系統100藉由在步驟1010中執行以下來判斷該特徵F _tl (橫跨每一個頻帶的加總值)：
(15)

利用F _tl 的一向量直到某個指明頻帶來給出更有方向性的環境，以捕捉變化的頻率位準。該帶諧函數(zonal harmonics)(m=0)亦可被利用於變化l。如同在Ramamoorthi及Hanrahan 2002中所示的，l ＜= 3足以捕捉漫射照明。或者是，在該向上方向上(天頂角(zenith angle)=0)的漫射色彩可被利用以代表該環境色彩。

ALM 擬合

在方程式(15)中，l 由使用者所定義。如此從用於每一個色彩通道的l² 個降低係數的數目至用於每一個色彩通道的m個。如此亦具有移除該旋轉相依性的額外益處。利用不同頻率位準給出根據手邊任務而改變的結果。例如，較低階頻率對應於該整體環境色調，而較高階頻率對應於在高頻光周圍的色調(例如，在太陽落下周圍的色彩)。一旦l 被指明後，F _tl 接著被用來擬合在該資料庫中的RM 302。第一階球諧函數l = 0對應於該輻照度圖的算術平均值。該平均值給出該整體環境色調的一良好指示。

圖17展示該HDR RM資料庫308在紅色、藍色以及灰色(低飽和度)值附近是密集的。高度飽和度區域傾向代表明亮的天空，其經常具有紅色(日落)或是藍色(晴空)值。低飽和度區域傾向代表多雲的天空。室內場景通常展現具有變化色相(hue)的低飽和值。從圖17來看，在具有分別對應於日落及藍色天空的紅色或藍色色相的天空之間有高相關性。再者，一低飽和度值構成該資料庫的絕大部分，其中這些天空具有明亮的白色天空(灰色色調的雲朵、或是一明亮的太陽)、或是由室內場景所構成的。在記住此之下，將一球諧函數係數的複雜度從RGB降低至被計算為在紅色及藍色之間的比例的一純量值是有用的。
(16)

然而，此明確地應用於大多數的自然場景。若該資料庫在上半球中大部分都是由綠色植物所構成的(例如是森林)，則一不同比例將會應用。因為紅色及藍色的比例相對於強度是不變的，因此該RM相關該天頂向上角度的漫射強度被判斷為光特徵F _td 。

照明空間

該些光特徵參數306被用來建構用於RM的特徵空間206。由於該些特徵是RM的照明性質所特定的，因而此空間被定義為一照明空間。表1的每一個光特徵都具有一語義意義，其在該RM以及顯像影像中都具有對應性，因而可被利用作為索引來查詢該資料庫，以存取一RM來在其它物件被加入時照明該影像。

利用這些特徵的一組合容許有一種直覺式瀏覽經驗，其在某些軸上顯現該空間。圖2展示該RM資料庫的一散射圖206，其中使用者可自由地利用不同高度F _le 以及陰影柔和度F _ls 來搜尋RM。該色彩編碼協助使用者區別具有單一主控光或是許多F _lc 的。圖18展示空間206具有不同色調F _tl 及高度F _le 的另一表示。

儘管每一個參數都可被個別地利用來搜尋，但是一k個最近鄰居法亦可被利用於每一個參數。特徵的組合具有對於主控光的向量、以及對於環境光的另一向量。該兩者的一加權組合可被利用以搜尋該照明空間。使用者傾向根據最為主控的陰影的顯著性來找出RM。如此對應於具有最高振幅F _la 的主控光。因此，利用單一主控光的搜尋空間可被利用，其中補充光利用F _lc 而被一般化，使得該使用者可指明他們正在尋找的RM的複雜度。

給定兩個RM以及其對應的特徵F¹ 及F² ，其主控光距離D _l 可如下被計算出。
(17)
其中F _lp 是具有F _le 及F _lx 的極座標，並且⨂計算在該兩個座標之間的角度。每一個成分都被正規化，其中F _ls 以及F _lp 的結果被正規化在[0; π]之間，並且F_a 被正規化在[0; F_A ]之間，其中F_A 是對於每一個主控光成分的所有振幅的總和。

儘管該搜尋利用在每一個RM中的單一主控光來加以指明，但是如此可考量在該RM中所發現的所有主控光而被修改以計算該距離。在此例中，該方程式假設F _lx 藉由該方位角來加以排序。就此而論，該距離函數對於每一個主控光來重新執行，以找出對於F _lx 的最佳旋轉偏移而最小化該距離。若F¹ 或F² 具有比其它更多的主控光，則對於每一個後續的主控光，一加權處罰被加到該誤差。實際上，對於每一個額外的主控光的振幅F _la 可被加到該誤差。在此例中，該振幅的使用考量到一RM所具有的超過其它的補充強光源。

對於該色彩特徵F _tl ，該CIEDE2000色彩距離公式可被利用(如同在M Ronnier Luo、Guihua Cui、以及B Rigg於2001年的“CIE 2000色彩差異公式的發展：CIEDE2000”，色彩研究及應用26、5(2001)、第340–350頁中所敘述的)，並且橫跨每一個頻帶l而被加總。類似地，該距離函數係被施加至該漫射強度F_td 。在圖18中，l₁ -範數(norm)利用F _tl 而被使用，並且該環境光距離D_t 被定義如下。
(18)

在D_l 以及D_t 之間的一加權組合可被利用以搜尋該資料庫。
(19)
其中該些權重w_l 及w_t 總和為1.0。

該照明空間206容許該系統100的使用者能夠搜尋該整個空間，並且以各種方式來存取該RM資料庫308。

例如，該些光特徵本身可被利用。由於該些特徵具有語義意義、以及在該RM與顯像影像之間的對應性，因此使用者可調整在一資料庫查詢中的每一個參數，以自由地瀏覽該資料庫。漸進地改變個別參數展示在RM以及其對應顯像影像之間的平順轉變。圖19、20、21及22展示分別沿著F _ls 、F _le 、F _la 及F _lc 瀏覽的範例結果。在每一個情形中，某些特徵受到約束，而其它特徵則無。例如，圖19展現修改該陰影柔和度特徵F _ls ，同時該高度特徵F _le 受到約束。如此在F _ls 調整該陰影的柔和度時維持該陰影長度。其它例如是色調特徵F _t 的參數是變化的。

一搜尋亦可利用一輻照度圖而被完成。如上所論述的，給定一RM作為輸入302至該資料庫，該些光特徵306被計算出，並且被使用作為搜尋參數至該資料庫308。舉例而言，如此容許使用者能夠找出替代RM。圖23展示根據一RM的色調特徵F _tl 來搜尋該資料庫的一個例子，其中該輸入RM 302是在該左邊行中，並且最接近的四個RM 310是在該輸入RM旁邊的列中。

一搜尋亦可利用一照片202作為該合成影像顯像過程400的部分來加以執行。由於該主控光模型(DLM)提供在該陰影以及光源之間的直接對應性，因此該資料庫可利用在一照片202之內所找到的光特徵來加以查詢，以找出產生類似照明的RM 406。為了從該照片影像202計算該些特徵，在該影像202中投射一陰影的物件的高度以及該陰影的長度之間的比例由該陰影偵測過程652所提供，並且接著該光模型可被擬合至該陰影資料，並且該些特徵單元404將具有與該RM資料庫的1：1的對應性。此過程652利用被施加至該影像202的陰影抽取技術而進行自動化，例如是在Gryka, M.、Terry, M.、以及Brostow, G. J.於2015年的“學習以移除柔和陰影”、ACM圖像學報(TOG)34、5、153(“Gryka等人2015”)中所敘述的。圖1及24提供利用該顯像過程400以及從該資料庫308查詢的RM 406來將合成物件合成到照片202中的例子。

對於熟習此項技術者而言，許多修改例都將是明顯的，而不脫離如同在此參考所附加圖式所敘述的本發明範疇。

100‧‧‧顯像電腦系統

102‧‧‧電腦

104‧‧‧儲存體

106‧‧‧隨機存取記憶體(RAM)

108‧‧‧微處理器(CPU)

110‧‧‧萬用串列匯流排(USB)介面

112‧‧‧網路介面連接器(NIC)

114‧‧‧顯示卡

116‧‧‧系統匯流排

118‧‧‧輸入/輸出裝置

120‧‧‧通訊網路

122‧‧‧頭戴式顯示器(HMD)

124‧‧‧作業系統(OS)

150‧‧‧模組

170‧‧‧遊戲引擎

200‧‧‧顯像過程

202‧‧‧輸入影像/顯像影像

204‧‧‧光模型過程

206‧‧‧照明空間

208‧‧‧輻照度圖

210‧‧‧虛擬物件/合成物件

220‧‧‧合成影像/顯像場景/輸出影像

300‧‧‧輸入全景影像顯像過程

302‧‧‧RM/RM影像/輸入全景影像/影像

304‧‧‧全景影像特徵偵測過程

306‧‧‧光特徵向量參數/光特徵/光特徵參數

308‧‧‧RM資料庫

310‧‧‧RM

320‧‧‧虛擬場景

340‧‧‧顯像過程

350‧‧‧輸出影像

400‧‧‧合成顯像過程/合成過程/顯像過程

402‧‧‧陰影特徵偵測過程

404‧‧‧光特徵向量/光特徵/特徵單元

406‧‧‧RM/全景影像

408‧‧‧合成

502‧‧‧主控光偵測過程

504‧‧‧主控光模型擬合過程

506‧‧‧主控光模型(DLM)

508‧‧‧環境光模型擬合過程

652‧‧‧陰影偵測過程

802‧‧‧步驟/顯像影像

804‧‧‧顯像影像

806‧‧‧差分顯像過程

808‧‧‧資料/差值影像

904‧‧‧JND陰影輪廓

本發明的實施例係在此僅藉由舉例，參考所附的圖式來加以描述，其中：

圖1是根據本發明的一顯像系統的一實施例的方塊圖；

圖2是一影像顯像過程的方塊圖，其包含利用一光特徵空間來存取一輻照度圖(RM)資料庫；

圖3是該系統利用一輸入全景影像的一顯像過程的流程圖，該輸入全景影像被用來存取該RM資料庫的一RM以照明一虛擬場景；

圖4是該顯像系統利用一輸入影像的一顯像過程的流程圖，該輸入影像與一虛擬場景合成並且被用來存取該RM資料庫的一RM以照明該虛擬的場景；

圖5是該系統的一全景影像光特徵偵測過程的流程圖；

圖6是該系統的一陰影特徵光特徵偵測過程的流程圖；

圖7是(a)擬合一光源的積分的主控光模型(DLM)以及(b)擬合原始陰影資料的模型的圖；

圖8是該系統的一主控光偵測過程的流程圖；

圖9是該主控光特徵偵測過程的一影像陰影輪廓過程的流程圖；

圖10是該主控光特徵偵測過程的一最小可覺差(JND)陰影輪廓過程的流程圖；

圖11是一顯像影像、顯示一圓柱在地平面上的陰影細節的一差值影像、以及一JND臨界值導出影像，以移除人眼不可察覺的陰影；

圖12描繪一輻照度圖(左)的超像素，其貢獻為藉由該主控光特徵偵測過程所偵測到的一主控光源(右)；

圖13是該系統的一主控光模型擬合過程的流程圖；

圖14是描繪該主控光模型(DLM)擬合過程的圖，其中(a)該輸入資料利用立方內插法而被平滑化，(b)此資料的導數在該波峰附近被擬合到一高斯分布，(c)利用該高斯對該內插資料重新取樣，並且(d)該些點被用來擬合該DLM；

圖15是擬合該DLM至(b)一光源輻照度圖的(a)圖；

圖16是該系統的一環境光模型擬合過程的流程圖；

圖17是用於一HDR RM資料庫的環境色調色彩分布的圖；

圖18是高度相對色調的光特徵空間的向量圖、以及和在該圖中的點a、b、c及d相關的RM以及對應顯像影像；

圖19是針對於一光特徵參數F_ls 的不同值的RM以及對應顯像影像的範圍，其顯示從生硬至柔和的陰影的一轉變；

圖20是針對於一光特徵參數F_le 的不同值的RM以及對應顯像影像的範圍，其顯示從長至短的陰影的一轉變；

圖21是針對於一光特徵參數F_la 的不同值的RM以及對應顯像影像的範圍，其顯示從暗至亮的陰影一轉變；

圖22是針對於一光特徵參數F_lc 的不同值的RM以及對應顯像影像的範圍，其顯示從低至高複雜度的陰影的一轉變；

圖23是從根據輸入RM(在左邊的影像)的環境色調搜尋而被回傳的影像；

圖24描繪一影像(左上方)被用來抽取出光特徵以從一RM資料庫選擇一RM(右上方)，來對被附加有合成物件(一龍以及一茶壺)的影像的一顯像進行照明；

圖25是在一光源以及其處於二維平面(flatland)的典範陰影輪廓之間的積分關係圖；

圖26描繪藉由該影像顯像過程所產生的顯像影像(包含圖24的顯像影像)的晴天例子；

圖27描繪藉由該影像顯像過程所產生的顯像影像的室內例子；以及

圖28描繪藉由該影像顯像過程所產生的顯像影像的陰天例子。

Claims

一種顯像過程，其包含：接收輸入影像並且施加光特徵偵測過程至該輸入影像，以產生對於該輸入影像的光特徵參數；利用該些光特徵參數來存取輻照度圖資料庫，以選擇輻照度圖；以及利用虛擬場景來顯像輸出影像，並且利用所選擇的該輻照度圖來照明該輸出影像。
如請求項1所述之顯像過程，其中該些光特徵參數具有代表該輸入影像的主控光之主控光特徵向量、以及代表該輸入影像的環境光之環境光特徵向量。
如請求項2所述之顯像過程，其中該光特徵偵測過程包含從該輸入影像抽取出陰影資料、以及根據主控光模型來執行主控光模型擬合過程，來將和該陰影資料相關的主控光源擬合至該模型的模型參數，並且從該些模型參數來產生該些主控向量參數。
如請求項3所述之顯像過程，其中該主控光模型擬合過程係包含施加一高斯擬合以及高斯重新取樣偵測過程。
如請求項3所述之顯像過程，其中該光特徵偵測過程包含從該輸入影像產生球諧函數係數、以及藉由橫跨個別頻帶加總該些係數來產生該些環境向量參數。
如請求項3至5中任一項所述之顯像過程，其中該輸入影像是全景影像，並且該光特徵偵測過程包含主控光偵測過程，以獲得代表該全景影像的主控光源的像素，並且該些主控光源的像素被該主控光模型擬合過程所利用。
如請求項6所述之顯像過程，其中該主控光偵測過程利用從該輸入影像所產生的差值陰影影像來產生陰影資料，藉由施加臨界值至該差值影像的像素以移除不可察覺的陰影並且判斷代表該些主控光源的該些像素。
如請求項7所述之顯像過程，其中該輸入影像的最高強度像素被分類在表列中，並且每一個像素以迭代方式被用來利用該輸入影像以產生陰影輪廓，並且該陰影輪廓與該差值影像相比較，並且改善在該陰影輪廓以及該差值影像之間的相似性的每一個像素被維持作為代表主控光源的像素。
如請求項3至5中任一項所述之顯像過程，其中該輸入影像用於合成影像，並且該光特徵偵測過程包含陰影特徵偵測過程以抽取出該輸入影像的陰影資料，其被施加至該主控光模型擬合過程以將影像的陰影映射至該主控光模型，並且獲得對於該輸入影像的該些主控光向量參數。
如請求項9所述之顯像過程，其中所存取的該輻照度圖被用來照明在包含該輸入影像的該合成影像中的該虛擬場景的至少一個物件。
一種產生用於輻照度圖資料庫的光特徵索引之方法，其包含：利用光特徵偵測過程來處理輸入全景影像，以產生和該輸入全景影像相關的光特徵參數；以及利用該些光特徵參數作為該輸入影像在該資料庫中的該索引。
如請求項11所述之方法，其中該些光特徵參數具有代表該輸入影像的主控光之主控光特徵向量、以及代表該輸入影像的環境光之環境光特徵向量。
如請求項12所述之方法，其中該光特徵偵測過程包含從該輸入影像抽取出陰影資料、以及根據主控光模型來執行主控光模型擬合過程，來將和該陰影資料相關的主控光源擬合至該模型的模型參數，並且從該些模型參數來產生該些主控向量參數。
一種顯像電腦系統，其被配置以執行如請求項1至13中任一項所述之顯像過程。
一種具有照明空間之影像資料庫，其包括利用如請求項11至13中任一項所述之方法所產生的光特徵索引。