TWI744245B - 產生具有減少過度平滑之視差圖 - Google Patents

Abstract

本發明描述用於產生具有減少過度平滑之一視差圖之系統及技術。為達成可在其他情況中發生之過度平滑之減少，除拍攝立體參考影像及搜尋影像之外，亦拍攝一第三影像。來自該第三影像之資訊可有助於更好界定物件邊緣，該第三影像可屬於相同或不同於該等立體影像之類型(例如RGB、灰階、紅外線(IR))且可具有相同或不同於該等立體影像之解析度。

Description

產生具有減少過度平滑之視差圖

本發明係關於影像處理，且特定言之，本發明係關於用於產生具有減少過度平滑之視差圖之系統及技術。

一影像可被視為自三維(3D)場景至二維(2D)平面上之一投影。儘管一2D影像不提供深度資訊，但若可自不同優勢點得到相同場景之兩個影像，則可使用已知技術來找到一3D點之位置(其包含深度)。 例如，立體匹配係一程序，其中自略微不同優勢點取得之一場景之兩個影像(一立體影像對)經匹配以找到描繪相同場景元素之影像元素之視差(位置差)。視差提供與來自攝影機之場景元素之相對距離有關之資訊。立體匹配能夠運算視差(即，距離資料)，其允許判定一場景之物件之表面之深度。一立體攝影機(其包含(例如)彼此隔開達一已知距離(其可指稱基線距離)之兩個影像拍攝裝置)可用於拍攝立體影像對。 全域最佳化方法(其係一類型之立體匹配)產生參考影像中之各像素之一視差。此等方法考量全域約束(例如平滑度及/或影像邊緣)且尋求最小化一能量函數，能量函數判定兩個像素(即，參考影像中之一像素及搜尋影像中之一像素)是否匹配。一全域最佳化能量函數通常由以下兩個項組成：一匹配成本項(M)及一平滑度項(S)。匹配成本項(M)係參考像素強度及搜尋像素強度(I_R , I_S )及全部可能像素視差(D_R-S )之一函數，且平滑度項(S)係參考影像中之相鄰像素之強度(I_R )之一函數。匹配成本項(M)通常取決於參考影像及搜尋影像中之兩個(潛在)匹配像素之間之強度差。兩個(潛在)匹配像素之間之強度差越小，像素匹配(即，像素對應於拍攝其影像之場景中之一物件之相同特徵)之可能性越大。平滑度項解釋全域約束。 一般而言，除非存在(例如)一邊緣，否則相鄰像素之強度變化應較小(即，平滑)。平滑度項範圍通常被正規化為0至1之間之值。一邊緣(即，相鄰像素之間之巨大強度差)對應於0 (或接近於0)，而一完全平滑區域對應於1 (或接近於1)。目標係最小化平滑度項及匹配成本項以藉此最小化總能量函數。換言之，可期望達成一低匹配成本(其指示：參考/搜尋像素對具有幾乎相同強度)及大平滑度(其指示：參考影像中之相鄰像素具有幾乎相同值(例如幾乎相同強度及/或RGB值))。 有時，將立體通道實施為一低解析度成像器(例如VGA解析度)，其可導致一場景中之物件之邊緣無法被很好拍攝於影像中。當發生此情況時，無法適當計算平滑度項。例如，無法拍攝相鄰像素之大強度差，其結果係：應被指派「0」之一平滑度值之影像部分代以被指派「1」之一值。在此等情形中，相鄰像素趨向於具有比其他情況中之視差更類似之視差(即，為了最小化能量函數項)。因此，發生過度平滑，其導致一品質較差深度圖。更一般而言，過度平滑可導致一最終視差圖，其中將相鄰像素之間之視差變化判定為小於其在邊緣處之變化(即，因為匹配誤差像素)。 半全域區塊匹配(SGBM)係用於最小化全域能量函數之一特定技術。SGBM可提供類似於其他全域最佳化技術之優點的優點，且亦趨向於運算較快。此外，可將SGBM應用於任何立體匹配對(例如RGB、灰階、高解析度、低解析度)。然而，SGBM無法總是有效判定與物件邊緣相關聯之像素之視差(例如，當輸入邊緣係低解析度時)且可導致過度平滑。

本發明描述用於影像處理之系統及技術，且特定言之，本發明描述用於產生具有減少過度平滑之一視差圖之系統及技術。為達成可在其他情況中發生之過度平滑之減少，除拍攝立體參考影像及搜尋影像之外，亦拍攝一第三影像。來自該第三影像之資訊可有助於更好界定物件邊緣，該第三影像可屬於相同或不同於該等立體影像之類型(例如RGB、CIE、YUV、HSL/HSV、CMYK、灰階或紅外線(IR))且可具有相同或不同於該等立體影像之解析度。該等立體影像可為單通道影像(例如IR)，而該第三通道可為由多個像素組成之一多通道影像，該等像素之各者具有對應於不同通道(例如RGB、CIE、YUV、HSL/HSV、CMYK)之多個強度值。 在影像類型屬於相同類型且具有相同解析度之情況中，可自(例如)該第三影像係自不同於該等立體影像之一優勢點獲取之事實獲得額外資訊。因此，在一些情況中，可自具有不同照明或避免遮擋誤差之一優勢點獲得該第三影像。在影像屬於不同類型之例項中，一影像類型可比另一影像類型更適合用於偵測影像或提供額外資訊。例如，在一些例項中，一彩色影像之邊緣可比一灰階影像之邊緣更容易被偵測。 例如，在一態樣中，一種產生一視差圖之方法包含：獲取第一立體影像及第二立體影像，其中該等立體影像之一第一者充當一參考影像且該等立體影像之一第二者充當一搜尋影像。自不同於該等立體影像之一優勢點獲取一第三影像。該方法包含：判定該參考影像及該搜尋影像中之各自像素之間之一第一匹配成本；判定該第三影像中之像素之一平滑度項；及判定該參考影像及該搜尋影像中之各自像素之間之視差值。該等視差值最小化該第一匹配成本及該平滑度項之一總和，且共同界定該參考影像中之各點之一視差圖。 一些實施方案包含以下特徵之一或多者。例如，該方法可包含：將該平滑度項映射至該參考影像上。在一些情況中，判定一第一匹配成本包含：計算該參考影像及該搜尋影像中之各自像素之間之一強度差。在一些例項中，判定一平滑度項包含：比較該第三影像中之相鄰像素之強度值或色彩值。該方法可包含：判定該參考影像及該第三影像中之各自像素之間之一第二匹配成本，其中該等視差值最小化該第一匹配成本、該第二匹配成本及該平滑度項之一總和。在一些實施方案中，判定一第二匹配成本包含：計算該參考影像及該第三影像中之各自像素之間之一強度差。此外，在一些例項中，該方法包含：將該第三影像之一色彩空間映射至該參考影像之一色彩空間上。可使用不同影像感測器來分別獲取該等立體影像及該第三影像。可使用不同視覺指標來將由該視差圖表示之不同深度或深度範圍顯示於(例如)一顯示螢幕上。 本發明亦描述一種用於產生一視差圖之設備。該設備包含分別用於獲取第一立體影像及第二立體影像之第一影像感測器及第二影像感測器，其中該等立體影像之一第一者充當一參考影像且該等立體影像之一第二者充當一搜尋影像。該設備亦包含用於自不同於該等立體影像之一優勢點獲取一第三影像之一第三影像感測器。該設備進一步包含用於基於該等獲取影像而產生該視差圖之一或多個處理器。 在一些情況中，本文所描述之技術可適合用於即時或近即時應用。 在一些應用中，可將所得視差圖轉換成呈現於一顯示裝置上之一場景之一視覺視差圖。例如，視差圖可經圖形顯示使得不同距離值由不同色彩、交叉影線或其他視覺指標指示。在其他例項中，可結合影像辨識來有利地使用視差圖以對一車輛之駕駛員提供一警示或使車輛減速以避免一碰撞。 將易於自[實施方式]、附圖及[發明申請專利範圍]明白其他態樣、特徵及優點。

如圖1中所展示，一設備110包含一光電模組112，其包含：兩個(或兩個以上)深度通道，其等之各者具有一各自影像拍攝裝置(例如攝影機) 114A、114B；及一第三通道，其具有另一影像拍攝裝置(例如攝影機) 116。設備110經配置以基於由攝影機114A、114B、116拍攝之一場景122之影像而產生一視差圖且將該視差圖顯示於(例如)一運算裝置(例如一智慧型電話或其他手持可攜式裝置)之顯示裝置(例如一LCD (液晶顯示器)監視器) 120上。可在運算裝置之螢幕上將由該視差圖表示之不同深度(或深度範圍)顯示為(例如)不同色彩或使用其他視覺指標來顯示由該視差圖表示之不同深度(或深度範圍)。 一般而言，深度攝影機114A、114B經配置以拍攝場景122之立體影像資料，且第三攝影機116經配置以自另一優勢點拍攝場景122之一影像，在一些情況中，該優勢點可具有不同照明或可避免遮擋誤差。取決於實施方案，第三影像可屬於相同或不同於立體影像之類型(例如RGB、灰階、紅外線(IR))且可具有相同或不同於立體影像之解析度。攝影機114A、114B、116可經實施為(例如) CMOS或CCD影像感測器。 在圖1之繪示實例中，深度攝影機114A、114B可具有相對較低解析度(例如VGA解析度或四分之一VGA或甚至QQVGA解析度)，而第三通道之攝影機116較佳地係可獲取較高品質影像之一較高解析度攝影機。 在一些情況中，模組112亦可包含經配置以將照明之一圖案投影至場景122上之一相關聯照明源118。當存在照明源118時，照明源118可包含(例如)可經操作以將一圖案(例如一點或線圖案)投影至場景122中之物件上之一紅外線(IR)投影機。照明源118可經實施為(例如)一發光二極體(LED)、一紅外線(IR) LED、一有機LED (OLED)、一紅外線(IR)雷射或一垂直腔面射型雷射(VCSEL)。光學特徵之投影圖案可用於將紋理提供至場景以促進由裝置114A、114B獲取之立體影像之間之立體匹配程序。 設備110進一步包含用於處理由攝影機114A、114B、116獲取之影像之各種引擎。特定言之，設備110包含一匹配成本判定引擎130、一平滑度判定引擎132、一映射引擎134及一能量函數判定引擎136。下文將描述關於由此等引擎實施之功能及演算法之細節。 設備110亦包含記憶體144，其可儲存由攝影機114A、114B、116獲取之影像及由引擎130至136處理或輸出之各種資料。例如，如圖1中所繪示，記憶體144可儲存由能量函數判定引擎136產生之一視差圖146。 前述引擎130、132、134、136之各者可(例如)使用一電腦來實施且可包含一各自並行處理單元150 (例如一專用積體電路(ASIC)或一場可程式化閘陣列(FPGA))。在一些例項中，可在軟體中(例如，在行動裝置(例如智慧型電話)之一處理器中)實施引擎130、132、134、136。儘管圖1中將各種引擎130至136及記憶體144展示成與模組112分離，但在一些實施方案中，其等可整合為模組112之部分。例如，引擎130至136及記憶體144可經實施為與影像拍攝裝置114A、114B、116一起安裝於模組112內之一印刷電路板(PCB)上之一或多個積體電路晶片。在一些情況中，照明源118 (若存在)可與收容影像拍攝裝置114A、114B、116之模組112分離。此外，模組112亦可包含其他處理及控制電路。亦可在(例如)安裝於相同於影像拍攝裝置之PCB上之一或多個積體電路晶片中實施此電路。 現參考圖2，假定：在此實例中，第三攝影機116屬於相同於深度攝影機114A、114B之類型(例如RGB、灰階、紅外線(IR))。在此情況中，深度攝影機114A、114B獲取一立體影像對(202)。該等獲取影像之一第一者充當參考影像，而該等獲取影像之一第二者充當一搜尋影像。第三(高解析度)攝影機116用於獲取一高解析度影像(204)。如下文將描述，不是僅使用立體影像對來判定能量函數之匹配成本及平滑度項，而是使用第三(高解析度)影像來獲得能量函數之平滑度項。使用一較高解析度影像可改良對場景122中之邊緣(即，相鄰像素之間之巨大強度差)之偵測且可導致一更準確平滑度項。 將由深度攝影機114A、114B獲取之立體影像提供至匹配成本判定引擎130。如由圖2中之206所指示，匹配成本判定引擎130使用立體影像來界定一匹配體積，該匹配體積充當能量函數之匹配成本項之輸入。特定言之，針對參考影像中之各像素(即，像素1至像素N)，匹配成本判定引擎130考量自0至一預判定最大值(Max D)之全部可能視差值且運算與搜尋影像中之像素相關聯之匹配成本。基於像素之匹配成本技術之實例包含如下：基於灰色影像及彩色影像兩者之絕對差、平方差、取樣不敏感絕對差或截斷版本。其他技術可用於一些實施方案中。因此，例如，匹配成本判定引擎130可藉由取得參考像素及搜尋像素之強度差來判定匹配成本。比較像素之強度越接近，該等像素正確匹配之可能性越大(即，匹配成本越低)。 將由攝影機116獲取之高解析度影像提供至平滑度判定引擎132。如由圖2中之208所指示，平滑度判定引擎132藉由比較相鄰像素之值(例如諸如RGB值之強度或色彩)來使用高解析度影像計算一平滑度項。所得比較建立一影像梯度，該影像梯度指示相鄰像素之彼此類似程度。例如，若相鄰像素之值較類似，則平滑度較高，而若相鄰像素之值不類似，則平滑度較低。因此，類似色彩(或強度)值(例如)意謂大平滑度。如上文所提及，使用高解析度影像來判定平滑度項可為有利的，因為在一些情況中高解析度影像中之邊緣可比(低解析度)深度影像中之邊緣更容易被偵測及識別。 接著，將由平滑度判定引擎132產生之平滑度項提供至映射引擎134，映射引擎134將平滑度項映射至由深度攝影機114A、114B獲取之參考影像上(參閱圖2中之210)。因為高解析度影像係自不同於深度影像之一優勢點拍攝，所以此映射係必要的，其可取決於諸如光學系統之(若干)焦距、深度攝影機114A、114B之間之基線距離及全部三個攝影機114A、114B、116之校準資料之因數。平滑度項亦係參考深度影像與搜尋深度影像之間之視差值(D_R-S )之一函數。 將匹配成本項及映射平滑度項提供至能量函數計算引擎136。由全部三個攝影機114A、114B、116之系統獲知基線距離、焦距及/或其他參數(例如，儲存於軟體之記憶體中)。當參考影像及搜尋影像中之一對像素成功匹配時，可識別第三影像中之對應像素。平滑度項考量參考影像中之相鄰像素之強度；由於第三影像係高解析度RGB，所以存在適當識別邊緣之一較佳可能性。此外，由於系統基於參考影像及搜尋影像而獲知視差且系統獲知第三成像器之焦距及第三成像器之基線值，所以可使平滑度自第三影像像素反相關至參考及/或搜尋影像像素。下文將描述進一步細節。 能量函數計算引擎136判定共同最小化匹配成本及平滑度項之視差值(D_R-S )(參閱圖2中之212)。因此，能量函數計算引擎136尋求使能量函數最小化之視差值： E = M (D_R-S , I_R , I_S )+ S (D_R-S ,I_3rd )， 其中匹配項(M)係參考深度影像與搜尋深度影像之間之視差值(D_R-S )及參考深度影像及搜尋深度影像之強度值(I_R , I_S )之一函數，且其中平滑度項(S)係參考深度影像與搜尋深度影像之間之視差值(D_R-S )及高解析度影像之強度值(I_3rd )之一函數。各自像素之所得視差值界定可顯示於(例如)顯示裝置120之顯示螢幕上之一改良視差圖(參閱圖2中之214)。前述技術可有助於減小過度平滑發生之程度。 圖3及圖4繪示其中第三攝影機116屬於相同於深度攝影機114A、114B之類型(例如RGB、灰階或紅外線(IR))之另一實例。此實例在一些方面類似於圖1及圖2之實例，但包含：判定亦用於計算能量函數之一補充匹配成本。除以下修改之外，圖3之設備310可類似於圖1之設備110。首先，除來自深度攝影機114A、114B之立體影像之外，亦將由第三影像拍攝裝置116拍攝之影像提供至可用於計算一匹配成本(基於立體影像)及一補充匹配成本(部分基於第三高解析度影像)兩者之匹配成本判定引擎330。其次，匹配成本判定引擎330可與映射引擎334互動以允許將來自第三(高解析度)影像之資訊映射至參考影像上。結合圖4來更詳細描述設備310之進一步細節。 如由圖4所指示，深度攝影機114A、114B獲取一立體影像對(402)。該等獲取影像之一第一者充當一參考影像，而該等獲取影像之一第二者充當一搜尋影像。第三(高解析度)攝影機116用於獲取一高解析度影像(404)。將由深度攝影機114A、114B獲取之立體影像提供至匹配成本判定引擎330。如由圖4中之406所指示，匹配成本判定引擎330使用立體影像來界定一第一匹配體積，該第一匹配體積充當能量函數之匹配成本項之輸入。特定言之，針對參考影像中之各像素(即，像素1至像素N)，匹配成本判定引擎330考量自0至一預判定最大值(Max D)之全部可能視差值且運算與搜尋影像中之像素相關聯之匹配成本。因此，例如，匹配成本判定引擎330可藉由取得參考像素及搜尋像素之強度差來判定匹配成本。比較像素之強度越接近，該等像素正確匹配之可能性越大(即，匹配成本越低)。接著，匹配成本判定引擎330將第一匹配成本(M₁ )提供至能量函數判定引擎336。 亦將由攝影機116獲取之高解析度影像提供至匹配成本判定引擎330，匹配成本判定引擎330界定充當能量函數之匹配成本項之另一輸入的一第二或補充匹配體積。特定言之，針對參考影像中之各像素(即，像素1至像素N)，匹配成本判定引擎330考量自0至一預判定最大值(Max D)之全部可能視差值且運算與高解析影像中之像素相關聯之匹配成本(圖4中之407)。例如，匹配成本判定引擎330可藉由取得參考影像像素及高解析度影像像素之強度差來判定匹配成本。比較像素之強度越接近，該等像素正確匹配之可能性越大(即，匹配成本越低)。作為前述程序之部分，匹配成本判定引擎330與映射引擎334互動，使得來自第三(高解析度)影像之資訊可被映射至參考影像上。由於高解析度影像係自不同於深度影像之一優勢點拍攝，所以此映射取決於視差(D_R-S )、及光學系統之焦距、深度攝影機114A、114B之間之基線距離、深度攝影機114A/114B之任一者與第三攝影機116之間之基線距離及全部三個攝影機114A、114B、116之校準資料。接著，匹配成本判定引擎330將補充匹配成本(M₂ )提供至能量函數判定引擎336。 亦將由攝影機116獲取之高解析度影像提供至平滑度判定引擎332。平滑度判定引擎332藉由比較相鄰像素之值(例如諸如RGB值之強度或色彩)來使用高解析度影像計算一平滑度項(408)。所得比較建立一影像梯度，其指示相鄰像素之彼此類似程度。例如，若相鄰像素之值類似，則平滑度較高，而若相鄰像素之值不類似，則平滑度較低。因此，類似色彩(或強度)值(例如)意謂大平滑度。如上文所提及，使用高解析度影像來判定平滑度項可為有利的，因為高解析度影像中之邊緣比(低解析度)深度影像中之邊緣更容易被偵測及識別。 接著，將由平滑度判定引擎332產生之平滑度項提供至映射引擎334，映射引擎334將平滑度項映射至由深度攝影機114A或114B獲取之參考影像上(參閱圖4中之410)。如先前所解釋，因為高解析度影像係自不同於深度影像之一優勢點拍攝，所以此映射係必要的。平滑度本身係參考深度影像與搜尋深度影像之間之視差值(D_R-S )、及光學系統之焦距、深度攝影機114A、114B之間之基線距離、深度攝影機114A/114B之任一者與第三攝影機116之間之基線距離及全部三個攝影機114A、114B、116之校準資料之一函數。 將匹配成本項(M₁ 及M₂ )及映射平滑度項(S)提供至能量函數計算引擎336，能量函數計算引擎336判定共同最小化匹配成本及平滑度項之視差值(D_R-S )(參閱圖4中之412)。因此，能量函數計算引擎336尋求視差值來最小化能量函數： E = M₁ (D_R-S , I_R , I_S )+M₂ (D_R-S , I_R , I_3rd )+S (D_R-S , I_3rd )， 其中第一匹配項(M₁ )係參考深度影像與搜尋深度影像之間之視差值(D_R-S )及參考影像及搜尋影像之強度值(I_R , I_S )之一函數，其中第二(補充)匹配項(M₂ )係參考影像與搜尋影像之間之視差值(D_R-S )及參考深度影像及高解析度影像之強度值(I_R , I_3rd )之一函數，且其中平滑度項(S)係參考影像與搜尋影像之間之視差值(D_R-S )及高解析度影像之強度值(I_3rd )之一函數。 各自像素之所得視差值界定可顯示於(例如)顯示裝置120之顯示螢幕上之一視差圖(414)。前述技術可有助於減小出現於視差圖中之過度平滑之程度。 如上文所指示，在圖1至圖4之前述實例中，假定：第三攝影機116屬於相同於深度攝影機114A、114B之類型(例如RGB、灰階、紅外線(IR))。在圖5之以下實例中，假定：第三攝影機116屬於不同於深度攝影機114A、114B之一類型(例如RGB、灰階、紅外線(IR))。例如，在一些實施方案中，深度攝影機114A、114B係基於IR之感測器，而第三攝影機116係一基於色彩(例如RGB)之感測器。在此等情況中，需要將第三(彩色)影像之色彩空間映射至參考影像之色彩空間。色彩空間映射或轉換涉及：將一色彩之表示自一基準(例如RGB)轉化成另一基準(例如IR)。 儘管已針對其中深度攝影機114A、114B具有低於第三攝影機116之解析度之情形來描述前述實例之部分，但該等技術亦可在深度攝影機及第三攝影機之解析度實質上相同時被使用。更一般而言，前述實施方案提供可在深度攝影機114A、114B屬於相同於第三攝影機116之類型或屬於一不同類型時使用之技術。此外，前述實施方案提供可在深度攝影機114A、114B具有不同於第三攝影機116之一解析度或具有實質相同解析度時使用之技術。因此，在一些例項中，立體影像屬於相同於第三影像之類型且具有實質相同解析度。在其他例項中，立體影像屬於相同於第三影像之類型，但第三影像具有不同(例如，更高)解析度。在其他例項中，立體影像屬於不同於第三影像之一影像類型，但各種影像具有實質相同解析度。在其他例項中，立體影像屬於不同於第三影像之一影像類型且第三影像具有一不同(例如，更高)解析度。 在影像屬於相同類型且亦具有相同解析度之情況中，可有利地結合立體影像來使用第三影像，因為第三影像係自不同於立體影像之優勢點的一優勢點拍攝。例如，第三影像拍攝裝置116之位置可允許模組獲取使用不同照明或避免一些遮擋誤差之一影像。在影像屬於不同類型之情況中，影像類型之一者可更適合用於偵測影像或提供與另一影像類型有關之額外資訊。例如，一彩色影像中之邊緣可比一灰階影像中之邊緣更容易被偵測。由於色彩差有時與距離差(即，物件邊緣)相關，所以可有利地使用色彩差。 圖5繪示其中第三影像係多通道影像(例如RGB)之一實例。由圖5繪示之程序類似於圖4之程序，但包含一額外步驟(505)，其將由第三影像拍攝裝置116獲取之影像之色彩空間映射至由深度攝影機114A、114B之一者獲取之參考影像之色彩空間。圖5中之其他步驟(即，502、504、506、507、508、510、512、514)實質上相同於圖4中之對應步驟。此處，前述程序亦可有助於減小出現於視差圖中之過度平滑之程度。 由圖6之程序繪示根據一些實施方案之色彩空間映射(505)之進一步細節。如602中所指示，程序接收一單通道影像(即，來自第一影像拍攝裝置114A或第二影像拍攝裝置114B之參考影像，其具有多個像素，該等像素之各者具有對應於單一通道之一單一強度值)作為輸入。接著，程序自單通道影像選擇一特定大小(例如15×15個像素)之一像素區塊(604)。如由606所指示，程序亦接收一多通道影像(即，來自第三影像裝置116之一影像，其由多個像素組成，該等像素之各者具有對應於不同通道之多個強度值)作為輸入。若多通道影像係一高解析度影像，則程序可包含高解析度影像之降低取樣。接著，程序自多通道影像選擇特定大小之一像素區塊(608)。多通道影像之選定像素區塊應沿自單通道影像選擇之區塊之極線。 為計算匹配成本(即，描述多通道(例如RGB)搜尋區塊與原始單通道(例如IR)參考區塊之接近度之一量)，程序將多通道區塊內之值變換成對應單通道值。此可藉由執行一線性變換來使各區塊完成(圖6之610中)，其取決於來自單通道參考區塊及各新搜尋多通道區塊兩者之值。一擬逆技術可用於線性變換。因此，在搜尋影像中之各區塊位置處，兩個程序並行發生：1)線性變換使用兩個區塊(即，原始參考區塊及當前搜尋區塊)之資料來將多通道(例如RGB)值轉換成單通道(例如IR)值；及2)將對應於搜尋區塊匹配之可能性之一分數製成表格。此分數係補充匹配成本。 對沿自單通道影像選擇之區塊之極線之多通道搜尋影像中之各區塊重複包含步驟608及610之前述程序。例如，可使搜尋區塊一次位移一行或一列，且沿極線重複程序以識別參考區塊與搜尋區塊之間之一匹配(612)。然而，程序係不間斷及反覆的。因此，直至將全部匹配成本(即，IR、IR影像之間)及平滑度項最佳化，程序才判定一最終匹配。此時，程序判定立體影像(例如IR、IR)及多通道第三影像(例如RGB)中之何種像素(或像素區塊)對應。 前述程序不僅考量一參考-搜尋影像對中之區塊間之值(例如強度)差，且考量一參考補充-搜尋影像對中之區塊間之值(例如強度)差，且進一步包含一平滑度項。全部前述因數應同時經最佳化以建立IR、IR參考、搜尋影像對之間之正確視差。因此，視差值經判定以最佳化(例如最小化)匹配成本、補充匹配成本及平滑度項。 與各新搜區塊相關聯之線性變換之一簡化實例如下： 「區塊具有N×N個像素。 將參考區塊(例如，來自一IR影像)表示為維數為N^2之一向量x。 將搜尋區塊(例如，來自一RGB影像)表示為維數為(N^2×3)之一矩陣y。在RGB影像中，沿對應於IR影像中之參考區塊之中心的一線(即，極線)定位搜尋區塊。 如下所述，導出將y最佳地映射成x (就最小平方差而言)之(1×3)線性變換M： M必須滿足：y*M=x。 因此，M由M=pinv(y)*x給出。 將M應用於y以因此獲得x之預測值x_eval： x_eval=y*M。 比較x_eval與x以判定y (搜尋區塊)與x (參考區塊)之擬合程度。 matching_error=norm(x_eval–x)，其中norm()係歐基里德範數。 matching_error衡量y (搜尋區塊)與x (參考區塊)之擬合程度。一完美匹配之matching_error=0。 matching_error (其係一成本函數)用於判定最匹配IR影像中之參考區塊之RGB影像中之區塊(結合其他匹配誤差及平滑度項)。」 本文所描述之技術在(例如)手持式行動裝置及其他應用中可為尤其有利的，其中深度通道通常使用低解析度影像感測器且深度通道之影像及光學器件趨向於具有相對較差品質。當然，技術亦可用於其他應用。 在一些情況中，本文所描述之技術可適合用於即時應用，其中將一電腦程序之輸出(即，顯現)呈現給使用者，使得使用者未察覺到歸因於電腦處理限制之可感知延遲。例如，技術可適合用於每秒約至少30個圖框之即時應用或每秒約至少5個圖框之近即時應用。 在一些實施方案中，視差圖可用作距離判定之輸入。例如，在汽車工業之背景下，可結合識別及/或區分出現於行車道路上之不同類型之物件(例如人、動物或其他物件)之影像辨識技術來使用視差圖。物件之特性(藉由影像辨識來判定)及其與車輛之距離(由視差圖指示)可由車輛之作業系統用於產生對駕駛員之一聲音或視覺警示，例如，在行車道路上存在一物件、動物或行人。在一些情況中，車輛之作業系統可使車輛自動減速以避免一碰撞。 可在數位電子電路、積體電路、特殊設計之ASIC (專用積體電路)、電腦硬體、韌體、軟體及/或其等之組合中實現本文所描述之各種實施方案。此等各種實施方案可包含可在包含至少一可程式化處理器之一可程式化系統上執行及/或解譯之一或多個電腦程式中之實施方案，該至少一可程式化處理器可為專用或通用的，經耦合以自一儲存系統、至少一輸入裝置及至少一輸出裝置接收資料及指令及將資料及指令傳輸至一儲存系統、至少一輸入裝置及至少一輸出裝置。 此等電腦程式(亦稱為程式、軟體、軟體應用程式或程式碼)包含用於一可程式化處理器之機器指令，且可用一高階程序及/或物件導向程式設計語言及/或組合/機器語言來實施。如本文所使用，術語「機器可讀媒體」、「電腦可讀媒體」係指用於將機器指令及/或資料提供至一可程式化處理器之任何電腦程式產品、設備及/或裝置(例如磁碟、光碟、記憶體、可程式化邏輯裝置(PLD))，其包含將機器指令接收為一機器可讀信號之一機器可讀媒體。術語「機器可讀信號」係指用於將機器指令及/或資料提供至一可程式化處理器之任何信號。 應易於明白，可在本發明之精神內對前述實例作出各種修改。例如，在一些例項中，可省略一些程序或步驟。此外，在一些情況中，可執行額外程序或步驟。亦可作出其他修改。因此，其他實施方案係在[發明申請專利範圍]之範疇內。

110‧‧‧設備112‧‧‧光電模組114A‧‧‧影像拍攝裝置/深度攝影機114B‧‧‧影像拍攝裝置/深度攝影機116‧‧‧影像拍攝裝置/第三(高解析度)攝影機118‧‧‧照明源120‧‧‧顯示裝置122‧‧‧場景130‧‧‧匹配成本判定引擎132‧‧‧平滑度判定引擎134‧‧‧映射引擎136‧‧‧能量函數判定引擎/能量函數計算引擎144‧‧‧記憶體146‧‧‧視差圖150‧‧‧並行處理單元202‧‧‧獲取立體影像對204‧‧‧獲取高解析度影像206‧‧‧界定匹配體積且判定匹配成本208‧‧‧使用高解析度影像來計算平滑度項210‧‧‧將平滑度項映射至參考影像上212‧‧‧判定共同最小化匹配成本及平滑度項之視差值(D_R-S )214‧‧‧界定改良視差圖310‧‧‧設備330‧‧‧匹配成本判定引擎332‧‧‧平滑度判定引擎334‧‧‧映射引擎336‧‧‧能量函數判定引擎/能量函數計算引擎402‧‧‧獲取立體影像對404‧‧‧獲取高解析度影像406‧‧‧界定第一匹配體積且判定匹配成本407‧‧‧考量全部可能視差值且運算相關聯匹配成本408‧‧‧使用高解析度影像來計算平滑度項410‧‧‧將平滑度項映射至參考影像上412‧‧‧判定共同最小化匹配成本及平滑度項之視差值(D_R-S )414‧‧‧界定視差圖502‧‧‧步驟504‧‧‧步驟505‧‧‧額外步驟/色彩空間映射506‧‧‧步驟507‧‧‧步驟508‧‧‧步驟510‧‧‧步驟512‧‧‧步驟514‧‧‧步驟602‧‧‧接收單通道影像604‧‧‧自單通道影像選擇特定大小之像素區塊606‧‧‧接收多通道影像608‧‧‧步驟610‧‧‧步驟612‧‧‧匹配

圖1係展示用於呈現一視差圖之一設備之一實例的一方塊圖。 圖2係用於呈現一視差圖之一方法之一第一實施方案之一流程圖。 圖3係展示用於呈現一視差圖之一設備之另一實例的一方塊圖。 圖4係用於呈現一視差圖之一方法之一第二實施方案之一流程圖。 圖5係用於呈現一視差圖之一方法之一第三實施方案之一流程圖。 圖6係繪示色彩空間映射之一實例的一流程圖。

110‧‧‧設備

112‧‧‧光電模組

114A‧‧‧影像拍攝裝置/深度攝影機

114B‧‧‧影像拍攝裝置/深度攝影機

116‧‧‧影像拍攝裝置/第三(高解析度)攝影機

118‧‧‧照明源

120‧‧‧顯示裝置

122‧‧‧場景

130‧‧‧匹配成本判定引擎

132‧‧‧平滑度判定引擎

134‧‧‧映射引擎

136‧‧‧能量函數判定引擎/能量函數計算引擎

144‧‧‧記憶體

146‧‧‧視差圖

150‧‧‧並行處理單元

Claims (10)

1. 一種產生一視差圖之方法，其包括：獲取第一立體影像及第二立體影像，其中該等立體影像之一第一者充當一參考影像且該等立體影像之一第二者充當一搜尋影像；自不同於該等立體影像之一優勢點獲取一第三影像；判定該參考影像及該搜尋影像中之各自像素之間之一第一匹配成本；判定該第三影像中之像素之一平滑度項；判定該參考影像及該搜尋影像中之各自像素之間之視差值，其中該等視差值最小化該第一匹配成本及該平滑度項之一總和，且其中該等視差值共同界定該參考影像中之各點之一視差圖；及將該平滑度項映射至該參考影像上。
2. 一種用於產生一視差圖之設備，其包括：第一影像感測器及第二影像感測器，其等分別用於獲取第一立體影像及第二立體影像，其中該等立體影像之一第一者充當一參考影像且該等立體影像之一第二者充當一搜尋影像；一第三影像感測器，其用於自不同於該等立體影像之一優勢點獲取一第三影像；一或多個處理器，其等經配置以：判定該參考影像及該搜尋影像中之各自像素之間之一第一匹配成本；判定該第三影像中之像素之一平滑度項；及 判定該參考影像及該搜尋影像中之各自像素之間之視差值，其中該等視差值最小化該第一匹配成本及該平滑度項之一總和，且其中該等視差值共同界定該參考影像中之各點之一視差圖；及將該平滑度項映射至該參考影像上。
3. 如請求項2之設備，其中該等立體影像及該第三影像屬於相同類型，且其中該類型係紅外線、彩色或灰階之一者。
4. 如請求項2或3之設備，其中該第三影像感測器經配置以獲取具有高於由該第一立體影像感測器及該第二立體影像感測器獲取之影像之一解析度之影像。
5. 如請求項2或3之設備，其中該一或多個處理器進一步經配置以藉由計算該參考影像及該搜尋影像中之該等各自像素之間之一強度差來判定一第一匹配成本。
6. 如請求項2或3之設備，其中該一或多個處理器進一步經配置以藉由比較該第三影像中之相鄰像素之強度值或色彩值來判定一平滑度項。
7. 如請求項2之設備，其中該一或多個處理器進一步經配置以：判定該參考影像及該第三影像中之各自像素之間之一第二匹配成本，其中該等視差值最小化該第一匹配成本、該第二匹配成本及該平滑度項之一總和。
8. 如請求項7之設備，其中該一或多個處理器經配置以藉由計算該參考影像及該第三影像中之該等各自像素之間之一強度差來判定一第二匹配成本。
9. 如請求項2之設備，其中該等立體影像之一類型及該第三影像之一類型係不同的，其中該等類型係紅外線、彩色或灰階，且其中該一或多個處理器經配置以：將該第三影像之一色彩空間映射至該參考影像之一色彩空間上。
10. 如請求項2或3之設備，其中使用不同視覺指標來將由該視差圖表示之不同深度或深度範圍顯示於一顯示螢幕上。

Images