TW201705088A - 基於場景之立體影像所產生之差異圖 - Google Patents

Abstract

提供一差異圖包含：取得第一立體影像及第二立體影像；二值化該第一立體影像以獲得一二值化影像；且將一區塊匹配技術施加至該第一立體影像及該第二立體影像，以獲得其中將一各自初始差異值指派至獨立影像元素之一初始差異圖。針對各自影像元素，獲得表示經指派至該影像元素之初始差異值及與該二值化影像中之該影像元素相關聯之一值之一積之一更新的差異值。可產生一更新之差異圖，且該差異圖表示影像元素之更新的差異值。

Description

基於場景之立體影像所產生之差異圖

本發明係關於影像處理，且更具體言之，本發明係關於基於一場景之立體影像產生一差異圖之系統及技術。

各種影像處理技術可使用影像擷取裝置找出一環境中之一場景之深度。該深度資料可用於(例如)控制強化實境、機器人、自然使用者介面技術、遊戲及其他應用。

區塊匹配係其中自稍不同之視角獲取之一場景之兩個影像(一立體影像對)經匹配以找出描繪相同場景元素之影像元素之差異(位置差異)之一立體匹配程序之一實例。該等差異提供來自相機之關於場景元素之相對距離之資訊。立體匹配使得能夠運算差異(即，距離資料)，此允許可判定一場景之物件之表面之深度。包含(例如)由一已知距離彼此分離之兩個影像擷取裝置之一立體相機可用於擷取立體影像對。

在一典型區塊匹配技術中必須掃描參考影像。此掃描可係相對耗時且可需要顯著計算能力，因此使得難以達成即時或近似即時應用。此外，經掃描之參考影像之一些區域可不具有待用於匹配目的之充足紋理或其他特徵。此可導致運算程序中之浪費或不必要之步驟。

本發明描述快速產生一影像擷取裝置之影像元素(例如，像素)之一差異圖之技術。具體言之，使用含有有用資訊(例如，紋理)之像素產生一二值化影像。另外，產生可相對較快實現之一初始(塊狀)差異圖。接著，可將初始差異圖中之差異值指派至二值化影像中之影像元素以獲得一更新之差異圖。

例如，在一項態樣中，本發明描述提供一差異圖之一方法。該方法包含：取得第一立體影像及第二立體影像；二值化該第一立體影像以獲得一二值化影像；且將一區塊匹配技術施加至該第一立體影像及該第二立體影像以獲得其中將一各自初始差異值指派至獨立影像元素之一初始差異圖。該方法進一步包含：針對各自影像元素獲得表示指派至該影像元素之初始差異值及與該二值化影像中之該影像元素相關聯之一值之一積之一更新之差異值。產生一更新之差異圖且該差異圖表示影像元素之更新之差異值。

根據另一態樣，用於提供一差異圖之一設備包含分別取得第一立體影像及第二立體影像之第一影像擷取裝置及第二影像擷取裝置。一影像二值化引擎可操作以二值化該第一立體影像以獲得一二值化影像。一區塊匹配引擎可操作以將一區塊匹配技術施加至第一立體影像及第二立體影像而獲得其中將一各自初始差異值指派至獨立影像元素之一初始差異圖。該區塊匹配引擎亦可操作以針對各自影像元素獲得表示指派至影像元素之初始差異值及與二值化影像中之影像元素相關聯之一值之一積之一更新之差異值。一更新之差異圖產生引擎可操作以產生表示影像元素之更新之差異值之一更新之差異圖。

一些實施方案包含以下特徵之一或多者。例如，更新之差異圖可顯示於一顯示裝置上，其中由不同視覺指示符表示不同差異值。在一些例項中，更新之差異圖顯示為一三維色彩影像，其中不同色彩指示不同差異值。

在一些情況中，針對各自影像元素獲得一更新之差異值包含：(i)針對在二值化影像中具有一值1之各像素，將初始差異值指派至該像素；且(ii)針對在二值化影像中具有一值0之各像素，將一差異值0指派至該像素，或不將差異值指派至該像素。

在一些實施方案中，區塊匹配技術可包含：將第一影像中之影像元素的區塊與第二影像中之影像元素的區塊作比較；且針對該第一影像中之各區塊，識別第二影像中之一各自最緊密匹配區塊。在一些情況中，第一影像及第二影像構成一場景，且區塊匹配技術使用基於投影於該場景上之光學特徵之一尺寸或節距而按比例縮放之一區塊尺寸。此外，識別第一影像中之一特定區塊之一最緊密匹配可包含(例如)選擇相對於特定區塊具有絕對差值之該最低總和之該第二影像之一區塊。

在一些實施方案中，可在硬體(例如，一或多個處理器或其他電路)及/或軟體中實施各種引擎。

各種實施方案可提供以下優勢中之一或多者。例如，一些實施方案相對於一些其他立體匹配技術可幫助更快產生一相對較準確之差異圖。因此，本技術可被應用於其中需要顯示一差異圖之即時或近似即時應用。

將易於自以下【實施方式】及【圖式簡單說明】及【申請專利範圍】明白其他態樣、特徵及優勢。

110‧‧‧系統

112‧‧‧場景

114‧‧‧光電模組

116A‧‧‧立體影像擷取裝置/立體成像器/第一影像擷取裝置

116B‧‧‧立體影像擷取裝置/立體成像器

122‧‧‧照明源

124‧‧‧區塊匹配引擎

126‧‧‧平行處理單元

128‧‧‧記憶體

130‧‧‧影像二值化引擎

132‧‧‧平行處理單元

134‧‧‧初始(例如，塊狀)差異圖

136‧‧‧二值化版本/二值化影像

138‧‧‧差異產生引擎

139‧‧‧平行處理單元

140‧‧‧顯示裝置

202‧‧‧區塊

204‧‧‧區塊

206‧‧‧區塊

208‧‧‧區塊

210‧‧‧區塊

212‧‧‧區塊

214‧‧‧區塊

302‧‧‧區塊

304‧‧‧區塊

306‧‧‧區塊

402‧‧‧區塊

404‧‧‧區塊

406‧‧‧區塊

圖1係使用立體影像產生一差異圖之一系統之一實例。

圖2係使用立體影像產生一差異圖之一方法之一流程圖。

圖3係繪示一區塊匹配技術之一實例之一流程圖。

圖4係繪示組合一二值化影像及一初始差異圖以獲得一更新之差異圖之一實例之一流程圖。

圖1繪示基於包含一或多個物件之一場景112之所擷取之立體影像而產生一差異圖之一系統110之一實例。該系統可包含擷取一場景之立體影像資料之一光電模組114(亦見圖2，區塊202)。例如，模組114可具有取得場景112之影像的兩個或兩個以上立體影像擷取裝置116A、116B(例如，CMOS影像感測器或CCD影像感測器)。將由立體成像器116A之一第一者取得之一影像用作為一參考影像；將由立體成像器116B之一第二者取得之一影像用作為一搜尋影像。

在一些情況中，模組114亦可包含經配置以將照明之一圖案投影於場景112上之一相關照明源122。當存在時，照明源122可包含(例如)一紅外線(IR)投影機、一可視光源，或可操作地將一圖案(例如，點或線)投影於場景112中之物件上的一些其他光源。照明源122可(例如)被實施為一發光二極體(LED)、一紅外線(IR)LED、一有機LED(OLED)、一紅外線(IR)雷射，或一垂直空腔表面發射雷射(VCSEL)。可使用光學特徵之經投影的圖案來將紋理提供至場景，以促進由裝置116A、116B取得之立體影像之間的立體匹配程序。

將由第一影像擷取裝置116A取得之參考影像提供至產生參考影像之一二值化版本136之一影像二值化引擎130(圖2，區塊204)。在影像136之二值化版本中，將兩個可能之值之一者指派至參考影像之各像素。例如，可將一值「0」指派至背景像素(即，不含有紋理之像素)，而可將一值「1」指派至含有紋理之像素。因此，影像二值化引擎130產生其中將一個值指派至含有有用資訊(例如，紋理)之像素，且將一不同值指派至僅含有背景資訊之像素之一二值影像。二值化影像136可被儲存於(例如)記憶體128中。可(例如)使用一電腦來實施影像二值化引擎130，且影像二值化引擎130可包含一平行處理單元132(例如，一特定應用積體電路(ASIC)或一場可程式化閘極陣列 (FPGA))。在其他例項中，可利用軟體(例如，經由行動/智慧型電話處理器)來實施影像二值化引擎130。

在一些實施方案中，影像二值化引擎130執行一非銳化遮罩演算法，其係可藉由將低頻率空間資訊自起始影像移除來改良細節之定義之一影像銳化工具。具體言之，非銳化遮罩演算法涉及自起始影像減去一非銳化遮罩。該非銳化遮罩係藉由利用一高斯(Gaussian)低通濾波器空間過濾起始影像而產生之一模糊影像。在一些實施方案中，可使用其他技術來產生二值化影像136。

將由影像擷取裝置116A、116B取得之參考影像及搜尋影像提供至執行一加速之區塊匹配演算法(圖2，區塊208)之一區塊匹配引擎124(圖1)。在區塊匹配演算法中，可藉由運算參考影像中之像素之一區域之位置與搜尋影像中之相同或實質上相同之區塊之位置之間之像素中之距離而計算差異資訊。因此，如圖3所指示，藉由比較參考影像及搜尋影像中之影像元素(例如，像素)之區塊(區塊302)，區塊匹配引擎搜索搜尋影像以識別參考影像中之像素之一區塊之最緊密匹配(區塊304)。可(例如)使用一電腦實施區塊匹配引擎124且區塊匹配引擎124可包含一平行處理單元126(例如，一特定應用積體電路(ASIC)或一場可程式化閘極陣列(FPGA))。在其他例項中，可利用軟體(例如，經由行動裝置/智慧型電話處理器)實施區塊匹配引擎124。

一區塊尺寸及步階尺寸宜經判定以用於由區塊匹配引擎124實施之區塊匹配技術中(見圖2，區塊206)。區塊尺寸係指彼此相比較之參考影像及搜尋影像中之像素之各區塊的尺寸(即，寬度及高度)。可藉由使用相對較大之區塊尺寸及/或步階尺寸來達成節省處理時間。例如，在一些例項中，步階尺寸可實質上等於區塊之尺寸，使得自參考影像提取之區塊相對於彼此平鋪。在其中步階尺寸等於區塊尺寸(即，參考影像中之平鋪區塊)之例項中，可由區塊尺寸之平方加速區 塊匹配。然而，在其他例項中，步階尺寸可實質上小於區塊尺寸，使得自參考影像提取之區塊相對於彼此重疊。在任一情況中，可根據典型區塊匹配演算法，藉由行及列尺寸之步階來使得區塊掃描通過搜尋影像。然而，在一些例項中，基於由照明源122投影於場景112上之特徵的尺寸或節距(即，點、線或其他特徵)而按比例縮放區塊尺寸。依此方式按例比縮放區塊尺寸可係有用的，因為在其中藉由照明源122投影之特徵提供紋理的條件中，不可藉由使用較小區塊尺寸來增加深度解析度。因此，在一些例項中，區塊尺寸實質上等於藉由照明源122投影於場景112上之特徵的節距。在一些實施方案中，12像素之一點節距及12至15像素之一區塊尺寸可係有利的。步階尺寸可取決於實施方案而不同。在一些情況中，步階尺寸等於區塊寬度。在其他情況中，例如，為了增加橫向解析度，步階尺寸可小於區塊寬度。可藉由區塊匹配引擎124來執行區塊尺寸及步階尺寸之判定。

可使用各種技術來判定兩個影像中的區塊有多類似，且識別最緊密匹配。一此已知技術係「絕對差之總和」，有時被稱為「SAD」。為了運算絕對差之總和，用搜尋區塊中之對應像素之灰階值減去參考區塊中之各像素之一灰階值，以計算絕對差值。接著，加總所有差以提供粗略地量測區塊之間之相似性之一單一值。一較低值指示區塊更相似。為了找出與樣板「最相似」之區塊，運算樣板與搜尋影像中之各區塊之間的SAD值，且選擇搜尋影像中具有最低SAD值的區塊。接著，將一各自差異值指派至參考影像之各區塊，其中該差異值係指兩個影像中之匹配區塊之中心之間的距離。在其他實施方案中，可使用其他匹配技術來產生初始差異圖。在任何情況中，區塊匹配引擎124之輸出係其中將對應於其所屬之區塊之差異值之一差異值指派至參考影像(或搜尋影像)之各像素之一初始(例如，塊狀)差異圖134(圖2，區塊210；圖3，區塊306)。

一旦已產生二值化影像136及初始差異圖134，則將其等提供至產生一更新之差異圖之一更新的差異產生引擎138(圖2，區塊212)。具體言之，引擎138針對各像素來判定該像素之差異值及二值化影像中之像素之數位值的積(區塊402)。因此，將先前與像素所屬之區塊相關聯之差異值指派至在二值化影像中具有一值「1」的各像素(區塊404)。另一方面，將一差異值0指派至在二值化影像中具有一值「0」的各像素(此等同於不具有所指派之差異值)(區塊406)。可快速產生所得更新之差異圖，且該差異圖相對於初始差異圖134可具有較少塊狀。

例如，可使用一電腦來實施更新之差異產生引擎138，且差異產生引擎138可包含一平行處理單元139(例如，一特定應用積體電路(ASIC)或一場可程式化閘極陣列(FPGA))。在其他例項中，可利用軟體(例如，經由行動裝置/智慧型電話處理器)來實施差異產生引擎138。儘管各種引擎124、130、138及記憶體128在圖1中被展示為與模組114分離，但在一些實施方案中其等可被整合為模組114的一部分。例如，引擎124、130、138及記憶體128可經實施為經安裝於模組114以及影像擷取裝置116A、116B內之一印刷電路板(PCB)上的一或多個積體電路晶片。在一些情況中，照明源122(若存在)可與容納影像擷取裝置116A、116B之模組114分離。此外，模組114亦可包含控制(例如)當影像擷取裝置116A、116B取得影像時之時序的其他處理及控制電路。此電路亦可被實施於(例如)經安裝於與影像擷取裝置116相同之PCB上的一或多個積體電路晶片中。

可將由引擎138產生之更新之差異圖提供至用圖表呈現更新之差異圖之一顯示裝置140(例如)以作為一三維色彩影像(圖2，區塊214)。因此，不同差異值(或值之範圍)可經轉換且由不同各自色彩圖表地表示。在一些實施方案中，不同差異值由不同剖面線或其他視覺 指示符在差異圖上圖表地表示。

在一些情況中，本文描述之技術可適合用於其中將一電腦程序(即，繪製)之輸出呈現至使用者，使得使用者未觀察到歸因於電腦處理限制之可評估延遲之即時應用。例如，該等技術可適合用於大約每秒約至少30訊框之即時應用或大約每秒約至少5訊框之近似即時應用。

在一些實施方案中，差異圖可用作為距離判定之輸入。例如，在汽車產業之內容背景下，差異圖可與識別及/或區分出現在車輛之路徑中之不同類型之物件(例如，一人、動物或其他物件)之影像辨識技術結合使用。可由車輛之操作系統使用物件之本質(如由影像辨識判定)及其自車輛之距離(如由差異圖指示)來對騎行者產生(例如)車輛路徑中之一物件、動物或行人之一聲訊或視覺警報。在一些情況中，車輛之操作系統可使得車輛自動減速以避免一碰撞。

本文描述之各種實施方案可在數位電子電路、積體電路、特定設計ASIC(特定應用積體電路)、電腦硬體、韌體、軟體及/或其等之組合中實現。此等各種實施方案可包含一或多個電腦程式中之實施方案，該一或多個電腦程式在包含經耦合以自一儲存系統、至少一輸入裝置及至少一輸出裝置接收資料及指令且將資料及指令發送至其等之至少一可程式化處理器(可為專用或通用)之一可程式化系統上可執行及/或可解譯。

此等電腦程式(亦被稱為程式、軟體、軟體應用或編碼)包含用於一可程式化處理器之機器指令且可在一高階程序及/或物件導向程式化語言及/或總成/機器語言中實施。如本文所使用，術語「機器可讀媒體」、「電腦可讀媒體」係指用於將機器指令及/或資料提供至一可程式化處理器之任何電腦程式產品、設備及/或裝置(例如，磁碟、光碟、記憶體、程式化邏輯裝置(PLD))，包含將機器指令接收為一機器 可讀信號之一機器可讀媒體。術語「機器可讀信號」係指用於將機器指令及/或資料提供至一可程式化處理器之任何信號。

將易於自本描述明白上述特徵之各種修改及組合且上述特徵之各種修改及組合落於本發明之精神內。據此，其他實施方案亦落於申請專利範圍之範疇內。

110‧‧‧系統

112‧‧‧場景

114‧‧‧光電模組

116A‧‧‧立體影像擷取裝置/立體成像器/第一影像擷取裝置

116B‧‧‧立體影像擷取裝置/立體成像器

122‧‧‧照明源

124‧‧‧區塊匹配引擎

126‧‧‧平行處理單元

128‧‧‧記憶體

130‧‧‧影像二值化引擎

132‧‧‧平行處理單元

134‧‧‧初始(例如，塊狀)差異圖

136‧‧‧二值化版本/二值化影像

138‧‧‧差異產生引擎

139‧‧‧平行處理單元

140‧‧‧顯示裝置

Claims (16)

1. 一種提供一差異圖之方法，該方法包括：取得第一立體影像及第二立體影像；二值化該第一立體影像，以獲得一二值化影像；將一區塊匹配技術施加至該第一立體影像及該第二立體影像，以獲得其中將一各自初始差異值指派至獨立影像元素之一初始差異圖；針對各自影像元素，獲得表示經指派至該影像元素之該初始差異值及與該二值化影像中之該影像元素相關聯之一值之一積之一更新的差異值；且產生表示該等影像元素之該等更新之差異值之一更新的差異圖。
2. 如請求項1之方法，進一步包含將該更新之差異圖顯示於一顯示裝置上，其中由不同視覺指示符表示不同差異值。
3. 如請求項2之方法，其中該更新之差異圖被顯示為一三維色彩影像，其中不同色彩指示不同差異值。
4. 如請求項1至3中任一項之方法，其中針對各自影像元素獲得一更新之差異值包含：針對在該二值化影像中具有一值1之各像素，將該初始差異值指派至該像素；且針對在該二值化影像中具有一值0之各像素，將一差異值0指派至該像素。
5. 如請求項1至3中任一項之方法，其中針對各自影像元素獲得一更新之差異值包含：針對在該二值化影像中具有一值1之各像素，將該初始差異值 指派至該像素；且針對在該二值化影像中具有一值0之各像素，不將差異值指派至該像素。
6. 如請求項1之方法，其中該區塊匹配技術包含：將該第一影像中之影像元素之區塊與該第二影像中之影像元素之區塊作比較；且針對該第一影像中之各區塊，識別該第二影像中之一各自最緊密匹配區塊。
7. 如請求項6之方法，其中該第一影像及該第二影像構成一場景，且其中該區塊匹配技術使用基於投影於該場景上之光學特徵之一尺寸或節距而按比例縮放之一區塊尺寸。
8. 如請求項7之方法，其中識別該第一影像中之一特定區塊之一最緊密匹配包含選擇相對於該特定區塊具有絕對差值之最低總和之該第二影像之一區塊。
9. 一種用於提供一差異圖之設備，該設備包括：第一影像擷取裝置及第二影像擷取裝置，其等分別取得第一立體影像及第二立體影像；一影像二值化引擎，其包括經組態以二值化該第一立體影像以獲得一二值化影像的一或多個處理器；一區塊匹配引擎，其包括一或多個處理器，該等處理器經組態以：將一區塊匹配技術施加至該第一立體影像及該第二立體影像以獲得其中將一各自初始差異值指派至獨立影像元素之一初始差異圖；針對各自影像元素，獲得表示經指派至該影像元素之該初始差異值及與該二值化影像中之該影像元素相關聯之一值之 一積之一更新的差異值；及一更新之差異圖產生引擎，其包括經組態以產生表示該等影像元素之該等更新之差異值之一更新之差異圖的一或多個處理器。
10. 如請求項9之設備，進一步包含經組態以顯示該更新之差異圖之一顯示裝置，其中由不同視覺指示符表示不同差異值。
11. 如請求項10之設備，其中該顯示裝置經組態以將該更新之差異圖顯示為一三維色彩影像，其中不同色彩指示不同差異值。
12. 如請求項9至11中任一項之設備，其中該區塊匹配引擎經組態以使得：針對在該二值化影像中具有一值1之各像素，將該初始差異值指派至該像素；且針對在該二值化影像中具有一值0之各像素，將一差異值0指派至該像素。
13. 如請求項9至11中任一項之設備，其中該區塊匹配引擎經組態以使得：針對在該二值化影像中具有一值1之各像素，將該初始差異值指派至該像素；且針對在該二值化影像中具有一值0之各像素，不將差異值指派至該像素。
14. 如請求項13之設備，其中該區塊匹配引擎經組態以施加一區塊匹配技術，其中：將該第一影像中之影像元素之區塊與該第二影像中之影像元素之區塊作比較；且針對該第一影像中之各區塊，識別該第二影像中之一各自最緊密匹配區塊。
15. 如請求項13之設備，其包含將光學特徵投影於一場景上之一照明單元，其中該第一影像及該第二影像構成該場景，且其中該區塊匹配引擎經組態以施加使用基於投影於該場景上之該等光學特徵之一尺寸或節距而按比例縮放之一區塊尺寸之一區塊匹配技術。
16. 如請求項14之設備，其中該區塊匹配引擎經組態以施加其中藉由選擇相對於該特定區塊具有絕對差值之最低總和之該第二影像之一區塊來識別該第一影像中之一特定區塊之一最緊密匹配之一區塊匹配技術。