TW201721514A - 基於場景之捕獲影像而產生之距離圖 - Google Patents

基於場景之捕獲影像而產生之距離圖 Download PDF

Info

Publication number
TW201721514A
TW201721514A TW105122481A TW105122481A TW201721514A TW 201721514 A TW201721514 A TW 201721514A TW 105122481 A TW105122481 A TW 105122481A TW 105122481 A TW105122481 A TW 105122481A TW 201721514 A TW201721514 A TW 201721514A
Authority
TW
Taiwan
Prior art keywords
image
scene
segmentation
map
distance
Prior art date
Application number
TW105122481A
Other languages
English (en)
Other versions
TWI701604B (zh
Inventor
芙蘿音 庫圖
阿利瑞札 楊桑
劉欣
Original Assignee
海特根微光學公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 海特根微光學公司 filed Critical 海特根微光學公司
Publication of TW201721514A publication Critical patent/TW201721514A/zh
Application granted granted Critical
Publication of TWI701604B publication Critical patent/TWI701604B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭示用於產生一影像捕獲器件之影像元素(例如，像素)之一距離圖(例如，像差、深度或其他距離值之一圖)之技術。該距離圖係基於一初始距離圖((例如)使用一區塊或程式碼匹配演算法獲得)及一分段圖(使用一分段演算法獲得)而產生。在一些例項中，所得距離圖可沒有該初始距離圖那麼稀疏、可含有更精確距離值，及可足夠快用於即時或近即時應用。所得距離圖可被轉換成(例如)被呈現於一顯示器件上之一場景之一色彩編碼距離圖。

Description

基於場景之捕獲影像而產生之距離圖 [相關申請案之交叉參考]
本申請案主張2015年8月3日申請之美國臨時專利申請案第62/193,877號之優先權利，美國臨時專利申請案第62/193,877號之全部內容以引用的方式併入本文中。
本發明係關於影像處理及特定言之本發明係關於用於基於場景之捕獲影像而產生之距離圖之系統及技術。
各種影像處理技術可用以使用影像捕獲器件來發現一環境中之一場景之深度。可使用深度資料(例如)以控制強化實境、機器人科學、天然使用者介面技術、遊戲及其他應用。
立體匹配係其中自略微不同之觀點取得之一場景之兩個影像(一立體影像對)經匹配以發現描繪相同場景元素之影像元素之像差(位置中之差異)的一程序。像差提供關於來自攝影機之場景元素之相對距離之資訊。立體匹配使得距離(例如，一場景之物件之表面之深度)能夠被判定。包含(例如)彼此分離達一已知距離的兩個影像捕獲器件之一立體攝影機可用以捕獲該立體影像對。在一些成像系統中，使用(例如)點、線或另一圖案之一結構化圖案來照明該場景。
一般而言，結果之精確度與實行深度或距離計算所需之速度及 資源之間存在一權衡。因此，例如，在一些情況中，影像捕獲器件中之一或多個像素可被指派不正確的像差值。此外，在一些例項中，許多像素可完全不被指派一像差值使得所得像差圖(或隨後計算之距離圖)經稀疏填充。一稀疏像差圖可源於(例如)一低紋理化場景或一稀疏投射光圖案。儘管全局最佳化演算法及其他演算法可產生完全像差圖且可減輕上述問題，但全局最佳化演算法及其他演算法趨於需要更多運算資源(例如，全局最佳化演算法及其他演算法通常更慢及消耗更多電力)。由於此等演算法需要更多運算資源(例如，運算時間)，因此，此等技術不太適合於即時(例如，大約每秒30個圖框)或近即時(例如，大約每秒5個圖框)應用。
本發明描述用於產生一影像捕獲器件之影像元素(例如，像素)之一距離圖(例如，像差、深度或其他距離值之一圖)之技術。該距離圖係基於一初始距離圖((例如)使用一區塊或程式碼匹配演算法或飛行時間技術獲得)及一分段圖(使用一分段演算法獲得)而產生。在一些例項中，所得距離圖可沒有該初始距離圖那麼稀疏、可含有更精確距離值及可足夠快用於即時或近即時應用。在一些應用中，所得距離圖可轉換成呈現於一顯示器件上之一場景之一視覺距離圖。例如，更新距離圖可以圖形顯示使得不同距離值由不同色彩、交叉影線或其他視覺指示器指示。像差圖亦可在其他應用中使用，其包含距離判定或示意動作辨識。例如，所得距離圖可有利地與影像辨識一起使用以將一警示提供至一載具之驅動器或使該載具減速以避免一衝突。
在一態樣中，本發明描述一種提供一場景之一距離圖之方法。該方法包含：使用一或多個影像捕獲器件來獲取該場景之影像；及基於所獲取之影像來產生一距離圖，其中一各自初始距離值指派至至少一些個別影像元素。另外，將一分段演算法應用於所獲取之影像之至 少一者以產生一分段圖，其中影像元素分成複數個片段。一各自距離值指派至該等片段之各者，其中指派至各特定片段之該距離值基於指派至與該特定片段相關聯的個別影像元素之該等初始距離值而導出。該方法亦包含將一各自更新距離值指派至該等影像元素之各者，其中指派至各特定影像元素之該更新距離值係相同於指派至該特定影像元素係其一部分之該特定片段之該距離值。
一些實施方案包含：在一顯示器件上顯示該場景之一距離圖，其中該距離圖指示該等影像元素之該等各自更新距離值。該更新距離圖可以圖形顯示使得不同距離值由不同色彩、交叉影線或其他視覺指示器指示。例如，可顯示該場景之該更新距離圖之一色彩編碼版本，其中各色彩表示促進該距離圖之視覺觀看之一不同各自距離。
一些實施方案包含以下特徵之一或多者。例如，產生該距離圖可包含將一匹配演算法應用於所獲取之影像。該匹配演算法可使用(例如)立體匹配、區塊匹配或程式碼-字匹配。在一些例項中，該匹配演算法包含自該場景之多個所獲取之立體影像計算像差資訊。
在一些情況中，計算像差資訊包含計算該等立體影像之一第一者中之一特徵之一位置與該等立體影像之一第二者中之一相同或實質上相同特徵之一位置之間的影像元素中之一距離。該第二立體影像可經搜尋以識別該第一立體影像中之一小區域之一最接近匹配。在一些實施方案中，絕對差量技術之一加總用以識別該最接近匹配。
根據一些實施方案，該分段演算法識別一影像之區域，其中每個各自區域中之影像元素具有相同或相似色彩或灰階值及其中由該分段演算法識別之各區域界定影像元素之一相連群組。在一些情況中，該分段演算法產生一分段圖，其中基於與該特定影像元素相關聯的該片段而將一片段標籤指派至各特定影像元素。
將一各自距離值指派至該等片段之各特定一者可包含將一各自 平均值指派至各特定片段，其中各特定片段之該平均值係指派至與該特定片段相關聯的個別影像元素之大多數或所有該等初始距離值之一平均值。
本發明亦描述一種用於產生一場景之一距離圖之裝置。該裝置包含一或多個影像捕獲器件，其獲取該場景之影像。一第一引擎經組態以產生一距離圖，其中一各自初始距離值指派至至少一些個別影像元素。一分段引擎經組態以將一分段演算法應用於所獲取之影像之至少一者及產生一分段圖，其中影像元素分成複數個片段。一距離值指派引擎經組態以將一各自距離值指派至該等片段之各者，其中指派至各特定片段之該距離值基於指派至與該特定片段相關聯的個別影像元素之該等初始距離值而導出。該距離值指派引擎進一步經組態以將一各自更新距離值指派至該等影像元素之各者。指派至各特定影像元素之該更新距離值係相同於指派至該特定影像元素係其一部分之該特定片段之該距離值。在一些例項中，該裝置亦可包含一顯示器件，其經組態以顯示該場景之一距離圖，其中該距離圖指示該等影像元素之該等各自更新距離值。各種引擎可在(例如)硬體(例如，一或多個處理器或其他電路)及/或軟體中實施。
各種實施方案可提供以下優點之一或多者。例如，標的可幫助降低距離圖之稀疏性，且可幫助校正有時在距離資料中產生之不準確度。例如，即使其中經成像之場景具有低紋理或其中投射光圖案係相對稀疏，此等技術可係有用。重要的係：在一些情況中，本發明技術可提高總體運算速度，藉此減少產生具有低稀疏性之一距離圖所需的時間。因此，此處描述之技術可被應用於即時或近即時應用中。
將易於自以下「實施方式」、附圖及技術方案明白其他態樣、特徵及優點。
20‧‧‧區塊
22‧‧‧區塊
24‧‧‧區塊
26‧‧‧區塊
28‧‧‧區塊
30‧‧‧區塊
110‧‧‧系統
112‧‧‧場景
114‧‧‧光電子模組
116‧‧‧影像捕獲器件/第一成像器
116A‧‧‧第一立體攝影機/成像器/影像捕獲器件A
116B‧‧‧第二立體攝影機/成像器/影像捕獲器件B
116C‧‧‧第三影像捕獲器件/影像捕獲器件C
122‧‧‧照明源/圖案投射器
124‧‧‧即時或近即時匹配引擎
126‧‧‧平行處理單元
128‧‧‧記憶體
130‧‧‧即時影像分段引擎
132‧‧‧平行處理單元
134‧‧‧距離圖
136‧‧‧分段圖
138‧‧‧距離值指派引擎
140‧‧‧顯示器件
142‧‧‧平行處理單元
144‧‧‧飛行時間(TOF)總成
146‧‧‧專用光源/飛行時間(TOF)光源
148‧‧‧像素陣列
FOV1‧‧‧視野1
FOV2‧‧‧視野2
圖1係用於使用所獲取之影像來產生一距離圖之一方法之一流程圖。
圖2係用於使用所獲取之影像來產生一距離圖之一系統之一實例。
圖3至圖9繪示根據產生距離圖之各種實例之進一步細節。
本發明描述用於產生一影像捕獲器件中之影像元素(例如，像素)之一距離圖(例如，像差、深度或其他距離值之一圖)之技術。該距離圖係基於一初始距離圖((例如)使用一區塊或程式碼匹配演算法獲得)及一分段圖(使用一分段演算法獲得)而產生。在一些例項中，所得距離圖可沒有該初始距離圖那麼稀疏、可含有更精確距離值，及可足夠快用於即時或近即時應用。在一些應用中，所得距離圖係用以顯示一場景之一影像之一色彩編碼距離圖。
圖1繪示用於產生一距離圖(距離資料之一圖)之一程序之一流程圖。使用一或多個影像捕獲器件來獲得距離資料(例如，自像差資料導出之資料)(區塊20)。可使用(例如)立體技術來獲得距離資料，其中經由已知技術來判定至場景中之點的距離。在其他實施方案中，可使用飛行時間(TOF)技術、三角測量技術及/或結構化光技術來獲得距離資料。例如，在結構化光技術中，使用一特殊設計光圖案來照明場景。
無論使用何種技術，使用距離資料來產生一初始距離圖(例如，一像差、深度或另一距離圖)(區塊22)。用於產生來自像差資料之距離資料之演算法的實例包含區塊匹配或其他立體匹配演算法。立體視覺係基於自兩個或兩個以上觀點成像一場景，且接著發現不同影像之間的對應性，以三角測量3D位置。用於產生距離資料之演算法的其他實例包含程式碼-字匹配演算法。例如，結構化光技術係基於一或 多個光圖案之投射於由一或多個成像器件成像之一場景上。在編碼結構化光系統中，照明圖案經設計使得程式碼-字被指派至成像器件中的一組影像元素(例如，像素)。
以下段落中描述區塊匹配之一實例。然而，取決於實施方案，亦可使用匹配演算法之其他類型(例如，其他立體匹配或程式碼-字匹配演算法)。
在一些區塊匹配演算法中，藉由計算一影像中之一特徵的位置與另一影像中之相同或實質上相同特徵的位置之間之像素中的距離，而自一場景之一對立體影像來計算像差資訊。因此，該第二影像經搜尋以識別該第一影像中之一小區域(即，像素之區塊)的最接近匹配。
各種技術可用以判定兩個影像中的區域有多相似及識別最接近匹配。一種此已知技術係「絕對差量之加總」，有時稱為「SAD」。自一區塊中之對應像素之灰階值減去一樣板中之各像素之一灰階值，及計算差量之絕對值，以計算該樣板與該區塊之間之絕對差量的加總。接著，所有差量經加總以提供大致上量測兩個影像區域之間之相似性之一單一值。一更低值指示塊係更相似。計算樣板與搜尋區域中之各區塊之間的SAD值及選定具有最低SAD值的區塊以發現「最類似於」樣板的區塊。像差指稱兩個影像中之匹配區域的中心之間的距離。在一像差圖中，具有更大像差之像素更接近攝影機，及具有更小像差之像素更遠離攝影機。
如上文所提及，在其他實施方案中，不同匹配技術可被用以產生初始距離圖。例如，對於其中使用結構化光來照明場景之系統，一程式碼-字匹配演算法可被用以產生距離圖。
如圖1中所進一步展示，將一分段演算法應用於由相同或另一影像捕獲器件捕獲之該場景之一影像以產生一分段圖(區塊24)。可(例如)使用一RGB或灰階來儲存所捕獲之影像。一分段演算法識別該影 像內之區域，其中每個各自區域(即，片段)中之影像元素(例如，像素)具有相同或相似色彩或灰階值。由該分段演算法識別之各區域界定影像元素之一相連/連接群組。該分段演算法產生一分段圖，其中基於各影像元素與之相關聯的片段而將一片段標籤指派至各影像元素。可使用已知分段演算法(例如，可量化影像及可將一連接組件演算法應用於經量化之影像)。
區塊22中產生之距離圖及區塊24中產生之分段圖用以計算一距離值(例如，一像差、深度或另一距離值)及基於先前針對特定片段中之個別影像元素(例如，像素)計算之距離值而將該距離值指派至各片段(區塊26)。例如，可基於先前針對特定片段中之個別影像元素計算之距離值來計算各片段之一平均(例如，穩健平均)值。在一些例項中，當計算該平均值時，可忽略離群距離值(例如，處於一標準偏差外部之值)。在任何情況中，與一給定片段相關聯的各影像元素被指派針對該片段計算之距離值(區塊28)。因此產生一更新距離圖，其中各個別影像元素被指派一各自距離值。因此，先前未被指派一距離值之影像元素現具有指派至其等之一距離值。此外，一些影像元素可被指派不同於區塊22中之先前初始指派至其等之距離值之一更新距離值。依此方式，可產生及顯示一更新距離圖(例如)作為一三維彩色影像，其中不同色彩指示不同距離值(區塊30)。在一些實施方案中，該更新距離圖可以圖形顯示使得不同距離值由不同交叉影線或其他視覺指示器指示。
在一些例項中，(例如)在區塊26之前，可執行校準。校準可包含(例如)在(若干)深度影像與分段圖之間判定及應用一轉換。
圖2繪示用於基於一場景112之所捕獲之影像來產生一距離圖(例如，像差、深度或其他距離值之一圖)之一系統110之一實例。該系統可包含捕獲影像資料之一光電子模組114。例如，在一些情況中，模 組114具有捕獲場景112之影像的一或多個影像捕獲器件116(例如，CMOS影像感測器、CCD影像感測器或飛行時間(TOF)感測器)。在一些情況中，模組114亦可包含經配置以將照明之一圖案投射於場景112上之一相關聯照明源122。當存在時，照明源122可包含(例如)一紅外線(IR)投射器、一可見光源或可操作以將(例如，點或線之)一圖案投射於場景112中之物件上之一些其他源。照明源122可實施(例如)為一發光二極體(LED)、一紅外線(IR)LED、一有機LED(OLED)、一紅外線(IR)雷射或一垂直空腔表面發光雷射(VCSEL)。
在所繪示之實例中，來自影像捕獲器件116之影像資料經提供至一即時或近即時匹配引擎124，其使用一區塊匹配、程式碼匹配或另一匹配演算法來計算個別影像元素(例如，像素)之距離值(例如，像差、深度或其他距離值)。距離值係關於自影像捕獲器件至由影像元素表示之場景112中之(若干)物件之表面之距離。匹配引擎124(其可稱為第一引擎)因此產生可儲存於記憶體128中之一距離圖134。匹配引擎124可產生少於所有影像元素之距離值。因此，在此階段中，一些影像元素可不具有與其等相關聯之一距離值。可(例如)使用一電腦來實施匹配引擎124且匹配引擎124可包含一平行處理單元126(例如，一應用特定積體電路(ASIC)或一現場可程式閘陣列(FPGA))。在其他例項中，匹配引擎124可在軟體中(例如，在行動器件(例如，智慧型電話)之一處理器中)實施。
來自影像捕獲器件116之影像資料亦經提供至一即時影像分段引擎130，其將場景之影像之一者分割成多個片段(即，影像元素之群組)。影像分段引擎130可將物件及邊界(線、曲線等等)定位於影像中且可將一標籤指派至一影像中之每個影像元素(例如，像素)使得具有相同標籤之影像元素共用某些特性。影像分段之結果係一分段影像(即，共同覆蓋整個影像之一組片段)。一片段中之影像元素之各者相 對於一些特性或計算性質(諸如色彩、強度或紋理)而相似。通常，鄰近片段相對於(若干)相同特性而顯著不同。分段引擎130因此產生可儲存於(例如)記憶體128中之一分段圖136。可(例如)使用一電腦來實施分段引擎130且分段引擎130可包含一平行處理單元132(例如，一應用特定積體電路(ASIC)或一現場可程式閘陣列(FPGA))。在其他例項中，分段引擎130可在行動器件(例如，智慧型電話)之處理器中實施。
距離圖134及分段圖136經提供至一距離值指派引擎138，其使用距離圖資料及分段圖資料來計算一距離值(例如，一像差、深度或另一距離值)及至少部分基於先前針對特定片段中之影像元素(例如，像素)計算之距離值而將該距離值指派至各片段。例如，如上文所描述，距離值指派引擎138可基於先前針對特定片段中之個別影像元素計算之距離值來計算各片段之一平均值。與一給定片段相關聯的各影像元素被指派該片段之距離值。距離值指派引擎138因此產生一更新距離圖，其中每個影像元素具有一各自距離值。因此，先前未被指派一距離值之影像元素現具有指派至其等之一距離值。此外，一些影像元素可被指派不同於由匹配引擎124初始指派至其等之距離值之一更新距離值。
亦可(例如)使用一電腦來實施距離值指派引擎138且距離值指派引擎138可包含一平行處理單元142(例如，一應用特定積體電路(ASIC)或一現場可程式閘陣列(FPGA))。在其他例項中，距離值指派引擎138可在行動器件(例如，智慧型電話)之處理器中實施。儘管各種引擎124、130、138及記憶體128在圖2中展示為與模組114分離，但在一些實施方案中，引擎124、130、138及記憶體128可整合為模組114之部分。例如，引擎124、130、138及記憶體128可連同影像捕獲器件116一起實施為安裝於模組114內之一印刷電路板(PCB)上之一或 多個積體電路晶片。此外，在一些情況中，照明源122可與容置影像捕獲器件116之模組114分離。模組114亦可包含控制(例如)照明源何時打開或關閉(即，何時投射一圖案)及/或影像捕獲器件116何時獲取影像之時序的其他處理及控制電路。此電路亦可在(例如)安裝於相同於影像捕獲器件116之PCB上之一或多個積體電路晶片中實施。
可將更新距離圖提供至一顯示器件(例如，一監測器或顯示螢幕)140，其將更新距離圖呈現為(例如)一三維彩色影像。不同色彩可表示不同距離值。因此，在一些情況中，呈現於顯示器件140上之三維影像可表示不同像差值，而在其他情況中，呈現於顯示器件140上之三維影像可表示不同深度值。
以下段落使用不同模組(例如，具有不同數目及/或類型之成像器之模組)來繪示各種具體實施方案。一些模組包含將一圖案投射於場景中之物件上之一照明源，而其他模組可不包含此一照明源。
例如，圖3繪示一實例，其中模組包含第一立體攝影機及第二立體攝影機116A、116B作為影像捕獲器件。立體攝影機116A、116B彼此分離達一已知距離且經配置使得其等之各自視野(FOV1、FOV2)實質上重疊。在此實例中，攝影機116A、116B對周圍光(即，光譜之可見部分中之RGB光)敏感，且可感測由場景112反射之周圍光。在此方案中，由立體攝影機116A、116B兩者捕獲之影像被提供至匹配引擎124，其實施一區塊匹配或另一立體匹配演算法及產生一初始像差圖。來自攝影機116A、116B之至少一者之一影像被提供至分段引擎130以產生分段圖。對於此一立體影像系統，由引擎138產生之更新距離值圖可呈指示影像元素(例如，像素)之像差值之一像差圖的形式。
圖4繪示一實例，其中模組包含第一立體攝影機及第二立體攝影機116A、116B，以及一第三影像捕獲器件116C(例如，一高解析度影像感測器)。立體攝影機116A、116B彼此分離達一已知距離且經配置 使得其等之各自視野(FOV1、FOV2)實質上重疊。在此實例中，攝影機116A、116B對周圍光(即，光譜之可見部分中之RGB光)敏感，且可感測由場景112反射之周圍光。在此方案中，由立體攝影機116A、116B兩者捕獲之影像被提供至匹配引擎124，其實施一區塊匹配或另一立體匹配演算法及產生一初始像差圖。由第三影像捕獲器件116C捕獲之場景112之一影像被提供至分段引擎130，其產生分段圖。對於此一立體影像系統，由引擎138產生之更新距離值圖可呈指示影像元素(例如，像素)之像差值之一像差圖的形式。
圖5繪示一實例，其中模組包含第一立體攝影機及第二立體攝影機116A、116B、一第三影像捕獲器件116C(例如，一高解析度影像感測器)及可操作以將一IR圖案投射於場景112上之一圖案投射器122。立體攝影機116A、116B彼此分離達一已知距離且經配置使得其等之各自視野(FOV1、FOV2)實質上重疊。在此實例中，攝影機116A、116B對IR照明敏感，且可感測來自場景112之IR輻射。在此方案中，當投射器122打開時，由立體攝影機116A、116B捕獲之影像被提供至匹配引擎124，其實施一區塊匹配或另一立體匹配演算法及產生一初始像差圖。由第三影像捕獲器件116C捕獲之場景112之一影像被提供至分段引擎130，其產生分段圖。若第三影像捕獲器件116C亦對IR輻射敏感，則當投射器122關閉時(即，未將一圖案投射於場景112上)，由第三影像捕獲器件116C捕獲之場景112之一影像應被提供至分段引擎130。另一方面，若第三影像捕獲器件116C對周圍光(即，光譜之可見部分中之光)敏感但不對由圖案投射器122產生之IR輻射敏感，則即使當投射器122打開時(即，將一圖案投射於場景112上)，被提供至分段引擎130之影像可由第三影像捕獲器件116C捕獲。對於此一立體影像系統，由引擎138產生之更新距離值圖可呈指示影像元素(例如，像素)之像差值之一像差圖的形式。
圖6繪示一實例，其中模組包含第一立體攝影機及第二立體攝影機116A、116B作為影像捕獲器件以及一圖案投射器122。立體攝影機116A、116B彼此分離達一已知距離且經配置使得其等之各自視野(FOV1、FOV2)實質上重疊。在此實例中，攝影機116A、116B對周圍光(即，光譜之可見部分中之RGB光)以及由投射器122產生之依一波長之光(例如，IR)敏感。因此，攝影機116A、116B可感測周圍光以及由場景112反射之IR光。在此方案中，當投射器122打開且接著關閉(或關閉且接著打開)時循序影像藉由成像器116A、116B捕獲。特定言之，當投射器打開時(即，將一圖案投射於場景112上)由立體攝影機116A、116B兩者捕獲之影像經提供至匹配引擎124，其實施一區塊匹配或另一立體匹配演算法及產生一初始像差圖。另外，當投射器122關閉時(即，未將一圖案投射於場景112上)由攝影機116A或116B之至少一者捕獲之一影像經提供至分段引擎130。此實施方案對於靜態場景可係有用。在此一立體影像系統中，由引擎138產生之更新距離值圖可呈指示影像元素(例如，像素)之像差值的一像差圖之形式。
圖7繪示一實例，其中模組可僅包含一單一攝影機116作為影像捕獲器件以及一圖案投射器122。在此實例中，攝影機116對周圍光(即，光譜之可見部分中之RGB光)以及由投射器122產生之依一波長之光(例如，IR)敏感。因此，攝影機116可感測周圍光以及由場景112反射之IR光。在此方案中，當投射器122打開且接著關閉(或關閉且接著打開)時循序影像藉由成像器116捕獲。特定言之，當投射器打開時(即，將一IR圖案投射於場景112上)由攝影機116捕獲之一深度影像經提供至匹配引擎124，其實施(例如)一程式碼-字匹配演算法及產生一距離圖。另外，當投射器122關閉時(即，未將該IR圖案投射於場景112上)由攝影機116捕獲之一影像經提供至分段引擎130，其產生分段圖。此實施方案對於靜態場景亦可係有用。如上文所描述，引擎138 產生指示影像元素(例如，像素)之距離值的一更新距離圖。
圖8繪示一實例，其中模組包含第一攝影機及第二攝影機116A、116B作為影像捕獲器件以及一圖案投射器122。在此實例中，攝影機116A之一者僅對由投射器122產生之依一波長之光(例如，IR)敏感但不對光譜之可見部分中之RGB光敏感。相比而言，第二攝影機116B僅對周圍光(即，光譜之可見部分中之RGB光)敏感但不對IR敏感。因此，第一攝影機116A僅感測由場景112反射之IR光而第二攝影機116B僅感測由場景112反射之光譜之可見部分中之周圍光。在此方案中，當投射器122打開時影像可藉由成像器116A、116B兩者同時捕獲。因此，不需要循序成像(儘管此處亦可使用循序成像)。特定言之，當投射器打開時(即，將一IR圖案投射於場景112上)由第一攝影機116A捕獲之一深度影像經提供至匹配引擎124，其實施(例如)一程式碼-字匹配演算法及產生一初始距離圖。另外，當投射器122打開時(即，將該IR圖案投射於場景112上)由第二攝影機116B捕獲之一影像經提供至分段引擎130，其產生分段圖。由於第二攝影機116B不對IR輻射敏感，因此其不對由投射器122投射於場景112上之IR圖案敏感。如上文所描述，引擎138產生指示影像元素(例如，像素)之距離值的一更新距離圖。
圖9繪示一實例，其中模組包含一第一成像器116(例如，一高解析度影像感測器)及一飛行時間(TOF)總成144。TOF總成144包含將光投射於物件上之一專用(例如，調變)光源146及一像素陣列(例如，解調變像素)148。較佳地，第一成像器116不對由TOF光源146發射之光(例如，IR)之(若干)波長敏感但代以對光譜之可見部分中之RGB光敏感。在一些例項中，TOF總成144可具有相對較低之解析度。基於TOF之系統可提供深度及/或距離資訊且可基於(例如)發射強度調變光(其由一或多個物件反射)之相位量測技術。經反射之光經成像於一感 測器上及光生電子在該感測器中解調變。基於相位資訊，藉由處理與該感測器相關聯之電路以判定各像素之至場景中之一點之距離。可因此產生一深度圖，其在一些情況中可相對稀疏。由第一成像器116捕獲之一影像亦可經提供至分段引擎130，其產生分段圖。引擎138產生指示影像元素(例如，像素)之深度值的一更新深度圖。
在一些情況中，此處描述之技術可適合於即時應用，其中一電腦程序之輸出(即，顯現)呈現至使用者使得使用者歸因於電腦處理限制而觀察到無明顯延遲。例如，該等技術可適合於大約每秒至少30個圖框之即時應用或大約每秒至少5個圖框之近即時應用。
在一些實施方案中，像差圖可用作為用於距離判定之輸入。例如，在汽車工業之背景中，像差圖可與識別及/或區分在載具之路徑中出現的不同類型之物件(例如，一人、動物或另一物件)之影像辨識技術一起使用。物件之性質(如藉由影像辨識所判定)及其距離載具(如藉由像差圖所指示)之距離可由載具之作業系統使用以對(例如)載具之路徑中的一物件、動物或行人之驅動器產生一可聽或視覺警示。在一些情況中，載具之作業系統可使載具自動減速以避免一衝突。
此處描述之技術亦可有利地用於示意動作辨識應用。例如，使用本發明之技術產生之像差圖可增強模組或行動器件區分一人之手之不同指(即，手指)之能力。這可促進基於(例如)所延伸之手指之數目(例如，一個、兩個或三個)而彼此區分之示意動作之使用。因此，僅使用一單一延伸手指之一示意動作可辨識為藉由行動器件觸發一第一動作之一第一類型之示意動作，而使用兩個延伸手指之一示意動作可辨識為藉由行動器件觸發一不同第二動作之一第二類型之示意動作。類似地，僅使用三個延伸手指之一示意動作可辨識為藉由行動器件觸發一不同第三動作之一第三類型之示意動作。
此處描述之各種實施方案可在以下各者中實現：數位電子電 路、積體電路、特殊設計ASIC(應用特定積體電路)、電腦硬體、韌體、軟體及/或其等之組合。此等各種實施方案可包含可在包含至少一可程式化處理器的一可程式化系統上執行及/或解譯之一或多個電腦程式中之實施方案；該可程式化處理器可係專用或通用、經耦合以自一儲存系統、至少一輸入器件及至少一輸出器件接收資料及指令及將資料及指令傳輸至一儲存系統、至少一輸入器件及至少一輸出器件。
此等電腦程式(亦稱為程式、軟體、軟體應用或程式碼)包含用於一可程式化處理器之機器指令且可在一高階程序及/或物件導向程式設計語言及/或在組合/機器語言中實施。如本文所使用，術語「機器可讀媒體」「電腦可讀媒體」指稱用以將機器指令及/或資料提供至一可程式化處理器之任何電腦程式產品、裝置及/或器件(例如，磁碟、光碟、記憶體、可程式化邏輯器件(PLD))，其包含接收機器指令作為一機器可讀信號之一機器可讀媒體。術語「機器可讀信號」指稱用以將機器指令及/或資料提供至一可程式化處理器之任何信號。
上述特徵之各種修改及組合應易於自本發明明白且落入本發明之精神內。相應地，其他實施方案落入申請專利範圍之範疇內。
110‧‧‧系統
112‧‧‧場景
114‧‧‧光電子模組
116‧‧‧影像捕獲器件
122‧‧‧照明源
124‧‧‧即時或近即時匹配引擎
126‧‧‧平行處理單元
128‧‧‧記憶體
130‧‧‧即時影像分段引擎
132‧‧‧平行處理單元
134‧‧‧距離圖
136‧‧‧分段圖
138‧‧‧距離值指派引擎
140‧‧‧顯示器件
142‧‧‧平行處理單元

Claims (16)

  1. 一種產生一場景之一距離圖之方法，該方法包括：使用一或多個影像捕獲器件來獲取該場景之影像；基於所獲取之影像來產生一距離圖，其中一各自初始距離值被指派至至少一些個別影像元素，其中產生一距離圖包含將一匹配演算法應用於所獲取之影像；將一分段演算法應用於所獲取之影像之至少一者以產生一分段圖，其中影像元素被分成複數個片段；將一各自距離值指派至該等片段之各者，其中被指派至各特定片段之該距離值係基於經指派至與該特定片段相關聯之個別影像元素之該等初始距離值而導出；將一各自更新距離值指派至該等影像元素之各者，其中被指派至各特定影像元素之該更新距離值係相同於被指派至該特定影像元素係其一部分之該特定片段之該距離值；及在一顯示器件上顯示該場景之一距離圖，其中該距離圖使用色彩編碼來指示該等影像元素之該等各自更新距離值，其中各色彩表示一不同各自距離。
  2. 如請求項1之方法，其中該分段演算法識別一影像之區域，其中每個各自區域中之影像元素具有相同或相似色彩或灰階值，且其中由該分段演算法識別之各區域界定影像元素之一相連群組。
  3. 如請求項1之方法，其中該分段演算法產生一分段圖，其中基於與該特定影像元素相關聯之該片段而將一片段標籤指派至各特定影像元素。
  4. 如請求項1之方法，其包含： 使用複數個立體影像感測器來獲取該場景之影像；使用來自該等立體影像感測器之一第一者之一第一影像及來自該等立體影像感測器之一第二者之一第二影像來應用該匹配演算法；及使用該第一影像或該第二影像之至少一者來應用該分段演算法。
  5. 如請求項1之方法，其包含：使用一第一立體影像感測器來獲取該場景之一第一影像，及使用一第二立體影像感測器來獲取該場景之一第二影像；使用該第一影像及該第二影像來應用該匹配演算法；使用一第三影像感測器來獲取該場景之一第三影像；及使用該第三影像來應用該分段演算法。
  6. 如請求項1之方法，其包含：將一紅外線圖案投射於該場景上；當該紅外線圖案被投射於該場景上時，使用一第一立體影像感測器來獲取該場景之一第一影像，及當該紅外線圖案被投射於該場景上時，使用一第二立體影像感測器來獲取該場景之一第二影像，其中該第一立體影像感測器及該第二立體影像感測器對紅外線輻射及該光譜之該可見部分中的光敏感；使用該第一影像及該第二影像來應用該匹配演算法；當該紅外線圖案未被投射於該場景上時，使用該第一立體影像感測器或該第二立體影像感測器來獲取該場景之一第三影像；及使用該第三影像來應用該分段演算法。
  7. 如請求項1之方法，其包含：將一紅外線圖案投射於該場景上； 當該紅外線圖案被投射於該場景上時，使用一第一影像感測器來獲取該場景之一第一影像，其中該第一影像感測器對紅外線輻射及該光譜之該可見部分中的光敏感；使用該第一影像來應用該匹配演算法；當該紅外線圖案未被投射於該場景上時，使用該第一影像感測器來獲取該場景之一第二影像；及使用該第二影像來應用該分段演算法。
  8. 如請求項1之方法，其包含：將一紅外線圖案投射於該場景上；當該紅外線圖案被投射於該場景上時，使用一第一影像感測器來獲取該場景之一第一影像，及使用一第二影像感測器來獲取該場景之一第二影像，其中該第一影像感測器對紅外線輻射敏感但不對該光譜之該可見部分中之光敏感，及其中該第二影像感測器對該光譜之該可見部分中之光敏感但不對該紅外線輻射敏感；使用該第一影像來應用該匹配演算法；及使用該第二影像來應用該分段演算法。
  9. 一種用於產生一場景之一距離圖之裝置，該裝置包括：一或多個影像捕獲器件，其獲取該場景之影像；一第一引擎，其包括一或多個處理器，該第一引擎經組態以產生一距離圖，其中一各自初始距離值被指派至至少一些個別影像元素，該第一引擎可操作以藉由將一匹配演算法應用於所獲取之影像來產生該距離圖；一分段引擎，其包括一或多個處理器，該分段引擎經組態以將一分段演算法應用於所獲取之影像之至少一者及產生一分段圖，其中影像元素被分成複數個片段； 一距離值指派引擎，其包括一或多個處理器，該距離值指派引擎經組態以：將一各自距離值指派至該等片段之各者，其中被指派至各特定片段之該距離值係基於被指派至與該特定片段相關聯之個別影像元素之該等初始距離值而導出；及將一各自更新距離值指派至該等影像元素之各者，其中被指派至各特定影像元素之該更新距離值係相同於被指派至該特定影像元素係其一部分之該特定片段之該距離值；及一顯示器件，其可操作以顯示該場景之一距離圖，其中該距離圖指示該等影像元素之該等各自更新距離值。
  10. 如請求項9之裝置，其包含：複數個立體影像感測器，其等獲取該場景之影像；其中該第一引擎經組態以使用來自該等立體影像感測器之一第一者之一第一影像及來自該等立體影像感測器之一第二者之一第二影像來應用該匹配演算法，以產生該初始距離圖；及其中該分段引擎經組態以使用該第一影像或該第二影像之至少一者來應用該分段演算法，以產生該分段圖。
  11. 如請求項9之裝置，其包含：複數個立體影像感測器，其等獲取該場景之影像；及一第三影像感測器，其獲取該場景之影像；其中該第一引擎經組態以將該匹配演算法應用於由該等立體影像感測器獲取之影像，以產生該初始距離圖；及其中該分段引擎經組態以將該分段演算法應用於由該第三影像感測器獲取之一影像，以產生該分段圖。
  12. 如請求項9之裝置，其包含：一紅外線投射器，其將一紅外線圖案投射於該場景上； 複數個立體影像感測器，其中當該紅外線圖案被投射於該場景上時，該等立體影像感測器之一第一者經控制以獲取該場景之一第一影像，及其中當該紅外線圖案被投射於該場景上時，該等立體影像感測器之一第二者經控制以獲取該場景之一第二影像，其中該第一立體影像感測器及該第二立體影像感測器對紅外線輻射敏感；及一第三影像感測器；其中該第一引擎經組態以將該匹配演算法應用於該第一影像及該第二影像，以產生該初始距離圖；及該分段引擎經組態以將該分段演算法應用於由該第三影像感測器獲取之一第三影像，以產生該分段圖。
  13. 如請求項9之裝置，其包含：一紅外線投射器，其將一紅外線圖案投射於該場景上；及複數個立體影像感測器，其等對紅外線輻射及該光譜之該可見部分中之光敏感，其中當該紅外線圖案被投射於該場景上時，該等立體影像感測器之一第一者經控制以獲取該場景之一第一影像，及其中當該紅外線圖案被投射於該場景上時，該等立體影像感測器之一第二者經控制以獲取該場景之一第二影像；其中該第一引擎經組態以將該匹配演算法應用於該第一影像及該第二影像，以產生該初始距離圖；其中該第一立體影像感測器或該第二立體影像感測器之至少一者經控制以當該紅外線圖案未被投射於該場景上時，獲取該場景之一第三影像；及其中該分段引擎經組態以使用該第三影像來應用該分段演算法，以產生該分段圖。
  14. 如請求項9之裝置，其包含：一紅外線投射器，其將一紅外線圖案投射於該場景上；及一第一影像感測器，其對紅外線輻射及該光譜之該可見部分中之光敏感，其中該第一影像感測器經控制以當該紅外線圖案被投射於該場景上時獲取該場景之一第一影像，及當該紅外線圖案未被投射於該場景上時使用該第一影像感測器來獲取該場景之一第二影像；其中該第一引擎經組態以使用該第一影像來應用該匹配演算法，以產生該初始距離圖；及其中該分段引擎經組態以使用該第二影像來應用該分段演算法，以產生該分段圖。
  15. 如請求項9之裝置，其包含：一紅外線投射器，其將一紅外線圖案投射於該場景上；及複數個影像感測器，其中該等影像感測器之一第一者對紅外線輻射敏感但不對該光譜之該可見部分中之光敏感，及其中該等影像感測器之一第二者對該光譜之該可見部分中之光敏感但不對該紅外線輻射敏感；其中該第一影像感測器及該第二影像感測器經控制以當該紅外線圖案被投射於該場景上時，分別獲取該場景之一第一影像及該場景之一第二影像；其中該第一引擎經組態以使用該第一影像來應用該匹配演算法，以產生該初始距離圖；及該分段引擎經組態以使用該第二影像來應用該分段演算法，以產生該分段圖。
  16. 如請求項9之裝置，其中：該分段引擎經組態以識別一影像之區域，其中每個各自區域 中之影像元素具有相同或相似色彩或灰階值，且其中由該分段引擎識別之各區域界定影像元素之一相連群組，其中該分段引擎進一步經組態以產生一分段圖，其中基於與該特定影像元素相關聯之該片段來將一片段標籤指派至各特定影像元素，及其中該距離值指派引擎經組態以將一各自平均值指派至各特定片段，其中各特定片段之該平均值係經指派至與該特定片段相關聯之個別影像元素之大多數或所有該等初始距離值之一平均值。
TW105122481A 2015-07-17 2016-07-15 產生場景之距離圖之方法及裝置 TWI701604B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562193877P 2015-07-17 2015-07-17
US62/193,877 2015-07-17

Publications (2)

Publication Number Publication Date
TW201721514A true TW201721514A (zh) 2017-06-16
TWI701604B TWI701604B (zh) 2020-08-11

Family

ID=57834362

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105122481A TWI701604B (zh) 2015-07-17 2016-07-15 產生場景之距離圖之方法及裝置

Country Status (3)

Country Link
US (1) US10510149B2 (zh)
TW (1) TWI701604B (zh)
WO (1) WO2017014691A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI678681B (zh) * 2018-05-15 2019-12-01 緯創資通股份有限公司 產生深度圖的方法及其影像處理裝置與系統
US10699430B2 (en) 2018-10-09 2020-06-30 Industrial Technology Research Institute Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof
CN111684304A (zh) * 2017-12-04 2020-09-18 ams 国际有限公司 距离飞行时间模组

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3551279B8 (en) * 2016-12-07 2023-10-11 Cortigent, Inc. Depth filter for visual prostheses
US9992472B1 (en) 2017-03-13 2018-06-05 Heptagon Micro Optics Pte. Ltd. Optoelectronic devices for collecting three-dimensional data
US10666927B2 (en) 2017-03-15 2020-05-26 Baker Hughes, A Ge Company, Llc Method and device for inspection of an asset
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックＩｐマネジメント株式会社 画像認識装置
US20190068853A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
US10535151B2 (en) 2017-08-22 2020-01-14 Microsoft Technology Licensing, Llc Depth map with structured and flood light
US10366531B2 (en) * 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
US10529128B1 (en) * 2018-04-27 2020-01-07 Facebook Technologies, Llc Apparatus, system, and method for mapping a 3D environment
US10452947B1 (en) * 2018-06-08 2019-10-22 Microsoft Technology Licensing, Llc Object recognition using depth and multi-spectral camera
US11564678B2 (en) 2018-07-16 2023-01-31 Cilag Gmbh International Force sensor through structured light deflection
US10867408B1 (en) * 2018-07-23 2020-12-15 Apple Inc. Estimation of spatial relationships between sensors of a multi-sensor device
US10909373B1 (en) 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
US11373322B2 (en) * 2019-12-26 2022-06-28 Stmicroelectronics, Inc. Depth sensing with a ranging sensor and an image sensor
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
WO2021154265A1 (en) 2020-01-30 2021-08-05 Hewlett-Packard Development Company, L.P. Greyscale images
US11899124B2 (en) * 2020-04-17 2024-02-13 Raytheon Company Interface for realtime, 3D radar activity visualization

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
GB0125774D0 (en) 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
CN1914643A (zh) * 2004-02-03 2007-02-14 皇家飞利浦电子股份有限公司 创建一种深度图
GB2417628A (en) 2004-08-26 2006-03-01 Sharp Kk Creating a new image from two images of a scene
GB2418314A (en) 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
EP2309452A1 (en) 2009-09-28 2011-04-13 Alcatel Lucent Method and arrangement for distance parameter calculation between images
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US8582866B2 (en) * 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030602A2 (en) * 2010-09-02 2012-03-08 Edge3 Technologies, Inc. Method and apparatus for performing segmentation of an image
EP2509324A1 (en) 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
US20130071008A1 (en) * 2011-09-15 2013-03-21 National Taiwan University Image conversion system using edge information
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US8605993B2 (en) 2011-11-21 2013-12-10 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
KR101918057B1 (ko) 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
US9117295B2 (en) 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
US20140192158A1 (en) * 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
US20140241612A1 (en) * 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
TWI498526B (zh) * 2013-06-05 2015-09-01 Nat Univ Chung Cheng Environment depth measurement method and its image acquisition device
IN2013CH05313A (zh) 2013-11-18 2015-05-29 Nokia Corp
TWI534755B (zh) 2013-11-20 2016-05-21 財團法人資訊工業策進會 三維立體模型之建立方法和裝置
US10554956B2 (en) * 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684304A (zh) * 2017-12-04 2020-09-18 ams 国际有限公司 距离飞行时间模组
CN111684304B (zh) * 2017-12-04 2024-06-04 ams国际有限公司 距离飞行时间模组
TWI678681B (zh) * 2018-05-15 2019-12-01 緯創資通股份有限公司 產生深度圖的方法及其影像處理裝置與系統
US10769805B2 (en) 2018-05-15 2020-09-08 Wistron Corporation Method, image processing device, and system for generating depth map
US10699430B2 (en) 2018-10-09 2020-06-30 Industrial Technology Research Institute Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof

Also Published As

Publication number Publication date
US20180204329A1 (en) 2018-07-19
WO2017014691A1 (en) 2017-01-26
TWI701604B (zh) 2020-08-11
US10510149B2 (en) 2019-12-17

Similar Documents

Publication Publication Date Title
TWI701604B (zh) 產生場景之距離圖之方法及裝置
US11115633B2 (en) Method and system for projector calibration
US20150256813A1 (en) System and method for 3d reconstruction using multiple multi-channel cameras
CA2786439C (en) Depth camera compatibility
CA2786436C (en) Depth camera compatibility
US20190012789A1 (en) Generating a disparity map based on stereo images of a scene
US20180213201A1 (en) Generating a disparity map based on stereo images of a scene
EP2869266A1 (en) Method and apparatus for generating depth map of a scene
US20140118556A1 (en) Detection system
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP7078173B2 (ja) 画像処理装置及び３次元計測システム
TW201724027A (zh) 產生具有減少過度平滑之視差圖
US20140375821A1 (en) Detection system
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
US11391843B2 (en) Using time-of-flight techniques for stereoscopic image processing
JP5336325B2 (ja) 画像処理方法
WO2019066724A1 (en) LIGHT PROJECTION SYSTEMS
JP2016061622A (ja) 情報処理システム、及び情報処理方法