TW201544848A - 包括用於不同波長之獨立成像器之結構化立體成像組件 - Google Patents

包括用於不同波長之獨立成像器之結構化立體成像組件 Download PDF

Info

Publication number
TW201544848A
TW201544848A TW104111022A TW104111022A TW201544848A TW 201544848 A TW201544848 A TW 201544848A TW 104111022 A TW104111022 A TW 104111022A TW 104111022 A TW104111022 A TW 104111022A TW 201544848 A TW201544848 A TW 201544848A
Authority
TW
Taiwan
Prior art keywords
imager
arrays
sub
array
imagers
Prior art date
Application number
TW104111022A
Other languages
English (en)
Inventor
Moshe Doron
Ohad Meitav
Markus Rossi
Dmitry Ryuma
Alireza Yasan
Original Assignee
Heptagon Micro Optics Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heptagon Micro Optics Pte Ltd filed Critical Heptagon Micro Optics Pte Ltd
Publication of TW201544848A publication Critical patent/TW201544848A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本發明描述包含用於不同波長之獨立成像器之結構化立體成像組件。該成像組件可包含(例如)多重成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器。從該等成像器取得之影像可經處理以獲得深度資訊及/或改良之精確性。描述各種可促進判定該等成像器或子陣列之任何者是否未對準之技術。

Description

包括用於不同波長之獨立成像器之結構化立體成像組件
本發明係有關於包含用於不同波長之獨立成像器之結構化立體成像組件。
可使用各種技術來產生具有各種照明條件及紋理之三維(3D)影像。例如，在一結構化光組件中，一圖案被投影至一受測物上從而獲得該圖案之一影像，比較所投影之圖案與所收集之圖案且使得該兩種圖案之間之差異與深度資訊相關聯。換言之，使得圖案中之失真與深度相關聯。此技術可用於低光及低紋理物件或場景。在結構化光組件中，投影圖案通常使用紅外線(IR)輻射。然而，當環境IR高時(例如，戶外)不易於使用投影IR技術。此外，投影IR圖案通常不可在長距離下投影，且系統之精確性趨向於對投影圖案之精確性高度敏感。(例如)當部分圖案由正經成像之物件或場景的一輪廓或特徵遮擋時可出現此情況。
立體影像擷取係產生3D深度資訊之另一技術。立體影像擷取需要藉由一基線距離(B)空間分離之兩個成像器。根據：Z=(FxB)/D可從各影像中之匹配像素之間之測量像差(D)及成像器之焦距(F)中提取深度資訊(Z)。需要物件或場景之獨特特徵及/或強度(諸如紋理)來促進兩個影像中之像素之匹配。因此，立體像素匹配對於具有低紋理之物 件或場景或低光場景(其中紋理差異之可觀察到之特徵及強度被減少)尤其係一挑戰。一物件或場景通常可擁有高及低紋理或高及低光區域，其中立體與結構化光影像擷取兩者之組合可用於產生整個場景之深度資訊。
結構化立體(亦被稱為主動式立體)組合結構化光與立體影像擷取兩者之優點。在結構化立體組件中，一圖案被投影至一受測物上，且藉由兩個空間分離成像器(例如，IR成像器)收集該圖案之影像。藉由兩個(或兩個以上)成像器之圖案擷取可消除圖案遮擋的問題。再者，在低紋理及低光場景中，投影圖案模擬像素之立體匹配所需之關鍵場景紋理。接著，使得像素之間之像差與深度相關聯。在一些情況中，可使得收集圖案之間之像差與深度相關聯。
此外，更先進之結構化立體實施例組合影像投影(例如，IR)及圖案促進立體匹配與額外立體影像擷取(例如，RGB)。此一實施用於收集特徵在於低及高紋理及/或低及高照明特徵兩者之一場景之深度資訊。採用結構化立體及額外立體影像擷取兩者來校正各方法之缺陷。 特定言之，來自一場景之低紋理/低光區域中之深度資訊與來自一場景之高紋理/高光區域中之深度資訊組合，其中各者分別藉由結構化立體(例如，IR)及額外立體影像擷取(例如，RGB)來收集。
採用結構化光組合或結構化立體之一些成像組件投影一IR圖案且使用一IR/RGB彩色濾光器陣列(CFA)收集影像，其中RGB係指光譜之可見部分中之紅色(R)、綠色(G)及藍色(B)光，且其中成像器之IR及RGB敏感區域係鄰近的(即，相同馬賽克或CFA之部分)。使用此一組合IR/RGB CFA之一成像組件可呈現各種問題。首先，從成像器之IR像素至RGB像素之串擾可係嚴重的，此可導致降低品質之影像。此外，組合IR/RGB CFA大體上排除併入專屬(例如，波長特定)光學元件，諸如專為IR、紅色、綠色或藍色光設計之透鏡。因此，可產生諸 如色度色差之色差。為了收集IR輻射，組合IR/RGB成像器通常不具有IR截止濾光器。因此，RGB像素可感測許多IR輻射，從而導致嚴重雜訊。
可在諸如結構化立體組件之空間分離成像成像器中出現之另一問題係未對準。未對準對所收集之深度資訊之精確性尤其有害。成像組件之校準通常在到達終端使用者之前(例如，在組件離開製造工廠之前)發生。然而在正常使用期間，使用者可能令成像組件掉落，使得一些成像器未對準。
本發明描述包含用於不同波長之獨立成像器之結構化立體成像組件。
例如，在一態樣中，一結構化立體成像組件包含多重成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器。成像器子陣列之各者可安裝於一支撐物上。
一些實施包含一或多個下列特徵。例如，各成像器子陣列可包含一IR敏感成像器及一RGB敏感成像器。在一些情況中，成像組件包含兩個以上成像器子陣列之一陣列，其等之各者包含IR、UV、RGB及/或單色成像器之一組合。在一些實施中，成像組件包含經配置以將一IR圖案投影至一三維物件上之一或多個光投影單元。若存在多重圖案投影單元，則其等可具有彼此不同之光學特性。
在一些情況中，一或多個處理器可共同操作以從成像器子陣列中獲得信號，該等信號共同允許處理器產生下列之一或多者：(i)基於從第一成像器中取得之影像之一立體影像，(ii)基於從第二成像器中取得之影像之一立體IR影像，(iii)基於回應於由圖案投影單元投影之光圖案而取得之影像之一立體影像，或(iv)基於回應於由圖案投影 單元投影之光圖案而取得之影像之一非立體影像。
描述在各自子陣列中具有成像器之不同組合之成像組件。例如，在一些情況中，成像組件包含第一、第二及第三成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器。在一些例項中，成像組件包含第一及第二成像器子陣列，其等之各者包含一第一RGB敏感成像器、一第二IR敏感成像器及一第三IR敏感成像器，其中該等第二及第三IR敏感成像器對IR光譜之不同、各自部分敏感。在一些實施中，成像組件包含第一及第二成像器子陣列，其等之各者包含一第一RGB敏感成像器、一第二RGB敏感成像器及一第三IR敏感成像器，其中第一或第二RGB敏感成像器之一者包含一中性密度濾光器。一或多個處理器可共同從子陣列中之成像器之不同者中取得影像且可處理該等取得之影像(例如)以獲得改良之深度資訊及/或改良之精確性。
在一些例項中，該等技術可包含匹配從不同子陣列(或子陣列之組群)中取得之影像、識別經匹配影像之像素位置中之像差、使得像差與深度相關聯，且產生一深度映圖。
本發明亦描述各種可促進判定成像器或子陣列之任何者是否未對準之技術。例如，在一態樣中，一成像組件包含多重成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器。一或多個處理器經組態以基於來自成像器陣列中之信號而共同獲得陣列內及陣列間資訊，該資訊包含陣列內深度資訊。該(等)處理器可比較陣列內深度資訊與陣列間深度資訊且基於該比較而判定該等成像器子陣列之一者是否未對準。
即使在低光條件下，一些實施亦可獲取低紋理物件及/或其中IR輻射相對較高之物件之影像之諸如高品質3D成像之結構化及立體優 點兩者。
從下列詳細描述，隨附圖式及技術方案中將明白其他態樣、特徵及優勢。
10‧‧‧成像組件
12A‧‧‧子陣列
12B‧‧‧子陣列
12C‧‧‧子陣列
14A‧‧‧成像器
14AA‧‧‧第一IR敏感成像器
14AB‧‧‧第二IR敏感成像器
14B‧‧‧成像器
14BA‧‧‧第一IR敏感成像器
14BB‧‧‧第二IR敏感成像器
14C‧‧‧成像器
16‧‧‧RGB成像器
16A‧‧‧成像器
16AA‧‧‧第一RGB敏感成像器
16AB‧‧‧第二RGB敏感成像器
16BA‧‧‧第一RGB敏感成像器
16BB‧‧‧第二RGB敏感成像器
16B‧‧‧成像器
16C‧‧‧成像器
18‧‧‧圖案投影單元/光投影單元
18A‧‧‧第一光投影單元
18B‧‧‧第二光投影單元
20‧‧‧處理器
20A‧‧‧處理器
21‧‧‧主機裝置
22‧‧‧物件
22A‧‧‧第一物件
22B‧‧‧第二物件
24‧‧‧光
26‧‧‧IR輻射
28‧‧‧IR圖案
28A‧‧‧照明
28B‧‧‧照明
30‧‧‧深度資訊
32‧‧‧深度資訊
34‧‧‧深度資訊
36‧‧‧校準
102‧‧‧區塊
104‧‧‧區塊
106‧‧‧區塊
108‧‧‧區塊
110‧‧‧區塊
112‧‧‧區塊
114‧‧‧區塊
116‧‧‧區塊
202‧‧‧區塊
204‧‧‧區塊
206‧‧‧區塊
208‧‧‧區塊
210‧‧‧區塊
212‧‧‧區塊
214‧‧‧區塊
216‧‧‧區塊
218‧‧‧區塊
220‧‧‧區塊
222‧‧‧區塊
224‧‧‧區塊
226‧‧‧區塊
302‧‧‧區塊
304‧‧‧區塊
306‧‧‧區塊
308‧‧‧區塊
310‧‧‧區塊
312‧‧‧區塊
314‧‧‧區塊
402‧‧‧區塊
404‧‧‧區塊
406‧‧‧區塊
408‧‧‧區塊
410‧‧‧區塊
412‧‧‧區塊
414‧‧‧區塊
416‧‧‧區塊
418‧‧‧區塊
420‧‧‧區塊
422‧‧‧區塊
D‧‧‧測量像差
D1‧‧‧陣列內距離
D1A‧‧‧第一距離值
D1B‧‧‧第二距離值
D2‧‧‧陣列內距離
D2A‧‧‧第二距離值
D3‧‧‧距離值
D4‧‧‧距離值
D5‧‧‧距離值
D6‧‧‧距離值
DP1‧‧‧距離值
DP2‧‧‧距離值
圖1繪示一成像組件之一實例。
圖1A繪示成像組件整合至其之一主機裝置之一實例。
圖2繪示藉由成像組件對一物件之影像之偵測。
圖3繪示成像組件之各種處理能力。
圖4係根據一第一實施之一流程圖。
圖5係根據一第二實施之一流程圖。
圖6係根據一第三實施之一流程圖。
圖7係根據一第四實施之一流程圖。
圖8繪示一第一校準實例。
圖9繪示一第二校準實例。
圖10繪示一第三校準實例。
圖11繪示一第四校準實例。
圖12繪示一第五校準實例。
圖13繪示包含兩個以上成像器子陣列之一成像組件之一第一實例。
圖14繪示包含兩個以上成像器子陣列之一成像組件之一第二實例。
圖15繪示包含兩個以上成像器子陣列之一成像組件之一第三實例。
圖16繪示包含感測IR光譜之不同部分之成像器之一成像組件之一第一實例。
圖17繪示包含感測IR光譜之不同部分之成像器之一成像組件之 一第二實例。
圖18繪示包含不同類型之RGB成像器之一成像組件之一實例。
如圖1所展示，一組合結構及立體成像組件10包含兩個或兩個以上成像器子陣列12A，12B(有時共同或單獨地藉由12來指示)，其等之各者具有至少兩種不同類型之成像器14A，16A或14B，16B。例如，成像器14A，14B(有時共同或單獨地藉由14來指示)之一第一類型可係一IR敏感成像器且一第二成像器16A，16B(有時共同或單獨地藉由16來指示)可係一可見光成像器(例如，一RGB成像器)。IR敏感成像器14可係僅對IR光敏感之一成像器或對IR以及RGB光敏感之一透明成像器。更普遍而言，各子陣列12中之不同成像器14，16可係IR、UV、RGB或單色成像器之任何組合。儘管圖1之實例僅展示兩個成像器子陣列12，但一些實施可包含額外成像器子陣列。同樣地，儘管圖1之實例僅展示各成像器子陣列12中之一單一IR成像器14及一單一RGB成像器16，但一些實施可包含一個以上IR成像器及/或一個以上RGB成像器，或可包含成像器之其他類型及組合。因此，在一些情況中，組件10可包含X個子陣列(其中X2)之一陣列，其中各子陣列係IR、UV、RGB及/或單色成像器(或成像器之其他類型)之一特定組合之一NxM子陣列，其中N1及M2。成像器14，16可實施為(例如)固態感測器，諸如電荷耦合裝置(CCD)或互補金屬氧化物半導體(CMOS)裝置。成像器14，16偵測光(例如，可見、UV或IR)且產生對應於所偵測之光之電信號。成像器子陣列12可安裝於(例如)一印刷電路板(PCB)或其他支撐物中。
一給定成像器子陣列12中之IR敏感成像器14及RGB敏感成像器16彼此空間分離(即，不鄰近)以減少光學串擾且減少RGB像素之IR飽和。如下文所解釋，多重成像器子陣列之特定組合可用於校準。子陣 列12相對於彼此之放置及成像器14，16(在各子陣列12內)相對於彼此之放置大體上係根據藉由焦距(F)及像素尺寸限制放置(B，基線)之事實支配。各成像器14，16可具有其本身專屬之(若干)光束塑形元件(例如，諸如安置於該成像器上之一透鏡堆疊之光學元件)。提供專屬光束塑形元件可有助於減少光學色差。
成像組件10亦包含用於將一IR或其他光學圖案投影至一3D物件上之一圖案投影單元18。該圖案可係(例如)規則(例如柵格)或不規則(例如斑紋)的。圖案投影單元18可包含一光源及一圖案產生器，且可安裝在與成像器子陣列12相同之PCB上。圖案投影單元18可定位於(例如)一對成像器子陣列12之間。當來自圖案投影單元18中之光輻射一物件時，一光圖案出現於該物件之表面上。若圖案投影單元18產生IR輻射時，則人眼可能不可看見該光圖案。投影距離應匹配目標系統規格及系統參數。為了合適之功能性，焦距(F)及基線(B)值應經選擇以配適目標深度解析度及最大偵測範圍。照明應足夠強以當感測圖案時獲取良好之信號雜訊比(SNR)及對比。此等特性大體上可依據像素敏感度，視域(FOV)及處理能力。較佳地，圖案投影單元18可經動態更改(例如，強度可依據物件或場景條件改變)。
一些實施包含多重圖案投影單元，其中投影機具有彼此不同之特性。例如，在一些實施中，一第一單元可投影經組態以用於近處物件之一圖案，且另一單元可投影經最佳化以用於更遠處物件之一圖案。一些實施包含圖案投影單元，其經組態以照明場景之不同區域使得該等投影單元共同覆蓋整個場景。一些例項包含多重單元，其等之各者使用不同於其他單元之光之一或多個波長投影一圖案。例如，投影單元可具有不同波長/頻率，其中存在具有擁有類似頻率回應之帶通濾光器之對應感測通道。此配置之一優勢係從多重頻率中產生之組合深度映圖可增加最終深度映圖之橫向解析度。
取決於該實施，一或多個處理器可與成像組件10相關聯。該等處理器共同處理影像處理及立體匹配。在一些情況中，成像組件10可包含一專屬處理器20，此可實施為(例如)具有適合邏輯及其他電路之一積體電路半導體晶片。在一些情況中，處理器20亦可安裝在與成像器子陣列12相同之PCB上。在一些實施中，專屬處理器20執行影像處理及立體匹配兩者。在其他實施中，處理器20處理且拼接影像，但藉由成像組件10外部之一處理器20A執行立體匹配。(例如)其中成像組件10整合至一電子筆記型電腦或具有其本身之處理器20A(見圖1A)之其他主機裝置21中之此等情況可係有幫助的。在又其他實施中，可藉由成像組件10外部之一主機處理器20A執行影像處理及立體匹配兩者。(例如)其中成像組件10整合至一行動電話或具有其本身之處理器20A之其他主機裝置21中之此等情況可係有幫助的。在此等情況中，成像組件10可不必包含其本身之專屬處理器20。在下列各種實例中，參考處理器20。然而，應瞭解，上述案例之任何一者可用於以下討論之實例中，此取決於該實施。
處理器20經組態以控制圖案投影單元18對一物件之照明，取得由成像器子陣列12之成像器14、16產生之信號，且處理所取得之信號。在一些實施中，來自子陣列12之輸出係一標準拜耳圖案或透明/IR單色圖案。可使用具有兩個標準感測器輸入(例如，MIPI/並行)之一處理晶片。
如圖2所繪示，RGB成像器16可感測(例如)由一3D物件22反射之光譜之可見部分中之光24。物件22可係一單一3D物件或包含多重物件之一場景。在一些情況中，成像組件10可用於感測且辨識用作為對一電子裝置之輸入之手勢或面部表情。照射在物件22上之可見光可來自於(例如)一外部源。同樣地，IR成像器14可感測由物件22反射之IR輻射26。若圖案投影單元18用於將一IR圖案28投影至物件上，則由IR 成像器14偵測之一些IR輻射可包含由單元18產生且隨後由物件22反射之IR輻射。因此，照射在物件22上之IR光可來自於圖案投影單元18。
成像器子陣列12可共同地從立體匹配RGB影像中產生深度資訊，及從由單元18投影之IR圖案之立體匹配IR影像中產生深度資訊。例如，藉由使用來自兩個或兩個以上子陣列12中之RGB成像器16之信號，處理器20可藉由基於所偵測之可見光而匹配各影像中之對應像素以產生物件22之一立體RGB影像。如圖3所指示，來自RGB成像器16中之信號可藉由使得匹配像素中之像差與深度相關聯而用於獲得深度資訊32(其中場景中之獨特特徵(即紋理)促進像素之立體匹配)。在此內容中，深度資訊指示至一物件(例如，物件22)之距離。類似地，藉由使用來自兩個或兩個以上子陣列12中之IR成像器14中之信號，處理器20可藉由使得匹配像素中之像差與深度相關聯而產生深度資訊30(其中投影圖案促進像素之立體匹配)。如圖3所指示，來自IR成像器14中之信號可與RGB深度資訊32組合以提供對應於場景之高及低紋理/照明區域兩者之物件或場景之綜合深度資訊。處理器20可取得且處理陣列內資訊34以及陣列間資訊(其中前者包括來自相同子陣列上之RGB及IR成像器中之立體匹配像素)且使得其等各自像差與深度(當物件或場景中之特徵點對RGB及IR敏感成像器係可見時)相關聯。此陣列內導出之深度資訊可用於與陣列間導出之深度資訊相組合從而判定且校正子陣列之間之未對準。
例如，可藉由處理器20使用來自不同子陣列12上之兩個或兩個以上IR敏感成像器14中之信號以基於藉由成像器14取得之IR影像產生深度資訊30(陣列間深度資訊)。此外，當相較於陣列間深度資訊30或32(例如，成像器16A及16B，或成像器14A及14B)，來自相同子陣列上(例如，成像器16A及14A，或成像器16B及14B)之成像器中之信號可產生可用於陣列間校準(即，當一整個子陣列相對於其他子陣列未 對準時用於校正成像器子陣列之間之未對準)之深度資訊34。另外，當比較投影圖案之IR影像與已知圖案時，來自IR成像器14之一單一者中之(若干)信號可用於產生深度資訊。此一非立體影像可用於(例如)陣列內校準36，如下文所描述。
一般而言，成像組件10中之處理器20可使用子陣列12中之各種成像器14、16獲得陣列間及/或陣列內深度資訊。深度資訊可用於(例如)產生接著可用於產生一3D影像之一深度映圖。下文描述特定實例。
結合圖4描述一第一實例。此案例可適合於(例如)其中僅結構化光(即，IR投影圖案及圖案之IR立體影像收集)提供有用深度資訊之一低光、低紋理場景。處理器20可執行各種(至少部分)步驟。程序包含判定場景照明/紋理條件或需求(區塊102)。一IR圖案投影至場景或物件(例如，物件22)上(區塊104)。取得投影IR圖案及來自兩個或兩個以上子陣列12中之兩個或兩個以上透明成像器的影像(區塊106)。接著，處理器20匹配IR影像中之對應像素(區塊108)。可(例如)藉由投影圖案特徵識別匹配像素。處理器20識別匹配像素位置中之像差(區塊110)且使得任何此等像差與深度相關聯(區塊112)(例如，使用公式Z=(FxB)/D)。處理器20可產生一深度映圖(區塊114)且，在一些情況中可產生一最終3D影像(區塊116)。在一些情況中，深度映圖中之顏色差異可對應於不同深度。在此實例中，透明通道僅感測各像素之亮度值，且輸出影像係一灰階影像。
結合圖5描述一第二實例。此案例可適合於(例如)其中呈現低及高紋理/照明兩者之情況，因此需要一投影IR圖案、該投影圖案之IR立體影像收集，及RGB立體影像收集。處理器20可執行各種(至少部分)步驟。程序包含判定場景照明/紋理條件或需求(區塊202)。一IR圖案投影至場景或物件上(區塊204)。使用兩個或兩個以上IR敏感成像 器從兩個或兩個以上子陣列12中取得投影IR圖案之影像(區塊206)。 接著，處理器20匹配IR影像中之對應像素(區塊208)。可(例如)藉由投影圖案特徵識別匹配像素。接著，處理器20識別匹配像素位置中之像差(區塊210)且使得像差與深度相關聯(區塊212)。
處理器20亦使用來自兩個或兩個以上子陣列12之兩個或兩個以上RGB成像器中取得影像(區塊214)且(例如)基於原生特徵而匹配RGB影像中之對應像素(區塊216)。接著，處理器20識別匹配像素位置中之像差(區塊218)且使得像差與深度相關聯(區塊220)。在一些情況中，區塊214至區塊220與區塊204至區塊212並行執行。
如區塊222及區塊224所指示，處理器比較從區塊212及區塊220中導出之深度資訊，且判定各自深度資訊須應用至影像中之哪些區域。區塊224之判定可基於(例如)統計資料。例如，場景之一第一部分可能不具有足夠之原生特徵來導出良好深度資訊且因此區塊212中導出之深度資訊可用於代表最終深度影像中之場景之第一部分。另一方面，場景之一第二部分可能具有充足之紋理使得區塊220中導出之深度資訊可用於代表最終深度映圖中之場景之第二部分。接著，處理器20建構包含至少部分從區塊212及區塊220中獲得之深度資訊中導出之深度資訊之一最終深度映圖，使得(低或高紋理、照明之)一場景中之各區域經精確映圖(區塊224)。在一些情況中，處理器20接著可產生一最終3D影像(區塊226)。在一些情況中，深度映圖中之顏色差異可對應於不同深度。
圖6中繪示一第三實例，且第三實例適合於(例如)其中在場景中存在充足照明及紋理使得僅需要RGB立體影像收集之案例。處理器20可執行各種(至少部分)步驟。如在先前實例中，判定場景照明/紋理條件或需求(區塊302)。使用來自兩個或兩個以上子陣列12中之兩個或兩個以上RGB敏感成像器16取得影像(區塊304)。接著處理器20(例 如)藉由使用原生特徵識別像素而匹配RGB影像中之對應像素(區塊306)。緊接著，處理器20識別匹配像素位置中之像差(區塊308)且使得像差與深度相關聯(區塊310)。處理器接著可產生一深度映圖(區塊312)且可產生一最終3D影像(區塊314)。在一些情況中，深度映圖中之顏色差異可對應於不同深度。
圖7繪示一第四實例，此可有用於(例如)低光及長距離場景條件下之案例。處理器20可執行各種(至少部分)步驟。如在先前實例中，判定場景照明/紋理條件或需求(區塊402)。從兩個或兩個以上子陣列12中之兩個或兩個以上RGB敏感成像器取得影像且從兩個或兩個以上子陣列12中之兩個或兩個以上RGBIR敏感成像器取得影像(區塊404)。接著處理器20(例如)藉由使用原生特徵識別像素而匹配RGBIR影像中之對應像素(區塊406)且識別匹配RGBIR像素位置中之像差(區塊408)。處理器20亦(例如)藉由使用原生特徵識別像素而匹配RGB影像中之對應像素(區塊410)且識別匹配RGB像素位置中之像差(區塊412)。在一些實施中，發生於區塊410及區塊406中之匹配可並行(即，同時)執行。同樣地，區塊408及區塊412中之識別像差在一些情況中可並行發生。緊接著，處理器20使得在區塊408中識別之像差與深度相關聯(區塊414)且使得在區塊412中識別之像差與深度相關聯(區塊416)。
如圖7進一步所指示，處理器20比較在區塊414及區塊416中導出之深度資訊，且判定各自深度資訊將應用至場景中之哪些區域。區塊418之判定可基於(例如)統計資料。在一些實施中，影像之一第一部分可具有充足之原生特徵來導出深度資訊使得從區塊416導出之區塊中之深度資訊可用於代表最終深度映圖中之影像之第一部分。另一方面，影像之一第二部分可具有RGBIR中之額外有用之深度資訊，使得從區塊414導出之深度資訊可用於代表最終深度映圖中之影像之第二 部分。如區塊420所指示，處理器20接著建構包含至少部分從區塊414、區塊416之深度資訊中導出之深度資訊之一最終深度映圖，使得(例如，低或高紋理、照明之)一場景中之各區域經精確映圖。在一些情況中，深度映圖中之顏色差異可對應於不同深度。處理器20亦可產生一最終3D影像(區塊422)。
與陣列間深度資訊組合之陣列內深度資訊亦可用於校準成像組件10。陣列內成像器之距離及方向可假定為係固定的。因此，相同子陣列12上之IR與RGB成像器14、16之間之距離以及其等相對方向可假定為仍然係相同的。由於一給定子陣列12上之IR及RGB成像器14、16係彼此空間分離的，所以處理器20可使用由兩個成像器取得之影像以導出深度資訊。亦可獲得陣列間深度資訊。處理器20接著可比較陣列內及陣列間深度資訊且判定該等陣列之一者是否未對準。在一些情況中，子陣列(例如，子陣列12B)之一者可未對準或一特定子陣列中之一或多個成像器(例如，成像器14B或16B)可未對準(例如，由於成像組件10掉落且擊中一堅硬表面)。若處理器20識別陣列內與陣列間深度資訊之間之一像差，則差異可用於(例如)校正未對準。此等校正可在工廠(即，在製造及產生過程期間)中及/或由一消費者或其他使用者在一後續時間中用於成像組件10之自動陣列間校準。以下描述特定校準實例。
圖8中繪示一第一校準實例，此展示經適當對準之兩個子陣列12A、12B。在此實例中，處理器20從子陣列12A、12B之各者中之成像器14A、14B、16A、16B之不同組合中取得影像對。已知立體匹配技術可用於判定從成像器至物件22之各自距離值。在如圖8中所展示之一2(2x1)組件中，六個成像器對(即，14A及16A；14B及16B；14A及14B；14A及16B；16A及14B；16A及16B)之各者獲得一各自距離值(D1、D2、D3、D4、D5或D6)。在此情況中，存在已獲得之六個距離 值。處理器20可比較彼此距離值以識別可能未對準之任何成像器。在所繪示之實例中，假定處理器20判定所有六個距離值(D1、D2、D3、D4、D5、D6)等於相同值，則指示該等成像器經適當對準且無需進一步校準。
圖9繪示一第二校準實例，此展示子陣列12B之一者未對準，但在未對準子陣列上之成像器14B及16B沒有相對於彼此未對準。如在先前實例中，處理器20可使用用於判定從成像器至物件22之各自距離值之已知立體匹配技術。因此，獲得六個成像器對(即，14A及16A；14B及16B；14A及14B；14A及16B；16A及14B；16A及16B)之各者的一各自距離值(D1、D2、D3、D4、D5或D6)，且比較該等距離值以識別可能未對準之任何成像器。在此實例中，假定處理器20判定距離值D1及D2(分別對應於成像器對14A、16A及14B、16B)之各者等於一第一值(D)且剩餘距離值(D3、D4、D5、D6)之各者等於一不同值(d)。基於此等距離值，處理器20判定已發生一陣列間未對準(即，一整個子陣列12A或12B未對準)，且陣列內距離D1=D2=D代表至物件22之精確距離。接著，處理器20可應用校正因數使得其他距離值(D3至D6)亦有效地等於D，藉此校正未對準。
圖10繪示一第三校準實例，此展示子陣列12B中之成像器16B之一者未對準。如在先前實例中，處理器20可使用用於判定從成像器至物件22之各自距離值之已知立體匹配技術。因此，獲得六個成像器對(即，14A及16A；14B及16B；14A及14B；14A及16B；16A及14B；16A及16B)之各者的一各自距離值(D1、D2、D3、D4、D5或D6)，且比較該等距離值以識別可能未對準之任何成像器。在此實例中，假定處理器20判定陣列內距離D1(對應於成像器對14A、16A)不同於陣列內距離D2(對應於成像器對14B、16B)。基於此資訊，處理器20判定已發生一陣列內未對準。
若處理器20判定距離值D3、D4、D5、D6之任一者等於D1或D2，則該處理器總結對應於值D3、D4、D5及/或D6且具有等於D1或D2之一值之成像器組合不含有未對準成像器。例如，若D1≠D2且D5=D3=D1，則處理器20總結成像器14A、14B及16A無未對準，此係由於值D5及D3共同基於來自此等成像器中之影像。進一步假定剩餘距離值D4及D6具有不同於D1及D2兩者之一值，則處理器20總結成像器16B係未對準成像器。處理器20亦可判定距離D1=D3=D5代表至物件22之精確距離，此係由於此等距離值之各者係基於來自對準成像器14A、14B及16A中之影像。處理器20可將校正因數應用於未對準成像器(即，實例中之16B)以補償該未對準。
圖11繪示一第四校準實例，此展示子陣列12B中之成像器14B、16B兩者未對準，且相對於彼此未對準。如在先前實例中，處理器20可使用用於判定從成像器至物件22之各自距離值之已知立體匹配技術。因此，獲得六個成像器對(即，14A及16A；14B及16B；14A及14B；14A及16B；16A及14B；16A及16B)之各者的一各自距離值(D1、D2、D3、D4、D5或D6)，且比較該等距離值以識別可能未對準之任何成像器。在此實例中，假定處理器20判定D3=D5且D4=D6，但D3至D6中無一者等於D1或D2。基於此資訊，處理器20判定相同子陣列12A或12B上之兩個成像器(即，成像器14A及16A，或成像器14B及16B)未對準。
為了判定哪個子陣列12含有未對準成像器，將一結構化光圖案從光投影單元18投影至物件22上。在圖11(及隨後圖式)中用虛點線展示來自投影單元18中之光。接著，處理器20使用各自IR敏感成像器14A及14B取得投影圖案之影像且比較所取得之圖案之各者與一所儲存之參考圖案。處理器20使得所取得之圖案之間之差異與所計算之距離值DP1及DP2相關聯，DP1及DP2之各者代表基於當將一圖案從光投 影單元18投影至物件22上時偵測之影像之物件22與IR敏感成像器14A、14B之各自一者之間之一所計算之距離。因此，在所繪示之實例中，DP1代表物件22與IR敏感成像器14A之間之所計算之距離，而DP2代表物件22與IR敏感成像器14B之間之所計算之距離。假定(例如)距離值DP1=D1，但距離值DP2≠D2，則處理器20判定子陣列12B中之成像器14B、16B未對準。此外，處理器20判定距離值DP1代表至物件22之精確距離D。接著，處理器20可應用校正因數以補償成像器14B及16B中之未對準。
圖12繪示一第五校準實例，此展示子陣列12B中之成像器16B之一者未對準。此實例類似於其中處理器20總結成像器16B未對準且距離D1=D3=D5代表至物件22之精確距離之圖10之實例。處理器20可將校正因數應用於未對準成像器(即，實例中之16B)以補償未對準。然而，在圖12之實例中，可獲得額外校正因數以改良對準之精確性，如緊接著所描述。為了獲得額外校正因數，可藉由圖案投影單元18產生一結構化光圖案。接著，處理器20使用IR敏感成像器14B取得投影圖案之一影像，比較所收集之圖案與一所儲存之參考圖案且使得圖案之間之差異與距離DP2相關聯，DP2代表物件22與IR敏感成像器16B之間之所計算之距離。在此實例中，假定D2≠DP2。因此，處理器20判定成像器14B及16B相對於彼此未對準。距離值DP2被認為代表至物件22之精確距離。接著，處理器20可應用校正因數，使得D2等於DP2。
在一些實施中，從三個或三個以上不同子陣列中之成像器中取得影像係有利的。使用至少三個成像器之下列技術可結合上述實例之任何者使用。
圖13繪示一第一實例，此可有用於(例如)其中一物件被場景中之另一物件遮擋之情況。圖13繪示三個子陣列12A、12B、12C，其等之各者包含一各自IR敏感成像器14A、14B、14C及一各自RGB敏感成像 器16A、16B、16C。如上所示，在判定場景照明/紋理條件或需求之後，從三個或三個以上子陣列12A、12B、12C中之三個或三個以上成像器中取得影像。場景條件支配應使用哪種類型之成像器(例如，IR敏感及/或RGB)及是否應使用或不使用來自光投影單元18中之一投影IR圖案來取得影像。在取得影像之後，處理器20匹配來自子陣列之子組群中之影像中之對應像素。例如，基於場景需求，如圖13所指示，處理器20可匹配來自子陣列12A、12B之一第一子組群中之影像來獲得一第一距離值D1A，且可匹配來自子陣列12A、12C之一第二子組群中之影像來獲得一第二距離值D2A。特定言之，可使用原生特徵或投影圖案特徵識別像素，此取決於場景需求。接著，處理器20識別匹配像素位置中之像差。例如，處理器20可識別針對一第一物件22A之來自藉由子陣列12A及12B收集之影像中匹配之像素中之像差，及針對一第二物件22B之來自藉由子陣列12A及12C收集之影像中匹配之像素中之像差。接著，處理器20使得子陣列12A及12C之像差與至第二物件22B之一所計算之距離值D2相關聯，且使得子陣列12A及12B之像差與至第一物件22A之一所計算之距離值D1相關聯。基於上述資訊，處理器20可產生一深度映圖，此可包含經部分遮擋之第二物件22B以及第一物件22A。在一些情況中，處理器20亦可基於上述資訊產生一最終三維影像。
圖14繪示一第二實例，此可有用於其中一物件(例如，22A或22B)在一或多個子陣列之視域之外側。藉由包含三個或三個以上子陣列，可擴展成像組件10之有效視域。在判定場景照明/紋理條件或需求之後，處理器20可從三個或三個以上子陣列12A、12B、12C中取得影像，且使用原生特徵或基於來自光投影單元18中之投影IR圖案之特徵匹配影像。例如，處理器20可匹配來自子陣列12A、12B之一第一子組群中之影像來獲得一第一距離值D1A，且可匹配來自子陣列 12B、12C之一第二子組群中之影像來獲得一第二距離值D1B。接著，處理器20識別像素位置中之像差且使得像差與深度相關聯。基於上述資訊，處理器20可產生一深度映圖，以及一最終三維影像。
圖15繪示一第三實例，此可有用於提供深度資訊之精確性之增加。在判定場景照明/紋理條件或需求之後，處理器20從三個或三個以上子陣列12A、12B、12C中取得影像，且使用原生特徵或基於來自光投影單元18中之投影IR圖案之特徵匹配影像。例如，處理器20可匹配來自子陣列12A、12B之一第一子組群中之影像來獲得一第一距離值D1A，可匹配來自子陣列12B、12C之一第二子組群中之影像來獲得一第二距離值D1B，且可匹配來自子陣列12A、12C之一第三子組群中之影像來獲得一第三距離值D1C。接著，處理器20識別匹配像素位置中之像差且使得像差與深度相關聯。基於上述資訊，處理器20可產生一深度映圖，以及一最終三維影像。
在一些實施中，在各子陣列中提供多重IR敏感成像器係有利的，其中一特定子陣列中之各IR敏感成像器對近IR光譜之一不同部分敏感。圖16中繪示一實例，此展示兩個子陣列12A、12B，其等之各者包含一RGB敏感成像器及兩個不同IR敏感成像器。特定言之，子陣列12A包含一RGB敏感成像器16A，以及僅對近IR光譜之一第一部分敏感之一第一IR敏感成像器14AA，及僅對近IR光譜之一第二、不同部分敏感之一第二IR敏感成像器14AB。同樣地，子陣列12B包含一RGB敏感成像器16B，以及對近IR光譜之第一部分敏感之一第一IR敏感成像器14BA，及對近IR光譜之第二部分敏感之一第二IR敏感成像器14BB。可提供帶通濾光器使得IR敏感成像器對所預期之波長敏感。圖16中繪示之組件亦包含兩個光投影單元18A、18B，其等可使用IR光譜之不同各自部分照明一物件22。因此，例如，第一光投影單元18A可提供在近IR光譜之第一部分中的照明28A，而第二光投影單 元18B可提供在近IR光譜之第二部分中的照明28B。
圖17繪示類似於圖16之組態的一組態。然而，圖17之組態使用可操作以同時使用IR光譜之兩個不同部分照明物件22之一單一光投影單元18而非照明具有IR光譜之不同各自部分之一物件22之兩個不同光投影單元18A、18B。
處理器20可使用圖16或圖17之組件從子陣列12A、12B中取得影像且匹配該等影像。接著，處理器20可識別像素位置中之像差且使得像差與深度相關聯。使用多重IR敏感成像器中之具有不同特性之影像可藉由增加成像器之整體解析度而改良深度資訊之精準性。基於上述資訊，處理器20可產生一深度映圖，以及一最終三維影像。
在一些實施中，在各子陣列中提供多重RGB敏感成像器係有利的，其中各特定子陣列中之RGB敏感成像器之至少一者包含一中性密度濾光器。圖18中繪示一實例，此展示兩個子陣列12A、12B，其等之各者包含一第一RGB敏感成像器，具有一中性密度濾光器之一第二RGB敏感成像器，及一IR敏感成像器。特定言之，第一子陣列12A包含一第一RGB敏感成像器16AA，具有一中性密度濾光器之一第二RGB敏感成像器16AB，及一IR敏感成像器14A。第二子陣列12B包含一第一RGB敏感成像器16BA，具有一中性密度濾光器之一第二RGB敏感成像器16BB，及一IR敏感成像器14B。在此實例中，第二RGB敏感成像器16AA及16BA不包含一中性密度濾光器。
圖18之成像組件可有用於(例如)高動態範圍(HDR)成像中之RGB立體影像收集。在判定場景照明/紋理條件或需求之後，處理器20可從不同子陣列中之兩個(或兩個以上)RGB敏感成像器16AA、16BA中取得影像且可(例如)使用原生特徵匹配所取得之影像中之對應像素。處理器20亦可從包含中性密度濾光器之兩個(或兩個以上)RGB敏感成像器16AB、16BB中取得影像且可使用(例如)原生特徵來匹配此等 RGB影像中之對應像素。可按順序或並行採取各種匹配步驟。接著，處理器20識別匹配RGB影像中之像素位置中之像差，且使用所識別之像差來混合RGB影像以獲得一3D HDR影像。在一些情況中，可使用IR通道來產生深度/距離資訊，或增加從RGB影像中導出之深度/距離資訊之精確性。
如以上所描述，立體成像組件10可包含用於將一圖案投影至一場景中之一物件上之一光源(例如，其係一圖案投影單元18之部分)。 在一些例項中，該光源可實施為發射光譜之IR部分中的一預定窄範圍波長之一雷射二極體。例如，在一些情況中，該雷射二極體可發射大約850nm±10nm範圍中之光，或大約830nm±10nm範圍中之光，或大約940nm±10nm範圍中之光。不同波長及範圍可適用於其他實施，此取決於(例如)特定雷射二極體之可用性。由雷射二極體發射之結構化光可(例如)藉由一場景中之一物件反射，使得該經反射之光引導朝向影像子陣列12A、12B。
在一些情況中，各IR成像器(例如，14A、14B)包含經設計以實質上過濾所有IR光(除了由雷射二極體發射之IR光之外)一帶通濾光器。帶通濾光器較佳准許通過比雷射二極體發射之波長略微更寬之一範圍之波長。此外，相對於由雷射二極體發射之窄範圍波長，帶通濾光器允許通過之較寬之波長範圍應集中於略微更長之波長處。此後者之特徵(例如)在介電類型之帶通濾光器中係固有的，其中當照射光之入射角增加時，峰值(已通過)波長轉移至較短波長。另一方面，可見光成像器(例如，16A、16B)之各者可包含經設計以實質上過濾所有IR光使得幾乎沒有IR光到達可見光成像器之光敏區域之一IR截止濾光器。因此，IR截止濾光器較佳僅允許可見光通過。
可應用於以上描述之各種實施之任何者之上述特徵可允許相同IR成像器(例如，14A或14B)收集投影IR結構化光以及可見光而無IR沖 淡。在各種案例中IR成像器可用於(例如)收集立體影像。例如，在一些實施中，IR成像器可收集已投影至一物件或場景上之圖案化或紋理化IR光(即，由一雷射二極體投影之光)。在其他實施中，結合投影紋理化或圖案化光之IR成像器可在環境光條件下(例如，室外，其中存在包含IR輻射之大量自然陽光)使用。在一些實施中，具有一IR截止濾光器之一可見光成像器(例如，16A或16B)及具有一帶通濾光器之一單一IR成像器(例如，14A或14B)可用於取得深度資訊。在一些例項中，由雷射二極體輸出之光學強度可經調變以使用不同量之投影功率促進序列影像擷取。例如，低功率投影光可用於較近處物件，而高功率投影光可用於更遠之物件。在一些情況中，此等特徵可改良圖案或紋理解析度，且亦可減少功率。在一些實施中，可當雷射二極體在一導通模式與一關閉模式之間切換時獲得序列影像，而非當該雷射二極體在兩種不同非零功率模式之間調變時獲得序列影像。
在本發明之內容中，術語「光」可包含光譜之可見部分中之輻射以及光譜中之IR(包含近IR或遠IR)或UV(包含近UV或遠UV)部分中之輻射。可見區域中之光可係(例如)單色或RGB。
以上描述之成像組件可整合至一寬廣範圍之行動或可攜式裝置中，諸如其中之蜂巢式電話、智慧型電話、個人數位助理(PDA)、數位相機、可攜式遊戲機、可攜式多媒體播放器、手持電子書、可攜式平板電腦及膝上型電腦。
在本發明之精神內可對上述實例作出各種修改。據此，其他實施係在申請專利範圍之範疇內。
12A‧‧‧子陣列
12B‧‧‧子陣列
14A‧‧‧成像器
14B‧‧‧成像器
16A‧‧‧成像器
16B‧‧‧成像器
18‧‧‧圖案投影單元/光投影單元
22‧‧‧物件
24‧‧‧光
26‧‧‧IR輻射
28‧‧‧IR圖案
30‧‧‧深度資訊
32‧‧‧深度資訊
34‧‧‧深度資訊
36‧‧‧校準

Claims (33)

  1. 一種結構化立體成像組件，其包括：複數個成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器；及一支撐物，其上安裝該等成像器子陣列之各者。
  2. 如請求項1之結構化立體成像組件，其中各成像器子陣列包含一IR敏感成像器及一RGB敏感成像器。
  3. 如請求項1之結構化立體成像組件，兩個以上成像器子陣列之一陣列，其等之各者包含IR、UV、RGB及/或單色成像器之一組合。
  4. 如請求項1至3中任一項之結構化立體成像組件，其進一步包含一光投影單元。
  5. 如請求項1至3中任一項之結構化立體成像組件，其中該光投影單元經配置以將一IR圖案投影至一三維物件上。
  6. 如請求項5之結構化立體成像組件，其中該光投影單元安置於第一與第二成像器子陣列之間。
  7. 如請求項1至3中任一項之結構化立體成像組件，其進一步包含具有彼此不同之光學特性之複數個圖案投影單元。
  8. 如請求項1之結構化立體成像組件，其進一步包含可操作以發射一窄範圍紅外光之一雷射二極體，其中各第一成像器包含允許該第一成像器感測可見光及對應於由該雷射二極體發射之該紅外光之非可見光之一帶通濾光器，及其中各第二成像器包含實質上防止紅外光被該第二成像器感 測之一IR截止濾光器。
  9. 一種設備，其包括：一成像組件，其包含複數個成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器；及一或多個處理器，其等可共同操作以基於來自該等成像器陣列中之信號而獲得陣列內及陣列間資訊，該資訊包含陣列內深度資訊，其中該一或多個處理器進一步可操作以比較陣列內深度資訊與陣列間深度資訊且基於該比較而判定該等成像器子陣列之一者是否未對準。
  10. 如請求項9之設備，其中該一或多個處理器可共同操作以基於來自該等成像器陣列之一相同者中之該等第一及第二成像器中之信號而獲得陣列內深度資訊。
  11. 如請求項9至10中任一項之設備，其中若該一或多個處理器判定該等成像器子陣列之一者未對準，則該一或多個處理器可共同操作以校正該未對準。
  12. 如請求項9至10中任一項之設備，其中該一或多個處理器可共同操作以識別該陣列內與陣列間深度資訊之間之一像差，且使用該像差來校正該未對準。
  13. 如請求項9至10中任一項之設備，其中該成像組件進一步包含一圖案投影單元來將一光圖案投影至一物件上，其中可藉由該等第一或第二成像器偵測由該圖案投影單元產生且從該物件中反射之至少一些光。
  14. 如請求項13之設備，其中該圖案投影單元經組態以產生一IR圖案。
  15. 如請求項9至10中任一項之設備，其中該等處理器之一者在該成像組件中實施為一積體半導體晶片。
  16. 如請求項9至10中任一項之設備，其中各成像器子陣列中之該等第一或第二成像器之至少一者包括一RGB敏感成像器。
  17. 如請求項9至10中任一項之設備，其中各成像器子陣列中之該等第一或第二成像器之至少一者包括一IR敏感成像器。
  18. 如請求項9至10中任一項之設備，其中該設備係一可攜式或行動裝置。
  19. 一種用於校準一成像組件之方法，該方法包括：基於複數個成像器子陣列中之信號而獲得陣列內及陣列間資訊，其中該等成像器陣列之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器，該資訊包含陣列內深度資訊；比較陣列內深度資訊與陣列間深度資訊；及基於該比較而判定該等成像器子陣列之一者是否未對準。
  20. 如請求項19之方法，其中獲得該陣列內深度資訊係基於來自該等成像器子陣列之一相同者中之該等第一及第二成像器中之影像。
  21. 如請求項19至20中任一項之方法，其進一步包含若判定該等成像器子陣列之一者係未對準時校正未對準。
  22. 如請求項19至20中任一項之方法，其包含識別該陣列內與陣列間深度資訊之間之一像差，且使用該像差來校正該未對準。
  23. 如請求項19至20中任一項之方法，其進一步包含將一光圖案投影至一物件上，且在該等成像器子陣列中之該等第一或第二成像器中偵測由該圖案投影單元產生且由該物件中反射之至少一些光。
  24. 一種設備，其包括：一成像組件，其包含：複數個成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器，其中該等第一及第二成像器之各者具有其本身之各自一或多個專屬光束塑形元件；及一圖案投影單元，其將一光圖案投影至一物件上；及一或多個處理器，其等可共同操作以接收且處理來自各成像器子陣列中之該等第一及第二成像器中之信號，其中該一或多個處理器可共同操作以從該等成像器子陣列中獲得信號，該等信號共同允許該一或多個處理器產生下列之一或多者：(i)基於從該等第一成像器中取得之影像之一立體影像，(ii)基於從該等第二成像器中取得之影像之一立體IR影像，(iii)基於回應於由該圖案投影單元投影之該光圖案而取得之影像之一立體影像，或(iv)基於回應於由該圖案投影單元投影之該光圖案而取得之影像之一非立體影像。
  25. 如請求項24之設備，其中該一或多個處理器可共同操作以基於來自該等成像器陣列中之信號而獲得陣列內及陣列間深度資訊。
  26. 如請求項25之設備，其中該一或多個處理器可共同操作以比較該陣列內深度資訊與陣列間深度資訊且基於該比較而判定該等成像器子陣列之一者是否未對準。
  27. 如請求項25之設備，其中該一或多個處理器可共同操作以校正陣列內未對準。
  28. 如請求項25之設備，其中該一或多個處理器可共同操作以校正陣列間未對準。
  29. 一種設備，其包括：一成像組件，其包含第一、第二及第三成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器；及一或多個處理器，其等可共同操作以接收且處理來自各成像器子陣列中之該等第一及第二成像器中之信號，該一或多個處理器進一步可共同操作以：匹配來自該等成像器子陣列之一第一子組群中之影像來獲得一第一距離值，且匹配來自該等成像器子陣列之一第二子組群中之影像來獲得一第二距離值；識別來自從該第一子組群中取得之一第一物件之影像中匹配之像素中之像差，且識別來自從該第二子組群中取得之一第二物件之影像中匹配之像素中之像差；使得該第一子組群之該等像差與至該第一物件之一所計算之距離值相關聯，且使得該第二子組群之該等像差與至該第二物件之一所計算之距離值相關聯；且產生一深度映圖。
  30. 一種設備，其包括：一成像組件，其包含第一、第二及第三成像器子陣列，其等之各者包含感測一第一波長或波長範圍之光之一第一成像器及感測一不同第二波長或波長範圍之光之一第二成像器；一或多個處理器，其等可共同操作以接收且處理來自各成像器子陣列中之該等第一及第二成像器中之信號，該一或多個處理器可共同操作以：匹配來自該等成像器子陣列之一第一子組群中之影像來獲得一第一距離值，匹配來自該等成像器子陣列之一第二子組 群中之影像來獲得一第二距離值，且匹配來自該等成像器子陣列之一第三子組群中之影像來獲得一第三距離值；識別匹配像素位置中之像差；使得該等像差與一深度值相關聯；且產生一深度映圖。
  31. 一種設備，其包括：一成像組件，其包含第一及第二成像器子陣列，其等之各者包含一第一RGB敏感成像器、一第二IR敏感成像器及一第三IR敏感成像器，其中該等第二及第三IR敏感成像器對該IR光譜之不同、各自部分敏感；及一或多個處理器，其等可共同操作以接收且處理來自各成像器子陣列中之該等第一及第二及第三成像器中之信號，該一或多個處理器可共同操作以：匹配從該等第一及第二子陣列中取得之影像；識別該等匹配影像之像素位置中之像差；使得該等像差與深度相關聯；且產生一深度映圖。
  32. 如請求項31之設備，其中該成像組件進一步包含一或多個光投影單元以使用該IR光譜之該等第一及第二部分照明一物件。
  33. 一種設備，其包括：一成像組件，其包含第一及第二成像器子陣列，其等之各者包含一第一RGB敏感成像器、一第二RGB敏感成像器，及一第三IR敏感成像器，其中該等第一或第二RGB敏感成像器之一者包含一中性密度濾光器；及一或多個處理器，其等可共同操作以接收且處理來自各成像器子陣列中之該等第一及第二及第三成像器中之信號，該一或 多個處理器可共同操作以：匹配從各子陣列中之該第一RGB敏感成像器中取得之影像；匹配從各子陣列中之該第二RGB敏感成像器中取得之影像；識別該等匹配影像之像素位置中之像差；使得該等像差與深度相關聯；且產生一深度映圖。
TW104111022A 2014-04-03 2015-04-02 包括用於不同波長之獨立成像器之結構化立體成像組件 TW201544848A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461974640P 2014-04-03 2014-04-03
US201462012688P 2014-06-16 2014-06-16

Publications (1)

Publication Number Publication Date
TW201544848A true TW201544848A (zh) 2015-12-01

Family

ID=54240976

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104111022A TW201544848A (zh) 2014-04-03 2015-04-02 包括用於不同波長之獨立成像器之結構化立體成像組件

Country Status (3)

Country Link
US (1) US10349037B2 (zh)
TW (1) TW201544848A (zh)
WO (1) WO2015152829A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690247A (zh) * 2016-02-17 2019-04-26 赫普塔冈微光有限公司 光电子系统
TWI669538B (zh) * 2018-04-27 2019-08-21 點晶科技股份有限公司 立體影像擷取模組及立體影像擷取方法
CN112955904A (zh) * 2018-11-12 2021-06-11 惠普发展公司，有限责任合伙企业 异构成像传感器系统的多图案基准

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016142676A (ja) * 2015-02-04 2016-08-08 ソニー株式会社 情報処理装置と情報処理方法とプログラムおよび撮像装置
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US9906706B2 (en) * 2015-12-23 2018-02-27 Visera Technologies Company Limited Image sensor and imaging device
US10254402B2 (en) 2016-02-04 2019-04-09 Goodrich Corporation Stereo range with lidar correction
US10298570B2 (en) 2016-03-03 2019-05-21 Ams Sensors Singapore Pte. Ltd. Optoelectronic systems and method for operating the same
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
US10033988B2 (en) 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
US10277842B1 (en) * 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
WO2018189417A1 (en) * 2017-04-11 2018-10-18 University Of Helsinki Method and system for determining human-object interaction
CN107749070B (zh) * 2017-10-13 2020-06-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
CN112074760A (zh) * 2017-12-27 2020-12-11 ams传感器新加坡私人有限公司 光电模块及其操作方法
CN208572263U (zh) * 2018-01-31 2019-03-01 宁波舜宇光电信息有限公司 阵列摄像模组及其电子设备
DE102018108874A1 (de) * 2018-04-13 2019-10-17 Isra Vision Ag Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie
CN108645354B (zh) * 2018-07-06 2019-10-18 四川大学 高反光对象表面的结构光三维成像方法及系统
KR102506363B1 (ko) * 2018-07-17 2023-03-06 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 정확히 2개의 카메라를 갖는 디바이스 및 이 디바이스를 사용하여 2개의 이미지를 생성하는 방법
JP6907277B2 (ja) * 2018-08-30 2021-07-21 コグネックス・コーポレイション 歪みが低減された物体の３次元再構成を生成するための方法及び装置
KR20200049958A (ko) * 2018-10-29 2020-05-11 삼성전자주식회사 3차원 깊이 측정 장치 및 방법
CN111123238A (zh) * 2018-10-31 2020-05-08 三赢科技（深圳）有限公司 镜头模组及应用其的电子设备
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
JP7287676B2 (ja) * 2020-04-17 2023-06-06 ｉ－ＰＲＯ株式会社 ３板式カメラおよび４板式カメラ
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
GB202015948D0 (en) * 2020-10-08 2020-11-25 ams Sensors Germany GmbH Multi-spectral optical sensor and system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
DE10219054B4 (de) 2002-04-24 2004-08-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung der räumlichen Koordinaten eines Gegenstandes
DE102004008904A1 (de) 2004-02-24 2005-09-08 Siemens Ag Vorrichtung und Verfahren zur Bestimmung von Raumkoordinaten eines Objekts
US7330593B2 (en) 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
US7970177B2 (en) 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
WO2007142643A1 (en) 2006-06-08 2007-12-13 Thomson Licensing Two pass approach to three dimensional reconstruction
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
KR101259835B1 (ko) 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
KR101652393B1 (ko) 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690247A (zh) * 2016-02-17 2019-04-26 赫普塔冈微光有限公司 光电子系统
TWI669538B (zh) * 2018-04-27 2019-08-21 點晶科技股份有限公司 立體影像擷取模組及立體影像擷取方法
US10778958B2 (en) 2018-04-27 2020-09-15 Silicon Touch Technology Inc. Stereoscopic image capturing module and method for capturing stereoscopic images
CN112955904A (zh) * 2018-11-12 2021-06-11 惠普发展公司，有限责任合伙企业 异构成像传感器系统的多图案基准

Also Published As

Publication number Publication date
US10349037B2 (en) 2019-07-09
WO2015152829A1 (en) 2015-10-08
US20170034499A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
TW201544848A (zh) 包括用於不同波長之獨立成像器之結構化立體成像組件
US11575843B2 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US10277830B2 (en) Solid-state imaging apparatus and light-shielding pixel arrangements thereof
US20200280659A1 (en) Quad color filter array camera sensor configurations
IL276581A (en) Dual imaging system that includes auto-ficus and methods for operating it
US7599559B2 (en) Method for collecting data for color measurements from a digital electronic image capturing device or system
US8259179B2 (en) Compensating for non-uniform illumination of object fields captured by a camera
CN102266218A (zh) 图像处理装置、图像处理方法、程序及电子装置
US9398272B2 (en) Low-profile lens array camera
CN1366423A (zh) 图象感测设备、遮蔽校正方法、程序以及存储介质
US8243162B2 (en) Automatic white balancing using meter sensors
US9787889B2 (en) Dynamic auto focus zones for auto focus pixel systems
US20120019669A1 (en) Systems and methods for calibrating image sensors
US20180158208A1 (en) Methods and apparatus for single-chip multispectral object detection
TW202119809A (zh) 相位偵測自動對焦(pdaf)感測器
TWI731206B (zh) 用於暈影之補償之系統及方法
US10410374B2 (en) Image sensors with calibrated phase detection pixels
CN110661940A (zh) 具有深度检测的成像系统及操作该成像系统的方法
US11893771B2 (en) Image acquisition apparatus, image acquisition method, and electronic device including the same
JP7386703B2 (ja) ビネッティングの補償
TWI426246B (zh) The method of flat field correction for two - dimensional optical detection
CN217932369U (zh) 光谱照明环境及图像采集装置
US20220021862A1 (en) Passive three-dimensional image sensing based on chromatic focal differentiation
CN116830593A (zh) 能够通过共用孔来同时进行照明功能和光源检测功能的装置
JP5409158B2 (ja) 単板カラー２次元撮像素子を備える撮像装置