TWI817996B - 針對三維深度感測及二維成像調整攝影機曝光 - Google Patents
針對三維深度感測及二維成像調整攝影機曝光 Download PDFInfo
- Publication number
- TWI817996B TWI817996B TW108109293A TW108109293A TWI817996B TW I817996 B TWI817996 B TW I817996B TW 108109293 A TW108109293 A TW 108109293A TW 108109293 A TW108109293 A TW 108109293A TW I817996 B TWI817996 B TW I817996B
- Authority
- TW
- Taiwan
- Prior art keywords
- camera
- image
- value
- pattern
- light
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title description 16
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims description 54
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 15
- 238000004020 luminiscence type Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
一種範例方法包括將一距離感測器的攝影機的曝光時間設定至第一值,指示該攝影機獲取在該攝影機之視野中的一物體的第一影像,其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的,指示該距離感測器的圖案投射器將一光圖案投射到該物體上,將該攝影機的該曝光時間設定至不同於該第一值的第二值,及指示該攝影機獲取該物體的第二影像,其中該第二影像包括該光圖案,及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。
Description
本揭示案有關用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的設備、方法、及非暫態電腦可讀取媒體。
本申請案申請美國臨時專利申請案第62/645,190號(申請於2018年3月20日)的優先權益,該案在此藉引用方式整體併入本文。
美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號描述距離感測器的各種配置方式。此類距離感測器在各式各樣應用中是有用的,包括保全、遊戲、無人駕駛車輛的控制、及其他應用。
這些申請案中描述的距離感測器包括將對人眼而言大致不可見之波長的光(例如紅外光)投射到視野中的投射系統(例如包含雷射、繞射光學元件、及/或其他協作組件)。光束展開而產生圖案(有點、劃、或其他假影),該些圖案能被適當的光接收系統(例如鏡頭、影像擷取裝置、及/或其他組件)偵測。當該圖案被入射到視野中的一物體上時,能基於在該視野之一或更多個影像中該圖案的外觀(例如該些點、劃、或其他假影的位置關係)來計算從感測器到該物體的距離,該一或更多個影像可由感測器的光接收系統所擷取。也能決定物體的形狀及尺寸。
例如,圖案的外觀可隨到物體的距離改變。作為一例,若該圖案包含點組成的圖案,當物體接近感測器時該些點可顯得彼此較靠近,而當物體進一步遠離感測器時該些點可顯得彼此更遠離。
一範例方法包括將一距離感測器的攝影機的曝光時間設定至第一值,指示該攝影機獲取在該攝影機之視野中的一物體的第一影像,其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的,指示該距離感測器的圖案投射器將一光圖案投射到該物體上,將該攝影機的該曝光時間設定至不同於該第一值的第二值,及指示該攝影機獲取該物體的第二影像,其中該第二影像包括該光圖案,及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。
在另一例中,一種非暫態機器可讀取儲存媒體經編碼有一處理器可執行的指令。當被執行時,該等指令致使該處理器進行包括以下的操作:將距離感測器的攝影機的曝光時間設定至第一值,指示該攝影機獲取在該攝影機之視野中的一物體的第一影像,其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的,指示該距離感測器的圖案投射器將一光圖案投射到該物體上,將該攝影機的該曝光時間設定至第二值,該第二值不同於該第一值,以及指示該攝影機獲取該物體的第二影像,其中該第二影像包括該光圖案,及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。
另一例中,一種距離感測器包括經配置以投射光圖案到一物體上的一圖案投射器、一攝影機、一控制器、及一處理器,該控制器經配置以在該圖案投射器不正在投射該光圖案到該物體上時設定該攝影機的一曝光時間為第一值,以及在該圖案投射器正在投射該光圖案到該物體上時設定該攝影機的該曝光時間為第二值,該處理器經配置以基於對在該曝光時間被設定為該第一值時擷取的第一影像與在該曝光時間被設定為該第二值時擷取的第二影像的分析來計算從該距離感測器到該物體的距離。
本揭示案概略地描述用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的設備、方法、及非暫態電腦可讀取媒體。如上所討論,像是美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述者的距離感測器,藉由投射光束來決定到一物體的距離(還有,可能有該物體的形狀及尺寸),該光束在包括該物體之視野中展開以產生一圖案(例如有點、劃、或其他假影)。該光束可投射自一或更多個雷射光源,該一或更多個雷射光源發出的光所具波長對人眼而言大致不可見,但對一適當偵測器(例如光接收系統)而言為可見的。接著可基於該圖案對該偵測器而言的外觀來計算到該物體的三維距離。
在一些情況中,也可擷取該物體的二維影像(例如藉由光接收系統的攝影機),並利用該二維影像來改善三維距離量測。例如,可對物體附加一參考標記。然後,當可得到的三維資訊(例如圖案的點的個數)的量不足以進行正確的距離量測時,可利用來自該物體之二維影像(包括該參考標記)的資訊來補充該三維資訊。也可能從二維影像決定環境特性,像是外部明亮度、物體反射率、及類似者。可利用此資訊來調整被投射光束(因此還有被投射的圖案)以改善三維距離量測。
然而,各種因素使得難以利用相同攝影機快速連續地獲取三維物體資料(例如包括圖案資料)和二維物體影像。例如,環境光導入的雜訊使偵測器難以清楚地偵測由光束形成的圖案。要減弱環境光之效應的一種方法是在感測器的光接收系統中併入窄帶通濾波器,例如其中濾波器允許僅只紅外光通過。然而,若環境光的量非常大(可能像是戶外的情況),則該圖案與環境光之間的差異可能非常小。更甚者,若光接收系統的曝光時間未經適當地設定,則曝光值與感測器寬容度(latitude)之間的關係可能導致不想要的飽和狀態(saturation)。在任一情況中,對偵測器而言可仍難以區分光束形成的圖案與環境光,即使使用了窄帶通濾波器。例如,當由光束形成之圖案與環境光兩者的圖案都超過感測器寬容度時,可能發生飽和狀態。然而,藉由減少曝光時間使得輸入到光接收系統的光的量在感測器寬容度的範圍內,則圖案之影像可能變得更清楚。
替代地或額外地,當環境光的量大時,若形成該圖案的光束的亮度相對於環境光的亮度增加,則對偵測器而言可能更容易區分出該圖案。然而,從安全的角度,增加光束的亮度可能伴隨一些風險,因為對較亮之光束的曝光可能傷害人眼。因此,可縮短雷射的發光時間以使風險最小化,而也可縮短光接收系統的曝光時間來減少環境光。
儘管增加圖案的亮度與減少光接收系統的曝光時間可能改善偵測器獲取三維資訊的能力,這些修正也可能損及攝影機擷取有用之二維影像的能力。例如,在縮短之曝光時間下所擷取的二維影像可能是暗的。一般,要擷取較清楚的二維影像可能需要較長的曝光時間。
因此,綜上所述,用於偵測三維投射圖案的最佳攝影機曝光時間與用於擷取二維影像的最佳攝影機曝光時間可能非常不同。此使藉由相同攝影機要同時地、或在一相較短的時間長度(例如少於一秒)內偵測三維投射圖案並同時地擷取二維影像是困難的。
本揭示案的例子提供一種距離感測器,其能夠藉由單一個攝影機,快速連續地進行三維資訊獲取(例如從被投射光的圖案)及二維影像獲取。在一例中,被用以針對二維影像獲取提供照明的光源與被用以針對三維資訊獲取而投射圖案的光源具有相同波長。如此消除了在距離感測器之光接收系統中對帶通濾波器的需要。
第1圖是圖示本揭示案之範例距離感測器100的方塊圖。距離感測器100可被用以偵測到一物體114的距離d。在一例中,距離感測器100與美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述距離感測器有許多共同的組件。例如,在一例中,距離感測器包含攝影機(或其他影像擷取裝置)102、處理器104、控制器106、及圖案投射器108。
在一例中,攝影機102可為靜態或視訊攝影機。攝影機102可能夠擷取三維距離資料。例如,攝影機102可包括一偵測器,其能夠偵測被投射到物體114上的光圖案,其中被投射光所具的波長對人眼而言為大致不可見(例如紅外光)。攝影機102也可能能夠擷取物體114之二維紅、綠、藍(RGB)影像。因此,在一例中,攝影機102可為紅、綠、藍紅外光(RGBIR)攝影機。此情況中,針對三維距離感測發出的紅外光可僅輸入至具有IR濾波器之攝影機102的像素,同時其他波長的光能被RGB濾波器上的像素辨識成彩色影像。因此,攝影機的偵測器能同時偵測紅、綠、藍與紅外光,能偵測僅只紅外光,或者能偵測僅只紅、綠、藍。由於三維距離感測依賴被投射光圖案的強度,而二維成像依賴外部亮度,對於攝影機102之IR及RGB部分的最佳曝光時間將是不同的。攝影機102可能具有魚眼鏡頭,且可經配置以擷取有高達180度之視野的影像資料。
攝影機102可發送經擷取影像資料至處理器104。處理器104可經配置以處理經擷取影像資料(例如三維距離資料及二維影像資料)以為了計算到物體114的距離。例如,可按照美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述方法來計算該距離。
控制器106可經配置以控制距離感測器之其他組件的操作,例如攝影機102、處理器104、及圖案投射器108的操作。例如,控制器106可控制攝影機102的曝光時間(例如攝影機之快門打開的持續期間),以及攝影機102擷取影像(包括物體114之影像)所用的定時。如下更詳細討論,控制器106可為攝影機102設定兩不同曝光持續期間:第一曝光持續期間及第二曝光持續時間,在第一曝光持續期間與圖案投射器108將圖案投射到物體114上同時間來擷取物體114的影像(例如用於三維距離感測),而在第二曝光持續期間在圖案投射器108不投射圖案到物體114上時擷取物體114的影像(例如用於二維影像獲取)。在一例中,控制器106可在第一曝光持續期間與第二曝光持續期間之間交替。
控制器106也可控制圖案投射器108將光圖案投射到物體114上的持續期間,以及圖案投射器108將光圖案投射到物體114上的時機。例如,控制器106可控制由圖案投射器108之光源發出的脈衝的持續期間,如下更詳細地討論。
圖案投射器108可包含經配置以將光圖案投射到物體114上的各種光學元件。例如,圖案投射器108可包括雷射光源,像是垂直空腔表面發光雷射(vertical cavity surface emitting laser,VCSEL)110及繞射光學元件(diffractive optical element,DOE)112。VCSEL 110可經配置以在控制器106的導引下發出雷射光束(例如其中控制器106控制雷射脈衝的持續期間)。DOE 112可經配置以將VCSEL 110投射的光束分離成為複數個光束。該複數個光束可成扇形或展開,使得各光束產生在攝影機的視野中的一不同光點(例如點、劃、x、或類似者)。由該複數個光束產生的該些不同光點一起形成一圖案。到物體114的距離可基於物體114上該圖案的外觀來計算。
第2圖是圖示按照本揭示案的方法200例子的流程圖,該方法200用於針對三維深度感測與二維影像擷取調整距離感測器的攝影機曝光。可(例如)藉由第1圖中圖示的處理器104進行方法200。為了舉例,方法200經描述成由一處理系統進行。
方法200可在步驟202中開始。步驟204中,處理系統可將一距離感測器之攝影機的曝光時間設定為第一值。該第一值可定義曝光的持續期間(例如該攝影機的快門打開有第一時間窗口長以獲取影像資料)。
步驟206中,處理系統可指示攝影機去獲取在距離感測器之視野中的一物體的第一影像。在一例中,該第一影像是一個二維影像(其沒有包括來自被投射光圖案的資料)。在一例中,用於該第一影像之獲取的曝光時間因此等於第一值。
步驟208中,處理系統可指示距離感測器的一圖案投射器(例如具有包括雷射光源及繞射光學元件之光學元件的一系統)來投射光圖案到該物體上。在一例中,該光圖案可包含以對人眼而言為大致不可見之波長發出的光(例如紅外光)。在一例中,發送至圖案投射器的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令(例如雷射脈衝的定時及持續期間)。
步驟210中,處理系統可將攝影機的曝光時間設定成第二值。該第二值可定義曝光的持續期間(例如該攝影機的快門打開有第二時間窗口長以獲取影像資料)。在一例中,第二值小於第一值。
步驟212中,處理系統可指示攝影機去獲取該物體的第二影像,其中該第二影像也包括被該圖案投射器投射在該物體上的光圖案。在一例中,用於該第二影像之獲取的曝光時間因此等於第二值。
步驟214中處理系統可指示圖案投射器停止投射該光圖案到該物體上。例如,發送給圖案投射器的指令可指示該圖案投射器關閉一雷射。
步驟216中,處理系統可決定是否停止將該物體成像。例如,若已獲取足夠資料(例如從第一及第二影像)來計算到該物體的距離,則可停止該物體之成像。若該處理系統在步驟216中總結不應停止成像,則方法200可返回步驟204而如上述地繼續以擷取該物體的額外影像。
替代地,若該處理系統在步驟216中總結應停止成像,則方法200可繼續到步驟218。步驟218中,處理系統可處理該第一及第二影像以決定到該物體的距離。例如,可利用美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述的方法之任意者來計算該距離。替代地,該處理系統可將第一及第二影像發送至一遠端處理系統以用於距離計算。
方法200可結束在步驟220中。
第3圖是一範例時間圖,圖示時框速率與一距離感測器攝影機之曝光、以及用於三維距離量測之距離投射之間的關係,其中單一光源在針對三維距離資訊及二維影像獲取之不同曝光期間發光,且其中三維距離量測與二維影像獲取每隔一個時框交替。例如,第3圖的時間圖可圖示第1圖之距離感測器100的操作。
尤其,第3圖顯示時間圖的七個時框,f1
-f7
。在一例中,三維距離量測及二維影像獲取乃交替地(每隔一個時框)進行。也就是說,在第一時框f1
期間,可採用第一持續期間d1
的第一次攝影機曝光來獲取用於三維距離量測的資訊。接著,在接續的第二時框f2
期間,可採用第二持續期間d2
(比第一次攝影機曝光的持續期間長,即d2
> d1
)的第二次攝影機曝光以獲取一二維影像。在第三時框f3
與接續的單數編號的時框f5
、f7
、等等之期間,針對曝光再次採用第一持續期間d1
以獲取用於三維距離量測的額外資訊。在第四時框f4
與接續的偶數編號的時框f6
、等等之期間,針對曝光再次採用第二持續期間d2
以獲取額外二維影像,以此類推。
在一例中,可每隔一個時框發出具第三、固定之持續期間p1
的雷射(或投射光源)脈衝。在一例中第三持續期間p1
大於第一持續期間d1
,但小於第二持續期間d2
(即d1
<p1
<d2
)。在一例中,發出雷射脈衝是與第一持續期間d1
(例如每個單數編號的時框)之每次攝影機曝光為同時的。換言之,在每個單數編號的時框開始時,發出持續期間p1
的雷射脈衝,而攝影機快門打開有持續期間d1
之窗口長。因此,可利用該雷射脈衝來投射圖案,距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第3圖也能看出,具第三持續期間p1
的各雷射脈衝乃關聯於第一持續期間d1
的一次攝影機曝光與第二持續期間d2
的一次攝影機曝光。也就是說,第一持續期間d1
的一次攝影機曝光與第二持續期間d2
的一次攝影機曝光(依此順序)發生在具第三持續期間p1
的每對雷射脈衝中間。接著,可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
第4圖是圖示本揭示案之範例距離感測器400的一方塊圖。可利用距離感測器400來偵測到一物體414的距離d。在一例中,距離感測器400與美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述距離感測器有許多共同的組件。例如,在一例中,該距離感測器包含攝影機(或其他影像擷取裝置)402、處理器404、控制器406、及圖案投射器408。然而,不像第1圖的距離感測器100,距離感測器400額外地包括一發光二極體(LED)416或其他類型之照明構件,其發出對人眼為可見的波長(例如白色)的光。替代地,LED 416所發出的波長可與VCSEL 410的波長相同。
在一例中,攝影機402可為靜態或視訊攝影機。攝影機402可能夠擷取三維距離資料。例如,攝影機402可包括一偵測器,其能夠偵測被投射到物體414上的光圖案,其中被投射光所具的波長對人眼而言為大致不可見(例如紅外光)。攝影機402也可能能夠擷取物體414之二維紅、綠、藍(RGB)影像。因此,在一例中,攝影機402可為紅、綠、藍紅外光(RGBIR)攝影機。此情況中,針對三維距離感測發出的紅外光可僅輸入至具有IR濾波器之攝影機402的像素,同時其他波長的光能被RGB濾波器上的像素辨識成彩色影像。由於三維距離感測依賴被投射光圖案的強度,而二維成像依賴外部亮度,對於攝影機402之IR及RGB部分的最佳曝光時間將是不同的。攝影機402可能具有魚眼鏡頭,且可經配置以擷取有高達180度之視野的影像資料。
攝影機402可發送經擷取影像資料至處理器404。處理器404可經配置以處理經擷取影像資料(例如三維距離資料及二維影像資料)以為了計算到物體414的距離。例如,可按照美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述方法來計算該距離。
控制器406可經配置以控制距離感測器之其他組件的操作,例如攝影機402、處理器404、圖案投射器408、及LED 416的操作。例如,控制器406可控制攝影機402的曝光時間(例如攝影機之快門打開的持續期間),以及攝影機402擷取影像(包括物體414之影像)所用的定時。如下更詳細討論,控制器406可為攝影機402設定兩不同曝光持續期間:第一曝光持續期間及第二曝光持續時間,在第一曝光持續期間與圖案投射器408將圖案投射到物體414上同時間來擷取物體414的影像(例如用於三維距離感測),而在第二曝光持續期間在圖案投射器408不投射圖案到物體414上、但LED 416正照亮物體414時擷取物體414的影像(例如用於二維影像獲取)。在一例中,控制器406可在第一曝光持續期間與第二曝光持續期間之間交替。
控制器406也可控制圖案投射器408將光圖案投射到物體414上的持續期間,以及圖案投射器408將光圖案投射到物體414上的時機。例如,控制器406可控制由圖案投射器408之光源發出的脈衝的持續期間,如下更詳細地討論。
控制器406也可控制LED 416照亮物體414的持續期間,還有LED 416照亮物體414的定時。例如,控制器406可控制由LED 416發出之脈衝的持續期間,如下更詳細地討論。
圖案投射器408可包含經配置以將光圖案投射到物體414上的各種光學元件。例如,圖案投射器408可包括雷射光源,像是垂直空腔表面發光雷射(VCSEL)410及繞射光學元件(DOE)412。VCSEL 410可經配置以在控制器406的導引下發出雷射光束(例如當控制器406控制雷射脈衝的持續期間)。DOE 412可經配置以將VCSEL 410投射的光束分離成為複數個光束。該複數個光束可成扇形或展開,使得各光束產生在攝影機的視野中的一不同光點(例如點、劃、x、或類似者)。由該複數個光束產生的該些不同光點一起形成一圖案。到物體414的距離可基於物體414上該圖案的外觀來計算。
LED 416可包含能夠在控制器406之導引下(例如其中控制器406控制LED脈衝的持續期間)發出對人眼為可見波長(例如白色)的光的一或更多個發光二極體(或其他光源)。替代地,LED 416所發出的波長可與VCSEL 410的波長相同。可利用LED 416所提供的照明來獲取物體414的二維影像,如下更詳細地討論。
第5圖是圖示方法500之例子的流程圖,該方法500用於針對三維深度感測與二維影像擷取調整距離感測器的攝影機曝光。可(例如)藉由第4圖中圖示的處理器404進行方法500。為了舉例,方法500經描述成由一處理系統進行。
方法500可在步驟502中開始。步驟504中,處理系統可將一距離感測器之攝影機的曝光時間設定為第一值。該第一值可定義曝光的持續期間(例如該攝影機的快門打開有第一時間窗口長以獲取影像資料)。
步驟506中,該處理系統可指示該距離感測器的照明源(例如LED)來照亮該距離感測器之視野中的一物體。在一例中,被發出來照亮該物體的光可包含對人眼為可見之波長的光。替代地,該照明源發出的波長可與距離感測器的圖案投射器的波長相同。在一例中,發送至照明源的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令(例如LED脈衝的定時及持續期間)。
步驟508中,處理系統可指示攝影機去獲取該物體的第一影像。在一例中,該第一影像是一個二維影像(其沒有包括來自被投射光圖案的資料)。在一例中,用於該第一影像之獲取的曝光時間因此等於第一值。
步驟510中,處理系統可指示該照明源停止照亮該物體。例如,發送至該照明源的指令可指示該圖案投射器關閉一LED。
步驟512中,處理系統可指示距離感測器的一圖案投射器(例如具有包括雷射光源及繞射光學元件之光學元件的一系統)來投射光圖案到該物體上。在一例中,該光圖案可包含以對人眼而言為大致不可見之波長發出的光(例如紅外光)。在一例中,發送至圖案投射器的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令(例如雷射脈衝的定時及持續期間)。
步驟514中,處理系統可將攝影機的曝光時間設定成第二值。該第二值可定義曝光的持續期間(例如該攝影機的快門打開有第二時間窗口長以獲取影像資料)。在一例中,第二值小於第一值。
步驟516中,處理系統可指示攝影機去獲取該物體的第二影像,其中該第二影像也包括被該圖案投射器投射在該物體上的光圖案。在一例中,用於該第二影像之獲取的曝光時間因此等於第二值。
步驟518中,處理系統可指示圖案投射器停止投射該光圖案到該物體上。例如,發送給圖案投射器的指令可指示該圖案投射器關閉一雷射。
步驟520中,處理系統可決定是否停止將該物體成像。例如,若已獲取足夠資料(例如從第一及第二影像)來計算到該物體的距離,則可停止該物體之成像。若該處理系統在步驟520中總結不應停止成像,則方法500可返回步驟504而如上述地繼續以擷取該物體的額外影像。
替代地,若該處理系統在步驟520中總結應停止成像,則方法500可繼續到步驟522。步驟522中,處理系統可處理該第一及第二影像以決定到該物體的距離。例如,可利用美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述的方法之任意者來計算該距離。替代地,該處理系統可將第一及第二影像發送至一遠端處理系統以用於距離計算。
方法500可在步驟524中結束。
第6圖是一範例時間圖,圖示時框速率與一距離感測器攝影機(例如視訊攝影機)之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中第一光源在三維資料獲取的時間(或接近該時間)時發光,而第二、不同光源在二維影像獲取的時間發光,且三維距離量測與二維影像獲取每隔一個時框交替。
尤其,第6圖顯示時間圖的七個時框,f1
-f7
。如在第3圖之範例中,三維距離量測及二維影像獲取乃交替地(每隔一個時框)進行。也就是說,在第一時框f1
期間,可採用第一持續期間d1
的第一次攝影機曝光來獲取用於三維距離量測的資訊。接著,在接續的第二時框f2
期間,可採用第二持續期間d2
(比第一次攝影機曝光的持續期間長,即d2
> d1
)的第二次攝影機曝光以獲取一二維影像。在第三時框f3
與接續的單數編號的時框f5
、f7
、等等之期間,針對曝光再次採用第一持續期間d1
以獲取用於三維距離量測的額外資訊。在第四時框f4
與接續的偶數編號的時框f6
、等等之期間,針對曝光再次採用第二持續期間d2
以獲取額外二維影像,以此類推。
如在第3圖之範例中,可每隔一個時框發出具第三、固定之持續期間p1
的雷射(或投射光源)脈衝。在一例中第三持續期間p1
大於第一持續期間d1
,但小於第二持續期間d2
(即d1
<p1
<d2
)。在一例中,發出雷射脈衝是與第一持續期間d1
之每次攝影機曝光開始(例如每次每個單數編號的時框開始)為同時的。換言之,在每個單數編號的時框開始時,發出持續期間p1
的雷射脈衝,而攝影機快門打開有持續期間d1
之窗口長。因此,可利用該雷射脈衝來投射圖案,距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第6圖也能看出,具第三持續期間p1
的各雷射脈衝乃關聯於第一持續期間d1
的一次攝影機曝光與第二持續期間d2
的一次攝影機曝光。也就是說,第一持續期間d1
的一次攝影機曝光與第二持續期間d2
的一次攝影機曝光(依此順序)發生在具第三持續期間p1
的每對雷射脈衝中間。
在一例中,也可與第三持續期間p1
之雷射脈衝交替地發出第四、固定的持續期間p2
的一發光二極體(LED)(或照明光源)脈衝。在一例中,第四持續期間p2
是第一持續期間d1
、第二持續期間d2
、及第三持續期間p1
中最大的(即d1
<p1
<d2
<p2
)。在一例中,LED脈衝與時框重疊;換言之,LED脈衝可於一個時框的末端(例如超過一半)開始且可結束於接近接續時框的中間處。例如,參看第6圖,第四持續期間p2
的LED脈衝可在時框f1
中開始,在第三持續期間p1
之雷射脈衝已結束之後。該同一LED脈衝可結束在接續的時框f2
(在其期間可能沒有發生雷射脈衝)的中間。在一例中,LED脈衝就在第二持續期間d2
之每次攝影機曝光之前發出(例如就在每個偶數編號的時框開始之前)。換言之,就在每個偶數編號的時框開始之前,發出持續期間p2
的LED脈衝,而攝影機快門被打開有持續時間d2
之窗口長,該窗口結束在該(偶數編號的)時框中間。因此,可利用該LED脈衝來提供照明,藉其該距離感測器可獲取一物體的二維影像。
從第6圖也能看出,具第四持續期間p2
的各雷射脈衝乃關聯於第一持續期間d1
的一次攝影機曝光與第二持續期間d2
的一次攝影機曝光。也就是說,第一持續期間d1
的一次攝影機曝光與第二持續期間d2
的一次攝影機曝光(依此順序)發生在具第四持續期間p2
的每對LED脈衝中間。接著,可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
另一例中,第5圖中的步驟508及516能經修改,使得該處理系統分別指示該攝影機去擷取第一複數個(例如n個)影像及第二複數個(例如n個)影像。因此,在該照明源或圖案投射的每個脈衝或發光期間,可擷取複數個影像。
例如,第7圖是一範例時間圖,圖示時框速率與一距離感測器攝影機(例如視訊攝影機)之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中第一光源在三維資料獲取的時間(或接近該時間)時發光,而第二、不同光源在二維影像獲取的時間發光,且三維距離量測與二維影像獲取每隔預定個數的時框交替。
尤其,第7圖顯示時間圖的七個時框,f1
-f7
。不像在第3圖及第6圖之範例(其中三維距離量測及二維影像獲取乃每隔一個時框交替),第7圖中三維距離量測及二維影像獲取每隔預先決定(且可配置)之數目n個時框交替。在第7圖中圖示的特定範例中,n=3。換言之,在前三個時框f1
、f2
、及f3
期間,可採用第一持續期間d1
的第一次攝影機曝光來獲取用於三維距離量測的資訊。接著,在接續的三個時框時框f4
、f5
、及f6
期間,可採用第二持續期間d2
(比第一次攝影機曝光的持續期間長,即d2
> d1
)的第二次攝影機曝光以獲取一二維影像。在以f7
開始的接續三個時框期間,針對曝光再次採用第一持續期間d1
以獲取用於三維距離量測的額外資訊,以此類推。
如在第3圖之範例中,可在其中獲取三維距離量測資料之各個時框的開始時發出具第三、固定之持續期間p1的雷射(或投射光源)脈衝。在一例中第三持續期間p1大於第一持續期間d1,但小於第二持續期間d2(即d1<p1<d2)。在一例中,發出雷射脈衝是與第一持續期間d1之每次攝影機曝光開始(例如每次一組n個接續時框中的一時框開始時)為同時的。換言之,在被指派用於三維資料獲取之一組n個時框中各個時框開始處,發出持續期間p1的雷射脈衝,而攝影機快門打開有持續期間d1之窗口長。因此,可利用該雷射脈衝來投射圖案,距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第7圖也能看出,具第三持續期間p1的各雷射脈衝乃關聯於第一持續期間d1的一次攝影機曝光。也就是說,第一持續期間d1的一次攝影機曝光發生在具第三持續期間p1的每對雷射脈衝中間。
在一例中,也可在於其中獲取二維影像的各組n個時框的開始時發出第五、固定持續時間p3的發光二極體(LED)(或照明光源)脈衝。在一例中第五持續期間p3為第一持續期間d1、第二持續期間d2、第三持續期間p1、及第四持續期間p2之中最大的(即d1<p1<d2<p2<p3)。在一例中,LED脈衝與時框重疊;換言之,LED脈衝可於一個時框的末端(例如超過一半)開始且可結束於接近n個時框之後之一時框的中間處。例如,參看第7圖,第五持續期間p3的LED脈衝可在時框f3中開始,在第三持續期間p1
之雷射脈衝已結束之後。該同一LED脈衝可結束在n個時框之後之該時框(即時框f6
)的中間處。在一例中,LED脈衝就在第二持續期間d2
之第一次攝影機曝光之前發出(例如第二持續期間d2
的n次攝影機曝光連續發生的情況)。換言之,就在被指派用於二維影像獲取之n個接續時框的第一個時框開始之前,發出持續期間p3
的LED脈衝,而在持續期間d3
期間攝影機快門被打開有持續時間d2
之窗口長(該窗口結束在該n個時框之各個時框的中間)有連續三次。因此,可利用該LED脈衝來提供照明,藉其該距離感測器可獲取一物體的二維影像。
從第7圖也能看出,具第五持續期間p3
的各LED脈衝乃關聯於第二持續期間d2
的n次攝影機曝光。也就是說,第二持續期間d2
的n次攝影機曝光發生於具第五持續期間p3
的每次LED脈衝期間。接著,可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
第8圖是圖示本揭示案之範例距離感測器800的方塊圖。可利用距離感測器800來偵測到一物體814的距離d。在一例中,距離感測器800與美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述距離感測器有許多共同的組件。例如,在一例中,該距離感測器包含攝影機(或其他影像擷取裝置)802、處理器804、控制器806、及複數個圖案投射器8081
-8082
(本文此後個別地稱之為「圖案投射器808」或一起稱為「圖案投射器808」)。因此,不像第1及4圖的距離感測器100,距離感測器800包含多於一個圖案投射器。
在一例中,攝影機802可為靜態或視訊攝影機。攝影機802可能夠擷取三維距離資料。例如,攝影機802可包括一偵測器,其能夠偵測被投射到物體814上的光圖案,其中被投射光所具的波長對人眼而言為大致不可見(例如紅外光)。攝影機802也可能能夠擷取物體814之二維紅、綠、藍(RGB)影像。因此,在一例中,攝影機802可為紅、綠、藍紅外光(RGBIR)攝影機。此情況中,針對三維距離感測發出的紅外光可僅輸入至具有IR濾波器之攝影機802的像素,同時其他波長的光能被RGB濾波器上的像素辨識成彩色影像。由於三維距離感測依賴被投射光圖案的強度,而二維成像依賴外部亮度,對於攝影機802之IR及RGB部分的最佳曝光時間將是不同的。攝影機802可能具有魚眼鏡頭,且可經配置以擷取有高達180度之視野的影像資料。
攝影機802可發送經擷取影像資料至處理器804。處理器804可經配置以處理經擷取影像資料(例如三維距離資料及二維影像資料)以為了計算到物體814的距離。例如,可按照美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述方法來計算該距離。
控制器806可經配置以控制距離感測器之其他組件的操作,例如攝影機802、處理器804、圖案投射器808、及LED 816的操作。例如,控制器806可控制攝影機802的曝光時間(例如攝影機之快門打開的持續期間),以及攝影機802擷取影像(包括物體814之影像)所用的定時。如下更詳細討論,控制器806可為攝影機802設定兩不同曝光持續期間:第一曝光持續期間及第二曝光持續時間,在第一曝光持續期間與圖案投射器808之至少一圖案投射器將圖案投射到物體814上同時間來擷取物體814的影像(例如用於三維距離感測),而在第二曝光持續期間在圖案投射器808不投射圖案到物體814上、但LED 816正照亮物體814時擷取物體814的影像(例如用於二維影像獲取)。在一例中,控制器806可在第一曝光持續期間與第二曝光持續期間之間交替。
控制器806也可控制圖案投射器808將光圖案投射到物體814上的持續期間,還有圖案投射器808將光圖案投射到物體814上的定時。例如,控制器806可控制由圖案投射器808之光源發出的脈衝的持續期間,如下更詳細地討論。在一特定範例中,控制器806可控制圖案投射器808在不同時間將光圖案投射到攝影機視野之不同部分中。
控制器806也可控制LED 816照亮物體814的持續期間,還有LED 816照亮物體814的定時。例如,控制器806可控制由LED 816發出之脈衝的持續期間,如下更詳細地討論。
圖案投射器808可包含經配置以將光圖案投射到物體814上的各種光學元件。例如,各圖案投射器808可包括一個別雷射光源,像是一個別垂直空腔表面發光雷射(VCSEL)8101
或8102
(本文此後個別地稱之為「VCSEL 810」或一起稱為「VCSEL 810」)及繞射光學元件(DOE)8121
或8122
(本文此後個別地稱之為「DOE 812」或一起稱為「DOE 812」)。VCSEL 810可經配置以在控制器806的導引下發出雷射光束(例如在控制器806控制雷射脈衝的持續期間的情況)。DOE 812可經配置以將VCSEL 810投射的光束分離成為複數個光束。該複數個光束可成扇形或展開,使得各光束產生在攝影機的視野中的一不同光點(例如點、劃、x、或類似者)。由該複數個光束產生的該些不同光點一起形成個別的圖案。到物體814的距離可基於物體814上該圖案的外觀來計算。
LED 816可包含一或更多個發光二極體(或其他光源),其能夠在控制器806之導引下(例如其中控制器806控制LED脈衝的持續期間)發出對人眼為可見波長(例如白色)的光。替代地,LED 816所發出的波長可與VCSEL 810的波長相同。可利用LED 816所提供的照明來獲取物體814的二維影像,如下更詳細地討論。
第9圖是一範例時間圖,圖示時框速率與一距離感測器攝影機(例如視訊攝影機)之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中使用了兩個光投射系統(例如針對三維距離資料獲取所使用),而針對三維資料獲取及二維影像擷取的曝光持續期間是相同的。
尤其,第9圖顯示時間圖的七個時框,f1
-f7
。在一例中,每三個時框,兩次三維距離量測與一次二維影像獲取交替地進行。也就是說,在第一時框f1
期間,可採用第一持續期間d1
的第一次攝影機曝光來獲取用於三維距離量測的資訊。在接續的第二時框f2
期間,可採用第一持續期間d1
的第二次攝影機曝光以獲取用於三維距離量測的資訊。接著,在接續的第三時框f3
期間,可採用第一持續期間d1
的第三次攝影機曝光以獲取一二維影像。在第四時框f4
與第五時框f5
期間,針對曝光再次採用第一持續期間d1
以獲取用於三維距離量測的額外資訊。在第六時框f6
期間,針對曝光再次採用第一持續期間d1
以獲取額外二維影像,以此類推。
如第9圖中所示,可每三個時框發出具第三、固定之持續期間p1
的第一雷射(或投射光源)脈衝。在一例中第三持續期間p1
大於第一持續期間d1
(即d1
<p1
)。在一例中,第一雷射脈衝是在每三個時框的開始時發出的。換言之,每三個時框的開始時,發出持續期間p1
的第一雷射脈衝,而攝影機快門打開有持續期間d1
之窗口長。因此,可利用第一雷射脈衝來投射圖案,距離感測器可從該圖案獲取用於三維距離量測的資訊。
類似地,也可每三個時框發出具第三、固定之持續期間p1
的第二雷射(或投射光源)脈衝。在一例中,第二雷射脈衝是在每三個時框的開始、但在各第一雷射脈衝之後一個時框時發出的。換言之,在發生第一雷射脈衝之時框之後每個時框的開始時,發出持續期間p1
的第二雷射脈衝,而攝影機快門打開有持續期間d1
之窗口長。因此,可利用第二雷射脈衝來投射圖案,距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第9圖也能看出,具第三持續期間p1
的各雷射脈衝(無論其為第一雷射脈衝或第二雷射脈衝)乃關聯於第一持續期間d1
的三次攝影機曝光。也就是說,第一持續期間d1
的三次攝影機曝光發生於具第三持續期間p1
的每對(第一或第二)雷射脈衝期間。
在一例中,也可在第三持續時間p1
的每次第二雷射脈衝之後時發出第四、固定持續時間p2
的發光二極體(LED)(或照明光源)脈衝。在一例中第四持續期間p2
是第一持續期間d1
與第三持續期間p1
中最大的(即d1
<p1
< p2
)。在一例中,LED脈衝與時框重疊;換言之,LED脈衝可於一個時框的末端(例如超過一半)開始且可結束於接近接續時框的中間處。例如,參看第9圖,第四持續期間p2
的LED脈衝可在時框f2
中開始,在第三持續期間p1
之第二雷射脈衝已結束之後。該同一LED脈衝可結束在接續的時框f3
中間(在該時框期間沒有發生雷射脈衝)。在一例中,LED脈衝就在其間進行二維影像獲取的每次攝影機曝光之前發出(例如就在每三個時框開始前)。換言之,就在每三個時框開始前,發出持續期間p2
的LED脈衝,而攝影機快門被打開有持續時間d1
之窗口長,該窗口結束在接續時框的中間。因此,可利用該LED脈衝來提供照明,藉其該距離感測器可獲取一物體的二維影像。
從第9圖也能看出,具第四持續期間p2
的各LED脈衝乃關聯於第一持續期間d1
的三次攝影機曝光。也就是說,第一持續期間d1
的三次攝影機曝光發生於具第四持續期間p2
的每對LED脈衝之間。接著,可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
第10圖是圖示按照本揭示案用於針對三維深度感測及二維影像擷取調整距離感測器之攝影機曝光的方法1000之範例的流程圖。可藉由(例如)第1、4、及8圖中所示處理器104、404、或804中任意者來進行方法1000。然而,此例中,處理器額外地對攝影機擷取之二維影像資料進行分析,並將此分析反饋回控制器中來控制曝光控制項及照明控制項。為了舉例,方法1000經描述成由一處理系統進行。
方法1000可在步驟1002中開始。在步驟1004中,處理系統可將一距離感測器之攝影機的曝光時間設定為第一值。該第一值可定義曝光的持續期間(例如該攝影機的快門打開有第一時間窗口長以獲取影像資料)。
步驟1006中,處理系統可指示該距離感測器的照明源(例如LED)來照亮該距離感測器之視野中的一物體。在一例中,被發出來照亮該物體的光可包含對人眼為可見之波長的光(例如白光)。在一例中,發送至照明源的指令可包括有關何時開始發光的指令以及發光達多久的指令(例如LED脈衝的定時及持續期間)。
步驟1008中,處理系統可指示攝影機去獲取該物體的第一影像。在一例中,該第一影像是一個二維影像(其沒有包括來自被投射光圖案的資料)。在一例中,用於該第一影像之獲取的曝光時間因此等於第一值。
步驟1010中,處理系統可指示該照明源停止照亮該物體。例如,發送至該照明源的指令可指示該圖案投射器關閉一LED。
步驟1012中,該處理系統可基於對該物體之第一影像的分析,決定用於該攝影機之曝光時間的一第二值和該距離感測器(例如具有包括雷射光源及繞射光學元件之光學元件的系統)之圖案投射器的投射時間。
步驟1014中,處理系統可指示距離感測器的圖案投射器投射一光圖案到該物體上。在一例中,該光圖案可包含以對人眼而言為大致不可見之波長發出的光(例如紅外光)。在一例中,發送至圖案投射器的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令(例如雷射脈衝的定時及持續期間)。
步驟1016中,處理系統可將攝影機的曝光時間設定成第二值。該第二值可定義曝光的持續期間(例如該攝影機的快門打開有第二時間窗口長以獲取影像資料)。在一例中,第二值小於第一值。
步驟1018中,處理系統可指示攝影機去獲取該物體的第二影像,其中該第二影像也包括被該圖案投射器投射在該物體上的光圖案。在一例中,用於該第二影像之獲取的曝光時間因此等於第二值。
步驟1020中,該處理系統可指示該圖案投射器停止投射該光圖案到該物體上。例如,發送給圖案投射器的指令可指示該圖案投射器關閉一雷射。
步驟1022中,處理系統可決定是否停止將該物體成像。例如,若已獲取足夠資料(例如從第一及第二影像)來計算到該物體的距離,則可停止該物體之成像。若該處理系統在步驟1022中總結不應停止成像,則方法1000可返回步驟1004而如上述地繼續以擷取該物體的額外影像。
替代地,若該處理系統在步驟1022中總結應停止成像,則方法1000可繼續到步驟1024。在步驟1024中,處理系統可處理該第一及第二影像以決定到該物體的距離。例如,可利用美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述的方法之任意者來計算該距離。替代地,該處理系統可將第一及第二影像發送至一遠端處理系統以用於距離計算。
方法1000可在步驟1026中結束。
第11圖是一範例時間圖,圖示時框速率與一距離感測器攝影機(例如視訊攝影機)之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中有關在二維影像獲取之時的快門速度的資訊被反饋給用於三維距離資料獲取的時機。也就是說,三維距離資料獲取期間攝影機的曝光時間與用於一光圖案的投射時間可基於從該物體之二維影像對該物體的分析。
應注意,儘管沒有明確指明,但上述方法200、500、及1000的區塊、功能、或操作中的一些可包括針對一特定應用來儲存、顯示、及/或輸出。換言之,依照特定應用而定,方法200、500、及1000中討論的任何資料、記錄、欄位、及/或中間結果能被儲存、顯示、及/或輸出到另一裝置。此外,第2、5、及10圖中記敘一判定操作(或涉及一決策)的區塊、功能、或操作,不隱含該判定操作的兩個分支都會被實行。換言之,判定操作的分支之一可能不被進行,依該判定操作的結果而定。
第12圖描繪用於計算從一感測器到一物體之距離的範例電子裝置1200的高階方塊圖。如此,電子裝置1200可經實施成電子裝置或系統(像是距離感測器)的處理器(例如做為第1、4、及8圖中的處理器104、404、或804)。
如第12圖中所描繪,電子裝置1200包含一硬體處理器元件1202(例如中央處理單元(CPU)、微處理器、或多核心處理器)、一記憶體1204(例如隨機存取記憶體(RAM)及/或唯讀記憶體(ROM))、用於計算從感測器到物體之距離的一模組1205、及各種輸入/輸出裝置1206,例如儲存裝置(包括但不限於磁帶機、軟碟機、硬碟機或光碟機)、接收器、發送器、顯示器、輸出埠、輸入埠、及使用者輸入裝置,像是鍵盤、按鍵盤、滑鼠、麥克風、攝影機、雷射光源、LED光源、及類似者。
雖然顯示了一個處理器元件,應注意電子裝置1200可採用複數個處理器元件。此外,儘管該圖中顯示一個電子裝置1200,若以上討論的方法針對一特定例示範例經實施為分散式或平行式(即以上方法的區塊或整個方法跨於多個或平行電子裝置實施),則此圖的電子裝置1200意圖代表該等多個電子裝置之各者。
應注意到能藉由機器可讀取指令及/或機器可讀取指令與硬體的組合來實施本揭示案,例如利用應用特定積體電路(ASIC)、可程式化邏輯陣列(PLA)(包括現場可程式化閘陣列(FPGA))、或部署在硬體裝置、一般用途電腦或任何其他硬體均等物上的狀態機,例如有關以上討論之方法的電腦可讀取指令,能被用以配置硬體處理器來進行以上揭示之方法的方塊、功能及/或操作。
在一例中,用於目前之模組或程序1205的指令及資料用於計算從感測器到物體的距離,例如機器可讀取指令能被載入記憶體1204中並由硬體處理器元件1202執行以如以上關於方法200、500、及1000所討論地實施該些區塊、功能或操作。此外,當硬體處理器執行指令來進行「操作」時,此可以包括該硬體處理器直接進行操作及/或促進、導引、或協同另一硬體裝置或組件(例如協同處理器及類似者)來進行該些操作。
執行相關於上述方法之機器可讀取指令的處理器能被認知為一經程式化處理器或一專用處理器。如此,本揭示案的用於計算感測器到物體之距離的目前模組1205能被儲存在有形的或實體的(廣泛地稱為非暫態的)電腦可讀取儲存裝置或媒體上,例如揮發性記憶體、非揮發性記憶體、ROM記憶體、RAM記憶體、磁性或光學磁碟機、裝置、或磁片及類似者。更特定地,電腦可讀取儲存裝置可包含提供儲存將被處理器或電子裝置(像是安全感測器系統的電腦或控制器)存取之資訊(像是資料及/或指令)的能力的任何實體裝置。
將理解以上揭露的及其他特徵及功能(或其替代方案)的變化型可經組合到許多其他不同系統或應用中。可後續地進行各種現今不可預見或無法預期的替代方案、修改、或其中之變化,而這些也是以下申請專利範圍所意欲涵蓋者。
d‧‧‧距離
d1、d2‧‧‧持續期間
p1、p2、p3‧‧‧持續期間
f1、f2、f3、f4、f5、f6、f7‧‧‧時框
100、400、800‧‧‧距離感測器
102、402、802‧‧‧攝影機
104、404、804‧‧‧處理器
106、406、806‧‧‧控制器
108、408、8081、8082‧‧‧圖案投射器
110、410、8101、8102‧‧‧垂直空腔表面發光雷射(VCSEL)
112、412、8121、8122‧‧‧繞射光學元件(DOE)
114、414、814‧‧‧物體
200‧‧‧方法
202、204、206、208、210‧‧‧步驟
212、214、216、218、220‧‧‧步驟
416、816‧‧‧LED
500‧‧‧方法
502、504、506、508、510‧‧‧步驟
512、514、516、518、520‧‧‧步驟
522、524‧‧‧步驟
1000‧‧‧方法
1002、1004、1006、1008、1010‧‧‧步驟
1012、1014、1016、1018、1020‧‧‧步驟
1022、1024、1026‧‧‧步驟
1200‧‧‧電子裝置
1202‧‧‧處理器
1204‧‧‧記憶體
1205‧‧‧模組
1206‧‧‧I/O裝置(例如儲存裝置)
第1圖是一方塊圖,圖示本揭示案的一範例距離感測器;
第2圖是一流程圖,圖示按照本揭示案的一種用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的方法的一例;
第3圖是一範例時間圖,圖示時框速率與一距離感測器攝影機之曝光、以及用於三維距離量測之距離投射之間的關係,其中單一光源在針對三維距離資訊及二維影像獲取之不同曝光期間發光,且其中三維距離量測與二維影像獲取每隔一個時框交替;
第4圖是一方塊圖,圖示本揭示案的一範例距離感測器;
第5圖是一流程圖,圖示按照本揭示案的一種用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的方法的一例;
第6圖是一範例時間圖,圖示時框速率與一距離感測器攝影機之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中第一光源在三維資料獲取的時間(或接近該時間)時發光,而第二、不同光源在二維影像獲取的時間發光,且三維距離量測與二維影像獲取每隔一個時框交替;
第7圖是一範例時間圖,圖示時框速率與一距離感測器攝影機之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中第一光源在三維資料獲取的時間(或接近該時間)時發光,而第二、不同光源在二維影像獲取的時間發光,且三維距離量測與二維影像獲取每隔預定個數的時框交替;
第8圖是一方塊圖,圖示本揭示案的一範例距離感測器;
第9圖是一範例時間圖,圖示時框速率與一距離感測器攝影機(例如視訊攝影機)之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中使用了兩個光投射系統(例如針對三維距離資料獲取所使用),而針對三維資料獲取及二維影像擷取的曝光持續期間是相同的;
第10圖是一流程圖,圖示按照本揭示案的一種用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的方法的一例;
第11圖是一範例時間圖,圖示時框速率與一距離感測器攝影機(例如視訊攝影機)之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係,其中有關在二維影像獲取之時的快門速度的資訊被反饋給用於三維距離資料獲取的時機;及
第12圖描繪一範例電子裝置的高階方塊圖,該電子裝置用於計算從感測器到物體的距離。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記)
無
100‧‧‧距離感測器
102‧‧‧攝影機
104‧‧‧處理器
106‧‧‧控制器
108‧‧‧圖案投射器
110‧‧‧垂直空腔表面發光雷射(VCSEL)
112‧‧‧繞射光學元件(DOE)
114‧‧‧物體
d‧‧‧距離
Claims (20)
- 一種用於距離感測的方法,包含下列步驟:藉由一距離感測器的一處理系統,將該距離感測器的一攝影機的一曝光時間設定至一第一值;藉由該處理系統,指示該攝影機獲取在該攝影機之一視野中的一物體的一第一影像,其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的;藉由該處理系統,指示該距離感測器的一圖案投射器將一光圖案投射到該物體上;藉由該處理系統,將該攝影機的該曝光時間設定至一第二值,該第二值不同於該第一值,其中該第二值乃至少部分地基於對該第一影像的一分析所決定;及藉由該處理系統,指示該攝影機獲取該物體的一第二影像,其中該第二影像包括該光圖案,及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。
- 如請求項1所述之方法,其中該第二值小於該第一值。
- 如請求項2所述之方法,其中該第一影像是一個二維的紅、綠、藍影像。
- 如請求項3所述之方法,其中該第二影像是一紅外線影像。
- 如請求項1所述之方法,其中該光圖案包含波長為人眼不可見的光的圖案。
- 如請求項5所述之方法,其中該波長是紅外線。
- 如請求項5所述之方法,其中該攝影機包含一偵測器,該偵測器偵測人眼可見的光的波長以及人眼不可見的波長。
- 如請求項7所述之方法,其中該攝影機是一紅、綠、藍紅外線攝影機。
- 如請求項1所述之方法,進一步包含下列步驟:藉由該處理系統,且在指示該攝影機獲取該第一影像之前,指示該距離感測器的一照明源照亮該物體;及藉由該處理系統,且在指示該圖案投射器投射該光圖案之前,指示該照明源停止照亮該物體。
- 如請求項9所述之方法,其中該照明源以人眼不可見的一波長發光。
- 如請求項10所述之方法,其中該照明源是一紅外線發光二極體。
- 如請求項1所述之方法,其中該第一影像是在該曝光時間被設定為該第一值的同時由該攝影機 獲取的一第一複數個影像中之一者,且其中該第二影像是在該曝光時間被設定為該第二值的同時由該攝影機獲取的一第二複數個影像中之一者。
- 如請求項1所述之方法,其中該圖案投射器是該距離感測器之複數個圖案投射器中的一第一圖案投射器,且其中該複數個圖案投射器中的各圖案投射器經配置以投射一個別光圖案到該視野中的一不同區域中。
- 如請求項1所述之方法,進一步包含下列步驟:藉由該處理系統,基於對該第一影像與該第二影像的分析來計算從該距離感測器到該物體的一距離。
- 如請求項1所述之方法,其中該圖案投射器將該光圖案投射到該物體上的一時間亦乃至少部分地基於對該第一影像的該分析所決定。
- 一種編碼有指令的非暫態機器可讀取儲存媒體,該等指令可由一距離感測器之一處理器執行,其中當該等指令被執行時,該等指令致使該處理器進行操作,該等操作包含:將該距離感測器的一攝影機的一曝光時間設定至一第一值;指示該攝影機獲取在該攝影機之一視野中的一物體 的一第一影像,其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的;指示該距離感測器的一圖案投射器將一光圖案投射到該物體上;將該攝影機的該曝光時間設定至一第二值,該第二值不同於該第一值,其中該第二值乃至少部分地基於對該第一影像的一分析所決定;指示該攝影機獲取該物體的一第二影像,其中該第二影像包括該光圖案,及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的;及基於對該第一影像與該第二影像的分析來計算從該距離感測器到該物體的一距離。
- 一種距離感測器,包含:一圖案投射器,該圖案投射器經配置以將一光圖案投射到一物體上;一攝影機;一控制器,該控制器經配置以在該圖案投射器不正在投射該光圖案到該物體上時設定該攝影機的一曝光時間為一第一值,以及在該圖案投射器正在投射該光圖案到該物體上時設定該攝影機的該曝光時間為一第二值,該第二值不同於該第一值,其中在該曝光時間被設定為該第一值時,該第二值乃至少部分地基於對 一第一影像的一分析所決定;及一處理器,該處理器經配置以基於對該第一影像與一第二影像的分析來計算從該距離感測器到該物體的一距離,該第二影像是在該曝光時間被設定為該第二值時擷取的。
- 如請求項17所述之距離感測器,其中該圖案投射器包含:一紅外線雷射源,該紅外線雷射源經配置以發出一紅外線光束;及一繞射光學元件,該繞射光學元件經配置以將該紅外線光束分離成為複數個紅外線光束,其中該複數個紅外光束中的各光束在該攝影機的一視野中產生一個投射假影(projection artifact)。
- 如請求項18所述之距離感測器,其中該攝影機是一紅、綠、藍紅外線攝影機。
- 如請求項17所述之距離感測器,進一步包含:一紅外線發光二極體,該紅外線發光二極體被該控制器控制以在該攝影機擷取該第一影像時照亮該物體。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862645190P | 2018-03-20 | 2018-03-20 | |
US62/645,190 | 2018-03-20 | ||
WOPCT/US19/22313 | 2019-03-14 | ||
US16/353,859 | 2019-03-14 | ||
PCT/US2019/022313 WO2019182871A1 (en) | 2018-03-20 | 2019-03-14 | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
US16/353,859 US10931883B2 (en) | 2018-03-20 | 2019-03-14 | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201946451A TW201946451A (zh) | 2019-12-01 |
TWI817996B true TWI817996B (zh) | 2023-10-11 |
Family
ID=67985833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108109293A TWI817996B (zh) | 2018-03-20 | 2019-03-19 | 針對三維深度感測及二維成像調整攝影機曝光 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10931883B2 (zh) |
EP (1) | EP3769505A4 (zh) |
JP (1) | JP7354133B2 (zh) |
KR (1) | KR20200123483A (zh) |
CN (2) | CN114827573A (zh) |
TW (1) | TWI817996B (zh) |
WO (1) | WO2019182871A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020501156A (ja) | 2016-12-07 | 2020-01-16 | マジック アイ インコーポレイテッド | 平行パターンを投射する距離センサ |
KR20200054324A (ko) | 2017-10-08 | 2020-05-19 | 매직 아이 인코포레이티드 | 다중 이동형 센서들을 포함한 센서 시스템의 캘리브레이션 |
KR20200054326A (ko) | 2017-10-08 | 2020-05-19 | 매직 아이 인코포레이티드 | 경도 그리드 패턴을 사용한 거리 측정 |
JP2021518535A (ja) | 2018-03-20 | 2021-08-02 | マジック アイ インコーポレイテッド | 様々な密度の投影パターンを使用する距離測定 |
US10931883B2 (en) * | 2018-03-20 | 2021-02-23 | Magik Eye Inc. | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
JP7292315B2 (ja) | 2018-06-06 | 2023-06-16 | マジック アイ インコーポレイテッド | 高密度投影パターンを使用した距離測定 |
WO2020033169A1 (en) | 2018-08-07 | 2020-02-13 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
EP3911920B1 (en) * | 2019-01-20 | 2024-05-29 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
WO2020197813A1 (en) | 2019-03-25 | 2020-10-01 | Magik Eye Inc. | Distance measurement using high density projection patterns |
JP7534330B2 (ja) | 2019-05-12 | 2024-08-14 | マジック アイ インコーポレイテッド | 3次元深度マップデータの2次元画像上へのマッピング |
WO2021113135A1 (en) | 2019-12-01 | 2021-06-10 | Magik Eye Inc. | Enhancing triangulation-based three-dimensional distance measurements with time of flight information |
CN111083386B (zh) * | 2019-12-24 | 2021-01-22 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
US11580662B2 (en) | 2019-12-29 | 2023-02-14 | Magik Eye Inc. | Associating three-dimensional coordinates with two-dimensional feature points |
JP2023510738A (ja) | 2020-01-05 | 2023-03-15 | マジック アイ インコーポレイテッド | 3次元カメラの座標系を2次元カメラの入射位置に移動させる方法 |
WO2021146490A1 (en) * | 2020-01-18 | 2021-07-22 | Magik Eye Inc. | Distance measurements including supplemental accuracy data |
CN114125193A (zh) * | 2020-08-31 | 2022-03-01 | 安霸国际有限合伙企业 | 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构 |
CN112104858B (zh) * | 2020-09-15 | 2022-05-27 | 佛山显扬科技有限公司 | 三维机器视觉系统环境光抑制成像方法 |
CN113075692A (zh) * | 2021-03-08 | 2021-07-06 | 北京石头世纪科技股份有限公司 | 目标检测及控制方法、系统、设备及存储介质 |
US20220284707A1 (en) * | 2021-03-08 | 2022-09-08 | Beijing Roborock Technology Co., Ltd. | Target detection and control method, system, apparatus and storage medium |
CN116248844B (zh) * | 2023-02-14 | 2024-04-30 | 深微光电科技(深圳)有限公司 | 图案数据的处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102385237B (zh) * | 2010-09-08 | 2015-09-16 | 微软技术许可有限责任公司 | 基于结构化光和立体视觉的深度相机 |
US20160163031A1 (en) * | 2014-12-05 | 2016-06-09 | Mantisvision Ltd. | Markers in 3d data capture |
US20180073863A1 (en) * | 2015-05-29 | 2018-03-15 | Olympus Corporation | Illumination apparatus and measurement apparatus |
Family Cites Families (158)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4914460A (en) | 1987-05-29 | 1990-04-03 | Harbor Branch Oceanographic Institution Inc. | Apparatus and methods of determining distance and orientation |
US4954962A (en) | 1988-09-06 | 1990-09-04 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
JPH0451112A (ja) | 1990-06-19 | 1992-02-19 | Fujitsu Ltd | マルチスリット投光器 |
JPH08555A (ja) | 1994-06-16 | 1996-01-09 | Fuji Photo Optical Co Ltd | 内視鏡の照明装置 |
US5699444A (en) | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
JP3328111B2 (ja) | 1995-08-23 | 2002-09-24 | 日本電気株式会社 | 空間距離測定方法及び空間距離測定装置 |
US6038415A (en) | 1997-07-18 | 2000-03-14 | Minolta Co., Ltd. | Image forming apparatus and image-carrier cartridge device which is employed in the same |
DE69823116D1 (de) | 1997-08-05 | 2004-05-19 | Canon Kk | Bildverarbeitungsverfahren und -gerät |
US5980454A (en) | 1997-12-01 | 1999-11-09 | Endonetics, Inc. | Endoscopic imaging system employing diffractive optical elements |
US5870136A (en) | 1997-12-05 | 1999-02-09 | The University Of North Carolina At Chapel Hill | Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications |
AUPP299498A0 (en) | 1998-04-15 | 1998-05-07 | Commonwealth Scientific And Industrial Research Organisation | Method of tracking and sensing position of objects |
US7193645B1 (en) | 2000-07-27 | 2007-03-20 | Pvi Virtual Media Services, Llc | Video system and method of operating a video system |
US6937350B2 (en) | 2001-06-29 | 2005-08-30 | Massachusetts Institute Of Technology | Apparatus and methods for optically monitoring thickness |
US7940299B2 (en) | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
GB2395261A (en) | 2002-11-11 | 2004-05-19 | Qinetiq Ltd | Ranging apparatus |
JP2004212385A (ja) | 2002-12-19 | 2004-07-29 | Olympus Corp | 撮影装置とその撮影装置の撮影方法及び制御方法 |
TWI247104B (en) | 2003-02-26 | 2006-01-11 | Hon Hai Prec Ind Co Ltd | A measuring method for pattern of light guide plate |
DE10308383A1 (de) | 2003-02-27 | 2004-09-16 | Storz Endoskop Produktions Gmbh | Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts |
IL157877A0 (en) * | 2003-09-11 | 2004-03-28 | Imagine It S Happening Ltd | Color edge based 3d scanner |
WO2005052633A1 (de) * | 2003-10-29 | 2005-06-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Abstandssensor und verfahren zur abstandserfassung |
US20070165243A1 (en) | 2004-02-09 | 2007-07-19 | Cheol-Gwon Kang | Device for measuring 3d shape using irregular pattern and method for the same |
US7191056B2 (en) | 2005-01-04 | 2007-03-13 | The Boeing Company | Precision landmark-aided navigation |
JP2006313116A (ja) | 2005-05-09 | 2006-11-16 | Nec Viewtechnology Ltd | 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ |
US7560679B1 (en) * | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
JP4644540B2 (ja) | 2005-06-28 | 2011-03-02 | 富士通株式会社 | 撮像装置 |
US20070091174A1 (en) | 2005-09-30 | 2007-04-26 | Topcon Corporation | Projection device for three-dimensional measurement, and three-dimensional measurement system |
JP4760391B2 (ja) | 2006-01-13 | 2011-08-31 | カシオ計算機株式会社 | 測距装置及び測距方法 |
JP4799216B2 (ja) | 2006-03-03 | 2011-10-26 | 富士通株式会社 | 距離測定機能を有する撮像装置 |
US7375803B1 (en) | 2006-05-18 | 2008-05-20 | Canesta, Inc. | RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging |
JP4889373B2 (ja) | 2006-05-24 | 2012-03-07 | ローランドディー.ジー.株式会社 | 3次元形状測定方法およびその装置 |
WO2008066742A1 (en) | 2006-11-22 | 2008-06-05 | Geng Z Jason | Wide field-of-view reflector and method of designing and making same |
TWI320480B (en) | 2007-04-23 | 2010-02-11 | Univ Nat Formosa | One diffraction 6 degree of freedom optoelectronic measurement system |
WO2009124601A1 (en) | 2008-04-11 | 2009-10-15 | Ecole Polytechnique Federale De Lausanne Epfl | Time-of-flight based imaging system using a display as illumination source |
US8187097B1 (en) | 2008-06-04 | 2012-05-29 | Zhang Evan Y W | Measurement and segment of participant's motion in game play |
DE102008031942A1 (de) | 2008-07-07 | 2010-01-14 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts |
US8531650B2 (en) | 2008-07-08 | 2013-09-10 | Chiaro Technologies LLC | Multiple channel locating |
US8334900B2 (en) | 2008-07-21 | 2012-12-18 | The Hong Kong University Of Science And Technology | Apparatus and method of optical imaging for medical diagnosis |
JP2010091855A (ja) | 2008-10-09 | 2010-04-22 | Denso Corp | レーザビーム照射装置 |
JP5251419B2 (ja) | 2008-10-22 | 2013-07-31 | 日産自動車株式会社 | 距離計測装置および距離計測方法 |
CN101794065A (zh) | 2009-02-02 | 2010-08-04 | 中强光电股份有限公司 | 投影显示系统 |
US20100223706A1 (en) | 2009-03-03 | 2010-09-09 | Illinois Tool Works Inc. | Welding helmet audio communication systems and methods with bone conduction transducers |
JP5484098B2 (ja) | 2009-03-18 | 2014-05-07 | 三菱電機株式会社 | 投写光学系及び画像表示装置 |
JP4991787B2 (ja) | 2009-04-24 | 2012-08-01 | パナソニック株式会社 | 反射型光電センサ |
GB0921461D0 (en) | 2009-12-08 | 2010-01-20 | Qinetiq Ltd | Range based sensing |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US20110188054A1 (en) | 2010-02-02 | 2011-08-04 | Primesense Ltd | Integrated photonics module for optical projection |
JP5612916B2 (ja) | 2010-06-18 | 2014-10-22 | キヤノン株式会社 | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム |
JP5499985B2 (ja) | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
CN103069250B (zh) | 2010-08-19 | 2016-02-24 | 佳能株式会社 | 三维测量设备、三维测量方法 |
JP5163713B2 (ja) | 2010-08-24 | 2013-03-13 | カシオ計算機株式会社 | 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 |
US8830637B2 (en) | 2010-08-31 | 2014-09-09 | Texas Instruments Incorporated | Methods and apparatus to clamp overvoltages for alternating current systems |
US8593535B2 (en) | 2010-09-10 | 2013-11-26 | Apple Inc. | Relative positioning of devices based on captured images of tags |
EP2433716A1 (en) | 2010-09-22 | 2012-03-28 | Hexagon Technology Center GmbH | Surface spraying device with a nozzle control mechanism and a corresponding method |
TWI428558B (zh) | 2010-11-10 | 2014-03-01 | Pixart Imaging Inc | 測距方法、測距系統與其處理軟體 |
JP5815940B2 (ja) | 2010-12-15 | 2015-11-17 | キヤノン株式会社 | 距離計測装置、距離計測方法、およびプログラム |
WO2012104759A1 (en) * | 2011-02-04 | 2012-08-09 | Koninklijke Philips Electronics N.V. | Method of recording an image and obtaining 3d information from the image, camera system |
JP5746529B2 (ja) | 2011-03-16 | 2015-07-08 | キヤノン株式会社 | 三次元距離計測装置、三次元距離計測方法、およびプログラム |
EP2685811B1 (en) | 2011-03-17 | 2016-03-02 | Mirobot Ltd. | System and method for three dimensional teat modeling for use with a milking system |
JP2014122789A (ja) | 2011-04-08 | 2014-07-03 | Sanyo Electric Co Ltd | 情報取得装置、投射装置および物体検出装置 |
JP5830270B2 (ja) | 2011-05-24 | 2015-12-09 | オリンパス株式会社 | 内視鏡装置および計測方法 |
US9325974B2 (en) | 2011-06-07 | 2016-04-26 | Creaform Inc. | Sensor positioning for 3D scanning |
KR101974651B1 (ko) | 2011-06-22 | 2019-05-02 | 성균관대학교산학협력단 | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 |
US10054430B2 (en) | 2011-08-09 | 2018-08-21 | Apple Inc. | Overlapping pattern projector |
US8797512B2 (en) * | 2011-09-15 | 2014-08-05 | Advanced Scientific Concepts, Inc. | Automatic range corrected flash ladar camera |
KR101605224B1 (ko) | 2011-10-05 | 2016-03-22 | 한국전자통신연구원 | 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 |
US9142025B2 (en) | 2011-10-05 | 2015-09-22 | Electronics And Telecommunications Research Institute | Method and apparatus for obtaining depth information using optical pattern |
US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
TW201329509A (zh) | 2012-01-10 | 2013-07-16 | Walsin Lihwa Corp | 立體掃瞄裝置及其立體掃瞄方法 |
US9986208B2 (en) | 2012-01-27 | 2018-05-29 | Qualcomm Incorporated | System and method for determining location of a device using opposing cameras |
CN104254768A (zh) | 2012-01-31 | 2014-12-31 | 3M创新有限公司 | 用于测量表面的三维结构的方法和设备 |
US10937239B2 (en) * | 2012-02-23 | 2021-03-02 | Charles D. Huston | System and method for creating an environment and for sharing an event |
EP2821748B1 (en) | 2012-03-01 | 2019-07-31 | Nissan Motor Co., Ltd | Range finding device and range finding method |
JP6079772B2 (ja) | 2012-03-28 | 2017-02-15 | 富士通株式会社 | 撮像装置 |
EP2849648B1 (en) | 2012-05-18 | 2020-01-08 | Siemens Healthcare Diagnostics Inc. | Fish eye lens imaging apparatus and imaging method |
US8699005B2 (en) | 2012-05-27 | 2014-04-15 | Planitar Inc | Indoor surveying apparatus |
PT2872030T (pt) | 2012-07-10 | 2017-02-23 | Wavelight Gmbh | Processo e aparelho para determinação de aberrações óticas de um olho |
US20140016113A1 (en) | 2012-07-13 | 2014-01-16 | Microsoft Corporation | Distance sensor using structured light |
JP2014020978A (ja) | 2012-07-20 | 2014-02-03 | Fujitsu Ltd | 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法 |
EP2696590B1 (en) | 2012-08-06 | 2014-09-24 | Axis AB | Image sensor positioning apparatus and method |
US9741184B2 (en) | 2012-10-14 | 2017-08-22 | Neonode Inc. | Door handle with optical proximity sensors |
EP3211299A1 (en) | 2012-10-24 | 2017-08-30 | SeeReal Technologies S.A. | Illumination device |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
WO2014097539A1 (ja) | 2012-12-20 | 2014-06-26 | パナソニック株式会社 | 3次元測定装置および3次元測定方法 |
US10466359B2 (en) | 2013-01-01 | 2019-11-05 | Inuitive Ltd. | Method and system for light patterning and imaging |
US9691163B2 (en) | 2013-01-07 | 2017-06-27 | Wexenergy Innovations Llc | System and method of measuring distances related to an object utilizing ancillary objects |
US8768559B1 (en) | 2013-01-22 | 2014-07-01 | Qunomic Virtual Technology, LLC | Line projection system |
US9142019B2 (en) | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
US10105149B2 (en) | 2013-03-15 | 2018-10-23 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US9364167B2 (en) | 2013-03-15 | 2016-06-14 | Lx Medical Corporation | Tissue imaging and image guidance in luminal anatomic structures and body cavities |
US20140320605A1 (en) | 2013-04-25 | 2014-10-30 | Philip Martin Johnson | Compound structured light projection system for 3-D surface profiling |
JP2014228486A (ja) * | 2013-05-24 | 2014-12-08 | インスペック株式会社 | 三次元プロファイル取得装置、パターン検査装置及び三次元プロファイル取得方法 |
US9536339B1 (en) | 2013-06-13 | 2017-01-03 | Amazon Technologies, Inc. | Processing unordered point cloud |
US10061028B2 (en) | 2013-09-05 | 2018-08-28 | Texas Instruments Incorporated | Time-of-flight (TOF) assisted structured light imaging |
JP6211876B2 (ja) | 2013-10-01 | 2017-10-11 | 株式会社トプコン | 測定方法及び測定装置 |
EP2869023B1 (en) * | 2013-10-30 | 2018-06-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and corresponding computer program |
CN103559735B (zh) | 2013-11-05 | 2017-03-01 | 重庆安钻理科技股份有限公司 | 一种三维重建方法及系统 |
US20150311977A1 (en) * | 2013-12-16 | 2015-10-29 | Qualcomm Incorporated | Methods and apparatus for configuring an image sensor for decoding high frequency visible light communication signals |
EP3092601A4 (en) | 2014-01-06 | 2017-11-29 | Eyelock Llc | Methods and apparatus for repetitive iris recognition |
GB2522248A (en) | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
KR102166691B1 (ko) | 2014-02-27 | 2020-10-16 | 엘지전자 주식회사 | 객체의 3차원 형상을 산출하는 장치 및 방법 |
US9526427B2 (en) | 2014-03-21 | 2016-12-27 | Hypermed Imaging, Inc. | Compact light sensors with symmetrical lighting |
US9307231B2 (en) | 2014-04-08 | 2016-04-05 | Lucasfilm Entertainment Company Ltd. | Calibration target for video processing |
US10147198B2 (en) | 2014-04-30 | 2018-12-04 | Shinano Kenshi Co., Ltd. | Measurement device |
JP5829306B2 (ja) | 2014-05-12 | 2015-12-09 | ファナック株式会社 | レンジセンサの配置位置評価装置 |
US10207193B2 (en) | 2014-05-21 | 2019-02-19 | Universal City Studios Llc | Optical tracking system for automation of amusement park elements |
US9699393B2 (en) | 2014-06-26 | 2017-07-04 | Semiconductor Components Industries, Llc | Imaging systems for infrared and visible imaging with patterned infrared cutoff filters |
WO2016025502A1 (en) | 2014-08-11 | 2016-02-18 | Gerard Dirk Smits | Three-dimensional triangulation and time-of-flight based tracking systems and methods |
KR20160020323A (ko) | 2014-08-13 | 2016-02-23 | 옥은호 | 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서 |
JP6264234B2 (ja) | 2014-09-02 | 2018-01-24 | 株式会社Jvcケンウッド | 撮像装置、撮像装置の制御方法及び制御プログラム |
JP6370177B2 (ja) | 2014-09-05 | 2018-08-08 | 株式会社Screenホールディングス | 検査装置および検査方法 |
EP3192243A4 (en) * | 2014-09-10 | 2018-05-02 | Hewlett-Packard Development Company, L.P. | Image projection and capture with simultaneous display of led light |
DE102014114506B4 (de) * | 2014-10-07 | 2020-06-04 | Sick Ag | Kamera zur Montage an einer Fördereinrichtung und Verfahren zur Inspektion oder Identifikation |
US9762793B2 (en) * | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
JP6648147B2 (ja) * | 2014-10-24 | 2020-02-14 | マジック アイ インコーポレイテッド | 距離センサ |
EP3859669A1 (en) | 2014-11-04 | 2021-08-04 | SZ DJI Technology Co., Ltd. | Camera calibration |
US20160128553A1 (en) | 2014-11-07 | 2016-05-12 | Zheng Jason Geng | Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same |
US20160157725A1 (en) | 2014-12-08 | 2016-06-09 | Luis Daniel Munoz | Device, system and methods for assessing tissue structures, pathology, and healing |
CN104459711B (zh) * | 2014-12-09 | 2017-01-11 | 中国科学院半导体研究所 | 一种实现实时距离选通三维成像系统及成像方法 |
KR102369792B1 (ko) | 2015-03-05 | 2022-03-03 | 한화테크윈 주식회사 | 촬영 장치 및 촬영 방법 |
JP6484072B2 (ja) | 2015-03-10 | 2019-03-13 | アルプスアルパイン株式会社 | 物体検出装置 |
CN107407728B (zh) * | 2015-03-26 | 2020-05-22 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
JP6247793B2 (ja) | 2015-03-27 | 2017-12-13 | 富士フイルム株式会社 | 距離画像取得装置 |
US10215557B2 (en) | 2015-03-30 | 2019-02-26 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
US9694498B2 (en) | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
TW201706563A (zh) | 2015-05-10 | 2017-02-16 | 麥吉克艾公司 | 距離感測器(一) |
US10488192B2 (en) | 2015-05-10 | 2019-11-26 | Magik Eye Inc. | Distance sensor projecting parallel patterns |
DE102015209143B4 (de) | 2015-05-19 | 2020-02-27 | Esaote S.P.A. | Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation |
KR20170005649A (ko) | 2015-07-06 | 2017-01-16 | 엘지전자 주식회사 | 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기 |
JP6409978B2 (ja) * | 2015-08-28 | 2018-10-24 | パナソニックIpマネジメント株式会社 | 撮像装置および撮像方法 |
DE102015115011A1 (de) | 2015-09-08 | 2017-03-09 | Valeo Schalter Und Sensoren Gmbh | Laserscanner für Kraftfahrzeuge |
US10176554B2 (en) | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
JP6597150B2 (ja) | 2015-10-09 | 2019-10-30 | 富士通株式会社 | 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法 |
FR3042610B1 (fr) | 2015-10-14 | 2018-09-07 | Quantificare | Dispositif et procede pour reconstruire en trois dimensions la tete et le corps |
US10942261B2 (en) | 2015-10-21 | 2021-03-09 | Samsung Electronics Co., Ltd | Apparatus for and method of range sensor based on direct time-of-flight and triangulation |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
CN108369089B (zh) * | 2015-11-25 | 2020-03-24 | 三菱电机株式会社 | 3维图像测量装置及方法 |
US10191154B2 (en) * | 2016-02-11 | 2019-01-29 | Massachusetts Institute Of Technology | Methods and apparatus for time-of-flight imaging |
KR20170094968A (ko) | 2016-02-12 | 2017-08-22 | 엘지이노텍 주식회사 | 피사체 거리 측정 부재, 이를 갖는 카메라 모듈 |
US11030775B2 (en) | 2016-03-17 | 2021-06-08 | Flir Systems, Inc. | Minimal user input video analytics systems and methods |
CN105806249A (zh) * | 2016-04-15 | 2016-07-27 | 南京拓控信息科技股份有限公司 | 一种使用单相机同时实现图像采集和深度测量的方法 |
CN107438148B (zh) | 2016-05-27 | 2021-08-24 | 松下知识产权经营株式会社 | 摄像系统 |
JP2017215374A (ja) * | 2016-05-30 | 2017-12-07 | パナソニックIpマネジメント株式会社 | 画像投影システムおよび画像投影方法 |
US9686539B1 (en) | 2016-06-12 | 2017-06-20 | Apple Inc. | Camera pair calibration using non-standard calibration objects |
US10163216B2 (en) * | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
JP2020501156A (ja) | 2016-12-07 | 2020-01-16 | マジック アイ インコーポレイテッド | 平行パターンを投射する距離センサ |
US20180227566A1 (en) | 2017-02-06 | 2018-08-09 | Microsoft Technology Licensing, Llc | Variable field of view and directional sensors for mobile machine vision applications |
US11025887B2 (en) | 2017-02-27 | 2021-06-01 | Sony Corporation | Field calibration of stereo cameras with a projector |
US10769914B2 (en) | 2017-06-07 | 2020-09-08 | Amazon Technologies, Inc. | Informative image data generation using audio/video recording and communication devices |
CN109729721B (zh) | 2017-08-29 | 2021-04-16 | 深圳市汇顶科技股份有限公司 | 光学测距方法以及光学测距装置 |
KR20200054326A (ko) | 2017-10-08 | 2020-05-19 | 매직 아이 인코포레이티드 | 경도 그리드 패턴을 사용한 거리 측정 |
KR20200054324A (ko) | 2017-10-08 | 2020-05-19 | 매직 아이 인코포레이티드 | 다중 이동형 센서들을 포함한 센서 시스템의 캘리브레이션 |
US10679076B2 (en) | 2017-10-22 | 2020-06-09 | Magik Eye Inc. | Adjusting the projection system of a distance sensor to optimize a beam layout |
JP2021518535A (ja) | 2018-03-20 | 2021-08-02 | マジック アイ インコーポレイテッド | 様々な密度の投影パターンを使用する距離測定 |
US10931883B2 (en) | 2018-03-20 | 2021-02-23 | Magik Eye Inc. | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
JP7292315B2 (ja) | 2018-06-06 | 2023-06-16 | マジック アイ インコーポレイテッド | 高密度投影パターンを使用した距離測定 |
WO2020033169A1 (en) | 2018-08-07 | 2020-02-13 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
WO2020117785A1 (en) | 2018-12-08 | 2020-06-11 | Magik Eye Inc. | Vertical cavity surface emitting laser-based projector |
EP3911920B1 (en) | 2019-01-20 | 2024-05-29 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
-
2019
- 2019-03-14 US US16/353,859 patent/US10931883B2/en active Active
- 2019-03-14 CN CN202210561274.2A patent/CN114827573A/zh active Pending
- 2019-03-14 JP JP2020550142A patent/JP7354133B2/ja active Active
- 2019-03-14 KR KR1020207029805A patent/KR20200123483A/ko not_active Application Discontinuation
- 2019-03-14 WO PCT/US2019/022313 patent/WO2019182871A1/en unknown
- 2019-03-14 EP EP19770406.7A patent/EP3769505A4/en active Pending
- 2019-03-14 CN CN201980033874.8A patent/CN112119628B/zh active Active
- 2019-03-19 TW TW108109293A patent/TWI817996B/zh active
-
2021
- 2021-01-26 US US17/158,131 patent/US11381753B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102385237B (zh) * | 2010-09-08 | 2015-09-16 | 微软技术许可有限责任公司 | 基于结构化光和立体视觉的深度相机 |
US20160163031A1 (en) * | 2014-12-05 | 2016-06-09 | Mantisvision Ltd. | Markers in 3d data capture |
US20180073863A1 (en) * | 2015-05-29 | 2018-03-15 | Olympus Corporation | Illumination apparatus and measurement apparatus |
Also Published As
Publication number | Publication date |
---|---|
CN112119628A (zh) | 2020-12-22 |
KR20200123483A (ko) | 2020-10-29 |
TW201946451A (zh) | 2019-12-01 |
EP3769505A4 (en) | 2021-12-01 |
CN112119628B (zh) | 2022-06-03 |
JP2021518700A (ja) | 2021-08-02 |
US11381753B2 (en) | 2022-07-05 |
JP7354133B2 (ja) | 2023-10-02 |
CN114827573A (zh) | 2022-07-29 |
US10931883B2 (en) | 2021-02-23 |
WO2019182871A1 (en) | 2019-09-26 |
US20190297241A1 (en) | 2019-09-26 |
US20210152723A1 (en) | 2021-05-20 |
EP3769505A1 (en) | 2021-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI817996B (zh) | 針對三維深度感測及二維成像調整攝影機曝光 | |
US11483503B2 (en) | Three-dimensional sensor including bandpass filter having multiple passbands | |
US10412352B2 (en) | Projector apparatus with distance image acquisition device and projection mapping method | |
JP2019508717A5 (ja) | 自動被写体検出および視覚システムの照明不変画像センサの方法および装置 | |
TWI675582B (zh) | 用於具有背景去除的主動深度成像儀的系統和方法 | |
JP6160851B1 (ja) | 投影システム | |
US10359277B2 (en) | Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor | |
US10679370B2 (en) | Energy optimized imaging system with 360 degree field-of-view | |
US10663593B2 (en) | Projector apparatus with distance image acquisition device and projection method | |
US20190364251A1 (en) | Projection system and projection method | |
US20200358961A1 (en) | Mapping three-dimensional depth map data onto two-dimensional images | |
US20220034651A1 (en) | Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor | |
EP3175291B1 (en) | Image projection and capture with adjustment for white point | |
JP3818028B2 (ja) | 3次元画像撮像装置および3次元画像撮像方法 | |
US20180292867A1 (en) | Method for recording an image using a mobile device | |
TW202115364A (zh) | 利用雷射脈衝列叢發和閘控感測器的3d主動深度感測 |