TW201946451A - 針對三維深度感測及二維成像調整攝影機曝光 - Google Patents

針對三維深度感測及二維成像調整攝影機曝光 Download PDF

Info

Publication number
TW201946451A
TW201946451A TW108109293A TW108109293A TW201946451A TW 201946451 A TW201946451 A TW 201946451A TW 108109293 A TW108109293 A TW 108109293A TW 108109293 A TW108109293 A TW 108109293A TW 201946451 A TW201946451 A TW 201946451A
Authority
TW
Taiwan
Prior art keywords
camera
image
pattern
value
light
Prior art date
Application number
TW108109293A
Other languages
English (en)
Other versions
TWI817996B (zh
Inventor
木村昭輝
Original Assignee
美商麥吉克艾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商麥吉克艾公司 filed Critical 美商麥吉克艾公司
Publication of TW201946451A publication Critical patent/TW201946451A/zh
Application granted granted Critical
Publication of TWI817996B publication Critical patent/TWI817996B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一種範例方法包括將一距離感測器的攝影機的曝光時間設定至第一值，指示該攝影機獲取在該攝影機之視野中的一物體的第一影像，其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的，指示該距離感測器的圖案投射器將一光圖案投射到該物體上，將該攝影機的該曝光時間設定至不同於該第一值的第二值，及指示該攝影機獲取該物體的第二影像，其中該第二影像包括該光圖案，及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。

Description

針對三維深度感測及二維成像調整攝影機曝光
本揭示案有關用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的設備、方法、及非暫態電腦可讀取媒體。
本申請案申請美國臨時專利申請案第62/645,190號（申請於2018年3月20日）的優先權益，該案在此藉引用方式整體併入本文。
美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號描述距離感測器的各種配置方式。此類距離感測器在各式各樣應用中是有用的，包括保全、遊戲、無人駕駛車輛的控制、及其他應用。
這些申請案中描述的距離感測器包括將對人眼而言大致不可見之波長的光（例如紅外光）投射到視野中的投射系統（例如包含雷射、繞射光學元件、及/或其他協作組件）。光束展開而產生圖案（有點、劃、或其他假影），該些圖案能被適當的光接收系統（例如鏡頭、影像擷取裝置、及/或其他組件）偵測。當該圖案被入射到視野中的一物體上時，能基於在該視野之一或更多個影像中該圖案的外觀（例如該些點、劃、或其他假影的位置關係）來計算從感測器到該物體的距離，該一或更多個影像可由感測器的光接收系統所擷取。也能決定物體的形狀及尺寸。
例如，圖案的外觀可隨到物體的距離改變。作為一例，若該圖案包含點組成的圖案，當物體接近感測器時該些點可顯得彼此較靠近，而當物體進一步遠離感測器時該些點可顯得彼此更遠離。
一範例方法包括將一距離感測器的攝影機的曝光時間設定至第一值，指示該攝影機獲取在該攝影機之視野中的一物體的第一影像，其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的，指示該距離感測器的圖案投射器將一光圖案投射到該物體上，將該攝影機的該曝光時間設定至不同於該第一值的第二值，及指示該攝影機獲取該物體的第二影像，其中該第二影像包括該光圖案，及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。
在另一例中，一種非暫態機器可讀取儲存媒體經編碼有一處理器可執行的指令。當被執行時，該等指令致使該處理器進行包括以下的操作：將距離感測器的攝影機的曝光時間設定至第一值，指示該攝影機獲取在該攝影機之視野中的一物體的第一影像，其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的，指示該距離感測器的圖案投射器將一光圖案投射到該物體上，將該攝影機的該曝光時間設定至第二值，該第二值不同於該第一值，以及指示該攝影機獲取該物體的第二影像，其中該第二影像包括該光圖案，及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。
另一例中，一種距離感測器包括經配置以投射光圖案到一物體上的一圖案投射器、一攝影機、一控制器、及一處理器，該控制器經配置以在該圖案投射器不正在投射該光圖案到該物體上時設定該攝影機的一曝光時間為第一值，以及在該圖案投射器正在投射該光圖案到該物體上時設定該攝影機的該曝光時間為第二值，該處理器經配置以基於對在該曝光時間被設定為該第一值時擷取的第一影像與在該曝光時間被設定為該第二值時擷取的第二影像的分析來計算從該距離感測器到該物體的距離。
本揭示案概略地描述用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的設備、方法、及非暫態電腦可讀取媒體。如上所討論，像是美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述者的距離感測器，藉由投射光束來決定到一物體的距離（還有，可能有該物體的形狀及尺寸），該光束在包括該物體之視野中展開以產生一圖案（例如有點、劃、或其他假影）。該光束可投射自一或更多個雷射光源，該一或更多個雷射光源發出的光所具波長對人眼而言大致不可見，但對一適當偵測器（例如光接收系統）而言為可見的。接著可基於該圖案對該偵測器而言的外觀來計算到該物體的三維距離。
在一些情況中，也可擷取該物體的二維影像（例如藉由光接收系統的攝影機），並利用該二維影像來改善三維距離量測。例如，可對物體附加一參考標記。然後，當可得到的三維資訊（例如圖案的點的個數）的量不足以進行正確的距離量測時，可利用來自該物體之二維影像（包括該參考標記）的資訊來補充該三維資訊。也可能從二維影像決定環境特性，像是外部明亮度、物體反射率、及類似者。可利用此資訊來調整被投射光束（因此還有被投射的圖案）以改善三維距離量測。
然而，各種因素使得難以利用相同攝影機快速連續地獲取三維物體資料（例如包括圖案資料）和二維物體影像。例如，環境光導入的雜訊使偵測器難以清楚地偵測由光束形成的圖案。要減弱環境光之效應的一種方法是在感測器的光接收系統中併入窄帶通濾波器，例如其中濾波器允許僅只紅外光通過。然而，若環境光的量非常大（可能像是戶外的情況），則該圖案與環境光之間的差異可能非常小。更甚者，若光接收系統的曝光時間未經適當地設定，則曝光值與感測器寬容度（latitude）之間的關係可能導致不想要的飽和狀態（saturation）。在任一情況中，對偵測器而言可仍難以區分光束形成的圖案與環境光，即使使用了窄帶通濾波器。例如，當由光束形成之圖案與環境光兩者的圖案都超過感測器寬容度時，可能發生飽和狀態。然而，藉由減少曝光時間使得輸入到光接收系統的光的量在感測器寬容度的範圍內，則圖案之影像可能變得更清楚。
替代地或額外地，當環境光的量大時，若形成該圖案的光束的亮度相對於環境光的亮度增加，則對偵測器而言可能更容易區分出該圖案。然而，從安全的角度，增加光束的亮度可能伴隨一些風險，因為對較亮之光束的曝光可能傷害人眼。因此，可縮短雷射的發光時間以使風險最小化，而也可縮短光接收系統的曝光時間來減少環境光。
儘管增加圖案的亮度與減少光接收系統的曝光時間可能改善偵測器獲取三維資訊的能力，這些修正也可能損及攝影機擷取有用之二維影像的能力。例如，在縮短之曝光時間下所擷取的二維影像可能是暗的。一般，要擷取較清楚的二維影像可能需要較長的曝光時間。
因此，綜上所述，用於偵測三維投射圖案的最佳攝影機曝光時間與用於擷取二維影像的最佳攝影機曝光時間可能非常不同。此使藉由相同攝影機要同時地、或在一相較短的時間長度（例如少於一秒）內偵測三維投射圖案並同時地擷取二維影像是困難的。
本揭示案的例子提供一種距離感測器，其能夠藉由單一個攝影機，快速連續地進行三維資訊獲取（例如從被投射光的圖案）及二維影像獲取。在一例中，被用以針對二維影像獲取提供照明的光源與被用以針對三維資訊獲取而投射圖案的光源具有相同波長。如此消除了在距離感測器之光接收系統中對帶通濾波器的需要。
第1圖是圖示本揭示案之範例距離感測器100的方塊圖。距離感測器100可被用以偵測到一物體114的距離d。在一例中，距離感測器100與美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述距離感測器有許多共同的組件。例如，在一例中，距離感測器包含攝影機（或其他影像擷取裝置）102、處理器104、控制器106、及圖案投射器108。
在一例中，攝影機102可為靜態或視訊攝影機。攝影機102可能夠擷取三維距離資料。例如，攝影機102可包括一偵測器，其能夠偵測被投射到物體114上的光圖案，其中被投射光所具的波長對人眼而言為大致不可見（例如紅外光）。攝影機102也可能能夠擷取物體114之二維紅、綠、藍（RGB）影像。因此，在一例中，攝影機102可為紅、綠、藍紅外光（RGBIR）攝影機。此情況中，針對三維距離感測發出的紅外光可僅輸入至具有IR濾波器之攝影機102的像素，同時其他波長的光能被RGB濾波器上的像素辨識成彩色影像。因此，攝影機的偵測器能同時偵測紅、綠、藍與紅外光，能偵測僅只紅外光，或者能偵測僅只紅、綠、藍。由於三維距離感測依賴被投射光圖案的強度，而二維成像依賴外部亮度，對於攝影機102之IR及RGB部分的最佳曝光時間將是不同的。攝影機102可能具有魚眼鏡頭，且可經配置以擷取有高達180度之視野的影像資料。
攝影機102可發送經擷取影像資料至處理器104。處理器104可經配置以處理經擷取影像資料（例如三維距離資料及二維影像資料）以為了計算到物體114的距離。例如，可按照美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述方法來計算該距離。
控制器106可經配置以控制距離感測器之其他組件的操作，例如攝影機102、處理器104、及圖案投射器108的操作。例如，控制器106可控制攝影機102的曝光時間（例如攝影機之快門打開的持續期間），以及攝影機102擷取影像（包括物體114之影像）所用的定時。如下更詳細討論，控制器106可為攝影機102設定兩不同曝光持續期間：第一曝光持續期間及第二曝光持續時間，在第一曝光持續期間與圖案投射器108將圖案投射到物體114上同時間來擷取物體114的影像（例如用於三維距離感測），而在第二曝光持續期間在圖案投射器108不投射圖案到物體114上時擷取物體114的影像（例如用於二維影像獲取）。在一例中，控制器106可在第一曝光持續期間與第二曝光持續期間之間交替。
控制器106也可控制圖案投射器108將光圖案投射到物體114上的持續期間，以及圖案投射器108將光圖案投射到物體114上的時機。例如，控制器106可控制由圖案投射器108之光源發出的脈衝的持續期間，如下更詳細地討論。
圖案投射器108可包含經配置以將光圖案投射到物體114上的各種光學元件。例如，圖案投射器108可包括雷射光源，像是垂直空腔表面發光雷射（vertical cavity surface emitting laser，VCSEL）110及繞射光學元件（diffractive optical element，DOE）112。VCSEL 110可經配置以在控制器106的導引下發出雷射光束（例如其中控制器106控制雷射脈衝的持續期間）。DOE 112可經配置以將VCSEL 110投射的光束分離成為複數個光束。該複數個光束可成扇形或展開，使得各光束產生在攝影機的視野中的一不同光點（例如點、劃、x、或類似者）。由該複數個光束產生的該些不同光點一起形成一圖案。到物體114的距離可基於物體114上該圖案的外觀來計算。
第2圖是圖示按照本揭示案的方法200例子的流程圖，該方法200用於針對三維深度感測與二維影像擷取調整距離感測器的攝影機曝光。可（例如）藉由第1圖中圖示的處理器104進行方法200。為了舉例，方法200經描述成由一處理系統進行。
方法200可在步驟202中開始。步驟204中，處理系統可將一距離感測器之攝影機的曝光時間設定為第一值。該第一值可定義曝光的持續期間（例如該攝影機的快門打開有第一時間窗口長以獲取影像資料）。
步驟206中，處理系統可指示攝影機去獲取在距離感測器之視野中的一物體的第一影像。在一例中，該第一影像是一個二維影像（其沒有包括來自被投射光圖案的資料）。在一例中，用於該第一影像之獲取的曝光時間因此等於第一值。
步驟208中，處理系統可指示距離感測器的一圖案投射器（例如具有包括雷射光源及繞射光學元件之光學元件的一系統）來投射光圖案到該物體上。在一例中，該光圖案可包含以對人眼而言為大致不可見之波長發出的光（例如紅外光）。在一例中，發送至圖案投射器的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令（例如雷射脈衝的定時及持續期間）。
步驟210中，處理系統可將攝影機的曝光時間設定成第二值。該第二值可定義曝光的持續期間（例如該攝影機的快門打開有第二時間窗口長以獲取影像資料）。在一例中，第二值小於第一值。
步驟212中，處理系統可指示攝影機去獲取該物體的第二影像，其中該第二影像也包括被該圖案投射器投射在該物體上的光圖案。在一例中，用於該第二影像之獲取的曝光時間因此等於第二值。
步驟214中處理系統可指示圖案投射器停止投射該光圖案到該物體上。例如，發送給圖案投射器的指令可指示該圖案投射器關閉一雷射。
步驟216中，處理系統可決定是否停止將該物體成像。例如，若已獲取足夠資料（例如從第一及第二影像）來計算到該物體的距離，則可停止該物體之成像。若該處理系統在步驟216中總結不應停止成像，則方法200可返回步驟204而如上述地繼續以擷取該物體的額外影像。
替代地，若該處理系統在步驟216中總結應停止成像，則方法200可繼續到步驟218。步驟218中，處理系統可處理該第一及第二影像以決定到該物體的距離。例如，可利用美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述的方法之任意者來計算該距離。替代地，該處理系統可將第一及第二影像發送至一遠端處理系統以用於距離計算。
方法200可結束在步驟220中。
第3圖是一範例時間圖，圖示時框速率與一距離感測器攝影機之曝光、以及用於三維距離量測之距離投射之間的關係，其中單一光源在針對三維距離資訊及二維影像獲取之不同曝光期間發光，且其中三維距離量測與二維影像獲取每隔一個時框交替。例如，第3圖的時間圖可圖示第1圖之距離感測器100的操作。
尤其，第3圖顯示時間圖的七個時框，f1 -f7 。在一例中，三維距離量測及二維影像獲取乃交替地（每隔一個時框）進行。也就是說，在第一時框f1 期間，可採用第一持續期間d1 的第一次攝影機曝光來獲取用於三維距離量測的資訊。接著，在接續的第二時框f2 期間，可採用第二持續期間d2 （比第一次攝影機曝光的持續期間長，即d2 ＞ d1 ）的第二次攝影機曝光以獲取一二維影像。在第三時框f3 與接續的單數編號的時框f5 、f7 、等等之期間，針對曝光再次採用第一持續期間d1 以獲取用於三維距離量測的額外資訊。在第四時框f4 與接續的偶數編號的時框f6 、等等之期間，針對曝光再次採用第二持續期間d2 以獲取額外二維影像，以此類推。
在一例中，可每隔一個時框發出具第三、固定之持續期間p1 的雷射（或投射光源）脈衝。在一例中第三持續期間p1 大於第一持續期間d1 ，但小於第二持續期間d2 （即d1 ＜p1 ＜d2 ）。在一例中，發出雷射脈衝是與第一持續期間d1 （例如每個單數編號的時框）之每次攝影機曝光為同時的。換言之，在每個單數編號的時框開始時，發出持續期間p1 的雷射脈衝，而攝影機快門打開有持續期間d1 之窗口長。因此，可利用該雷射脈衝來投射圖案，距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第3圖也能看出，具第三持續期間p1 的各雷射脈衝乃關聯於第一持續期間d1 的一次攝影機曝光與第二持續期間d2 的一次攝影機曝光。也就是說，第一持續期間d1 的一次攝影機曝光與第二持續期間d2 的一次攝影機曝光（依此順序）發生在具第三持續期間p1 的每對雷射脈衝中間。接著，可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
第4圖是圖示本揭示案之範例距離感測器400的一方塊圖。可利用距離感測器400來偵測到一物體414的距離d。在一例中，距離感測器400與美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述距離感測器有許多共同的組件。例如，在一例中，該距離感測器包含攝影機（或其他影像擷取裝置）402、處理器404、控制器406、及圖案投射器408。然而，不像第1圖的距離感測器100，距離感測器400額外地包括一發光二極體（LED）416或其他類型之照明構件，其發出對人眼為可見的波長（例如白色）的光。替代地，LED 416所發出的波長可與VCSEL 410的波長相同。
在一例中，攝影機402可為靜態或視訊攝影機。攝影機402可能夠擷取三維距離資料。例如，攝影機402可包括一偵測器，其能夠偵測被投射到物體414上的光圖案，其中被投射光所具的波長對人眼而言為大致不可見（例如紅外光）。攝影機402也可能能夠擷取物體414之二維紅、綠、藍（RGB）影像。因此，在一例中，攝影機402可為紅、綠、藍紅外光（RGBIR）攝影機。此情況中，針對三維距離感測發出的紅外光可僅輸入至具有IR濾波器之攝影機402的像素，同時其他波長的光能被RGB濾波器上的像素辨識成彩色影像。由於三維距離感測依賴被投射光圖案的強度，而二維成像依賴外部亮度，對於攝影機102之IR及RGB部分的最佳曝光時間將是不同的。攝影機402可能具有魚眼鏡頭，且可經配置以擷取有高達180度之視野的影像資料。
攝影機402可發送經擷取影像資料至處理器404。處理器404可經配置以處理經擷取影像資料（例如三維距離資料及二維影像資料）以為了計算到物體414的距離。例如，可按照美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述方法來計算該距離。
控制器406可經配置以控制距離感測器之其他組件的操作，例如攝影機402、處理器404、圖案投射器408、及LED 416的操作。例如，控制器406可控制攝影機402的曝光時間（例如攝影機之快門打開的持續期間），以及攝影機402擷取影像（包括物體414之影像）所用的定時。如下更詳細討論，控制器406可為攝影機402設定兩不同曝光持續期間：第一曝光持續期間及第二曝光持續時間，在第一曝光持續期間與圖案投射器408將圖案投射到物體414上同時間來擷取物體414的影像（例如用於三維距離感測），而在第二曝光持續期間在圖案投射器408不投射圖案到物體414上、但LED 416正照亮物體414時擷取物體414的影像（例如用於二維影像獲取）。在一例中，控制器406可在第一曝光持續期間與第二曝光持續期間之間交替。
控制器406也可控制圖案投射器408將光圖案投射到物體414上的持續期間，以及圖案投射器408將光圖案投射到物體414上的時機。例如，控制器406可控制由圖案投射器408之光源發出的脈衝的持續期間，如下更詳細地討論。
控制器406也可控制LED 416照亮物體414的持續期間，還有LED 416照亮物體414的定時。例如，控制器406可控制由LED 416發出之脈衝的持續期間，如下更詳細地討論。
圖案投射器408可包含經配置以將光圖案投射到物體414上的各種光學元件。例如，圖案投射器408可包括雷射光源，像是垂直空腔表面發光雷射（VCSEL）410及繞射光學元件（DOE）412。VCSEL 410可經配置以在控制器406的導引下發出雷射光束（例如當控制器406控制雷射脈衝的持續期間）。DOE 412可經配置以將VCSEL 410投射的光束分離成為複數個光束。該複數個光束可成扇形或展開，使得各光束產生在攝影機的視野中的一不同光點（例如點、劃、x、或類似者）。由該複數個光束產生的該些不同光點一起形成一圖案。到物體414的距離可基於物體414上該圖案的外觀來計算。
LED 416可包含能夠在控制器406之導引下（例如其中控制器406控制LED脈衝的持續期間）發出對人眼為可見波長（例如白色）的光的一或更多個發光二極體（或其他光源）。替代地，LED 416所發出的波長可與VCSEL 410的波長相同。可利用LED 416所提供的照明來獲取物體414的二維影像，如下更詳細地討論。
第5圖是圖示方法500之例子的流程圖，該方法500用於針對三維深度感測與二維影像擷取調整距離感測器的攝影機曝光。可（例如）藉由第4圖中圖示的處理器404進行方法500。為了舉例，方法500經描述成由一處理系統進行。
方法500可在步驟502中開始。步驟504中，處理系統可將一距離感測器之攝影機的曝光時間設定為第一值。該第一值可定義曝光的持續期間（例如該攝影機的快門打開有第一時間窗口長以獲取影像資料）。
步驟506中，該處理系統可指示該距離感測器的照明源（例如LED）來照亮該距離感測器之視野中的一物體。在一例中，被發出來照亮該物體的光可包含對人眼為可見之波長的光。替代地，該照明源發出的波長可與距離感測器的圖案投射器的波長相同。在一例中，發送至照明源的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令（例如LED脈衝的定時及持續期間）。
步驟508中，處理系統可指示攝影機去獲取該物體的第一影像。在一例中，該第一影像是一個二維影像（其沒有包括來自被投射光圖案的資料）。在一例中，用於該第一影像之獲取的曝光時間因此等於第一值。
步驟510中，處理系統可指示該照明源停止照亮該物體。例如，發送至該照明源的指令可指示該圖案投射器關閉一LED。
步驟512中，處理系統可指示距離感測器的一圖案投射器（例如具有包括雷射光源及繞射光學元件之光學元件的一系統）來投射光圖案到該物體上。在一例中，該光圖案可包含以對人眼而言為大致不可見之波長發出的光（例如紅外光）。在一例中，發送至圖案投射器的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令（例如雷射脈衝的定時及持續期間）。
步驟514中，處理系統可將攝影機的曝光時間設定成第二值。該第二值可定義曝光的持續期間（例如該攝影機的快門打開有第二時間窗口長以獲取影像資料）。在一例中，第二值小於第一值。
步驟516中，處理系統可指示攝影機去獲取該物體的第二影像，其中該第二影像也包括被該圖案投射器投射在該物體上的光圖案。在一例中，用於該第二影像之獲取的曝光時間因此等於第二值。
步驟518中，處理系統可指示圖案投射器停止投射該光圖案到該物體上。例如，發送給圖案投射器的指令可指示該圖案投射器關閉一雷射。
步驟520中，處理系統可決定是否停止將該物體成像。例如，若已獲取足夠資料（例如從第一及第二影像）來計算到該物體的距離，則可停止該物體之成像。若該處理系統在步驟520中總結不應停止成像，則方法500可返回步驟504而如上述地繼續以擷取該物體的額外影像。
替代地，若該處理系統在步驟520中總結應停止成像，則方法500可繼續到步驟522。步驟522中，處理系統可處理該第一及第二影像以決定到該物體的距離。例如，可利用美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述的方法之任意者來計算該距離。替代地，該處理系統可將第一及第二影像發送至一遠端處理系統以用於距離計算。
方法500可在步驟524中結束。
第6圖是一範例時間圖，圖示時框速率與一距離感測器攝影機（例如視訊攝影機）之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中第一光源在三維資料獲取的時間（或接近該時間）時發光，而第二、不同光源在二維影像獲取的時間發光，且三維距離量測與二維影像獲取每隔一個時框交替。
尤其，第6圖顯示時間圖的七個時框，f1 -f7 。如在第3圖之範例中，三維距離量測及二維影像獲取乃交替地（每隔一個時框）進行。也就是說，在第一時框f1 期間，可採用第一持續期間d1 的第一次攝影機曝光來獲取用於三維距離量測的資訊。接著，在接續的第二時框f2 期間，可採用第二持續期間d2 （比第一次攝影機曝光的持續期間長，即d2 ＞ d1 ）的第二次攝影機曝光以獲取一二維影像。在第三時框f3 與接續的單數編號的時框f5 、f7 、等等之期間，針對曝光再次採用第一持續期間d1 以獲取用於三維距離量測的額外資訊。在第四時框f4 與接續的偶數編號的時框f6 、等等之期間，針對曝光再次採用第二持續期間d2 以獲取額外二維影像，以此類推。
如在第3圖之範例中，可每隔一個時框發出具第三、固定之持續期間p1 的雷射（或投射光源）脈衝。在一例中第三持續期間p1 大於第一持續期間d1 ，但小於第二持續期間d2 （即d1 ＜p1 ＜d2 ）。在一例中，發出雷射脈衝是與第一持續期間d1 之每次攝影機曝光開始（例如每次每個單數編號的時框開始）為同時的。換言之，在每個單數編號的時框開始時，發出持續期間p1 的雷射脈衝，而攝影機快門打開有持續期間d1 之窗口長。因此，可利用該雷射脈衝來投射圖案，距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第6圖也能看出，具第三持續期間p1 的各雷射脈衝乃關聯於第一持續期間d1 的一次攝影機曝光與第二持續期間d2 的一次攝影機曝光。也就是說，第一持續期間d1 的一次攝影機曝光與第二持續期間d2 的一次攝影機曝光（依此順序）發生在具第三持續期間p1 的每對雷射脈衝中間。
在一例中，也可與第三持續期間p1 之雷射脈衝交替地發出第四、固定的持續期間p2 的一發光二極體（LED）（或照明光源）脈衝。在一例中，第四持續期間p2 是第一持續期間d1 、第二持續期間d2 、及第三持續期間p1 中最大的（即d1 ＜p1 ＜d2 ＜p2 ）。在一例中，LED脈衝與時框重疊；換言之，LED脈衝可於一個時框的末端（例如超過一半）開始且可結束於接近接續時框的中間處。例如，參看第6圖，第四持續期間p2 的LED脈衝可在時框f1 中開始，在第三持續期間p1 之雷射脈衝已結束之後。該同一LED脈衝可結束在接續的時框f2 （在其期間可能沒有發生雷射脈衝）的中間。在一例中，LED脈衝就在第二持續期間d2 之每次攝影機曝光之前發出（例如就在每個偶數編號的時框開始之前）。換言之，就在每個偶數編號的時框開始之前，發出持續期間p2 的LED脈衝，而攝影機快門被打開有持續時間d2 之窗口長，該窗口結束在該（偶數編號的）時框中間。因此，可利用該LED脈衝來提供照明，藉其該距離感測器可獲取一物體的二維影像。
從第6圖也能看出，具第四持續期間p2 的各雷射脈衝乃關聯於第一持續期間d1 的一次攝影機曝光與第二持續期間d2 的一次攝影機曝光。也就是說，第一持續期間d1 的一次攝影機曝光與第二持續期間d2 的一次攝影機曝光（依此順序）發生在具第四持續期間p2 的每對LED脈衝中間。接著，可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
另一例中，第5圖中的步驟508及516能經修改，使得該處理系統分別指示該攝影機去擷取第一複數個（例如n個）影像及第二複數個（例如n個）影像。因此，在該照明源或圖案投射的每個脈衝或發光期間，可擷取複數個影像。
例如，第7圖是一範例時間圖，圖示時框速率與一距離感測器攝影機（例如視訊攝影機）之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中第一光源在三維資料獲取的時間（或接近該時間）時發光，而第二、不同光源在二維影像獲取的時間發光，且三維距離量測與二維影像獲取每隔預定個數的時框交替。
尤其，第7圖顯示時間圖的七個時框，f1 -f7 。不像在第3圖及第6圖之範例（其中三維距離量測及二維影像獲取乃每隔一個時框交替），第7圖中三維距離量測及二維影像獲取每隔預先決定（且可配置）之數目n個時框交替。在第7圖中圖示的特定範例中，n=3。換言之，在前三個時框f1 、f2 、及f3 期間，可採用第一持續期間d1 的第一次攝影機曝光來獲取用於三維距離量測的資訊。接著，在接續的三個時框時框f4 、f5 、及f6 期間，可採用第二持續期間d2 （比第一次攝影機曝光的持續期間長，即d2 ＞ d1 ）的第二次攝影機曝光以獲取一二維影像。在以f7 開始的接續三個時框期間，針對曝光再次採用第一持續期間d1 以獲取用於三維距離量測的額外資訊，以此類推。
如在第3圖之範例中，可在其中獲取三維距離量測資料之各個時框的開始時發出具第三、固定之持續期間p1 的雷射（或投射光源）脈衝。在一例中第三持續期間p1 大於第一持續期間d1 ，但小於第二持續期間d2 （即d1 ＜p1 ＜d2 ）。在一例中，發出雷射脈衝是與第一持續期間d1 之每次攝影機曝光開始（例如每次一組n個接續時框中的一時框開始時）為同時的。換言之，在被指派用於三維資料獲取之一組n個時框中各個時框開始處，發出持續期間p1 的雷射脈衝，而攝影機快門打開有持續期間d1 之窗口長。因此，可利用該雷射脈衝來投射圖案，距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第7圖也能看出，具第三持續期間p1 的各雷射脈衝乃關聯於第一持續期間d1 的一次攝影機曝光。也就是說，第一持續期間d1 的一次攝影機曝光發生在具第三持續期間p1 的每對雷射脈衝中間。
在一例中，也可在於其中獲取二維影像的各組n個時框的開始時發出第五、固定持續時間p3 的發光二極體（LED）（或照明光源）脈衝。在一例中第五持續期間p2 為第一持續期間d1 、第二持續期間d2 、第三持續期間p1 、及第四持續期間p2 之中最大的（即d1 ＜p1 ＜d2 ＜p2 ＜p3 ）。在一例中，LED脈衝與時框重疊；換言之，LED脈衝可於一個時框的末端（例如超過一半）開始且可結束於接近n個時框之後之一時框的中間處。例如，參看第7圖，第五持續期間p3 的LED脈衝可在時框f3 中開始，在第三持續期間p1 之雷射脈衝已結束之後。該同一LED脈衝可結束在n個時框之後之該時框（即時框f6 ）的中間處。在一例中，LED脈衝就在第二持續期間d2 之第一次攝影機曝光之前發出（例如第二持續期間d2 的n次攝影機曝光連續發生的情況）。換言之，就在被指派用於二維影像獲取之n個接續時框的第一個時框開始之前，發出持續期間p3 的LED脈衝，而在持續期間d3 期間攝影機快門被打開有持續時間d2 之窗口長（該窗口結束在該n個時框之各個時框的中間）有連續三次。因此，可利用該LED脈衝來提供照明，藉其該距離感測器可獲取一物體的二維影像。
從第7圖也能看出，具第五持續期間p3 的各LED脈衝乃關聯於第二持續期間d2 的n次攝影機曝光。也就是說，第二持續期間d2 的n次攝影機曝光發生於具第五持續期間p3 的每次LED脈衝期間。接著，可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
第8圖是圖示本揭示案之範例距離感測器800的方塊圖。可利用距離感測器800來偵測到一物體814的距離d。在一例中，距離感測器800與美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述距離感測器有許多共同的組件。例如，在一例中，該距離感測器包含攝影機（或其他影像擷取裝置）802、處理器804、控制器806、及複數個圖案投射器8081 -8082 （本文此後個別地稱之為「圖案投射器808」或一起稱為「圖案投射器808」）。因此，不像第1及4圖的距離感測器100，距離感測器800包含多於一個圖案投射器。
在一例中，攝影機802可為靜態或視訊攝影機。攝影機802可能夠擷取三維距離資料。例如，攝影機802可包括一偵測器，其能夠偵測被投射到物體814上的光圖案，其中被投射光所具的波長對人眼而言為大致不可見（例如紅外光）。攝影機802也可能能夠擷取物體814之二維紅、綠、藍（RGB）影像。因此，在一例中，攝影機802可為紅、綠、藍紅外光（RGBIR）攝影機。此情況中，針對三維距離感測發出的紅外光可僅輸入至具有IR濾波器之攝影機802的像素，同時其他波長的光能被RGB濾波器上的像素辨識成彩色影像。由於三維距離感測依賴被投射光圖案的強度，而二維成像依賴外部亮度，對於攝影機102之IR及RGB部分的最佳曝光時間將是不同的。攝影機802可能具有魚眼鏡頭，且可經配置以擷取有高達180度之視野的影像資料。
攝影機802可發送經擷取影像資料至處理器804。處理器804可經配置以處理經擷取影像資料（例如三維距離資料及二維影像資料）以為了計算到物體814的距離。例如，可按照美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述方法來計算該距離。
控制器806可經配置以控制距離感測器之其他組件的操作，例如攝影機802、處理器804、圖案投射器808、及LED 816的操作。例如，控制器806可控制攝影機802的曝光時間（例如攝影機之快門打開的持續期間），以及攝影機802擷取影像（包括物體814之影像）所用的定時。如下更詳細討論，控制器806可為攝影機802設定兩不同曝光持續期間：第一曝光持續期間及第二曝光持續時間，在第一曝光持續期間與圖案投射器808之至少一圖案投射器將圖案投射到物體814上同時間來擷取物體814的影像（例如用於三維距離感測），而在第二曝光持續期間在圖案投射器808不投射圖案到物體814上、但LED 816正照亮物體814時擷取物體814的影像（例如用於二維影像獲取）。在一例中，控制器806可在第一曝光持續期間與第二曝光持續期間之間交替。
控制器806也可控制圖案投射器808將光圖案投射到物體814上的持續期間，還有圖案投射器808將光圖案投射到物體814上的定時。例如，控制器806可控制由圖案投射器808之光源發出的脈衝的持續期間，如下更詳細地討論。在一特定範例中，控制器806可控制圖案投射器808在不同時間將光圖案投射到攝影機視野之不同部分中。
控制器806也可控制LED 816照亮物體814的持續期間，還有LED 816照亮物體814的定時。例如，控制器806可控制由LED 816發出之脈衝的持續期間，如下更詳細地討論。
圖案投射器808可包含經配置以將光圖案投射到物體814上的各種光學元件。例如，各圖案投射器808可包括一個別雷射光源，像是一個別垂直空腔表面發光雷射（VCSEL）8101 或8102 （本文此後個別地稱之為「VCSEL 810」或一起稱為「VCSEL 810」）及繞射光學元件（DOE）8121 或8122 （本文此後個別地稱之為「DOE 812」或一起稱為「DOE 812」）。VCSEL 810可經配置以在控制器806的導引下發出雷射光束（例如在控制器806控制雷射脈衝的持續期間的情況）。DOE 812可經配置以將VCSEL 810投射的光束分離成為複數個光束。該複數個光束可成扇形或展開，使得各光束產生在攝影機的視野中的一不同光點（例如點、劃、x、或類似者）。由該複數個光束產生的該些不同光點一起形成個別的圖案。到物體814的距離可基於物體814上該圖案的外觀來計算。
LED 816可包含一或更多個發光二極體（或其他光源），其能夠在控制器806之導引下（例如其中控制器806控制LED脈衝的持續期間）發出對人眼為可見波長（例如白色）的光。替代地，LED 816所發出的波長可與VCSEL 810的波長相同。可利用LED 816所提供的照明來獲取物體814的二維影像，如下更詳細地討論。
第9圖是一範例時間圖，圖示時框速率與一距離感測器攝影機（例如視訊攝影機）之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中使用了兩個光投射系統（例如針對三維距離資料獲取所使用），而針對三維資料獲取及二維影像擷取的曝光持續期間是相同的。
尤其，第9圖顯示時間圖的七個時框，f1 -f7 。在一例中，每三個時框，兩次三維距離量測與一次二維影像獲取交替地進行。也就是說，在第一時框f1 期間，可採用第一持續期間d1 的第一次攝影機曝光來獲取用於三維距離量測的資訊。在接續的第二時框f2 期間，可採用第一持續期間d1 的第二次攝影機曝光以獲取用於三維距離量測的資訊。接著，在接續的第三時框f3 期間，可採用第一持續期間d1 的第三次攝影機曝光以獲取一二維影像。在第四時框f4 與第五時框f5 期間，針對曝光再次採用第一持續期間d1 以獲取用於三維距離量測的額外資訊。在第六時框f6 期間，針對曝光再次採用第一持續期間d1 以獲取額外二維影像，以此類推。
如第9圖中所示，可每三個時框發出具第三、固定之持續期間p1 的第一雷射（或投射光源）脈衝。在一例中第三持續期間p1 大於第一持續期間d1 （即d1 ＜p1 ）。在一例中，第一雷射脈衝是在每三個時框的開始時發出的。換言之，每三個時框的開始時，發出持續期間p1 的第一雷射脈衝，而攝影機快門打開有持續期間d1 之窗口長。因此，可利用第一雷射脈衝來投射圖案，距離感測器可從該圖案獲取用於三維距離量測的資訊。
類似地，也可每三個時框發出具第三、固定之持續期間p1 的第二雷射（或投射光源）脈衝。在一例中，第二雷射脈衝是在每三個時框的開始、但在各第一雷射脈衝之後一個時框時發出的。換言之，在發生第一雷射脈衝之時框之後每個時框的開始時，發出持續期間p1 的第二雷射脈衝，而攝影機快門打開有持續期間d1 之窗口長。因此，可利用第二雷射脈衝來投射圖案，距離感測器可從該圖案獲取用於三維距離量測的資訊。
從第9圖也能看出，具第三持續期間p1 的各雷射脈衝（無論其為第一雷射脈衝或第二雷射脈衝）乃關聯於第一持續期間d1 的三次攝影機曝光。也就是說，第一持續期間d1 的三次攝影機曝光發生於具第三持續期間p1 的每對（第一或第二）雷射脈衝期間。
在一例中，也可在第三持續時間p1 的每次第二雷射脈衝之後時發出第四、固定持續時間p2 的發光二極體（LED）（或照明光源）脈衝。在一例中第四持續期間p2 是第一持續期間d1 與第三持續期間p1 中最大的（即d1 ＜p1 ＜ p2 ）。在一例中，LED脈衝與時框重疊；換言之，LED脈衝可於一個時框的末端（例如超過一半）開始且可結束於接近接續時框的中間處。例如，參看第9圖，第四持續期間p2 的LED脈衝可在時框f2 中開始，在第三持續期間p1 之第二雷射脈衝已結束之後。該同一LED脈衝可結束在接續的時框f3 中間（在該時框期間沒有發生雷射脈衝）。在一例中，LED脈衝就在其間進行二維影像獲取的每次攝影機曝光之前發出（例如就在每三個時框開始前）。換言之，就在每三個時框開始前，發出持續期間p2 的LED脈衝，而攝影機快門被打開有持續時間d1 之窗口長，該窗口結束在接續時框的中間。因此，可利用該LED脈衝來提供照明，藉其該距離感測器可獲取一物體的二維影像。
從第9圖也能看出，具第四持續期間p2 的各LED脈衝乃關聯於第一持續期間d1 的三次攝影機曝光。也就是說，第一持續期間d1 的三次攝影機曝光發生於具第四持續期間p2 的每對LED脈衝之間。接著，可分開地且不同地處理針對三維距離量測所獲取的影像及二維影像。
第10圖是圖示按照本揭示案用於針對三維深度感測及二維影像擷取調整距離感測器之攝影機曝光的方法1000之範例的流程圖。可藉由（例如）第1、4、及8圖中所示處理器104、404、或804中任意者來進行方法1000。然而，此例中，處理器額外地對攝影機擷取之二維影像資料進行分析，並將此分析反饋回控制器中來控制曝光控制項及照明控制項。為了舉例，方法1000經描述成由一處理系統進行。
方法1000可在步驟1002中開始。在步驟1004中，處理系統可將一距離感測器之攝影機的曝光時間設定為第一值。該第一值可定義曝光的持續期間（例如該攝影機的快門打開有第一時間窗口長以獲取影像資料）。
步驟1006中，處理系統可指示該距離感測器的照明源（例如LED）來照亮該距離感測器之視野中的一物體。在一例中，被發出來照亮該物體的光可包含對人眼為可見之波長的光（例如白光）。在一例中，發送至照明源的指令可包括有關何時開始發光的指令以及發光達多久的指令（例如LED脈衝的定時及持續期間）。
步驟1008中，處理系統可指示攝影機去獲取該物體的第一影像。在一例中，該第一影像是一個二維影像（其沒有包括來自被投射光圖案的資料）。在一例中，用於該第一影像之獲取的曝光時間因此等於第一值。
步驟1010中，處理系統可指示該照明源停止照亮該物體。例如，發送至該照明源的指令可指示該圖案投射器關閉一LED。
步驟1012中，該處理系統可基於對該物體之第一影像的分析，決定用於該攝影機之曝光時間的一第二值和該距離感測器（例如具有包括雷射光源及繞射光學元件之光學元件的系統）之圖案投射器的投射時間。
步驟1014中，處理系統可指示距離感測器的圖案投射器投射一光圖案到該物體上。在一例中，該光圖案可包含以對人眼而言為大致不可見之波長發出的光（例如紅外光）。在一例中，發送至圖案投射器的指令可包括有關何時開始投射該光圖案的指令以及投射該光圖案多久的指令（例如雷射脈衝的定時及持續期間）。
步驟1016中，處理系統可將攝影機的曝光時間設定成第二值。該第二值可定義曝光的持續期間（例如該攝影機的快門打開有第二時間窗口長以獲取影像資料）。在一例中，第二值小於第一值。
步驟1018中，處理系統可指示攝影機去獲取該物體的第二影像，其中該第二影像也包括被該圖案投射器投射在該物體上的光圖案。在一例中，用於該第二影像之獲取的曝光時間因此等於第二值。
步驟1020中，該處理系統可指示該圖案投射器停止投射該光圖案到該物體上。例如，發送給圖案投射器的指令可指示該圖案投射器關閉一雷射。
步驟1022中，處理系統可決定是否停止將該物體成像。例如，若已獲取足夠資料（例如從第一及第二影像）來計算到該物體的距離，則可停止該物體之成像。若該處理系統在步驟1022中總結不應停止成像，則方法1000可返回步驟1004而如上述地繼續以擷取該物體的額外影像。
替代地，若該處理系統在步驟1022中總結應停止成像，則方法1000可繼續到步驟1024。在步驟1024中，處理系統可處理該第一及第二影像以決定到該物體的距離。例如，可利用美國專利申請案第14/920,246號、第15/149,323號、及第15/149,429號中所述的方法之任意者來計算該距離。替代地，該處理系統可將第一及第二影像發送至一遠端處理系統以用於距離計算。
方法1000可在步驟1026中結束。
第11圖是一範例時間圖，圖示時框速率與一距離感測器攝影機（例如視訊攝影機）之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中有關在二維影像獲取之時的快門速度的資訊被反饋給用於三維距離資料獲取的時機。也就是說，三維距離資料獲取期間攝影機的曝光時間與用於一光圖案的投射時間可基於從該物體之二維影像對該物體的分析。
應注意，儘管沒有明確指明，但上述方法200、500、及1000的區塊、功能、或操作中的一些可包括針對一特定應用來儲存、顯示、及/或輸出。換言之，依照特定應用而定，方法200、500、及1000中討論的任何資料、記錄、欄位、及/或中間結果能被儲存、顯示、及/或輸出到另一裝置。此外，第2、5、及10圖中記敘一判定操作（或涉及一決策）的區塊、功能、或操作，不隱含該判定操作的兩個分支都會被實行。換言之，判定操作的分支之一可能不被進行，依該判定操作的結果而定。
第12圖描繪用於計算從一感測器到一物體之距離的範例電子裝置1100的高階方塊圖。如此，電子裝置2300可經實施成電子裝置或系統（像是距離感測器）的處理器（例如做為第1、4、及8圖中的處理器104、404、或804）。
如第12圖中所描繪，電子裝置1200包含一硬體處理器元件1202（例如中央處理單元(CPU)、微處理器、或多核心處理器）、一記憶體1204（例如隨機存取記憶體(RAM)及/或唯讀記憶體(ROM)）、用於計算從感測器到物體之距離的一模組1205、及各種輸入/輸出裝置1206，例如儲存裝置（包括但不限於磁帶機、軟碟機、硬碟機或光碟機）、接收器、發送器、顯示器、輸出埠、輸入埠、及使用者輸入裝置，像是鍵盤、按鍵盤、滑鼠、麥克風、攝影機、雷射光源、LED光源、及類似者。
雖然顯示了一個處理器元件，應注意電子裝置1200可採用複數個處理器元件。此外，儘管該圖中顯示一個電子裝置1200，若以上討論的方法針對一特定例示範例經實施為分散式或平行式（即以上方法的區塊或整個方法跨於多個或平行電子裝置實施），則此圖的電子裝置1200意圖代表該等多個電子裝置之各者。
應注意到能藉由機器可讀取指令及/或機器可讀取指令與硬體的組合來實施本揭示案，例如利用應用特定積體電路（ASIC）、可程式化邏輯陣列（PLA）（包括現場可程式化閘陣列(FPGA)）、或部署在硬體裝置、一般用途電腦或任何其他硬體均等物上的狀態機，例如有關以上討論之方法的電腦可讀取指令，能被用以配置硬體處理器來進行以上揭示之方法的方塊、功能及/或操作。
在一例中，用於目前之模組或程序1205的指令及資料用於計算從感測器到物體的距離，例如機器可讀取指令能被載入記憶體1204中並由硬體處理器元件1202執行以如以上關於方法200、500、及1000所討論地實施該些區塊、功能或操作。此外，當硬體處理器執行指令來進行「操作」時，此可以包括該硬體處理器直接進行操作及/或促進、導引、或協同另一硬體裝置或組件（例如協同處理器及類似者）來進行該些操作。
執行相關於上述方法之機器可讀取指令的處理器能被認知為一經程式化處理器或一專用處理器。如此，本揭示案的用於計算感測器到物體之距離的目前模組1205能被儲存在有形的或實體的（廣泛地稱為非暫態的）電腦可讀取儲存裝置或媒體上，例如揮發性記憶體、非揮發性記憶體、ROM記憶體、RAM記憶體、磁性或光學磁碟機、裝置、或磁片及類似者。更特定地，電腦可讀取儲存裝置可包含提供儲存將被處理器或電子裝置（像是安全感測器系統的電腦或控制器）存取之資訊（像是資料及/或指令）的能力的任何實體裝置。
將理解以上揭露的及其他特徵及功能（或其替代方案）的變化型可經組合到許多其他不同系統或應用中。可後續地進行各種現今不可預見或無法預期的替代方案、修改、或其中之變化，而這些也是以下申請專利範圍所意欲涵蓋者。
d‧‧‧距離
d1、d2‧‧‧持續期間
p1、p2、p3‧‧‧持續期間
f1、f2、f3、f4、f5、f6、f7‧‧‧時框
100、400、800‧‧‧距離感測器
102、402、802‧‧‧攝影機
104、404、804‧‧‧處理器
106、406、806‧‧‧控制器
108、408、8081、8082‧‧‧圖案投射器
110、410、8101、8102‧‧‧垂直空腔表面發光雷射（VCSEL）
112、412、8121、8122‧‧‧繞射光學元件（DOE）
114、414、814‧‧‧物體
200‧‧‧方法
202、204、206、208、210‧‧‧步驟
212、214、216、218、220‧‧‧步驟
416、816‧‧‧LED
500‧‧‧方法
502、504、506、508、510‧‧‧步驟
512、514、516、518、520‧‧‧步驟
522、524‧‧‧步驟
1000‧‧‧方法
1002、1004、1006、1008、1010‧‧‧步驟
1012、1014、1016、1018、1020‧‧‧步驟
1022、1024、1026‧‧‧步驟
1200‧‧‧電子裝置
1202‧‧‧處理器
1204‧‧‧記憶體
1205‧‧‧模組
1206‧‧‧I/O裝置（例如儲存裝置）
第1圖是一方塊圖，圖示本揭示案的一範例距離感測器；
第2圖是一流程圖，圖示按照本揭示案的一種用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的方法的一例；
第3圖是一範例時間圖，圖示時框速率與一距離感測器攝影機之曝光、以及用於三維距離量測之距離投射之間的關係，其中單一光源在針對三維距離資訊及二維影像獲取之不同曝光期間發光，且其中三維距離量測與二維影像獲取每隔一個時框交替；
第4圖是一方塊圖，圖示本揭示案的一範例距離感測器；
第5圖是一流程圖，圖示按照本揭示案的一種用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的方法的一例；
第6圖是一範例時間圖，圖示時框速率與一距離感測器攝影機之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中第一光源在三維資料獲取的時間（或接近該時間）時發光，而第二、不同光源在二維影像獲取的時間發光，且三維距離量測與二維影像獲取每隔一個時框交替；
第7圖是一範例時間圖，圖示時框速率與一距離感測器攝影機之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中第一光源在三維資料獲取的時間（或接近該時間）時發光，而第二、不同光源在二維影像獲取的時間發光，且三維距離量測與二維影像獲取每隔預定個數的時框交替；
第8圖是一方塊圖，圖示本揭示案的一範例距離感測器；
第9圖是一範例時間圖，圖示時框速率與一距離感測器攝影機（例如視訊攝影機）之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中使用了兩個光投射系統（例如針對三維距離資料獲取所使用），而針對三維資料獲取及二維影像擷取的曝光持續期間是相同的；
第10圖是一流程圖，圖示按照本揭示案的一種用於針對三維深度感測及二維影像擷取來調整距離感測器之攝影機曝光的方法的一例；
第11圖是一範例時間圖，圖示時框速率與一距離感測器攝影機（例如視訊攝影機）之曝光、用於三維距離量測之距離投射、以及用於二維影像獲取之發光之間的關係，其中有關在二維影像獲取之時的快門速度的資訊被反饋給用於三維距離資料獲取的時機；及
第12圖描繪一範例電子裝置的高階方塊圖，該電子裝置用於計算從感測器到物體的距離。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記)
無

Claims (20)

  1. 一種方法，包含下列步驟： 藉由一距離感測器的一處理系統，將該距離感測器的一攝影機的一曝光時間設定至一第一值；藉由該處理系統，指示該攝影機獲取在該攝影機之一視野中的一物體的一第一影像，其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的；藉由該處理系統，指示該距離感測器的一圖案投射器將一光圖案投射到該物體上；藉由該處理系統，將該攝影機的該曝光時間設定至一第二值，該第二值不同於該第一值；及藉由該處理系統，指示該攝影機獲取該物體的一第二影像，其中該第二影像包括該光圖案，及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的。
  2. 如請求項1所述之方法，其中該第二值小於該第一值。
  3. 如請求項2所述之方法，其中該第一影像是一個二維的紅、綠、藍影像。
  4. 如請求項3所述之方法，其中該第二影像是一紅外線影像。
  5. 如請求項1所述之方法，其中該光圖案包含波長為人眼不可見的光的圖案。
  6. 如請求項5所述之方法，其中該波長是紅外線。
  7. 如請求項5所述之方法，其中該攝影機包含一偵測器，該偵測器偵測人眼可見的光的波長以及人眼不可見的波長。
  8. 如請求項7所述之方法，其中該攝影機是一紅、綠、藍紅外線攝影機。
  9. 如請求項1所述之方法，進一步包含下列步驟： 藉由該處理系統，且在指示該攝影機獲取該第一影像之前，指示該距離感測器的一照明源照亮該物體；及藉由該處理系統，且在指示該圖案投射器投射該光圖案之前，指示該照明源停止照亮該物體。
  10. 如請求項9所述之方法，其中該照明源以人眼不可見的一波長發光。
  11. 如請求項10所述之方法，其中該照明源是一紅外線發光二極體。
  12. 如請求項1所述之方法，其中該第一影像是在該曝光時間被設定為該第一值的同時由該攝影機獲取的一第一複數個影像中之一者，且其中該第二影像是在該曝光時間被設定為該第二值的同時由該攝影機獲取的一第二複數個影像中之一者。
  13. 如請求項1所述之方法，其中該第二值乃至少部分地基於對該第一影像的分析所決定。
  14. 如請求項1所述之方法，其中該圖案投射器是該距離感測器之複數個圖案投射器中的一第一圖案投射器，且其中該複數個圖案投射器中的各圖案投射器經配置以投射一個別光圖案到該視野中的一不同區域中。
  15. 如請求項1所述之方法，進一步包含下列步驟： 藉由該處理系統，基於對該第一影像與該第二影像的分析來計算從該距離感測器到該物體的一距離。
  16. 一種編碼有指令的非暫態機器可讀取儲存媒體，該等指令可由一距離感測器之一處理器執行，其中當該等指令被執行時，該等指令致使該處理器進行操作，該等操作包含： 將該距離感測器的一攝影機的一曝光時間設定至一第一值；指示該攝影機獲取在該攝影機之一視野中的一物體的一第一影像，其中該第一影像是在該曝光時間被設定為該第一值的同時獲取的；指示該距離感測器的一圖案投射器將一光圖案投射到該物體上；將該攝影機的該曝光時間設定至一第二值，該第二值不同於該第一值；指示該攝影機獲取該物體的一第二影像，其中該第二影像包括該光圖案，及其中該第二影像是在該曝光時間被設定為該第二值的同時獲取的；及基於對該第一影像與該第二影像的分析來計算從該距離感測器到該物體的一距離。
  17. 一種距離感測器，包含： 一圖案投射器，該圖案投射器經配置以將一光圖案投射到一物體上；一攝影機；一控制器，該控制器經配置以在該圖案投射器不正在投射該光圖案到該物體上時設定該攝影機的一曝光時間為一第一值，以及在該圖案投射器正在投射該光圖案到該物體上時設定該攝影機的該曝光時間為一第二值，該第二值不同於該第一值；及一處理器，該處理器經配置以基於對一第一影像與一第二影像的分析來計算從該距離感測器到該物體的一距離，該第一影像是在該曝光時間被設定為該第一值時擷取的，該第二影像是在該曝光時間被設定為該第二值時擷取的。
  18. 如請求項17所述之距離感測器，其中該圖案投射器包含： 一紅外線雷射源，該紅外線雷射源經配置以發出一紅外線光束；及 一繞射光學元件，該繞射光學元件經配置以將該紅外線光束分離成為複數個紅外線光束，其中該複數個紅外光束中的各光束在該攝影機的一視野中產生一個投射假影（projection artifact）。
  19. 如請求項18所述之距離感測器，其中該攝影機是一紅、綠、藍紅外線攝影機。
  20. 如請求項17所述之距離感測器，進一步包含： 一紅外線發光二極體，該紅外線發光二極體被該控制器控制以在該攝影機擷取該第一影像時照亮該物體。
TW108109293A 2018-03-20 2019-03-19 針對三維深度感測及二維成像調整攝影機曝光 TWI817996B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862645190P 2018-03-20 2018-03-20
US62/645,190 2018-03-20
WOPCT/US19/22313 2019-03-14
US16/353,859 US10931883B2 (en) 2018-03-20 2019-03-14 Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US16/353,859 2019-03-14
PCT/US2019/022313 WO2019182871A1 (en) 2018-03-20 2019-03-14 Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging

Publications (2)

Publication Number Publication Date
TW201946451A true TW201946451A (zh) 2019-12-01
TWI817996B TWI817996B (zh) 2023-10-11

Family

ID=67985833

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109293A TWI817996B (zh) 2018-03-20 2019-03-19 針對三維深度感測及二維成像調整攝影機曝光

Country Status (7)

Country Link
US (2) US10931883B2 (zh)
EP (1) EP3769505A4 (zh)
JP (1) JP7354133B2 (zh)
KR (1) KR20200123483A (zh)
CN (2) CN114827573A (zh)
TW (1) TWI817996B (zh)
WO (1) WO2019182871A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3552180B1 (en) 2016-12-07 2022-01-26 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
WO2019070867A2 (en) 2017-10-08 2019-04-11 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
CN111164650B (zh) 2017-10-08 2021-10-29 魔眼公司 用于确定传感器位置的系统和方法
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
CN111083386B (zh) * 2019-12-24 2021-01-22 维沃移动通信有限公司 图像处理方法及电子设备
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド ３次元座標と２次元特徴点との関連付け
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
JP2023511339A (ja) * 2020-01-18 2023-03-17 マジック アイ インコーポレイテッド 補足的正確性データを含む距離計測
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构
CN112104858B (zh) * 2020-09-15 2022-05-27 佛山显扬科技有限公司 三维机器视觉系统环境光抑制成像方法
CN113075692A (zh) * 2021-03-08 2021-07-06 北京石头世纪科技股份有限公司 目标检测及控制方法、系统、设备及存储介质
US20220284707A1 (en) * 2021-03-08 2022-09-08 Beijing Roborock Technology Co., Ltd. Target detection and control method, system, apparatus and storage medium
CN116248844B (zh) * 2023-02-14 2024-04-30 深微光电科技(深圳)有限公司 图案数据的处理方法、装置、电子设备及存储介质

Family Cites Families (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH0451112A (ja) 1990-06-19 1992-02-19 Fujitsu Ltd マルチスリット投光器
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
EP0898245B1 (en) 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
JP2004212385A (ja) 2002-12-19 2004-07-29 Olympus Corp 撮影装置とその撮影装置の撮影方法及び制御方法
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
IL157877A0 (en) * 2003-09-11 2004-03-28 Imagine It S Happening Ltd Color edge based 3d scanner
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) * 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
EP2283383B1 (en) 2008-04-11 2013-07-17 École Polytechnique Fédérale de Lausanne (EPFL) Time-of-flight based imaging system using a display as illumination source
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
DE102008031942A1 (de) 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8964189B2 (en) 2010-08-19 2015-02-24 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
WO2012104759A1 (en) 2011-02-04 2012-08-09 Koninklijke Philips Electronics N.V. Method of recording an image and obtaining 3d information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
US8794181B2 (en) 2011-03-17 2014-08-05 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
JP6025830B2 (ja) 2011-06-07 2016-11-16 クレアフォーム・インコーポレイテッドＣｒｅａｆｏｒｍ Ｉｎｃ． ３ｄ走査用のセンサ位置決め
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
US8797512B2 (en) * 2011-09-15 2014-08-05 Advanced Scientific Concepts, Inc. Automatic range corrected flash ladar camera
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
WO2013116299A1 (en) 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
EP2821748B1 (en) 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method
KR101630558B1 (ko) 2012-03-28 2016-06-14 후지쯔 가부시끼가이샤 촬상 장치
WO2013173674A1 (en) 2012-05-18 2013-11-21 Siemens Healthcare Diagnostics Inc. Fish eye lens analyzer
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
JP5977447B2 (ja) 2012-07-10 2016-08-24 バーフェリヒト ゲゼルシャフト ミット ベシュレンクテル ハフツング 眼球の光学収差を決定するための方法と装置
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
CN104884862B (zh) 2012-10-24 2019-11-19 视瑞尔技术公司 照明设备
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
WO2014106843A2 (en) 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6211876B2 (ja) 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
EP2869023B1 (en) 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
US20150311977A1 (en) * 2013-12-16 2015-10-29 Qualcomm Incorporated Methods and apparatus for configuring an image sensor for decoding high frequency visible light communication signals
EP3092601A4 (en) 2014-01-06 2017-11-29 Eyelock Llc Methods and apparatus for repetitive iris recognition
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
US10147198B2 (en) 2014-04-30 2018-12-04 Shinano Kenshi Co., Ltd. Measurement device
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6264234B2 (ja) 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
US20170302833A1 (en) * 2014-09-10 2017-10-19 Hewlett-Packard Development Company, L.P. Image projection and capture with simultaneous display of led light
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
KR20170072319A (ko) 2014-10-24 2017-06-26 매직 아이 인코포레이티드 거리 센서
JP6121063B1 (ja) 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ カメラ較正方法、デバイス及びシステム
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
CN107004278B (zh) 2014-12-05 2020-11-17 曼蒂斯影像有限公司 3d数据捕获中的标记
EP3229668A4 (en) 2014-12-08 2018-07-11 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
CN107709925B (zh) 2015-03-27 2018-12-14 富士胶片株式会社 距离图像获取装置
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
CN107407559B (zh) 2015-03-30 2019-10-18 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
WO2016182985A1 (en) 2015-05-10 2016-11-17 Magik Eye Inc. Distance sensor
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
DE102015209143B4 (de) 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
JP6548727B2 (ja) * 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
JP6409978B2 (ja) * 2015-08-28 2018-10-24 パナソニックＩｐマネジメント株式会社 撮像装置および撮像方法
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
DE112015007146T5 (de) 2015-11-25 2018-08-02 Mitsubishi Electric Corporation Vorrichtung und verfahren zur dreidimensionalen bildmessung
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN113727000A (zh) 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
JP2017215374A (ja) 2016-05-30 2017-12-07 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
US10163216B2 (en) * 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
EP3552180B1 (en) 2016-12-07 2022-01-26 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
CN109729721B (zh) 2017-08-29 2021-04-16 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
WO2019070867A2 (en) 2017-10-08 2019-04-11 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
CN111164650B (zh) 2017-10-08 2021-10-29 魔眼公司 用于确定传感器位置的系统和方法
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands

Also Published As

Publication number Publication date
JP7354133B2 (ja) 2023-10-02
JP2021518700A (ja) 2021-08-02
US11381753B2 (en) 2022-07-05
EP3769505A1 (en) 2021-01-27
US20210152723A1 (en) 2021-05-20
CN112119628B (zh) 2022-06-03
TWI817996B (zh) 2023-10-11
CN114827573A (zh) 2022-07-29
US20190297241A1 (en) 2019-09-26
WO2019182871A1 (en) 2019-09-26
KR20200123483A (ko) 2020-10-29
CN112119628A (zh) 2020-12-22
US10931883B2 (en) 2021-02-23
EP3769505A4 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
TWI817996B (zh) 針對三維深度感測及二維成像調整攝影機曝光
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
TWI675582B (zh) 用於具有背景去除的主動深度成像儀的系統和方法
JP6270813B2 (ja) 複数の光源を有するモーションセンサ装置
JP2019508717A5 (ja) 自動被写体検出および視覚システムの照明不変画像センサの方法および装置
US9953428B2 (en) Digital camera unit with simultaneous structured and unstructured illumination
US10359277B2 (en) Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
US10679370B2 (en) Energy optimized imaging system with 360 degree field-of-view
CN107370951B (zh) 图像处理系统及方法
US10728508B2 (en) Projection system and projection method
US20220034651A1 (en) Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US20200036914A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
US8902309B2 (en) Apparatus of acquiring 3D information, method for driving light source thereof, and system for acquiring 3D information
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
EP3175291B1 (en) Image projection and capture with adjustment for white point
US20200292306A1 (en) 3d camera system with rolling-shutter image sensor
JP3818028B2 (ja) ３次元画像撮像装置および３次元画像撮像方法
US20180292867A1 (en) Method for recording an image using a mobile device
WO2020044809A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6123137B2 (ja) カメラ装置
JP2017191083A (ja) 輝点画像取得装置および輝点画像取得方法