TW202043804A - 包含具有多個通帶的帶通濾波器的三維感應器 - Google Patents

包含具有多個通帶的帶通濾波器的三維感應器 Download PDF

Info

Publication number
TW202043804A
TW202043804A TW109101466A TW109101466A TW202043804A TW 202043804 A TW202043804 A TW 202043804A TW 109101466 A TW109101466 A TW 109101466A TW 109101466 A TW109101466 A TW 109101466A TW 202043804 A TW202043804 A TW 202043804A
Authority
TW
Taiwan
Prior art keywords
light
wavelength
subset
human eye
photodetectors
Prior art date
Application number
TW109101466A
Other languages
English (en)
Inventor
木村昭輝
Original Assignee
美商麥吉克艾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商麥吉克艾公司 filed Critical 美商麥吉克艾公司
Publication of TW202043804A publication Critical patent/TW202043804A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本文提供一種範例的設備，包含：光投射系統、光接收系統及控制器。光投射系統投射不可見的波長的多個光束。在光束入射於表面上時光束在表面上形成圖案。光接收系統取得表面上的圖案的影像。控制器基於影像來計算至表面的距離。光接收系統包含：透鏡、影像感應器、及帶通濾波器。影像感應器包含第一子集的光偵測器及第二子集的光偵測器，第一子集的光偵測器對可見光的波長敏感，第二子集的光偵測器對不可見的光的波長敏感。帶通濾波器包含第一通帶及第二通帶，第一通帶範圍對應於可見光的波長，第二通帶範圍對應於不可見光的波長。

Description

包含具有多個通帶的帶通濾波器的三維感應器
本申請案主張於2019年1月20日提交的美國臨時專利申請案序列第62/794,631號的優先權，其全部內容通過引用合併於此。
無。
美國專利申請案序列第14/920,246、15/149,323和15/149,429號描述了距離感應器的各種配置。此類距離感應器在各種應用中可為有用的，包含對無人駕駛車輛的安全性、遊戲性、控制以及其他應用。
在此些應用中描述的距離感應器包含光投射系統（例如，包括雷射、衍射光學元件及/或其他協作部件），光投射系統將人眼實質不可見的波長的光束（例如，紅外光）投射進入視野中。光束散開以產生圖案（點、虛線或其他偽像），圖案可由適當的光接收系統（例如，透鏡、影像捕獲裝置及/或其他部件）偵測。當圖案入射到視野中的物體上時，可基於視野的一或多個影像中的圖案的外觀（例如，點、虛線或其他偽像的位置關係）來計算從感應器到物體的距離，此些影像中的圖案可由感應器的光接收系統捕獲。還可決定物體的形狀和尺寸。
例如，圖案的外觀可隨著到物體的距離而改變。作為實例，若圖案包括點的圖案，則當物體更靠近感應器時，點可看起來彼此更靠近，且當物體進一步遠離感應器時，點可看起來彼此更遠。
範例的設備包含：光投射系統、光接收系統及控制器。光投射系統投射人眼不可見的波長的複數個光束。在此些光束入射於表面上時光束在表面上形成圖案。光接收系統取得表面上的圖案的影像。控制器基於表面上的圖案的影像來計算至表面的距離。光接收系統包含：透鏡、影像感應器、及放置於透鏡與影像感應器之間的帶通濾波器。影像感應器包含第一子集的光偵測器及第二子集的光偵測器，第一子集的光偵測器對人眼可見的光的波長敏感，第二子集的光偵測器對人眼不可見的光的波長敏感。帶通濾波器包含至少第一通帶及第二通帶，第一通帶範圍對應於人眼可見的光的波長，第二通帶範圍對應於人眼不可見的光的波長。
在另一實例中，方法包含以下步驟：藉由距離感應器的處理系統來控制距離感應器的光投射系統以投射複數個光束，其中此些光束包括人眼不可見的波長的光，且其中在此些光束入射於表面上時光束在表面上形成圖案；藉該處理系統來控制距離感應器的光接收系統以取得表面上的圖案的影像；及藉由處理系統基於表面上的圖案的影像來計算至表面的距離。光接收系統包含：透鏡；影像感應器，包括複數個光偵測器，其中此些光偵測器包含第一子集的光偵測器及第二子集的光偵測器，第一子集的光偵測器對人眼可見的光的波長敏感，第二子集的光偵測器對人眼不可見的光的波長敏感；及第一帶通濾波器，放置於透鏡與影像感應器之間，其中第一帶通濾波器包含至少第一通帶及第二通帶，第一通帶範圍對應於人眼可見的光的波長，第二通帶範圍對應於人眼不可見的光的波長。
在另一實例中，非暫態機器可讀取儲存媒體使用指令來編碼，指令可由距離感應器的處理器執行，其中在執行時，指令使處理器實行操作。此些操作包括以下步驟：控制光投射系統以投射複數個光束，其中此些光束包括人眼不可見的波長的光，且其中在光束入射於表面上時光束在表面上形成圖案；控制光接收系統以取得表面上的圖案的影像；及基於表面上的圖案的影像來計算至表面的距離。光接收系統包含：透鏡；影像感應器，包括複數個光偵測器，其中此些光偵測器包含第一子集的光偵測器及第二子集的光偵測器，第一子集的光偵測器對人眼可見的光的波長敏感，第二子集的光偵測器對人眼不可見的光的波長敏感；及第一帶通濾波器，放置於透鏡與影像感應器之間，其中第一帶通濾波器包含至少第一通帶及第二通帶，第一通帶範圍對應於人眼可見的光的波長，第二通帶範圍對應於人眼不可見的光的波長。
本揭示案廣泛地描述了用於操作三維感應器的設備、方法和非暫態電腦可讀取媒體，三維感應器包含具有多個通帶的帶通濾波器。如上所述，諸如美國專利申請案序列第14/920,246、15/149,323和15/149,429號中所述的距離感應器藉由投射在包含物體的視野中散開以產生圖案（例如點、虛線或其他偽像）的光束來決定到物體的距離（以及可能地，物體的形狀和尺寸）。可從一或多個雷射光源投射光束，雷射光源發射的波長的光對人眼為實質不可見的，但對適當的偵測器（例如，光接收系統）為可見的。隨後，可基於圖案在偵測器上的出現來計算到物體的三維距離。
在一些實例中，光接收系統的偵測器可包括紅、綠、藍、紅外光(RGB+IR)感應器。RGB+IR感應器通常包含分開的感應元件（例如，光偵測器與帶通濾波器的組合），用於同時捕獲可見光和不可見（例如紅外光）光的影像。這允許了距離感應器同時產生物體的二維（例如，RGB）影像和三維（例如，IR）深度圖。在此種應用中，RGB+IR感應器的紅外光感應元件通常包含以光投射系統發射的紅外光的波長為中心的窄帶寬濾波作用。
然而，由於RGB+IR感應器的主要目的通常是取得正常的紅外光影像，紅外光感應元件（更特定而言，紅外光帶通濾波器）的傳輸帶寬可能太寬而無法允許同時取得二維和三維影像。例如，來自可見光波長的雜訊（用於捕獲二維影像）可能使偵測不可見光波長（用於計算三維深度映射的距離）變得困難。此外，由於尺寸及/或成本考量，使用較窄帶的干涉濾波器（例如，塗覆的濾波器）代替紅外光帶通濾波器可能是不可行的。
本揭示案的實例包含具有光接收系統的距離感應器，其中影像感應器包含帶通濾波器，帶通濾波器包含至少兩個通帶（亦即，可通過的頻率或波長範圍）：可見光的第一通帶（亦即，人眼可見的光，例如RGB波長中的光）和不可見光的第二通帶（亦即，人眼不可見的光，例如紅外光波長中的光）。因此，不可見光傳遞到被配置以偵測不可見光的影像感應器的光偵測器，但由不被配置以偵測不可見光的光偵測器阻擋。
儘管在RGB+IR感應器的範例內文內描述了本揭示案的實例，本文所揭露的光接收系統的偵測器可替代地包括青、品紅、黃色(CMY)+IR感應器。因此，儘管以下描述的實例可參考RGB+IR感應器或RGB範圍中的光的波長，應理解，任何此種參考可等效應用於CMY+IR感應器和CMY範圍中的光的波長。
圖1是圖示了本揭示案的範例距離感應器100的區塊圖。距離感應器100可用於偵測到物體或表面102的距離。在一個實例中，距離感應器100共享在美國專利申請案序列第14/920,246、15/149,323和15/149,429號中所述的距離感應器的許多部件。例如，在一個實例中，距離感應器包括光投射系統104、光接收系統106和控制器108。可選地，距離感應器100可進一步包括照明系統110。
在一個實例中，可以相似於美國專利申請案序列第16/701,949號中描述的任何佈置的方式來佈置光投射系統。例如，光投射系統104通常可包括雷射發射器112、透鏡114和衍射光學元件(DOE)116。雷射發射器112可包括至少一個雷射發光二極體(LED)，以在人眼實質不可見的波長（例如，紅外光）中發射一光束。在一個實例中，雷射發射器112包括至少一個垂直空穴表面發射雷射(VCSEL)或至少一個邊緣發射雷射(EEL)。
透鏡114可包括被配置為放大由雷射發射器112發射的光束的透鏡。例如，透鏡114可包括會聚透鏡（例如，生物凸透鏡或平凸透鏡），具有正屈光力。在這種情況下，通過透鏡114的準直光束可在焦點散開或發散之前會聚到透鏡114後面的焦點。
衍射光學元件116可包括錐形鏡、全息膜、光柵或使用干涉和衍射以自準直（例如，單束）光束產生光束分佈的另一相位元件。衍射光學元件116可位於透鏡114的焦點處或附近，例如，在透鏡114和表面102之間。因此，光束可像光束會聚般通過衍射光學元件116或在透鏡114的焦點處準直。隨後，衍射光學元件116可將準直的光分成複數個光束，此些光束經分佈以在表面102上產生投射圖案。
儘管圖1圖示了單個雷射發射器112、透鏡114和衍射光學元件116的組合，應注意，光投射系統104可包括任何數量的雷射發射器/透鏡/衍射光學元件的組合。例如，可在光接收系統106周圍佈置複數個雷射發射器/透鏡/衍射光學元件的組合，例如，使得光接收系統106位於複數個雷射發射器/透鏡/衍射光學元件的組合的中心。在此情況下，可以相似於圖1中所圖示的雷射發射器112、透鏡114和衍射光學元件116的方式來配置複數個雷射發射器/透鏡/衍射光學元件的組合中的每個雷射發射器/透鏡/衍射光學元件的組合。
在一個實例中，由光投射系統104發射的複數個光束從中心軸在複數個不同方向上散開。複數個光束中的每對光束之間的角度可相等。在複數個光束入射於表面102上時，每個光束可在表面102上產生一光點（例如，點、虛線等）。總體而言，由複數個光束產生的光點形成上述圖案，由此可計算到表面102的距離。例如，圖案可包括網格，在此網格中複數個點佈置於複數個行和列中。
放置距離感應器100的光接收系統106以捕獲由光投射系統104投射到表面102上的圖案的反射影像。在一個實例中，光接收系統106通常可包括透鏡118、濾波器120和影像感應器122。
在一個實例中，透鏡118可為廣角透鏡，例如魚眼透鏡以產生高達180度的視野（例如，半球形視野）。
在一個實例中，濾波器120可包括具有複數個通帶的第一帶通濾波器（例如，干涉濾波器），其中複數個通帶中的至少第一通帶和第二通帶被配置以允許不同波長的光通過（但要阻擋所有其他波長的光）。例如，第一通帶可透射人眼可見的光的一或多個波長（例如，RGB波長），而第二通帶可透射人眼不可見的光的一或多個波長（例如，紅外光波長）。在一個實例中，可塗覆第一帶通濾波器對應於第二通帶的部分。
在一個實例中，影像感應器122包括複數個光偵測器（或像素），其中複數個光偵測器可被佈置成陣列。例如，圖2圖示了圖1的影像感應器122的一個實例。如圖2中所圖示，影像感應器122可包括複數個光偵測器2001 至200n （在下文中分別稱為「光偵測器200」或統稱為「多個光偵測器200」），其中光偵測器200被佈置成正方形（例如6x6）陣列。然而，在其他實例中，陣列可更大或更小且可具有不同形狀。光偵測器200可包括互補金屬氧化物半導體(CMOS)光偵測器。
如圖2中的關鍵所指示，複數個光偵測器200可包括對不同波長的光敏感的光偵測器。例如，複數個光偵測器可包括對人眼可見的光的波長敏感的光偵測器，例如紅光偵測器（例如，光偵測器2001 ）、綠光偵測器（例如，光偵測器2002 ）、和藍光偵測器（例如，光偵測器200n-1 ）。複數個光偵測器也可包含對人眼不可見的光的波長敏感的光偵測器，例如紅外光偵測器（例如，光偵測器200n ）。因此，複數個光偵測器可包含對人眼可見的光的波長敏感的第一子集的光偵測器（例如，RGB光偵測器）和對人眼不可見的光的波長敏感的第二子集的光偵測器（例如，IR光偵測器）。
可據此定位濾波器120的通帶。例如，可將允許可見的紅光通過的通帶放置於影像感應器122的紅光偵測器200上方；可將允許可見的綠光通過的通帶放置於影像感應器122的綠光偵測器200上方；可將允許可見的藍光通過的通帶放置於影像感應器122的藍光偵測器200上方；且可將允許不可見的紅外光（或人眼不可見的其他波長的光）通過的通帶放置於影像感應器122的紅外光偵測器200上方。因此，僅可將針對三維距離感應而發射的紅外光輸入至使用IR濾波器的光偵測器200，而使用RGB濾波器的光偵測器可將其他波長的光識別為彩色影像。因此，影像感應器122可同時偵測紅、綠、藍、和紅外光，可僅偵測紅外光，或可僅偵測紅、綠、和藍光。因為三維距離感應取決於光的投射圖案的強度，且二維影像取決於外部亮度，針對影像感應器122的IR和RGB部分的最佳曝光時間可能不同。
若包含於距離感應器100中，照明系統110可被配置以提供人眼不可見的波長中的光（例如，紅外光）。在一個實例中，照明系統110可包括光源124、反射器126和濾波器128。
光源124可包括LED光源，例如由脈衝電流操作的一或多個白光LED。光源124可以能夠發射同時包含可見和不可見（例如，紅外光）波長的光譜。反射器126可包括反射表面（例如，鏡子），反射表面被塑形以均勻的方式散佈由光源124發射的光。例如，反射器126可包括閃光擴散器。反射器126可具有圓錐、拋物線或其他形狀。濾波器128可包括第二帶通濾波器以允許人眼不可見的波長的光（例如，紅外光）通過，同時阻擋由光源124發射的其他波長的光。
可操作控制器108以將信號發送至光投射系統104、光接收系統106和照明系統110。例如，控制器108可將信號發送至光投射系統104以使光投射系統104將光的圖案投射到表面102上。控制器108也可控制光投射系統104將光的圖案投射到表面102上的持續時間，以及光投射系統104將光的圖案投射到表面102上的時間。例如，控制器108可控制光投射系統104的雷射發射器112發射的脈衝的持續時間。
控制器108也可將信號發送至光接收系統106以使光接收系統106捕獲投射到表面102上的光的圖案的影像及/或捕獲表面102的二維（例如，RGB）影像。在進一步的實例中，控制器108可控制光接收系統106的曝光時間（例如，光接收系統的快門打開的持續時間）及光接收系統106捕獲影像（包含表面102的影像）的時間。在一個實例中，控制器108可針對光接收系統106設置兩個分開的曝光持續時間：第一曝光持續時間及第二曝光持續時間，在第一曝光持續時間期間，在光投射系統104將圖案或光投射到表面102上的同時捕獲表面102的影像（例如，針對三維距離感應），在第二曝光持續時間期間，在光投射系統104未將光的圖案投射到表面102上的同時捕獲表面102的影像（例如，針對二維影像取得）。在一個實例中，控制器108可在第一曝光持續時間和第二曝光持續時間之間交替。
控制器108也可將信號發送至照明系統110，以使照明系統110發射光。控制器108也可控制照明系統110發射光的持續時間，以及照明系統110發射光的時間。例如，控制器108可控制由照明系統110的光源124發射的脈衝的持續時間。
在進一步的實例中，控制器108可處理由光接收系統106所取得的影像。例如，控制器108可被配置以處理捕獲的影像資料（例如，三維距離資料和二維影像資料）以便計算到表面102的距離。例如，可根據美國專利申請案序列第14/920,246、15/149,323和15/149,429號中描述的方法來計算距離。因此，在一個實例中，控制器108可包括處理器，例如圖6中所圖示並在下面進一步詳細描述的處理器602。
圖3A至3B是圖示了圖1中所圖示的範例距離感應器100的光接收系統106的濾波器120及影像感應器122的範例波長透射特性的曲線圖。更特定而言，圖3A至3B繪製了針對範例濾波器120和影像感應器122的量子效率（以透射光的百分比計）相對於波長（以奈米為單位）的圖。
在圖3A中所圖示的實例中，濾波器120的紅外光通帶與影像感應器122的紅外光偵測器的通帶實質匹配或更窄。此外，由光投射系統104投射的相干光的波長與濾波器120的紅外光通帶和影像感應器122的紅外光偵測器的通帶的重疊區域匹配。
在圖3B中所圖示的實例中，濾波器120的紅外光通帶與影像感應器122的紅外光偵測器的通帶部分匹配。此外，由光投射系統104投射的相干光的波長與濾波器120的紅外光通帶和影像感應器122的紅外光偵測器的通帶的重疊區域匹配。
如上所述，由光投射系統104發射的相干光被表面102反射，在光接收系統106的影像感應器122上成像，且僅被影像感應器122的紅外光偵測器捕獲（其中影像感應器122也包含RGB光偵測器）。此外，在光接收系統106中包含帶通濾波器（例如濾波器120）時，可被紅外光偵測器接收的除了光投射系統106所發射的波長之外的光的波長（例如，可見或非紅外光波長）可被大大地切割，這可改善光接收系統106的信噪比(SNR)及由光接收系統106取得的影像。同時，影像感應器122的其他光偵測器（例如，RGB光偵測器）可捕獲光的可見波長且取得典型的二維（例如，RGB）影像。
因此，在距離感應器的光接收系統106中包含具有多個通帶（同時包括可見和不可見光）的帶通濾波器120確保了影像感應器122的紅外光偵測器200接收由光投射系統104發射的紅外光，而RGB光偵測器200不接收由光投射系統104發射的紅外光。此外，藉由在由光投射系統104發射的波長附近切割波長，帶通濾波器120也可減低光接收系統106的SNR並改善距離感應器100的三維感應能力。
在本揭示案的進一步實例中，可組合許多不同種類的RGB+IR影像感應器來實現所揭露的配置（包含帶通濾波器120）。
在進一步實例中，所揭露的配置也可與產生紅外光二維影像（例如，暗場影像）而非RGB二維影像的距離感應器配置結合使用。在此情況下，針對二維影像使用的紅外光照明可與針對三維距離感應而發射的紅外光分開發射（例如，來自分開的紅外光源及/或在不同的時間以最小化干涉）。針對二維影像使用的用於紅外光照明的曝光時間和針對三維距離感應發射的紅外光的曝光時間也可不同（且此差異可能會隨著要成像的物體中的變化而變化）。然而，針對二維影像使用的紅外光照明仍然可包含在帶通濾波器120的紅外光通帶內的紅外光波長。
在更進一步實例中，本揭示案的距離感應器100可以被配置以使用投射影像作為特徵點來偵測距離的立體相機配置來實現。
圖4圖示了範例時序圖，展示了來自圖1中所圖示的距離感應器100的光投射系統104和照明系統110的發射的相對時序。如上所述，由照明系統110發射的光的波長可同時包含可見和不可見光（例如，紅外光）區域或波長。
當照明系統110發射的光的波長為紅外光時，光接收系統的影像感應器122的紅外光偵測器可偵測由照明系統110發射的光。在此情況下，由照明系統110發射的光可干涉由光投射系統104發射的光束（也可包括紅外光波長）。此可損害光接收系統準確偵測由光投射系統104投射的光的圖案的能力。
因此，如圖4中所圖示，可控制光投射系統104和照明系統110（例如，藉由控制器108），使得光投射系統104和照明系統110在不同的時間發射它們各自的光，以便最小化在影像感應器122處的干涉。
另外，如時間偏移o1 和o2 所圖示，可控制光接收系統的快門的時間，使得快門打開的時間與發射光的時間（藉由光投射系統104或照明系統110來發射光）不完全相同。例如，快門可在光發射開始之前或之後立即打開，及/或快門可在光發射開始之前或之後立即關閉。
圖5是根據本揭示案圖示了用於操作距離感應器以進行三維深度感應和二維影像捕獲的方法500的一個實例的流程圖。可例如藉由圖1中所圖示的控制器108或藉由圖6中所圖示並在下面進一步詳細論述的處理器602來實行方法500。舉例而言，方法500被描述為由處理系統來實行。
方法500可在步驟502中開始。在步驟504中，處理系統可控制距離感應器的光投射系統以將光的圖案投射到表面上（例如，待偵測其距離的物體），其中藉由具有人眼不可見的波長的複數個光束來產生光的圖案。例如，複數個光束可包括紅外光。如上所述，光的圖案可包括被佈置以在表面上形成圖案（例如網格）的光點。
在步驟506中，處理系統可控制距離感應器的光接收系統以取得表面上的光的圖案的三維影像，其中光接收系統包含RGB+IR影像感應器和具有複數個通帶（包含至少一個允許不可見光的波長通過的通帶）的帶通濾波器。
例如，RGB+IR影像感應器可包括複數個光偵測器（或像素），其中複數個光偵測器可包含對不同波長的光敏感的光偵測器。作為實例，複數個光偵測器可包含對人眼可見的光的波長敏感的光偵測器，例如紅光偵測器、綠光偵測器和藍光偵測器。複數個光偵測器也可包含對人眼不可見的光的波長敏感的光偵測器，例如紅外光偵測器。
在此情況下，帶通濾波器的複數個通帶可包含至少第一通帶和第二通帶。第一通帶和第二通帶可被配置以允許不同波長的光通過（但阻擋所有其他波長的光）。例如，第一通帶可透射人眼可見的光的一或多個波長（例如，RGB波長），而第二通帶可透射人眼不可見的光的一或多個波長（例如，紅外光波長）。
因此，在步驟506的情況下，可藉由被配置以偵測不可見光的影像感應器的光偵測器來接收（可能穿過）步驟504中發射的不可見（例如，紅外光）光；然而，不可見光可能不會被影像感應器的其他光偵測器（例如RGB光偵測器）接收（可能被阻擋）。
在步驟508中，處理系統可基於步驟506中取得的影像來計算到表面的距離，或可計算表面的三維深度圖。可實行此些計算，如美國專利申請案序列第14/920,246、15/149,323和15/149,429中所述。
在可選的步驟510（以虛線圖示）中，處理系統可控制距離感應器的照明系統以照明表面，其中由照明系統發射的光可包含具有人眼不可見的波長的光以及具有人眼可見的波長的光。
在可選的步驟512（以虛線圖示）中，處理系統可控制距離感應器的光接收系統以取得被照射表面的二維影像。因此，在步驟512的情況下，可藉由被配置以偵測可見光的影像感應器的光偵測器來接收（可能穿過）步驟510中發射的可見（例如，RGB）光；然而，可見光可能不會被影像感應器的其他光偵測器（例如紅外光偵測器）接收（可能被阻擋）。
方法500可在步驟514中結束。
應注意，儘管沒有明確指定，上述方法500的一些區塊、功能或操作可包含針對特定應用儲存、顯示及/或輸出。換句話說，方法500中論述的任何資料、記錄、字段及/或中間結果可被儲存、顯示及/或輸出到另一裝置，這取決於特定應用。進一步地，圖5中敘述決定操作或涉及決定的區塊、功能或操作並非暗示決定操作的兩個分支都被實現。換句話說，可不實行決定操作的其中一個分支，這取決於決定操作的結果。
圖6描繪了用於操作距離感應器以進行三維深度感應和二維影像捕獲的範例電子裝置600的高級區塊圖。這樣，電子裝置600可被實現為電子裝置或系統的處理器，例如距離感應器（例如，如圖1中的控制器108）。
如圖6中所圖示，電子裝置600包括硬體處理器元件602（例如，中央處理單元(CPU)、微處理器、或多核處理器）、記憶體604（例如，隨機存取記憶體(RAM)及/或唯讀記憶體(ROM)）、用於操作距離感應器以進行三維深度感應和二維影像捕獲的模組605，及各種輸入/輸出裝置606，例如儲存裝置，包含但不限於磁帶驅動器、軟碟驅動器、硬碟驅動器或光碟驅動器、接收器、傳輸器、顯示器、輸出端口、輸入端口、和使用者輸入裝置（例如鍵盤、小鍵盤、滑鼠、麥克風）、相機、雷射光源、LED光源等。
儘管展示了一個處理器元件，應注意，電子裝置600可採用複數個處理器元件。進一步地，儘管在附圖中展示了一個電子裝置600，若針對特定的說明性實例以分佈式或併行的方式實現如上所述的方法，亦即，跨多個或併行的電子裝置實現上述方法的區塊或整體方法，則此圖的電子裝置600旨在表示彼等多個電子裝置中的每一個。
應注意，可藉由機器可讀取指令及/或機器可讀取指令和硬體的組合來實現本揭示案，例如，使用特定應用積體電路(ASIC)、可編程邏輯陣列(PLA)，包含現場可編程閘陣列(FPGA)或部署在硬體裝置上的狀態機器，可使用通用電腦或任何其他等效硬體（例如，與上述方法有關的電腦可讀取指令）以配置硬體處理器以實行上方所揭露的方法的區塊、功能及/或操作。
在一個實例中，用於本模組或處理605以操作距離感應器以進行三維深度感應和二維影像捕獲的指令和資料（例如機器可讀取指令）可被加載到記憶體604中並由硬體處理器元件602來執行以實現如上結合方法500所論述的區塊、功能或操作。進一步地，當硬體處理器執行指令以實現「操作」時，此可包含硬體處理器直接實現此些操作及/或促進、引導或與另一硬體裝置或部件（例如，協同處理器等）協作以實現此些操作。
執行與上述方法相關的機器可讀取指令的處理器可被視為編程處理器或專用處理器。這樣，本揭示案的用於操作距離感應器以進行三維深度感應和二維影像捕獲的本模組605可儲存於有形或物理（廣泛非暫態）電腦可讀取儲存裝置或媒體上，例如，揮發性記憶體、非揮發性記憶體、ROM記憶體、RAM記憶體、磁或光驅動器、裝置或碟盤等。更特定地，電腦可讀取儲存裝置可包括提供儲存諸如資料及/或指令的資訊以供處理器或電子裝置存取的能力的任何物理裝置，此電子裝置例如電腦或安全感應器系統的控制器。
將會理解到，以上所揭露以及其他特徵和功能的變體或其替代可組合成許多其他不同的系統或應用。隨後可在其中做出各種目前無法預料或無法預料的替代、修改或變化，以下申請專利範圍也意圖涵蓋此等替代、修改或變化。
106:光接收系統 108:控制器 110:照明系統 112:雷射發射器 114:透鏡 116:衍射光學元件(DOE) 118:透鏡 120:濾波器 122:影像感應器 124:光源 126:反射器 128:濾波器 200:光偵測器 500:方法 502:步驟 504:步驟 506:步驟 508:步驟 510:步驟 512:步驟 514:步驟 600:電子裝置 602:處理器 605:模組 606:輸入/輸出裝置
圖1是圖示了本揭示案的範例距離感應器的區塊圖；
圖2圖示了圖1的影像感應器的一個實例；
圖3A至圖3B是圖示了圖1中所圖示的範例距離感應器的光接收系統的濾波器和影像感應器的範例波長透射特性的曲線圖；
圖4圖示了範例時序圖，展示了來自圖1中所圖示的距離感應器的光投射系統和照明系統的發射的相對時序；
圖5是根據本揭示案圖示了用於操作距離感應器以進行三維深度感應和二維影像捕獲的方法的一個實例的流程圖；及
圖6描繪了用於操作距離感應器以進行三維深度感應和二維影像捕獲的範例電子裝置的高級區塊圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
106:光接收系統
108:控制器
110:照明系統
112:雷射發射器
114:透鏡
116:衍射光學元件(DOE)
118:透鏡
120:濾波器
122:影像感應器
124:光源
126:反射器
128:濾波器

Claims (20)

  1. 一種設備，包括： 一光投射系統，用以投射複數個光束，其中該複數個光束包括人眼不可見的一波長的光，且其中在該複數個光束入射於一表面上時該複數個光束在該表面上形成一圖案； 一光接收系統，用以取得該表面上的該圖案的一影像，其中該光接收系統包括： 一透鏡； 一影像感應器，包括複數個光偵測器，其中該複數個光偵測器包含一第一子集的光偵測器及一第二子集的光偵測器，該第一子集的光偵測器對人眼可見的光的該等波長敏感，該第二子集的光偵測器對人眼不可見的光的該波長敏感；以及 一第一帶通濾波器，放置於該透鏡與該影像感應器之間，其中該第一帶通濾波器包含至少一第一通帶及一第二通帶，該第一通帶範圍對應於人眼可見的光的該等波長，該第二通帶範圍對應於人眼不可見的光的該波長；以及 一控制器，用以基於該表面上的該圖案的該影像來計算至該表面的一距離。
  2. 如請求項1所述之設備，其中人眼不可見的光的該波長包括紅外光。
  3. 如請求項1所述之設備，其中人眼可見的光的該等波長包括紅、綠、及藍光。
  4. 如請求項1所述之設備，其中人眼可見的光的該等波長包括青、品紅、及黃光。
  5. 如請求項1所述之設備，其中該第二通帶與一波長的光重疊，該第二子集的光偵測器對該波長的光敏感。
  6. 如請求項1所述之設備，其中該第二通帶較一波長的光窄，該第二子集的光偵測器對該波長的光敏感。
  7. 如請求項1所述之設備，其中該第一通帶與一範圍的波長的光相同，該第一子集的光偵測器對該範圍的波長的光敏感。
  8. 如請求項1所述之設備，其中該複數個光束包括相干光。
  9. 如請求項1所述之設備，其中該光投射系統包括一垂直空穴表面發射雷射。
  10. 如請求項1所述之設備，其中該帶通濾波器包括一干涉濾波器。
  11. 如請求項1所述之設備，其中該控制器進一步用以藉由該光投射系統來控制該複數個光束的投射及藉由該光接收系統來控制該影像的取得。
  12. 如請求項1所述之設備，進一步包括： 一照明系統，用以發射可由該光接收系統偵測的光，其中由該照明系統發射的該光包含人眼可見的光的該等波長及人眼不可見的光的該波長。
  13. 如請求項12所述之設備，其中該照明系統包含一第二帶通濾波器。
  14. 如請求項1所述之設備，其中放置該第一帶通濾波器以允許人眼不可見的光的該波長中的光通過該第二子集的光偵測器但被阻擋而無法通過該第一子集的光偵測器。
  15. 如請求項14所述之設備，其中進一步放置該第一帶通濾波器以允許人眼可見的光的該等波長中的光通過該第一子集的光偵測器但被阻擋而無法通過該第二子集的光偵測器。
  16. 一種方法，包括以下步驟： 藉由一距離感應器的一處理系統來控制該距離感應器的一光投射系統以投射複數個光束，其中該複數個光束包括人眼不可見的一波長的光，且其中在該複數個光束入射於一表面上時該複數個光束在該表面上形成一圖案； 藉由該處理系統來控制該距離感應器的一光接收系統以取得該表面上的該圖案的一影像，其中該光接收系統包括： 一透鏡； 一影像感應器，包括複數個光偵測器，其中該複數個光偵測器包含一第一子集的光偵測器及一第二子集的光偵測器，該第一子集的光偵測器對人眼可見的光的該等波長敏感，該第二子集的光偵測器對人眼不可見的光的該波長敏感；以及 一第一帶通濾波器，放置於該透鏡與該影像感應器之間，其中該第一帶通濾波器包含至少一第一通帶及一第二通帶，該第一通帶範圍對應於人眼可見的光的該等波長，該第二通帶範圍對應於人眼不可見的光的該波長；以及 藉由該處理系統基於該表面上的該圖案的該影像來計算至該表面的一距離。
  17. 如請求項16所述之方法，其中人眼不可見的光的該波長包括紅外光。
  18. 如請求項16所述之方法，進一步包括以下步驟： 藉由該處理系統來控制該距離感應器的一照明系統以照明該表面，其中由該照明系統發射的光包含人眼可見的光的該等波長及人眼不可見的光的該波長；以及 藉由該處理系統來控制該光接收系統以在該表面被照明時取得該表面的一影像。
  19. 如請求項16所述之方法，其中放置該第一帶通濾波器以允許人眼不可見的光的該波長中的光通過該第二子集的光偵測器但被阻擋而無法通過該第一子集的光偵測器，且其中進一步放置該第一帶通濾波器以允許人眼可見的光的該等波長中的光通過該第一子集的光偵測器但被阻擋而無法通過該第二子集的光偵測器。
  20. 一種非暫態機器可讀取儲存媒體，使用指令來將該媒體編碼，該等指令可由一距離感應器的一處理器執行，其中在執行時，該等指令使該處理器實行操作，該等操作包括以下步驟： 控制一光投射系統以投射複數個光束，其中該複數個光束包括人眼不可見的一波長的光，且其中在該複數個光束入射於一表面上時該複數個光束在該表面上形成一圖案； 控制一光接收系統以取得該表面上的該圖案的一影像，其中該光接收系統包括： 一透鏡； 一影像感應器，包括複數個光偵測器，其中該複數個光偵測器包含一第一子集的光偵測器及一第二子集的光偵測器，該第一子集的光偵測器對人眼可見的光的該等波長敏感，該第二子集的光偵測器對人眼不可見的光的該波長敏感；以及 一第一帶通濾波器，放置於該透鏡與該影像感應器之間，其中該第一帶通濾波器包含至少一第一通帶及一第二通帶，該第一通帶範圍對應於人眼可見的光的該等波長，該第二通帶範圍對應於人眼不可見的光的該波長；以及 基於該表面上的該圖案的該影像來計算至該表面的一距離。
TW109101466A 2019-01-20 2020-01-16 包含具有多個通帶的帶通濾波器的三維感應器 TW202043804A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962794631P 2019-01-20 2019-01-20
US62/794,631 2019-01-20
US16/740,931 2020-01-13
WOPCT/US20/13300 2020-01-13
US16/740,931 US11483503B2 (en) 2019-01-20 2020-01-13 Three-dimensional sensor including bandpass filter having multiple passbands
PCT/US2020/013300 WO2020150131A1 (en) 2019-01-20 2020-01-13 Three-dimensional sensor including bandpass filter having multiple passbands

Publications (1)

Publication Number Publication Date
TW202043804A true TW202043804A (zh) 2020-12-01

Family

ID=71608472

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109101466A TW202043804A (zh) 2019-01-20 2020-01-16 包含具有多個通帶的帶通濾波器的三維感應器

Country Status (6)

Country Link
US (1) US11483503B2 (zh)
EP (1) EP3911920B1 (zh)
JP (1) JP2022518023A (zh)
CN (1) CN113272624A (zh)
TW (1) TW202043804A (zh)
WO (1) WO2020150131A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543275B1 (ko) 2016-12-07 2023-06-16 매직 아이 인코포레이티드 평행 패턴들을 투사하는 거리 센서
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
KR20200054324A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 다중 이동형 센서들을 포함한 센서 시스템의 캘리브레이션
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
KR20210008025A (ko) 2018-06-06 2021-01-20 매직 아이 인코포레이티드 고밀도 프로젝션 패턴들을 사용한 거리 측정 방법
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
JP7394323B2 (ja) * 2018-12-14 2023-12-08 パナソニックＩｐマネジメント株式会社 カメラシステム
EP3911920B1 (en) 2019-01-20 2024-05-29 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
US11578968B1 (en) * 2019-10-31 2023-02-14 President And Fellows Of Harvard College Compact metalens depth sensors
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
EP4097681A4 (en) 2020-01-05 2024-05-15 Magik Eye Inc TRANSFER OF THE COORDINATE SYSTEM OF A THREE-DIMENSIONAL CAMERA TO THE IMPACT POINT OF A TWO-DIMENSIONAL CAMERA
CN113985425A (zh) * 2020-07-10 2022-01-28 广州印芯半导体技术有限公司 测距装置以及测距方法
US11927769B2 (en) 2022-03-31 2024-03-12 Metalenz, Inc. Polarization sorting metasurface microlens array device

Family Cites Families (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH045112A (ja) 1990-04-23 1992-01-09 Sumitomo Rubber Ind Ltd 低転がり抵抗タイヤ
US5061062A (en) 1990-07-02 1991-10-29 General Electric Company Focus spot size controller for a variable depth range camera
WO1995018843A1 (en) 1994-01-11 1995-07-13 Shell Internationale Research Maatschappij B.V. Cleaner composition
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
DE69823116D1 (de) 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US6122039A (en) 1998-10-28 2000-09-19 Banner Engineering Corp. Method and apparatus to detect and report object displacement utilizing optical triangulation principles
EP1126412B1 (en) * 2000-02-16 2013-01-30 FUJIFILM Corporation Image capturing apparatus and distance measuring method
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
JP2002056348A (ja) 2000-08-07 2002-02-20 Tohken Co Ltd オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US20040041996A1 (en) 2002-08-28 2004-03-04 Fuji Xerox Co., Ltd. Range finder and method
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US7460250B2 (en) 2003-10-24 2008-12-02 3Dm Devices Inc. Laser triangulation system
KR100764419B1 (ko) 2004-02-09 2007-10-05 강철권 불규칙패턴을 이용한 3차원형상 측정장치 및 측정방법
JP2005300210A (ja) * 2004-04-07 2005-10-27 Ryoei Engineering Kk 高熱対象物形状測定装置および高熱対象物距離測定装置
US20050288956A1 (en) 2004-06-16 2005-12-29 Ewald Speicher Systems and methods for integrating business process documentation with work environments
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
WO2008066742A1 (en) 2006-11-22 2008-06-05 Geng Z Jason Wide field-of-view reflector and method of designing and making same
AU2008244493A1 (en) 2007-04-23 2008-11-06 California Institute Of Technology Single-lens, single-aperture, single-sensor 3-D imaging device
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US8285025B2 (en) 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
US9170097B2 (en) 2008-04-01 2015-10-27 Perceptron, Inc. Hybrid system
EP2283383B1 (en) 2008-04-11 2013-07-17 École Polytechnique Fédérale de Lausanne (EPFL) Time-of-flight based imaging system using a display as illumination source
US8187097B1 (en) 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
DE102008031942A1 (de) 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
WO2010140059A2 (en) 2009-06-01 2010-12-09 Gerd Hausler Method and device for three-dimensional surface detection with a dynamic reference frame
CN102483326B (zh) * 2009-07-03 2015-01-21 莱卡地球系统公开股份有限公司 用于生成对象的三维图像的设备
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
JP2011169701A (ja) 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US9151607B2 (en) 2010-05-31 2015-10-06 University Of North Carolina At Charlotte Dimensional measurement through a combination of photogrammetry and optical scattering
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
WO2012023256A2 (en) 2010-08-19 2012-02-23 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
JP2012068762A (ja) * 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
EP2633268B1 (en) 2010-10-27 2018-09-26 Nikon Corporation Profile measuring apparatus and method for manufacturing a structure.
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
WO2012104759A1 (en) 2011-02-04 2012-08-09 Koninklijke Philips Electronics N.V. Method of recording an image and obtaining 3d information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
WO2012123948A1 (en) 2011-03-17 2012-09-20 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014112033A (ja) * 2011-03-25 2014-06-19 Sanyo Electric Co Ltd 受光装置、物体検出装置および情報取得装置
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5138119B2 (ja) 2011-04-25 2013-02-06 三洋電機株式会社 物体検出装置および情報取得装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
CA2835306C (en) 2011-06-07 2016-11-15 Creaform Inc. Sensor positioning for 3d scanning
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
JP2014238259A (ja) 2011-09-28 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置
US9142025B2 (en) 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
TW201329509A (zh) * 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
WO2013116299A1 (en) 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
US9186470B2 (en) 2012-02-08 2015-11-17 Apple Inc. Shape reflector and surface contour mapping
EP2821748B1 (en) 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method
KR101630558B1 (ko) 2012-03-28 2016-06-14 후지쯔 가부시끼가이샤 촬상 장치
JP6250040B2 (ja) 2012-05-18 2017-12-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 魚眼レンズ・アナライザ
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
CN104271030B (zh) 2012-07-10 2017-04-12 视乐有限公司 用于确定眼睛的光学像差的方法及设备
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
JP2014044113A (ja) 2012-08-27 2014-03-13 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9275459B2 (en) 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
EP3211299A1 (en) 2012-10-24 2017-08-30 SeeReal Technologies S.A. Illumination device
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
DE102012022039B4 (de) 2012-11-09 2020-03-26 Mbda Deutschland Gmbh Modulare Laserbestrahlungseinheit
WO2014097539A1 (ja) 2012-12-20 2014-06-26 パナソニック株式会社 ３次元測定装置および３次元測定方法
WO2014106843A2 (en) 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6211876B2 (ja) 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
EP2869263A1 (en) 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
BR112016015664A8 (pt) 2014-01-06 2020-06-09 Eyelock Llc aparelho para gerar repetidamente imagens de uma íris e dispositivo de reconhecimento de imagem de íris de uso repetitivo
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) * 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
US10147198B2 (en) 2014-04-30 2018-12-04 Shinano Kenshi Co., Ltd. Measurement device
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US20150347833A1 (en) 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
US9699393B2 (en) * 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
WO2016010481A1 (en) 2014-07-14 2016-01-21 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules operable to distinguish between signals indicative of reflections from an object of interest and signals indicative of a spurious reflection
WO2016018260A1 (en) 2014-07-29 2016-02-04 Apple Inc. Distortion quantifier
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
WO2016024203A2 (en) 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
KR20160020323A (ko) * 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
CN107407553B (zh) 2014-10-24 2020-07-28 魔眼公司 距离传感器
CN105981074B (zh) 2014-11-04 2018-02-02 深圳市大疆创新科技有限公司 用于标定成像装置的系统、方法和装置
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
JP6426753B2 (ja) * 2014-11-28 2018-11-21 マクセル株式会社 撮像システム
EP3229668A4 (en) * 2014-12-08 2018-07-11 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6152395B2 (ja) 2015-03-09 2017-06-21 テスト リサーチ， インク． 光学検出システム
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
EP3274653B1 (en) 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
CN107407728B (zh) 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
JP6247793B2 (ja) * 2015-03-27 2017-12-13 富士フイルム株式会社 距離画像取得装置
CN107429998B (zh) 2015-03-30 2018-10-02 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
DE112015006244T5 (de) 2015-03-30 2017-11-16 Fujifilm Corporation Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
KR102473740B1 (ko) 2015-04-20 2022-12-05 삼성전자주식회사 동시 rgbz 센서 및 시스템
TW201706563A (zh) * 2015-05-10 2017-02-16 麥吉克艾公司 距離感測器（一）
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
DE102015209143B4 (de) 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
CN107613842B (zh) 2015-05-29 2019-09-24 奥林巴斯株式会社 照明装置和计测装置
US10533846B2 (en) 2015-06-09 2020-01-14 Mitsubishi Electric Corporation Image generation device, image generating method, and pattern light generation device
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
EP3115742B1 (en) 2015-07-10 2020-04-15 Hexagon Technology Center GmbH 3d measuring machine
US10223793B1 (en) 2015-08-05 2019-03-05 Al Incorporated Laser distance measuring method and system
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US9989357B2 (en) 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
JP2018538107A (ja) 2015-09-23 2018-12-27 イースト カロライナ ユニバーシティ 発光体を使用して物体距離及びターゲット寸法を測定する方法、システム、及びコンピュータプログラム製品
US20170094251A1 (en) 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
DE112015007146T5 (de) 2015-11-25 2018-08-02 Mitsubishi Electric Corporation Vorrichtung und verfahren zur dreidimensionalen bildmessung
KR20170094968A (ko) * 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN107438148B (zh) * 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像系统
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
US10574909B2 (en) * 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
KR102543275B1 (ko) 2016-12-07 2023-06-16 매직 아이 인코포레이티드 평행 패턴들을 투사하는 거리 센서
US10274310B2 (en) * 2016-12-22 2019-04-30 The Boeing Company Surface sensing systems and methods for imaging a scanned surface of a sample via sum-frequency vibrational spectroscopy
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
DE112018000926T5 (de) * 2017-02-21 2019-10-31 Nanolux Co. Ltd. Festkörperabbildungsbauelement und abbildungsvorrichtung
US10810753B2 (en) 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
WO2018211588A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置、撮像方法及びプログラム
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
KR102134688B1 (ko) 2017-08-29 2020-07-17 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광학 거리 측정 방법 및 광학 거리 측정 장치
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
KR20200054324A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 다중 이동형 센서들을 포함한 센서 시스템의 캘리브레이션
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
CN111263899B (zh) 2017-11-28 2023-11-24 索尼半导体解决方案公司 照明装置、飞行时间系统和方法
WO2019182871A1 (en) * 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
JP7039388B2 (ja) 2018-05-24 2022-03-22 株式会社トプコン 測量装置
KR20210008025A (ko) 2018-06-06 2021-01-20 매직 아이 인코포레이티드 고밀도 프로젝션 패턴들을 사용한 거리 측정 방법
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10638104B2 (en) 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
US10916023B2 (en) 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US11158074B1 (en) 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
EP3911920B1 (en) 2019-01-20 2024-05-29 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
JP2020139869A (ja) 2019-02-28 2020-09-03 キヤノン株式会社 計測装置、算出方法、システム及びプログラム
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング

Also Published As

Publication number Publication date
WO2020150131A1 (en) 2020-07-23
EP3911920A4 (en) 2022-10-19
JP2022518023A (ja) 2022-03-11
EP3911920B1 (en) 2024-05-29
EP3911920A1 (en) 2021-11-24
CN113272624A (zh) 2021-08-17
US11483503B2 (en) 2022-10-25
US20200236315A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
TW202043804A (zh) 包含具有多個通帶的帶通濾波器的三維感應器
TWI817996B (zh) 針對三維深度感測及二維成像調整攝影機曝光
US11212512B2 (en) System and method of imaging using multiple illumination pulses
US9451240B2 (en) 3-dimensional image acquisition apparatus and 3D image acquisition method for simultaneously obtaining color image and depth image
US9998730B2 (en) Imaging optical system and 3D image acquisition apparatus including the imaging optical system
US10574909B2 (en) Hybrid imaging sensor for structured light object capture
US20070170352A1 (en) Method and system for wavelength-dependent imaging and detection using a hybrid filter
KR20150065473A (ko) 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
TW202030453A (zh) 基於垂直腔表面發射雷射的投影機
US11614517B2 (en) Reducing interference in an active illumination environment
US20150092018A1 (en) Method and apparatus generating color and depth images
US11792383B2 (en) Method and system for reducing returns from retro-reflections in active illumination system
US9898658B2 (en) Pupil detection light source device, pupil detection device and pupil detection method
KR20130027671A (ko) 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템
JP2023532676A (ja) 拡散照射及び構造化光用プロジェクタ
WO2023078986A1 (en) Eye safety for projectors
RU2543688C2 (ru) Камера и оптическая система для получения 3d изображений (варианты)
US20210067662A1 (en) 3d active depth sensing with laser pulse train bursts and a gated sensor