TWI679442B - 深度感測模組及深度感測方法 - Google Patents

深度感測模組及深度感測方法 Download PDF

Info

Publication number
TWI679442B
TWI679442B TW104139933A TW104139933A TWI679442B TW I679442 B TWI679442 B TW I679442B TW 104139933 A TW104139933 A TW 104139933A TW 104139933 A TW104139933 A TW 104139933A TW I679442 B TWI679442 B TW I679442B
Authority
TW
Taiwan
Prior art keywords
light
depth sensing
sensing module
depth
light sources
Prior art date
Application number
TW104139933A
Other languages
English (en)
Other versions
TW201632912A (zh
Inventor
蒂埃里 奧吉爾
Thierry Oggier
馬賽斯 達斯契勒
Mathias Deschler
史黛芬妮 克勞斯坦
Stephane Kaloustian
Original Assignee
新加坡商新加坡恒立私人有限公司
Heptagon Micro Optics Pte. Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商新加坡恒立私人有限公司, Heptagon Micro Optics Pte. Ltd. filed Critical 新加坡商新加坡恒立私人有限公司
Publication of TW201632912A publication Critical patent/TW201632912A/zh
Application granted granted Critical
Publication of TWI679442B publication Critical patent/TWI679442B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本發明與深度感測模組及深度感測方法有關。深度感測模組與方法被調適成包括光檢測器部與具有在三角測量基線之方向中空間偏置之至少兩個光源的發光部。在某些實施例中，光檢測器部中之影像感測器的像素場係由時差測距像素構成。藉由三角測量所導出的深度測量可用來校正時差測距測量所產生的深度圖。

Description

深度感測模組及深度感測方法
本發明與光學深度感測模組及深度感測系統有關。在特定的態樣中，可使用光學深度感測模組做為具有增強功能性的近接感測器。
典型上，光學近接感測器在行動電話中用於放射光信號並測量返回的反射光強度。根據所測量之返回的反射光強度推定物件之存在。大部分的近接感測器包括位在同一封裝內的單個光源與單個光檢器。例如，Fadell等人的美國專利申請案US 2008/0006762 A1曾提出此系統。Campbell在美國專利US 8,748,856 B2及Rudmann在美國專利US 8'791'489B2也提出以不同的方法將光學近接感測器整合到基於放射光並測量來自物件之返回的反射光信號的小型模組內。
曾有提出提高基於近接感測器之強度測量之可靠度的其它方法，其主要藉由儘量抑制內部反射與雜散光路徑。此等方法已刊登於Findlay的美國專利申請案US 2012/0133956A1與Rossi的美國專利US 8'674'305B2。
這些系統的關鍵挑戰有：第一，檢測僅反射很少信號的高度吸收物件；及第二，要抑制或補償雜散光與反射，例如，由於近接感測器之前蓋上的污垢，或如果整合在行動電話中，由於行動電話之前蓋上的污垢及/或灰塵所導致。
從近來克服雜散光問題並在近接感測模組中加入更多功能的趨勢顯示最新技術的近接感測器傾向藉由實際測量到達近接感測模組前方物件的距離來測量接近，也就是所謂的深度感測系統。在以下所有的上下文中，深度與距離這兩個名詞是可互換的。第一個基於深度感測模組的近接感測器稱為時差測距深度感測器，Baxter於US 8'610'043B2中提出基於單光子雪崩二極體(single photon avalanche diodes；SPAD)的時差測距深度感測器。
在SPAD式近接感測器之後，預期所謂的間接時差測距深度測量裝置將整合到近接感測器內。基於使用間接時差測距深度測量法做為近接感測器的系統已於美國專利申請案US 2014/0346361A1中提出。間接時差測距的測量裝置測量放射光相較於被反射且被捕捉之光的相移，其延遲一段光到達物件並返回的傳播時間。最後，從所測量的相位資訊導出實際的深度。相較於SPAD式的近接感測器，間接時差測距的主要優點之一是間接(或相位式)時差測距測量系統大大地降低了對時序解析度的需要。典型上，間接時差測距感測器係根據解調像素，其按時在數個點取 樣入射光，並根據這些取樣(相位)，可推導出入射光的振幅與偏移資訊。
在間接時差測距測量系統中用來實施解調的各式各樣像素例如描述於以下的專利：US5'856'667、EP1009984B1、EP1513202B1、及US7'884'310B2。不過，眾所周知，間接時差測距感測器深受污垢或灰塵顆粒所導致的時間漂移、混合的深度像素、多重反射、及雜散光之害。
此外，在近接感測器應用中，未來的深度感測模組不僅測量空間中單點的深度，還能藉由深度測量像素的陣列來測量，以供應指定視野中的二維深度圖更佳。近接感測器在行動電話中所供應之深度圖的可用性能夠引進全新的功能，諸如姿勢辨識或裝置的凌空操作，即使僅10×10或更少的像素，例如，美國專利申請案US 2013/0179162A1中所提出。
本發明的目的是提供新式的深度感測模組及對應之新式的深度感測方法。
本發明的目的是提供高強化的深度感測模組及深度感測方法。
這些目的至少其中之一至少部分透過申請專利範圍的特徵來達成。其它有利的實施例遵循附屬項與以下的描述。
深度感測模組包括用於照明物件的發光部與光檢測器部，發光部與光檢測器部在三角測量基線的方向空間地偏置。發光部包含至少兩個在三角測量基線方向中空間偏置的光源，其中，光檢測器部被組構成獲取光，並提供沿著三角測量基線之方向之被獲取光的強度分布。假設物件被深度感測模組之發光部的兩光源照射，因此，被獲取光的強度分布源起於兩不同光源。光源與光檢測器部之間已知的空間偏移使能夠做三角測量，其使能夠做深度估算，亦即，深度感測模組與物件之間距離的估算。
在一些實施例中，深度感測模組被組構成使用被獲取光的強度分布來實施三角測量估算。藉由測量與估算至少兩個光源的強度分布，可沿著三角測量基線的方向作三角測量，且因此測量到距離。例如，深度感測模組可操作來進行與強度分布相關的三角測量計算，且也選擇性地與光源與光檢測部之像素之間的空間偏移相關。
在一些實施例中，深度感測模組被組構成能夠藉由決定源自於發光部之至少兩個光源其中兩個光源之被獲取光之兩強度分布間之差的零交叉點來做三角測量估算。基於三角測量之物件距離的估算，根據源自於在三角測量基線之方向中空間偏置之至少兩個不同光源之被獲取光之強度分布的差分信號，能夠降低典型習知三角測量的需求，即，需要放射完全聚焦之光點或結構以保證精確的橫向解析度。
應用所描述類型的系統，發光部可放射非結構化的 光，諸如由至少兩個光源之每一個所產生的漫射光。該光可具有較寬的光錐(放射錐)來取代如習知三角測量系統典型上所要求的必須呈現銳利的點、線、或結構。
由於至少兩個光源所放射之光之強度差的位置在三角測量基線的方向中定義明確(且是高精確度確定)，因此，基於信號差(其結構良好)之三角測量系統的估算變得直接，即使當所放射之光的角錐並非結構良好。
此外，發光部的設置被簡化，因為在很多情況中，光源已是放射光的角錐，且因此(或多或少)是非結構化的光。
如果存在有投射光學件，對其的要求也大大降低。例如，深度感測模組可以沒有任何投射光學件。
此外，就製造公差、熱漂移、老化失真等的敏感性而論，藉由光檢測部沿著三角測量基線方向捕捉差分信號的估算，可致使深度感測器測量的穩定度增加。
在本發明的一些實施例中，至少兩個光源被組構成可個別地控制。個別控制至少兩個光源使能夠以不同的光源交替地放射光。例如，如果發光部包括或甚至是由第一與第二光源組成，且兩者皆可個別地控制，第一光源被打開而第二光源被關閉。返回的反射光被光檢測部捕捉，且第一強度分布被測量。之後，第一光源被關閉且第二光源被打開。返回的反射光被光檢測部捕捉，且第二強度分布被測量。藉由將此兩個強度分布測量相減，即可決定沿著三角測量基線方向的零交叉點。最後，零交叉點的估算直接 與物件的深度有關。
此外，個別控制至少兩個光源使能夠在單次曝光期間交替放射該至少兩個光源的光。當光源的交替控制與包括具有解調像素之感測器的光檢測部結合時，解調像素可與該至少兩個光源的交替控制同步。解調像素有能力將第一光源打開時所產生的光生電荷轉移到像素的第一儲存器內，將第二光源打開時所產生的光生電荷轉移到像素的第二儲存器內，且如果提供有另外的光源或另外的儲存器時亦是如此。在單次曝光期間，此程序可重複很多次，且光生電荷可積集在解調像素的儲存器中，之後再讀取該些值並實施估算。
此外，目前最新的解調像素包括背景光消除電路或信號減法電路，其可進一步簡化估算及提高動態範圍。
在一些實施例中，至少兩個光源係配置在單個晶粒上。例如，它們可包括在單個晶粒內。至少兩個光源整合在單個晶粒上使能夠縮小空間與降低成本，此兩者對於近接感測器之大量與低成本的應用都是重要標準。
此外，在單個晶粒上具有至少兩個光源可降低該至少兩個光源間之性能可能差異的可能性。
在一些實施例中，至少兩個光源的第一與第二光源可操作來分別放射具有第一光強度分布的第一光束與具有第二強度分布的第二光束。在其中，第一與第二光強度分布關於垂直對正於三角測量基線的平面相互對稱。
在一些實施例中，發光部可操作成交替地 -以至少兩個光源的第一個光源照明物件，而不以至少兩個光源的第二個光源照明物件；以及-以至少兩個光源的第二個光源照明物件，而不以至少兩個光源的第一個光源照明物件。
在一些實施例中，光檢測器部包括被組構成獲取光的影像感測器。在光檢測器部實施影像感測器使能夠獲取強度分布之完整的二維影像。例如，假設當第一光源被打開且第二光源被關閉時獲取第一影像，及當第二光源打開且第一光源被關閉時獲取第二影像，兩強度分布影像可彼此相減。於是，在影像感測器的每一像素線上可發現在三角測量基線之方向中的零交叉點。例如，以解析度為m×n個像素的感測器，其中，n係沿著三角測量基線方向之像素的數量，m係沿著垂直方向(垂直於三角測量基線)之像素的數量，可檢測到代表到達物件之距離的m個零交叉點。換言之，可測量出整個深度線。
在一些實施例中，影像感測器包括或甚至是時差測距感測器。時差測距感測器有能力解調入射的光。使其與至少兩個光源同步能夠實施如本文所描述的三角測量。最新技術的時差測距像素進一步能夠抑制背景光。此表示這些像素有能力減去像素上的信號，且因此提高系統的動態範圍。
在一些實施例中，深度感測模組被組構成能夠時差測距測量。假設影像感測器包括或甚至是由時差測距像素組成，每一個時差測距像素也都可使用所描述的三角測量法 來決定深度。例如，以具有m×n個時差測距像素的感測器，其中，n係沿著三角測量基線方向之像素的數量及m係沿著垂直方向，可檢測到代表到達物件之距離的m個零交叉點。此外，由於影像感測器的m×n個時差測距像素每一個都有表現深度值的能力，因此，可產生完整的深度圖。根據藉由三角測量法所導出的m個深度值與藉由時差測距測量所導出的m×n個深度值，深度測量的可靠度可以提升。例如，由於所描述之三角測量式的測量受害於內部反射與雜散光(例如，由於污垢與灰塵)的程度小，藉由三角測量法所導出的深度資料可用來校正時差測距深度圖，而時差測距深度圖產生完整的二維深度圖。
在一些實施例中，發光部包括至少一個光學反饋像素。該至少一個光學反饋像素可用來控制該至少兩個光源的電力。假設影像感測器的像素場是由時差測距像素組成，至少一個光學反饋像素可用來進一步校正使用影像感測器之時差測距像素所完成的深度測量。例如，至少一個光學反饋像素可配置在與像素場相同的晶粒上(例如，包括在其中)。
此外，如果有數個光學反饋像素，則這些像素可具有不同的靈敏度來涵蓋較大的動態範圍。如果有數個光學反饋像素，則每個光學反饋像素之個別的結果可加以平均或組合，以增進光學反饋像素的信雜比。
此外，深度感測模組被組構成近接感測器。
深度感測模組可用做為(可能簡單)近接感測器。
除了深度感測模組，本文也描述深度感測方法。該方法具有對應於所描述之任何感測模組之特性的特性。例如，其可以是使用具有光檢測器部與發光部之深度感測器的深度感測方法，發光部與光檢測器部在三角測量基線的方向中空間地偏置。發光部包括至少兩個光源，在三角測量基線之方向中空間地偏置。深度感測方法的步驟包含：使用光檢測器部獲取光，並提供被獲取之光在三角測量基線之方向中的強度分布。在一衍生中，使用被獲取光的強度分布來實施三角測量估算。在一衍生中，藉由決定源自於發光部之至少兩個光源中之兩個光源之被獲取光之兩強度分布間之差的零交叉點來實施三角測量估算。在一衍生中，發光部的至少兩個光源係被個別地控制。在一衍生中，使用包括在光檢測器部中的影像感測器來獲取光。在一衍生中，實施時差測距測量。在一衍生中，使用發光部中的至少一個光學反饋像素來實施光學反饋測量。在一衍生中，使用深度感測模組做為近接感測器。
習知技術的近接感測模組包括光源與光檢器。光是藉由光源放射及藉由光檢器檢測，假設光源放射的一些光被反射回到近接感測器且被光檢器檢測到，其假設物件在近接感測器的前方。典型上，實施簡單的信號定限以決定在近距離內是否有物件。
近來的發展朝向將實際的深度感測器整合到近接感測器內，以允許更可靠的近接檢測。不過，這些深度感測器深受污垢及/或灰塵所導致的雜散光之害。
1‧‧‧物件
2‧‧‧深度感測器模組
15‧‧‧三角測量基線的方向
20‧‧‧光檢測部
210‧‧‧影像感測器
211‧‧‧像素場
212‧‧‧光學反饋像素
23‧‧‧成像光學件
30‧‧‧發光部
32‧‧‧發光晶粒
32a‧‧‧第一光源
32b‧‧‧第二光源
32c‧‧‧第三光源
32d‧‧‧第四光源
32a2‧‧‧第一光源的接墊
32b2‧‧‧第二光源的接墊
32c2‧‧‧第三光源的接墊
32d2‧‧‧第四光源的接墊
33‧‧‧投影光學件
35a‧‧‧第一光束
35b‧‧‧第二光束
38‧‧‧零交叉軸
39‧‧‧零交叉點
40‧‧‧覆蓋玻璃
從本文以上的詳細描述及所附圖式可完全瞭解本文所描述裝置與方法，且不能將附圖視為限制所附申請專利範圍中所描述的本發明。其中：圖1a係深度感測模組的3維示意圖，例如，設計成近接感測器。
圖1b顯示圖1a之深度感測模組的水平橫斷面視圖。
圖1c顯示圖1a之深度感測模組的垂直橫斷面視圖。
圖2a說明圖1之深度感測模組中之照明光束，想像的第一光束與第二光束。
圖2b繪出第一光束與第二光束沿著三角測量基線之方向的光強度分布。
圖2c顯示第一與第二光束的差分信號。
圖3a至c說明基於零交叉點的三角測量法，零交叉點在像素場上之移動是物件到深度感測模組之距離的函數。
圖4a至c分別顯示深度感測模組的斜視圖，垂直橫斷面視圖、及水平橫斷面視圖，其中，深度感測模組包括可用於校正的光學反饋像素。
圖5顯示發光晶粒的斜視圖，其上具有4個可獨立控制的光源。
圖6顯示深度感測模組的發光部，其包括第一光源與第二光源連同投影光學件，其處理前蓋/保護玻璃頂上之 污垢或灰塵顆粒所導致的雜散光以使模組最佳化。
三角測量是決定現場中一點之位置(或距離)的方法。分別在基線的兩端測量點與基線之間的角度。使用三角公式，即可計算三角測量基線與點之間的距離。
圖1a-c顯示深度感測模組2。圖1a示意深度感測模組的3D視圖，而圖1b顯示水平橫斷面的頂視圖，及圖1c顯示垂直橫斷面的側視圖。深度感測模組2包括發光部30與光檢測部20。發光部30與光檢測部20在三角測量基線15的方向中空間地偏置。發光部30包括至少兩個光源32a與32b，沿著三角測量基線15的方向空間地偏置。兩個光源可位在相同的發光晶粒32上，如圖中之說明。在一些實施中，兩個光源32a與32b例如是位在相同發光晶粒32上的垂直共振腔面射雷射二極體(vertical cavity surface emitting laser diodes；VCSEL)。在此說明的情況中，發光晶粒32包括兩個接墊，用以從外部個別地控制兩個光源32a與32b，對應於可能的實施例。
發光部30中也可以簡單具有兩個獨立的光源32a與32b，即不在相同的晶粒上，例如，兩個獨立的LED、VCSEL、或雷射二極體。不過，兩個光源32a與32b沿著三角測量基線15的方向空間地偏置。第一光源32a與第二光源32b所產生的光藉由投射光學件33被投射到現場的物件1上(參考圖2a)。假設部分的放射光被物件1 反射回，則返回的反射光將被成像光學件23成像在影像感測器210的像素場211上。影像感測器210包括像素場211，但也另包括一或多個驅動、控制、與估算電路。不過，任何或全部這些電路被置於影像感測器210的外部，例如，在分離的晶片中。
圖2a-c說明圖1的深度感測模組2，但基於說明之目的，在圖2a的圖中只顯示第一光束35a與第二光束35b。第一光束35a的光功率與第二光束35b的光功率相同，且兩光束沿著零交叉軸38(或更精確地說：3維空間裏的零交叉面/平面)對稱。第一光束35a與第二光束35b個別地照明物件1。影像感測器210用來獲取被第一光束35a與第二光束35b照明之物件1所反射的光。影像感測器210所獲取之光沿著三角測量基線15方向的強度分布繪製於圖2b的圖式中，即，第一光束35a照明期間所獲取之光的強度分布35a’與第二光束35b照明期間所獲取之光的強度分布35b’。差分信號35a’-35b’繪於圖2c，即，第二光束35b照明期間所獲取之光的強度分布35b’減去第一光束35a照明期間所獲取之光的強度分布35a’。
為了得到差分信號35a’-35b’，第一光源32a與第二光源32b按開與關交替的序列切換。
在圖2a中，第一光源32a連同投射光學件33產生第一光束35a，第二光源32b結合投射光學件33產生第二光束35b，其關於第一光束35a在三角測量基線15之方向偏置或傾斜。例如，兩個光源32a與32b在相同的發光 晶粒32上簡單地偏置，且投射光學件33在兩個光源32a與32b前方進一步修正兩個光束35a與35b的形狀，以便提高零交叉點的可檢測性。
零交叉軸38代表第一光束35a之功率等於第二光束35b之功率的位置。投射光學件33可由數個光學元件組成，諸如透鏡及/或繞射光學元件，或可由單片透鏡元件建構而成，或甚至是由簡單的玻璃構成。
藉由將兩放射光束35a與35b之每一光束從物件1返回的反射經由成像光學件23成像在影像感測器210的像素場211上，並將第一光源32a點亮時所捕捉到的信號減去當第二光源32b點亮時所產生的信號，所得到的差分信號35a’-35b’將顯示出沿著三角測量基線15之方向的零交叉點39(參考圖3a-c)，第一光束35a照明期間從物件1返回光檢測器部20之反射光的強度在此處等於第二光束35b照明期間從物件1返回光檢測器部20之反射光的強度。影像感測器210之像素場211上的零交叉點39可用於三角測量，其意味著零交叉點39的位置與物件1到深度感測模組2的距離有關，且可由其決定此距離。圖2b中的圖式顯示沿著三角測量基線15之方向，第一光束35a照明期間所獲取的光強度分布與第二光束35b照明期間所獲取的光強度分布。圖2c說明第一光束35a返回之反射與第二光束35b返回之反射所產生之信號的差。
改變兩個光源32a與32b的功率比能夠沿著三角測量基線15之方向來回傾斜零交叉軸38。此給予操縱零交叉 軸一定程度的彈性。
關於源自於例如來自出現在深度感測模組2前方污垢或灰塵的反射，所提出的零交叉三角測量法比實際的時差測距深度感測技術更為穩定。假設影像感測器210上的像素場211包括或甚至是由時差測距像素組成，則時差測距影像感測器的信號可用來做首次檢測與定位零交叉點，且因此可靠地測量第一距離。接下來，可使用穩定的零交叉三角測量式測距來校正時差測距影像感測器之每一個像素之時差測距測量所產生的深度圖。只要來自至少部分物件1的零交叉點39藉由成像光學件23成像在像素場211上，就可即時完成時差測距深度圖的零交叉三角測量式校正。如果物件1並非一直被成像光學件23成像在像素場211上，則至少每當零交叉點在像素場211上變得可見時即更新校正。零交叉點39之位置的檢測使能夠修正時差測距深度測量之所有雜散光的問題。假設像素場211包括或甚至是由諸如間接時差測距感測器中所使用的解調像素組成，典型上，每一個像素包括或甚至是由兩個儲存節點組成。此等解調像素架構已在專利US5'856'667，EP1009984B1、EP1513202B1、及US7'884'310B2中提出。
因此，當第一光源32a點亮時，光生電荷被儲存在像素的第一儲存節點上，及當第二光源32b點亮時，光生電荷被儲存在像素的第二儲存節點上。在曝光期間，第一與第二光源32a與32b可交替地點亮與關閉，同時它們分別與解調像素中操縱光生電荷到像素之第一儲存節點或像素 之第二節點的切換同步。
此外，解調像素上具有背景消除電路，能夠消除背景光所產生的所有電荷。這種用於解調像素的背景消除電路已在PCT出版品WO2009135952A2及美國專利US7574190B2與US7897928B2中提出。消除每一個像素之不同儲存節點上之共模信號位準可大幅提高深度感測模組2的動態範圍。
圖3a至c說明零交叉三角測量法。在圖3a至c的所有圖式中，第一光源32a放射第一光束35a及第二光源32b放射第二光束35b。典型上，兩光束都藉由投影光學件33換形。但在例子中，也可省掉投影光學件。從物件1返回的反射光束被成像光學件23(通常是選用的)(參考圖2a)成像在影像感測器210的像素場211上。為了測量零交叉點，第一與第二光源交替地開與關。
在物件1到深度感測模組2之距離近的情況中，如圖3a之圖示，差分影像中的零交叉點39，即，在第一光束35a照明期間返回之反射並被檢測到的光強度與在第二光束35b照明期間返回之反射並被檢測到的光強度相同的位置，被成像光學件23成像在靠近影像感測器210之像素場211的右緣。
在物件1到深度感測模組2之距離中等的情況中，如圖3b之圖示，差分影像的零交叉點39在影像感測器210之像素場211上向左移動，而在物件1到深度感測模組2之距離更遠的情況中，如圖3c之圖示，差分影像的零交 叉點39在影像感測器210之像素場211上更向左移動。
當第一光源32a點亮與當第二光源32b點亮時所捕捉之影像之差中的零交叉點39可用於三角測量。例如，影像差可藉由連續捕捉兩個影像並相減來產生，即，一個是第一光源32a點亮時的影像，一個是第二光源32b點亮時的影像。
另一個可行性是在像素場211中整合所謂的解調像素做為光感測像素。此種像素在專利US5'856'667、EP1009984B1、EP1513202B1、及US7'884'310B2中提出。解調像素在每個像素上具有兩個儲存位置。來自光敏區域之光生電荷送往兩電荷儲存器的操縱，可與第一光源32a與第二光源32b的交替控制同步完成。結果是，像素場211之每一個像素之第一儲存節點儲存當第一光源32a點亮時所產生的光生電荷，而像素場211之每一個像素的第二儲存節點儲存當第二光源32b點亮時所產生的光生電荷。更尖端的解調像素已在每一個像素中包括減法電路。此使能夠做到更佳的背景光信號消除及因此而更強化系統。假設影像感測器210之像素場211中的每一個像素都是時差測距像素，則可用列取樣資料一可能結合時差測距像素之像素上的背景消除電路一根據像素場211上零交叉點的位置來找到零交叉點39並決定深度。從深度感測模組2放射的光，前進到物件1並返回被影像感測器210上之像素場211中之時差測距像素所測量到的行進時間，可進一步用來建構完整的二維深度圖。藉由零交叉三角測量 法所導出的深度測量可用來校正藉由時差測距式深度測量所導出的二維深度圖。就雜散光、熱漂移及很多人為影響而論，使用零交叉三角測量法來實施校正可增進穩定度與深度感測模組的強化。整合在影像感測器210內的時差測距像素可以是如間接(相位測量式)時差測距測量系統或直接(單光子雪崩檢測式)時差測距測量系統中使用的解調像素。視需要與應用而定，根據三角測量法的校正估算可在每次的深度測量時進行，或偶爾為之，或僅當需要時才做。
圖4a-c顯示另一實施例的不同說明。圖4a係深度感測模組2的3維圖。圖4b顯示水平橫斷面B-B，圖4c顯示垂直橫斷面A-A。深度感測模組2的深度測量原理與圖1a至c中的示意圖相同。不過，此實施例的發光部30中進一步包括光學反饋像素212。例如，為了提高所測量之反饋的信雜比，在此不僅只有一個光學反饋像素，而是有數個，甚至整個陣列都是光學反饋像素。不同的光學反饋像素也具有不同的靈敏度或不同的曝光時間，以增加光學反饋操作的動態範圍。光學反饋像素可用來測量，並接著控制第一光源32a與第二光源32b的發光功率。此外，如果光學反饋像素212是時差測距像素，則光學反饋像素也可用來校正時差測距測量。除了像素場211，光學反饋像素可以位於相同的整合式影像感測器210上，但也可位於兩獨立的晶片上。
例如，光學反饋像素可用做為反饋像素來調整放射光 的強度、校正強度、調整相位延遲、校正相位延遲、或檢測污垢/灰塵。快速的強度變化係由溫度改變或污垢/灰塵的堆積所導致，而緩慢的強度變化是老化導致的結果。
圖5顯示發光晶粒32的示意圖，其包括4個不同的光源32a、32b、32c、及32d。4個光源32a至32d各自可個別控制。在已知的說明中，4個光源32a、32b、32c、及32d各自擁有自己的接觸墊32a2、32b2、32c2、及32d2，且因此可以從發光晶粒32的外部做完整的驅動控制。如概示於圖5之發光部30，其中超過2個光源的可用性使能夠應用更複雜的校正設計，且就雜散光(例如，由污垢或灰塵顆粒所導致)而論，使放射光束的偏斜部分直接回到光檢測器部20之內，以呈現更穩定的系統。
圖6僅顯示深度感測模組2之實施例的發光部30，在深度感測模組2的前方具有蓋玻璃40。兩個光源32a與32b在三角測量基線15之方向空間地偏置。兩個光源32a與32b所放射的光被投影光學件33換形，以使得第一光束32a與第二光束32b在區域上的光分布儘量相等，典型上，此處的污垢或灰塵會有雜散光反射到光檢測器部20內。藉由在會發出雜散光(典型上來自蓋玻璃40的正表面)之區域上的第一光束35a與第二光束35b具有相同之分布，則源自於第一光束35a之返回的散射雜散光與源自於第二光束35b之返回的散射雜散光將相同或至少十分相似。不過，兩光束從該位置向上可稍微漸漸分開，以便在影像感測器210的像素場211上產生與深度相關之明確 的零交叉。
以下將揭示更多的實施例： 深度感測模組實施例：
實施例1. 深度感測模組(2)包括用於照明物件的發光部(30)與光檢測器部(20)，發光部(30)與光檢測器部(20)在三角測量基線(15)的方向空間地偏置，其特徵在於，發光部(30)包含在三角測量基線(15)之方向中空間偏置的至少兩個光源(32a,32b)，其中，光檢測器部(20)被組構成獲取光，並提供沿著三角測量基線(15)之方向之被獲取之光的強度分布。
實施例2. 如實施例1的深度感測模組(2)，其特徵在於，深度感測模組(2)被組構成使用被獲取之光的強度分布來實施三角測量評估。
實施例3. 如實施例1或2的深度感測模組(2)，其特徵在於，深度感測模組(2)被組構成藉由決定源自於發光部(30)之至少兩個光源(32a,32b)其中兩個的被獲取光之兩強度分布間之差的零交叉點來實現三角測量評估。
實施例4. 如實施例1至3其中之一的深度感測模組(2)，其特徵在於，該至少兩個光源(32a,32b)被組構成可個別地控制。
實施例5. 如實施例1至4其中之一的深度感測模組(2)，其特徵在於，該至少兩個光源(32a,32b)係配置 在單個晶粒(32)上。
實施例6. 如實施例1至5其中之一的深度感測模組(2)，其特徵在於，光檢測器部(20)包括影像感測器(210)，被組構成獲取光。
實施例7. 如實施例6的深度感測模組(2)，其特徵在於，影像感測器(210)包含時差測距影像感測器。
實施例8. 如實施例1至7其中之一的深度感測模組(2)，其特徵在於，深度感測模組(2)被組構成致能時差測距測量。
實施例9. 如實施例1至8其中之一的深度感測模組(2)，其特徵在於，發光部(30)包括至少一個光學反饋像素(212)。
實施例10. 如實施例1至9其中之一的深度感測模組(2)，其特徵在於，深度感測模組(2)係近接感測器。
深度感測方法實施例：
實施例11. 使用深度感測模組(2)的深度感測方法，深度感測模組具有用於照明物件的發光部(30)與光檢測器部(20)，發光部(30)與光檢測器部(20)在三角測量基線(15)的方向空間地偏置，其中，發光部(30)包含在三角測量基線(15)方向中空間偏置的至少兩個光源(32a,32b)，其中，深度感測的方法包含步驟：使用發光部(30)放射光，使用光檢測器部(20)獲取光，並提供沿著三角測量基線(15)之方向之被獲取光 的強度分布。
實施例12. 如實施例11的深度感測方法，其特徵在於，使用被獲取光的強度分布來實施三角測量評估。
實施例13. 如實施例11或12的深度感測方法，其特徵在於，三角測量評估係藉由決定分別獲取源自發光部(30)之至少兩個光源(32a,32b)之第一與第二光源之光之第一與第二強度分布間之差的零交叉點(39)來實施。
實施例14. 如實施例11至13其中之一的深度感測方法，其特徵在於，該至少兩個光源(32a,32b)係個別地控制。
實施例15. 如實施例11至14其中之一的深度感測方法，其特徵在於，使用包括在檢測器部(20)中的影像感測器(210)來獲取光。
實施例16. 如實施例11至15其中之一的深度感測方法，其特徵在於，實施時差測距測量。
實施例17. 如實施例11至16其中之一的深度感測方法，其特徵在於，使用發光部(30)中的至少一個光學反饋像素(212)來實施光學反饋測量。
實施例18. 如實施例11至17其中之一的深度感測方法，其特徵在於，深度感測模組(2)被用作為近接感測器。

Claims (18)

  1. 一種深度感測模組(2)，包含用於照明物件的發光部(30)與光檢測器部(20)，該發光部(30)與該光檢測器部(20)在三角測量基線(15)的方向中空間地偏置，其中，該發光部(30)包含至少兩個光源(32a,32b)，該兩光源在該三角測量基線(15)之該方向中空間地偏置，其中，該光檢測器部(20)被組構成獲取光，並沿著該三角測量基線(15)之該方向提供該被獲取之光的強度分布，該深度感測模組(2)更包括控制與估算電路，該控制與估算電路可操作以藉由決定源自於該發光部(30)之該至少兩個光源(32a,32b)其中兩個的該被獲取之光之兩強度分布間之差的零交叉點來致能三角測量評估，並且可操作以根據該決定的零交叉點來實施三角測量評估。
  2. 如申請專利範圍第1項的深度感測模組(2)，其中，該至少兩個光源(32a,32b)被組構成可個別地控制。
  3. 如申請專利範圍第1項的深度感測模組(2)，其中，該至少兩個光源(32a,32b)包含在單個晶粒(32)內。
  4. 如申請專利範圍第1項的深度感測模組(2)，其中，該至少兩個光源(32a,32b)的第一與第二光源可操作成分別放射具有第一光強度分布的第一光束及具有第二光強度分布的第二光束，其中，該第一與第二光強度分布相對於垂直對準於該三角測量基線的平面相互對稱。
  5. 如申請專利範圍第1項的深度感測模組(2)，其中，該發光部(30)可操作成交替地-以該至少兩個光源的第一個光源(32a)照明物件，而不以該至少兩個光源的第二個光源(32b)照明物件；以及-以該至少兩個光源的第二個光源(32b)照明物件，而不以該至少兩個光源的第一個光源(32a)照明物件。
  6. 如申請專利範圍第1項的深度感測模組(2)，其中，該光檢測器部(20)包括影像感測器(210)被組構成獲取光。
  7. 如申請專利範圍第6項的深度感測模組(2)，其中，該影像感測器(210)包含時差測距影像感測器。
  8. 如申請專利範圍第1項的深度感測模組(2)，其中，該深度感測模組(2)被組構成致能時差測距測量。
  9. 如申請專利範圍第1項的深度感測模組(2)，其中，該發光部(30)包括至少一個光學反饋像素(212)。
  10. 如申請專利範圍第1項的深度感測模組(2)，其中，該深度感測模組(2)係近接感測器。
  11. 一種使用深度感測模組(2)的深度感測方法，該深度感測模組具有用於照明物件的發光部(30)與光檢測器部(20)，該發光部(30)與該光檢測器部(20)在三角測量基線(15)的方向中空間地偏置，其中，該發光部(30)包含至少兩個光源(32a,32b)，在該三角測量基線(15)的該方向中空間地偏置，其中，該方法包含：使用該發光部(30)放射光，使用該光檢測器部(20)獲取光，並沿著該三角測量基線(15)之該方向得到該被獲取之光的強度分布，使用該被獲取之光的該強度分布來實施三角測量評估，其中，實施該三角測量評估包含決定分別來自該發光部(30)之該至少兩個光源(32a,32b)之第一與第二光源所獲取之光之第一與第二強度分布間之差的零交叉點(39)。
  12. 如申請專利範圍第11項的深度感測方法，其中，該至少兩個光源(32a,32b)的第一與第二光源可操作成分別放射具有第一光強度分布的第一光束及具有第二光強度分布的第二光束，其中，該第一與第二光強度分布相對於垂直對準於該三角測量基線的平面相互對稱。
  13. 如申請專利範圍第11項的深度感測方法，包含交替地-以該至少兩個光源的第一個光源(32a)照明物件，而不以該至少兩個光源的第二個光源(32b)照明物件；以及-以該至少兩個光源的第二個光源(32b)照明物件，而不以該至少兩個光源的第一個光源(32a)照明物件。
  14. 如申請專利範圍第11項的深度感測方法，包含個別地控制該至少兩個光源(32a,32b)。
  15. 如申請專利範圍第11項的深度感測方法，其中，該光檢測器部(20)包含影像感測器(210)，且其中，使用該影像感測器(210)來獲取光。
  16. 如申請專利範圍第11項的深度感測方法，包含實施時差測距測量。
  17. 如申請專利範圍第11項的深度感測方法，其中，該發光部(30)包含至少一個光學反饋像素(212)，且其中，該方法包含使用該至少一個光學反饋像素(212)來實施光學反饋測量。
  18. 如申請專利範圍第11項的深度感測方法，其中，該深度感測模組(2)係近接感測器，且其中，該方法包含進行近接測量。
TW104139933A 2014-12-02 2015-11-30 深度感測模組及深度感測方法 TWI679442B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH18512014 2014-12-02
CH01851/14 2014-12-02

Publications (2)

Publication Number Publication Date
TW201632912A TW201632912A (zh) 2016-09-16
TWI679442B true TWI679442B (zh) 2019-12-11

Family

ID=56092100

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104139933A TWI679442B (zh) 2014-12-02 2015-11-30 深度感測模組及深度感測方法

Country Status (5)

Country Link
US (1) US10215857B2 (zh)
EP (1) EP3227714A4 (zh)
CN (1) CN107430187B (zh)
TW (1) TWI679442B (zh)
WO (1) WO2016089305A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726559B (zh) * 2019-12-30 2021-05-01 財團法人工業技術研究院 輪廓測量系統和輪廓測量方法
US11162784B2 (en) 2019-12-30 2021-11-02 Industrial Technology Research Institute Profile measurement system and profile measurement method

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
CN107770415A (zh) * 2016-08-19 2018-03-06 光宝电子(广州)有限公司 摄像设备以及摄像方法
US10436910B2 (en) * 2016-09-20 2019-10-08 Apple Inc. Line scan depth sensor comparing a time dependent waveform of the signals to an expected waveform
CN106357922B (zh) * 2016-10-12 2018-05-01 广东欧珀移动通信有限公司 终端设备的状态监测方法、装置及终端设备
US10572570B2 (en) 2016-11-14 2020-02-25 Blackberry Limited Determining a load status of a platform using a likelihood ratio test
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
US10489925B2 (en) * 2017-08-13 2019-11-26 Shenzhen GOODIX Technology Co., Ltd. 3D sensing technology based on multiple structured illumination
CN109729721B (zh) 2017-08-29 2021-04-16 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
TWI685670B (zh) * 2018-05-07 2020-02-21 新加坡商光寶科技新加坡私人有限公司 具有雙發射器的近接感應模組
CN110456367A (zh) * 2018-05-07 2019-11-15 光宝新加坡有限公司 具有双发射器的近接感应模块
WO2019225965A1 (en) * 2018-05-24 2019-11-28 Samsung Electronics Co., Ltd. Lidar device
KR20190134451A (ko) * 2018-05-24 2019-12-04 삼성전자주식회사 라이다 장치
US11092678B2 (en) * 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
KR102604902B1 (ko) * 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
EP4033881A4 (en) 2019-09-25 2023-11-22 Blue River Technology Inc. TREATMENT OF PLANTS USING FEATURE VALUES AND SOIL LEVELS EXTRACTED FROM A SINGLE IMAGE
US11536836B2 (en) 2019-09-27 2022-12-27 Sensors Unlimited, Inc. Time-of-flight independent of object reflectivity
US11330246B2 (en) 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
KR20210115715A (ko) * 2020-03-16 2021-09-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
WO2021184155A1 (zh) * 2020-03-16 2021-09-23 深圳市汇顶科技股份有限公司 三维图像传感系统以及相关电子装置以及飞时测距方法
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
WO2021231407A1 (en) * 2020-05-12 2021-11-18 Levisense Medical, Inc. Beds and other body support devices with individually controllable cells comprising one or more air bladders
US12080019B2 (en) 2020-09-25 2024-09-03 Blue River Technology Inc. Extracting feature values from point clouds to generate plant treatments
WO2022105733A1 (zh) * 2020-11-19 2022-05-27 神盾股份有限公司 堆叠式光学感测封装体
CN115113220A (zh) * 2021-03-18 2022-09-27 华为技术有限公司 一种探测装置及终端设备
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541723A (en) * 1993-06-21 1996-07-30 Minolta Camera Kabushiki Kaisha Distance measuring device
TW201144769A (en) * 2010-06-15 2011-12-16 Pixart Imaging Inc Time of flight system capable of increasing measurement accuracy, saving power and/or increasing motion detection rate and method thereof
TW201425968A (zh) * 2012-12-17 2014-07-01 Eminent Electronic Technology Corp Ltd 光學感測裝置以及偵測光學感測裝置周遭之物件的方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3134158B2 (ja) * 1989-12-28 2001-02-13 セイコープレシジョン株式会社 マルチ測距装置及びカメラのレンズ位置制御装置
DE4440613C1 (de) * 1994-11-14 1996-07-25 Leica Ag Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes
CZ300055B6 (cs) 1996-09-05 2009-01-21 Zpusob zjištování fázových a/nebo amplitudových informací o elektromagnetické vlne, fotonový smešovací prvek, usporádání smešovacích prvku a zarízeník provádení tohoto zpusobu
DE59710276D1 (de) * 1997-10-31 2003-07-17 Laser Applikationan Gmbh Verfahren zur berührungsfreien Messung des Abstands eines Objekts nach dem Prinzip der Laser-Triangulation
US7120564B2 (en) * 2003-04-03 2006-10-10 Metrotech Corporation Buried line locator with integral position sensing
DK1513202T3 (da) 2003-09-02 2010-05-10 Univ Bruxelles Detektor til elektromagnetisk stråling ved hjælp af en majoritetsstrøm
ATE456811T1 (de) 2003-10-27 2010-02-15 Bea Sa Entfernungsmessgerät
DE102004016626A1 (de) 2004-04-05 2005-10-20 Pmd Technologies Gmbh Signalverarbeitungselektronik
FR2872920B1 (fr) * 2004-07-06 2006-09-22 Commissariat Energie Atomique Dispositif optique de mesure de la vitesse de deplacement d'un premier element mobile par rapport a un second element
EP1622200A1 (en) 2004-07-26 2006-02-01 CSEM Centre Suisse d'Electronique et de Microtechnique SA Solid-state photodetector pixel and photodetecting method
US7714265B2 (en) 2005-09-30 2010-05-11 Apple Inc. Integrated proximity sensor and light sensor
EP1777747B1 (en) 2005-10-19 2008-03-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
DE202008011469U1 (de) * 2008-08-28 2010-01-07 Sick Ag Optoelektronischer Sensor
WO2011046035A1 (ja) * 2009-10-15 2011-04-21 日本電気株式会社 画像投射装置、画像投射方法、距離測定装置及び距離測定方法
US9753128B2 (en) * 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
GB2485998A (en) 2010-11-30 2012-06-06 St Microelectronics Res & Dev A single-package optical proximity detector with an internal light baffle
GB2486000A (en) 2010-11-30 2012-06-06 St Microelectronics Res & Dev Optical proximity detectors with arrangements for reducing internal light propagation from emitter to detector
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
TWI567953B (zh) 2011-12-20 2017-01-21 新加坡恒立私人有限公司 光電模組及包含該模組之裝置
US9625993B2 (en) 2012-01-11 2017-04-18 Biosense Webster (Israel) Ltd. Touch free operation of devices by use of depth sensors
US8791489B2 (en) 2012-04-05 2014-07-29 Heptagon Micro Optics Pte. Ltd. Opto-electronic module
US20140346361A1 (en) 2013-05-23 2014-11-27 Yibing M. WANG Time-of-flight pixels also sensing proximity and/or detecting motion in imaging devices & methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541723A (en) * 1993-06-21 1996-07-30 Minolta Camera Kabushiki Kaisha Distance measuring device
TW201144769A (en) * 2010-06-15 2011-12-16 Pixart Imaging Inc Time of flight system capable of increasing measurement accuracy, saving power and/or increasing motion detection rate and method thereof
TW201425968A (zh) * 2012-12-17 2014-07-01 Eminent Electronic Technology Corp Ltd 光學感測裝置以及偵測光學感測裝置周遭之物件的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726559B (zh) * 2019-12-30 2021-05-01 財團法人工業技術研究院 輪廓測量系統和輪廓測量方法
US11162784B2 (en) 2019-12-30 2021-11-02 Industrial Technology Research Institute Profile measurement system and profile measurement method

Also Published As

Publication number Publication date
TW201632912A (zh) 2016-09-16
CN107430187A (zh) 2017-12-01
CN107430187B (zh) 2021-06-18
EP3227714A4 (en) 2018-07-18
WO2016089305A1 (en) 2016-06-09
EP3227714A1 (en) 2017-10-11
US20170343675A1 (en) 2017-11-30
US10215857B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
TWI679442B (zh) 深度感測模組及深度感測方法
JP6817387B2 (ja) Ｌａｄａｒシステム及び方法
JP6309459B2 (ja) ストライプ照明の飛行時間型カメラ
US11709231B2 (en) Real time gating and signal routing in laser and detector arrays for LIDAR application
US10935371B2 (en) Three-dimensional triangulational scanner with background light cancellation
US9753128B2 (en) Multi-path compensation using multiple modulation frequencies in time of flight sensor
RU2538418C2 (ru) Оптический дальномер
RU2602734C2 (ru) Измерительное устройство для измерения расстояния между ним и целевым объектом с помощью измерительного оптического излучения
US11204420B2 (en) Distance measurement apparatus
KR102324449B1 (ko) 광 검출기 어레이 및 아날로그 판독 회로가 개재된 lidar 수신기용 멀티 검출기
AU2007251977B2 (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
US11592537B2 (en) Optical crosstalk mitigation in LIDAR using digital signal processing
CN111751842B (zh) 用于光检测和测距（lidar）系统的过采样和发射器拍摄模式
US20210405158A1 (en) Depth sensing using optical time-of-flight techniques through a transmissive cover
CN111781583A (zh) 可操作以识别虚假反射并补偿由虚假反射导致的误差的光电模块
EP1191306A2 (en) Distance information obtaining apparatus and distance information obtaining method
CN112066907B (zh) 深度成像装置
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
CN111492264B (zh) Lidar信号获取
WO2024132463A1 (en) Device and method to detect refractive objects
WO2023048687A1 (en) High resolution lidar imaging system
Oggier et al. Miniaturized all-solid-state 3D camera for real-time range imaging
Wang et al. An LED-array-based range imaging system used for enhancing three-dimensional imaging