TW202217358A - 用於測量到物體的距離的裝置及方法以及信號處理裝置 - Google Patents

用於測量到物體的距離的裝置及方法以及信號處理裝置 Download PDF

Info

Publication number
TW202217358A
TW202217358A TW110107509A TW110107509A TW202217358A TW 202217358 A TW202217358 A TW 202217358A TW 110107509 A TW110107509 A TW 110107509A TW 110107509 A TW110107509 A TW 110107509A TW 202217358 A TW202217358 A TW 202217358A
Authority
TW
Taiwan
Prior art keywords
pixel
photon
event detection
detection signals
pixels
Prior art date
Application number
TW110107509A
Other languages
English (en)
Other versions
TWI784430B (zh
Inventor
殷勤
李其霖
葉尚府
吳孟修
趙亦平
Original Assignee
台灣積體電路製造股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台灣積體電路製造股份有限公司 filed Critical 台灣積體電路製造股份有限公司
Publication of TW202217358A publication Critical patent/TW202217358A/zh
Application granted granted Critical
Publication of TWI784430B publication Critical patent/TWI784430B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一種用於為直接飛行時間感測器陣列中的每個像素提供對假光子計數事件進行濾波的裝置及方法。在一些實施例中，所述裝置包括：光源，被配置成向物體發射調製信號；直接飛行時間（DTOF）感測器陣列，被配置成接收來自物體的反射信號，其中直接飛行時間感測器陣列包括多個單光子雪崩二極體（SPAD）；以及處理電路系統，被配置成從中心像素以及與中心像素正交及對角相鄰的多個像素接收光子事件檢測信號，並因應於判斷所接收的光子事件檢測信號的總和是否大於預定閾值，來輸出有效的光子檢測信號。

Description

用於測量到物體的距離的裝置及方法以及信號處理裝置
能夠進行三維環境感測的測距感測器用於各種應用（例如自主駕駛、醫學、機器人視覺、安全等）中。當前的三維（three-dimensional，3D）感測方法利用立體匹配、光截面或飛行時間（time-of-flight，TOF）途徑中的一者。立體匹配方法通過使用兩個照相機對物體上的特徵進行三角測量來確定到物體的距離，所述兩個照相機根據預設空間配置在空間上相對於彼此定位。然而，如果所述兩個照相機之間不匹配，則立體匹配方法可能會提供不準確的三維距離測量。立體匹配方法的另一個缺點是其需要被觀察物體的被動照明（passive illumination）。光截面法是基於對投射到物體上的雷射束的三角測量。然而，這種技術需要昂貴的移動機械部件（例如雷射器及檢測器）。另一方面，飛行時間（TOF）技術不需要任何機械部件，且可捕獲接近非常高的幀速率的三維距離圖。
Figure 02_image001
此外，基於飛行時間（TOF）技術的三維距離測量感測器具有小的覆蓋面積及相對低的製造成本。此外，TOF三維測距感測器是基於直接（直接飛行時間（direct TOF，DTOF））或間接（間接飛行時間（indirect TOF，ITOF））確定由照明器發射的光脈衝與由TOF三維測距感測器檢測的所接收反射信號之間的延遲。
DTOF途徑通常用於需要深度分辨率非常高的長（千米）距離測量的應用中，而ITOF途徑主要用於需要深度分辨率只有幾釐米的中短（幾十米）距離測量的應用中。因此，在需要長距離及高分辨率測量的應用中實施DTOF技術可能優於ITOF技術。
然而，在存在例如暗計數率（dark-count rate，DCR）及背景照明噪聲等噪聲源的情況下，基於DTOF技術的DTOF感測器的性能可能由於DTOF感測器對噪聲的高靈敏度而下降。
Figure 02_image002
例如，與暗計數相關聯的熱產生的載流子可能觸發DTOF感測器產生假光子計數事件，這可能導致不準確的距離測量。
Figure 02_image004
當前用於減少DTOF感測器中的假光子計數事件的方法集中於向DTOF感測器陣列添加多個冗餘單光子雪崩二極體（Single-Photon Avalanche Diode，SPAD），這會急劇增加其覆蓋面積及功耗，且將DTOF感測器的實作方式限制於幾個像素，這會降低圖像分辨率。因此，當前用於對DTOF感測器中的假光子計數事件進行濾波的方法並不完全令人滿意。
在背景技術部分中公開的信息僅旨在為下面闡述的本發明的各種實施例提供背景，且因此背景部分可包括未必是現有技術信息（即，所屬領域中的一般技術人員已知的信息）的信息。因此，在本背景技術部分中闡述當前命名的發明人的工作的範圍內，所述工作以及在提出申請時可能不符合現有技術的說明的方面既不明確也不隱含地被認為是針對本公開的現有技術。
Figure 02_image013
下面參考附圖來闡述本公開的各種示例性實施例，以使所屬領域中的一般技術人員能夠製作及使用本公開。對於所屬領域中的一般技術人員來說將顯而易見的是，在閱讀本公開之後，在不脫離本公開的範圍的情況下，可對本文闡述的實例進行各種改變或修改。因此，本公開不限於本文闡述及示出的示例性實施例及應用。此外，在本文中公開的方法中步驟的特定順序及/或層次僅是示例性途徑。基於設計偏好，所公開的方法或過程的步驟的特定順序或層次可在保持在本公開的範圍內的同時被重新佈置。因此，所屬領域中的一般技術人員將理解，本文公開的方法及技術以樣本順序呈現各種步驟或動作，且本公開不限於所呈現的特定順序或層次，除非另有明確說明。
圖1示出測量從DTOF感測器117到三維物體109的距離111的三維距離感測系統100。在一個實施例中，光源101向三維物體109發射調製信號105。在某一實施例中，光源101可包括發光二極體（Light-Emitting Diode，LED）或固態雷射器103（例如波長介於850納米（nm）到870納米範圍內的垂直腔面發射雷射器（Vertical-Cavity surface-emitting laser，VCSEL））的陣列。在一些實施例中，調製信號105可為方波或連續波（例如正弦波）。在一些實施例中，調製信號105可以預定週期性而週期性地產生。在另一個實施例中，調製信號105可使用包括環形振盪器及計數器的數位電路系統來產生。
反射信號107是從三維物體109反射，且由DTOF感測器陣列系統115檢測到。在一些實施例中，DTOF感測器陣列系統115可包括光接收器113的二維陣列。在某一實施例中，DTOF感測器陣列系統115可由SPAD光接收器來實作。如圖1所示，DTOF感測器117通過測量從光源101發射並由感測器陣列系統115捕獲的光子的往返行程時間T d來操作。通過測量反射信號107相對於調製信號105的相位延遲來確定調製信號105及反射信號107中攜帶的光子的往返行程時間。然後通過下式來確定距離D 111：
Figure 02_image015
，
其中c是在三維物體109及DTOF感測器117所在的材料介質中的光速，且T d是從光源101發射並由感測器陣列系統115捕獲的光子的往返行程時間。
圖2示出根據一些實施例的DTOF感測器陣列系統200的方塊圖。DTOF感測器陣列系統200包括二維正方形像素陣列221，二維正方形像素陣列221包括像素223及225a至225h，每個像素具有SPAD光檢測器。在一些實施例中，可使用互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）技術來實施SPAD光檢測器。DTOF感測器陣列系統200還包括耦合到DTOF感測器陣列221的信號處理電路系統。在一些實施例中，信號處理電路系統包括：列控制邏輯電路201，從二維像素陣列221中選擇一列；及行讀出邏輯電路203，被配置成從二維像素陣列221中選擇一行。根據一些實施例，行讀出邏輯203可包括被配置成量化發射信號及反射信號的上升沿之間的時間間隔的多個時間數位轉換器（time to digital converter，TDC）211。在一些實施例中，DTOF感測器陣列系統200提供由直方圖化邏輯電路205產生的深度信息207，直方圖化邏輯電路205將由TDC 211產生的量化時間間隔測量值累積到統計表示圖（例如光子事件檢測信號相對於量化時間測量值的直方圖）中。在一些實施例中，直方圖化邏輯電路205可在晶片上或晶片外實作。
Figure 02_image017
此外，如圖2所示，DTOF感測器陣列系統200可包括逐像素信號處理電路209，逐像素信號處理電路209被配置成對由像素223接收的假光子事件檢測信號進行濾波。在各種實施例中，逐像素信號處理電路209可包括邏輯閘219，邏輯閘219被配置成基於例如從像素225a至225h或223中的任一者接收到光子事件檢測信號來轉變其二進制輸出狀態。逐像素信號處理電路209還可包括計數器邏輯電路217，計數器邏輯電路217由邏輯閘219的二進制輸出狀態的轉變觸發，且被配置成對所接收的光子事件檢測信號的數量進行計數。在一些實施例中，如圖2所示，逐像素信號處理電路209可包括閾值轉換邏輯電路215，閾值轉換邏輯電路215將計數器邏輯217的輸出與預定閾值N進行比較。在本公開的各種實施例中，閾值轉換邏輯215可為量值比較器，所述量值比較器將從計數器邏輯217接收的輸入與預定閾值N進行比較，以判斷從計數器邏輯217接收的輸入是否大於預定閾值N。在一些實施例中，預定閾值N是大於1的整數。在一些實施例中，N是在2到5範圍內的整數值。此外，逐像素信號處理電路209可包括雙狀態機213，雙狀態機213被配置成基於閾值轉換邏輯215的輸出來改變其狀態。例如，如果閾值轉換邏輯215的輸出指示從計數器邏輯217接收的輸入大於預定閾值N，則雙狀態機213將其狀態改變為“有效”。在一些實施例中，逐像素信號處理電路209的示例性優點在於，其通過處理從像素225a至225h或223中的任一者接收的互相關的光子檢測事件來減少暗計數率（DCR）及背景照明噪聲的影響。
Figure 02_image019
圖3A示出DTOF感測器陣列的由中心像素303、與中心像素303對角相鄰的多個像素307a及與中心像素303正交相鄰的多個像素305a至305d構成的3×3子陣列301。
根據本公開的一些實施例，圖3B所示的時序圖提供互相關的光子檢測途徑的圖形實例。如此，圖3B示出從光源發射的調製信號311及反射信號313的時序圖。此外，圖3B還示出入射在圖3A所示3×3子陣列上的反射信號315、319及321的時序圖。由DTOF感測器陣列的SPAD光接收器產生的反射信號315、319及321具有預定脈衝寬度317。此外，圖3B示出由中心像素303及與中心像素303正交相鄰的像素產生的假光子事件檢測信號323及327的實例。就此來說，假光子事件檢測信號323及327可能是由於DCR或背景噪聲。
圖3B還示出有效的光子事件檢測信號325。在一些實施例中，當中心像素303及至少兩個其他相鄰像素在有效視窗內的任何時間產生脈衝時，檢測到有效的光子事件檢測信號。在此實施例中，當從正交相鄰的像素及對角相鄰的像素接收的光子事件檢測信號的數量為至少兩個時，中心像素303登記有效的光子事件檢測信號。在其他實施例中，有效視窗的寬度可相同於反射信號315、319及321的脈衝寬度。
圖4A至圖4C示出根據一些實施例的用於相關檢測過程的像素的逐像素激活的方塊圖。如圖4A所示，對於每個中心像素，使用3×3逐像素互相關光子檢測系統來收集光子檢測或SPAD雪崩事件。在本發明的一些實施例中，列控制邏輯可選擇DTOF感測器陣列中的三個相鄰列。如此，對於中心像素411，從與中心像素411正交相鄰的像素401、405、409及415以及從與中心像素411對角相鄰的像素403、407、413及417收集光子檢測或SPAD雪崩事件。
Figure 02_image021
在此實施例中，對於DTOF感測器陣列中的每個中心像素，從與中心像素相關聯的正交相鄰的像素及對角相鄰的像素收集光子檢測或SPAD雪崩事件。
圖4B示出從相鄰像素收集光子檢測或SPAD雪崩事件的替代方法。例如，如圖4B所示，對於每個選定像素列419，從正交相鄰的列像素421、423、425、427及429收集光子檢測或SPAD雪崩事件。隨後，根據圖4B，對於選定像素列419的像素431，從選定像素列419中的每個像素收集來自水平相鄰的像素的經組合光子檢測或SPAD雪崩事件。根據本發明的另一個實施例，如圖4C所示，列控制邏輯及行控制邏輯可通過激活列435、437及439以及行436、438及440來選擇DTOF感測器陣列的3×3子陣列。在此實施例中，從與中心像素正交相鄰的像素及對角相鄰的像素收集光子檢測或SPAD雪崩事件。
圖5示出根據本發明一些實施例的3×3逐像素信號處理電路500的方塊圖。
Figure 02_image008
在一些實施例中，圖5所示逐像素信號處理電路500對假光子事件檢測信號進行濾波。例如，根據一個實施例，通過將由與中心像素503正交相鄰的像素507、509、511及513產生的第一組信號與第一預定參數（W1）相乘且將由與中心像素503對角相鄰的像素519、521、523及529產生的第二組信號與第二預定參數（W2）相乘，來處理由3×3子陣列501產生的信號。在一些實施例中，第一預定參數W1及第二預定參數W2可為標量。在其他實施例中，第一預定參數W1及第二預定參數W2可為具有不同或相同元素的長度為4的向量。例如，第一預定參數W1可為具有相同或不同元素 w 1 1、 w 2 1、 w 3 1、 w 4 1的向量W1=（ w 1 1, w 2 1, w 3 1, w 4 1），且第二預定參數W2可為具有相同或不同元素 w 1 2、 w 2 2、 w 3 2、 w 4 2的向量W2=（ w 1 2, w 2 2, w 3 2, w 4 2）。
如圖5所示，在用第一預定參數W1及第二預定參數W2按比例縮放後，第一組信號及第二組信號分別在加法器515及525中進行組合。加法器515及525的相應輸出517及527被傳輸到在逐像素信號處理電路531中實施的逐像素互相關光子計數器邏輯539中。此外，逐像素信號處理電路531可包括閾值轉換邏輯537。就此來說，閾值轉換邏輯537將計數器邏輯539的輸出與預定閾值N進行比較，且如果計數器邏輯539的輸出大於預定閾值N，則輸出有效的信號。在本公開的各種實施例中，逐像素信號處理電路531還可包括延遲塊543，延遲塊543將從中心像素503接收的信號505延遲時間量T2。一般來說，延遲量T2大於信號505的脈衝視窗541（T1）。此外，逐像素信號處理電路531還可包括及閘535，如果中心像素503產生光子事件檢測信號且閾值轉換邏輯537的輸出有效，則及閘535輸出有效的光子事件檢測信號533。
圖6示出根據本發明一些實施例的5×5逐像素信號處理電路600的方塊圖。例如，根據一個實施例，通過以下方式來處理由5×5子陣列601產生的信號：將由與中心像素603正交相鄰且位於嵌入的以中心像素603為中心並具有中心像素603的3×3子陣列內的多個像素635產生的第一組信號633與第一預定參數（W1）相乘，且將由與中心像素603對角相鄰且位於3×3子陣列內的多個像素627產生的第二組信號631與第二預定參數（W2）相乘。此外，如圖6所示，由位於5×5子陣列601外圍上且與中心像素603正交相鄰的多個像素625（像素602a至602d）產生的第三組信號605與第三預定參數（W3）相乘。在一些實施例中，第一預定參數W1、第二預定參數W2及第三預定參數W3可為標量。在其他實施例中，第一預定參數W1、第二預定參數W2及第三預定參數W3可為具有不同或相同元素的長度為4的向量。
如圖6所示，在用第一預定參數W1及第二預定參數W2按比例縮放後，第一組信號633及第二組信號631在加法器629中進行組合。
Figure 02_image024
此外，在用第三預定參數W3按比例縮放後，第三組信號605在加法器621中進行組合。加法器629及621的輸出被傳輸到在逐像素信號處理電路619中實作的逐像素互相關光子計數器邏輯611中。此外，逐像素信號處理電路619可包括閾值轉換邏輯電路613。就此來說，閾值轉換邏輯電路613將計數器邏輯電路611的輸出與預定閾值N進行比較。在本公開的各種實施例中，逐像素信號處理電路619還可包括延遲塊609，延遲塊609將從中心像素603接收的信號604延遲時間量T2。一般來說，延遲量T2大於信號604的脈衝視窗607（T1）。此外，逐像素信號處理電路619還可包括及閘615，如果中心像素603產生光子事件檢測信號且閾值轉換邏輯613的輸出有效，則及閘615輸出有效的光子事件檢測信號617。
圖7A至圖7C示出根據一些實施例，檢測到的光子事件相對於針對各種預定閾值獲得的TDC測量值的單像素直方圖。圖7A示出具有有效的光子檢測峰值信號703a的單像素直方圖701a，其是從不具有互相關光子檢測系統的DTOF感測器陣列獲得的。此外，由於噪聲引起的假光子事件檢測信號也示於圖7A中。就此來說，噪聲基底（noise floor）707a比有效的光子檢測峰值信號703a低一個量705a。此外，給定有效的光子檢測峰值信號（703a）及噪聲基底707a，可計算例如信噪比（signal-to-noise ratio，SNR）等各種品質因數。圖7B示出根據本發明各種實施例的具有有效的光子檢測峰值信號703b的單像素直方圖701b，其是從包括預設閾值N=2的互相關光子檢測系統的DTOF感測器陣列獲得的。此外，相關係數a 1(W1)及a 2(W2)分別被設定為1及1。在此實施例中，噪聲基底707b比有效的光子檢測峰值信號703b低一個量705b，量705b大於圖7A所示的量705a。因此，圖7B所示實施例中的所得信噪比大於圖7A所示實施例中的信噪比。圖7C示出根據本發明各種實施例的具有有效的光子檢測峰值信號703c的單像素直方圖701c，其是從包括預設閾值N=4的互相關光子檢測系統的DTOF感測器陣列獲得的。此外，在此實施例中，相關係數a 1(W1)及a 2(W2)分別被設定為2及1。如圖7C所示，噪聲基底707c比有效的光子檢測峰值信號703c低一個量705c，量705c大於圖7A至圖7B所示的量705a或705b。因此，圖7C所示實施例中的所得信噪比大於圖7A或圖7B所示實施例中的信噪比。
圖8A至圖8B示出根據一些實施例的在DTOF感測器中實施的假光子計數濾波方法的流程圖。例如，圖8A示出使用3×3逐像素互相關光子檢測系統的假光子計數濾波方法的流程圖。根據各種實施例，在步驟801中，DTOF感測器在每個DTOF採集幀期間激活二維DTOF陣列中的三個連續像素列，並感測入射在所激活像素上的反射信號。在其他實施例中，在步驟801中，DTOF感測器在每個DTOF採集幀期間可激活二維DTOF陣列中的所有像素，並感測入射在所激活像素上的反射信號。接下來，在步驟803中，對於每個像素，使用3×3逐像素互相關光子檢測系統來收集光子事件檢測信號或SPAD雪崩事件。在步驟807中，對於每個像素，當由逐像素互相關系統收集的光子事件檢測信號或SPAD雪崩事件的總數大於預設閾值時，報告有效的光子事件檢測信號。在步驟809中，TDC將有效的飛行時間測量值數位化。
作為另一實例，圖8B示出使用5×5逐像素互相關光子檢測系統的假光子計數濾波方法的流程圖。根據各種實施例，在步驟811中，DTOF感測器在每個DTOF採集幀期間激活二維DTOF陣列中的五個連續像素列，並感測入射在所激活像素上的反射信號。
Figure 02_image026
在其他實施例中，在步驟811中，DTOF感測器在每個DTOF採集幀期間可激活二維DTOF陣列中的所有像素，並感測入射在所激活像素上的反射信號。接下來，在步驟813中，對於每個像素，使用5×5逐像素互相關光子檢測系統來收集光子事件檢測信號或SPAD雪崩事件。在步驟815中，對於每個像素，當由逐像素互相關系統收集的光子事件檢測信號或SPAD雪崩事件的總數大於預設閾值時，報告有效的光子事件檢測信號。在步驟817中，TDC將有效的飛行時間測量值數位化。
圖9示出根據本發明各種實施例的測距系統901的方塊圖。在一些實施例中，測距系統901可為被配置成實施本文闡述的各種方法的光檢測及測距（Light Detection and Ranging，LiDAR）感測器。在其他實施例中，測距系統901可在無人自主地面及空中運載工具中實作。此外，測距系統901也可在三維物體識別系統中實作。如圖9所示，測距系統901包括處理器905、記憶體903及DTOF感測器907。
Figure 02_image028
在一些實施例中，DTOF感測器907被實作為上面結合圖5及圖6闡述的DTOF感測器中的一者。在一些實施例中，處理器905控制測距系統901的一般操作。此外，處理器905對從DTOF感測器907接收的數據執行圖像處理及分類算法。處理器905可包括一個或多個處理電路或模塊，例如中央處理器（central processing unit，CPU）和/或通用微處理器、微控制器、數位信號處理器（digital signal processor，DSP）、現場可程式閘陣列（field programmable gate array，FPGA）、可程式邏輯器件（programmable logic device，PLD）、控制器、狀態機、選通邏輯、分立硬體組件、專用硬體有限狀態機或可實行計算或其他數據操縱的任何其他合適的電路、器件和/或結構的任意組合。
可包括唯讀記憶體（read-only memory，ROM）及隨機存取記憶體（random access memory，RAM）兩者的記憶體903可向處理器905提供指令及數據。記憶體903的一部分還可包括非揮發性隨機存取記憶體（non-volatile random access memory，NVRAM）。處理器905通常基於儲存在記憶體903內的程式指令來實行邏輯及算術運算。儲存在記憶體903中的指令（又稱為軟體）可由處理器905執行以實行本文闡述的方法。處理器905及記憶體903一起形成儲存及執行軟體的處理系統。如本文所使用的“軟體”意指可配置機器或器件來實行一個或多個期望功能或過程的任何類型的指令，無論被稱為軟體、韌體、中間件、微代碼等。指令可包括代碼（例如，呈源代碼格式、二進制代碼格式、可執行代碼格式或任何其他合適的代碼格式）。當由所述一個或多個處理器執行時，所述指令使得處理系統實行本文闡述的各種功能。
Figure 02_image030
圖10A示出示例性DTOF感測器的三維平面圖的示意圖。在一些實施例中，圖10A所示的三維平面圖包括由反向偏置雪崩二極體的矩形陣列構成的SPAD陣列1009。在各種實施例中，SPAD陣列1009可集成在具有輔助組件的半導體器件的矽基板上，所述輔助組件為例如讀出控制電路系統1003、列控制電路系統1007、相關聯時間數位轉換（TDC）電路系統1005及直方圖化電路系統1001。儘管這些各種輔助組件1001、1003、1005及1007可為矽基組件，但是應當理解，這些矽基組件可包含非矽和/或矽合金材料，例如各種氧化物、絕緣體或介電質（例如，氧化矽、氮化矽或氮氧化矽或不含矽的介電質）、各種矽合金（例如，矽-鍺或矽-鍺-碳合金）、金屬層或金屬合金層等。此外，在各種實施例中，SPAD陣列1009以及輔助組件1001、1003、1005及1007可製作在不同的金屬層上。例如，SPAD陣列1009可被圖案化或刻蝕在半導體器件的頂部不透明層上，而輔助組件1001、1003、1005及1007可被圖案化或刻蝕在下部金屬層上。
Figure 02_image024
在其他實施例中，SPAD陣列1009以及輔助組件1001、1003、1005及1007可被製作在結合在一起的堆疊晶片上，以在半導體器件上形成DTOF感測器。根據各種實施例，堆疊晶片可包含矽、砷化鎵或其他半導體材料。
Figure 02_image032
在所示實例中，頂部晶片可包括SPAD陣列1009，而底部晶片可包括輔助組件1001、1003、1005及1007。在其他實施例中，將輔助數位組件1001、1003、1005及1007放置在底部晶片上允許在頂部晶片上的SPAD陣列1009中實現非常高的填充因數。此外，由於頂部晶片可與底部晶片分開形成，因此可利用定製製作製程來優化SPAD陣列1009在頂部晶片上的形成，而當在底部晶片上形成輔助數位組件1001、1003、1005及1007時，可保留傳統的CMOS製程。
在一些實施例中，SPAD陣列1009可通過金屬跡線1002耦合到相關聯TDC電路系統1005。在一個實施例中，金屬跡線1002可包括微矽穿孔（micro-through silicon via，μTSV）。μTSV可包含其中沉積的導電材料（例如，銅、多晶矽等）。如圖10A所示，可製作用於SPAD陣列1009的每一列的至少一條金屬跡線，以將由SPAD陣列1009的每一列產生的輸出脈衝傳輸到底部晶片的相關聯TDC電路系統1005。在各種實施例中，金屬跡線1002可包括包含薄膜（例如，鋁、銅等）的重佈線層（redistribution layer，RDL），以用於對SPAD陣列1009與相關聯TDC電路系統1005之間的電連接進行重新路由及重佈線。
圖10B示出DTOF感測器的一種可能實作方式的三維平面圖的示意圖。圖10B所示的示例性三維平面圖類似於以上論述的圖10A的三維平面圖。然而，圖10B的三維平面圖包括附加金屬跡線1008，附加金屬跡線1008將SPAD陣列1009中的每個像素連接到集成在TDC 1005的矩形陣列內的TDC。更具體來說，在圖10B的三維平面圖中，SPAD陣列中的每個像素通過金屬跡線1008連接到相關聯TDC。因此，圖10B的三維平面圖為每個SPAD檢測器提供個性化的讀出及個性化的時間戳兩者。
Figure 02_image019
Figure 02_image035
Figure 02_image037
Figure 02_image039
Figure 02_image041
圖11A示意性地示出示例性DTOF感測器的剖床平面圖。在一些實施例中，示例性DTOF感測器的剖床平面圖可包括二維（two-dimensional，“2D”）SPAD像素陣列1103。如圖所示，每個像素被佈置成列及行，以獲取人、地點或物體的圖像數據。此外，圖11A所示的剖床平面圖可包括列控制電路系統1101，列控制電路系統1101被配置成從列控制電路系統1007（圖10A至圖10B）接收列地址，並通過列控制路徑1102向SPAD像素陣列1103提供對應的列控制信號，例如複位、列選擇、電荷轉移、雙重轉換增益及讀出控制信號。此外，圖11A中所示的剖床平面圖還可包括通過一條或多條導電線1104耦合到SPAD像素陣列1103的每一行的行控制電路系統1105。就此來說，所述一條或多條導電線可用於從SPAD像素陣列1103讀出圖像信號，並用於向SPAD像素陣列1103中的像素供應偏置信號（例如，偏置電流或偏置電壓）。在一些實施例中，在像素讀出操作期間，可使用列控制電路系統1101來選擇SPAD像素陣列1103中的像素列，且可沿著所述一條或多條導電線1104讀出由所述像素列中的圖像像素產生的圖像信號。
Figure 02_image042
在各種實施例中，圖11A的剖床平面圖可包括圖像讀出電路系統，所述圖像讀出電路系統包括一個或多個時間數位轉換器（TDC）電路系統1107及基於鎖相迴路（phase-locked loop，PLL）的時間參考產生模塊1106。此外，TDC電路系統1107可被配置成測量飛行時間，並以大於參考時鐘週期的分辨率為光子檢測事件產生時間戳。在一些實施例中，PLL模塊1106可適用於為所述一個或多個TDC電路系統1107提供時鐘信號。基於PLL的定時參考模塊1106示於圖11A中僅用於說明，且所述一個或多個TDC電路系統1107的定時參考可使用來自任何合適的定時模塊的並行輸出來產生；例如延遲鎖定迴路（delay locked loop，DLL）、有源延遲線、無源延遲線等。
圖11B示出DTOF感測器的另一種可能實作方式的剖床平面圖。圖11B所示的示例性剖床平面圖類似於以上論述的圖11A的剖床平面圖。然而，圖11B的剖床平面圖包括時間振幅轉換器（time-to-amplitude converter，TAC）1109，TAC 1109被配置成測量饋送到TAC 1109的開始信號與停止信號之間的時間差。在一些實施例中，TAC 1109輸出類比電壓信號，所述類比電壓信號的信號高度和在接收開始信號與停止信號之間測量的時間差成比例。在進一步的實施例中，輸出的類比信號然後可以類比形式被進一步處理，或者例如被下游類比數位轉換器（analog-digital converter，ADC）數位化。此外，如圖11B所示，剖床平面圖可包括斜坡積分器1108，斜坡積分器1108連接到TAC 1109，且被配置成在TAC 1109接收到開始信號之後啟動斜坡信號。在接收到停止信號之後，斜坡積分器1108達到和接收開始信號與停止信號之間的時間間隔成比例的固定電壓值。
圖11C示出DTOF感測器的另一種可能實作方式的剖床平面圖。圖11C所示的示例性剖床平面圖類似於以上論述的圖11A的剖床平面圖。
Figure 02_image044
然而，圖11C的剖床平面圖包括連接到行控制電路系統1105的單個TDC 1110。在一些實施例中，TDC 1110可被配置成檢測並產生來自選定像素列的任何像素中的光子檢測事件的時間戳。
Figure 02_image045
圖12A示意性地示出示例性DTOF感測器的剖床平面圖，在SPAD像素陣列1103與基於計數器的TDC 1203之間連接有時間放大器（time amplifier，TA）1207。如圖12A所示，剖床平面圖可包括參考時鐘1201。在此實施例中，每個基於計數器的TDC 1203的時間分辨率由參考時鐘1201的頻率決定，且其量化誤差取決於參考時鐘1201的週期。此外，基於計數器的TDC 1203可通過由開始脈衝及停止脈衝控制的異步二進制計數器來實作。例如，TDC 1203的異步二進制計數器可由參考時鐘1201驅動，且通過開始脈衝來複位。異步二進制計數器的輸出可通過停止脈衝來採樣。來自異步二進制計數器的採樣數據是和開始脈衝與停止脈衝之間的時間差成比例的數位輸出。在一些實施例中，停止脈衝可由SPAD像素陣列1103中檢測光子事件的像素觸發，且開始脈衝可在發射調製光時觸發。
更高分辨率DTOF感測器需要能夠更準確地測量飛行時間。如此，圖12A中所示的剖床平面圖可包括TA 1207，TA 1207被配置成在輸出處放大輸入時間差，且因此改善基於計數器的TDC 1203的分辨率及動態範圍。
圖12B示出具有時間放大器（TA）1207的DTOF感測器的另一種可能實作方式的剖床平面圖。圖12B所示的示例性剖床平面圖類似於以上論述的圖12A的剖床平面圖。然而，圖12B的剖床平面圖包括時間振幅轉換器（TAC）1109及連接到TAC 1109並被配置成在TAC 1109接收到開始信號後啟動慢斜坡信號的慢斜坡積分器1205。
Figure 02_image047
Figure 02_image049
圖12C示出具有時間放大器（TA）1207的DTOF感測器的另一種可能實作方式的剖床平面圖。圖12C所示的示例性剖床平面圖類似於以上論述的圖12A的剖床平面圖。然而，圖12C的剖床平面圖包括通過TA 1207連接到行控制電路系統1105的單個TDC 1110。
在一些實施例中，本發明提供一種用於測量距物體的距離的裝置，所述裝置包括被配置成向物體發射調製信號的光源及被配置成接收來自物體的反射信號的直接飛行時間（DTOF）感測器陣列，其中所述直接飛行時間感測器陣列包括多個單光子雪崩二極體（SPAD）。
Figure 02_image051
此外，在此實施例中，用於測量距物體的距離的裝置可包括處理電路系統，耦合到所述直接飛行時間感測器陣列，所述處理電路系統從中心像素以及與所述中心像素正交及對角相鄰的多個像素接收光子事件檢測信號，且因應於判斷所接收的所述光子事件檢測信號的總和是否大於預定閾值，來輸出有效的光子檢測信號。此外，在其他實施例中，用於測量距物體的距離的裝置可包括被配置成選擇DTOF感測器陣列中的一列像素的列控制邏輯電路及被配置成選擇DTOF感測器陣列中的一行像素的行控制邏輯電路。
在一些實施例中，一種用於處理從直接飛行時間（DTOF）感測器陣列接收的逐像素信號的信號處理裝置包括：逐像素信號處理電路，耦合到DTOF感測器陣列，且被配置成：從中心像素以及與所述中心像素正交及對角相鄰的多個像素接收光子事件檢測信號，且因應於判斷所接收的所述光子事件檢測信號的總和是否大於預定閾值，來輸出有效的光子檢測信號；時間數位轉換器（TDC），被配置成因應於接收到所述有效的光子檢測信號，來量化入射在所述中心像素上的發射調製信號及反射信號的上升沿之間的時間間隔；以及直方圖化邏輯電路，被配置成累積在多個採集幀期間從所述時間數位轉換器接收的多個量化時間測量值，且基於所述多個量化時間測量值的統計分佈來確定深度信息。
Figure 02_image053
在進一步的實施例中，所述信號處理裝置還可包括被配置成選擇DTOF感測器陣列中的一列像素的列控制邏輯電路，以及被配置成選擇DTOF感測器陣列中的一行像素的行控制邏輯電路。
Figure 02_image054
在其他實施例中，一種用於測量從直接飛行時間（DTOF）感測器陣列到物體的距離的方法包括：從所述中心像素以及與所述中心像素正交及對角相鄰的多個像素接收光子事件檢測信號；因應於判斷所接收的所述光子事件檢測信號的總和是否大於預定閾值，來輸出有效的光子檢測信號；因應於接收到所述有效的光子檢測信號，使用時間數位轉換器（TDC）來量化入射在中心像素上的發射調製信號及反射信號的上升沿之間的時間間隔；累積在多個採集幀期間從所述時間數位轉換器接收的多個量化時間測量值；以及基於所述多個量化時間測量值的統計分佈來確定深度信息。
儘管以上已闡述了本公開的各種實施例，然而應理解，所述實施例僅以舉例方式而非限制方式呈現。同樣，各個圖式可繪示示例性架構或配置，提供所述示例性架構或配置是為了使所屬領域中的一般技術人員能夠理解本公開的示例性特徵及功能。然而，所屬領域中的一般技術人員應理解，本公開並非僅限於所示出的示例性架構或配置，而是可使用各種替代架構及配置來實施。另外，如所屬領域中的一般技術人員應理解，一個實施例的一個或多個特徵可與本文中所述的另一實施例的一個或多個特徵進行組合。因此，本公開的廣度及範圍不應受上述示例性實施例中的任一示例性實施例限制。
還應理解，本文中每當使用例如“第一”、“第二”等稱謂來提及元件時均不是籠統地限制所述元件的數量或次序。而是，本文中使用這些稱謂作為區分兩個或更多個元件或區分元件的實例的便捷手段。因此，提及“第一元件”和“第二元件”並不意味著僅可採用兩個元件或者第一元件必須以某種方式在第二元件之前。
另外，所屬領域中的一般技術人員應理解，可使用各種不同的技術及技法中的任一種來表示信息及信號。舉例來說，數據、指令、命令、信息、信號、位元及符號（舉例來說，在以上說明中可能提及的）可由電壓、電流、電磁波、磁場或磁性粒子、光學場或光學粒子或其任意組合來表示。
所屬領域中的一般技術人員還應理解，結合本文所公開的各個方面闡述的各種例示性邏輯區塊、模塊、處理器、構件、電路、方法及功能中的任一者可由電子硬體（例如，數位實施形式、類比實施形式或兩者的組合）、韌體、包含指令的各種形式的程式或設計代碼（為方便起見，在本文中可被稱為“軟體”或“軟體模塊”）或這些技術的任意組合來實施。
為清楚地例示硬體、韌體及軟體的此種可互換性，以上已對各種例示性組件、區塊、模塊、電路及步驟在其功能方面進行了大體闡述。此種功能是被實施為硬體、韌體還是軟體、抑或被實施為這些技術的組合取決於具體應用及施加於整個系統的設計約束條件。所屬領域中的技術人員可針對每一具體應用以各種方式實施所闡述的功能，但此種實施決策不會導致脫離本公開的範圍。根據各種實施例，處理器、器件、組件、電路、結構、機器、模塊等可被配置成執行本文中所述的功能中的一個或多個功能。本文中針對規定操作或功能使用的用語“被配置成”或“被配置用於”是指處理器、器件、組件、電路、結構、機器、模塊、信號等被實體構造成、程式化成、排列成和/或格式化成執行規定操作或功能。
此外，所屬領域中的一般技術人員應理解，本文中所述的各種例示性邏輯區塊、模塊、器件、組件及電路可在積體電路（IC）內實施或由積體電路（IC）執行，所述積體電路可包括數位信號處理器（digital signal processor，DSP）、應用專用積體電路（application specific integrated circuit，ASIC）、現場可程式閘陣列（field programmable gate array，FPGA）或其他可程式邏輯器件、或其任意組合。邏輯區塊、模塊及電路還可包括天線和/或收發器，以與網路內或器件內的各種組件進行通信。被程式化成執行本文中的功能的處理器將變成專門程式化的或專用的處理器，且可被實施為計算器件的組合，例如DSP與微處理器的組合、多個微處理器、一個或多個微處理器與DSP核的結合、或者執行本文中所述的功能的任何其他合適的配置。
如果以軟體的形式實施，則所述功能可作為一個或多個指令或代碼儲存在電腦可讀媒體上。因此，本文中所公開的方法或算法的步驟可被實施為儲存在電腦可讀媒體上的軟體。電腦可讀媒體包括電腦儲存媒體及通信媒體二者，包括任何可能夠將電腦程式或代碼從一個地方傳遞到另一地方的任何媒體。儲存媒體可為可由電腦存取的任何可用媒體。作為示例而非限制，這種電腦可讀媒體可包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式化唯讀記憶體（electrically erasable programmable read-only memory，EEPROM）、唯讀光碟（compact disk- ROM，CD-ROM）或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、或者可用於以指令或數據結構的形式儲存所期望的程式代碼且可由電腦存取的任何其他媒體。
在本文件中，本文使用的用語“模塊”是指用於執行本文中所述的相關功能的軟體、韌體、硬體以及這些元件的任意組合。另外，為便於論述，各種模塊被闡述為離散模塊；然而，對於所屬領域中的一般技術人員來說顯而易見的是，可將兩個或更多個模塊組合形成單個模塊，由所述單個模塊執行根據本公開的實施例的相關功能。
對本公開中所述的實施方式的各種修改對於所屬領域中的技術人員來說將顯而易見，且在不背離本公開的範圍的條件下，本文中所定義的一般原理也可應用於其他實施方式。因此，本公開並非旨在僅限於本文中所示的實施方式，而是符合與在以上權利要求書中所述的本文所公開新穎特徵及原理一致的最寬廣範圍。
100:三維距離感測系統 101:光源 103:發光二極體（LED）或固態雷射器 105、311:調製信號 107、313、315、319、321:反射信號 109:三維物體 111:距離 113:光接收器 115、200:DTOF感測器陣列系統 117、907:DTOF感測器 201:列控制邏輯電路 203:行讀出邏輯電路/行讀出邏輯 205:直方圖化邏輯電路 207:深度信息 209、531、619:逐像素信號處理電路 211、1110:時間數位轉換器（TDC） 213:雙狀態機 215、613:閾值轉換邏輯電路/閾值轉換邏輯 217:計數器邏輯電路/計數器邏輯 219:邏輯閘 221:二維正方形像素陣列/DTOF感測器陣列 223、225a、225b、225c、225d、225e、225f、225g、225h、305a、305b、305c、305d、307a、401、403、405、407、409、413、415、417、431、507、509、511、513、519、521、523、529、602a、602b、602c、602d、625、627、635:像素 301、501:3×3子陣列 303、411、503、603:中心像素 317:預定脈衝寬度 323、327:假光子事件檢測信號 325、533、617:有效的光子事件檢測信號 419:選定像素列 421、423、425、427、429:行像素 435、437、439:列 436、438、440:行 500:3×3逐像素信號處理電路 505、604:信號 515、525、621、629:加法器 517、527:輸出 535、615:及閘 537:閾值轉換邏輯 539:逐像素互相關光子計數器邏輯 541、607:脈衝視窗 543、609:延遲塊 600:5×5逐像素信號處理電路 601:5×5子陣列 605:第三組信號 611:逐像素互相關光子計數器邏輯/計數器邏輯電路 631:第二組信號 633:第一組信號 701a、701b、701c:單像素直方圖 703a、703b、703c:有效的光子檢測峰值信號 705a、705b、705c:量 707a、707b、707c:噪聲基底 801、803、807、809、811、813、815、817:步驟 901:測距系統 903:記憶體 905:處理器 1001:直方圖化電路系統/輔助組件 1002、1008:金屬跡線 1003:讀出控制電路系統/輔助組件 1005:相關聯時間數位轉換（TDC）電路系統/輔助組件 1007:列控制電路系統/輔助組件 1009:SPAD陣列 1101:列控制電路系統 1102:列控制路徑 1103:二維SPAD像素陣列/SPAD像素陣列 1104:導電線 1105:行控制電路系統 1106:基於鎖相迴路（PLL）的時間參考產生模塊/基於PLL的定時參考模塊 1107:時間數位轉換器（TDC）電路系統 1108:斜坡積分器 1109:時間振幅轉換器（TAC） 1201:參考時鐘 1203:基於計數器的TDC 1205:慢斜坡積分器 1207:時間放大器（TA） D:距離 N:預定閾值 T1、T2:時間量 W1:第一預定參數 W2:第二預定參數 W3:第三預定參數
下面參考以下各圖來詳細闡述本公開的各種示例性實施例。提供圖式僅是為了說明的目的，並且僅繪示本公開的示例性實施例，以有利於讀者理解本公開。因此，不應將圖式視為對本公開的寬度、範圍或適用性的限制。應當注意，為了清楚及易於說明起見，這些圖式未必按比例繪製。
Figure 02_image006
Figure 02_image008
Figure 02_image009
Figure 02_image011
圖1示出根據本公開一些實施例的具有脈衝調製光源及DTOF感測器陣列的三維距離感測系統的方塊圖。 圖2示出根據本公開一些實施例的具有3×3逐像素互相關光子檢測系統的DTOF感測器陣列的方塊圖。 圖3A示出根據一些實施例的DTOF感測器陣列的3×3子陣列。 圖3B示出根據一些實施例的從光源發射的調製信號及在DTOF感測器陣列處接收的反射信號的時序圖。 圖4A到圖4C示出根據一些實施例的列或行逐像素激活方法的方塊圖。 圖5示出根據一些實施例的3×3逐像素互相關光子檢測系統的方塊圖。 圖6示出根據一些實施例的5×5逐像素互相關光子檢測系統的方塊圖。 圖7A至圖7C示出根據一些實施例，在各種閾值設置下從單個像素獲得的光子計數直方圖。 圖8A至圖8B示出根據一些實施例的DTOF感測器中的噪聲濾波方法的流程圖。 圖9示出根據一些實施例的DTOF測距系統的方塊圖。 圖10A至圖10B是示出示例性DTOF感測器的3D平面圖的示意圖。 圖11A至圖11C示意性地示出示例性DTOF感測器的剖床平面圖。 圖12A至圖12C示意性地示出示例性DTOF感測器的剖床平面圖，在SPAD檢測器與相關聯時間戳電路系統之間連接有時間放大器。
100:三維距離感測系統
101:光源
103:發光二極體(LED)或固態雷射器
105:調製信號
107:反射信號
109:三維物體
111:距離
113:光接收器
115:DTOF感測器陣列系統
117:DTOF感測器
D:距離

Claims (20)

  1. 一種用於測量到物體的距離的裝置，所述裝置包括： 光源，被配置成向所述物體發射調製信號； 直接飛行時間感測器陣列，被配置成接收來自所述物體的反射信號，其中所述直接飛行時間感測器陣列包括多個單光子雪崩二極體；以及 處理電路系統，耦合到所述直接飛行時間感測器陣列，並被配置成：
    Figure 03_image056
    從中心像素以及與所述中心像素正交及對角相鄰的多個像素接收光子事件檢測信號， 因應於判斷所接收的所述光子事件檢測信號的總和是否大於預定閾值，來輸出有效的光子檢測信號。
  2. 如請求項1所述的裝置，其中所述處理電路系統還包括： 列控制邏輯電路，被配置成選擇所述直接飛行時間感測器陣列中的一列像素；以及 行控制邏輯電路，被配置成選擇所述直接飛行時間感測器陣列中的一行像素。
  3. 如請求項2所述的裝置，其中所述處理電路系統還包括： 時間數位轉換器，被配置成量化入射在由所述列控制邏輯電路及所述行控制邏輯電路選擇的像素上的所述發射調製信號及所述反射信號的上升沿之間的時間間隔。
  4. 如請求項3所述的裝置，其中所述處理電路系統還包括： 直方圖化邏輯電路，被配置成為所述直接飛行時間感測器陣列中的每個像素累積在多個採集幀期間從所述時間數位轉換器接收的多個量化時間測量值。
  5. 如請求項1所述的裝置，其中所述處理電路系統還被配置成利用第一預定參數按比例縮放從與所述中心像素正交相鄰的像素接收的第一組光子事件檢測信號，且利用第二預定參數按比例縮放從與所述中心像素對角相鄰的像素接收的第二組光子事件檢測信號。
  6. 如請求項5所述的裝置，其中所述處理電路系統還被配置成利用第三預定參數按比例縮放從位於以所述中心像素為中心且與所述中心像素正交相鄰的5×5矩形子陣列的外圍上的像素接收的第三組光子事件檢測信號。
  7. 如請求項1所述的裝置，其中所述預定閾值是大於1的整數。
  8. 如請求項6所述的裝置，其中所述處理電路系統還包括閾值轉換邏輯電路，所述閾值轉換邏輯電路被配置成判斷經比例縮放的所述第一組光子事件檢測信號、所述第二組光子事件檢測信號及所述第三組光子事件檢測信號的總和是否大於所述預定閾值。
  9. 如請求項8所述的裝置，還包括： 邏輯及閘，被配置成因應於從所述閾值轉換邏輯電路接收到指示經比例縮放的所述第一組光子事件檢測信號、所述第二組光子事件檢測信號及所述第三組光子事件檢測信號的所述總和大於所述預定閾值的信號及來自所述中心像素的延遲的光子事件檢測信號，來輸出有效的光子事件檢測。
  10. 一種用於處理從直接飛行時間感測器陣列接收的逐像素信號的信號處理裝置，所述信號處理裝置包括： 逐像素信號處理電路，耦合到所述直接飛行時間感測器陣列，且被配置成： 從中心像素以及與所述中心像素正交及對角相鄰的多個像素接收光子事件檢測信號，且 因應於判斷所接收的所述光子事件檢測信號的總和是否大於預定閾值，來輸出有效的光子檢測信號； 時間數位轉換器，被配置成因應於接收到所述有效的光子檢測信號，來量化入射在所述中心像素上的發射調製信號及反射信號的上升沿之間的時間間隔；以及 直方圖化邏輯電路，被配置成： 累積在多個採集幀期間從所述時間數位轉換器接收的多個量化時間測量值，且 基於所述多個量化時間測量值的統計分佈來確定深度信息。
  11. 如請求項10所述的信號處理裝置，還包括： 列控制邏輯電路，被配置成選擇所述直接飛行時間感測器陣列中的一列像素；以及 行控制邏輯電路，被配置成選擇所述直接飛行時間感測器陣列中的一行像素。
  12. 如請求項10所述的信號處理裝置，其中所述逐像素信號處理電路還被配置成利用第一預定參數按比例縮放從與所述中心像素正交相鄰的像素接收的第一組光子事件檢測信號，且利用第二預定參數按比例縮放從與所述中心像素對角相鄰的像素接收的第二組光子事件檢測信號。
  13. 如請求項10所述的信號處理裝置，其中所述逐像素信號處理電路還被配置成利用第三預定參數按比例縮放從位於以所述中心像素為中心且與所述中心像素正交相鄰的5×5矩形子陣列的外圍上的像素接收的第三組光子事件檢測信號。
  14. 如請求項10所述的信號處理裝置，其中所述統計分佈包括所述多個量化時間測量值的出現頻率。
  15. 一種用於測量從直接飛行時間感測器陣列到物體的距離的方法，所述方法包括： 從中心像素以及與所述中心像素正交及對角相鄰的多個像素接收光子事件檢測信號； 因應於判斷所接收的所述光子事件檢測信號的總和是否大於預定閾值，來輸出有效的光子檢測信號； 因應於接收到所述有效的光子檢測信號，使用時間數位轉換器來量化入射在所述中心像素上的發射調製信號及反射信號的上升沿之間的時間間隔； 累積在多個採集幀期間從所述時間數位轉換器接收的多個量化時間測量值；以及 基於所述多個量化時間測量值的統計分佈來確定深度信息。
  16. 如請求項15所述的方法，其中所述預定閾值是大於1的整數。
  17. 如請求項15所述的方法，進一步將在所述多個採集幀期間從所述時間數位轉換器接收的所述多個量化時間測量值累積到直方圖中。
  18. 如請求項15所述的方法，還包括： 利用第一預定參數按比例縮放從與所述中心像素正交相鄰的像素接收的第一組光子事件檢測信號，且利用第二預定參數按比例縮放從與所述中心像素對角相鄰的像素接收的第二組光子事件檢測信號。
  19. 如請求項18所述的方法，還包括： 利用第三預定參數按比例縮放從位於以所述中心像素為中心且與所述中心像素正交相鄰的5×5矩形子陣列的外圍上的像素接收的第三組光子事件檢測信號。
  20. 如請求項19所述的方法，還包括： 判斷經比例縮放的所述第一組光子事件檢測信號、所述第二組光子事件檢測信號及所述第三組光子事件檢測信號的總和是否大於所述預定閾值。
TW110107509A 2020-10-30 2021-03-03 用於測量到物體的距離的裝置及方法以及信號處理裝置 TWI784430B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/085,248 US11726187B2 (en) 2020-10-30 2020-10-30 High resolution low power inter-correlation SPAD assisted time-of-flight sensor
US17/085,248 2020-10-30

Publications (2)

Publication Number Publication Date
TW202217358A true TW202217358A (zh) 2022-05-01
TWI784430B TWI784430B (zh) 2022-11-21

Family

ID=79013077

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110107509A TWI784430B (zh) 2020-10-30 2021-03-03 用於測量到物體的距離的裝置及方法以及信號處理裝置

Country Status (3)

Country Link
US (1) US11726187B2 (zh)
CN (1) CN113885036A (zh)
TW (1) TWI784430B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023150920A1 (en) * 2022-02-09 2023-08-17 Huawei Technologies Co., Ltd. Methods and apparatus for single-shot time-of-flight ranging with background light rejection
CN115327510B (zh) * 2022-07-28 2023-10-27 广州晨日电子技术有限公司 自适应漫反射物体检测方法以及漫反射式物体检测装置
KR20240030503A (ko) 2022-08-31 2024-03-07 주식회사 솔리드뷰 거리 측정 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7547872B2 (en) * 2005-02-14 2009-06-16 Ecole Polytechnique Federale De Lausanne Integrated circuit comprising an array of single photon avalanche diodes
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
EP2469301A1 (en) * 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
US9207053B2 (en) * 2013-06-21 2015-12-08 Rosemount Aerospace Inc. Harmonic shuttered seeker
GB2520232A (en) * 2013-08-06 2015-05-20 Univ Edinburgh Multiple Event Time to Digital Converter
JP6566749B2 (ja) * 2015-07-01 2019-08-28 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、および情報処理装置
JP6693712B2 (ja) * 2015-07-01 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置
FR3043797A1 (zh) * 2015-11-16 2017-05-19 Stmicroelectronics (Grenoble 2) Sas
US11397249B2 (en) * 2016-06-01 2022-07-26 Sharp Kabushiki Kaisha Light detection device and electronic apparatus comprising a reverse bias voltage adjustment in accordance with a pulse number output by a first SPAD array
WO2019060942A1 (en) * 2017-09-27 2019-04-04 The Commonwealth Of Australia NEUROMORPHIC MONOPHOTONIC AVALANCHE DETECTOR NETWORK MICROCHIP (SPAD)
KR101938674B1 (ko) * 2017-11-27 2019-01-15 주식회사 아나패스 위상 고정 루프 및 지연 고정 루프
US10996323B2 (en) * 2018-02-22 2021-05-04 Stmicroelectronics (Research & Development) Limited Time-of-flight imaging device, system and method
JP7013926B2 (ja) 2018-02-23 2022-02-01 株式会社デンソー 光学的測距装置およびその方法
US11199444B2 (en) * 2018-07-11 2021-12-14 Taiwan Semiconductor Manufacturing Company Limited Time-to-digital converter circuit and method for single-photon avalanche diode based depth sensing
TWI801572B (zh) 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
US11579263B2 (en) 2018-11-29 2023-02-14 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for a hybrid time-of-flight sensor with high dynamic range
JP7273565B2 (ja) * 2019-03-19 2023-05-15 株式会社東芝 受光装置及び距離測定装置
JP7255259B2 (ja) 2019-03-19 2023-04-11 株式会社リコー 検出装置、測距装置、時間測定方法、プログラム、移動体
US11644547B2 (en) * 2019-06-27 2023-05-09 Taiwan Semiconductor Manufacturing Company, Ltd. Time-of-light sensing device and method thereof

Also Published As

Publication number Publication date
US11726187B2 (en) 2023-08-15
TWI784430B (zh) 2022-11-21
CN113885036A (zh) 2022-01-04
US20220137192A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
TWI784430B (zh) 用於測量到物體的距離的裝置及方法以及信號處理裝置
CN109725326B (zh) 飞行时间相机
US20220043118A1 (en) Processing time-series measurements for lidar accuracy
CN109791205B (zh) 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元
US10502816B2 (en) Ranging apparatus
US20230176223A1 (en) Processing system for lidar measurements
KR102039963B1 (ko) Spad 어레이 구조 및 동작 방법
CN110389333B (zh) 第一光子相关飞行时间传感器
KR102409952B1 (ko) 고해상도, 고프레임률, 저전력 이미지 센서
CN108061603B (zh) 飞行时间光传感器
CN108802753B (zh) 用于确定距对象的距离的设备以及相应的方法
US20200341144A1 (en) Independent per-pixel integration registers for lidar measurements
EP3182158B1 (en) Ranging apparatus
TWI745678B (zh) 相關的飛行時間感測器
US20140103196A1 (en) Light detector
US20180246212A1 (en) Higher pixel density histogram time of flight sensor with higher pixel density
US9596421B1 (en) Apparatus comprising a high dynamic range single-photon passive 2d imager and methods therefor
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
JP4533582B2 (ja) 量子効率変調を用いたｃｍｏｓコンパチブルの三次元イメージセンシングのためのシステム
US20200103526A1 (en) Time of flight sensor
US20220043156A1 (en) Configurable memory blocks for lidar measurements
US20210088661A1 (en) Photodetector and optical ranging apparatus using the same
US11211421B2 (en) Sensor comprising gate modulation with inductor to form a resonant circuit
Ma et al. Sub-bin histogram peak detection for the direct time-of-flight SPAD-based laser ranging systems with millimeter range precision
WO2023152016A1 (en) Time-of-flight light event detection circuitry and time-of-flight light event detection method