TWI659626B - 飛行時間光感測器 - Google Patents

飛行時間光感測器 Download PDF

Info

Publication number
TWI659626B
TWI659626B TW106136489A TW106136489A TWI659626B TW I659626 B TWI659626 B TW I659626B TW 106136489 A TW106136489 A TW 106136489A TW 106136489 A TW106136489 A TW 106136489A TW I659626 B TWI659626 B TW I659626B
Authority
TW
Taiwan
Prior art keywords
time
photons
flight
capacitor
voltage
Prior art date
Application number
TW106136489A
Other languages
English (en)
Other versions
TW201822491A (zh
Inventor
奧利維爾 布爾堤爾
王睿
楊征
Original Assignee
美商豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商豪威科技股份有限公司 filed Critical 美商豪威科技股份有限公司
Publication of TW201822491A publication Critical patent/TW201822491A/zh
Application granted granted Critical
Publication of TWI659626B publication Critical patent/TWI659626B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00—Measuring the characteristics of individual optical pulses or of optical pulse trains
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本發明揭示一種飛行時間像素單元，其包含：一光感測器，其用於感測自一物件反射之光子；及像素支援電路。該像素支援電路包含充電控制邏輯，其耦合至該光感測器以偵測該光感測器何時感測到自該物件反射之該等光子。該像素支援電路亦包含一可控電流源，其經耦合以回應於經耦合以自該充電控制邏輯接收之一飛行時間信號而提供一充電電流。一電容器經耦合以回應於該飛行時間信號而自該可控電流源接收該充電電流，且該電容器上之電壓表示與該物件相距之一往返行程距離。一計數器電路耦合至該光感測器以對自該物件反射並由該光感測器接收之該等光子之一數量進行計數。

Description

飛行時間光感測器
本發明一般係關於光感測器，且更具體言之，係關於減小飛行時間量測之誤差。
對三維(3D)相機之興趣正隨著諸如成像、電影、遊戲、電腦、使用者介面等等之3D應用之流行度之不斷增長而日益增加。用於創建3D影像之一典型被動方式係使用多個相機來捕獲立體或多重影像。在使用立體影像之情況下，可對影像中之物件進行三角量測以創建3D影像。此三角量測技術之一缺點係，難以使用小型裝置創建3D影像，此係因為各相機之間必須存在一最小間隔距離以便創建三維影像。此外，此技術係複雜的，且因此需要大量電腦處理能力以便即時創建3D影像。 對於需要即時擷取3D影像之應用，有時利用基於光學飛行時間量測之主動深度成像系統。飛行時間系統通常採用將光引導在一物件處之一光源、偵測自物件反射之光之一感測器，及基於光行進至物件及自物件行進所需之往返行程時間來計算與物件相距之距離之一處理單元。在典型飛行時間感測器中，由於自光偵測區域至感測節點之傳送效率高，所以常常使用光電二極體。 3D影像擷取所面臨的一項持續挑戰係，所需處理必須非常快速地進行，以便使3D影像擷取系統解析即時應用之大約例如0.1 ns之時間差。隨著即時應用所需之此等回應時間變短，在擷取3D影像之系統中對雜訊、抖動、時脈信號、熱等等之敏感度面臨愈來愈大的挑戰，此係因為所需回應時間減少。當3D影像擷取系統之感測器偵測不到自物件反射回來的光時，亦會面臨另外的挑戰。
本文中描述了用於飛行時間光感測器之一設備及方法之實例。在以下描述中，陳述眾多特定細節以提供對實施例之一詳盡理解。然而，熟習此項技術者將認識到，可在沒有該等具體細節之一者或一者以上之情況下實施或以其他方法、組件、材料等等實踐本文中描述之技術。在其他例項中，未展示或詳細描述眾所周知之結構、材料或操作以避免模糊某些態樣。 貫穿此說明書對「一項實例」或「一項實施例」之參考意味著結合實例描述之特定特徵、結構或特性包含於本發明之至少一項實例中。因此，在貫穿本說明書之各種地方出現片語「在一項實例中」或「在一項實施例中」不一定均指代同一實例。此外，特定特徵、結構或特性可在一或多個實例中以任何合適方式組合。 如將展示，揭示了包含飛行時間像素單元之一飛行時間感測系統之實例。在各種實例中，根據本發明之教示之飛行時間像素單元被過取樣使得在讀出之間進行多次飛行時間量測，此減少了飛行時間感測系統中之雜訊及抖動之有害影響。例如，在一項實例中，可累積數百個、數千個或更多個量測，接著對於各次讀出而縮放該等量測，此提供了增加之總體解析度，且使得有可能容易地區分深度僅有微小差別之物件。此外，在各種實例中，亦可使用以提供具有不同範圍之量測之不同頻率發射之光脈衝進行多次飛行時間量測，此使得能夠補償由於未被根據本發明之教示之一例示性飛行時間感測系統之光感測器偵測到之反射光子而引起之飛行時間量測之不準確度。此外，此處所揭示之系統提供了一種校正由於未被光感測器吸收之光子而引起之距離量測之不準確度之方法。更具體言之，可縮放飛行時間量測以反映由光感測器實際接收之光子之數量。 出於圖解說明，圖 1A 係展示一飛行時間感測系統100之一項實例之一方塊圖。如所展示，飛行時間感測系統100包含發射光脈衝之一光源102，該等光脈衝在圖 1A 中被圖解說明為發射光104。在所圖解說明之實例中，光源102係一可調頻率光源，使得發射光104之脈衝可以不同頻率發射。如所展示，發射光104被引導至一物件106。在一項實例中，發射光104包含紅外(IR)光之脈衝。應當明白的是，在其他實例中，根據本發明之教示，發射光104可具有除了紅外線之外之波長，諸如例如可見光、近紅外光等等。發射光104接著自物件106反射回來，該發射光在圖 1A 中被展示為回射光108。如所展示，反射光108自物件106引導通過一透鏡110，且接著聚焦至一飛行時間像素陣列112上。在一項實例中，飛行時間像素陣列112包含以一個二維陣列佈置之複數個飛行時間像素單元(例如，雪崩光電二極體)。在一項實例中，根據本發明之教示，由耦合至飛行時間像素陣列112之控制電路116產生一同步信號114，其將發射光104之脈衝與控制飛行時間像素陣列112中之複數個像素單元之對應信號同步，該複數個像素單元感測反射光108。 在圖 1A 所描繪之實例中，應注意到，飛行時間像素陣列112定位在與透鏡110相距之一焦距flens 處。如該實例中所展示，光源102及透鏡110被定位為與物件相距一距離L。當然應當明白的是，圖 1A 未按比例圖解說明，且在一項實例中，焦距flens 遠遠小於透鏡110與物件106之間之距離L。因此，應當明白的是，為了飛行時間量測之目的，距離L與距離L+焦距flens 基本上相等。此外，亦應當明白的是，為了本發明之目的，光源102與物件106之間之距離及物件106與透鏡110之間之距離兩者亦基本上等於L，以達成飛行時間量測之目的。因此，光源102與物件106之間之距離(及/或物件106與透鏡110之間之距離)等於往返行程距離(例如D)之一半，往返行程距離因此等於2×L。換言之，根據本發明之教示，假定自光源102至物件106之距離L加上自物件106返回至透鏡110之距離L等於往返行程距離D (或2×L)。 在所描繪之實例中，在發射光104之一光脈衝之發射與反射光108中之該等光脈衝之接收之間存在飛行時間(TOF)之一延遲時間，此係由於光脈衝自光源102行進距離L至物件106所需之時間量且接著對應反射光脈衝108自物件106行進距離L返回至像素陣列112所需之額外時間而引起。發射光104與反射光108之間之時間差表示使光脈衝在光源102與物件106之間進行往返行程所需之TOF。一旦知道TOF，便可使用以下方程式1及2中之以下關係來判定自光源102至物件106之距離L： TOF = (2 x L)/c (1)L = (TTOF xc )/2 (2) 其中c係大約等於3×108 m/s之光速，且TOF係光脈衝如圖 1A 所展示般行進至物件106及自物件106行進所需之時間量。圖 1B 係展示來自一可調頻率光源102之發射光脈衝、由一3D感測器112感測之各自反射光子及在一例示性飛行時間像素中累積在一電容器132上之對應電壓之一實例之一時序圖。電容器132上之電荷對應於TOF，此係因為電容器132自釋放光脈衝之時間至光感測器吸收反射脈衝之時間進行充電。應當明白的是，可調頻率光源102可對應於例如圖 1A 之可調頻率光源102，且3D感測器112可對應於例如圖 1A 之飛行時間像素陣列112。如所圖解說明之實例中所展示，在時間t1 及時間t3 發射光脈衝。在該實例中，在時間t1 及時間t3 之光脈衝發射之間之週期等於T，其亦等於光脈衝自光源102發射之頻率之倒數。因此，當然應當明白的是，若光脈衝之發射頻率增加則時間t1 與時間t3 之間之時間週期T減小。圖 1B 所描繪之實例亦圖解說明了3D感測器112在時間t2 及時間t4 偵測到自物件106反射回來之光子。因此，根據本發明之教示，發射光脈衝104在光源102與光感測器112之間來回行進往返行程距離D所需之飛行時間TOF等於時間t1 與t2 之間之時間，及/或t3 與t4 之間之時間，如圖 1B 所圖解說明。圖 1B 中之實例亦圖解說明了電容器132在自光源102發射一光脈衝104時充電直至回射光108中之一反射光子被感測器112偵測到為止。在感測器112偵測到反射光子之後，在自光源102發射下一個光脈衝104之前，電容器132不會進行充電。因此，電容器132上之電壓在時間t1 與時間t2 之間以及時間t3 與時間t4 之間之光脈衝之飛行時間TOF期間累積，且在圖 1B 中之時間t2 與t3 之間且在時間t4 之後，電容器132上不再累積額外電壓。圖 1C 係根據本發明之教示之展示在自光源發射至物件及自物件發射之光脈衝之各往返行程之飛行時間期間累積或過取樣電容器132上之電壓之一實例之一時序圖。在所描繪之實例中，電容器最初在時間t0 被重設為一已知電壓，諸如例如零伏特。在該實例中，自光源102發射n個光脈衝104，使得電容器132上之電荷在光脈衝之各者自光源102至物件106且返回至感測器112之飛行時間之持續時間內累積n次。在所描繪之實例中，n=6。根據本發明之教示，在電容器132已被充電或過取樣n次之後，接著在時間tm 讀出電容器。 在圖 1C 所展示之實例中，展示了用於三個不同飛行時間量測之圖形以供比較。特定言之，圖形148展示對於更靠近光感測器112之一物件進行n次充電之電容器132上之電壓之一實例，且圖形150展示對於更遠離光感測器112之物件進行了n次充電之電容器132上之電壓之一實例。如該實例中所展示，因為電容器132上之電壓累積n次充電，所以電容器132上之電壓足夠大到能夠被具有一足夠雜訊比之飛行時間感測系統讀出。例如，在所描繪之實例中，在進行了n次充電之後，對圖形148讀出量測電壓Vmeas1 ，且在進行了n次充電之後，對圖形150讀取量測電壓Vmeas2 。此外，根據本發明之教示，圖 1C 所描繪之實例展示，當讀出時，用於圖形148及圖形150之電壓量測Vmeas1 及Vmeas2 之間之差足夠大到能夠區分圖形148及圖形150之物件之間之往返行程距離差。 在一項實例中，在如所展示般之在電容器上進行了n次充電之後讀出飛行時間量測之後，接著可縮放該等量測以考慮過取樣。例如，在一項實例中，假定在n次充電之後自電容器讀出電壓量測Vmeas ，接著可將量測Vmeas 縮放充電次數n以對各飛行時間量測產生一平均值Vavg ： Vavg = Vmeas /n (3) 其中Vavg 係平均量測，Vmeas 係在n次充電之後自電容器讀出之量測，且n係該讀出時該電容器充電之次數。 由圖形152描繪之第三飛行時間量測展示裝置試圖量測相距與圖形150中大概相同之距離之一物件之距離但是感測器112沒有接收到自該裝置發射之若干光脈衝之一實例。如所展示，此可能起始失控電容器充電(圖形152之急劇增加部分)，從而導致電容器充電中之一較大正誤差電壓(Verror )。因為電容器充電與飛行時間相關且因此與距離相關，所以在此情形下量測之距離可能太大(即使對過取樣進行校正)。此可能會給飛行時間感測器帶來諸多問題。如將展示，可使用添加至圖 2A 至 2C 中之各飛行時間像素之計數器來校正此問題。 類似地，圖 1D 亦圖解說明根據本發明之教示之展示在自一光源發射至物件及自物件發射之複數個光脈衝(n=6)之各往返行程之飛行時間期間累積在一電容器上之電壓之一實例之一時序圖。如同圖 1C ，在圖 1D 中，展示了用於三個不同飛行時間量測之圖形以供比較。特定言之，圖形148展示對於更靠近光感測器112之一物件進行了n次充電之電容器132上之電壓之一實例，且圖形150展示對於更遠離光感測器112之一物件進行了n次充電之電容器132上之電壓之一實例。如該實例中所展示，因為電容器132上之電壓累積n次充電，所以電容器132上之電壓足夠大到能夠被具有一足夠雜訊比之飛行時間感測系統讀出。 然而，與圖 1C 不同，圖 1D 中之裝置藉由在光感測器112偵測到一光子時(而不是在光源102釋放一脈衝時)開始對電容器進行充電而操作。因此，在此實例中，當沒有接收到一發射光脈衝時，由圖形152描繪之第三飛行時間量測不會經歷失控充電。然而，在此實施例中，當感測器112沒有接收到一光脈衝時，感測器不會充電，從而導致電容器上之一最終電壓較低。因此，所描繪之實例導致電容器充電之一負誤差，其對應於一錯誤地減小之飛行時間量測及後續較小之量測距離。如將展示，可使用圖 2A 至2C 中所添加之計數器來校正此問題。圖 2A 係圖解說明可包含在圖 1A 之飛行時間感測系統中之一飛行時間(TOF)像素200之一項實例之一示意圖。TOF像素200包含第一半導體材料201、第二半導體材料203 (包含像素電路)、單光子雪崩光電二極體(SPAD) 205、充電控制邏輯207、受控電流源209、電容器232、反相器225、計數器215、源極隨耦器221及位元線223。 如所圖解說明，一光感測器(SPAD 205)安置在第一半導體材料201中以感測自一物件反射之光子，且像素支援電路安置在第二半導體材料203中。像素控制電路包含充電控制邏輯207，其耦合至光感測器(SPAD 205)以偵測光感測器何時感測到自物件反射之光子(此將導致由SPAD 205產生輸出脈衝)。充電控制邏輯207進一步經耦合以接收表示何時自一光源(例如，圖 1 中之光源102)向物件發射光脈衝之時序信號(開始及停止時序信號)。受控電流源209經耦合以回應於經耦合以自充電控制邏輯207接收之一飛行時間信號而提供一充電電流；該飛行時間信號表示自該光源發射之光脈衝之各者行進至該物件並進入SPAD 205所需之一飛行時間。電容器232經耦合以回應於飛行時間信號而自受控電流源209接收充電電流。電容器232上之電壓表示光自光源至物件且返回至感測器之一往返行程距離。計數器電路215耦合至光感測器(SPAD 205)以對自物件反射並由該光感測器接收之光子之一數量進行計數。如所展示，反相器225可耦合在計數器215與SPAD 205之間。電容器上之電荷可經由源極隨耦器電晶體221及位元線223發送至讀出電路。類似地，計數器215上之信號(其包含關於所接收之光子之數量之資訊)可沿著位元線223讀出以控制邏輯，或可透過一單獨專用線讀出。 在一項實例中，來自計數器之信號(包含關於所接收之光子之數量之資訊)及電容器上之電壓係自像素支援電路讀出，且光子之數量及電容器上之電壓用於使用飛行時間計算自飛行時間像素單元至物件之一距離。如先前結合圖 1B 至1D 所展示及論述，電容器上之電壓與飛行時間相關。然而，在此實例中，由計數器215計數之光子之數量用於校正由於光脈衝中之光子之僅一部分被光感測器(SPAD 205)接收而引起之電壓之一可能誤差。 在飛行時間應用中，SPAD感測器可量測一目標所在之距離。當SPAD之暗計數率(DCR)足夠低時，可排除DCR之影響。但是仍然存在將導致TOF量測誤差之光子偵測概率(PDP)。為了減少時間量測中之雜訊，需要大量訊框(F=~1000訊框)以藉由累加來平均化(如圖 1C 至1D 之多個階梯狀圖形中所展示)。但是歸因於光子之概率行為，SPAD將不會在每訊框時均觸發，且將僅針對小於總訊框數之訊框擊穿(Nreceived ＜Ftransmitted )。因此總時間由以下給定：其中F及N (分別)係光脈衝輸出數及所接收之光脈衝之數量，ttot 係總時間，ttof(bar) 係平均飛行時間，ti 係各訊框中之量測TOF，且tf 係訊框時間(例如，當不量測光子時計算之時間)。 當在類比域中進行總時間量測時，需要(例如，用計數器215)對光子實際觸發光電二極體之訊框之數量N進行計數以計算準確距離。tTOF, meas = [tTOT –(F -N )tF ]/N (5) 此允許(由計數器215計數之)光子之數量校正對電容器232之過/欠充電。相比於假定自光源(例如，圖 1A 之光源102)釋放之脈衝之數量與由SPAD 205 (例如，圖 1A 之感測器112)收集之脈衝之數量相同，對所接收之光子進行計數會產生一更準確距離量測。圖 2A 中亦描繪了光感測器(SPAD 205)安置在第一半導體材料201中，且像素支援電路安置在第二半導體材料203中。第一半導體材料201耦合至第二半導體材料203。電互連件自第一半導體材料201延伸至第二半導體材料203，以將光感測器電耦合至像素支援電路。在一項實例中，第一半導體材料201係晶圓結合至第二半導體材料203，且電互連件至少部分地延伸穿過第一半導體材料201。圖 2B 圖解說明圖 2A 所描繪之計數器215之一類比實例。如所展示，計數器電路215A包含單穩態多諧振盪器251 (即，單觸發)及充電電路253。單穩態多諧振盪器251包含電晶體255、電晶體257、「或」(OR)閘259及反相器261。充電電路253包含電晶體265及電容器263。 回應於輸出脈衝(來自SPAD 205之輸入(IN))，單穩態多諧振盪器251輸出一邏輯高信號，其經耦合以將電容器263上之電壓增加一固定量。如時序圖所描繪，無論輸入信號如何，邏輯高信號皆具有相同脈衝寬度。類比計數器接收邏輯高信號且經耦合以輸出具有與由SPAD 205接收之光子之一數量成比例之一電壓之一信號。如時序圖中所展示，因為邏輯高信號之脈衝寬度每次均相同，所以每個SPAD脈衝使儲存在電容器上之電壓增加一固定量。因此，自充電電路輸出之信號與由SPAD接收之光子之數量成正比。在所描繪之實例中，時序圖展示自SPAD接收四個擊穿尖峰，各擊穿尖峰對應於電容器263上之一電壓增加。圖 2C 圖解說明圖 2A 所描繪之計數器215之部分(一個位元)之一數位實例。如所圖解說明，數位計數器電路215B包含：D觸發器271 (第一鎖存器)，其具有經耦合以自一SPAD (例如，SPAD 205)接收輸出脈衝之一輸入；及一第二鎖存器273，其經耦合以自D觸發器271接收一輸出信號且回應於一讀取信號而鎖定該輸出信號。D觸發器271自SPAD接收輸出脈衝，且如時序圖中所展示，導致Q變為邏輯高直至D觸發器271接收到重設信號為止。 第二鎖存器273接收此邏輯高輸出信號，且將回應於一讀取(READ)信號之施加而鎖定邏輯高信號。來自D觸發器271之邏輯高輸出信號由用電晶體277及279形成之反相器接收；電晶體277及279在施加讀取及讀取B信號後就被電晶體275/281停用/啟用。與反相器291/293結合之電晶體285/283可維持邏輯高或邏輯低輸出信號直至其被輸出為止；因此鎖存D觸發器271之輸出。圖 3 圖解說明利用飛行時間判定與一物件相距之一往返行程距離之一方法300。一些或全部程序方塊出現在方法300中之順序不應被視為限制性的。實情係，受益於本發明之熟習此項技術者將理解，方法300中之一些可以未圖解說明之各種順序執行，或甚至並行執行。此外，方法300可省略某些程序方塊以避免模糊某些態樣。替代地，方法300可包含在本發明之一些實施例/實例中可能不係必需的額外程序方塊。 方塊301描繪以一第一頻率將包含光子之光脈衝自一光源發射至一物件。如上所述，所發射之光子可為各種波長(例如，IR光、可見光、UV光等等)之任一者。 方塊303圖解說明用一光感測器接收自物件反射之光子。在一項實例中，光感測器包含複數個雪崩光電二極體，且由計數器計數之光子之數量回應於來自雪崩光電二極體之一輸出脈衝而增加。 方塊305展示對一電容器進行充電以在電容器上引發一電荷，該電荷與光子自光源行進至物件及自物件行進至光感測器所需之一時間(飛行時間)相關。根據本發明之教示，當發射一光脈衝時(參見例如圖 1C )或當接收到一光脈衝時(參見圖 1D )，可開始對電容器進行充電。 方塊307描繪用一計數器電路對由光感測器接收之光子之一數量進行計數。如圖 2B 及2C 所展示，計數器可被實施為類比或數位邏輯。熟習此項技術者將明白的是，可使用任何計數器電路。一旦計數器自一雪崩二極體接收到輸出脈衝，計數器電路就可對一所接收之光子進行計數。 方塊309圖解說明在回應於以第一頻率自光源發射光脈衝而對電容器進行n次充電之後量測電容器上之一電壓。電容器上之電壓可由沿著一位元線之讀出電路讀出。 方塊311展示回應於電容器上之電壓及由光感測器接收之光子之數量而判定與物件相距之一往返行程距離。此可包含根據所計數之光子之數量及電容器上之電壓來計算往返行程距離。電容器上之電壓與飛行時間相關，且如上所述，可使用計數器上之計數來校正電容器上由於未接收所發射之光子而導致之一不準確電壓。在一項實例中，藉由縮放自電容器輸出之信號之一部分電壓以考慮由光感測器接收之光子之數量來減小誤差。 對本發明之所圖解說明之實例之以上描述(包含在說明書摘要中所描述之內容)不希望為窮舉性的或將本發明限於所揭示之精確形式。熟習此項技術者將認識到，雖然出於圖解說明目的而在本文中描述了本發明之特定實例，但在本發明之範疇內之各種修改係可能的。 在以上詳細描述之背景下可對本發明做出此等修改。所附申請專利範圍中使用之術語不應被解釋為將本發明限於說明書中揭示之特定實例。實情係，本發明之範疇將完全由根據沿用已久之請求項解釋規則來解釋之所附申請專利範圍判定。
100‧‧‧飛行時間感測系統
102‧‧‧光源/可調頻率光源
104‧‧‧發射光
106‧‧‧物件
108‧‧‧回射光
110‧‧‧透鏡
112‧‧‧飛行時間像素陣列/3D感測器
114‧‧‧同步信號
116‧‧‧控制電路
132‧‧‧電容器
148‧‧‧圖形
150‧‧‧圖形
152‧‧‧圖形
200‧‧‧飛行時間(TOF)像素
201‧‧‧第一半導體材料
203‧‧‧第二半導體材料
205‧‧‧單光子雪崩光電二極體(SPAD)
207‧‧‧充電控制邏輯
209‧‧‧受控電流源
215‧‧‧計數器
215A‧‧‧計數器電路
215B‧‧‧數位計數器電路
221‧‧‧源極隨耦器
223‧‧‧位元線
225‧‧‧反相器
232‧‧‧電容器
251‧‧‧單穩態多諧振盪器
253‧‧‧充電電路
255‧‧‧電晶體
257‧‧‧電晶體
259‧‧‧「或」閘
261‧‧‧反相器
263‧‧‧電容器
265‧‧‧電晶體
271‧‧‧D觸發器
273‧‧‧第二鎖存器
275‧‧‧電晶體
277‧‧‧電晶體
279‧‧‧電晶體
281‧‧‧電晶體
283‧‧‧電晶體
285‧‧‧電晶體
291‧‧‧反相器
293‧‧‧反相器
300‧‧‧方法
301‧‧‧方塊
303‧‧‧方塊
305‧‧‧方塊
307‧‧‧方塊
309‧‧‧方塊
311‧‧‧方塊
IN‧‧‧輸入
T0‧‧‧時間
T1‧‧‧時間
T2‧‧‧時間
T3‧‧‧時間
T4‧‧‧時間
Tf‧‧‧時間
Tm‧‧‧時間
Vmeas1‧‧‧量測電壓
Vmeas2‧‧‧量測電壓
Verror‧‧‧正誤差電壓
參考以下圖式描述本發明之非限制性及非詳盡性實例，其中除非另有指定，否則相同元件符號係指各個視圖中之相同部分。圖 1A 係根據本發明之教示之展示一飛行時間感測系統之一項實例之一方塊圖。圖 1B 係根據本發明之教示之展示所發射之光脈衝、由一光感測器感測之相應反射光子及在一例示性飛行時間像素中累積在一電容器上之對應電壓之一實例之一時序圖。圖 1C 圖解說明根據本發明之教示之展示在自一光源發射至物件及自物件發射之複數個光脈衝之各往返行程之飛行時間期間累積在一電容器上之電壓之一實例之一時序圖。圖 1D 圖解說明根據本發明之教示之展示在自一光源發射至物件及自物件發射之複數個光脈衝之各往返行程之飛行時間期間累積在一電容器上之電壓之一實例之一時序圖。圖 2A 係根據本發明之教示之圖解說明一飛行時間像素之一項實例之一示意圖。圖 2B 圖解說明根據本發明之教示之圖 2A 所描繪之計數器之一類比實例。圖 2C 圖解說明根據本發明之教示之圖 2A 所描繪之計數器之部分之一數位實例。圖 3 圖解說明根據本發明之教示之利用飛行時間判定與一物件相距之一往返行程距離之一方法。 對應參考符號指示圖式之若干視圖中之指示對應組件。熟習此項技術者應當明白的是，圖中之元件係出於簡單且清楚之目的而圖解說明，且不一定係按比例繪製。例如，圖中一些元件之尺寸可能相對於其他元件而被誇大以幫助改進對本發明之各種實施例之理解。此外，為了更清楚地瞭解本發明之此等各種實施例，通常不描繪在一商業可行之實施例中有用或必要之常見但好理解之元件。

Claims (20)

  1. 一種飛行時間(time of flight)像素單元，其包括：一光感測器，其用於感測自一物件反射之光子以回應於包含該等光子之光脈衝，該等光脈衝自一光源發射朝向該物件；及像素支援電路，其包含：一可控電流源，其經耦合以回應於一飛行時間信號而提供一充電電流，其中該飛行時間信號表示自該光源發射之該等光脈衝之各者行進(traveling)至該物件並進入該光感測器之一飛行時間；一電容器，其經耦合以回應於該飛行時間信號而自該可控電流源接收該充電電流，其中該電容器上之一電壓表示與該物件相距之一往返行程(round trip)距離；及一計數器電路，其耦合至該光感測器以對自該物件反射並由該光感測器接收之該等光子之一數量進行計數其中該等光子之該數量及該電壓用於利用該飛行時間計算自該飛行時間像素單元至該物件之一距離。
  2. 如請求項1之飛行時間像素單元，其中包含該等光子之該數量及該電容器上之該電壓之一信號係由讀出電路自該像素支援電路中讀出，且其中該電容器上之該電壓與該飛行時間相關。
  3. 如請求項2之飛行時間像素單元，其中該等光子之該數量用於校正由於該等光脈衝中之該等光子之僅一部分被該光感測器接收而引起之該電壓之一誤差。
  4. 如請求項2之飛行時間像素單元，其中該光感測器包含一雪崩光電二極體，且其中所計數之該等光子之該數量回應於來自該雪崩光電二極體之一輸出脈衝而增加。
  5. 如請求項4之飛行時間像素單元，其中該計數器電路包含一類比計數器電路，且其中包含該等光子之該數量之該信號係與該等光子之該數量成比例之一電壓。
  6. 如請求項5之飛行時間像素單元，其中該計數器電路包含一單穩態多諧振盪器及一電容器，其中回應於該輸出脈衝，該單穩態多諧振盪器輸出一邏輯高信號，該邏輯高信號經耦合以將該電容器上之該電壓增加一固定量。
  7. 如請求項4之飛行時間像素單元，其中該計數器電路係用於對自該物件反射之該等光子之該數量進行計數之一數位計數器電路。
  8. 如請求項7之飛行時間像素單元，其中該數位計數器電路包含：一D觸發器，其具有經耦合以接收該輸出脈衝之一輸入；及一第二鎖存器，其經耦合以自該D觸發器接收一邏輯高信號且回應於一讀取信號而鎖定該邏輯高信號。
  9. 如請求項1之飛行時間像素單元，其中該光感測器安置在一第一半導體材料中，且該像素支援電路安置在一第二半導體材料中，且其中該第一半導體材料耦合至該第二半導體材料，且其中電互連件自該第一半導體材料延伸至該第二半導體材料以將該光感測器電耦合至該像素支援電路。
  10. 如請求項9之飛行時間像素單元，其中該第一半導體材料被晶圓結合至該第二半導體材料，且其中該電互連件至少部分地延伸穿過該第一半導體材料。
  11. 一種利用飛行時間判定與一物件相距之一往返行程距離之方法，該方法包括：以一第一頻率將包含光子之光脈衝自一光源發射至一物件；用一光感測器接收自該物件反射之該等光子；對一電容器進行充電以在該電容器上引發一電荷，該電荷與該等光子自該光源行進至該物件且自該物件行進至該光感測器所需之一時間相關；用一計數器電路對由該光感測器接收之該等光子之一數量進行計數；在回應於以該第一頻率自該光源發射該等光脈衝而對該電容器進行n次充電之後量測該電容器上之一電壓；及基於該等光子之該數量及該電壓計算至該物件的往返行程距離。
  12. 如請求項11之方法，其進一步包括：由讀出電路讀取包含該等光子之該數量及該電容器上之該電壓之一信號，及其中該電容器上之該電壓與該飛行時間相關。
  13. 如請求項12之方法，其中該等光子之該數量用於校正由於該等光脈衝中之該等光子之僅一部分被該光感測器接收而引起之該電壓之一誤差。
  14. 如請求項13之方法，其中藉由縮放對應於該電壓之該信號之一部分以考慮由該光感測器接收之該等光子之該數量來減小誤差。
  15. 如請求項12之方法，其中該光感測器包含一雪崩光電二極體，且其中所計數之該等光子之該數量回應於來自該雪崩光電二極體之一輸出脈衝而增加。
  16. 如請求項15之方法，其中用該計數器電路對由該光感測器接收之該等光子之該數量進行計數包含使用一類比計數器電路，且其中包含該等光子之該數量之該信號包含與該等光子之該數量成比例之一電壓。
  17. 如請求項16之方法，其中該電壓儲存在一電容器上，其中該電容器耦合至一單穩態多諧振盪器電路，且其中回應於該輸出脈衝，該單穩態多諧振盪器輸出一邏輯高信號，該邏輯高信號經耦合以將該電容器上之該電壓增加一固定量。
  18. 如請求項15之方法，其中對由該光感測器接收之該等光子之該數量進行計數包含使用一數位計數器電路以對自該物件反射之該等光子之該數量進行計數。
  19. 如請求項18之方法，其中該數位計數器電路包含：一D觸發器，其具有經耦合以接收該輸出脈衝之一輸入；及一第二鎖存器，其經耦合以自該D觸發器接收一輸出信號且回應於一讀取信號而鎖定該輸出信號。
  20. 如請求項18之方法，其進一步包括在用該光感測器接收到自該物件反射之該等光子之後將一信號自安置在一第一半導體材料中之該光感測器發送至安置在一第二半導體材料中之該計數器電路。
TW106136489A 2016-10-25 2017-10-24 飛行時間光感測器 TWI659626B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/333,653 US10291895B2 (en) 2016-10-25 2016-10-25 Time of flight photosensor
US15/333,653 2016-10-25

Publications (2)

Publication Number Publication Date
TW201822491A TW201822491A (zh) 2018-06-16
TWI659626B true TWI659626B (zh) 2019-05-11

Family

ID=61970415

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106136489A TWI659626B (zh) 2016-10-25 2017-10-24 飛行時間光感測器

Country Status (3)

Country Link
US (1) US10291895B2 (zh)
CN (1) CN108061603B (zh)
TW (1) TWI659626B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10312275B2 (en) * 2017-04-25 2019-06-04 Semiconductor Components Industries, Llc Single-photon avalanche diode image sensor with photon counting and time-of-flight detection capabilities
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
US10497738B2 (en) 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor
US11029397B2 (en) * 2018-04-20 2021-06-08 Omnivision Technologies, Inc. Correlated time-of-flight sensor
CN108955906B (zh) * 2018-06-27 2020-05-19 南京邮电大学 一种应用于单光子探测器的时间-模拟转换电路
CN112567632B (zh) * 2018-07-16 2024-03-22 吉加焦特技术公司 具有非雪崩光电检测器的高灵敏度深度传感器
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
TWI693421B (zh) * 2018-10-24 2020-05-11 精準基因生物科技股份有限公司 飛行時間測距裝置以及飛行時間測距方法
US11579263B2 (en) * 2018-11-29 2023-02-14 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for a hybrid time-of-flight sensor with high dynamic range
JP2020094849A (ja) * 2018-12-11 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距装置
US10955234B2 (en) 2019-02-11 2021-03-23 Apple Inc. Calibration of depth sensing using a sparse array of pulsed beams
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
CN110321174A (zh) * 2019-06-25 2019-10-11 Oppo广东移动通信有限公司 一种开机方法及装置、设备、存储介质
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US20220268900A1 (en) * 2019-09-23 2022-08-25 Sony Semiconductor Solutions Corporation Ranging system
WO2021068156A1 (zh) * 2019-10-10 2021-04-15 深圳市汇顶科技股份有限公司 光传感器、基于飞行时间的测距系统和电子装置
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
CN111721408B (zh) * 2020-06-28 2021-06-22 南京大学 一种基于超导纳米线光子探测阵列的电荷积分成像方法
CN112162259B (zh) * 2020-09-15 2024-02-13 中国电子科技集团公司第四十四研究所 脉冲激光时间电压转换电路及其控制方法
US11516419B2 (en) * 2021-01-22 2022-11-29 Omnivision Technologies, Inc. Digital time stamping design for event driven pixel
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
US11770633B2 (en) * 2021-10-28 2023-09-26 Omnivision Technologies, Inc. Readout architecture for indirect time-of-flight sensing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522395B1 (en) * 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US20060192086A1 (en) * 2005-02-14 2006-08-31 Ecole Polytechnique Federale De Lausanne Epfl Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
CN103472457A (zh) * 2013-09-13 2013-12-25 中国科学院空间科学与应用研究中心 稀疏孔径压缩计算关联飞行时间的三维成像系统及方法
TW201528487A (zh) * 2014-01-15 2015-07-16 Omnivision Tech Inc 用於互補金氧半導體堆疊晶片應用的單光子崩潰二極體成像感測器
US20150276922A1 (en) * 2012-10-26 2015-10-01 Hamamatsu Photonics K.K. Distance sensor and distance image sensor
US20160010986A1 (en) * 2014-07-14 2016-01-14 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3d image sensor with dual range measurements

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2002095679A2 (en) * 2001-05-23 2002-11-28 Canesta, Inc. Enhanced dynamic range conversion in 3-d imaging
DE102006029025A1 (de) * 2006-06-14 2007-12-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
JP2008028678A (ja) 2006-07-20 2008-02-07 Pentax Corp 撮像素子
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8399819B2 (en) 2009-03-31 2013-03-19 Osram Sylvania Inc. Current source to drive a light source in an optical sensor system
KR101565969B1 (ko) 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
US8760631B2 (en) 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
FR2985570A1 (fr) 2012-01-09 2013-07-12 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
US9325920B2 (en) * 2012-01-10 2016-04-26 Softkinetics Sensors Nv Processing of time-of-flight signals
US8642938B2 (en) 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
KR102008233B1 (ko) * 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
US9313476B2 (en) * 2014-08-07 2016-04-12 Omnivision Technologies, Inc. Precharged latched pixel cell for a time of flight 3D image sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522395B1 (en) * 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US20060192086A1 (en) * 2005-02-14 2006-08-31 Ecole Polytechnique Federale De Lausanne Epfl Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
US20150276922A1 (en) * 2012-10-26 2015-10-01 Hamamatsu Photonics K.K. Distance sensor and distance image sensor
CN103472457A (zh) * 2013-09-13 2013-12-25 中国科学院空间科学与应用研究中心 稀疏孔径压缩计算关联飞行时间的三维成像系统及方法
TW201528487A (zh) * 2014-01-15 2015-07-16 Omnivision Tech Inc 用於互補金氧半導體堆疊晶片應用的單光子崩潰二極體成像感測器
US20160010986A1 (en) * 2014-07-14 2016-01-14 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3d image sensor with dual range measurements

Also Published As

Publication number Publication date
CN108061603A (zh) 2018-05-22
US20180115762A1 (en) 2018-04-26
CN108061603B (zh) 2020-07-28
TW201822491A (zh) 2018-06-16
US10291895B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
TWI659626B (zh) 飛行時間光感測器
TWI743471B (zh) 第一光子相關飛行時間感測器
TWI550299B (zh) 飛行時間像素單元、飛行時間感測系統與利用飛行時間判定至一物件之一往返距離之方法
US10681295B2 (en) Time of flight camera with photon correlation successive approximation
TWI544232B (zh) 用於飛行時間成像系統之校準電路與方法
EP2803184B1 (en) Method of operating a time-of-flight pixel
US11221400B2 (en) Dual mode stacked photomultipliers suitable for use in long range time of flight applications
CN110389358B (zh) 相关飞行时间传感器
TWI575929B (zh) 具有改良初始化發信號之飛行時間成像
US9313476B2 (en) Precharged latched pixel cell for a time of flight 3D image sensor
US9316735B2 (en) Proximity detection apparatus and associated methods having single photon avalanche diodes for determining a quality metric based upon the number of events
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
Chen et al. 2D and 3D integrated image sensor with a bus-sharing mechanism