TW202122823A - 飛行時間感測系統和其中使用的圖像感測器 - Google Patents

飛行時間感測系統和其中使用的圖像感測器 Download PDF

Info

Publication number
TW202122823A
TW202122823A TW109124948A TW109124948A TW202122823A TW 202122823 A TW202122823 A TW 202122823A TW 109124948 A TW109124948 A TW 109124948A TW 109124948 A TW109124948 A TW 109124948A TW 202122823 A TW202122823 A TW 202122823A
Authority
TW
Taiwan
Prior art keywords
pixel
signal
amount
sensing system
current
Prior art date
Application number
TW109124948A
Other languages
English (en)
Inventor
朴儒珍
徐成旭
宋貞恩
全鎭旭
權五俊
金翰相
徐康鳳
申旼錫
Original Assignee
韓商愛思開海力士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 韓商愛思開海力士有限公司 filed Critical 韓商愛思開海力士有限公司
Publication of TW202122823A publication Critical patent/TW202122823A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

飛行時間感測系統和其中使用的圖像感測器。一種在飛行時間TOF感測系統中使用的圖像感測器包括：像素陣列，其包括多個像素，每個像素包括至少一個光電二極體，並且每個像素生成對應於入射光的電荷量；比較電路，其被配置成將分別基於從每個像素輸出的電荷量而獨立改變的電壓位準與參考電壓進行比較，以輸出比較結果；以及校準電路，其被配置成基於比較結果而等量地調節電壓位準。

Description

飛行時間感測系統和其中使用的圖像感測器
本公開的實施方式係關於一種使用飛行時間（TOF）系統的感測設備，更具體來說，係關於一種用於提高感測設備的解析度或精度的裝置。
飛行時間（time-of-flight, TOF）系統透過測量光或信號的飛行時間來計算從原點（origin）到物體的距離。通常，飛行時間是光或信號從源傳播到物體的時間和/或光或信號從物體傳播回光源的時間。原點可以是光源或信號源，例如使用TOF系統的TOF相機。TOF相機基於該距離輸出包括物體的深度資訊的圖像。傳統的相機能夠輸出表現物體的顏色和形狀的二維（2D）圖像，但是TOF相機可以輸出不僅表現物體的2D圖像而且還表示物體的深度的三維（3D）圖像。
本專利申請請求2019年12月9日提交的韓國專利申請No. 10-2019-0162727的權益，其全部公開內容透過引用併入本文。
本公開的一個實施方式可以提供一種裝置，其用於減少環境光的不利影響以獲得深度資訊。該裝置可以被用於使用飛行時間（time-of-flight, TOF）系統的感測設備中。環境光可以包括在室外或穿過窗戶進入的例如自然光的環境中的可用光或場景中已經存在的光，或者諸如室內燈光的人造光。該裝置能夠在獲得深度資訊的同時抑制由於環境光導致的圖像感測器中的像素的飽和。
此外，本公開的一個實施方式可以提供一種圖像感測器，其能夠在能使用TOF系統的環境中克服環境光的約束。圖像感測器可以包括用於改善使用TOF系統的移動設備、監測設備、自動化設備或計算設備的利用的裝置。該裝置可以使得TOF系統能夠很好地工作，而不管諸如室內、室外、夜間或白天的特定環境如何。
此外，本公開的一個實施方式可以提供一種能夠輸出3D圖像的成像設備。一種裝置能夠減少或避免配備有TOF感測系統的成像設備中的周圍環境的影響，該TOF感測系統能夠獲得關於場景中的物體的深度資訊，並且輸出包括深度資訊的三維圖像。
在一個實施方式中，一種在TOF感測系統中使用的圖像感測器可以包括：像素陣列，其包括多個像素，每個像素包括至少一個光電二極體，並且每個像素生成對應於入射光的電荷量；比較電路，其被配置成將分別基於從每個像素輸出的電荷量而獨立改變的電壓位準與參考電壓進行比較，以輸出比較結果；以及校準電路，其被配置成基於比較結果而等量地調節電壓位準。
作為示例而非限制，校準電路被配置成當以預定量調節電壓位準時保持電壓位準之間的差。
校準電路還可以被配置成向像素陣列提供預設量的電流。
像素可以包括：重設閘，其聯接到至少一個光電二極體，並且被配置成回應於重設信號來重設電荷量；轉移閘，其被配置成回應於調變信號而輸出基於電荷量的像素電壓；存取閘，其被配置成回應於從轉移閘轉移的像素電壓而打開；以及選擇閘，其被配置成回應於選擇信號而選擇性地輸出從存取閘輸出的電壓。
校準電路還可以被配置成：檢查轉移閘和至少一個光電二極體之間的基於電荷量而變化的電勢；並且調節轉移閘和存取閘之間的像素電壓。
校準電路可以包括電流源，其被配置成向像素陣列提供電流以用於調節電壓位準。
電流源可以包括：開關電晶體，其聯接到每個像素並且回應於比較結果而打開；以及可變電阻器，其聯接到電源並且被配置成確定電流的量。
像素陣列可以具有多個像素沿著多個列和多個行排列的結構。校準電路可以逐列控制像素。
圖像感測器還可以包括電流提供電路，其被配置成回應於電流控制信號而確定由校準電路提供的電流的量。電流提供電路和校準電路作為電流鏡工作。
校準電路可以被配置成以預定量增加電壓位準。預定量可以與電流的量成正比，並且與每個像素的驅動頻率成反比。
在另一實施方式中，一種TOF感測系統可以包括：發射器，其被配置成輸出具有預設相位的調變信號；接收器，其包括被配置成接收從目標被反射的反射信號的圖像感測器；以及信號處理電路，其被配置成基於調變信號和反射信號之間的相位關係來確定距目標的距離。圖像感測器可以包括：像素陣列，其包括多個像素，每個像素包括至少一個光電二極體，並且每個像素生成回應於反射信號的電荷量；比較電路，其被配置成將分別基於從每個像素輸出的電荷量而獨立改變的電壓位準與參考電壓進行比較，以輸出比較結果；以及校準電路，其被配置成基於比較結果而等量地調節電壓位準。
作為示例而非限制，校準電路被配置成當以預定量調節電壓位準時保持電壓位準之間的差。
校準電路還可以被配置成向像素陣列提供預設量的電流。
像素可以包括：重設閘，其聯接到至少一個光電二極體，並且被配置成回應於重設信號來重設電荷量；轉移閘，其被配置成回應於調變信號而輸出基於電荷量的像素電壓；存取閘，其被配置成回應於從轉移閘轉移的像素電壓而打開；以及選擇閘，其被配置成回應於選擇信號而選擇性地輸出從存取閘輸出的電壓。
校準電路還可以被配置成：檢查轉移閘和至少一個光電二極體之間的基於電荷量而變化的電勢；並且調節轉移閘和存取閘之間的像素電壓。
校準電路可以包括電流源，其被配置成向像素陣列提供電流以用於調節電壓位準。
電流源可以包括：開關電晶體，其聯接到每個像素並且回應於比較結果而打開；以及可變電阻器，其聯接到電源並且被配置成確定電流的量。
多個像素沿著多個列和多個行排列。校準電路可以逐列控制像素。
TOF感測系統還可以包括電流提供電路，其被配置成回應於電流控制信號而確定由校準電路提供的電流的量。電流提供電路和校準電路作為電流鏡工作。
校準電路可以以預定量增加電壓位準。預定量可以與電流的量成正比，並且與每個像素的驅動頻率成反比。
在另一實施方式中，一種感測系統的操作方法包括以下步驟：根據反射信號生成多個電壓；當位準中的至少一個低於閾值時，針對所有位準以設定量升高電壓位準，以達到閾值或更高的位準；以及基於原始信號和由升高的位準表示的反射信號之間的相位關係確定系統和目標之間的距離。原始信號從系統傳播，並且由目標反射而成為反射信號。
在另一實施方式中，一種圖像感測器的雜訊消除方法包括以下步驟：根據入射信號生成多個電壓；當位準中的至少一個低於閾值時，針對所有位準以設定量升高電壓位準，以達到閾值或更高的位準；以及透過升高的位準感測與入射信號相關的圖像。
本公開包括對“一個實施方式”或“實施方式”的引用。短語“在一個實施方式中”或“在實施方式中”的出現不一定指同一實施方式。實施方式的特定特徵、結構或特性可以以與本公開一致的任何合適的方式與本公開中的任何其他實施方式結合。
下面參照附圖描述本公開的各種實施方式。然而，可不同地配置或佈置本公開的元件和特徵以形成其它實施方式，這些實施方式可以是所公開的實施方式中的任意實施方式的變型。
在本公開中，術語“包括”、“包含”、“具有”和“涵蓋”是開放式的。如在所附請求項中使用的那樣，這些術語指明了所述及的元件的存在，並且不排除一個或更多個其他元件的存在或添加。請求項中的這些術語不排除請求項包括附加特徵（例如，介面單元、電路等）。
在本公開中，各種單元、電路或其他組件可以以“被配置成”執行一個或更多個任務的方式被描述或要求保護。在這樣的上下文中，“被配置成”用於透過指示單元/電路/組件包括在操作期間執行這些任務的結構（例如，電路）來表示結構。由此，即使當指定的單元/電路/組件當前未工作（例如，未打開）時，也可以說單元/電路/組件被配置成執行任務。與“被配置成”語句一起使用的單元/電路/組件包括硬件—例如，電路、存儲可執行以實現操作的程序指令的存儲器等。此外，“被配置成”可以包括由軟件和/或固件（例如，FPGA 或執行軟件的通用處理器）操縱從而以能夠執行所討論的任務的方式操作的通用結構（例如，通用電路）。“被配置成”還可以包括使製造工藝（例如，半導體生產設施）適於生產適於實現或執行一個或更多個任務的設備（例如，積體電路）。
如在本文使用的那樣，這些術語“第一”、“第二”、“第三”等被用作它們後面的名詞的標簽，並且不暗示任何類型的排序（例如，空間、時間、邏輯等）。術語“第一”和“第二”並不必然表示第一值必須被寫在在第二值之前。此外，儘管術語“第一”、“第二”、“第三”等可能在本文用來標識各種元件，但這些元件不受這些術語的限制。這些術語用於區分一個元件與另一元件（否則它們將具有相同或相似名稱）。例如，可以區分第一電路與第二電路。
此外，術語“基於”用於描述影響確定（determination）的一個或更多個因素。該術語不排除可能影響確定的其他因素。也就是說，確定可以僅僅基於這些因素，或者至少部分地基於這些因素。考慮短語“基於B確定A”。雖然在這種情況下，B是影響A的確定的因素，但是這樣的短語並不排除A 的確定也基於C。在其他示例中，可以僅基於B來確定A。
如在本公開中所使用的那樣，術語“電路”是指以下各項的任何一個和全部：（a）僅硬件的電路實現（例如，僅在模擬和/或數位電路中的實現）；（b）電路和軟件（和/或固件）的組合，例如（在適用時）：（i）處理器的組合，或（ii）處理器/軟件的部分（包括數位信號處理器、軟件和存儲器，它們一起工作以使得諸如行動電話或服務器的裝置執行各種功能）；以及（c）需要軟件或固件來操作的電路，例如微處理器或微處理器的一部分，即使軟件或固件並非在物理上存在。“電路”的定義適用於本申請中（包括任何請求項中）該術語的所有用例。作為另一示例，如在本申請中所使用的那樣，術語“電路”還涵蓋僅一個處理器（或更多個處理器）或處理器的一部分及其附帶軟件和/或固件的實現。術語“電路”還涵蓋（如果適用於特定的要求保護的元素）例如用於存儲設備的積體電路。
現在將在下文中參照附圖描述本公開的具體實施方式，其中相同的元件符號表示相同的元件。
圖1示出了根據本公開的一個實施方式的飛行時間（TOF）感測系統中的操作。
參照圖1，TOF感測系統100能夠測量距目標20的距離。TOF感測系統100可以包括發射器110和接收器120，發射器110被配置成輸出用於測量距目標20的距離的調變信號（modulated signal），接收器120被配置成接收從目標20反射的反射信號。調變信號可以在目標20處被發射（shot），並且可以在從目標20被反射之後被視作反射信號。調變信號和反射信號可以具有相同的特性，例如波長。
TOF感測系統100被認為是用於各種工業領域和消費者市場中的自動化發展的非常重要的設備之一。消費者使用的設備（例如，行動電話、平板電腦和車輛等）可以包括TOF感測系統100。TOF感測系統100能夠用於識別周圍環境和/或設備在周圍環境中的位置。例如，包括TOF感測系統100的相機可以確定被包括在三維（3D）環境（例如，場景或圖像幀）中的目標20的顏色、形狀和深度（距離），以向使用設備的消費者提供3D視覺技術。
從TOF感測系統100中的發射器110輸出的調變信號可以具有預設模式（pattern）。發射器110可以向周圍環境發射調變信號。調變信號可以從周圍環境中的各種物體被反射。當透過接收器120接收到反射信號時，TOF感測系統100可以基於從發射器110輸出的調變信號和由接收器120接收到的反射信號之間的相關關係（correlation relationship）來確定距離。
在識別調變信號和反射信號之間的相關關係並且基於該相關關係確定距離的過程中，環境光（ambient light）可能干擾TOF感測系統100。具體來說，為了在明亮的日光環境中獲得距離（例如，深度資訊）或者需要該距離的高解析度，可能需要執行附加處理以去除由環境光引起的干擾（例如，雜訊）。
圖2A和圖2B示出了根據本公開的一個實施方式的TOF感測系統100中的測量值的示例。具體來說，圖2A示出了測量調變信號和反射信號之間的時間差或時間延遲。圖2B示出了測量調變信號和反射信號之間的相位差或相位延遲。
參照圖2A，根據一個實施方式的TOF感測系統可以測量調變信號和反射信號之間的時間差或時間延遲。調變信號從參照圖1描述的發射器110輸出並在目標20上被反射。接收器120可以直接測量在調變信號被發射之後當反射信號被接收時的往返時間。調變信號可以具有預設脈衝的形式。調變信號的照射強度（illuminance intensity）可以比諸如環境光的其它背景光的照射強度大得多。用於測量時間差或時間延遲的方法可以容易地應用於被配備在自動駕駛車輛內的光檢測和測距（Light Detection and Ranging, LiDAR）裝置，這是因為該方法可以在室外使用並且容易測量長的距目標或物體的距離。然而，因為在被配置成測量時間差或時間延遲的TOF感測系統100中需要時間-數位轉換器（time-to-digital converter, TDC），所以TOF感測系統100通常可能較昂貴，並且因此可能無法在大量的像素中進行時間測量，使得包括由TOF感測系統100獲得的深度資訊或距離的圖像的解析度通常較低。用於測量時間差或時間延遲的TOF感測系統100已經被使用在主要用於衛星、空間探測工具和國防設備等特定用途的昂貴設備中。
參照圖2B，TOF感測系統100測量調變信號和反射信號之間的相位差或相位延遲。可以透過用於測量相位差或相位延遲的信號處理方法來估計TOF感測系統100與目標/物體之間的距離。對於測量數米內的相對較短的距離而言，該方法比圖2A所示的方法更加容易，並且可以主要用於室內。因為可以透過在圖像感測器內部的信號處理方法獲得3D圖像，所以可以減小TOF感測系統100的尺寸或複雜度。TOF感測系統100可能需要少量的計算，以使得TOF感測系統100具有高幀速率（frame rate）。此外，用於測量相位差或相位延遲的TOF感測系統100可以在小空間內以低成本實現。然而，當測量相位差或相位延遲時，可測量的距離可能受到限制。例如，因為將相位差用於測量距離，所以對於具有對應於超過一個週期的距離的物體的測量可能不準確。當週期對應於10m並且相位差為180°（半個週期）時，半個週期可以對應於5m或15m。此外，當相位差為0°時，無相位差可以對應於10m或20m。這可以被稱為歧義（ambiguity）問題。
圖3示出了根據本公開的一個實施方式的TOF感測系統100的第一示例。具體來說，圖3示出了使用連續波調變方案的TOF感測系統100A的示例。當可以透過調變信號和反射信號直接測量飛行時間時，可以基於光速（例如，光常數c）計算TOF感測系統和目標之間的距離。然而，難以直接測量調變信號的確切飛行時間，並且在接收調變信號和分析調變信號的過程中可能出現諸如電路延遲的誤差。在本文中，使用連續波調變方案的TOF感測系統100A可以測量調變信號和反射信號之間的相位差。TOF感測系統100A能夠識別相位差。基於調變信號和反射信號之間的相關關係（例如，相位差），當調變頻率和調變信號的速度已知時，TOF感測系統100A能夠計算距離。
參照圖3，TOF感測系統100A可以包括發射器110、接收器120、信號處理器130、調變器140、解調器150、信號轉換器160、第一透鏡單元170和第二透鏡單元180。
信號處理器130可以從另一設備或TOF感測系統100A的使用者介面接收對距離測量或深度資訊的請求。回應於該請求，信號處理器130可以輸出關於估計距離或深度資訊的資料。信號處理器130可以基於該請求啟用調變器140。例如，信號處理器130可以向調變器140輸出調變控制信號MC以控制調變器140的操作。
回應於信號處理器130的輸出，調變器140可以生成調變信號。調變信號可以透過發射器110被輸出、發射或輻射。根據一個實施方式，調變器140可以包括調變控制器142和/或發射器驅動器144。調變控制器142可以輸出調變週期信號（modulation period signal）FC，使得發射器110輸出能夠與參照圖1描述的環境光區分開的調變信號。根據一個實施方式，發射器110可以包括發光裝置（例如，發光二極體），並且從調變器140輸出的發射控制信號DC可以用作用於驅動發光裝置的信號。根據另一實施方式，發射器驅動器144可以被包括在發射器110中。調變器140可以控制發射器110，使得由發射器110生成的調變信號可以具有預設頻率或預設幅度。調變控制器142可以向發射器110輸出具有特定頻率或特定相位的調變週期信號FC。
調變器140中所包括的調變控制器142可以在接收到調變控制信號MC之後生成調變週期信號FC以用於生成調變信號。調變信號可以具有各種信號類型中的一種。例如，發射器驅動器144可以使用調變週期信號FC來控制從發射器110中所包括的光源或光調變元件輸出的脈衝。根據一個實施方式，調變控制器142可以透過發射器110中所包括的光源或光調變元件輸出諸如三角波（例如，斜坡波形）、正弦波或方波等的調變信號。
另一方面，由於發射器110中所包括的發光二極體（light emitting diode, LED）或雷射二極體（laser diode, LD）的驅動誤差和非線性，發射器110可能不會輸出具有諸如脈衝、三角波或正弦波等的理想波形的調變信號。例如，發光二極體（LED）可以在閾值電流以上工作。即使在向發光二極體（LED）提供電流的驅動時段內，也可能會發生輸出光功率關於輸入電流的非線性和飽和。此外，發光二極體（LED）在驅動時段中可能不具有光調變的線性增益。具體來說，在向發射器110提供高電壓或高電流的情況下，基於諸如發射器驅動器144的驅動電路的配置或設計，發光二極體（LED）的非線性或驅動誤差可能變得更糟。該驅動誤差可能直接影響距離/深度資訊提取的結果，使得由TOF感測系統100A計算的距離可能不準確。因此，在一個實施方式中，調變器140中的調變控制器142可以包括複雜的附加演算法和/或驅動電路以補償驅動誤差。
發射器驅動器144可以輸出用於驅動發射器110中所包括的光源或光學調變器的發射控制信號DC。回應於發射控制信號DC，發射器110可以輸出調變信號。在一個實施方式中，發射器110可以包括雷射二極體等，其能夠回應於從調變器140輸出的發射控制信號DC而輸出具有預設波長的信號或光。例如，從發射器110輸出的調變信號可以具有這樣的頻率：其屬紅外區域或紫外區域而不屬用於確定三維環境中所包括的物體的顏色或形狀等的可見光區域。發射器110可以包括用於生成特定波長（例如，850nm的近紅外）的光的發光二極體（LED）或雷射二極體（LD）。在圖3中，發射器驅動器144被包括在調變器140中。但是，根據另一實施方式，發射器驅動器144可以被包括在包括發光二極體（LED）或雷射二極體（LD）的發射器110中。根據另一實施方式，發射器110中所包括的發光二極體（LED）或雷射二極體（LD）可以由調變控制器142直接驅動和控制，而不需要發射器驅動器144。
從發射器110輸出的調變信號可以透過第一透鏡單元170在TOF感測系統100A的外部被發射。第一透鏡單元170可以根據TOF感測系統100A的使用目的或操作環境等以各種方式實現。例如，第一透鏡單元170可以在特定位置或區域發射調變信號。或者，第一透鏡單元170可以將調變信號均勻地分佈到圖像幀或場景內的預設區域。第一透鏡單元170可以包括一個或更多個透鏡，其被控制為擴大或縮小調變信號的發射範圍（shoot range）。
入射光中所包括的反射信號可以透過第二透鏡單元180而被輸入到接收器120。根據一個實施方式，第二透鏡單元180可以積分（integrate）反射信號，並且將反射信號轉移到接收器120。像第一透鏡單元170一樣，第二透鏡單元180可以包括一個或更多個透鏡。在圖3中未示出，TOF感測系統100A可以包括透鏡控制器，其被配置成控制諸如變焦、聚焦和孔光簾孔（iris opening）（光圈）的電動攝影鏡頭功能（motorized photographic lens functions）。透鏡控制器可以控制包括一個或更多個透鏡的第二透鏡單元180。此外，第二透鏡單元180可以包括位於透鏡之間的至少一個濾波器，以用於從入射光中去除與反射信號不相關的一些信號或光。例如，雖然入射光可以具有各種波長，但至少一個濾波器可以使具有對應於調變信號的特定波長的反射信號通過。
接收器120可包括像素陣列126。像素陣列126可以包括多個像素，每個像素都能夠接收反射信號並且生成像素資訊PI（例如，電荷量）或對應於反射信號的信號。多個像素可以以陣列的形式排列。設置在接收器120中的像素陣列126可以由解調器150控制以向信號轉換器160輸出多個像素資訊PI（例如，電荷量）或多個信號。
從調變單元140中的調變控制器142輸出的調變週期信號FC可以包括關於透過第一透鏡單元170輸出的調變信號的資訊。調變週期信號FC可以被輸入到解調器150。解調器150可以基於調變週期信號FC而輸出用於控制接收器120的驅動控制信號TC。解調器150可以確定驅動控制信號TC的不同相位，其對應於調變週期信號FC的相位。根據一個實施方式，解調器150可以包括相位信號發生器152和驅動器154。相位信號發生器152可以輸出相位資訊信號PFC，例如0度和180度。在另一實施方式中，解調器150中的相位信號發生器152可以向驅動器154輸出相位資訊信號PFC，例如90度、180度、270度和/或360度。回應於由相位信號發生器152確定的相位資訊信號PFC，驅動器154可以向接收器120輸出驅動控制信號TC。這裡，接收器120可以包括像素陣列126。由接收器120採集的反射信號可以由解調器150中的相位信號發生器152和驅動器154確定，這將在後面參照圖6和圖7詳細描述。因為解調器150透過調變週期信號FC識別調變信號的特性，所以解調器150可以透過相移來控制或驅動接收器120，以測量或採集反射信號
可以基於從調變器150輸出的驅動控制信號TC來控制接收器120。解調器150可以回應於用於控制發射器110的調變週期信號FC生成驅動控制信號TC。解調器150中的相位信號發生器152可以輸出對應於調變週期信號FC的相位資訊信號PFC，並且驅動器154可以基於相位資訊信號PFC來驅動接收器120。驅動器154可以生成驅動控制信號TC。這裡，相位資訊信號PFC可以包括彼此具有諸如180°或90°的預設相位差的多個信號。驅動器154可以回應於相位資訊信號PFC而輸出用於驅動接收器120中所包括的像素陣列126中的多個像素的驅動控制信號TC。
從接收器120輸出的多個像素資訊PI（例如，電荷量）或多個信號可以透過信號轉換器160而被轉換成多條數位資料。例如，從由解調器150控制的接收器120輸出的多個像素資訊PI（例如，電荷量）或多個信號可以是模擬資料類型的，並且信號轉換器160可以將像素資訊PI轉換成多條數位資料DD。由信號轉換器160轉換的資料DD可以轉移到信號處理器130。
信號處理器130可以透過基於從信號轉換器160傳輸的多條資料的計算處理來計算或估計TOF感測系統100A和目標20之間的距離。後面將參照圖6至圖7來描述信號處理器130的操作。此外，可以基於由信號處理器130計算的估計距離來計算關於場景或特定區域中所包括的物體的深度資訊。例如，當TOF感測系統100A和目標20的第一位置之間的距離為3m時，TOF感測系統100A和目標20的第二位置之間的另一距離為3.5m。在這種情況下，TOF感測系統100A能夠識別出第一位置和第二位置之間的深度資訊可以是50 cm。由包括TOF感測系統100A的相機生成的圖像能夠基於該深度資訊而以三維方式顯示目標20。
圖4示出了根據本公開的一個實施方式的TOF感測系統100的第二示例。與參照圖3描述的TOF感測系統的第一示例相比，圖4所示的TOF感測系統100可以在結構上簡化，使得第二示例可以容易地應用於諸如行動電話和相機等小型電子裝置。
參照圖4，TOF感測系統100B可以包括發射器210、接收器220、發射器驅動器244、解調器250、信號處理器230、信號轉換器260、第一透鏡單元270和第二透鏡單元280。根據一個實施方式，解調器250可以包括相位信號發生器252和驅動器254。
參照圖4描述的TOF感測系統100B的配置（例如，組件）可以類似於參照圖3描述的TOF感測系統100A的配置。作為示例而非限制的，發射器210、110、接收器220、120、解調器150、250、第一透鏡單元270、170和第二透鏡單元280、180可以執行相似的功能或扮演類似的角色。在此，詳細描述可以集中在其間的差異上。
信號處理器230可以從可與TOF感測系統100B交互操作的另一設備或使用者介面接收獲得或測量距離（深度資訊）的請求。回應於該請求，信號處理器230可以向另一設備或使用者介面輸出關於估計或計算的距離的資料。在接收到獲得距離或深度資訊的請求之後，信號處理器230可以向發射器驅動器244輸出具有預設調變頻率的調變週期信號FC。發射器驅動器244可以回應於從信號處理器230輸出的調變週期信號FC而輸出發射控制信號DC。
此外，從信號處理器230輸出的具有調變頻率的調變週期信號FC可以被輸入到解調器250。解調器250可以回應於調變週期信號FC而輸出用於控制接收器220的驅動控制信號TC。解調器250可以確定對應於調變週期信號FC的不同相位。例如，解調器250中的相位信號發生器252可以向驅動器254輸出相位資訊信號PFC，例如90度、180度、270度或360度。回應於由相位信號發生器252確定的相位資訊信號PFC，驅動器254可以向接收器220發送驅動控制信號TC。這裡，接收器220可以包括像素陣列126。在此，驅動控制信號TC可以包括具有不同相位的多個信號。將參照圖6和圖7描述由解調器250中的相位信號發生器252和驅動器254控制的接收器220所採集的反射信號。
因為解調器250透過調變週期信號FC來識別調變信號的特性，所以解調器250可以透過相移而驅動接收器220以測量或採集反射信號。在此，相移可以包括用於透過由具有不同相位的信號切換的多個路徑來接收入射光的處理。
在回應於從解調器250發送的驅動控制信號TC而測量、採集或確定反射信號之後，接收器220可以輸出像素資訊PI。像素資訊PI可以被輸入到信號轉換器260。信號轉換器260可以向信號處理器230輸出數位資料DD。信號處理器230可以基於數位資料DD來計算或獲得距離資訊。後面將參照圖6和圖7描述信號處理器230的詳細操作。
根據一個實施方式，TOF感測系統100A、100B可以包括各種類型的電路系統、電路和演算法，其可以被配置成生成從發射器110、210輸出的調變信號以及用於驅動接收器120、220中所包括的像素陣列126的驅動控制信號TC。驅動控制信號TC可以與調變信號相關聯。
參照圖3和圖4描述的TOF感測系統100A、100B可以彼此區分開。調變控制器142可以被包括在TOF感測系統100A中，但是未被包括在TOF感測系統100B中。根據一個實施方式，調變控制器142可以執行用於減少調變信號的分集（diversity）和透過發射器110輸出的調變信號的誤差的操作。調變信號的一致性對於採集反射信號的相位可以是至關重要的。在TOF感測系統100A中，調變控制器142可以參與生成多種類型、多種特性或多種形狀的調變信號，從而透過使用調變信號而即使在各種不同環境中也可以容易地執行深度/距離資訊。例如，當確定在特定環境中獲得深度/距離資訊時的誤差嚴重時，信號處理器130可以生成調變控制信號MC到調變控制器142，使得調變控制器142能夠輸出具有不同形狀或不同頻率的調變週期信號FC中的至少一個，以提高在各種不同環境中的深度資訊的準確度。
圖5示出了根據本公開的一個實施方式的配備有TOF感測系統100的圖像感測器中所包括的像素的示例。
參照圖5，圖像感測器520可以包括像素陣列126和驅動器122，像素陣列126包括多個像素128，驅動器122用於驅動像素陣列126。在像素陣列126中，可以根據多個列和多個行來排列多個像素128。
根據一個實施方式，多個像素128中的每一個可以不同地實現。在第一示例中，像素128A可以包括單個光接收元件（例如，光電二極體D）和單個轉移閘TG。在第二示例中，像素128B可以包括兩個光接收元件（例如，光電二極體D1、D2）和兩個轉移閘TG1、TG2。
在第二示例中，像素128B可以包括兩個節點或兩個分接頭（tap）。每個像素中的兩個光接收元件中的每一個能夠獨立生成對應於入射光（例如，圖1至圖4所示的反射信號）的一定量的光電荷。但是，可以透過驅動具有相反相位的控制信號來控制兩個轉移閘TG1、TG2。因為兩個光接收元件中的每一個能夠在接收到反射信號的同時生成一定量的光電荷，所以如果光接收元件具有相同的平面尺寸，則在每個像素中生成的光電荷量可以大於在具有單個光接收元件的每個像素中生成的光電荷量。然而，因為驅動控制信號具有相反的相位，所以兩個轉移閘TG1、TG2可以交替地輸出一定量的光電荷，從而看起來每個像素可以像在具有時滯（time lag）的情況下工作的兩個像素一樣操作。因此，即使像素的尺寸可能減小，但是也可以避免每個像素的光接收面積的可能減小。此外，可以提高圖像感測器的解析度。
圖6示出了根據本公開的一個實施方式的TOF感測系統100中所包括的圖像感測器520的操作。
參照圖6，安裝在TOF感測系統100中的圖像感測器520中所包括的多個像素128可以包括一對接收器328A和328B。參照圖5和圖6，像素128可以包括一對接收器328A和328B。在另一示例中，兩個相鄰像素128可以成對地一起工作。
如圖1至圖4所示，從TOF感測系統100輸出的調變信號在被目標20反射後可以作為反射信號被輸入。
一對接收器可以包括第一相位接收器328A和第二相位接收器328B。第一相位接收器328A和第二相位接收器328B可以回應於反射信號（例如，入射光）而以不同的時序（即，彼此相反的不同相位）交替地輸出像素資訊PI。第一相位接收器328A可以被稱為同相接收器（in-phase receptor），而第二相位接收器328B可以稱為異相接收器（out-of-phase receptor）。
根據一個實施方式，調變信號可以包括發射器110、210打開的啟動部分和發射器110、210關閉的停用部分。啟動部分可以對應於調變信號的半個週期，並且停用部分可以對應於調變信號的另外半個週期。在本文中，啟動部分和停用部分可以具有相同的時間量。調變信號可以向目標20飛行，然後作為反射信號從目標20被反射，反射信號由接收器120、220識別。在本文中，反射信號和調變信號可以具有相同的諸如週期或頻率的特性。調變信號和由接收器120、220接收的反射信號可以具有相位差，該相位差表示TOF感測系統100和目標20之間的飛行時間或飛行距離。
根據一個實施方式，在發射器110、210打開以輸出調變信號的半個週期期間，啟動第一相位接收器328A，並且停用第二相位接收器328B。在發射器110、210關閉的另外半個週期期間，啟動第一相位接收器328A，並且停用第二相位接收器328B。
當反射信號和調變信號具有如圖6所示的相位差時，回應於反射信號而生成的電荷中的一些可以從第一相位接收器328A輸出，而電荷的剩餘部分可以從第二相位接收器328B輸出。比較透過第一相位接收器328A和第二相位接收器328B輸出的電荷量，TOF感測系統100能夠估計或計算TOF感測系統100和目標20之間的飛行時間或飛行距離。
例如，儘管未示出，但是假設調變信號傳播的距離為0m。在這種情況下，從第一相位接收器328A輸出的回應於反射信號而生成的電荷量可以是100%，但是第二相位接收器328B可以不輸出電荷，即輸出的回應於反射信號而生成的電荷量為0%.
可以基於調變信號的頻率（週期）和光速來計算調變信號傳播的距離。例如，當假設調變信號的頻率為1Hz時，調變信號的週期為1秒。如果透過第一相位接收器328A輸出的回應於反射信號而生成的電荷量為0%，並且透過第二相位接收器328B輸出的回應於反射信號而生成的電荷量為100%，則能夠計算出調變信號可以飛行0.5秒。在這種情況下，假設調變信號飛行到目標所用的時間和反射信號返回所用的時間相同，則基於作為整個飛行時間的一半的0.25秒來確定TOF感測系統和目標之間的距離。可以透過將0.25秒和光速相乘來確定距離。
圖7描述了根據本公開的一個實施方式的一種在TOF感測系統100中估計距離的方法和一種確定調變信號的幅度的方法。參照圖6和圖7，計算距離的方法和確定調變信號幅度的方法可以是由參照圖3和圖4描述的信號處理器130、230執行的一種內部操作。
參照圖7，調變信號和反射信號之間存在相位差φ。如上參照圖1至圖4所述，從TOF感測系統100輸出的調變信號可以在從目標20被反射後作為反射信號被輸入。
參照圖3、圖4和圖7，圖7所示的調變信號可以被理解為從發射器210生成並且透過第一透鏡單元270輸出的信號。反射信號可以被理解為透過第二透鏡單元280被輸入到接收器220的信號。
TOF感測系統100能夠移動調變信號的相位。例如，可以由解調器150、250生成並且執行0°、90°、180°和270°的相移。參照圖6，在接收器120、220中可以使用一對0°和180°和/或另一對90°和270°。在接收器120、220中使用的相位彼此相反。
例如，可以將圖7中的用於識別反射信號的相移信號C1、C2、C3、C4當作如參照圖3和圖4所述的從解調器150、250輸出並且被輸入到接收器120、220的驅動控制信號TC。
回應於諸如入射光的反射信號而生成一定量的電荷。每個像素中的諸如光電二極體的光接收元件能夠基於入射光而生成一定量的電荷，但是每個像素可以由相移信號C1、C2、C3、C4控制。因此，每個像素128可以根據電荷量和對應於0°、180°、90°、270°的相移的相移信號C1、C2、C3和C4來輸出像素資訊Q1、Q2、Q3、Q4。例如，第一像素資訊Q1可以從由第一相移信號C1控制的像素128輸出，並且第二像素資訊Q2可以從由第二相移信號C2控制的另一像素128輸出。在像素128具有雙分接頭方案的實施方式中，第一像素資訊Q1和第二像素資訊Q2能夠從同一的像素128但是經過不同的轉移閘而輸出，這些不同的轉移閘可以由具有相反相位的驅動信號獨立控制。在像素128具有單個光電二極體和單個轉移閘的另一實施方式中，第一像素資訊Q1和第二像素資訊Q2可以從相鄰像素128獨立地輸出，所述相鄰像素128可以由具有相反相位的驅動信號獨立控制。由光接收元件生成的電荷量可以被分割並且作為像素資訊Q1、Q2、Q3、Q4輸出。例如，可將圖7所示的對應於反射信號的多條像素資訊Q1、Q2、Q3、Q4理解為從參照圖3和圖4描述的接收器120、220輸出的像素資訊PI。
在此基礎上，可以由以下關係式確定由參照圖3和圖4描述的信號處理器130、230計算的相位差φ。
Figure 02_image001
當確定相位差φ時，可以根據光速（例如，光常數c）和調變信號的頻率fmod來計算距離。
Figure 02_image003
此外，可以基於像素資訊Q1、Q2、Q3、Q4來估計調變信號的幅度。
Figure 02_image005
透過上述方式，TOF感測系統100可以確定調變信號的頻率或幅度，並且計算TOF感測系統100和目標20之間的距離。根據一個實施方式，調變信號的頻率或幅度可以根據TOF感測系統100的環境而改變。
另一方面，在TOF感測系統100的操作中，由於可以基於與調變信號相關聯的相移信號中的每一個而準確輸出回應於反射信號生成的電荷量，因此可以減小距離誤差並且能夠提高深度資訊的解析度。
如圖1所述，在TOF感測系統100工作的環境中，存在調變信號和反射信號，以及自然光或環境光。例如，在TOF感測系統100中使用的調變信號可以具有在紫外區域或紅外區域中的頻帶。調變信號也可能與環境中的任何自然光或光信號具有相同的頻率。即使第二透鏡單元180、280可以具有濾光器，具有在紫外區域或紅外區域中的對應頻帶的自然光或環境光也能夠被輸入到TOF感測系統100。自然光或環境光可能作為雜訊和干擾。因此，當TOF感測系統100可能在白天在戶外使用時，接收器120、220可能由於自然光或環境光而接收過多的入射光。如果過多的入射光輸入到接收器，則TOF感測系統100可能沒有用於計算或估計到目標的距離或目標的深度資訊的裕度（margin）。
圖8示出了根據本公開的一個實施方式的TOF感測系統128中包括的圖像感測器520內的像素128的結構。
參照圖8，圖像感測器中的像素128可以包括多個光接收元件PD。參照圖5和圖6，圖像感測器520的每個像素128可以包括兩個光電二極體，或者兩個相鄰像素128可以成對操作。在圖8中，描述了單個像素128包括兩個光電二極體的示例。
根據一個實施方式，圖像感測器520的像素128可以根據電流輔助光子解調（current-assisted photonic demodulation, CAPD）方法工作或被驅動。CAPD方法透過使用像素128中的漂移電流來以高速驅動像素128，以提高反射光的讀取準確度。雖然在傳統圖像感測器的像素中可能形成對應於生成的電荷（例如，電子-空穴對）的耗盡層，但是根據CAPD方法的像素可以透過其中由光電二極體生成的電荷由於由兩個電極之間的電勢差生成的漂移電流形成的漂移電場而快速移動的現象而以高速操作。
參照圖8，根據本公開的一個實施方式的圖像感測器520的像素128可以包括兩個光接收電路322A、322B和像素資料輸出電路324。兩個光接收電路322A、322B可以具有相同的結構，並且像素資料輸出電路324可以包括具有相同結構並且分別對應於兩個光接收電路322A、322B的兩個輸出端子。
第一光接收電路322A可以包括光電二極體PD、重設閘Rtr和轉移閘Ttr。重設閘Rtr可以回應於重設信號Rx來重設取決於由光電二極體PD生成的電荷的電勢Va。轉移閘Ttr可以回應於第一調變信號Txa而輸出電勢Va作為像素電壓fda。
連接到第一光接收電路322A的像素資料輸出電路324可以包括用於維持像素電壓fda的電容器C、存取閘（access gate）Atr和選擇閘Str。根據像素電壓fda來確定存取閘Atr的打開程度。回應於像素選擇信號Sx，選擇閘Str可以輸出從存取閘Atr轉移的電壓作為像素資訊PI。
根據一個實施方式，圖8示出了包括對應於單個光電二極體PD的四個電晶體或閘的像素128。在另一實施方式中，像素128可以包括至少一個光電二極體和對應於每個光電二極體的三個電晶體或閘。
第二光接收電路322B可以與第一光接收電路322A具有相同的結構。連接到第二光接收電路322B的像素資料輸出單元324可以包括電連接到第二光接收電路322B的電容器C和閘（或電晶體）。根據一個實施方式，參照圖6至圖7，第一驅動控制信號Txa和第二驅動控制信號Txb可以具有相反的相位，以獨立地驅動第一光接收電路322A中的轉移閘Ttr和第二光接收電路322B中的轉移閘Ttr。
根據一個實施方式，圖像感測器520中的像素128可以包括校準電路326。校準電路326可以被配置成當電勢Va、Vb中的至少一個達到參考電壓Vref時，將從第一光接收電路322A和第二光接收電路322B輸出的多個像素電壓fda、fdb調節相同的位準。可以基於光電二極體生成的電荷量來確定電勢Va、Vb。例如，當基於在第一光接收電路322A中生成的電荷量而確定的電勢Va達到參考電壓Vref時，聯接到像素資料輸出電路324的校準電路326可以使與由第一光接收電路322A和第二光接收電路322B生成的電荷量相對應的像素電壓fda、fdb偏移（例如，增加或減少）相同的位準或量。參照圖6和圖7，為了在TOF感測系統100中計算或估計關於目標的距離或深度資訊，重要的是檢測由成對工作的兩個像素128或兩個光接收電路生成的電荷量之間的差。因此，當基於由多個光接收電路或光電二極體生成的電荷量獨立確定的任何電勢Va或Vb達到參考電壓Vref時，校準電路326可以將多個像素電壓fda、fdb調節相同的預設位準，從而避免像素資訊PI的飽和。因此，TOF感測系統100可以獲得用於計算或估計關於目標的距離或深度資訊的操作裕度。
圖9示出了聯接到參照圖8描述的圖像感測器520的像素128的校準電路326。
參照圖9，校準電路326可以包括比較器334和多個電流源332a、332b，比較器334被配置成將多個電勢Va、Vb與參考電壓Vref進行比較，多個電流源332a、332b被配置成提供電流Ic。多個電勢Va、Vb可以根據從多個光電二極體或多個光接收電路生成的電荷量而獨立變化。電流Ic可以用於回應於比較器334的操作結果來調節多個像素電壓fda、fdb。
在圖9中，比較器334可以將參考電壓Vref與基於由兩個光電二極體生成的電荷量、第一驅動控制信號Txa和第二驅動控制信號Txb而確定的兩個電勢Va、Vb進行比較。然而，根據一個實施方式，可以將三個或更多個電勢與參考電壓Vref進行比較。參照比較器334的配置，隨著比較目標的數量增加，其他電勢可以與電勢Va、Vb並聯聯接。因此，比較器334可以將參考電壓Vref與從圖像感測器520的一列中的多個像素128輸出的多個電勢進行比較。
此外，多個電流源332a、332b可以透過全域電流鏡線路連接到相鄰像素128中所包括的其他電流源。由多個電流源332a、332b提供的電流Ic的量是預先確定的。可以向每個像素128提供相同量的電流Ic。在圖像感測器520中，全域電流鏡線路可以連接到被包括在連接成列的多個像素128中的每一個中的校準電路326。
根據一個實施方式，可以根據被施加到圖像感測器520的電源電壓的位準和像素驅動頻率等來確定從多個電流源332a、332b提供的電流Ic。此外，當TOF感測系統100能夠根據操作模式改變像素驅動頻率時，可以改變由多個電流源332a、332b提供的電流Ic的量。
參照圖9，多個電流源332a、332b可以包括具有連接到全域電流鏡線路的閘的第一電晶體和具有接收比較器334的操作結果的閘的第二電晶體。根據一個實施方式，可以改變可以提供預設量的電流Ic的多個電流源332a、332b的內部配置。
另一方面，在圖像感測器520中所包括的多個像素128的校準電路326中，比較器334的操作結果可以相同或不同。這些結果可以指示在反射信號被輸入到圖像感測器520的場景（或圖像幀）中的所有或一些部分中出現的由於自然光或環境光所引起的雜訊。即使當雜訊出現在圖像感測器520採集關於距離或深度資訊的資料的所有或一些區域中時，校準電路326的比較結果也可以用於去除該雜訊。此外，因為校準電路326不影響基於從每個光接收元件（例如光電二極體）生成的電荷量而獨立確定的多個電勢之間的差，也不會改變該差，所以可以避免關於從TOF感測系統100輸出的距離或深度資訊的資料失真。
圖10示出了圖8和9所示的校準電路326的操作。
參照圖10，圖像感測器520中的每個像素128被提供有電源電壓Vdd，並且像素128中的多個光接收元件接收反射信號和自然光（或環境光）。此外，具有相同相位和相同的量的自然光（或環境光）恒定地被輸入到多個光接收元件。
多個光接收元件可以生成對應於反射信號和自然光（或環境光）的一定量的電荷，並且可以基於從多個光接收元件中的每一個生成的電荷量改變電勢Va、Vb。因為自然光（或環境光）以相同的相位和相同的量被輸入到多個光接收元件中的每一個，所以回應於自然光（或環境光）而從多個光接收元件中的每一個生成的電荷量基本上彼此相同。然而，參照圖6和圖7，根據目標20和TOF感測系統100之間的距離，回應於反射信號而從多個光接收元件生成的電荷量可能不同。因此，當驅動圖像感測器520時，例如，當每個像素128啟動時，在基於多個光接收元件中生成的電荷量而確定的電勢Va、Vb之間可能出現差異。
隨著基於電荷量確定的電勢Va、Vb之間的差增大，關於TOF感測系統100和目標之間的距離或深度資訊的解析度和精度可以提高。然而，當從多個光接收元件生成的電荷量由於自然光或環境光而快速增加時，基於電荷量確定的電勢Va、Vb也可能快速增加。當電勢Va、Vb中的一個超過參考電壓Vref時，TOF感測系統100可能不能再識別回應於反射信號而從多個光接收元件生成的電荷量之間的差，使得關於目標和TOF感測系統100之間的距離的解析度和精度可以降低或變差。
因此，當（基於電荷量確定的）多個電勢Va、Vb中的一個達到參考電壓Vref時，校準電路326能夠提供電流以將多個像素電壓fda、fdb調節預設位準“Vrise.max”。預設位準“Vrise.max”可以小於電源電壓Vdd和參考電壓Vref之間的差。可以如下式所示來計算透過校準電路326增加多個像素電壓fda、fdb的程度。
Figure 02_image007
在本文中，電流Ic是由校準電路326提供的電流的量，fmod是像素驅動頻率，而C是光速。像素驅動頻率fmod可以是用於控制像素128中的轉移閘Ttr的第一調變信號Txa和第二調變信號Txb的頻率。
另一方面，參考電壓Vref可以具有小於電源電壓Vdd並且大於零的值。電源電壓Vdd和參考電壓Vref之間的差越大，TOF感測系統100的解析度和精度變得越高。然而，可以對應於圖像感測器520的像素128中的包括電晶體的像素資料輸出電路324的配置來確定參考電壓Vref。例如，參考電壓Vref可以大於圖像感測器520的像素128中的源極跟隨器的電壓餘量（voltage headroom）。
當基於電荷量確定的多個電勢Va、Vb中的一個達到參考電壓Vref時，校準電路326可以向像素128提供電流，以將多個像素電壓fda、fdb調節預設位準“Vrise.max”。可以在TOF感測系統100可以獲得距離或深度資訊一次的狀態下重複執行對於多個像素電壓fda，fdb的這種位準轉換。在將多個像素電壓fda、fdb轉換預設位準“Vrise.max”時或之後，可以逐漸增大回應於反射信號而從多個光接收元件生成的電荷量之間的差。從第一光接收電路322A和第二光接收電路322B中包括的多個光接收元件PD流出的電流Isa、Isb之間的差可以更大。結果，可以進一步增大從第一光接收電路322A和第二光接收電路322B輸出的多個像素電壓fda、fdb之間的差，從而能夠提高深度資訊的解析度和精度。
圖11示出了根據本公開的一個實施方式的TOF感測系統100中所包括的圖像感測器520的電流源。
參照圖11，圖像感測器520中的像素陣列126可以包括沿著多個列和多個行排列的多個像素128。電流提供電路350設置在多個列中的每一列中。電流提供電路350可以控制校準電路326能夠透過全域電流鏡線路提供到每個像素128的電流Ic的量。電流提供電路350可以回應於電流控制信號來確定電流Ic的量。
根據一個實施方式，可以利用對應於TOF感測系統100中使用的像素驅動頻率的數量的多個位來實現電流控制信號。TOF感測系統100中的接收器可以根據所使用的像素驅動頻率而不同地工作。TOF感測系統100能夠基於針對特定的情況或環境選擇的像素驅動頻率而更精確地測量或計算距離。也就是說，能夠改變像素驅動頻率以獲得更精確的TOF感測系統100和目標20之間的距離。如果為了更精確的距離測量而改變像素驅動頻率fmod，則也可以改變透過校準電路提供的電流Ic的量。
根據本公開的一個實施方式，TOF感測系統100可以減少或避免環境中存在的干擾、擾亂或雜訊的影響，從而生成顯示物體的精確深度資訊的三維圖像。
此外，本公開的一個實施方式能夠提供一種裝置，該裝置被配置成輸出包括基於從物體或目標反射的光的相對值而確定的場景中的物體或目標的深度資訊的3D圖像，即使TOF感測系統100使用的調變信號的頻域被包括在通常存在於環境中的自然光的頻域中也是如此。
儘管已經針對具體實施方式例示和描述了本發明，但是根據本公開，對於本發明所屬技術領域中具有通常知識者來說，顯然，在不脫離如所附請求項限定的本公開的精神和範圍的情況下可以進行各種更改和變型。本發明包括落入請求項範圍內的所有更改和變型。
20:目標 100:TOF感測系統 100A:TOF感測系統 100B:TOF感測系統 110:發射器 120:接收器 122:驅動器 126:像素陣列 128:像素 128A:像素 128B:像素 130:信號處理器 140:調變器 142:調變控制器 144:發射器驅動器 150:解調器 152:相位信號發生器 154:驅動器 160:信號轉換器 170:第一透鏡單元 180:第二透鏡單元 210:發射器 220:接收器 230:信號處理器 244:發射器驅動器 250:解調器 252:相位信號發生器 254:驅動器 260:信號轉換器 270:第一透鏡單元 280:第二透鏡單元 326:校準電路 328A:第一相位接收器 328B:第二相位接收器 332a:電流源 332b:電流源 334:比較器 350:電流提供電路 520:圖像感測器 Atr:存取閘 C1:相移信號 C2:相移信號 C3:相移信號 C4:相移信號 D:光電二極體 D1:光電二極體 D2:光電二極體 DC:發射控制信號 DD:數位資料 FC:調變週期信號 fda:像素電壓 fdb:像素電壓 Ic:電流 Isa:電流 Isb:電流 MC:調變控制信號 PD:光電二極體 PFC:相位資訊信號 PI:像素資訊 Q1:第一像素資訊 Q2:第二像素資訊 Q3:第三像素資訊 Q4:第四像素資訊 Rx:重設信號 Rtr:重設閘 Str:選擇閘 Sx:像素選擇信號 TC:驅動控制信號 TG:轉移閘 TG1:轉移閘 TG2:轉移閘 Ttr:轉移閘 Txa:第一驅動控制信號 Txb:第二驅動控制信號 Va:電勢 Vb:電勢 Vdd:電源電壓 Vref:參考電壓 Vrise.max. :預設位準
本文的描述參照了附圖，其中在所有附圖中，相同的元件符號表示相同的部件。 ［圖1］示出了根據本公開的一個實施方式的飛行時間（TOF）感測系統中的操作。 ［圖2A和圖2B］示出了根據本公開的一個實施方式的由TOF感測系統測量在調變信號和反射信號之間的時間差和相位差的示例。 ［圖3］示出了根據本公開的一個實施方式的TOF感測系統的第一示例。 ［圖4］示出了根據本公開的一個實施方式的TOF感測系統的第二示例。 ［圖5］示出了根據本公開的一個實施方式的配備有TOF感測系統的圖像感測器中所包括的像素的示例。 ［圖6］示出了根據本公開的一個實施方式的TOF感測系統中所包括的圖像感測器的操作。 ［圖7］描述了在根據本公開的一個實施方式的TOF感測系統中估計距離的方法和確定調變信號的幅度的方法。 ［圖8］示出了根據本公開的一個實施方式的TOF感測系統中所包括的圖像感測器的像素結構的電路圖。 ［圖9］示出了聯接到參照圖8描述的圖像感測器的像素的校準電路。 ［圖10］示出了圖8和圖9所示的校準電路的操作。 ［圖11］示出了根據本公開的一個實施方式的TOF感測系統中所包括的圖像感測器的電流源。
20:目標
100:TOF感測系統
110:發射器
120:接收器

Claims (20)

  1. 一種在飛行時間（time-of-flight, TOF）感測系統中使用的圖像感測器，該圖像感測器包括： 像素陣列，所述像素陣列包括多個像素，每個像素包括至少一個光電二極體，並且每個像素生成對應於入射光的電荷量； 比較電路，所述比較電路被配置成將分別基於從每個像素輸出的所述電荷量而獨立地改變的電壓位準與參考電壓進行比較以輸出比較結果；以及 校準電路，所述校準電路被配置成基於所述比較結果而等量地調節所述電壓位準。
  2. 如請求項1所述的圖像感測器，其中，所述校準電路被配置成當以預定量調節所述電壓位準時保持所述電壓位準之間的差。
  3. 如請求項1所述的圖像感測器，其中，所述校準電路還被配置成向所述像素陣列提供預設量的電流。
  4. 如請求項1所述的圖像感測器，其中，所述像素包括： 重設閘，所述重設閘聯接到所述至少一個光電二極體，並且被配置成回應於重設信號而重設所述電荷量； 轉移閘，所述轉移閘被配置成回應於調變信號而輸出基於所述電荷量的像素電壓； 存取閘，所述存取閘被配置成回應於從所述轉移閘轉移的所述像素電壓而打開；以及 選擇閘，所述選擇閘被配置成回應於選擇信號而選擇性地輸出從所述存取閘輸出的電壓。
  5. 如請求項4所述的圖像感測器，其中，所述校準電路還被配置成： 檢查所述轉移閘和所述至少一個光電二極體之間的基於所述電荷量而變化的電勢；並且 調節所述轉移閘和所述存取閘之間的所述像素電壓。
  6. 如請求項1所述的圖像感測器，其中，所述校準電路包括電流源，所述電流源被配置成向所述像素陣列提供電流以用於調節所述電壓位準。
  7. 如請求項6所述的圖像感測器，其中，所述電流源包括： 開關電晶體，所述開關電晶體聯接到每個像素並且回應於所述比較結果而打開；以及 可變電阻器，所述可變電阻器聯接到電源並且被配置成確定所述電流的量。
  8. 如請求項1所述的圖像感測器， 其中，所述多個像素沿著多個列和多個行排列，並且 其中，所述校準電路逐列控制所述像素。
  9. 如請求項1所述的圖像感測器，該圖像感測器還包括電流提供電路，所述電流提供電路被配置成回應於電流控制信號而確定由所述校準電路提供的電流的量，其中，所述電流提供電路和所述校準電路作為電流鏡工作。
  10. 如請求項9所述的圖像感測器， 其中，所述校準電路被配置成以預定量增加所述電壓位準，並且 其中，所述預定量與所述電流的量成正比，並且與各個像素的驅動頻率成反比。
  11. 一種飛行時間（time-of-flight, TOF）感測系統，該TOF感測系統包括： 發射器，所述發射器被配置成輸出具有預設相位的調變信號； 接收器，所述接收器包括被配置成接收從目標被反射的反射信號的圖像感測器；以及 信號處理電路，所述信號處理電路被配置成基於所述調變信號和所述反射信號之間的相位關係來確定距所述目標的距離， 其中，所述圖像感測器包括： 像素陣列，所述像素陣列包括多個像素，每個像素包括至少一個光電二極體，並且每個像素生成對應於所述反射信號的電荷量； 比較電路，所述比較電路被配置成將分別基於從每個像素輸出的所述電荷量而獨立地改變電壓位準與參考電壓進行比較以輸出比較結果；以及 校準電路，所述校準電路被配置成基於所述比較結果而等量地調節所述電壓位準。
  12. 如請求項11所述的TOF感測系統，其中，所述校準電路被配置成當以預定量調節所述電壓位準時保持所述電壓位準之間的差。
  13. 如請求項11所述的TOF感測系統，其中，所述校準電路還被配置成向所述像素陣列提供預設量的電流。
  14. 如請求項11所述的TOF感測系統，其中，所述像素包括： 重設閘，所述重設閘聯接到所述至少一個光電二極體，並且被配置成回應於重設信號而重設所述電荷量； 轉移閘，所述轉移閘被配置成回應於調變信號而輸出基於所述電荷量的像素電壓； 存取閘，所述存取閘被配置成回應於從所述轉移閘轉移的所述像素電壓而打開；以及 選擇閘，所述選擇閘被配置成回應於選擇信號而選擇性地輸出從所述存取閘輸出的電壓。
  15. 如請求項14所述的TOF感測系統，其中，所述校準電路還被配置成： 檢查所述轉移閘和所述至少一個光電二極體之間的基於所述電荷量而變化的電勢；並且 調節所述轉移閘和所述存取閘之間的所述像素電壓。
  16. 如請求項11所述的TOF感測系統，其中，所述校準電路包括電流源，所述電流源被配置成向所述像素陣列提供電流以用於調節所述電壓位準。
  17. 如請求項16所述的TOF感測系統，其中，所述電流源包括： 開關電晶體，所述開關電晶體聯接到每個像素並且回應於所述比較結果而打開；以及 可變電阻器，所述可變電阻器聯接到電源並且被配置成確定所述電流的量。
  18. 如請求項11所述的TOF感測系統， 其中，所述多個像素沿著多個列和多個行排列，並且 其中，所述校準電路逐列控制所述像素。
  19. 如請求項11所述的TOF感測系統，該TOF感測系統還包括電流提供電路，所述電流提供電路被配置成回應於電流控制信號而確定由所述校準電路提供的電流的量，其中，所述電流提供電路和所述校準電路作為電流鏡工作。
  20. 如請求項19所述的TOF感測系統， 其中，所述校準電路被配置成以預定量增加所述電壓位準，並且 其中，所述預定量與所述電流的量成正比，並且與每個像素的驅動頻率成反比。
TW109124948A 2019-12-09 2020-07-23 飛行時間感測系統和其中使用的圖像感測器 TW202122823A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190162727A KR20210072423A (ko) 2019-12-09 2019-12-09 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
KR10-2019-0162727 2019-12-09

Publications (1)

Publication Number Publication Date
TW202122823A true TW202122823A (zh) 2021-06-16

Family

ID=76210882

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109124948A TW202122823A (zh) 2019-12-09 2020-07-23 飛行時間感測系統和其中使用的圖像感測器

Country Status (5)

Country Link
US (1) US11624834B2 (zh)
JP (1) JP2021092553A (zh)
KR (1) KR20210072423A (zh)
CN (1) CN113030999B (zh)
TW (1) TW202122823A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762387B (zh) * 2021-07-16 2022-04-21 台達電子工業股份有限公司 飛行測距裝置及其檢測方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116755100B (zh) * 2023-08-17 2024-02-02 深圳市速腾聚创科技有限公司 激光雷达设备及其测距调节方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1748304A1 (en) * 2005-07-27 2007-01-31 IEE International Electronics & Engineering S.A.R.L. Method for operating a time-of-flight imager pixel
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
KR101797014B1 (ko) * 2011-09-14 2017-11-14 삼성전자주식회사 3차원 이미지 센서의 단위 픽셀
US8686367B2 (en) * 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
US8988598B2 (en) 2012-09-14 2015-03-24 Samsung Electronics Co., Ltd. Methods of controlling image sensors using modified rolling shutter methods to inhibit image over-saturation
KR102007275B1 (ko) * 2012-12-27 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
EP2874388B1 (en) 2013-11-15 2019-05-15 Sony Depthsensing Solutions Method for avoiding pixel saturation
US9658336B2 (en) * 2014-08-20 2017-05-23 Omnivision Technologies, Inc. Programmable current source for a time of flight 3D image sensor
US9720076B2 (en) * 2014-08-29 2017-08-01 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
US9819930B2 (en) * 2015-05-26 2017-11-14 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
DE102015112398A1 (de) * 2015-07-29 2017-02-02 Infineon Technologies Ag Bilderzeugungsvorrichtung und Bilderzeugungsverfahren zum Erfassen von Bilderzeugungsdaten über ein Pixelarray
US10165213B2 (en) * 2015-11-16 2018-12-25 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor including pixel circuits
FR3046495B1 (fr) * 2015-12-30 2018-02-16 Stmicroelectronics (Crolles 2) Sas Pixel de detection de temps de vol
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
CN106441597B (zh) * 2016-09-26 2018-10-30 东南大学 一种应用于阵列雪崩二极管的反偏电压调节电路
US11056528B2 (en) * 2016-10-24 2021-07-06 Invisage Technologies, Inc. Image sensor with phase-sensitive pixels
US10389957B2 (en) * 2016-12-20 2019-08-20 Microsoft Technology Licensing, Llc Readout voltage uncertainty compensation in time-of-flight imaging pixels
EP3392675B1 (en) 2017-04-21 2021-03-10 Melexis Technologies NV Active pixel circuit for a time-of-flight system and method for operating the same
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
US11159755B2 (en) * 2019-03-22 2021-10-26 Infineon Technologies Ag Time-of-flight sensor with reduced transistor count pixels

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762387B (zh) * 2021-07-16 2022-04-21 台達電子工業股份有限公司 飛行測距裝置及其檢測方法

Also Published As

Publication number Publication date
KR20210072423A (ko) 2021-06-17
US20210173085A1 (en) 2021-06-10
US11624834B2 (en) 2023-04-11
CN113030999B (zh) 2024-05-31
CN113030999A (zh) 2021-06-25
JP2021092553A (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
JP5679549B2 (ja) 距離測定方法、距離測定システム及び距離センサー
WO2021120403A1 (zh) 一种深度测量装置及测量方法
CN106911888B (zh) 一种装置
US11561085B2 (en) Resolving multipath interference using a mixed active depth system
CN101449181B (zh) 测距方法和用于确定目标的空间维度的测距仪
TW202127635A (zh) 飛行時間感測系統及其中使用的圖像感測器
CN102685402B (zh) 对距离改变不敏感的颜色传感器
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
WO2021120402A1 (zh) 一种融合的深度测量装置及测量方法
WO2021051479A1 (zh) 一种基于插值的飞行时间测量方法及测量系统
TWI442077B (zh) 空間資訊偵測裝置
WO2021051480A1 (zh) 一种动态直方图绘制飞行时间距离测量方法及测量系统
CN109870704A (zh) Tof相机及其测量方法
TW202122823A (zh) 飛行時間感測系統和其中使用的圖像感測器
WO2020006924A1 (zh) 基于tof模组的深度信息测量方法及装置
US20230221437A1 (en) Application specific integrated circuits for lidar sensor and multi-type sensor systems
CN112034485A (zh) 利用飞行时间相机的反射率感测
Martin et al. An all-in-one 64-zone SPAD-based direct-time-of-flight ranging sensor with embedded illumination
Slattery et al. ADI ToF Depth Sensing Technology: New and Emerging Applications in Industrial, Automotive Markets, and More
WO2021248292A1 (zh) 基于飞行时间的测距方法和相关测距系统
Hussmann et al. Modulation method for minimizing the depth distortion offset of lock-in TOF cameras
US20220326360A1 (en) Multipath and noise reduction for time-of-flight cameras
Conde et al. A compressed sensing framework for accurate and robust waveform reconstruction and phase retrieval using the photonic mixer device
Rix et al. Distance measurement using near infrared sensors
US20210270946A1 (en) Time-of-flight measurement with background light correction