TW202111349A - 混合主動深度 - Google Patents

混合主動深度 Download PDF

Info

Publication number
TW202111349A
TW202111349A TW109110888A TW109110888A TW202111349A TW 202111349 A TW202111349 A TW 202111349A TW 109110888 A TW109110888 A TW 109110888A TW 109110888 A TW109110888 A TW 109110888A TW 202111349 A TW202111349 A TW 202111349A
Authority
TW
Taiwan
Prior art keywords
light
mode
tof
depth information
sensor
Prior art date
Application number
TW109110888A
Other languages
English (en)
Inventor
百成 謝
建 馬
瑟吉爾 拉杜 葛瑪
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202111349A publication Critical patent/TW202111349A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0944—Diffractive optical elements, e.g. gratings, holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本發明之態樣係關於使用一裝置進行深度感測。一種實例裝置包括一光投射器，該光投射器經組態成以一第一分佈及一第二分佈投射光。分別地，該第一分佈及該第二分佈在該裝置以一第一模式操作時包括一泛光投射，且在該裝置以一第二模式操作時包括一圖案投射。該實例裝置包括一接收器，該接收器經組態以偵測由該光投射器投射之光之反射。該實例裝置包括一處理器，該處理器連接至儲存指令之一記憶體。該處理器經組態以基於在該裝置以該第一模式操作時由該接收器偵測到之反射來判定第一深度資訊，基於在該裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊，及使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)。

Description

混合主動深度
本發明大體上係關於深度感測系統，且特定言之係關於改良主動深度系統產生深度資訊所用之速度及準確度。
裝置可使用各種主動或被動深度感測技術來判定其周圍事物之距離。被動深度感測系統量測反射環境光。主動深度感測系統自非環境光源(例如，照明器、發光二極體(LED)、雷射或另一合適光源)發射波，且量測對應之反射能量。舉例而言，主動深度感測系統或裝置可產生深度資訊，其說明或以其他方式指示自裝置至場景或者場景中之一或多個物件的深度。主動深度感測系統可發射一或多個光脈衝且量測光脈衝自物件或場景之反射。實例主動深度技術包括飛行時間(ToF)及結構化光(SL)。
在ToF系統中，光自傳輸器(或「投射器」)發射出，且光之反射在接收器(或「感測器」)處接收到。光自傳輸器至接收器之往返時間經判定，且反射經發射光之物件之距離或深度可自往返時間來判定。ToF系統基於大小、準確度、效能指標及成本適用於許多應用。舉例而言，相較於例如需要更複雜處理之立體多攝影機系統，ToF系統在硬體層級更快且更可靠地提供深度資訊。
SL系統可包括光發射器(或「傳輸器」或「投射器」)以投射紅外(IR)光之分佈(諸如IR光點的分佈)於場景上。系統或裝置亦可包括感測器(或「接收器」)，該感測器感測光之分佈之反射以判定物件在場景中的距離。發射器及感測器被分開一距離，且空間分佈之移位及畸變因此出現在感測器處。SL系統在空間分佈之移位及畸變及傳輸器與接收器之間的距離情況下例如使用三角量測判定將經發射光反射回至系統之物件的距離或深度。
提供此[發明內容]以按簡化形式引入下文在[實施方式]中進一步描述的概念選擇。此[發明內容]並不意欲識別所主張標的物之關鍵特徵或基本特徵，亦不意欲限制所主張標的物之範疇。
本發明之一些態樣係關於一種用於深度感測之裝置。一種實例裝置包括一光投射器、一接收器、儲存指令之一記憶體及連接至該記憶體的一處理器。一實例光投射器經組態以當該裝置以一第一模式操作時以包括一泛光投射之一第一分佈投射光。該實例光投射器經進一步組態以當該裝置以一第二模式操作時，以包括一圖案投射之一第二分佈投射光。一實例接收器經組態以偵測由該光投射器投射之光之反射。一實例處理器經組態以基於在該裝置以該第一模式操作時由該接收器偵測到之反射來判定第一深度資訊。實例處理器經進一步組態以基於在該裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊。該實例處理器經進一步組態以使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)。
本發明之一些其他態樣係關於一種用於使用一裝置進行深度感測的方法。一實例方法包括當該裝置以一第一模式操作時，以包括一泛光投射之一第一分佈投射光。該實例方法進一步包括當該裝置以一第二模式操作時，以包括一圖案投射之一第二分佈投射光。該實例方法進一步包括偵測由光投射器投射之光之反射。該實例方法進一步包括基於在該裝置以該第一模式操作時由接收器偵測到之反射來判定第一深度資訊。該實例方法進一步包括基於在該裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊。該實例方法進一步包括使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)。
本發明之一些其他態樣係關於一種非暫時性電腦可讀媒體，其儲存指令，該等指令在由一設備之一或多個處理器執行時使該設備執行操作。實例操作包括當該裝置以一第一模式操作時，以包括一泛光投射之一第一分佈投射光。該等實例操作進一步包括當該裝置以一第二模式操作時，以包括一圖案投射之一第二分佈投射光。該等實例操作進一步包括偵測由光投射器投射之光之反射。該等實例操作進一步包括基於在該裝置以該第一模式操作時由接收器偵測到之反射來判定第一深度資訊。該等實例操作進一步包括基於在該裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊。該等實例操作進一步包括使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)。
本發明之一些其他態樣係關於一種裝置。一種實例裝置包括用於當該裝置以一第一模式操作時，以包括一泛光投射之一第一分佈投射光的構件。該實例裝置進一步包括用於當該裝置以一第二模式操作時，以包括一圖案投射之一第二分佈投射光的構件。該實例裝置進一步包括用於偵測由該光投射器投射之光之反射的構件。該實例裝置進一步包括用於基於在該裝置以該第一模式操作時由該接收器偵測到之反射來判定第一深度資訊的構件。該實例裝置進一步包括用於基於在該裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊的構件。該實例裝置進一步包括用於使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)的構件。
本發明之態樣係關於主動深度系統，且包括將飛行時間(ToF)及結構化光(SL)技術併入單一裝置中的系統。ToF系統通常產生高於SL系統的解析度深度資訊。然而，由習知ToF系統產生之深度資訊常常遭受由多路徑干擾(MPI)誘發的影像偽影。另一方面，由SL系統產生之深度資訊相對不易受MPI影響。
在本發明之一些態樣中，主動深度感測系統可組合ToF之優勢(例如，更高解析度)與SL的優勢(例如，無MPI)。舉例而言，本發明實施例揭示經組態成以混合式ToF及SL模式操作的主動深度感測系統。系統可判定物件或場景之SL資訊，且利用SL資訊來減輕在判定針對物件或場景之ToF深度資訊時MPI的效應。系統可包括複合感測器、混合式發射器及/或可程式化架構，因此相較於習知ToF系統節省裝置空間且需要較少裝置組件，同時亦改良系統產生深度資訊所處的速度及準確性。
在以下描述中，闡述大量特定細節(諸如特定組件、電路及程序之實例)，以提供對本發明之充分理解。如本文中所使用之術語「耦接」意謂直接連接至或經由一或多個介入組件或電路連接。同樣，在以下描述中且出於解釋之目的，闡述具體命名法以提供對本發明之透徹理解。然而，對熟習此項技術者將為顯而易見的是，可不需要此等特定細節以實踐本文所揭示之教示內容。在其他情況下，熟知電路及裝置係以區塊圖形式展示以便避免混淆本發明之教示內容。依據對電腦記憶體內之資料位元的操作之程序、邏輯區塊、處理程序及其他符號表示呈現以下詳細描述之一些部分。在本發明中，將程序、邏輯區塊、處理程序或其類似者構想為引起所要結果之步驟或指令的自相容序列。步驟為要求實體量之實體操縱的步驟。通常(儘管未必)，此等量呈能夠於電腦系統中被儲存、傳送、組合、比較及以其他方式操縱之電或磁性信號的形式。
然而，應牢記，所有此等術語及相似術語與適當實體量相關聯，且僅僅為應用於此些量的便利標記。除非另外特定陳述，否則自以下論述顯而易見的是，應瞭解，貫穿本申請案，利用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「判定」、「正規化」、「乘法」、「平均化」、「監視」、「比較」、「應用」、「更新」、「量測」、「推導」、「解決」等術語進行的論述係指電腦系統或相似電子計算裝置之動作及處理程序，其在電腦系統之暫存器及記憶體中操縱及變換表示為實體(電子)量的資料，並將其轉換為相似地表示為電腦系統記憶體或暫存器或其他此類資訊儲存體，傳輸或顯示裝置內之實體量的其他資料。
在圖式中，可將單個區塊描述為執行功能；然而，在實際實踐中，可在單個組件中或在多個組件上執行由彼區塊執行之該或該等功能，且/或可使用硬體、使用軟體或使用硬體與軟體之組合來執行該或該等功能。為了清楚地說明硬體與軟體之此互換性，已在下文大體上在其功能性方面描述了各種說明性組件、區塊、模組、電路及步驟。將此功能性實施為硬體或是軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以變化之方式實施所描述之功能性，但不應將此等實施決策解譯為造成脫離本發明之範疇。又，實例裝置可包括除所展示之彼等組件以外的組件，包括諸如處理器、記憶體及其類似者的熟知組件。
本發明之態樣適用於包括或耦接至一或多個主動式深度感測系統之任何合適電子裝置(諸如安全系統、智慧型電話、平板電腦、筆記本電腦、載具、無人機或其他裝置)。儘管下文描述關於具有或耦接至一個光投射器之裝置，但本發明之態樣適用於具有任何數目之光投射器的裝置且因此不限於特定裝置。
術語「裝置」不限於一個或特定數目個實體物件(諸如一個智慧型電話、一個控制器、一個處理系統等)。如本文中所使用，裝置可為具有可實施本發明之至少一些部分之一或多個部件的任何電子裝置。雖然以下描述及實例使用術語「裝置」來描述本發明之各個態樣，但術語「裝置」不限於物件之特定組態、類型或數目。此外，術語「系統」不限於多個組件或特定實施例。舉例而言，系統可實施於一或多個印刷電路板或其他基板上，且可具有可移動或靜態組件。雖然以下描述及實例使用術語「系統」來描述本發明之各種態樣，但術語「系統」不限於標的物之特定組態、類型或數量。
圖1展示實例ToF系統100。ToF系統100可用以產生包括表面106之場景的深度資訊，或可用於對場景之表面或其他部分進行測距(range)的其他應用。ToF系統100可包括傳輸器102及接收器108。傳輸器102可被稱作「光投射器」、「傳輸器」、「投射器」、「發射器」等，且不應限於特定接收組件。相似地，接收器108可稱為「光感測器」、「偵測器」、「感測器」、「感測元件」、「光偵測器」等，且不應受限於特定接收組件。
傳輸器102可經組態以傳輸、發射或投射信號(諸如光場)至場景上。雖然ToF系統在實例中描述為發射光(該光可包括近紅外(NIR)光)，但可使用其他頻率下之信號，諸如微波、射頻信號、聲波等。本發明不應受限於經發射信號的頻率之特定範疇。
傳輸器102朝向包括表面106之場景傳輸光104。經傳輸光104包括處於已知時間間隔(諸如處於規則時間間隔)的光脈衝114。接收器108包括用以感測經傳輸光104之反射112的感測器110。反射112包括經反射光脈衝116，且ToF系統100藉由比較經傳輸光脈衝之時序118與經反射光脈衝116之時序120而判定光的往返時間122。表面106距ToF系統100之距離可經計算為往返時間的一半乘以發射速度(諸如光發射的光速)。
感測器110可包括用以量測或感測反射之光電二極體之陣列。替代地，感測器110可包括CMOS感測器或包括用於感測之多個像素或區的其他合適感光性感測器。當脈衝之量值大於一值時，ToF系統100識別如由感測器110感測的經反射光脈衝116。舉例而言，ToF系統100在無信號情況下量測環境光之量值及其他干擾，且判定其他量測值是否大於先前量測值達一值。圖2A展示包括發射器225及感測器230之實例ToF系統220。發射器225朝向物件235傳輸光脈衝，且光脈衝由物件235朝向感測器230反射回。反射回至感測器230之光可具有與發射自發射器225之光不同的相位。圖2B展示可包括於例如感測器230中之實例感測器像素240。感測器像素240包括用於將來自經反射光之光子轉換成電流的光電二極體242。感測器像素240亦可包括用以儲存來自電流之能量的一或多個電容器(例如，C1及C2)。ToF系統220可部分藉由比較電壓(例如，V0及V180)與其對應相位(例如，分別為Φ0及Φ180)計算ToF系統220與物件235之間的距離。
圖2C展示脈衝圖260，其說明發射自發射器225之脈衝式信號及在感測器230處接收到之脈衝式信號的對應反射(例如，由諸如圖2A之物件235的物件反射)。經反射信號相對於脈衝式信號經相位延遲。ToF系統220可開啟及關閉快門而相對於脈衝式信號以某數目個特定相位偏移(例如，相位0°、相位180°、相位90°及相位270°)暴露感測器230。在每一暴露循環(灰色陰影)期間，電荷可由一或多個儲存元件，諸如由圖2B之電容器C1及C2儲存。舉例而言，在第一暴露循環期間，C1可儲存電荷(Q1)且C2可儲存電荷(Q2)，其中Q1為在快門以0°相位偏移開啟時來自經反射信號的積聚電荷，且其中Q2為在快門以180°相位偏移開啟時來自經反射信號的積聚電荷。在第二暴露循環期間，C1可儲存電荷(Q3)且C2可儲存電荷(Q4)，其中Q3為在快門以90°相位偏移開啟時來自經反射信號的積聚電荷，且其中Q4為在快門以270°相位偏移開啟時來自經反射信號的積聚電荷。ToF系統220可基於針對暴露循環中之每一者橫越C1及C2儲存的電荷來計算脈衝式信號與經反射信號之間的相位偏移(φ)：
Figure 02_image003
脈衝式信號與經反射信號之間的經計算相位偏移
Figure 02_image005
與對應感測器像素(諸如感測器像素240)與物件235之間的距離成比例：
Figure 02_image007
其中c為光速，且f為經調變信號之頻率。基於自感測器230之每一像素至物件235的所判定距離，ToF系統220可產生針對場景中物件的深度資訊。
圖3展示實例ToF系統300。ToF系統300包括發射器315及感測器335。發射器315使信號320朝向物件325進行脈衝傳輸，且感測器335接收對應經反射信號330。脈衝式信號320可為經調變之連續波(AMCW)光脈衝。如結合圖2C所描述，ToF系統300可基於與脈衝式信號320與經反射信號330之間的相位差
Figure 02_image009
之比例相關來判定距感測器335之一或多個像素的距離d 。脈衝式信號320及經反射信號330可遵循直接路徑340。
一些環境(例如，具有拐角、凸起區域及/或反射表面)可使不同光脈衝沿著多個反射路徑到達ToF系統感測器且在感測器處再組合，此被稱為MPI。出於本文中之論述之目的，MPI亦可被稱作「多路徑效應」或「MPI效應」。MPI可使ToF系統高估對應脈衝式信號之一或多個相位偏移積聚的電荷量。高估可使ToF系統不準確地計算脈衝式信號與經反射信號之間的對應相移
Figure 02_image009
。因此，ToF系統可不準確地計算自感測器像素中之一或多者至物件或場景的對應距離d ，該對應距離d 可造成對應深度資訊中的畸變(或「凸塊」)。
圖4A展示MPI可影響ToF深度感測的實例環境400。ToF系統包括發射器415及感測器435。場景包括物件425及物件427。物件427可具有類鏡面表面。發射器415朝向物件425傳輸脈衝式信號420及脈衝式信號422。感測器435分別接收對應經反射信號430及經反射信號432。相似於圖3的脈衝式信號320及經反射信號330，脈衝式信號420及經反射信號430遵循直接路徑440。相比而言，脈衝式信號422及經反射信號432遵循間接路徑450 (例如，反射脫離物件427)，使得經反射信號432可與經反射信號430同時到達感測器435，從而造成MPI。
圖4B展示MPI可影響ToF深度感測的另一實例環境460。ToF系統包括發射器445及感測器465。場景包括物件455及物件457。物件457可具有半透明表面。發射器445傳輸脈衝式信號421及脈衝式信號423。感測器465分別接收對應經反射信號431及經反射信號433。脈衝式信號421及經反射信號431遵循路徑441 (例如，反射脫離物件455)。脈衝式信號423及經反射信號433遵循路徑451 (例如，反射脫離物件457)。經反射信號433可與經反射信號431同時到達感測器465，從而造成MPI。
圖4C展示MPI可影響ToF深度感測的另一實例環境470。ToF系統包括發射器475及感測器495。場景包括物件485及物件487，其可表示在拐角點處相交的兩個牆壁。發射器475朝向物件485傳輸脈衝式信號491，且感測器495接收對應經反射信號492。此外，可能歸因於物件485或物件487之反射性質，經反射信號493及經反射信號494可與經反射信號492同時到達感測器495，從而造成MPI。
圖5A展示包括房間之拐角的實例場景500，該拐角具有牆壁中之兩者與天花板相交的頂點510。應理解，頂點510為距ToF系統之感測器最遠的點(例如，具有最高z距離的點)。圖5B展示來自圖5A之場景的如由習知ToF系統(「常規ToF」)產生的實例深度圖550。然而，相似於圖4C之實例環境470，多個經反射信號可到達感測器(例如，歸因於具有頂點560的房間之拐角)，從而造成MPI。習知ToF系統可疊加多個經反射信號，從而最終導致深度圖550中之對應區顯現為具有均一深度。
出於說明起見，圖6展示圖5A之場景500的如由ToF系統量測之對應X距離及如由ToF系統量測之對應Z距離的圖形600。x距離可表示自0 m處的場景之中心起的水平距離(按公尺m計)。z距離可表示自ToF系統之感測器至場景中之物件，諸如牆壁之表面的深度距離。底部標繪圖表示拐角之實際(「真實」) x距離及z距離，而頂部標繪圖表示由ToF系統量測的距離。真實距離標繪圖準確展示房間之拐角的頂點，該頂點呈陡點。經量測距離標繪圖將頂點描繪為類碗曲線。此不準確的量測會產生不正確的距離計算，諸如圖5B之深度圖550中所展示。
圖7展示實例SL系統700。如上文所描述，SL相對不易受MPI影響，且相較於ToF系統(例如，圖1之ToF系統100)通常產生較低(較稀疏)解析度深度資訊。SL系統可以點分佈(或另一合適聚焦光形狀)傳輸光。出於本文中之論述之目的，點分佈可被稱為「圖案」、「SL圖案」、「點圖案」或其類似者，且圖案可為預定義或隨機的。可將光點投射至場景上，且可由SL系統接收光點之反射。可藉由比較經接收光之圖案與經傳輸光之圖案來判定場景中之物件的深度。在比較圖案時，可在經接收光中識別經傳輸光之預定義分佈的部分。SL系統可使用結構化光投射器來投射光之分佈(諸如光點或其他形狀之分佈)。
由SL投射器發射之光分佈可能並不改變。較稠密光分佈(諸如相較於較稀疏光分佈之區域中之額外光點或聚焦光之更多個例)可產生可經判定之較高解析度深度資訊或較大數目個深度。然而，較稠密分佈之個別光點之強度比較稀疏分佈更低，其中分佈之間的總強度相似。因此，干擾可能造成識別較稠密光分佈之反射比較稀疏光分佈更困難。舉例而言，SL投射器可投射具有905 nm或940 nm波長(或其他合適波長)之IR光(諸如NIR光)。SL接收器可接收IR光以及日光及其他環境光之反射。環境光可能造成IR光點的干擾。因此，明亮場景(諸如在日光下之戶外場景)可比較暗場景(諸如室內場景或夜間場景)造成更多干擾，此係由於額外環境光經該SL接收器捕獲。
SL系統700 (其在本文中亦被稱作SL系統)可用以產生場景706的深度資訊。舉例而言，場景706可包括臉部，且SL系統700可用於識別或驗證臉部。SL系統700可包括傳輸器702及接收器708。傳輸器702可被稱作「傳輸器」、「投射器」、「發射器」等，且不應限於特定傳輸組件。貫穿以下發明內容，術語投射器及傳輸器可互換地使用。接收器708可被稱為「偵測器」、「感測器」、「感測元件」、「光偵測器」等，且不應受限於特定接收組件。
儘管本發明將該分佈指作光分佈，但可使用處於其他頻率之任何合適信號(諸如射頻波、音波等)。另外，儘管本發明將該分佈指作包括複數個光點，但光可經聚焦為任何合適大小及尺寸。舉例而言，可以線、正方形形式或任何其他合適尺寸來投射光。此外，本發明可將該分佈指作碼字分佈，其中該分佈之界定部分(諸如預定義之光點斑塊)被稱為碼字。若已知光點之分佈，則該分佈之碼字可係已知。然而，可以任何方式組織該分佈，且本發明不應限於特定分佈類型或者信號或脈衝類型。
傳輸器702可經組態以將光點分佈704投射或傳輸至場景706上。分佈704中之白圓圈可指示無光被投射之可能點位置，而分佈704中之黑圓圈可指示投射光之可能點位置。在一些實例實施中，傳輸器702可包括一或多個光源724 (諸如一或多個雷射)、透鏡726及光調變器728。傳輸器702亦可包括孔722，經傳輸光自該孔逃離傳輸器702。在一些實施中，傳輸器702可進一步包括繞射光學元件(DOE)以將來自一或多個光源724之發射繞射為額外發射。在一些態樣中，光調變器728 (用以調整發射之強度)可包括DOE。在將光點分佈704投射至場景706上時，傳輸器702可將來自光源724之一或多個雷射傳輸穿過透鏡726 (及/或穿過DOE或光調變器728)且至場景706上。傳輸器702可位於與接收器708相同的參考平面上，且傳輸器702與接收器708可以被稱作基線(712)之距離分隔開。
在一些實例實施中，由傳輸器702投射之光可為IR光。IR光可包括可見光譜之部分及/或裸眼不可見之光譜的部分。在一個實例中，IR光可包括NIR光，其可包括或可能不包括可見光譜內之光及/或可見光譜外之IR光(諸如遠紅外(FIR)光)。術語IR光不應限於具有在IR光之波長範圍內或附近之特定波長的光。另外，IR光經提供為來自傳輸器之實例發射。在以下描述中，可使用其他合適光波長。舉例而言，可見光譜在IR光波長範圍或紫外光以外之數個部分中的光。替代地，可使用具有不同波長之其他信號，諸如微波、射頻信號及其他合適信號。
場景706可包括距SL系統(諸如距傳輸器702及接收器708)處於不同深度之物件。舉例而言，場景706中之物件706A及706B可是在不同深度處。接收器708可經組態以自場景706接收經傳輸光點分佈704之反射710。為接收反射710，接收器708可捕獲影像。當捕獲影像時，接收器708可接收反射710，以及(i)場景706之來自不同深度之其他部分的光點分佈704之其他反射及(ii)環境光。在所捕獲影像中亦可存在雜訊。
在一些實例實施中，接收器708可包括透鏡730以將經接收光(包括來自物件706A及706B之反射710)聚焦或導引至接收器708之感測器732上。接收器708亦可包括孔720。假定僅接收到反射710之實例，可基於基線712、光分佈704 (諸如在碼字中)在反射710中之位移及畸變以及反射710之強度來判定物件706A及706B之深度。舉例而言，沿感測器732自位置716至中心714之距離734可用於判定物件706B在場景706中之深度。相似地，沿感測器732自位置718至中心714之距離736可用於判定物件706A在場景706中之深度。可關於感測器732之像素的數目或距離(諸如公釐)來量測沿感測器732之距離。
在一些實例實施中，感測器732可包括用於捕獲影像之光電二極體(諸如雪崩光電二極體)陣列。為捕獲影像，陣列中之每一光電二極體可捕獲命中光電二極體之光且可提供指示光強度之值(捕獲值)。因此，影像可為由光電二極體陣列提供之捕獲值。
除包括光電二極體陣列之感測器732之外或替代該感測器，感測器732可包括互補金屬氧化物半導體(CMOS)感測器。為由感光性CMOS感測器捕獲影像，感測器之每一像素可捕獲命中像素之光且可提供指示光之強度的值。在一些實例實施中，光電二極體陣列可經耦接至CMOS感測器。以此方式，由光電二極體陣列產生之電脈衝可觸發CMOS感測器之對應像素以提供捕獲值。
感測器732可包括至少等於分佈704中之可能光點之數目的像素數目。舉例而言，光電二極體陣列或CMOS感測器可包括分別對應於分佈704中之可能光點之數目的光電二極體數目或像素數目。感測器732邏輯上可分割為對應於碼字之位元大小的像素或光電二極體群組(諸如4×4組)。像素或光電二極體群組亦可被稱為位元，且來自感測器732之位元之所捕獲影像的部分亦可被稱為位元。在一些實例實施中，感測器732可包括與分佈704相同的數目個位元。
若光源724傳輸IR光(諸如例如940 nm波長之NIR光)，則感測器732可為用以接收NIR光之反射的IR感測器。感測器732亦可經組態以使用泛光照明器(未說明)來捕獲影像。如所說明，距離734 (對應於來自物件706B之反射710)小於距離736 (對應於來自物件706A之反射710)。使用基於基線712及距離734及736之三角量測，物件706A及706B在場景706中之不同深度可在產生場景706之深度資訊中予以判定。判定深度可進一步包括判定分佈704在反射710中之位移或畸變。
雖然在圖7中說明多個獨立組件，但組件中之一或多者可經一起實施或包括額外功能性。所描述之所有組件可不為SL系統700所必須，或組件之功能性可分為獨立的組件。亦可存在未說明之額外組件。舉例而言，接收器708可包括帶通濾波器以允許具有經判定波長範圍之信號傳遞至感測器732上(因此濾除具有該範圍以外之波長的信號)。以此方式，可防止一些伴隨信號(諸如環境光)干擾感測器732之捕獲。可將帶通濾波器之範圍集中於傳輸器702之傳輸波長處。舉例而言，若傳輸器702經組態以傳輸波長為940 nm之NIR光，則接收器708可包括帶通濾波器，該帶通濾波器經組態以允許具有在例如920 nm至960 nm範圍內之波長的NIR光。因此，關於圖7描述之實例係出於說明性目的，且本發明不應限於實例SL系統700。
對於光投射器(諸如傳輸器702)，光源可為任何合適光源。在一些實例實施中，光源724可包括一或多個分佈式回饋(DFB)雷射。在一些其他實例實施中，光源724可包括一或多個垂直空腔表面發光雷射(VCSEL)。
DOE為位於來自光源之光的投射路徑中之材料。DOE可經組態以使光點分裂為多個光點。舉例而言，DOE之材料可為具有已知折射率之半透明或透明聚合物。DOE之表面可包括峰及谷(使DOE之深度發生變化)，使得當光穿過DOE時，光點分裂為多個光點。舉例而言，DOE可經組態以自一或多個雷射接收一或多個光點，且投射具有比該一或多個雷射所發射更大數目之光點的所欲分佈。儘管圖式可說明沿DOE之僅一個軸改變之DOE深度，但圖式僅用以輔助描述本發明之態樣。DOE之表面之峰及谷可定位於DOE之表面之任何部分處，且引起DOE之部分的深度之任何合適改變，且本發明不應限於DOE之特定表面組態。
若光源724包括雷射陣列(諸如VCSEL陣列)，則光點分佈之部分可由該陣列投射。DOE可用於在投射光點分佈中複製該部分。舉例而言，DOE可使來自陣列之投射分裂為多個個例，且投射之圖案可為來自陣列之投射的重複。在一些實例實施中，DOE可經組態以相對於該投射而豎直地、水平地或以豎直與水平之間的角度重複投射。重複個例可為重疊、不重疊或任何合適組態。儘管實例描述經組態以分裂來自陣列之投射且將個例上下彼此堆疊之DOE，但本發明不應限於特定類型之DOE組態及投射之重複。
圖8展示經組態用於使用ToF及SL技術進行主動深度感測之實例裝置800的區塊圖。將理解，ToF及SL為實例主動深度技術，且裝置800在一些實施中可使用其他主動深度技術。在一些實施例中，裝置800可經組態以使用ToF技術來產生高解析度深度資訊，同時使用SL技術來減輕深度資訊中MPI的效應。裝置800可包括或耦接至發射器801、感測器802、處理器804、儲存指令808之記憶體806及主動深度控制器810 (其可包括一或多個信號處理器812)。發射器801可包括或耦接至DOE 805。DOE 805可視情況包括或耦接至裝置800。發射器801可包括或耦接至漫射器807。漫射器807可視情況包括於或耦接至裝置800。出於本文中之論述之目的，裝置800可被稱為「ToF及SL系統」。本文中進一步出於論述之目的，「ToF及SL系統」確切而言可指裝置800之僅一或多個組件(例如，主動深度控制器810、發射器801、感測器802、DOE 805及/或漫射器807)及/或可用於主動深度感測的任何其他組件。在一些實施中，裝置可為無線通信裝置。
在一些實施例中，發射器801可為具有以下能力之單一混合式雷射投射器：於在發射器801之第一投射模式(例如，ToF投射模式)期間投射第一光分佈(例如，利用漫射器807)與在發射器801之第二投射模式(例如，SL投射模式)期間投射第二光分佈(例如，利用DOE 805)之間切換。當以SL投射模式操作時，DOE 805可使發射器801能夠傳輸第二光分佈，該第二光分佈可例如為已知DOE點圖案、碼字DOE投射、隨機斑點投射或分佈，或其類似者。漫射器807可為可切換的，使得漫射器在裝置800以SL投射模式操作時「關斷」(或「停用」或「切斷」)；且在裝置800以ToF投射模式操作時「接通」(或「啟用」或「接通」)。更特定言之，當以ToF投射模式操作時，漫射器807經接通，此情形使發射器801傳輸第二光分佈(例如，泛光分佈)。因此，發射器801可經同步以在SL投射模式期間投射第二光分佈(例如，DOE分佈)，且在ToF投射模式期間投射第二光分佈(例如，全泛光框架)。在一些實施例中，發射器801可包括多個投射器。
在一些實施例中，感測器802可為用於根據ToF及SL感測(或「讀出」)模式接收經反射光的單一混合式ToF及SL感測器。感測器802可經組態以在以第一感測模式(例如，ToF感測模式)操作與以第二感測模式(例如，SL感測模式)操作之間切換。舉例而言，感測器802可為複合CMOS影像感測器，其經組態成在以ToF模式操作與以SL感測模式操作之間切換(或交替)。感測模式可取決於發射器801正發射何分佈(例如，DOE或泛光)。在一些態樣中，感測器802可係基於例如具有分時多工讀取(TDMR)能力的單體像素陣列架構。在其他實施例中，感測器802可包括結合多個投射器操作的一或多個通用ToF感測器。
在一些實施例中，主動深度控制器810可為用於計算深度資訊的計算元件。主動深度控制器810可經組態以在使用ToF技術計算深度資訊與使用SL技術計算深度資訊之間交替。出於本文中之論述之目的，使用SL技術計算之深度資訊亦可被稱作「SL深度資訊」、「SL資訊」或其類似者。相似地，出於本文中之論述之目的，使用ToF技術計算之深度資訊亦可被稱作「ToF深度資訊」、「ToF資訊」或其類似者。在一些態樣中，主動深度控制器810可使用SL深度資訊作為用於計算或補充ToF深度資訊的參考，此操作可有助於補償ToF深度資訊中的MPI誤差。在一些實施例中，感測器802可為可重新組態指令單元陣列(RICA)，該可重新組態指令單元陣列是專用的、即時、低功率、(重新)可程式化之影像信號處理(ISP)、主動感測、處理引擎。在一些態樣中，運用本文中所描述之混合式NIR感測器堆疊RICA可程式化實施可使主動深度控制器810能夠切換程式化「運作中」以雙態觸發計算SL深度資訊與ToF深度資訊同時減小感測器(例如，感測器802)的組件之數目。在其他實施例中，主動深度控制器810可為通用感測器。
在一些態樣中，主動深度控制器810可經組態以控制(或以其他方式操作)發射器801及感測器802中之至少一者以使其各別操作模式同步化，使得發射器801及感測器802以各別SL模式或ToF模式同時操作。在一些態樣中，主動深度控制器810可經控制，一起起作用，或由裝置800之一或多個其他組件，諸如處理器804及/記憶體806以其他方式操作。
裝置800可視情況包括或耦接至顯示器814及數個輸入/輸出(I/O)組件816。感測器802可為或以其他方式可耦接至攝影機，諸如單一攝影機、雙鏡頭攝影機模組，或具有任何數目個其他攝影機感測器(未經描畫)的模組。信號處理器812可經組態以處理來自感測器802之捕獲。裝置800可進一步包括耦接至處理器804的一或多個可選感測器820 (諸如陀螺儀、磁力計、慣性感測器、NIR感測器等)。裝置800亦可包括電力供應器818，其可耦接至裝置800或整合至該裝置中。器件800可包括未圖示之額外特徵或組件。
記憶體806可為儲存電腦可執行指令808的非瞬態或非暫時性電腦可讀媒體，該等指令用以執行本發明中描述之一或多個操作的全部或一部分。處理器804可為能夠執行儲存於記憶體806內的一或多個軟體程式之指令碼或指令(諸如指令808)的一或多個合適處理器。在一些態樣中，處理器804可為執行指令808以使裝置800執行任何數目個功能或操作的一或多個通用處理器。在額外或替代態樣中，處理器804可包括積體電路或其他硬體以在不使用軟體之情況下執行功能或操作。雖然展示為經由圖8之實例中的處理器804彼此耦接，但處理器804、記憶體806、主動深度控制器810、可選顯示器814、可選I/O組件816及可選感測器820可在各種配置中彼此耦接。舉例而言，處理器804、記憶體806、主動深度控制器810、可選顯示器814、可選I/O組件816及/或可選感測器820可經由一或多個本地匯流排(為簡單起見未圖示)彼此耦接。
顯示器814可為允許使用者互動及/或呈現項目(諸如場景之深度資訊或預覽影像)以供使用者檢視的任何合適顯示器或螢幕。在一些態樣中，顯示器814可為觸敏式顯示器。I/O組件816可為或包括任何合適機構、介面或裝置以接收來自使用者之輸入(諸如命令)並提供輸出至使用者。舉例而言，I/O組件816可包括(但不限於)圖形使用者介面、鍵盤、滑鼠、麥克風及揚聲器、裝置800之可擠壓的邊框或邊界，定位於裝置800上之實體按鈕等。顯示器814及/或I/O組件816可提供場景之預覽影像或深度資訊至使用者及/或接收使用者輸入從而調整裝置800之一或多個設定(諸如由發射器801調整發射之強度，判定或切換裝置800之一或多個操作模式，調整發射器801之發射場等)。
主動深度控制器810可包括或可以其他方式耦接至信號處理器812，該信號處理器可為用以處理來自感測器802之捕獲的一或多個處理器。主動深度控制器810可經組態以在一或多個操作模式之間切換發射器801及感測器802中之至少一者。主動深度控制器810可替代地或另外包括特殊硬體與執行軟體指令之能力的組合。
發射器801可針對不同操作模式使其發射場發生變化。在一些實例實施中，發射器801可包括用於調整發射/傳輸場之大小的聚焦設備。在一個實例中，附接至致動器(諸如微機電系統(MEMS)致動器)之鏡面可調整來自發射器801之光發射的焦點。在另一實例中，可調整全像光學元件(HOE)可調整來自發射器801之光發射的焦點。在另一實例中，可成形DOE(諸如用以調整形狀之壓電材料)可經調整以聚焦經發射光的繞射點。
在一些其他實例實施中，裝置800可使用複數個光發射器(未圖示)而非發射器801或結合該發射器發射光。發射器可包括用於發射具有第一傳輸場之光的第一光發射器群組(例如，第一光發射器陣列的第一群組)。發射器可進一步包括用於發射具有第二傳輸場之光的第二或不同光發射器群組(例如，第二光發射器陣列的群組)。第一場可大於在距發射器801之共同深度處的第二場。在一些實例實施中，第一光發射器群組對於發射器801之第一模式可為主動的，且第二光發射器群組對於發射器801之第二模式可為主動的。
圖9展示說明ToF及SL系統之實例操作的時序圖900，該ToF及SL系統包括感測器909、發射器949及控制器979。感測器909、發射器949及控制器979可分別為圖8之感測器802、發射器801及主動深度控制器810的實例實施例。將理解，ToF及SL為實例主動深度技術，且系統在一些實施中可使用其他主動深度技術。
實例時序圖900展示發射器949之三個投射循環：在時間901結束之第一投射循環、在時間902結束之第二投射循環及在時間903結束之第三投射循環。發射器949可在投射循環中之每一者期間投射第一光分佈。第一光分佈可為針對第一投射模式，諸如ToF投射模式的泛光分佈。舉例而言，發射器949可分別針對第一投射循環、第二投射循環及第三投射循環中之每一者在ToF投射模式期間投射泛光分佈950、泛光分佈952及泛光分佈954。出於本文中之論述之目的，泛光分佈亦可被稱作「泛光照明」或「漫射光」。發射器949亦可在投射循環中之每一者期間投射第二光分佈。第二光分佈可為針對第二投射模式，諸如SL投射模式的DOE分佈。舉例而言，發射器949可分別針對第一投射循環、第二投射循環及第三投射循環中之每一者在SL投射模式期間投射DOE分佈970、DOE分佈972及DOE分佈974。出於本文中之論述之目的，DOE分佈亦可被稱作「DOE圖案」、「DOE投射」、「SL分佈」、「SL圖案」及/或「SL投射」。
實例時序圖900展示感測器909之三個感測循環：時間901處結束之第一感測循環、時間902處結束之第二感測循環及時間903處結束的第三感測循環。感測器909針對每一感測循環可讀出ToF感測器資料之兩個訊框(在ToF感測模式期間)及SL感測器資料的一個訊框(在SL感測模式期間)。感測器909可經組態以在發射器949經組態成以ToF投射模式操作同時以ToF感測模式操作。感測器909可經組態以在發射器949經組態成以SL投射模式操作同時以SL感測模式操作。相似於在圖2C中描述之系統，在ToF感測模式期間，感測器909相對於來自發射器949之脈衝式信號以多個特定相位偏移(例如，相位0°、相位180°、相位90°及相位270°)暴露。感測器909針對特定相位偏移中每一者可積聚並儲存電荷量(Q)。
舉例而言，在第一暴露期間，感測器909可基於Q1及Q2讀出ToF感測器資料910的第一訊框，其中Q1為在0°相位偏移下積聚之電荷，且其中Q2為在180°相位偏移下積聚的電荷。在第二暴露期間，感測器909可基於Q3及Q4讀出ToF感測器資料912的第二訊框，其中Q3為在90°相位偏移下積聚之電荷，且其中Q4為在270°相位偏移下積聚的電荷。相似地，感測器909可在第二感測循環期間讀出ToF感測器資料914之第一訊框及ToF感測器資料916的第二訊框，且感測器909可在第三感測循環期間讀出ToF感測器資料918的第一訊框及ToF感測器資料920的第二訊框。感測器909可在第一感測循環期間讀出SL感測器資料930的訊框，在第二感測循環期間讀出SL感測器資料932的訊框且在第三感測循環期間讀出SL感測器資料934的訊框。
在每一感測循環之後，控制器979可使用SL感測器資料計算SL深度資訊(Z(SL))。舉例而言，控制器979可分別在第一感測循環、第二感測循環及第三感測循環中之每一者之後計算SL深度資訊(Z(SL)) 980、Z(SL) 982及Z(SL) 984。
在計算Z(SL)之後，控制器979可使用ToF感測器資料及Z(SL)計算對應感測循環的ToF深度資訊(Z(ToF+SL))。舉例而言，控制器979可分別在Z(SL) 980、Z(SL) 982及Z(SL) 984之後計算ToF深度資訊Z(ToF+SL) 990、Z(ToF+SL) 992及Z(ToF+SL) 994。在一些態樣中，控制器979可使用對應感測循環之ToF感測器資料的一個訊框計算Z(ToF+SL)，或由於ToF感測技術易受雜訊影響，因此控制器979可使用對應感測循環的一個以上ToF感測器資料訊框來計算Z(ToF+SL)。舉例而言，為了計算Z(ToF+SL) 990，控制器979可對ToF感測器資料910之第一訊框與ToF感測器資料912的第二訊框進行平均。控制器979在下一感測循環期間可在任何時間計算Z(SL)及Z(ToF+SL)。舉例而言，控制器979可計算時間901與時間902之間的(SL) 980及Z(ToF+SL) 990。
在圖9之實例中，系統可使用來自SL模式之稀疏深度資訊作為基線在無MPI偽影情況下(或在至少經減輕之MPI偽影情況下)產生高解析度及高準確度深度資訊，以消除來自ToF模式的多路徑效應。根據本文所描述之實施例，系統可使用單一感測器(例如，感測器909)、單一發射器(例如，發射器949)及/或單一控制器(例如，控制器979)在無MPI偽影情況下(或在至少經減輕之MPI偽影情況下)產生深度資訊。
圖10A展示以第一(例如，ToF)模式操作之實例ToF及SL系統1000。系統100包括發射器1010及感測器1045。在ToF模式期間，發射器1010可以ToF投射模式操作，且感測器1045可以ToF感測模式操作，如關於圖9所描述。發射器1010及感測器1045可分別為圖8之發射器801及感測器802的實例實施例。ToF及SL系統1000包括耦接至DOE 1020之前部的DOE 1020及漫射器1030。在一些態樣中，漫射器1030可為可切換漫射器，諸如上文關於圖8之漫射器807所描述。漫射器1030可在ToF投射模式期間接通(例如，對於泛光分佈)。具體而言，在ToF投射模式期間，發射器1010可朝向物件1040傳輸脈衝式信號1011，同時漫射器1030漫射經發射光以將泛光分佈(例如，均一照射)投射於場景上。經反射信號1041可到達感測器1045，且感測器1045可基於每一像素之待反射回至感測器1045之光的時間量來計算ToF深度資訊。
圖10B展示以第二(例如，SL)模式操作之實例ToF及SL系統1000。在SL模式期間，發射器1010可以SL投射模式操作，且感測器1045可以SL感測模式操作，如關於圖9所描述。漫射器1030在SL投射模式期間可被切斷(例如，充當透明玻璃件)。具體而言，在SL投射模式期間，發射器1010可朝向場景投射DOE分佈，該DOE分佈將相對不受影響地通過漫射器1030 (作為經投射光1013)且至場景上(例如，作為點矩陣圖案)。經反射光1043可到達感測器1045，且感測器1045可基於經投射光1013在場景上畸變的程度來計算SL深度資訊Z(SL)。主動深度控制器(諸如圖8之主動深度控制器810)在ToF深度資訊Z(ToF+SL)之計算期間使用Z(SL)，如關於圖9所描述。以此方式，主動深度控制器810可減小或消除ToF深度資訊中的多路徑偽影。此外，本發明實施例可使用單一感測器(例如，感測器1045)、單一發射器(例如，發射器1010)及/或單一控制器(例如，主動深度控制器810)提供準確的高解析度深度感測。
圖11A為以第一(例如，ToF)模式操作之ToF及SL系統1100的簡化圖示。ToF及SL系統1100可為ToF及SL系統1000之實例實施，如關於圖10A所描述。雷射1110經由DOE 1120發射光。在ToF模式中，漫射器1130可接通(以純灰指示)，且DOE分佈在通過漫射器1130時可被漫射，該漫射器運用照射對場景1140進行泛光照射。
圖11B為以第二(例如，SL)模式操作的圖11A之ToF及SL系統1100的簡化圖示。ToF及SL系統1100可為ToF及SL系統1000之實例實施，如關於圖10B所描述。雷射1110經由DOE 1120發射光。在SL模式中，漫射器1130可經切斷(運用點圖案指示)，且DOE分佈可經由漫射器1130投射(例如，未經變更)且至場景1140上。
圖12A展示根據一些實施例的以第一(例如，ToF)模式操作之實例可切換漫射器1260。可切換漫射器1260可為圖8之漫射器807的實例實施例。在一些態樣中，可切換漫射器1260可為液晶(LC)類可切換漫射器。可切換漫射器1260具有介電材料層(例如，LC層1264)，該介電材料層具有折射率
Figure 02_image011
。玻璃基板可定位於DOE基板1262與LC層1264之間。在一些態樣中，DOE基板1262在其背側上具有氧化銦錫(ITO)寫碼且面向漫射層1268。漫射層1268可製造於介電材料層中，且具有折射率no 。具有電壓1265之一對導電材料1263可控制LC層1264中LC分子的定向。在圖12A之實例中，電壓並未橫越LC層1264施加(例如，電壓1265，V =0)。因此，LC材料1264之折射率保持為na ，且LC層1264中之LC分子保持隨機定向。在此實例中，由於LC層1264及漫射層1268之折射率不同，因此漫射器1260可被「接通」。因此，光1261在LC層1264與漫射層1268之間的接合點處散射(例如，漫射)，該漫射層投射ToF模式的泛光分佈。
圖12B展示根據一些實施例的以第二(例如，SL)模式操作的圖12A之實例可切換漫射器1260。可切換漫射器1260可為圖8之漫射器807的實例實施例。在圖12B的實例中，電壓V0 橫越LC層1264施加。因此，LC材料1264之折射率變為no ，且LC層1264中之LC分子移動成對準。在此實例中，由於LC層1264與漫射層1268之折射率相同，因此漫射器1260可被「切斷」。因此，光1261直接通過LC層1264與漫射層1268之間的接合點(例如，相對不受影響)，其投射SL模式的DOE分佈。
圖13A展示能夠以第一感測模式(例如，ToF感測模式)及第二感測模式(例如，SL感測模式)操作之實例感測器1300的俯視圖。感測器1300可為圖8之感測器802的實例實施例。感測器1300在本文中亦可被稱作複合混合式NIR像素影像感測器或接收器及/或整合式(光)偵測器陣列。在一些態樣中，感測器1300可具有單體CMOS架構，該架構具有TDMR組態以用於在ToF感測模式與SL感測模式之間交替。在一些其他態樣中，感測器1300可具有電荷耦合裝置(CCD)架構。感測器1300可組合全域快門(GS)像素1310與ToF像素1330。感測器1300可經組態以在發射器(諸如圖8中之發射器801)在ToF投射模式與SL投射模式之間切換的同時在ToF感測模式與SL感測模式之間切換，如關於圖9所描述。
感測器1300可包括一或多個多相鎖定像素胞元，以用於判定ToF感測模式之脈衝式信號與經接收信號之間的相位差。感測器1300亦可包括GS解調變像素胞元，以用於以SL感測模式操作感測器1300。舉例而言，感測器1300包括用於自經反射信號偵測NIR光的總計兩個NIR閘(NIR閘1320及NIR閘1322)。NIR閘1320可在SL感測模式期間偵測NIR光。由於GS像素1310及ToF像素1330並未電隔離，因此NIR閘1320 (外加NIR閘1322)亦可在ToF感測模式期間偵測NIR光。感測器1300亦具有兩個ToF閘(ToF閘1340及ToF閘1342)，該兩個ToF閘用於接收相對於脈衝式信號具有相移φ的經反射光脈衝且將光信號轉換為電信號。每一ToF閘耦接至提供時變控制信號的電壓源(未圖示)。兩個ToF閘中之每一者耦接至讀出電路(未圖示)，以用於讀出自經反射光收集的電荷(Q)。感測器1300為雙相感測器的實例，此是因為第一ToF閘1340在相對於經發射光之第一相移(例如，0°)下讀出第一經收集電荷(例如，Q1)，且第二ToF閘1342可在相對於經發射光之第二相移(例如，180°)下讀出第二經收集電荷(例如，Q2)。每一讀出電路系統可包括某數目個電晶體，諸如選擇閘、源極隨耦器、重設閘、選擇閘或任何其他合適電路系統。
以此方式，感測器1300可作為混合模式ToF及SL系統之單一雙相感測器操作，且使用來自SL模式之稀疏深度資訊在無MPI偽影情況下(或具有至少經減輕之MPI偽影情況下)產生高解析度及高準確度深度資訊作為基線以消除來自ToF模式的多路徑效應。
圖13B展示能夠以第一感測模式(例如，ToF感測模式)及第二感測模式(例如，SL感測模式)操作之實例感測器1350的俯視圖。感測器1350可為圖8之感測器802的實例實施例。感測器1350在本文中亦可被稱作複合混合式NIR像素影像感測器或接收器及/或整合式(光)偵測器陣列。在一些態樣中，感測器1350可具有單體CMOS架構，該架構具有TDMR組態以用於在ToF感測模式與SL感測模式之間交替。在一些其他態樣中，感測器1350可具有CCD架構。感測器1350可組合來自GS像素1360及ToF像素1380的特徵。感測器1350可經組態以在發射器(諸如圖8中之發射器801)在ToF投射模式與SL投射模式之間切換的同時在ToF感測模式與SL感測模式之間切換，如關於圖9所描述。
感測器1350可包括一或多個多相鎖定像素胞元，以用於判定ToF感測模式之脈衝式信號與經接收信號之間的相位差。感測器1350亦可包括GS解調變像素胞元，以用於以SL感測模式操作感測器1350。舉例而言，感測器1350包括用於偵測來自經反射信號之NIR光的耦接至GS像素1360的NIR閘1370。NIR閘1370可在SL感測模式期間偵測NIR光。GS像素1360及ToF像素1380經電隔離。因此，不同於圖13A之ToF像素1330，GS像素1360在ToF模式期間可能不與ToF像素1380共用NIR閘1370。確切而言，ToF像素1380具有四個ToF閘(ToF閘1390、ToF閘1392、閘1394及ToF閘1396)，該等ToF閘用於接收相對於脈衝式信號具有相移φ的經反射光脈衝且將光信號轉換為電信號。每一ToF閘耦接至提供時變控制信號的電壓源(未圖示)。四個ToF閘中之每一者耦接至讀出電路(未圖示)，以用於讀出自經反射光收集的電荷(Q)。感測器1350為四相感測器之實例，此是由於第一ToF閘1390可在相對於經發射光之第一相移(例如，0°)讀出第一經收集電荷(例如，Q1)，第二ToF閘1392可在相對於經發射光之第二相移(例如，180°)讀出第二經收集電荷(例如，Q2)，第三ToF閘1394可在相對於經發射光之第三相移(例如，90°)讀出第三經收集電荷(例如，Q3)，且第四ToF閘1396可在相對於經發射光之第四相移(例如，270°)讀出第四經收集電荷(例如，Q4)。每一讀出電路系統可包括某數目個電晶體，諸如選擇閘、源極隨耦器、重設閘、選擇閘或任何其他合適電路系統。
以此方式，感測器1350可作為混合模式ToF及SL系統之單一四相感測器操作，且使用來自SL模式之稀疏深度資訊作為基線在無MPI偽影情況下(或具有至少經減輕之MPI偽影情況下)產生高解析度及高準確度深度資訊以消除來自ToF模式的多路徑效應。
圖14展示用於解調變像素胞元1400的實例電路圖。解調變像素胞元1400可包括耦接至接地電位1410的光電二極體1420。光電二極體1420可將來自經反射信號之光(例如，光子)轉換為電流，該電流流動至並聯耦接光電二極體1420的電晶體1430及電晶體1460。電晶體1430及電晶體1460可分別阻斷電流流動至電容器(C1)及電容器(C2)。C1可耦接至接地電位1450，且C2可耦接至接地電位1480。在一些態樣中，電晶體1430或電晶體1460中之至少一個可為場效電晶體(FET)。在一些態樣中，電晶體1430及電晶體1460中之至少一個可為金氧半導體場效電晶體(MOSFET)。
解調變像素胞元1400可捕獲可用於產生ToF深度資訊的ToF感測器資料。舉例而言，在第一暴露循環期間，C1在快門以相對於經傳輸信號之第一相位偏移(例如，
Figure 02_image013
)開啟時可儲存來自經反射信號的第一電荷(Q1)，且C2在快門以相對於經傳輸信號之第二相位偏移(例如，
Figure 02_image015
)開啟時可儲存來自經反射信號的第二電荷(Q2)。在第二暴露循環期間，C1在快門以相對於經傳輸信號之第三相位偏移(例如，
Figure 02_image017
)開啟時可儲存來自經反射信號的第三電荷(Q3)，且C2在快門以相對於經傳輸信號之第四相位偏移(例如，
Figure 02_image019
)開啟時可儲存來自經反射信號的第四電荷(Q4)。經傳輸信號與經反射信號之間的相位偏移
Figure 02_image021
可基於針對每一暴露循環之橫越C1及C2儲存的電荷來計算，此允許對應ToF深度資訊的計算：
Figure 02_image023
其中D 表示深度資訊，c 為光速(亦即，
Figure 02_image025
)，
Figure 02_image027
表示經傳輸信號之調變頻率，
Figure 02_image029
表示在第一暴露循環期間針對
Figure 02_image031
及
Figure 02_image033
的整合電信號，
Figure 02_image035
表示在第二暴露循環期間針對
Figure 02_image031
及
Figure 02_image033
的整合電信號，且
Figure 02_image037
表示深度準確度。
圖15A展示GS像素陣列1500的實例電路圖。GS像素陣列1500在本文中亦可被稱作NIR GS成像器。GS像素陣列1500包括兩個共用GS光電二極體PD1及PD2。PD1及PD2中之每一者可在SL感測模式期間吸收光子(例如，自反射回自場景及/或物件的光)。PD1及PD2中之每一者分別耦接至浮動儲存二極體SD1及SD2。SD1及SD2可作為儲存節點元件操作用於來自光電二極體PD1及PD2的電荷積聚及讀出。儲存二極體SD1及SD2中之每一者分別耦接至傳送閘TG1及TG2。TG1及TG2可為具有相對低之電壓降的電晶體。來自PD1及PD2之電荷可分別流動至電晶體LOD1及電晶體LOD2，該等電晶體各自耦接至供電電壓Vddpix 1565。
GS像素陣列1500包括用於積聚電荷的電容器FD。電容器FD耦接至電晶體TS1，該電晶體耦接至例如儲存二極體SD1。電容器FD亦耦接至電晶體TS2，該電晶體耦接至例如儲存二極體SD2。電容器FD進一步耦接至重設開關RST。當使RST閉合時，電荷可流動至Vddpix 1575。當RST斷開時，電荷可流動至源極隨耦器放大器SF_AMP。因為SF_AMP之源極電壓保持與閘極電壓成比例，所以SF_AMP可將電荷轉換成電壓且雙態觸發選擇開關SEL。當SEL斷開時(例如，在SL模式期間，當TS1及TS2斷開時)，Vddpix 1575可經隔離，且來自一系列信號脈衝中每一者的相對小量的電荷(例如，一脈衝串)可橫越電容器FD積聚。當SEL經閉合時(例如，在SL模式中之每一者之後，當TS1及TS2經閉合時)，數個系列積聚之信號脈衝可自TG1及TG2中之每一者傳送至輸出端子Vout。Vout可耦接至電流源I_bias。因此，GS像素陣列1500可捕獲用於產生SL深度資訊的SL感測器資料。
圖15B展示GS像素陣列1550的實例電路圖。GS像素陣列1550在本文中亦可被稱作NIR GS成像器。GS像素陣列1500包括兩個共用GS光電二極體PD1及PD2。PD1及PD2中之每一者可在SL感測模式期間吸收光子(例如，自反射回自場景及/或物件的光)。PD1及PD2中之每一者分別耦接至CCD讀出記憶體MEM1及MEM2。MEM1及MEM2可作為儲存節點元件操作用於來自光電二極體PD1及PD2的電荷積聚及讀出。MEM1及MEM2中之每一者分別耦接至傳送閘TG1及TG2。TG1及TG2可為具有相對低之電壓降的電晶體。來自PD1及PD2之電荷可分別流動至電晶體LOD1及電晶體LOD2，該等電晶體各自耦接至供電電壓Vddpix 1568。
GS像素陣列1550包括用於積聚電荷的電容器FD。電容器FD耦接至電晶體TS1，該電晶體耦接至例如CCD讀出記憶體MEM1。電容器FD亦耦接至電晶體TS2，該電晶體耦接至例如CCD讀出記憶體MEM2。電容器FD進一步耦接至重設開關RST。當使RST閉合時，電荷可流動至Vddpix 1578。當RST斷開時，電荷可流動至源極隨耦器放大器SF_AMP。因為SF_AMP之源極電壓保持與閘極電壓成比例，所以SF_AMP可將電荷轉換成電壓且雙態觸發選擇開關SEL。當SEL斷開時(例如，在SL模式期間，當TS1及TS2斷開時)，Vddpix 1578可經隔離，且來自一系列脈衝中每一者的相對小量的電荷(例如，一脈衝串)可橫越電容器FD積聚。當SEL經閉合時(例如，在SL模式中之每一者之後，當TS1及TS2經閉合時)，數個系列積聚之信號脈衝可自TG1及TG2中之每一者傳送至輸出端子Vout。Vout可耦接至電流源I_bias。因此，GS像素陣列1550可捕獲用於產生SL深度資訊的SL感測器資料。
圖16A展示GS像素陣列1600的實例電路圖。像素陣列1600在本文中亦可被稱作混合式NIR GS成像器，且可能能夠以ToF感測模式及SL感測模式操作。GS像素陣列1600可為圖8之感測器802的實例實施例。GS像素陣列1600包括兩個共用GS光電二極體PD1及PD2。PD1及PD2中之每一者可在SL感測模式期間吸收光子(例如，自反射回自場景及/或物件的光)。PD1耦接至兩個浮動儲存二極體SD1及SD2，該等浮動儲存二極體可作為儲存節點元素操作用於來自PD1的電荷積聚及讀出。PD2耦接至兩個浮動儲存二極體SD3及SD4，其可作為儲存節點元件操作用於來自PD2之電荷積聚及讀出。SD1至SD4中之每一者分別耦接至傳送閘TG1至TG4。TG1至TG4中之每一者可為具有相對低之電壓降的電晶體。來自PD1之電荷可流動至電晶體LOD1，該電晶體耦接至供電電壓Vddpix 1647。來自PD2之電荷可流動至電晶體LOD2，該電晶體耦接至供電電壓Vddpix 1657。
GS像素陣列1600包括用於積聚來自經反射信號之電荷的電容器FD1及FD2。FD1耦接至電晶體TS1及TS3，該等電晶體分別耦接至SD1及SD3。FD2耦接至電晶體TS2及TS4，該等電晶體分別耦接至SD2及SD4。FD1及FD2中之每一者分別耦接至重設開關RST1及RS2。當RST1及RS2中之任一者閉合時，電荷可分別流動至Vddpix 1665及Vddpix 1675。當RST1及RST2中之任一者斷開時，電荷可分別流動至源極隨耦器放大器SF_AMP1及SF_AMP2。因為SF_AMP1及SF_AMP2之源極電壓保持與閘極電壓成比例，所以SF_AMP1及SF_AMP2可將電荷轉換為電壓，且分別雙態觸發對應選擇開關SEL1及SEL2。
在ToF感測模式期間，TS2、TG2、TS3、TG3、TS1、TG1、TS4及TG4中的每一者可經閉合(啟動)，且像素陣列1600可解調變經反射信號的多個相位。SEL1及SEL2亦可在ToF感測模式期間斷開，此可隔離Vddpix 1665與Vddpix 1675，從而允許來自一系列信號脈衝(例如，脈衝串)中之每一者的相對小量電荷橫越FD1及FD2積聚。當SEL1及SEL2經閉合時，數個系列之積聚信號脈衝可分別自TG1及TG4傳送至輸出端子Vout_n及Vout_n+1。Vout_n可耦接至電流源I_bias1，且Vout_n+1耦接至電流源I_bias2。因此，GS像素陣列1600可捕獲用於產生SL深度資訊的SL感測器資料。在ToF感測模式期間，對於每一脈衝而言，發射器(諸如圖8之發射器801)的雷射可以相對狹窄之工作循環操作，且接通歷時相對短的時間量。因此，眼部安全可增大，且功率消耗相較於滾動快門(RS)像素陣列(非描畫)被減小。
在SL感測模式期間，TS2、TG2、TS3及TG3中之每一者(例如，讀出電路系統之一半)可為斷開的，且TS1、TG1、TS4及TG4中的每一者(例如，讀出電路系統之另一半)可經閉合。以此方式，經反射信號可在不同時間範圍以雙相(例如，一個在左側且一個在右側)捕獲。SEL1及SEL2亦可在SL感測模式期間斷開，此可隔離Vddpix 1665與Vddpix 1675，從而允許來自一系列信號脈衝(例如，脈衝串)中之每一者的相對小量電荷橫越FD1及FD2積聚。當SEL1及SEL2經閉合時，數個系列之積聚信號脈衝可分別自TG1及TG4傳送至輸出端子Vout_n及Vout_n+1。Vout_n可耦接至電流源I_bias1，且Vout_n+1耦接至電流源I_bias2。因此，GS像素陣列1600可捕獲用於產生SL深度資訊的SL感測器資料。
以此方式，像素陣列1600可作為混合模式ToF及SL系統的混合式GS感測器操作，該混合模式ToF及SL系統使用來自SL模式之稀疏深度資訊作為基線在無MPI偽影情況下(或具有至少經減輕之MPI偽影情況下)產生高解析度及高準確度深度資訊以消除來自ToF模式的多路徑效應。
圖16B展示GS像素陣列1650的實例電路圖。像素陣列1650在本文中亦可被稱作混合式NIR GS成像器，且可能能夠以ToF感測模式及SL感測模式操作。GS像素陣列1650可為圖8之感測器802的實例實施例。GS像素陣列1650包括兩個共用GS光電二極體PD1及PD2。PD1及PD2中之每一者可在SL感測模式期間吸收光子(例如，自反射回自場景及/或物件的光)。PD1耦接至兩個CCD讀出記憶體MEM1及MEM4，該等CCD讀出記憶體可作為儲存節點元件操作用於來自PD1之電荷積聚及讀出。PD2耦接至兩個CCD讀出記憶體MEM2及MEM3，該等CCD讀出記憶體可作為儲存節點元件操作用於來自PD2之電荷積聚及讀出。MEM1至MEM4中之每一者分別耦接至傳送閘TG1至TG4。TG1至TG4中之每一者可為具有相對低之電壓降的電晶體。來自PD1之電荷可流動至電晶體LOD1，該電晶體耦接至供電電壓Vddpix 1647。來自PD2之電荷可流動至電晶體LOD2，該電晶體耦接至供電電壓Vddpix 1657。
GS像素陣列1650包括用於積聚來自經反射信號之電荷的電容器FD1及FD2。FD1耦接至電晶體TS1及TS3，該等電晶體分別耦接至MEM1及MEM3。FD2耦接至電晶體TS2及TS4，該等電晶體分別耦接至MEM2及MEM4。FD1及FD2中之每一者分別耦接至重設開關RST1及RS2。當RST1及RS2中之任一者閉合時，電荷可分別流動至Vddpix 1665及Vddpix 1675。當RST1及RST2中之任一者斷開時，電荷可分別流動至源極隨耦器放大器SF_AMP1及SF_AMP2。因為SF_AMP1及SF_AMP2之源極電壓保持與閘極電壓成比例，所以SF_AMP1及SF_AMP2可將電荷轉換為電壓，且分別雙態觸發對應選擇開關SEL1及SEL2。
在ToF感測模式期間，TS2、TG2、TS3、TG3、TS1、TG1、TS4及TG4中的每一者可經閉合(啟動)，且像素陣列1650可解調變經反射信號的多個相位。SEL1及SEL2亦可在ToF感測模式期間斷開，此可隔離Vddpix 1665與Vddpix 1675，從而允許來自一系列信號脈衝(例如，脈衝串)中之每一者的相對小量電荷橫越FD1及FD2積聚。當SEL1及SEL2經閉合時，數個系列之積聚信號脈衝可分別自TG1及TG4傳送至輸出端子Vout_n及Vout_n+1。Vout_n可耦接至電流源I_bias1，且Vout_n+1耦接至電流源I_bias2。因此，GS像素陣列1650可捕獲用於產生SL深度資訊的SL感測器資料。在ToF感測模式期間，對於每一脈衝而言，發射器(諸如圖8之發射器801)的雷射可以相對狹窄之工作循環操作，且接通歷時相對短的時間量。因此，眼部安全可經增大，且功率消耗相較於RS像素陣列(非描畫)被減小。
在SL感測模式期間，TS2、TG2、TS3及TG3中之每一者(例如，讀出電路系統之一半)可為斷開的，且TS1、TG1、TS4及TG4中的每一者(例如，讀出電路系統之另一半)可經閉合。以此方式，經反射信號可在不同時間範圍以雙相(例如，一個在左側且一個在右側)捕獲。SEL1及SEL2亦可在SL感測模式期間斷開，此可隔離Vddpix 1665與Vddpix 1675，從而允許來自一系列信號脈衝(例如，脈衝串)中之每一者的相對小量電荷橫越FD1及FD2積聚。當SEL1及SEL2經閉合時，數個系列之積聚信號脈衝可分別自TG1及TG4傳送至輸出端子Vout_n及Vout_n+1。Vout_n可耦接至電流源I_bias1，且Vout_n+1耦接至電流源I_bias2。因此，GS像素陣列1650可捕獲用於產生SL深度資訊的SL感測器資料。
以此方式，像素陣列1650可作為混合模式ToF及SL系統的混合式GS感測器操作，該混合模式ToF及SL系統使用來自SL模式之稀疏深度資訊作為基線在無MPI偽影情況下(或具有至少經減輕之MPI偽影情況下)產生高解析度及高準確度深度資訊以消除來自ToF模式的多路徑效應。
圖17展示RS像素陣列1700的實例電路圖。像素陣列1700在本文中亦可被稱作混合式NIR RS成像器，且可能能夠以ToF感測模式及SL感測模式操作。RS像素陣列1700可為圖8之感測器802的實例實施例。像素陣列1700可經組態以逐行讀出信號且因此以恆定波模式(例如，以特定工作循環)操作以便暴露RS的每一行歷時等量時間。RS像素陣列1700包括四個共用RS光電二極體PD1至PD4。PD1至PD4中之每一者可在SL感測模式期間吸收光子(例如，自反射回自場景及/或物件的光)。PD1耦接至兩個傳送閘TG1及TG2。PD2耦接至兩個傳送閘TG3及TG4。PD3耦接至兩個傳送閘TG5及TG6。PD4耦接至兩個傳送閘TG7及TG8。TG1至TG8中之每一者可為具有相對低之電壓降的電晶體。
RS像素陣列1700包括用於積聚來自經反射信號之電荷的電容器FD1及FD2。FD1及FD2中之每一者分別耦接至重設開關RST1及RS2。當RST1及RS2中之任一者閉合時，電荷可分別流動至Vddpix 1765及Vddpix 1775。當RST1及RST2中之任一者斷開時，電荷可分別流動至源極隨耦器放大器SF_AMP1及SF_AMP2。因為SF_AMP1及SF_AMP2之源極電壓保持與閘極電壓成比例，所以SF_AMP1及SF_AMP2可將電荷轉換為電壓，且分別雙態觸發對應選擇開關SEL1及SEL2。
在ToF感測模式期間，TG1至TG8中的每一者可經閉合(啟動)，且像素陣列1700可解調變經反射信號的多個相位。SEL1及SEL2可在ToF感測模式期間斷開，此可隔離Vddpix 1765與Vddpix 1775，從而允許來自一系列信號脈衝(例如，脈衝串)中之每一者的相對小量電荷橫越FD1及FD2積聚。當SEL1閉合時，一系列積聚信號脈衝可自TG1、TG3、TG5及TG7傳送至輸出端子Vout1。當SEL2閉合時，一系列積聚信號脈衝可自TG2、TG4、TG6及TG8傳送至輸出端子Vout2。Vout1可耦接至電流源I_bias1，且Vout_2可耦接至電流源I_bias2。因此，RS像素陣列1700可捕獲用於產生ToF深度資訊的ToF感測器資料。
在SL感測模式期間，TG1、TG4、TG5及TG8中之每一者(例如，讀出電路系統之一半)可經閉合，且TG2、TG3、TG6及TG7中的每一者(例如，讀出電路系統之另一半)可經斷開。以此方式，經反射信號可在不同時間範圍以雙相(例如，一個在左側且一個在右側)捕獲。SEL1及SEL2可在SL感測模式期間斷開，其可隔離Vddpix 1765與Vddpix 1775，從而允許來自一系列信號脈衝(例如，脈衝串)中之每一者的相對小量電荷橫越FD1及FD2積聚。
以此方式，像素陣列1700可作為混合模式ToF及SL系統的混合式RS感測器操作，該混合模式ToF及SL系統使用來自SL模式之稀疏深度資訊作為基線在無MPI偽影情況下(或具有至少經減輕之MPI偽影情況下)產生高解析度及高準確度深度資訊以消除來自ToF模式的多路徑效應。
圖18展示描繪以SL模式操作之RS感測器的實例時序圖1800。RS感測器可為圖17之ToF及SL像素陣列1700的實例實施例。參看圖17，例如，像素陣列1700在以SL模式操作時可能利用傳送閘(TG)的僅一半(例如，TG1、TG4、TG5及TG8)。TG1及TG4之信號在SL模式期間針對重設及讀出時段中的每一者每隔(例如，n)第一水平同步(H_sync)時段(例如，其緊跟垂直同步(V_sync)時段)可啟動。TG5及TG8之信號在SL模式期間針對重設及讀出時段中的每一者在其他(例如，n+1)水平同步(H_sync)時段期間可啟動。即，TG2、TG3、TG6及TG7中之每一者可在以SL模式操作同時保持去啟動。RST及SEL開關在SL模式期間的啟動時序亦展示於圖18中。積分時間展示電荷積聚於RS感測器處的時段，如關於圖17所描述。RS感測器可在讀出SL資料(例如，SL深度資訊)與ToF資料(例如，ToF深度資訊)之間交替。
圖19展示描繪以ToF模式操作之RS感測器的實例時序圖1900。RS感測器可為圖17之ToF及SL像素陣列1700的實例實施例。參看圖17，例如，像素陣列1700在以ToF模式操作時可能利用傳送閘(TG)的全部(例如，TG1至TG8)。TG1、TG3、TG5及TG7之信號每隔(例如，2n+1)第一水平同步(H_sync)時段可啟動(同時TG2、TG4、TG6及TG8被去啟動)，該信號在本文中可被稱作異相原始信號或S180 。TG2、TG4、TG6及TG8之信號在其他(例如，2n)水平同步(H_sync)時段期間可啟動(同時TG1、TG3、TG5及TG7被去啟動)，該信號在本文中可被稱作同相原始信號或S0 。RST及SEL開關在SL模式期間的啟動時序亦展示於圖19中。積分時間展示來自經反射信號之電荷積聚於RS感測器處的時段，如關於圖17所描述。讀出操作時段遵循每一積分時段。在每一讀出時段期間，FD節點(例如，圖17之FD 1730及FD 1767)作為儲存節點操作，且TG閘被去啟動(或「關斷」)，同時允許感測器在針對下一暴露循環重設FD節點之前提取所積聚電荷。在一態樣中，RS感測器可藉由捕獲額外訊框補償(或「取消」)背景光(例如，環境光或雜訊)，同時發射器(諸如圖8之發射器801)被去啟動。因此，在產生深度資訊時，RS感測器可自原始信號相位(例如S0 及S180 )減去相對黑暗之開始信號。
圖20展示根據一些實施之說明用於深度感測之實例程序2000的流程圖。程序2000可由諸如上文參看圖8描述之裝置800的裝置執行。在一些實施中，程序2000以區塊2002開始，其中在裝置以第一模式操作時，以包括泛光投射之第一分佈投射光。在區塊2004中，程序2000以在裝置以第二模式操作時以包括圖案投射之第二分佈投射光繼續。在區塊2006中，程序2000以偵測由光投射器投射之光之反射繼續。在區塊2008中，程序2000以基於在裝置以第一模式操作時由接收器偵測到之反射來判定第一深度資訊繼續。在區塊2010中，程序2000以基於在裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊繼續。在區塊2012中，程序2000以使用第一深度資訊及第二深度資訊解析MPI繼續。在一些實施中，圖案投射可由安置於可切換漫射器與光投射器之光源之間的DOE產生。在一些實施中，裝置可為無線通信裝置。
圖21A展示根據一些實施之說明用於深度感測之實例程序2110的流程圖。程序2110可由諸如上文參看圖8描述之裝置800的裝置執行。在一些實施中，程序2110可為分別用於判定第一深度資訊及判定第二深度資訊的圖20之區塊2008及區塊2010之程序的實例。程序2110以區塊2112開始，其中使用ToF技術來判定第一深度資訊。在區塊2114中，程序2110以使用SL技術來判定第二深度資訊繼續。
圖21B展示根據一些實施的說明用於深度感測之實例程序2120的流程圖。程序2120可由諸如上文參看圖8描述之裝置800的裝置執行。在一些實施中，程序2120可為用於投射光的圖20之區塊2002及區塊2004之程序的實例，且以啟動可切換漫射器以投射泛光投射的區塊2122開始。在區塊2124中，程序2120以使可切換漫射器去啟動以投射圖案投射繼續。
在一些實施中，光投射器可為用於橫越折射材料施加電壓的安置於DOE與可切換漫射器之間的雙折射材料。可切換漫射器可具有第一折射率，且雙折射材料可為具有第二折射率之液晶材料。在一些態樣中，第一折射率及第二折射率在光投射器並不橫越折射材料施加電壓時可不同。在一些態樣中，第一折射率及第二折射率在光投射器的確橫越折射材料施加電壓時可相同。在一些態樣中，光投射器在裝置以第一模式操作時可能並不橫越折射材料施加電壓。在一些態樣中，光投射器在裝置以第二模式操作時可橫越折射材料施加電壓。
圖21C展示根據一些實施的說明用於深度感測之實例程序2130的流程圖。程序2130可由諸如上文參看圖8描述之裝置800的裝置執行。在一些實施中，程序2130可為用於偵測由光投射器投射之光之反射的圖20之區塊2006之程序的實例，且在裝置以第一模式操作時以偵測第一分佈之反射的區塊2132開始。在區塊2134中，程序2130以在裝置以第二模式操作時偵測第二分佈之反射繼續。在區塊2136中，程序2130以在裝置以第一模式操作時判定經投射光與經偵測反射之間的至少一個相位差繼續。
在一些實施中，包括至少一個GS像素胞元及至少一個鎖定像素胞元之單體像素感測器可在區塊2136中判定至少一個相位差。在一些態樣中，接收器可基於在該裝置以該第二模式操作時由該接收器偵測到之反射經由該至少一個GS像素胞元偵測NIR光。在一些態樣中，鎖定像素胞元可包括用於以雙相模式操作之兩個ToF閘。在一些態樣中，至少一個GS像素胞元及至少一個鎖定像素胞元可經隔離，且鎖定像素胞元可包括用於以四相模式操作之四個ToF閘。
圖21D展示根據一些實施的說明用於深度感測之實例程序2140的流程圖。程序2140可由諸如上文參看圖8描述之裝置800的裝置執行。程序2140可在區塊2142 (偵測第一分佈之反射)與區塊2144 (使用TDMR偵測第二分佈之反射)之間交替。在一些實施中，區塊2142可為用於偵測第一分佈之反射的圖21C之區塊2132的實例。在一些實施中，區塊2144可為用於偵測第二分部之反射的圖21C之區塊2134的實例。在一些實施中，CMOS裝置及CCD可在程序2140中交替偵測。
除非具體描述為以特定方式來實施，否則本文中所描述之技術可以硬體、軟體、韌體或其任何組合而實施。亦可將描述為模組或組件之任何特徵一起實施於整合式邏輯裝置中或分離地實施為離散但可互操作之邏輯裝置。若以軟體實施，則技術可至少部分由包括指令808之非暫時性處理器可讀儲存媒體(諸如圖8之裝置800中的記憶體806)實現，該等指令在由處理器804 (或主動深度控制器810)執行時使裝置800執行上述方法中的一或多者。非暫時性處理器可讀資料儲存媒體可形成電腦程式產品之一部分，該電腦程式產品可包括封裝材料。
非暫時性處理器可讀儲存媒體可包括諸如同步動態隨機存取記憶體(SDRAM)之隨機存取記憶體(RAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、其他已知儲存媒體及其類似者。另外地或替代地，該等技術可至少部分地由攜載或傳達呈指令或資料結構之形式並可由電腦或其他處理器存取、讀取及/或執行的程式碼之處理器可讀通信媒體實現。
結合本文中揭示之實施例描述的各種說明性邏輯區塊、模組、電路及指令可由一或多個處理器，諸如圖8之裝置800中之處理器804或主動深度控制器810執行。此(等)處理器可包括(但不限於)一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、特殊應用指令集處理器(ASIP)、場可程式化閘陣列(FPGA)或其他等效整合式或離散邏輯電路系統。如本文中所使用之術語「處理器」可指上述結構或適用於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文所描述之功能性可提供於專用軟體模組或如本文中所描述而組態之硬體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。通用處理器可為微處理器；但在替代方案中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合，例如，DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任一其他此組態。
雖然本發明展示諸說明性態樣，但應注意，可在不脫離所附申請專利範圍之範疇的情況下在本文中進行各種改變及修改。舉例而言，儘管投射器經說明為包括朝向繞射元件導引光之透鏡，但投射器可不包括透鏡或可包括多個透鏡。在另一實例中，在調節投射時由裝置或光投射器施加之電可為交流電(AC)或直流電(DC)，且電壓可為恆定或非恆定的。因此電可為用於調節投射之任何合適電。另外，根據本文所描述之態樣的方法項之功能、步驟或動作不必按任何特定次序執行，除非另外明確說明。舉例而言，所描述實例操作之步驟在由裝置800執行情況下，主動深度控制器810、處理器804及/或記憶體806可以任何次序且以任何頻率執行。此外，雖然可能以單數形式描述或主張元件，但除非明確地陳述對單數形式之限制，否則涵蓋複數形式。因此，本發明不限於所說明之諸實例，且用於執行本文中所描述之功能性的任何構件包括於本發明之態樣中。
100:實例飛行時間(ToF)系統 102:傳輸器 104:光 106:表面 108:接收器 110:感測器 112:反射 114:光脈衝 116:經反射光脈衝 118:時序 120:時序 122:往返時間 220:實例飛行時間(ToF)系統 225:發射器 230:感測器 235:物件 240:實例感測器像素 242:光電二極體 260:脈衝圖 300:實例飛行時間(ToF)系統 315:發射器 320:信號 325:物件 330:經反射信號 335:感測器 340:直接路徑 400:實例環境 415:發射器 420:脈衝式信號 421:脈衝式信號 422:脈衝式信號 423:脈衝式信號 425:物件 427:物件 430:經反射信號 431:經反射信號 432:經反射信號 433:經反射信號 435:感測器 440:直接路徑 441:路徑 445:發射器 450:間接路徑 451:路徑 455:物件 457:物件 460:另一實例環境 465:感測器 470:另一實例環境 475:發射器 485:物件 487:物件 491:脈衝式信號 492:經反射信號 493:經反射信號 494:經反射信號 495:感測器 500:實例場景 510:頂點 550:實例深度圖 560:頂點 600:圖形 700:實例結構化光(SL)系統 702:傳輸器 704:光點分佈 706:場景 706A:物件 706B:物件 708:接收器 710:反射 712:基線 714:中心 716:位置 718:位置 720:孔 722:孔 724:光源 726:透鏡 728:光調變器 730:透鏡 732:感測器 734:距離 736:距離 800:裝置 801:發射器 802:感測器 804:處理器 805:繞射光學元件(DOE) 806:記憶體 807:漫射器 808:指令 810:主動深度控制器 812:信號處理器 814:顯示器 816:輸入/輸出(I/O)組件 818:電力供應器 820:感測器 900:時序圖 901:時間 902:時間 903:時間 909:感測器 910:飛行時間(ToF)感測器資料 912:飛行時間(ToF)感測器資料 914:飛行時間(ToF)感測器資料 916:飛行時間(ToF)感測器資料 918:飛行時間(ToF)感測器資料 920:飛行時間(ToF)感測器資料 930:結構化光(SL)感測器資料 932:結構化光(SL)感測器資料 934:結構化光(SL)感測器資料 949:發射器 950:泛光分佈 952:泛光分佈 954:泛光分佈 970:繞射光學元件(DOE)分佈 972:繞射光學元件(DOE)分佈 974:繞射光學元件(DOE)分佈 979:控制器 980:結構化光(SL)深度資訊Z(SL) 982:結構化光(SL)深度資訊Z(SL) 984:結構化光(SL)深度資訊Z(SL) 990:飛行時間(ToF)深度資訊Z(ToF+SL) 992:飛行時間(ToF)深度資訊Z(ToF+SL) 994:飛行時間(ToF)深度資訊Z(ToF+SL) 1000:實例飛行時間(ToF)及結構化光(SL)系統 1010:發射器 1011:脈衝式信號 1013:經投射光 1020:繞射光學元件(DOE) 1030:漫射器 1040:物件 1041:經反射信號 1045:感測器 1100:飛行時間(ToF)及結構化光(SL)系統 1110:雷射 1120:繞射光學元件(DOE) 1130:漫射器 1140:場景 1260:實例可切換漫射器 1261:光 1262:繞射光學元件(DOE)基板 1263:導電材料 1264:液晶(LC)層 1265:電壓 1268:漫射層 1300:實例感測器 1310:全域快門(GS)像素 1320:近紅外(NIR)閘 1322:近紅外(NIR)閘 1330:飛行時間(ToF)像素 1340:飛行時間(ToF)閘 1342:飛行時間(ToF)閘 1350:實例感測器 1360:全域快門(GS)像素 1370:近紅外(NIR)閘 1380:飛行時間(ToF)像素 1390:飛行時間(ToF)閘 1392:飛行時間(ToF)閘 1394:飛行時間(ToF)閘 1396:飛行時間(ToF)閘 1400:解調變像素胞元 1410:接地電位 1420:光電二極體 1430:電晶體 1450:接地電位 1460:電晶體 1480:接地電位 1500:全域快門(GS)像素陣列/近紅外(NIR)全域快門(GS)成像器 1550:全域快門(GS)像素陣列 1565供電電壓Vddpix 1568:供電電壓Vddpix 1575:供電電壓Vddpix 1578:供電電壓Vddpix 1600:全域快門(GS)像素陣列 1647:供電電壓Vddpix 1650:全域快門(GS)像素陣列 1657:供電電壓Vddpix 1665:供電電壓Vddpix 1675:供電電壓Vddpix 1700:RS像素陣列 1765:供電電壓Vddpix 1775:供電電壓Vddpix 1800:實例時序圖 1900:實例時序圖 2000:實例程序 2002:區塊 2004:區塊 2006:區塊 2008:區塊 2010:區塊 2012:區塊 2110:用於深度感測之實例程序 2112:區塊 2114:區塊 2120:用於深度感測之實例程序 2122:區塊 2124:區塊 2130:用於深度感測之實例程序 2132:區塊 2134:區塊 2136:區塊 2140:用於深度感測之實例程序 2142:區塊 2144:區塊 C1:電容器 C2:電容器d :距離 FD:電容器 H_sync:水平同步 I_bias:電流源 I_bias1:電流源 I_bias2:電流源 LOD1:電晶體 LOD2:電晶體 MEM1:電荷耦合裝置(CCD)讀出記憶體 MEM2:電荷耦合裝置(CCD)讀出記憶體 PD1:共用滾動快門(RS)光電二極體 PD2:共用滾動快門(RS)光電二極體 PD3:共用滾動快門(RS)光電二極體 PD4:共用滾動快門(RS)光電二極體 Q1:電荷 Q2:電荷 RST:重設開關 RST1:重設開關 RST2:重設開關 S0 :同相原始信號 S180 :異相原始信號 SD1:浮動儲存二極體 SD2:浮動儲存二極體 SD3:浮動儲存二極體 SD4:浮動儲存二極體 SEL:選擇開關 SEL1:選擇開關 SEL2:選擇開關 SF_AMP:源極隨耦器放大器 SF_AMP1:源極隨耦器放大器 SF_AMP2:源極隨耦器放大器 TG1:傳送閘 TG2:傳送閘 TG3:傳送閘 TG4:傳送閘 TG5:傳送閘 TG6:傳送閘 TG7:傳送閘 TG8:傳送閘 TS1:電晶體 TS2:電晶體 V0:電壓 V180:電壓 V_sync:垂直同步 Vout:輸出端子 Vout1:輸出端子 Vout2:輸出端子 Vout_n:輸出端子 Vout_n+1:輸出端子 Φ0:相位 Φ180:相位 φ:經計算相位偏移
在附圖之圖式中，通過實例且非限制之方式說明本發明之態樣，且其中相同的參考編號係指相似元素。
圖1展示實例飛行時間(ToF)系統。
圖2A展示包括發射器及感測器之實例ToF系統。
圖2B展示實例感測器像素。
圖2C展示脈衝圖，該脈衝圖說明來自傳輸器之脈衝式信號及在感測器處接收到之對應反射信號。
圖3展示實例ToF系統。
圖4A展示多路徑干擾(MPI)可影響ToF深度感測的實例環境。
圖4B展示MPI可影響ToF深度感測的另一實例環境。
圖4C展示MPI可影響ToF深度感測的另一實例環境。
圖5A展示包括房間之拐角的實例場景，該拐角具有牆壁中之兩者與天花板相交的頂點。
圖5B展示來自圖5A之場景的如由習知ToF系統產生的實例深度圖。
圖6展示圖5A之場景的對應X距離及Z距離的圖形。
圖7展示實例結構化光(SL)系統。
圖8展示包括混合式ToF及SL系統之實例裝置的區塊圖。
圖9展示說明ToF及SL系統之多個組件之實例操作時序的時序圖。
圖10A展示以第一模式操作之實例ToF及SL系統。
圖10B展示以第二模式操作之圖10A之實例ToF及SL系統。
圖11A為展示於圖10A中之ToF及SL系統的簡化說明。
圖11B為展示於圖10B中之ToF及SL系統的簡化說明。
圖12A展示實例可切換漫射器。
圖12B展示另一實例可切換漫射器。
圖13A展示能夠以ToF模式及SL模式操作之實例感測器的俯視圖。
圖13B展示能夠以ToF模式及SL模式操作之另一實例感測器的俯視圖。
圖14展示用於解調變像素胞元的實例電路圖。
圖15A展示全域快門(GS)像素陣列的實例電路圖。
圖15B展示用於GS像素陣列的另一實例電路圖。
圖16A展示以GS實施操作之混合式ToF及SL像素陣列的實例電路圖。
圖16B展示在GS實施中操作之混合式ToF及SL像素陣列的另一實例電路圖。
圖17展示在滾動快門(RS)實施操作之混合式ToF及SL像素陣列的實例電路圖。
圖18展示實例時序圖，其說明在以SL模式操作之RS實施情況下裝置之混合式ToF及SL像素陣列。
圖19展示實例時序圖，其說明在以ToF模式操作之RS實施情況下裝置之混合式ToF及SL像素陣列。
圖20展示根據一些實施之說明用於深度感測之實例程序的流程圖。
圖21A展示根據一些實施之說明用於深度感測之實例程序的流程圖。
圖21B展示根據一些實施的說明用於深度感測之實例程序的流程圖。
圖21C展示根據一些實施的說明用於深度感測之實例程序的流程圖。
圖21D展示根據一些實施的說明用於深度感測之實例程序的流程圖。
900:時序圖
901:時間
902:時間
903:時間
909:感測器
910:飛行時間(ToF)感測器資料
912:飛行時間(ToF)感測器資料
914:飛行時間(ToF)感測器資料
916:飛行時間(ToF)感測器資料
918:飛行時間(ToF)感測器資料
920:飛行時間(ToF)感測器資料
930:結構化光(SL)感測器資料
932:結構化光(SL)感測器資料
934:結構化光(SL)感測器資料
949:發射器
950:泛光分佈
952:泛光分佈
954:泛光分佈
970:繞射光學元件(DOE)分佈
972:繞射光學元件(DOE)分佈
974:繞射光學元件(DOE)分佈
979:控制器
980:結構化光(SL)深度資訊Z(SL)
982:結構化光(SL)深度資訊Z(SL)
984:結構化光(SL)深度資訊Z(SL)
990:飛行時間(ToF)深度資訊Z(ToF+SL)
992:飛行時間(ToF)深度資訊Z(ToF+SL)
994:飛行時間(ToF)深度資訊Z(ToF+SL)

Claims (26)

  1. 一種裝置，其包含： 一光投射器，其經組態以： 當該裝置以一第一模式操作時，以包括一泛光投射之一第一分佈投射光；及 當該裝置以一第二模式操作時，以包括一圖案投射之一第二分佈投射光； 一接收器，其經組態以偵測由該光投射器投射之光之反射； 一記憶體，其儲存指令；及 一處理器，其連接至該記憶體，該處理器經組態以： 基於在該裝置以該第一模式操作時由該接收器偵測到之反射來判定第一深度資訊； 基於在該裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊；及 使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)。
  2. 如請求項1之裝置，其中該處理器經進一步組態以： 使用飛行時間(ToF)技術來判定該第一深度資訊；及 使用結構化光(SL)技術來判定該第二深度資訊。
  3. 如請求項1之裝置，其中該光投射器包含一可切換漫射器且經進一步組態以： 啟動該可切換漫射器以投射該泛光投射。
  4. 如請求項3之裝置，其中該圖案投射係由安置於該光投射器之該可切換漫射器與一光源之間的一繞射光學元件(DOE)產生。
  5. 如請求項4之裝置，其中該光投射器包含安置於該DOE與該可切換漫射器之間的一雙折射材料，且其中使該可切換漫射器去啟動包含： 橫越一折射材料施加一電壓。
  6. 如請求項5之裝置，其中該可切換漫射器具有一第一折射率，且該雙折射材料為具有一第二折射率之一液晶材料，其中該第一折射率及該第二折射率在該光投射器並不橫越該折射材料施加該電壓時係不同的，且其中該第一折射率及該第二折射率在該光投射器的確橫越該折射材料施加該電壓時係相同的。
  7. 如請求項6之裝置，其中該光投射器在該裝置以該第一模式操作時並不橫越該折射材料施加該電壓，且其中該光投射器在該裝置以該第二模式操作時的確橫越該折射材料施加該電壓。
  8. 如請求項3之裝置，其中該光投射器經進一步組態以： 使該可切換漫射器去啟動以投射該圖案投射。
  9. 如請求項1之裝置，其中該接收器經進一步組態以： 當該裝置以該第一模式操作時偵測該第一分佈之反射；及 當該裝置以該第二模式操作時偵測該第二分佈之反射。
  10. 如請求項1之裝置，其中該處理器經進一步組態以： 使用該第二深度資訊及該第一深度資訊以至少經減輕之MPI產生一深度圖。
  11. 如請求項1之裝置，其中該接收器包含一單體像素感測器，該單體像素感測器包括至少一個全域快門(GS)像素胞元及至少一個鎖定像素胞元，且其中該處理器經進一步組態以： 當該裝置以該第一模式操作時判定該經投射光與該等經偵測反射之間的至少一個相位差。
  12. 如請求項11之裝置，其中該接收器經進一步組態以： 基於在該裝置以該第二模式操作時由該接收器偵測到之該等反射經由該至少一個GS像素胞元偵測近紅外(NIR)光。
  13. 如請求項11之裝置，其中該鎖定像素胞元包括用於以一雙相模式操作之兩個飛行時間(ToF)閘。
  14. 如請求項11之裝置，其中該至少一個GS像素胞元及該至少一個鎖定像素胞元經隔離，且其中該鎖定像素胞元包括用於以一四相模式操作之四個飛行時間(ToF)閘。
  15. 如請求項1之裝置，其中該接收器包含一互補金屬氧化物半導體(CMOS)裝置及一電荷耦合裝置(CCD)中之至少一者，且其中該接收器經進一步組態以： 使用分時多工讀取(TDMR)在偵測該第一分佈之反射與偵測該第二分佈之反射之間交替。
  16. 如請求項1之裝置，其中該裝置為一無線通信裝置。
  17. 一種用於使用一裝置進行深度感測之方法，該方法包含： 當該裝置以一第一模式操作時，以包括一泛光投射之一第一分佈投射光； 當該裝置以一第二模式操作時，以包括一圖案投射之一第二分佈投射光； 偵測由光投射器投射之光之反射； 基於在該裝置以該第一模式操作時由接收器偵測到之反射來判定第一深度資訊； 基於在該裝置以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊；及 使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)。
  18. 如請求項17之方法，其進一步包含： 使用飛行時間(ToF)技術來判定該第一深度資訊；及 使用結構化光(SL)技術來判定該第二深度資訊。
  19. 如請求項17之方法，其中該裝置包括一可切換漫射器，且該方法進一步包含： 啟動該可切換漫射器以投射該泛光投射。
  20. 如請求項19之方法，其進一步包含： 使該可切換漫射器去啟動以投射該圖案投射。
  21. 如請求項17之方法，其進一步包含： 當該裝置以該第一模式操作時偵測該第一分佈之反射；及 當該裝置以該第二模式操作時偵測該第二分佈之反射。
  22. 如請求項21之方法，其進一步包含： 當該裝置以該第一模式操作時判定該經投射光與該等經偵測反射之間的至少一個相位差。
  23. 如請求項17之方法，其進一步包含： 使用該第二深度資訊及該第一深度資訊以至少經減輕之MPI產生一深度圖。
  24. 如請求項17之方法，其進一步包含： 使用分時多工讀取(TDMR)在偵測該第一分佈之反射與偵測該第二分佈之反射之間交替。
  25. 如請求項17之方法，其中該裝置為一無線通信裝置。
  26. 一種非暫時性電腦可讀媒體，其儲存指令，該等指令在由一設備之一或多個處理器執行時使該設備執行包含以下各者的操作： 當該設備以一第一模式操作時，以包括一泛光投射之一第一分佈投射光； 當該設備以一第二模式操作時，以包括一圖案投射之一第二分佈投射光； 偵測由光投射器投射之光之反射； 基於在該設備以該第一模式操作時由接收器偵測到之反射來判定第一深度資訊； 基於在該設備以該第二模式操作時由該接收器偵測到之反射來判定第二深度資訊；及 使用該第一深度資訊及該第二深度資訊來解析多路徑干擾(MPI)。
TW109110888A 2019-06-05 2020-03-30 混合主動深度 TW202111349A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962857804P 2019-06-05 2019-06-05
US62/857,804 2019-06-05
US16/682,530 US11561085B2 (en) 2019-06-05 2019-11-13 Resolving multipath interference using a mixed active depth system
US16/682,530 2019-11-13

Publications (1)

Publication Number Publication Date
TW202111349A true TW202111349A (zh) 2021-03-16

Family

ID=73650260

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109110888A TW202111349A (zh) 2019-06-05 2020-03-30 混合主動深度

Country Status (7)

Country Link
US (1) US11561085B2 (zh)
EP (1) EP3980807A1 (zh)
CN (1) CN113924507A (zh)
BR (1) BR112021023513A2 (zh)
SG (1) SG11202111974QA (zh)
TW (1) TW202111349A (zh)
WO (1) WO2020247046A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6673266B2 (ja) * 2017-03-08 2020-03-25 オムロン株式会社 相互反射検出装置、相互反射検出方法、およびプログラム
CN113810530B (zh) * 2019-05-31 2024-10-11 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN110505380B (zh) * 2019-08-14 2022-02-25 Oppo广东移动通信有限公司 激光投射器、深度相机及电子装置
US11563873B2 (en) 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing
EP4162230A4 (en) * 2020-04-21 2024-09-11 Magik Eye Inc DIFFRACTIVE OPTICAL ELEMENT WITH COLLIMATOR FUNCTION
US20220252893A1 (en) * 2021-02-09 2022-08-11 Himax Technologies Limited Light projection apparatus
WO2022185967A1 (ja) * 2021-03-05 2022-09-09 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
TWI792381B (zh) * 2021-03-25 2023-02-11 鈺立微電子股份有限公司 影像擷取裝置及其深度資訊計算方法
KR20230161951A (ko) * 2021-03-26 2023-11-28 퀄컴 인코포레이티드 혼합 모드 깊이 이미징
CN113093213B (zh) * 2021-04-08 2023-05-09 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
CN117836806A (zh) * 2021-08-23 2024-04-05 特里纳米克斯股份有限公司 从明暗恢复形状
TW202315250A (zh) * 2021-09-13 2023-04-01 美商元平台技術有限公司 用於產生線性結構光圖案及泛光照明的垂直腔面射型雷射晶片
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
US11791925B2 (en) * 2021-11-08 2023-10-17 Huawei Technologies Co., Ltd. Method, apparatus and system for determining multipath interference (MPI) on an optical link
JP2024016593A (ja) * 2022-07-26 2024-02-07 ソニーセミコンダクタソリューションズ株式会社 照明装置、測距装置及び車載装置
WO2024081491A1 (en) * 2022-10-14 2024-04-18 Qualcomm Incorporated Active depth sensing
WO2024157141A1 (en) * 2023-01-25 2024-08-02 Ricoh Company, Ltd. Image-capturing apparatus, distance-measuring apparatus, distance-measuring system, and distance-measuring method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8197070B2 (en) 2006-01-24 2012-06-12 Seiko Epson Corporation Color-based feature identification
JP2011244297A (ja) * 2010-05-20 2011-12-01 Panasonic Corp Ｃｃｄ電荷転送用駆動装置
US10044985B1 (en) 2012-10-19 2018-08-07 Amazon Technologies, Inc. Video monitoring using plenoptic cameras and mirrors
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
WO2016076796A1 (en) 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP2016202453A (ja) 2015-04-20 2016-12-08 株式会社トプコン 眼科手術用顕微鏡
US10437129B2 (en) * 2015-11-10 2019-10-08 Verily Life Sciences Llc Dynamic diffractive liquid crystal lens
US10582178B2 (en) * 2016-11-02 2020-03-03 Omnivision Technologies, Inc. Systems and methods for active depth imager with background subtract
US10598768B2 (en) 2017-05-24 2020-03-24 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
US10705214B2 (en) * 2017-07-14 2020-07-07 Microsoft Technology Licensing, Llc Optical projector having switchable light emission patterns
JP7030607B2 (ja) 2018-04-27 2022-03-07 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US11187804B2 (en) 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
US11563873B2 (en) 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing

Also Published As

Publication number Publication date
EP3980807A1 (en) 2022-04-13
BR112021023513A2 (pt) 2022-01-18
SG11202111974QA (en) 2021-12-30
US11561085B2 (en) 2023-01-24
WO2020247046A1 (en) 2020-12-10
US20200386540A1 (en) 2020-12-10
CN113924507A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
TW202111349A (zh) 混合主動深度
US10477118B2 (en) System and methods for depth imaging using conventional CCD image sensors
US10120066B2 (en) Apparatus for making a distance determination
KR102471148B1 (ko) 주변광을 차단하는 3차원 이미징 및 깊이 측정을 위한 씨모스 이미지 센서
WO2021120403A1 (zh) 一种深度测量装置及测量方法
CN107852475B (zh) 投影系统
CN112235522B (zh) 成像方法和成像系统
US10261287B2 (en) Imaging devices having autofocus control
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
CN114270803B (zh) 相位检测自动聚焦(pdaf)传感器
CN107836112B (zh) 投影系统
TW202142946A (zh) 廣角3d感測
KR20210055821A (ko) 깊이의 측정 범위에 기초하여 동작하는 센서 및 이를 포함하는 센싱 시스템
US11624834B2 (en) Time of flight sensing system and image sensor used therein
US20210327091A1 (en) Image processing apparatus and image processing method
JP4673674B2 (ja) 形状測定装置
JP2023001122A (ja) 撮像装置
TW202004669A (zh) 多頻譜高精確辨識物體的方法
US20240127401A1 (en) Active depth sensing
US11438486B2 (en) 3D active depth sensing with laser pulse train bursts and a gated sensor
WO2024081491A1 (en) Active depth sensing