TW202115364A - 利用雷射脈衝列叢發和閘控感測器的3d主動深度感測 - Google Patents

利用雷射脈衝列叢發和閘控感測器的3d主動深度感測 Download PDF

Info

Publication number
TW202115364A
TW202115364A TW109128751A TW109128751A TW202115364A TW 202115364 A TW202115364 A TW 202115364A TW 109128751 A TW109128751 A TW 109128751A TW 109128751 A TW109128751 A TW 109128751A TW 202115364 A TW202115364 A TW 202115364A
Authority
TW
Taiwan
Prior art keywords
light
sequence
light pulses
scene
laser
Prior art date
Application number
TW109128751A
Other languages
English (en)
Inventor
建 馬
佰成 謝
塞爾吉拉杜 勾瑪
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202115364A publication Critical patent/TW202115364A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本案內容提供了用於對場景進行感測的系統、方法和裝置。在一個態樣中，設備可以使用兩個或更多個時段的序列來對場景進行照明。每個時段可以包括在其期間將多個光脈衝發射到場景上的傳輸部分。每個時段可以包括與不存在發射光相對應的非傳輸部分。該設備可以在每個傳輸部分期間接收從場景反射的多個光脈衝。該設備可以在整個序列期間連續地累積指示所接收的光脈衝的光電電荷。該設備可以在序列結束之後，將所累積的光電電荷轉移到讀出電路。

Description

利用雷射脈衝列叢發和閘控感測器的3D主動深度感測
本專利申請案主張享有於2019年8月26日提出申請的、標題為「3D ACTIVE DEPTH SENSING WITH LASER PULSE TRAIN BURSTS AND A GATED SENSOR」、編號為16/550,938的美國非臨時申請的優先權，該申請轉讓給本案的受讓人並且在此經由引用的方式明確地併入本文中。
概括而言，本案內容涉及深度感測系統，以及具體而言，本案內容涉及對主動深度系統利用其產生深度資訊的速度和準確度進行改善。
設備可以使用各種主動或被動深度感測技術來決定場景中的物件或表面的距離。被動深度感測系統基於從場景中的物件反射的環境光來決定到該物件的距離。主動深度感測系統經由將光的脈衝發射到場景中以及分析從場景中的物件反射的相應的光脈衝，來決定到場景中的物件的距離。一些主動深度感測系統亦可以經由將結構光（SL）圖案投射到場景上以及分析從場景中的物件反射的SL圖案的變化，來決定到場景中的物件的距離。主動深度感測系統典型地採用飛行時間（ToF）技術或SL技術。
一些主動深度感測系統使用垂直腔面發射雷射器（VCSEL）的陣列，該雷射器各自經由繞射光學元件（DOE）來發射光點（或「圓點」）。DOE通常是具有週期性結構的光柵類型，以使從VCSEL發射的光繞射，以便在場景上形成2D陣列圖案（或「圓點圖案」）。隨後，一些系統可以將2D陣列「合併」以形成偽3D結構的光圖案。與此種合併相關聯的固有枕形畸變可能限制所得到的圖像的解析度。
為了消除此種畸變以及獲得較高解析度的圖像，主動深度感測系統可以使用單個DFB雷射器而不是VCSEL陣列，以經由編碼的DOE（而不是光柵類型DOE）來發射單個光點（或「圓點」）。編碼的DOE可以對單個光點進行整形和分割，以便將光的分佈（或「圓點圖案」）投射到場景上。在連續波或長脈衝（例如，毫秒的數量級）操作下，從一個DFB雷射器發射的光可能具有與從VCSEL陣列發射的光相比較低的功率（以及因此不太明亮），以及因此可能與VCSEL陣列相比更容易受到來自環境光（諸如太陽光）的干擾影響。
本案內容的系統、方法和設備各自具有數種創新態樣，其中沒有單個態樣單獨地負責本文中公開的期望的屬性。
在本案內容中描述的主題的一個創新態樣可以用作為對場景進行感測的方法。在一些實現方式中，方法可以包括：使用兩個或更多個時段的序列來對場景進行照明，每個時段包括在其期間將多個光脈衝發射到場景上的傳輸部分，並且包括與不存在發射光相對應的非傳輸部分。方法亦可以包括：在每個傳輸部分期間，接收從場景反射的多個光脈衝；及在整個序列期間連續地累積可指示所接收的光脈衝的光電電荷。方法亦可以包括：在序列結束之後，將所累積的光電電荷轉移到讀出電路。
在本案內容中描述的主題的另一創新態樣可以在裝置中實現。在一些實現方式中，裝置可以包括記憶體以及耦合到記憶體的處理器。處理器可以被配置為：使用兩個或更多個時段的序列來對場景進行照明，每個時段包括在其期間將多個光脈衝發射到場景上的傳輸部分，並且包括與不存在發射光相對應的非傳輸部分。處理器亦被配置為：在每個傳輸部分期間接收從場景反射的多個光脈衝；及在整個序列期間連續地累積指示所接收的光脈衝的光電電荷。處理器亦可以被配置為：在序列結束之後，將所累積的光電電荷轉移到讀出電路。
在本案內容中描述的主題的另一創新態樣可以在設備中實現。設備可以包括：用於使用兩個或更多個時段的序列來對場景進行照明的手段，每個時段包括在其期間將多個光脈衝發射到場景上的傳輸部分，並且包括與不存在發射光相對應的非傳輸部分。設備亦可以包括：用於在每個傳輸部分期間接收從場景反射的多個光脈衝的手段；及用於在整個序列期間連續地累積指示所接收的光脈衝的光電電荷的手段。設備亦可以包括：用於在序列結束之後，將所累積的光電電荷轉移到讀出電路的手段。
在附圖和以下說明書中闡述了在本案內容中描述的主題的一或多個實現方式的細節。根據描述、附圖和請求項，其他特徵、態樣和優勢將變得顯而易見。應注意的是，以下附圖的相對尺寸可能不是按比例繪製的。
出於描述本案內容的創新態樣的目的，下文說明書針對某些實現方式。然而，本領域一般技藝人士將容易認識到的是，本文的教導可以以多種不同的方式來應用。本案內容的各態樣涉及投光器，以及包括3D主動深度感測系統，該系統以雷射脈衝列叢發來發射光以及在閘控感測器處接收所發射的光的反射。
主動深度感測系統可以將光以預定義的點分佈（或聚焦光的另一種適當形狀）發射到場景中，以及反射光可以由主動深度感測系統接收。場景中的物件的深度可以是經由比較所接收的光的分佈和所發射的光的分佈來決定的。在對分佈進行比較時，可以在所接收的光中辨識針對所發射的光的預定義的分佈的一部分。在本案內容中，對光的分佈（例如，結構光（SL），諸如光點的分佈、泛光及/或其他形狀）進行投射的主動深度感測系統稱為SL系統（利用SL投射器）。
較密集的光分佈（如與較稀疏的光分佈相比，在某區域中的額外光點或聚焦光的更多實例）可以引起較高解析度的深度圖或可以決定的較大數量的深度。然而，與較稀疏的分佈相比，較密集的分佈下個體光點的強度較低，以及因此與較稀疏的光分佈相比，較密集的光分佈可能更容易受到來自環境光的干擾的影響。因此，較稀疏的分佈可能更適合用於白天場景（干擾較多），以及較密集的分佈可能更適合用於室內或夜間場景（干擾較少）。
許多設備在不同類型的照明（具有不同數量的干擾）下使用SL系統。例如，智慧型電話可以包括用於面部辨識的主動深度感測系統，以及智慧型電話可以在室內和室外使用。許多設備亦包括泛光照明器。泛光照明器可以將漫射光投射到場景上，使得在場景中存在足夠的光以供圖像感測器擷取場景的一或多個圖像。在一個實例中，執行面部辨識的設備（如智慧型電話）可以首先決定在場景中是否存在要辨識（及/或辨識）的面部。在一些實現方式中，設備可以使用泛光照明來擷取二維（2D）圖像，以及隨後將2D圖像與三維（3D）圖像結合使用，以辨識（及/或辨識）圖像中的面部（若有）。具體而言，設備的投光器可以包括泛光照明器，以將IR光投射到場景上，以便IR感測器可以擷取場景，以及該設備可以根據擷取來決定在場景中是否存在面部。若決定在場景中存在面部，則該設備可以接著使用主動深度感測系統（例如，經由一或多個投光器）來進行面部辨識及/或活性確認。在一些實現方式中，設備可以使用接近度感測器來決定在場景中是否存在面部。在一些態樣中，設備的使用者可以決定何時開啟投光器。在一些其他態樣中，設備可以被配置為自動地開啟投射器。以該等方式，設備可以將（例如，經由泛光照明擷取的）2D圖像與3D圖像結合使用來增強該設備的效能。
如上文所論述的，主動深度感測系統可以使用單個DFB雷射器以經由編碼的DOE來發射單個光點，此與VCSEL陣列相比，可以減少畸變以及獲得較高解析度的圖像。然而，由於針對DFB雷射器的損壞臨限值，所以在連續波或長脈衝（例如，毫秒的數量級）操作下，從DFB雷射器發射的光可能具有與從VCSEL陣列發射的光相比要低的功率（以及因此不太明亮），以及因此可能更容易受到環境光（例如，太陽光）影響。
本案內容的各態樣描述包括DFB雷射器的設備，該DFB雷射器被配置為輸出相對短的光脈衝叢發（「脈衝叢發」）的序列，該光脈衝叢發後均有相對長的冷卻時段，而不是以連續波長脈衝光來發射光。每個脈衝叢發可以包括少量的短光脈衝。經由將該脈衝列叢發和冷卻週期重複足夠的次數，本文中描述的設備賦能單個DFB雷射器以足夠高的功率安全地操作，以利用與VCSEL的陣列相當的亮度來對場景進行照明。因此，可以減少針對設備的由環境光（亦即，雜訊）導致的SNR降級。以此方式，本案內容的各態樣可以用於實現或以其他方式改進主動深度感測應用，諸如但不限於：面部鎖定、面部辨識、面部建模、動畫表情符號、使用者化身、視訊會議、3D建模（諸如汽車3D建模）、用於增強現實（AR）的3D建模、手勢辨識、宏室成像以及其他適當的應用。作為一個非限制性實例，即使當使用者和行動電話處於室外的明亮條件時，本案內容的各態樣亦可以使得行動電話能夠擷取該行動電話的使用者的面部（例如，以使得使用者能夠進行行動支付）。
在下文說明書中，闡述了眾多具體細節以提供對本案內容的透徹理解，該細節諸如具體的部件、電路和程序的實例。如本文所使用的術語「耦合」意指直接地連接或者經由一或多個介於中間的部件或電路來連接。另外，在下文說明書中以及出於解釋的目的，闡述具體術語以提供對本案內容的透徹理解。然而，對於本領域技藝人士而言將顯而易見的是，實踐本文中公開的教導可能不要求該等具體細節。在其他實例中，以方塊圖形式示出眾所周知的電路和設備，以避免模糊本案內容的教導。隨後的具體實施方式的一些部分是依據對在電腦記憶體內的資料位元的運算的程序、邏輯區塊、程序和其他符號表示來提供的。在本案內容中，程序、邏輯區塊、程序等被認為是引起期望的結果的步驟或指令的有條理的序列。步驟是要求對物理量的物理操縱的彼等步驟。通常，儘管不是必要的，但是該等量採取能夠在電腦系統中儲存、傳送、組合、比較和以其他方式操縱的電子或者磁信號的形式。
然而，應當記住的是，所有該等和類似術語將與適當的物理量相關聯，以及僅僅是應用於該等量的方便標記。除非另外明確地聲明（如根據下文的論述顯而易見的），否則要理解的是，貫穿本案，利用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「相乘」、「平均」、「監測」、「比較」、「應用」、「更新」、「量測」、「推導」、「解決」等的術語的論述指示電腦系統或類似的電子計算設備的動作和程序，該電腦系統或類似的電子計算設備將表示為在電腦系統的暫存器和記憶體內的物理（電子）量的資料操縱以及轉換為類似地表示為在電腦系統記憶體或暫存器或者其他此種資訊儲存、傳輸或顯示裝置內的物理量的其他資料。
在附圖中，單個方塊可以描述為執行一或多個功能；然而，在實際實踐中，由該方塊執行的一或多個功能可以在單個部件中執行或者跨越多個部件來執行，及/或可以使用硬體、使用軟體或者使用硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的部件、方塊、模組、電路和步驟依據其功能在下文進行概括描述。此種功能是實現為硬體還是軟體，取決於特定的應用和施加在整個系統上的設計約束。本領域技藝人士可以針對每個特定的應用以變通的方式實現所描述的功能，但是此種實現方式決策不應當解釋為導致背離本案內容的範圍。此外，示例設備可以包括除了彼等所示部件之外的部件，包括眾所周知的部件，諸如處理器、記憶體等。
本案內容的各態樣適用於包括或者耦合到一或多個主動深度感測系統的任何適當的電子設備（諸如安全系統、智慧型電話、平板設備、膝上型電腦、車輛、無人機，或其他設備）。儘管下文相對於具有或者耦合到一個投光器的設備來描述，但是本案內容的各態樣適用於具有任何數量的投光器的設備，以及因此不限於具體設備。
術語「設備」不限於一個或具體數量的實體物件（諸如一個智慧型電話、一個控制器、一個處理系統等）。如本文中所使用的，設備可以是具有可以實現本案內容的至少一些部分的一或多個組成部分的任何電子設備。儘管下文說明書和示例使用術語「設備」來描述本案內容的各個態樣，但是術語「設備」不限於物件的具體配置、類型或數量。另外，術語「系統」不限於多個部件或具體實現方式。例如，系統可以在一或多個印刷電路板或其他基板上實現，以及可以具有可移動的或靜止的部件。儘管下文說明書和示例使用術語「系統」來描述本案內容的各個態樣，但是術語「系統」不限於物件的具體配置、類型或數量。
圖1示出示例SL系統100的方塊圖。SL系統可以以點的分佈（或聚焦光的另一種適當的形狀）來發射光。本文中出於論述的目的，點的分佈可以稱為「圖案」、「SL圖案」、「圓點圖案」等，以及該圖案可以是預定義的或隨機的。光點可以投射到場景上，以及光點的反射可以由SL系統接收。場景中的物件的深度可以經由比較所接收的光的圖案和所發射的光的圖案來決定。在比較圖案時，用於所發射的光的預定義的分佈的一部分可以是在所接收的光中辨識的。SL系統可以使用SL投射器來投射光的分佈（如光點的分佈或其他形狀）。
SL系統100可以用於產生針對場景106的深度資訊。例如，場景106可以包括面部，以及SL系統100可以用於辨識或認證面部。SL系統100可以包括投射器102和接收器108。投射器102可以被稱為「發送器」、「投射器」、「發射器」等等，以及不應當限於具體的發送部件。貫穿以下公開內容，術語發射器、投射器和發送器可以互換地使用。接收器108可以稱為「偵測器」、「感測器」、「感測元件」、「光電偵測器」等等，以及不應當限於具體的接收部件。
儘管本案內容將分佈稱為光分佈，但是可以使用處於其他頻率的任何適當的信號（如射頻波、聲波等）。進一步地，儘管本案內容將分佈稱為包括多個光點，但是光可以聚焦成任何適當的尺寸和維度。例如，光可以以線條、正方形或任何其他適當的維度來投射。另外，本案內容可以將分佈稱為編碼字元分佈，其中該分佈的定義的部分（如預定義的光點的斑點）稱為編碼字元。若光點的分佈是已知的，則該分佈的編碼字元可以是已知的。然而，分佈可以是以任何方式來組織的，以及本案內容不應當限於具體類型的分佈或者具體類型的信號或脈衝。
投射器102可以被配置為將光點的分佈104投射或發射到場景106上。分佈104中的白色圓圈可以指示針對可能的點位置沒有投射光的地方，以及分佈104中的黑色圓圈可以指示針對可能的點位置投射光的地方。在一些示例實現方式中，投射器102可以包括一或多個光源124（如一或多個雷射器）、透鏡126和光調制器128。投射器102亦可以包括所發射的光從其逸出的光圈122。在一些實現方式中，投射器102可以進一步包括繞射光學元件（DOE），以將來自一或多個光源124的發射繞射為另外的發射。在一些態樣中，光調制器128（用於調節發射的強度）可以包括DOE。在將光點的分佈104投射到場景106上時，投射器102可以從光源124發射一或多個雷射，穿過透鏡126（及/或穿過DOE或光調制器128）以及到達場景106上。投射器102可以位於在與接收器108相同的參考平面上，以及投射器102和接收器108可以分開一段距離，該距離稱為基線（112）。
在一些示例實現方式中，由投射器102投射的光可以是IR光。IR光可以包括可見光譜的部分及/或光譜中肉眼不可見的部分。在一個實例中，IR光可以包括近紅外（NIR）光（其可以包括或者可以不包括在可見光譜內的光）及/或在可見光譜之外的IR光（如遠紅外（FIR）光）。術語IR光不應當限於具有在IR光的波長範圍內或在IR光的波長範圍附近的特定波長的光。進一步地，IR光是作為來自投射器102的示例發射來提供的。在下文說明書中，可以使用其他適當波長的光。例如，在可見光譜的部分中在IR光波長範圍之外的光或者紫外光。或者，可以使用具有不同波長的其他信號，如微波、射頻信號和其他適當的信號。
場景106可以包括在與SL系統（諸如距投射器102和接收器108）相距不同深度處的物件。例如，場景106中的物件106A和106B可以處於不同的深度。接收器108可以被配置為從場景106接收所發射的光點的分佈104的反射110。為了接收反射110，接收器108可以擷取圖像。當擷取圖像時，接收器108可以接收反射110、以及（i）光點的分佈104從場景106的不同深度處的其他部分的其他反射，以及（ii）環境光。在所擷取的圖像中亦可能存在雜訊。
在一些示例實現方式中，接收器108可以包括透鏡130，以將所接收的光（包括來自物件106A和106B的反射110）聚焦或引導至接收器108的感測器132上。接收器108亦可以包括光圈120。假設僅接收到反射110的實例，物件106A和106B的深度可以是基於基線112、在反射110中的光分佈104（如編碼字元）的位移和畸變、以及反射110的強度來決定的。例如，沿著感測器132從位置116到中心114的距離134可以用於決定物件106B在場景106中的深度。類似地，沿著感測器132從位置118到中心114的距離136可以用於決定物件106A在場景106中的深度。沿著感測器132的距離可以是依據感測器132的圖元的數量或距離（如毫米）來量測的。
在一些示例實現方式中，感測器132可以包括用於擷取圖像的光電二極體（如雪崩光電二極體）的陣列。為了擷取圖像，該陣列之每一者光電二極體可以擷取擊中光電二極體的光，以及可以提供指示光的強度的值（擷取值）。因此，圖像可以是由光電二極體的陣列提供的擷取值。
另外或替代地，感測器132可以包括互補金屬氧化物半導體（CMOS）感測器。為了經由光敏CMOS感測器來擷取圖像，該感測器的每個圖元可以擷取擊中該圖元的光，以及可以提供指示光的強度的值。在一些示例實現方式中，光電二極體的陣列可以耦合到CMOS感測器。以此種方式，由光電二極體的陣列產生的電脈衝可以觸發CMOS感測器的相應的圖元以提供擷取值。
感測器132可以至少包括至少一數量的圖元，該數量等於在分佈104中的可能的光點的數量。例如，光電二極體的陣列或CMOS感測器可以分別包括一數量的光電二極體或一數量的圖元，該數量對應於在分佈104中的可能的光點的數量。感測器132在邏輯上可以劃分為與編碼字元的小塊（bit）的大小相對應的圖元或光電二極體的組（如4x4組）。圖元或光電二極體的組亦可以稱為小塊，以及從感測器132的小塊擷取的圖像中的部分亦可以稱為小塊。在一些示例實現方式中，感測器132可以包括與分佈104相同數量的小塊。
若光源124發射IR光（如波長為例如940 nm的NIR光），則感測器132可以是IR感測器，以接收NIR光的反射。感測器132亦可以被配置為使用泛光照明器（為了簡單起見未圖示）來擷取圖像。如所示出的，距離134（對應於來自物件106B的反射110）小於距離136（對應於來自物件106A的反射110）。使用基於基線112以及距離134和距離136的三角量測，物件106A和106B在場景106中的不同的深度可以是在產生針對場景106的深度資訊時決定的。決定深度可以進一步包括決定分佈104在反射110中的位移或畸變。
儘管在圖1中示出多個單獨的部件，但是該等部件中的一或多個部件可以是一起實現的或者包括額外的功能。SL系統100可能並不需要所有描述的部件，或者部件的功能可以分為單獨的部件。亦可能存在未圖示的額外的部件。例如，接收器108可以包括帶通濾波器，以允許具有決定的波長範圍的信號傳遞到感測器132上（從而過濾掉具有在該範圍之外的波長的信號）。以此種方式，可以防止一些偶然的信號（諸如環境光）干擾由感測器132進行的擷取。帶通濾波器的範圍可以以投射器102的傳輸波長為中心。例如，若投射器102被配置為發射具有940 nm的波長的NIR光，則接收器108可以包括被配置為允許具有在例如920 nm至960 nm的範圍內的波長的NIR光的帶通濾波器。因此，關於圖1描述的實例是出於說明性的目的，以及本案內容不應當限於示例SL系統100。
對於投光器（如投光器102），光源可以是任何適當的光源。在一些示例實現方式中，光源124可以包括一或多個分散式回饋（DFB）雷射器。在一些其他示例實現方式中，光源124可以包括一或多個垂直腔面發射雷射器（VCSEL）。
DOE是位於來自光源的光的投射路徑中的材料。DOE可以被配置為將光點分成多個光點。例如，DOE的材料可以是具有已知折射率的半透明的或透明的聚合物。DOE的表面可以包括峰和谷（改變DOE的深度），以使得當光穿過DOE時，光點分成多個光點。例如，DOE可以被配置為從一或多個雷射器接收一或多個光點，以及對與由一或多個雷射器發射的光點相比數量更大的光點的預期分佈進行投射。儘管附圖可以示出DOE的深度僅沿著DOE的一個軸線變化，但是附圖僅用於輔助描述本案內容的各態樣。DOE的表面的峰和谷可以位於DOE的表面的任何部分處，以及引起DOE的各部分的深度的任何適當的變化，以及本案內容不應當限於針對DOE的特定表面配置。
若光源124包括雷射器的陣列（如VCSEL陣列），則光點的分佈的一部分可以由該陣列來投射。DOE可以用於在投射光點的分佈時複製該部分。例如，DOE可以將來自該陣列的投射分成多個實例，以及該投射的圖案可以是來自陣列的投射的重複。在一些示例實現方式中，DOE可以被配置為相對於投射垂直地、水平地或者以在垂直與水平之間的角度來重複投射。所重複的實例可以是重疊的、非重疊的或者任何適當的配置。儘管實例描述了被配置為拆分來自陣列的投射以及將實例彼此上下堆疊的DOE，但是本案內容不應當限於特定類型的DOE配置和投射的重複。
圖2示出在其內可以實現本案內容的各態樣的示例設備200的方塊圖。設備200可以包括或者耦合到發射器201、感測器202、處理器204、用於儲存指令208的記憶體206、以及主動深度控制器210（其可以包括一或多個信號處理器212）。發射器201可以包括或者耦合到繞射光學元件（DOE）205，以及可以包括或者耦合到漫射器207。在一些實現方式中，發射器201可以包括多個投射器。另外或在替代方式中，主動深度感測系統可以包括與發射器201分開的泛光照明器部件。本文中出於論述的目的，設備200可以稱為「SL系統」或「主動深度感測系統」。本文中進一步出於論述的目的，「主動深度感測系統」反而可以僅指示設備200的一或多個部件，如主動深度控制器210、發射器201、感測器202、處理器204及/或任何其他合適的部件。
在一些實現方式中，發射器201可以是用於將光脈衝發射到場景上的分散式回饋（DFB）雷射器。DOE 205可以使得發射器201能夠發射光的分佈，諸如已知的DOE圓點圖案、編碼字元DOE投射、隨機圓點投射或分佈等。漫射器207可以將設備200在一或多個操作模式之間轉換。例如，在傳輸模式下，可以接通漫射器207以允許發射器201將光脈衝發射到場景中，以及在非傳輸模式下，可以關掉漫射器207以防止發射器201將光脈衝發射到場景中。
在一些實現方式中，感測器202可以是被配置為接收從場景反射的光脈衝的閘控全域快門（GS）感測器。在一些態樣中，感測器202可以是複合CMOS圖像感測器。在一些態樣中，感測器202可以基於例如具有時分多工讀取（TDMR）能力的單片圖元陣列架構。
在一些實現方式中，主動深度控制器210可以是用於計算深度資訊的計算元件。在一些態樣中，主動深度控制器210可以被配置為控制（或者以其他方式操作）發射器201和感測器202中的一者或兩者。在一些態樣中，主動深度控制器210可以由設備200的一或多個其他部件（如處理器204及/或記憶體206）來控制、與其相結合地工作，或者以其他方式由其操作。
設備200可以可選地包括或者耦合到顯示器214和多個輸入/輸出（I/O）部件216。感測器202可以是或者可以以其他方式耦合到相機，諸如，單相機、雙相機模組，或者具有任何數量的其他相機感測器的模組（為了簡單起見未圖示）。信號處理器212可以被配置為處理來自感測器202的擷取。設備200可以進一步包括耦合到處理器204的一或多個可選感測器220（如陀螺儀、磁力計、慣性感測器、NIR感測器）。設備200亦可以包括電源218，該電源218可以耦合到設備200或者整合到設備200中。設備200可以包括未圖示的額外的特徵或部件。
記憶體206可以是儲存用於執行在本案內容中描述的一或多個操作的全部或部分操作的電腦可執行指令208的非瞬態或非暫時性電腦可讀取媒體。處理器204可以是能夠執行儲存在記憶體206內的一或多個軟體程式的腳本或指令（如指令208）的一或多個適當的處理器。在一些態樣中，處理器204可以是一或多個通用處理器，該通用處理器執行指令208以使得設備200執行任何數量的功能或操作。在額外或替代的態樣中，處理器204可以包括積體電路或其他硬體以在不使用軟體的情況下執行功能或操作。儘管在圖2的實例中示為經由處理器204互相耦合，但是處理器204、記憶體206、主動深度控制器210、可選顯示器214、可選I/O部件216和可選感測器220可以以各種佈置互相耦合。例如，處理器204、記憶體206、主動深度控制器210、可選顯示器214、可選I/O部件216及/或可選感測器220可以經由一或多個本端匯流排互相耦合（為了簡單起見未圖示）。
顯示器214可以是考慮到使用者交互及/或呈現用於由使用者觀看的項目（諸如場景的深度資訊或預覽圖像）的任何適當的顯示器或螢幕。在一些態樣中，顯示器214可以是觸敏顯示器。I/O部件216可以是或者包括用於從使用者接收輸入（諸如命令）以及向使用者提供輸出的任何適當的機制、介面或設備。例如，I/O部件216可以包括（但不限於）圖形化使用者介面、鍵盤、滑鼠、麥克風和揚聲器、設備200的可壓縮外框（bezel）或邊框、位於設備200上的實體按鈕等。顯示器214及/或I/O部件216可以向使用者提供針對場景的預覽圖像或深度資訊，及/或接收用於調整設備200的一或多個設置（諸如，調整由發射器201進行的發射的強度，決定或切換設備200的一或多個操作模式，調整發射器201的發射場等）的使用者輸入。
主動深度控制器210亦可以包括或者可以以其他方式耦合到信號處理器212，該信號處理器212可以是一或多個處理器以處理來自感測器202的擷取。主動深度控制器210可以替代地或另外包括特定硬體和執行軟體指令的能力的組合。
發射器201可以針對不同的操作模式來改變其發射場。在一些示例實現方式中，發射器201可以包括用於調整發射/傳輸場的大小的調焦裝置。在一個實例中，附接到致動器（諸如微電子機械系統（MEMS）致動器）的反射鏡可以調整來自發射器201的光發射的焦點。在另一實例中，可調整的全息光學元件（HOE）可以調整來自發射器201的光發射的焦點。在進一步的實例中，可成形繞射光學元件（DOE）（諸如用於調整形狀的壓電材料）可以被調整為將繞射的所發射的光點聚焦。
圖3示出包括主動深度感測投光器的示例設備300。在一些實現方式中，設備300可以是圖2的設備200的一個實例。設備300可以進一步包括IR感測器306，以基於從主動深度感測投光器302或泛光照明器304發射的光的反射（其中主動深度感測投光器302和照明器304投射IR光）來擷取圖像。在一些示例實現方式中，主動深度感測投光器302可以包括用於將光脈衝發射到場景上的一或多個DFB。在一些示例實現方式中，IR感測器306可以是用於接收從場景反射的光脈衝的閘控全域快門（GS）感測器。主動深度感測投光器302和IR感測器306可以藉由基線308而分隔。
示例設備300可以是智慧型電話，具有用於進行電話撥叫或其他無線通訊的耳機310和麥克風312。智慧型電話亦可以包括具有凹口或不具有凹口的顯示器314，該凹口包括主動深度感測投光器302、照明器304和IR感測器306。泛光照明器304可以將漫射IR光投射到場景上，以供IR感測器306基於漫射IR光的反射來擷取圖像。
圖4示出圖示用於對場景進行感測的示例操作的時序圖400。示例操作可以由設備（為了簡單起見未圖示）來執行，該設備諸如圖3的設備300、圖2的設備200或任何適當的設備。在一些實現方式中，設備可以是行動電話。
在時間t0 處，設備可以開始訊框曝光401。在訊框曝光401期間，設備可以使用兩個或更多個時段的序列來對場景進行照明。作為非限制性實例，示出在時間t0 處開始以及在時間t2 處結束的第一時段，以及示出在時間t2 處開始以及在時間t4 處結束的第二時段。兩個或更多個時段之每一者時段可以包括傳輸部分和非傳輸部分。本文中為了論述的目的，每個傳輸部分可以稱為「脈衝叢發」，以及每個非傳輸部分可以稱為「冷卻時段」。
在序列的每個傳輸部分期間，諸如從時間t2 到時間t3 ，設備可以將多個光脈衝發射到場景上。光脈衝之每一者光脈衝可以具有一持續時間，該持續時間示出為時間差
Figure 02_image001
。在一些實現方式中，設備可以包括用於發射多個光脈衝的一或多個雷射器（如圖3的投光器302）。在一些態樣中，雷射器中的一或多個雷射器可以是單模DFB雷射器，以及多個發射的光脈衝之每一者光脈衝可以是由單模DFB雷射器產生的。該設備亦可以在傳輸部分之每一者傳輸部分期間啟用一或多個感測器，如圖3的IR感測器306。一或多個感測器可以在傳輸部分之每一者傳輸部分期間接收從場景反射的多個光脈衝。在一些示例實現方式中，所接收的光脈衝可以是從設備的使用者的面部反射的。在一些態樣中，設備可以基於所接收的光脈衝來辨識或認證使用者的面部。
序列包括在脈衝叢發之間的多個非傳輸部分。作為非限制性實例，示出從時間t1 到時間t2 的第一非傳輸部分。非傳輸部分之每一者非傳輸部分可以對應於例如不存在發射的光（使得雷射器不發射光脈衝），使得雷射器的工作溫度可以在脈衝叢發之間降低。該設備可以例如經由停用一或多個感測器，來防止或停用在每個非傳輸部分期間的光電電荷的累積。以此種方式，該設備可以防止一或多個感測器在非傳輸部分期間接收環境光（此可能使SNR降級）。
在一些實現方式中，一或多個雷射器可以以選擇的發射功率位準來發射光脈衝之每一者光脈衝，該選擇的發射功率位準超過針對雷射器的連續操作或長脈衝操作的最大指定功率位準。隨著一或多個雷射器在傳輸部分期間發射光脈衝，一或多個雷射器的溫度可能接近或超過在其上一或多個雷射器可能遭受物理損壞的指定溫度值。可以選擇非傳輸部分之每一者非傳輸部分的持續時間，以防止對一或多個雷射器的損壞，如經由允許一或多個雷射器的工作溫度降低到低於指定溫度值的水平，來防止一或多個雷射器的工作溫度在傳輸部分的相應的一個傳輸部分期間大於指定溫度值。以此種方式，序列的非傳輸部分之每一者非傳輸部分可以為序列的先前傳輸部分提供冷卻時段。在一些態樣中，序列的每個非傳輸部分的持續時間可以比序列的每個相應的傳輸部分的持續時間大一個數量級。
由於針對傳統的單個DFB雷射器的閘控持續時間可能在大約數十奈秒的數量級上，因此傳統的GS感測器可能無法在與來自DFB雷射器的給定光脈衝同步的發射期間可靠地打開和關閉。例如，本案內容的各態樣可以使得GS感測器能夠被選通以及與來自單個DFB雷射器的每個脈衝叢發同步，例如使得設備在序列的每個傳輸部分期間接收反射光脈衝，以及在序列的每個非傳輸部分期間不接收任何或大部分光（例如，環境光）。作為一個非限制性實例，每個傳輸部分的持續時間可以是大約1 µs，以及每個非傳輸部分的持續時間可以是大約10 µs。每個傳輸部分可以包括大約25個光脈衝，以及每個光脈衝的持續時間（或者「脈衝寬度」）可以在諸如大約50%的適當（相對高）的工作週期中是大約20 ns。在一些態樣中，工作週期亦可以遵守DFB雷射器的熱特性。在一些態樣中，光脈衝可以是以大約2-3 A的電流來發射的。DFB雷射器可以被配置為發射足以使圖像飽和的多個短脈衝（在該實例中，大約800-3200）。在一些實現方式中，在每個脈衝叢發中的脈衝的數量和脈衝叢發的數量可以是基於系統條件來動態地調整的，該系統條件諸如所量測到的SNR，即
Figure 02_image003
，其中
Figure 02_image005
表示雷射信號，並且其中
Figure 02_image007
表示環境光雜訊。當該設備在室內時，SNR可以高於當設備暴露在室外的陽光下時的SNR。因此，在一些實現方式中，設備可以基於針對該設備的環境光條件來動態地調整傳輸部分的數量和多個光脈衝的數量中的至少一項。例如，當設備在室內（或者在其他弱光條件下）時，該設備可以動態地減少光脈衝的數量或傳輸部分的數量。作為另一實例，當設備在室外（或在其他強光條件下）時，該設備可以動態地增加光脈衝的數量或傳輸部分的數量。
作為非限制性實例，序列可以包括大約500-2000個時段，其中每個時段包括傳輸部分和非傳輸部分。部分地經由在每個脈衝叢發開始時（諸如在時間t0 處）接通GS感測器以及在每個脈衝叢發結束時（諸如在時間t1 處）關掉GS感測器，本案內容的各態樣可以允許單個DFB雷射器以足夠高的功率安全地操作，以利用與VCSEL的陣列（例如，大約2-3 W）相當的亮度來對場景進行照明。
針對訊框曝光401的時段的序列示出為包括數量n 個額外的時段。n 個額外的時段之每一者時段可以包括相應的傳輸部分和相應的非傳輸部分（為了簡單起見未圖示）。在整個序列期間（例如，在時間t0­ 處開始），設備可以連續地累積指示所接收的光脈衝的光電電荷。例如，一或多個感測器之每一者感測器可以是光電二極體，該光電二極體被配置為在序列的每個傳輸部分期間連續地從接收到的光脈衝接收光子。設備可以被配置為將光電電荷整合到該設備的一或多個儲存節點，諸如圖2的記憶體206。在一些態樣中，儲存節點中的一或多個儲存節點可以是電荷耦合裝置（CCD）類型的儲存節點（例如，儲存電容器）。序列可以繼續直到已經累積足夠的光電子以形成單個圖像訊框為止，諸如在時間tn+1 處。在一些實現方式中，設備可以以與在編號為9,332,200 B1的美國專利中公開的GS圖元架構類似的方式來對光電電荷進行整合。
序列（和訊框曝光401）可以在最終傳輸部分（「最終脈衝叢發」）之後結束，該最終傳輸部分在時間tn 處開始以及在時間tn+1 處結束。在一些實現方式中，最終傳輸部分之後可以不跟隨有相應的非傳輸部分。
在序列結束之後（例如，在時間tn+1 處），設備可以將所累積的光電電荷轉移（或「提取」）到讀出電路（為了簡單起見未圖示）。在一些實現方式中，設備可以以與在編號為9,332,200 B1的美國專利中公開的GS圖元架構類似的方式來讀出光電電荷。在一些示例實現方式中，設備可以在訊框曝光401之後執行數量m 次額外的訊框曝光。在m 次額外的訊框曝光中的每次曝光期間，設備可以與訊框曝光401相同或類似地操作。
圖5示出用於對場景進行感測的示例系統500。示例系統500被示為包括DFB、GS感測器、雷射驅動器和系統驅動器。DFB可以是相對於圖4描述的一或多個雷射器（例如，單個DFB雷射器）的示例實現方式。GS感測器可以是相對於圖4描述的一或多個感測器（例如，GS感測器）的示例實現方式。系統驅動器可以被配置為經由向雷射驅動器發送「開啟」觸發來打開雷射驅動器。當雷射驅動器開啟時，其可以將雷射驅動脈衝發送給DFB，以及DFB可以以雷射脈衝叢發的序列來發射相應的光脈衝，如相對於圖4所描述的。系統驅動器亦可以被配置為經由向GS感測器發送「開啟」觸發來啟用GS感測器。系統驅動器亦可以可選地在每個雷射脈衝叢發結束時發送「關閉」觸發以關掉GS感測器。另外或替代地，GS感測器可以被定時為在脈衝叢發的長度的特定持續時間（如大約1 μs）之後關閉。系統驅動器可以同時地向雷射驅動器和GS感測器中的每者發送相同的系統「開啟」觸發（如經由∆t所指示的）。因此，在每個雷射脈衝叢發開始時，可以觸發以及打開GS感測器。如相對於圖4所論述的，DFB因此可以安全地以足夠像VCSEL的陣列一樣明亮地對場景進行照明的功率位準來發射脈衝列，以及同時，系統可以經由將GS感測器選通為與針對脈衝列的每個短脈衝的開啟時間同步，來將由環境光雜訊導致的SNR降級最小化。
圖6示出圖示用於控制主動深度感測系統的示例操作的時序圖600。示例操作可以由設備（為了簡單起見未圖示）來執行，該設備諸如圖3的設備300、圖2的設備200或任何適當的設備。在一些實現方式中，該設備可以是行動電話。時序圖600可以類似於圖4的時序圖400。例如，訊框曝光601、脈衝叢發610、脈衝叢發620、脈衝叢發690、時間t0 、時間t1 、時間t2 、時間t3 、時間t4 、時間t5 、時間tn 、時間tn+1 、以及m 次額外的訊框曝光，可以與圖4的訊框曝光401、第一脈衝叢發、第二脈衝叢發、第三脈衝叢發、最終脈衝叢發、時間t0 、時間t1 、時間t2 、時間t3 、時間t4 、時間t5 、時間tn 、時間tn+1 以及m 次額外的訊框曝光相同或類似。示出與圖4中所示的雷射脈衝叢發相同或類似的「雷射脈衝叢發」。圖6亦示出觸發雷射脈衝叢發的相應的「雷射驅動脈衝叢發」，如相對於圖5所描述的。如相對於圖4和圖5所描述的，可以觸發GS感測器以與雷射脈衝叢發的開始同步地打開（例如，經由在時間t0 處的同時的「開啟」觸發）。亦可以可選地觸發GS感測器以與雷射脈衝叢發的結束同步地關閉（例如，經由在時間tA 處的「關閉」觸發）。
圖7示出圖示用於對場景進行感測的示例操作700的說明性流程圖。示例操作700由諸如圖2的設備200的設備來執行。設備使用兩個或更多個時段的序列來對場景進行照明，每個時段包括在其期間將多個光脈衝發射到場景上的傳輸部分，以及包括與不存在發射光相對應的非傳輸部分（701）。所發射的光脈衝之每一者光脈衝是從單模分散式回饋（DFB）雷射器以選擇的發射功率位準來發射的。在一些實現方式中，每個非傳輸部分的持續時間至少部分地基於所選擇的發射功率位準。另外或替代地，每個非傳輸部分的持續時間是基於雷射器的工作溫度在傳輸部分中的相應的一個傳輸部分期間大於溫度值來選擇的，以防止對雷射器的損壞。在一些態樣中，所選擇的發射功率位準超過針對雷射器的連續操作的最大指定功率位準。
設備在每個傳輸部分期間接收從場景反射的多個光脈衝（702）。在一些實現方式中，感測器可以在序列的每個傳輸部分期間連續地接收光子，以及可以防止感測器在序列的每個非傳輸部分期間接收環境光。
設備在整個序列期間連續地累積指示所接收的光脈衝的光電電荷（703）。在一些實現方式中，設備可以在序列的每個非傳輸部分期間暫停或停用對光電電荷的累積。
設備在序列結束之後，將所累積的光電電荷轉移到讀出電路（704）。在一些實現方式中，所轉移的累積的光電電荷可以用於構造場景的圖像。在一些態樣中，圖像可以是要由諸如智慧型電話的行動設備辨識或認證的使用者的面部。
如本文中所使用的，提及項目列表「中的至少一者」的短語指示彼等專案的任意組合，包括單個成員。作為實例，「a、b或c中的至少一者」意欲涵蓋：a、b、c、a-b、a-c、b-c和a-b-c。
結合本文所揭示的實現方式描述的各種說明性的邏輯單元、邏輯區塊、模組、電路和演算法程序可以實現為電子硬體、電腦軟體或兩者的組合。在功能態樣，已經概括地描述了以及在上述各種說明性的部件、方塊、模組、電路和程序中圖示硬體和軟體的可互換性。此種功能是實現為硬體還是軟體，取決於特定的應用以及施加在整個系統上的設計約束。
用於實現結合本文中所揭示的各態樣描述的各種說明性的邏輯單元、邏輯區塊、模組和電路的硬體和資料處理裝置，可以利用被設計為執行本文描述的功能的通用單晶片或多晶片處理器、數位訊號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯裝置、個別閘門或者電晶體邏輯、個別硬體部件或其任意組合來實現或執行。通用處理器可以是微處理器或者任何一般的處理器、控制器、微控制器或狀態機。處理器亦可以實現為計算設備的組合，諸如例如，DSP和微處理器的組合、多個微處理器、一或多個微處理器與DSP核心結合，或任何其他此種配置。在一些實現方式中，特定程序和方法可以由特定於給定功能的電路來執行。
在一或多個態樣中，所描述的功能可以以硬體、數位電子電路、電腦軟體、韌體（包括本說明書中公開的結構和其結構均等物）或者其任意組合來實現。在本說明書中描述的主題的實現方式亦可以實現為在電腦儲存媒體上編碼用於由資料處理裝置執行或控制資料處理裝置的操作的一或多個電腦程式，亦即，電腦程式指令的一或多個模組。
若以軟體來實現，則功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或者經由其進行傳輸。本文中公開的方法或演算法的程序可以是在可以位於電腦可讀取媒體上的處理器可執行軟體模組中實現的。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，該通訊媒體包括能夠實現為將電腦程式從一個地方傳送到另一個地方的任何媒體。儲存媒體可以是可以由電腦存取的任何可用的媒體。經由舉例而非限制性的方式，此種電腦可讀取媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存裝置，或者可以用於以指令或資料結構的形式儲存期望的程式碼並且可以由電腦存取的任何其他的媒體。此外，任何連接可以適當地稱為電腦可讀取媒體。如本文中所使用的，磁碟和光碟包括壓縮光碟（CD）、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地複製資料，而光碟則利用雷射來光學地複製資料。上述的組合亦應當包括在電腦可讀取媒體的範圍內。另外，方法或演算法的操作可以作為代碼和指令中的一者或任意組合或集合存在於機器可讀取媒體和電腦可讀取媒體上，該機器可讀取媒體和電腦可讀取媒體可以併入到電腦程式產品中。
對本案內容中描述的實現方式的各種修改對於本領域技藝人士而言可以是顯而易見的，以及在不背離本案內容的精神或範圍的情況下，本文中所定義的通用原則可以應用於其他實現方式。因此，請求項不意欲限於本文中示出的實現方式，而是要賦予與本案內容、本文中所揭示的原理和新穎特徵相一致的最廣的範圍。
100:SL系統 104:分佈 106:場景 106A:物件 106B:物件 108:接收器 110:反射 112:基線 114:中心 116:位置 118:位置 120:光圈 122:光圈 124:光源 126:透鏡 128:光調制器 130:透鏡 132:感測器 134:距離 136:距離 200:設備 201:發射器 202:感測器 204:處理器 205:繞射光學元件 206:記憶體 207:漫射器 208:指令 210:主動深度控制器 212:信號處理器 214:顯示器 216:輸入/輸出（I/O）部件 218:電源 220:可選感測器 300:設備 302:主動深度感測投光器 304:泛光照明器 306:IR感測器 308:基線 310:耳機 312:麥克風 314:顯示器 400:時序圖 401:訊框曝光 500:示例系統 600:時序圖 601:訊框曝光 610:脈衝叢發 620:脈衝叢發 690:脈衝叢發 700:操作 701:步驟 702:步驟 703:步驟 704:步驟
圖1示出示例結構光（SL）系統的方塊圖。
圖2示出可以在其中實現本案內容的各態樣的示例設備的方塊圖。
圖3示出包括主動深度感測系統的示例設備。
圖4示出圖示用於對場景進行感測的示例操作的時序圖。
圖5示出用於對場景進行感測的示例系統。
圖6示出圖示用於控制主動深度感測系統的示例操作的時序圖。
圖7示出圖示用於對場景進行感測的示例操作的說明性流程圖。
所有圖式中，相似的元件符號指示相應的部分。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
400:時序圖
401:訊框曝光

Claims (30)

  1. 一種用於對一場景進行感測的方法，包括以下步驟： 使用兩個或更多個時段的一序列來對該場景進行照明，每個時段包括在其期間將多個光脈衝發射到該場景上的一傳輸部分，並且包括與不存在一發射光相對應的一非傳輸部分； 在每個傳輸部分期間接收從該場景反射的多個光脈衝；及 在一整個該序列期間連續地累積指示所接收的該等光脈衝的光電電荷。
  2. 根據請求項1之方法，亦包括： 在該序列結束之後，將所累積的該光電電荷轉移到一讀出電路。
  3. 根據請求項1之方法，其中該接收包括： 將一光電二極體配置為在該序列的每個傳輸部分期間連續地接收光子。
  4. 根據請求項1之方法，亦包括： 防止在該序列的每個非傳輸部分期間對環境光的接收。
  5. 根據請求項4之方法，其中該防止包括： 停用在該序列的每個非傳輸部分期間對光電電荷的該累積。
  6. 根據請求項1之方法，其中該多個發射的光脈衝之每一者光脈衝是由一單模分散式回饋雷射器（DFB）來產生的。
  7. 根據請求項1之方法，其中該序列的每個非傳輸部分的一持續時間比該序列的每個傳輸部分的一持續時間大一個數量級。
  8. 根據請求項1之方法，其中該等發射的光脈衝之每一者光脈衝是從一雷射器以一選擇的發射功率位準來發射的，並且每個非傳輸部分的一持續時間是至少部分地基於該選擇的發射功率位準的。
  9. 根據請求項1之方法，其中該光脈衝是從一雷射器發射的，並且該序列是基於該雷射器的一熱特性的。
  10. 根據請求項9之方法，其中該熱特性包括一溫度值，並且其中每個非傳輸部分的該持續時間是基於該雷射器的該溫度在該等傳輸部分中的相應的一個傳輸部分期間大於該溫度值來選擇的，以防止對該雷射器的損壞。
  11. 根據請求項9之方法，其中該選擇的發射功率位準超過針對該雷射器的連續操作的一最大指定功率位準。
  12. 根據請求項1之方法，其中該光脈衝是從包括至少一個前置相機的一行動電話發射的。
  13. 根據請求項12之方法，其中所接收的該等光脈衝是從該行動電話的一使用者的一面部反射的。
  14. 根據請求項13之方法，亦包括： 基於所接收的該等光脈衝來辨識或認證該使用者的該面部。
  15. 根據請求項1之方法，亦包括： 基於針對該設備的環境光條件來動態地調整該傳輸部分的一數量或者該多個光脈衝的一數量中的至少一者。
  16. 一種裝置，包括： 一記憶體；及 一處理器，該處理器耦合到該記憶體並且被配置為： 使用兩個或更多個時段的一序列來對該場景進行照明，每個時段包括在其期間將多個光脈衝發射到該場景上的一傳輸部分，並且包括與不存在一發射光相對應的一非傳輸部分； 在每個傳輸部分期間接收從該場景反射的多個光脈衝；及 在整個該序列期間連續地累積指示所接收的該等光脈衝的光電電荷。
  17. 根據請求項16之裝置，其中該處理器亦被配置為： 在該序列結束之後，將所累積的該光電電荷轉移到一讀出電路。
  18. 根據請求項16之裝置，其中該處理器被配置為經由以下操作來接收該多個光脈衝： 將一光電二極體配置為在該序列的每個傳輸部分期間連續地接收光子。
  19. 根據請求項16之裝置，其中該處理器亦被配置為： 防止在該序列的每個非傳輸部分期間對環境光的接收。
  20. 根據請求項19之裝置，其中該處理器被配置為經由以下操作來防止對環境光的接收： 停用在該序列的每個非傳輸部分期間對光電電荷的該累積。
  21. 根據請求項16之裝置，亦包括： 一單模分散式回饋雷射器（DFB），被配置為發射該多個光脈衝。
  22. 根據請求項16之裝置，其中每個非傳輸部分的一持續時間比每個傳輸部分的一持續時間大一個數量級。
  23. 根據請求項16之裝置，其中該等光脈衝是從一雷射器以一選擇的發射功率位準來發射的，並且每個非傳輸部分的一持續時間是至少部分地基於該選擇的發射功率位準的。
  24. 根據請求項23之裝置，其中該選擇的發射功率位準超過針對該雷射器的連續操作的一最大指定功率位準。
  25. 根據請求項16之裝置，其中該等光脈衝是從一雷射器發射的，並且該序列是基於該雷射器的一熱特性的。
  26. 根據請求項25之裝置，其中該熱特性包括一溫度值，並且其中每個非傳輸部分的一持續時間是基於該雷射器的該溫度在該等傳輸部分中的相應的一個傳輸部分期間大於該溫度值來選擇的，以防止對該雷射器的損壞。
  27. 根據請求項16之裝置，其中該裝置包括一行動電話，該行動電話包括至少一個前置相機。
  28. 根據請求項27之裝置，其中所接收的該等光脈衝是從該行動電話的一使用者的一面部反射的。
  29. 根據請求項28之裝置，其中該處理器亦被配置為： 基於所接收的該等光脈衝來辨識或認證該使用者的該面部。
  30. 根據請求項28之裝置，其中該處理器亦被配置為： 基於針對該設備的環境光條件來動態地調整該等傳輸部分的一數量或者該多個光脈衝的一數量中的至少一者。
TW109128751A 2019-08-26 2020-08-24 利用雷射脈衝列叢發和閘控感測器的3d主動深度感測 TW202115364A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/550,938 2019-08-26
US16/550,938 US11438486B2 (en) 2019-08-26 2019-08-26 3D active depth sensing with laser pulse train bursts and a gated sensor

Publications (1)

Publication Number Publication Date
TW202115364A true TW202115364A (zh) 2021-04-16

Family

ID=72422272

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109128751A TW202115364A (zh) 2019-08-26 2020-08-24 利用雷射脈衝列叢發和閘控感測器的3d主動深度感測

Country Status (5)

Country Link
US (1) US11438486B2 (zh)
EP (1) EP4022355A1 (zh)
CN (1) CN114270220A (zh)
TW (1) TW202115364A (zh)
WO (1) WO2021041318A1 (zh)

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977684B1 (en) 1998-04-30 2005-12-20 Canon Kabushiki Kaisha Arrangement of circuits in pixels, each circuit shared by a plurality of pixels, in image sensing apparatus
JP3592106B2 (ja) 1998-11-27 2004-11-24 キヤノン株式会社 固体撮像装置およびカメラ
US6963370B2 (en) 2001-09-24 2005-11-08 The Board Of Trustees Of The Leland Stanford Junior University Method for improving SNR in low illumination conditions in a CMOS video sensor system using a self-resetting digital pixel
GB0208100D0 (en) * 2002-04-09 2002-05-22 Univ Strathclyde Semiconductor diode laser spectrometer arrangement
US7518759B2 (en) 2003-04-22 2009-04-14 Xerox Corporation Readout system for a CMOS-based image sensor array
US6927432B2 (en) 2003-08-13 2005-08-09 Motorola, Inc. Vertically integrated photosensor for CMOS imagers
US7456879B2 (en) 2003-08-29 2008-11-25 Aptina Imaging Corporation Digital correlated double sampling using dual analog path
US7443437B2 (en) 2003-11-26 2008-10-28 Micron Technology, Inc. Image sensor with a gated storage node linked to transfer gate
US7542085B2 (en) 2003-11-26 2009-06-02 Aptina Imaging Corporation Image sensor with a capacitive storage node linked to transfer gate
US20050128327A1 (en) 2003-12-10 2005-06-16 Bencuya Selim S. Device and method for image sensing
JP4940667B2 (ja) 2005-06-02 2012-05-30 ソニー株式会社 固体撮像素子及びその製造方法
TWI429066B (zh) 2005-06-02 2014-03-01 Sony Corp Semiconductor image sensor module and manufacturing method thereof
JP4752447B2 (ja) 2005-10-21 2011-08-17 ソニー株式会社 固体撮像装置およびカメラ
US8026966B2 (en) 2006-08-29 2011-09-27 Micron Technology, Inc. Method, apparatus and system providing a storage gate pixel with high dynamic range
US8049256B2 (en) 2006-10-05 2011-11-01 Omnivision Technologies, Inc. Active pixel sensor having a sensor wafer connected to a support circuit wafer
JP4341664B2 (ja) 2006-10-13 2009-10-07 ソニー株式会社 固体撮像装置および撮像装置
KR100828943B1 (ko) 2006-12-19 2008-05-13 (주)실리콘화일 3t-4s 스텝 ＆ 리피트 단위 셀 및 상기 단위 셀을 구비한 이미지센서, 데이터 저장 장치, 반도체 공정 마스크, 반도체 웨이퍼
JP2008172580A (ja) 2007-01-12 2008-07-24 Toshiba Corp 固体撮像素子及び固体撮像装置
KR100835892B1 (ko) 2007-03-26 2008-06-09 (주)실리콘화일 칩 적층 이미지센서
JP5104036B2 (ja) 2007-05-24 2012-12-19 ソニー株式会社 固体撮像素子とその製造方法及び撮像装置
US7782383B2 (en) 2007-06-18 2010-08-24 Aptina Imaging Corporation Noise and parasitic capacitance reduction for 1T pixel CMOS image sensors
KR100858033B1 (ko) 2007-10-15 2008-09-10 (주)실리콘화일 4ｔ－4ｓ 스텝 ＆ 리피트 단위픽셀 및 상기 단위픽셀을구비하는 이미지센서
US7960768B2 (en) 2008-01-17 2011-06-14 Aptina Imaging Corporation 3D backside illuminated image sensor with multiplexed pixel structure
US7538307B1 (en) 2008-02-19 2009-05-26 Teledyne Licensing Llc Charge multiplication CMOS image sensor and method for charge multiplication
US7965329B2 (en) 2008-09-09 2011-06-21 Omnivision Technologies, Inc. High gain read circuit for 3D integrated pixel
EP3396416A1 (en) * 2008-11-25 2018-10-31 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
JP5029624B2 (ja) 2009-01-15 2012-09-19 ソニー株式会社 固体撮像装置及び電子機器
WO2010090167A1 (ja) 2009-02-04 2010-08-12 株式会社 Ｒｏｓｎｅｓ 固体撮像装置
US20110101420A1 (en) 2009-10-31 2011-05-05 Pratik Patel Increasing full well capacity of a photodiode used in digital photography
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP2012048065A (ja) 2010-08-27 2012-03-08 Canon Inc 光電変換装置、焦点検出装置、および撮像システム
GB2487943A (en) 2011-02-09 2012-08-15 St Microelectronics Res & Dev A CMOS pixel sensor with local analogue storage in each pixel circuit for capturing frames in quick succession
US8637800B2 (en) 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
US9083905B2 (en) 2011-04-26 2015-07-14 Semiconductor Components Industries, Llc Structured light imaging system
US8686342B2 (en) 2012-04-09 2014-04-01 Omnivision Technologies, Inc. Double-sided image sensor formed on a single semiconductor wafer die
US8766387B2 (en) 2012-05-18 2014-07-01 Taiwan Semiconductor Manufacturing Company, Ltd. Vertically integrated image sensor chips and methods for forming the same
US9165968B2 (en) 2012-09-14 2015-10-20 Taiwan Semiconductor Manufacturing Co., Ltd. 3D-stacked backside illuminated image sensor and method of making the same
KR101402750B1 (ko) 2012-09-26 2014-06-11 (주)실리콘화일 3차원 구조를 가지는 이미지센서의 분리형 단위화소
CN104737290B (zh) 2012-10-26 2017-09-19 奥林巴斯株式会社 固体摄像装置、摄像装置以及信号读出方法
FR2998666B1 (fr) * 2012-11-27 2022-01-07 E2V Semiconductors Procede de production d'images avec information de profondeur et capteur d'image
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
US9318640B2 (en) 2013-03-15 2016-04-19 Taiwan Semiconductor Manufacturing Company, Ltd. Method and apparatus for image sensor packaging
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
CA2959335A1 (en) 2014-08-26 2016-03-03 Massachusetts Institute Of Technology Methods and apparatus for three-dimensional (3d) imaging
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9774801B2 (en) 2014-12-05 2017-09-26 Qualcomm Incorporated Solid state image sensor with enhanced charge capacity and dynamic range
US9560296B2 (en) 2014-12-05 2017-01-31 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
US10721420B2 (en) 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US10520602B2 (en) * 2015-11-30 2019-12-31 Luminar Technologies, Inc. Pulsed laser for lidar system
US9800807B2 (en) 2016-02-26 2017-10-24 Intel Corporation Image sensor operation for shutter modulation and high dynamic range
IL247944B (en) * 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
US10129377B2 (en) 2017-01-04 2018-11-13 Essential Products, Inc. Integrated structure including image capture and depth sensing components
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
AU2018386190A1 (en) * 2017-12-13 2020-06-04 Magic Leap, Inc. Global shutter pixel circuit and method for computer vision applications
EP3657774B1 (en) * 2018-04-28 2024-05-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control system, control method and control device for camera module, electronic device and computer readable storage medium
US10466342B1 (en) * 2018-09-30 2019-11-05 Hesai Photonics Technology Co., Ltd. Adaptive coding for lidar systems

Also Published As

Publication number Publication date
EP4022355A1 (en) 2022-07-06
CN114270220A (zh) 2022-04-01
US11438486B2 (en) 2022-09-06
US20210067662A1 (en) 2021-03-04
WO2021041318A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
JP6517244B2 (ja) 時間共有を使用する自動複数深度カメラ同期化
CN104253947B (zh) 智能相机闪光灯
TWI817996B (zh) 針對三維深度感測及二維成像調整攝影機曝光
US10721420B2 (en) Method and system of adaptable exposure control and light projection for cameras
WO2020057208A1 (zh) 电子设备
CA2812433C (en) Integrated low power depth camera and projection device
US9979953B1 (en) Reflector-based depth mapping of a scene
US8760499B2 (en) Three-dimensional imager and projection device
CN107408201B (zh) 具有同时的结构化和非结构化照明的数字相机单元
TW202043804A (zh) 包含具有多個通帶的帶通濾波器的三維感應器
US9430187B2 (en) Remote control of projection and camera system
US10359277B2 (en) Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US10194129B2 (en) Method of taking pictures for generating three-dimensional image data
US9268520B1 (en) Altering content projection
JP6970376B2 (ja) 画像処理システム、及び画像処理方法
US20180374230A1 (en) Energy Optimized Imaging System With 360 Degree Field-Of-View
US11818462B2 (en) Phase detection autofocus sensor apparatus and method for depth sensing
US20220034651A1 (en) Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US20160323553A1 (en) Methods, systems, and computer readable media for improved illumination of spatial augmented reality objects
TW202115364A (zh) 利用雷射脈衝列叢發和閘控感測器的3d主動深度感測
WO2022168500A1 (ja) 測距装置およびその制御方法、並びに、測距システム
US9762862B1 (en) Optical system with integrated projection and image capture
US11080874B1 (en) Apparatuses, systems, and methods for high-sensitivity active illumination imaging
US20200059637A1 (en) Three-dimensional sensing apparatus and three-dimensional sensing method
CN115112042A (zh) 检测装置、检测方法以及空间投影装置