TW202119809A - 相位偵測自動對焦(pdaf)感測器 - Google Patents

相位偵測自動對焦(pdaf)感測器 Download PDF

Info

Publication number
TW202119809A
TW202119809A TW109129584A TW109129584A TW202119809A TW 202119809 A TW202119809 A TW 202119809A TW 109129584 A TW109129584 A TW 109129584A TW 109129584 A TW109129584 A TW 109129584A TW 202119809 A TW202119809 A TW 202119809A
Authority
TW
Taiwan
Prior art keywords
depth data
pixels
depth
sensor
light
Prior art date
Application number
TW109129584A
Other languages
English (en)
Inventor
格盧斯金 米卡 加洛羅
百成 謝
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202119809A publication Critical patent/TW202119809A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本發明之各種實施例係針對一種包括一紅外相位偵測自動對焦(PDAF)感測器之器件。該器件可包括經組態以將一源光傳輸至一場景上之一投影器。該器件可包括經組態以接收該源光自該場景內之物件的反射之該紅外PDAF感測器。該紅外PDAF感測器可包括一第一組像素，該第一組像素包括對焦像素。該器件可包括耦接至該紅外PDAF感測器之一處理器及一記憶體。該處理器可經組態以基於該源光之接收到之反射而產生第一深度資料。該處理器可經組態以基於自對應該等成對之對焦像素產生的訊號而產生第二深度資料。該處理器可經組態以基於該第一深度資料及該第二深度資料而產生經組合深度資料。

Description

相位偵測自動對焦(PDAF)感測器
本發明係關於光學感測器，且具體係關於相位偵測自動對焦(PDAF)感測器。
器件可使用不同深度感測或深度測距系統來判定其周圍之距離。深度感測系統可包括主動深度系統及/或被動深度系統。主動深度系統包括結構化光系統、飛行時間(TOF)系統及其類似者。被動深度系統包括立體或多攝影機系統及其類似者。與其他深度感測系統相比，不同深度感測系統中之每一者具有強度及限制性。舉例而言，傳輸紅外(IR)或近紅外(NIR)光之主動深度系統在較低可見光狀況下運行良好，但在明亮的戶外狀況下可由於環境光而受雜訊影響。消耗者主動深度系統逐漸以諸如生物辨識安全性之應用的戶外操作為任務。深度系統可在窄頻帶中傳輸，且由於日光引起的任何非所要之頻帶外洩漏可降低訊雜比，此提供退化深度結果。替代地，被動深度系統在白天運行良好，但在低光狀況或在平坦及/或無紋理(untextured)區中無法運行良好。各種深度感測系統之額外限制性可包括校準要求及尺寸。舉例而言，主動深度系統需要校準，且結構化光及立體系統包括寬器件尺寸，此係由於在傳輸器與感測器之間及/或在感測器之間需要寬基線。
本揭示內容描述包括對焦像素之紅外線感測器的各種實施例。
各種實施例可包括一種器件，該器件包括一投影器及一紅外相位偵測自動對焦(PDAF)感測器。該投影器可經組態以將一源光傳輸至一場景上。該紅外PDAF感測器可經組態以接收該源光自該場景內之物件的反射。該器件可包括一記憶體及一處理器。該處理器可耦接至該記憶體及該紅外PDAF感測器。該處理器可經組態以基於該源光之接收到之反射而產生第一深度資料，基於該紅外PDAF感測器之對焦像素而產生第二深度資料且基於該第一深度資料及該第二深度資料而產生經組合深度資料。
在一些態樣中，該紅外PDAF感測器可包括複數個像素。該複數個像素可包括一第一組像素，該第一組像素包括該對焦像素。該複數個像素可包括一第二組像素，該第二組像素包括一窄頻帶濾波器。該第一組像素之至少一子集可包括該窄頻帶濾波器。
在一些態樣中，該第二深度資料之產生可基於自對應對之對焦像素產生之訊號之間的所判定差異。
在一些態樣中，該紅外PDAF感測器可包括一或多個濾波器。該一或多個濾波器可包括一或多個窄頻帶濾波器。該一或多個濾波器可包括一或多個彩色濾波器。該一或多個濾波器可機械地受控制以在該紅外PDAF感測器之一或多個像素上方移動。
在一些態樣中，該紅外PDAF感測器可包括在一主動深度系統內。可基於該主動深度系統而產生該第一深度資料。
在一些態樣中，該源光可包括紅外光。在一些態樣中，該源光可包括一圖案。該圖案可包括一結構化圖案。在一些態樣中，該源光可包括一泛光圖案。
在一些態樣中，產生該經組合深度資料包括基於與該第一深度資料相關聯之第一組信賴度值及與該第二深度資料相關聯之第二組信賴度值而將該第一深度資料之一部分與該第二深度資料之一部分組合。
在一些態樣中，基於與該第一深度資料相關聯之該第一組信賴度值及與該第二深度資料相關聯之該第二組信賴度值而將該第一深度資料之該部分與該第二深度資料之該部分組合可包括：將與該第一深度資料相關聯之該第一組信賴度值之一第一信賴度值與與該第二深度資料相關聯之該第二組信賴度值之一對應第二信賴度值進行比較，基於該比較而判定該第一信賴度值與該第二信賴度值之間的一更高信賴度值，及選擇與該更高信賴度值相關聯之一深度值以包括在該經組合深度資料內。
在一些態樣中，基於與該第一深度資料相關聯之該第一組信賴度值及與該第二深度資料相關聯之該第二組信賴度值而將第一深度資料之該部分與該第二深度資料之該部分組合可包括：將一第一權重指派給與該第一組信賴度值之一第一信賴度值相關聯之一第一深度值，該第一組信賴度值與該第一深度資料相關聯；將一第二權重指派給與該第二組信賴度值之一對應第二信賴度值相關聯的一對應第二深度值，該第二組信賴度值與該第二深度資料相關聯，其中該第一權重與該第一信賴度值成比例且該第二權重與該第二信賴度值成比例；及選擇與該第一深度資料相關聯之一第一權重深度值及與該第二深度資料相關聯之一第二權重深度值以包括在該經組合深度資料內。
在另一態樣中，揭示一種方法。該方法可包括基於包括一紅外相位偵測自動對焦(PDAF)感測器之一主動深度系統而產生第一深度資料。該方法可進一步包括基於包括在該紅外PDAF感測器內之對焦像素而產生第二深度資料。該方法可進一步包括基於該第一深度資料及該第二深度資料而產生經組合深度資料。
在又另一態樣中，揭示一種非暫時性電腦可讀儲存媒體。該非暫時性電腦可讀儲存媒體其上可儲存指令，該等指令在經執行時使得一或多個處理器基於包括一紅外相位偵測自動對焦(PDAF)感測器之一主動深度系統而產生第一深度資料，基於包括在該紅外PDAF感測器內之對焦像素而產生第二深度資料，且基於該第一深度資料及該第二深度資料而產生經組合深度資料。
在另一態樣中，揭示一種器件。該器件可包括用於基於包括一紅外相位偵測自動對焦(PDAF)感測器之一主動深度系統而產生第一深度資料之構件。該器件可包括用於基於包括在該紅外PDAF感測器內之對焦像素而產生第二深度資料之構件。該器件可進一步包括用於基於該第一深度資料及該第二深度資料而產生經組合深度資料之構件。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、物件及優點將自描述、圖式及申請專利範圍而顯而易見。
本申請案主張2019年8月30日申請之標題為「PDAF SENSOR」之美國臨時專利申請案第62/893,982號的優先權，該申請案特此以全文引用之方式併入本文中。
在概述中，本文中所揭示之各種實例提供包括紅外相位偵測自動對焦(PDAF)感測器之器件。器件可包括經組態以將一源光傳輸至一場景上之投影器或傳輸器。紅外PDAF感測器可經組態以接收源光自場景內之物件的反射。器件可包括記憶體及耦接至記憶體及紅外PDAF感測器之處理器。處理器可經組態以基於源光之接收到之反射而產生第一深度資料，基於紅外PDAF感測器之對焦像素而產生第二深度資料且基於第一深度資料及第二深度資料而產生經組合深度資料。
本揭示內容之優點包括藉由在包括對焦像素之單個感測器下接收光來產生用於場景之經改良深度資料，使得深度資料可由主動深度系統及對焦像素兩者來產生。由於由紅外PDAF感測器之對焦像素產生之深度資料可用於校準包括投影器及紅外PDAF感測器之主動深度系統，因此可降低器件之校準要求。一些包括結構化光系統之主動深度系統需要校準投影器及感測器。在一些校準方法中，首先校準感測器且隨後將其用於校準投影器。然而，此將感測器校準之任何誤差傳播至投影器校準中。相反，PDAF並不需要校準。因此，使用藉由紅外PDAF感測器之對焦像素(例如在主動深度系統中使用之同一感測器之對焦像素)產生的深度資料可促進更快且更準確地校準主動深度系統。另外，相比於傳統結構化光系統，器件可具有更窄尺寸，此係由於由紅外PDAF感測器之對焦像素產生之深度資料可用於改良由結構化光系統產生之深度資料，故在傳輸器(例如投影器)與接收器(例如紅外PDAF感測器)之間並不需要較大基線。在一些實例中，單個感測器可用於擷取除可見光外之IR及/或NIR光，從而減小器件之大小。如以下將進一步詳細論述，紅外PDAF感測器可包括一或多個濾波器。一或多個濾波器可包括一或多個彩色濾波器及/或一或多個窄頻帶濾波器。以此方式，紅外PDAF感測器可用於擷取除可見光外之IR及/或NIR光。
將參考隨附圖式詳細描述各種實施例。一般而言，貫穿圖式將使用相同附圖標記指代相同或類似部分。對特定實例及實施之參考僅出於說明之目的，且並不意欲限制本發明或申請專利範圍之範疇。
圖1為繪示場景、器件102及場景內及器件102之視場內的各種物件之圖式。如圖1中所展示，器件102可包括光學接收器104 (在本文中亦稱為接收器及/或感測器)及光學傳輸器105 (在本文中亦稱為傳輸器及/或投影器)。器件102之實例可包括影像擷取器件(諸如攝影機)，其可為以下各者或可為以下各者之部分：桌上型電腦、膝上型電腦、平板電腦、個人數位助理、個人攝影機、數位攝影機、運動攝影機、固定式攝影機、連接式攝影機、可穿戴式器件、汽車、無人機、無線通信器件、電話、電視、顯示器件、數位媒體播放器、視訊遊戲控制台或視訊流器件。器件102可能能夠擷取靜態或移動影像，而不管格式(例如，數位、膠片等)或類型(例如，視訊攝影機、靜態攝影機、網路攝影機等)如何。器件102可包括主動深度映射系統。主動深度映射系統可包括但不限於飛行時間系統、結構化光系統或其類似者。器件102可用於出於各種目的擷取影像(例如，2D影像、3D影像、深度圖等)，該等目的包括但不限於生物辨識安全性(例如，面部掃描、示意動作等)、休閒及其類似者。
光學傳輸器105之實例可包括投影器、雷射或其類似者。光學接收器104之實例可包括一或多個光學感測器(例如影像感測器)，諸如本文中所揭示之紅外PDAF感測器。在一些實例中，光學傳輸器105可將源光(例如紅外(IR)光、近紅外(NIR)、光、圖案、結構化圖案、泛光圖案、一或多個碼字、閃光等)傳輸至場景中且光學接收器104可接收可見光及/或自場景內之物件所反射的源光。在一些實施例中，光學傳輸器105可在光之特定波長及/或波長範圍的窄頻帶中傳輸(例如，發射)源光(例如，源光可包括光之波長的窄頻帶)。由光學傳輸器105與光學接收器104之間的箭頭描繪基線。儘管傳統結構化光系統在投影器與感測器之間需要較大基線，但在本文中所揭示之器件包括結構化光系統之情況下，由於包括在結構化光系統之感測器內的對焦像素，本文中所揭示之器件可減小投影器(例如，光學傳輸器105)與感測器(例如，光學接收器104)之間的基線。
如本文中所使用，IR為波長範圍在約700奈米(nm；0.7微米)至1毫米(mm；1,000微米)內之電磁輻射光譜的區。IR波長於可見光之波。IR光譜常常細分成較小區段，此係由於時常僅關注光譜之受限區。常見細分包括但不限於NIR、短波長紅外(SWIR)、中波長紅外(MWIR)或中紅外(IIR)、長波長紅外(LWIR)及遠紅外(FIR)。舉例而言，NIR光譜包括如上文所提及之包括在IR光譜範圍內之約0.75微米至1.4微米的波長。
器件102之視場(「FOV」)可包括物件108a至108c，該等物件包括灌木108a、人108b及樹108c。場景100可包括獨立於器件102之外部光源110。實例外部光源110可包括器件102外部之自然光源(例如，太陽)或人造光源。經反射光106a至106c可分別表示光自物件108a至108c之反射之路徑。所發射光112a可表示自外部光源110所發射之光的路徑。所發射光112b可表示自光學傳輸器105傳輸之源光的路徑。
如圖1中所展示，光學接收器104可包括一或多個對焦像素。將參考圖4A至4E進一步詳細描述對焦像素。光學接收器104可例如經由此圖中未展示之器件102之光學件感測光(例如，可見訊號、IR訊號及/或NIR訊號)，且因此基於所感測之光擷取器件102之FOV的影像。藉由光學接收器104接收之光可包括經由光學傳輸器105傳輸之源光的反射。藉由光學接收器104接收之光可包括來自外部光源110之光及/或來自外部光源110之光的反射。換言之，光學接收器104可直接或在其自器件102之FOV內的物件108a至108c反射之後吸收自外部光源110所發射之光。在一些實施例中，當器件102用於擷取影像時，光學傳輸器105可傳輸源光112b。在其他實施例中，光學傳輸器105可提供用於光學接收器104之感測週期之持續時間的恆定或脈衝式照明。在一些實施例中，光學接收器104及光學傳輸器105可為經組態以一起操作的兩個獨立(例如，單獨)組件。光學接收器104可經組態以基於接收到之光而產生FOV之影像。
與光學傳輸器105一樣，外部光源110可獨立於器件102起作用(例如，作為恆定照明源，諸如太陽)或可依賴於器件102起作用(例如，作為外部閃光器件)。舉例而言，外部光源110可包括在器件102之FOV內或在器件102之FOV的一部分中恆定地發射經發射光112a的外部光。
器件102可能能夠基於在光學接收器104處接收到之光判定場景之深度或物件之深度。圖1之實例實施例展示接收來自器件102之FOV內的物件108a至108c之經反射光106a至106c的光學接收器104。如所展示，物件108a至108c可在距器件102之各種深度處。然而，在一些實施例中，物件108a至108c可在距器件102之單一深度處。
在一些實施例中，器件102及/或光學接收器104可包括光學濾波器。光學濾波器可安置(例如，置放)在包括在光學接收器104內之影像感測器之一或多個光偵測器的前方，使得經由光學傳輸器105傳輸之源光的反射可在經光學接收器104之影像感測器之一或多個光偵測器處接收之前在光學濾波器處接收。如上文所描述，在其中光學傳輸器105在窄頻帶中傳輸源光的一些實施例中，光學接收器104可經組態以經由窄頻帶濾波器接收窄頻帶源光。光學濾波器可置放於光學接收器104之前方(或在光學接收器104之前方與/或包括在光學接收器104內之影像感測器之一或多個光偵測器之間的任何地方)，使得光學濾波器可濾出(例如，阻斷)不與源光之波長的窄頻帶相關聯之光的波長。以此方式，光學濾波器可允許光之特定波長穿過光學濾波器且因此在光學接收器104處接收。
光學濾波器可包括但不限於干涉濾波器、二向色濾波器、吸收性濾波器、單色濾波器、紅外濾波器、紫外濾波器、長通濾波器、帶通濾波器、短通濾波器及其他濾波器。光學帶通濾波器通常經組態以選擇性地傳輸某一範圍內之波長，而抑制在該範圍之外的波長。窄帶通濾波器通常經組態以傳輸光譜之窄區(例如，當使用IR或NIR窄帶通濾波器時之NIR或IR光譜之窄區)同時抑制在光譜之窄區外的光(例如，若窄帶通濾波器為IR或NIR窄帶通濾波器，則抑制可見光)。窄帶通濾波器(在本文中亦稱為窄頻帶濾波器)之實例可包括經組態以傳輸光之紅外或近紅外波長的紅外或近紅外帶通濾波器。藉由將光學濾波器(例如，窄帶通濾波器、光學帶通濾波器或其類似者)安置在光學接收器104之影像感測器之一或多個光偵測器的前方的位置上，光學濾波器可在光進入光學接收器104之一或多個光偵測器區之前過濾光(例如，在傳輸源光及/或源光之反射的同時抑制干擾光)。舉例而言，光學濾波器可傳輸窄波長範圍內的光(例如，允許光穿過)，而抑制窄波長範圍之外的光。已由光學濾波器過濾之光接著可進入光學接收器104之一或多個光偵測器且藉由光學接收器104之一或多個光偵測器來偵測。以此方式，可藉由光學接收器104經由光學濾波器(例如，窄帶通濾波器、光學帶通濾波器或其類似者)偵測僅與光學濾波器相關聯之特定波長範圍內(或多於一個特定波長範圍)之光，諸如NIR及/或IR光。
雖然圖1中未展示，但器件102可包括一或多個額外光學感測器以擷取FOV之單色及/或彩色影像。擷取FOV之單色及/或彩色影像之一或多個額外光學感測器可與光學接收器104分開。替代地，光學接收器104之一或多個光偵測器可用於擷取FOV之單色及/或彩色影像。
如上文所論述，器件102可能能夠基於在光學接收器104處接收到之光判定場景之深度(例如，產生深度資料及/或深度圖)或物件之深度。器件102可包括一或多個主動深度感測系統。主動深度感測系統可包括但不限於結構化光系統、飛行時間系統及/或其類似者。
主動深度系統可包括投影器(例如，傳輸器105)及接收器(例如，光學接收器104)。投影器可經組態以將源光傳輸至場景上。源光可包括紅外光。源光可包括圖案。圖案可為已知圖案。圖案可包括結構化圖案。圖案可包括泛光圖案。對於在不同時間處之不同投影，可改變及/或更新源光之圖案及/或對於在不同時間處之一或多個不同投影，可保持相同源光之圖案。
在一些實例中，投影器(例如，傳輸器105)可投影泛光。在其他實例中，單獨泛光照明器(未展示)可包括在器件102或本文中所揭示之其他器件內以投影泛光。經投影泛光可包括IR或NIR光。感測器(例如，接收器104)可接收泛光自場景內之物件之反射。感測器可基於接收到之反射而產生2維(2D)影像。在包括對焦像素之感測器的實例中，2D影像可藉由包括對焦像素之感測器之一或多個像素來產生。此改良低光環境中之成像且增加正面面部辨識及面部驗證。
圖2為實例結構化光系統200之描繪。結構化光系統200可用於產生場景(在場景中之不同深度處具有物件206A及206B)之深度資料及/或深度圖(未描劃)，或可用於物件206A及206B或場景之其他部分之測距的其他應用。結構化光系統200可包括傳輸器202及接收器208。傳輸器302可稱為「傳輸器」、「投影器」、「發射器」等，且不應限於特定傳輸組件。類似地，接收器308可稱為「偵測器」、「感測器」、「感測元件」、「光偵測器」等，且不應限於特定接收組件。
傳輸器202可經組態以將空間分佈204投影至場景(包括物件206A及206B)上。在一些實例實施中，傳輸器202可包括一或多個光源224 (諸如雷射源)、透鏡226及光調變器228。在一些實施例中，光調變器228可包括一或多個繞射光學元件(DOE)以將來自一或多個光源224 (其可由透鏡226導向至光調變器228)之發射繞射成額外發射。光調變器228亦可調整發射之強度。另外或替代地，光源224可經組態以調整發射之強度。
在傳輸器202之一些實例中，DOE可直接地耦接至光源(在無透鏡226的情況下)且可經組態以將來自光源之所發射光擴散至空間分佈204之至少一部分中。空間分佈204可為投影器傳輸至場景上之所發射光的固定分佈。舉例而言，碼遮罩可由DOE編碼，使得在來自光源224之光經由DOE投影時，自投影器及/或傳輸器202投影碼字圖案(例如，亦已知為結構化圖案)影像。碼字圖案可包括由複數個符號限定之可唯一識別的空間編碼碼字。在實例中，DOE可經製造以使得空間分佈204中之黑點對應於防止來自光源224之光由傳輸器202發射的DOE中之位置。以此方式，在分析由接收器208接收到之任何反射時可得知空間分佈204。傳輸器202可經由傳輸器202之孔徑222以一空間分佈傳輸光且將該光傳輸至場景(包括物件206A及206B)上。
在一些實例中，複數個不同經投影圖案可供使用，其中不同圖案可經組態以用於不同狀況(例如，用於在不同距離處之物件，或傳輸器202與接收器208之間的不同組態)。
接收器208可包括一孔徑220，所發射光之反射(例如光源之反射)可通過該孔徑220，該光由透鏡230導向且撞擊感測器210。感測器210可經組態以自場景偵測(或「感測」)光之空間分佈的一或多個反射。如所繪示，傳輸器202可定位在與接收器208相同的參考平面上，且傳輸器202及接收器208可由稱為「基線」的距離212分隔開。如本文中所揭示，感測器210可包括紅外PDAF感測器。
感測器210可包括像素及/或光電二極體(諸如雪崩光電二極體)之陣列以量測或感測反射。陣列可耦接至一互補金屬氧化物半導體(CMOS)感測器，該感測器包括對應於陣列中之光電二極體之數目的多個像素或區。由陣列產生之複數個電脈衝可觸發CMOS感測器之對應像素或區，以提供由陣列感測的反射之量測。替代地，感測器210可為一感光性CMOS感測器以感測或量測包括經反射碼字分佈之反射。CMOS感測器邏輯上可劃分成對應於空間分佈204之位元之大小或碼字(位元之塊)之大小的像素群。如圖2中所展示，感測器210可包括一或多個對焦像素。將參考圖4A至4E論述對焦像素。
反射可包括來自不同深度處之不同物件或場景之部分(諸如物件206A及206B)的光之空間分佈的多個反射。基於基線212、空間分佈204中之所感測光之移位及失真以及反射的強度，結構化光系統200可用於判定來自結構化光系統200之物件(諸如物件206A及206B)之一或多個深度及位置。利用基於基線及距離之三角量測，結構化光系統200可用於判定物件206A與206B之間的不同距離。舉例而言，若在感測器210處接收到之來自物件206A及206B之反射的空間分佈204之部分辨識或識別為相同，則自物件206B反射的光撞擊感測器210之位置216與感測器210之中心214之間的距離小於自物件206A反射的光撞擊感測器210之位置218與感測器210之中心214之間的距離。更小距離可指示物件206B比物件206A離傳輸器202更遠。計算可進一步包括判定空間分佈204之移位或失真以判定深度或距離。
圖3A為實例飛行時間(TOF)系統300之描繪。TOF系統300可用於產生場景(具有場景中之表面306)之深度資料及/或深度圖(未描劃)，或可用於表面306或場景之其他部分之測距的其他應用。TOF系統300可包括傳輸器302及接收器308。傳輸器302可稱為「傳輸器」、「投影器」、「發射器」等，且不應限於特定傳輸組件。類似地，接收器308可稱為「偵測器」、「感測器」、「感測元件」、「光偵測器」等，且不應限於特定接收組件。
傳輸器302可經組態以將訊號(諸如可包括泛光圖案之光場，亦稱為源光)傳輸、發射或投影至場景(包括表面306)上。雖然在實例中將TOF系統描述為發射光(其可包括NIR)，但可使用其他頻率下之訊號，諸如微波、射頻訊號、聲波等。本發明不應限於所發射訊號之頻率之特定範圍。
傳輸器302朝著場景傳輸光304。雖然所傳輸光304經繪示為導向至表面306，但藉由傳輸器發射或傳輸之場延伸超出如所傳輸光304所描繪。舉例而言，習知TOF系統傳輸器可具有用於發射之固定焦距透鏡，該透鏡界定來自傳輸器302之傳輸場。習知TOF系統之固定傳輸場在距傳輸器之深度處大於用於習知結構化光系統之空間分佈的每一點之固定傳輸場。因此，習知結構化光系統可比習知TOF系統具有更長有效範圍。
所傳輸光304包括在已知時間間隔(諸如週期性地)下之光脈衝314。接收器308包括感測器310以感測及/或接收所傳輸光304之反射312。感測器310可包括本文中所揭示之紅外PDAF感測器。反射312包括經反射光脈衝316，且TOF系統藉由將所傳輸光脈衝之時間318與經反射光脈衝之時間320進行比較而判定光之往返時間322。表面306距TOF系統之距離可經計算為往返時間的一半乘以發射之速度(諸如光發射之光速)。
感測器310可包括像素及/或光電二極體之陣列以量測或感測反射。在一些實例中，感測器310可包括CMOS感測器或包括用於感測之多個像素或區之其他合適的感光性感測器。如圖3A中所展示，感測器310可包括一或多個對焦像素。將參考圖4A至4E論述對焦像素。當脈衝之量值大於臨限值時，TOF系統300識別如由感測器210感測之經反射光脈衝316。舉例而言，TOF系統在不具有訊號之情況下量測環境光及其他干擾之量值，且接著判定進一步的量測值是否比先前的量測值大一臨限值。然而，在感測之前之雜訊或訊號的降級可使得訊雜比(SNR)對於感測器太大以致不能準確地感測經反射光脈衝316。
為減少干擾，接收器308可在感測器310之前包括帶通濾波器以過濾與所傳輸光304之不同波長的一些入射光。然而，仍存在藉由感測器感測之雜訊，且SNR隨反射312之訊號強度減小(諸如表面306遠離TOF系統300移動，或表面306之反射率減少)而增加。TOF系統300亦可增加傳輸器302之功率以增加所傳輸光304之強度。然而，許多器件具有功率約束條件(諸如智慧型電話、平板電腦或其他電池器件)，且在增加TOF系統之固定場中之所發射光的強度時受限制。
如上文所論述且返回參考圖1，在一些實施例中，光學傳輸器105 (例如，圖2之傳輸器202及/或圖3A之傳輸器302)可經組態以傳輸窄頻帶源光(例如，紅外或近紅外光)。在器件102可在戶外使用之情境中，諸如圖1之實例場景，來自太陽的光可產生低於理想之訊雜比，此可使得戶外操作不切實際。在光學接收器104 (例如，圖2之接收器208及/或圖3A之接收器308)處接收到之此日光(其可稱為干涉或頻帶外洩漏，此係由於該日光不與光學接收器104經組態以接收/擷取的源光相關聯及/或不為其之部分)可導致所得所擷取影像之雜訊、假影、過飽和及/或其他缺陷。濾出來自在光學接收器104處接收到之日光及/或干擾光(例如，不與經由光學傳輸器105傳輸之源光相關聯的光及/或不與意欲藉由器件102擷取之光相關聯的光)之傳統解決方案包括將窄帶通濾波器安置(例如，置放)在光學接收器104及/或光學接收器104之一或多個光偵測器前方/之前，使得不與源光相關聯之日光及/或干擾光及/或意欲藉由器件102擷取之光可在該光在光學接收器104處接收之前濾出。然而，由器件102擷取之所得影像(例如，深度資料或深度圖)之品質取決於抑制儘可能多的干擾光且傳輸儘可能多的待擷取之源光/預期光之窄帶通濾波器。因此，此在明亮的戶外場景中並不始終可能。為產生經改良深度圖，下文論述紅外相位偵測自動對焦(PDAF)感測器。
如上文所論述，光學接收器104可包括接收諸如紅外(IR)光之光的光學感測器或影像感測器。接收源光自場景(例如，FOV)內之物件之反射的相同光學接收器104在本文中可稱為紅外相位偵測自動對焦(PDAF)感測器。紅外PDAF感測器可包括複數個像素，亦已知為像素陣列。複數個像素中之每一者可包括一或多個光電二極體(在本文中亦稱為二極體)。複數個像素可包括第一組像素(包括對焦像素)及第二組像素(包括窄頻帶濾波器)。對焦像素亦可稱為相位偵測像素或相位偵測自動對焦像素。
存在可包括在影像感測器內之許多不同類型之對焦像素圖案及/或配置，該影像感測器包括作為一個實例的光學接收器104 (例如，分別為圖2及圖3之接收器208及/或308)。舉例而言，對焦像素可包括遮罩以限制照在對焦像素二極體上之光之量及方向，對焦像素可包括雙光電二極體(2PD)像素，其中每一2PD對焦像素包括兩個二極體，對焦像素可包括諸如微透鏡之晶片上透鏡(OCL)，該晶片上透鏡可限制照在對焦像素二極體上的光之量及方向。
對焦像素可包括遮罩以限制照在對焦像素二極體上之光之量及方向。參考圖4A，一些影像感測器(例如，像素陣列400)可包括一或多個對焦像素(例如，具有遮罩402a、402b之像素位置)該一或多個對焦像素已經遮掩以限制光自特定方向照在對焦像素之二極體上。遮罩402a及402b可沿相反方向安置於兩個不同對焦像素二極體上方以產生對左影像及右影像(例如，歸因於由遮罩402a及402b產生之半孔徑，對焦像素二極體可接收50%的光)。儘管圖4A中僅展示出一對對焦像素，但此僅出於例示性目的。任何數目個對焦像素可包括在影像感測器中。對焦像素之左右對可彼此鄰接或可由一或多個成像二極體404 (例如，未遮掩之成像像素)間隔開。對焦像素之左右對可在同一列或行中或在不同列或行中。如圖4A中所展示，具有遮罩402a及402b之對焦像素定位於同一行但不同列中，且藉由不包括遮罩(例如，不包括遮罩之成像像素304之成像二極體接收100%的光)之成像像素404間隔開。此僅出於例示性目的而展示，且並不意謂限制本發明。儘管遮罩402a及402b在像素陣列400內展示為遮掩對焦像素二極體之左右部分，但此僅出於例示性目的。對焦像素遮罩可遮掩對焦像素二極體之頂部及底部部分，從而產生向上及向下(或頂部及底部)影像對。
對焦像素可包括雙光電二極體(2PD)像素，其中每一對焦像素包括兩個二極體，第一光電二極體及鄰近於第一光電二極體之第二光電二極體。參考圖4B，一些影像感測器(例如，像素陣列410)可包括一或多個2PD像素，諸如包括左二極體412L及右二極體412R之2PD像素412。左二極體412L可產生左影像且右二極體412R可產生右影像。儘管展示像素陣列410內之每一像素以包括2PD對焦像素，但此僅出於例示性目的。對焦像素(例如，2PD像素)可為稀疏的，使得僅包括在影像感測器之像素陣列內的像素之子集為以任何方式(例如，彼此鄰接、彼此間隔開等)配置之2PD對焦像素，而其餘像素為包括單個二極體之成像像素。此外，儘管圖4B之所有2PD對焦像素展示為左右對，但此僅出於例示性目的。2PD對焦像素之其他組態可包括頂部及底部對(例如，向上及向下對)及/或單個影像感測器中之左右對及頂部及底部對之分類。
參考圖4C，像素陣列420之對焦像素可包括4PD像素，其中每一對焦像素422包括四個二極體(亦稱為QPD)。如圖4C中所展示，對焦像素422包括四個二極體422a、422b、422c及422d。以此方式，4PD對焦像素二極體可產生兩對影像：左右對(例如，基於對焦像素422a及422c之左對及基於對焦像素422b及422d之右對)，及向上及向下(例如，頂部及底部)對(例如，基於對焦像素422a及422b之向上對及基於對焦像素422c及422d之向下對)。儘管展示像素陣列420內之每一像素以包括4PD對焦像素，但此僅出於例示性目的。對焦像素(例如，4PD像素)可為稀疏的，使得僅包括在影像感測器之像素陣列內的像素之子集為以任何方式(例如，彼此鄰接、彼此間隔開等)配置之4PD對焦像素，而其餘像素為包括單個二極體之成像像素。在其他感測器配置中，單個像素陣列可包括為2PD像素之一些對焦像素而其他對焦像素為4PD像素。
對焦像素可包括諸如微透鏡之晶片上透鏡(OCL)，該晶片上透鏡可限制照在對焦像素二極體上之光的量及方向。參考圖4D及4E，一些影像感測器(例如，像素陣列430及440)可包括一或多個晶片上透鏡(例如，晶片上透鏡432及442)。晶片上透鏡可跨越多個鄰近像素/二極體，使得可產生影像對。舉例而言，OCL 432跨越4個像素/二極體(例如2×2 OCL)，使得可產生兩對影像：左右對及向上及向下(例如，頂部及底部)對。類似地，OCL 442跨越2個像素/二極體(例如2×1 OCL)，使得可產生左右對影像。儘管OCL 442在像素陣列440內展示為跨越左右鄰近像素/二極體(例如，在水平方向上)，但此僅出於例示性目的。晶片上透鏡可跨越頂部及底部鄰近像素/二極體(例如，在豎直方向上)，從而產生向上及向下(或頂部及底部)影像對。任何數目個對焦像素可包括在像素陣列內且可包括跨越4個像素/二極體及/或2個像素/二極體之OCL之混合。
圖4A至4E中所展示之對焦像素之任何實例組態或任何其他組態可包括在紅外PDAF感測器內。亦即，對焦像素之任何組態可包括在主動深度系統之感測器/接收器內。舉例而言，對焦像素之任何組態可包括在圖2之結構化光系統200之感測器/接收器210內。替代地，或另外，對焦像素之任何組態可包括在圖3A之TOF系統300之感測器/接收器310內。
圖3B描繪具有實例PDAF架構之TOF解調像素之等效電路。複數個TOF解調像素可包括在圖3A之感測器310內。圖3B中所描繪之PDAF架構可包括如參考圖4A所展示及所描述之遮罩(例如左屏蔽及/或右屏蔽)，或如參考圖4B所展示及所描述之2PD像素。合併雙轉移閘極TG1a及TG1b用於增加電荷轉移速度。在此時分像素設計方案中，雙轉移閘極(例如，TG1a及TG1b)減小光生電子自光電二極體(PD1及/或PD2)至浮動擴散(FD)節點(例如FD1及/或FD2)之行進距離，從而引起快速電荷轉移。像素亦可包括一些功能性電晶體，該等電晶體包括重設電晶體(RST)、源極隨耦器放大器(SF_AMP)及像素選擇電晶體(SEL)。
圖3C描繪具有實例PDAF架構之TOF解調像素之另一實例電路。複數個TOF解調像素可包括在圖3A之感測器310內。如參考圖4E所展示及所描述，圖3C中所描繪之PDAF架構可包括跨越2個像素/二極體(例如，左右及/或向上及向下)之OCL。
圖3D描繪具有實例PDAF架構之TOF解調像素之另一實例電路。複數個TOF像素可包括在圖3A之感測器310內。如參考圖4D所展示及所描述，圖3D中所描繪之架構可包括跨越4個像素/二極體(例如左、右、頂部及底部)之OCL。具有雙轉移閘極及圖3B中所描繪之儲存節點之4×1共用像素胞元引起快速電荷轉移。浮動擴散(FD_2n、FD2n+1、FD1及/或FD2)節點充當儲存節點。此實現結構化光(SL)及/或TOF深度感測框之交替讀出模式。
在SL成像模式中，像素操作類似於在滾動快門方式中具有共用放大器架構之4T主動像素。4T像素感測器為主動像素感測器，其中每一像素感測器單位胞元具有光偵測器及一或多個主動電晶體。4T像素胞元主要由轉移閘極、重設閘極、列選擇閘極及連接至光偵測器之源極隨耦器(放大器)輸入電晶體組成。在用於SL感測之NIR滾動快門成像模式期間，僅可激活像素中之雙轉移閘極中之一者。當讀出第n列中之像素時，僅可在重設FD1及FD2節點之後激活兩個轉移閘極TG1及TG4。當訪問n+1列中之像素時，打開TG5及TG8。在此時間期間，其他4個轉移閘極(TG2、TG3、TG6及TG7)始終斷開。此操作允許一次性讀出同一列中之所有像素。
當在TOF模式中操作時，所有轉移閘極在深度影像模式中與發射器訊號同步地打開及關閉。在圖3E中展示所發射光與經反射光之間的相位差及經調變訊號之週期的一半。
圖3E描繪解調TOF訊號之時序圖。當在TOF模式中操作時，所有像素及圖3A之傳輸器302在積分時間週期期間全域地操作，而根本不應用感測器310之其他控制訊號。當激活TG_2n轉移閘極(例如，TG2、TG4、TG6及TG8)及傳輸器302時，去激活TG_2n+1轉移閘極(例如，TG1、TG3、TG5及TG7)，由經反射光產生之電子自PD掃描至FD_2n節點(例如，來自圖3D之FD2)。電子之數目與TG_2n及經反射光訊號之重疊持續時間成比例，該經反射光訊號稱為同相原始訊號，S0 。接著，打開TG_2n+1轉移閘極，且關閉其他閘極，將所產生之電子轉移至FD_2n+1節點(例如，來自圖3D之FD1)。此等電子有助於異相原始訊號，S180 。在積分週期之後，接著讀出操作，FD節點均充當儲存節點，且關閉TG閘極。其允許以首先提取積聚訊號電荷且隨後讀取重設值之滾動快門方式進行讀出操作。在不活化傳輸器302之情況下，利用擷取之額外框進行背景光消除。當計算深度資料及/或深度圖時，自原始訊號S0 及S180 之兩個相位中減去暗偏移訊號。
一旦已在對焦像素處接收到光，則可將訊號(例如，來自成對對焦像素之訊號，諸如左右對焦像素或向上及向下對焦像素)與彼此進行比較。舉例而言，可比較自左對焦像素及右對焦像素產生之訊號之間的相位差且可判定訊號之間的分離誤差(例如，視差)。與對焦像素相關聯之左右影像之間的視差可為彼對焦像素之散焦值。
深度資料可基於視差資訊產生，該資訊基於一或多個對焦像素而判定。若影像感測器為密集型2PD感測器，則使得每一像素為2PD對焦像素，每一像素可與散焦值相關聯。對於12百萬像素感測器，其可能要處理大量資料以判定每一像素之散焦值。可使用神經網路判定視差資訊(例如，針對每一對焦像素之散焦值)。替代地，可針對像素群或區判定視差資訊(例如，散焦值)，以便按比例縮小待處理資料的量。舉例而言，可針對20×20像素群，或任何其他數目個像素判定視差資料。與框相關聯之視差資訊愈多，深度資料愈準確。
基於對焦像素之深度資料可基於視差資訊而判定。如將參考圖5所論述，使用熟知技術，可基於視差而判定深度資料。
如圖4A至4E中所描繪，像素陣列400、410、420、430及440之複數個像素未展示為包括濾波器。針對用於擷取彩色影像之傳統影像感測器，一或多個彩色濾波器可安置於一或多個像素上方，使得在感測器處接收到之光照在彩色濾波器上以僅允許光之特定波長照在像素之光電二極體上。在紅外PDAF感測器之實例中，一或多個窄頻帶濾波器可安置於一或多個像素上方，使得在感測器處接收到之光照在窄頻帶濾波器上以僅允許光之特定波長照在像素之光電二極體上。在此實例中，一或多個窄頻帶濾波器可允許源光(例如，紅外或近紅外光)之波長照在一或多個光電二極體上。
紅外PDAF感測器可包括一或多個窄頻帶濾波器。單個窄頻帶濾波器可安置於整個紅外PDAF感測器上方，使得光在照在紅外PDAF感測器之光電二極體之任一者上之前，照在單個窄頻帶濾波器上。在一些實例中，單個窄頻帶濾波器可安置在紅外PDAF感測器之一部分上，使得一些光在照在單個窄頻帶濾波器下方之紅外PDAF感測器的光電二極體上之前，照在單個窄頻帶濾波器上，而由於缺少安置於紅外PDAF感測器之一部分上方之窄頻帶濾波器，紅外PDAF感測器之其他光電二極體可接收所有光(例如，所有光之波長)。在一些實例中，窄頻帶濾波器可安置於紅外PDAF感測器之像素陣列之每一個像素上方，使得光在照在紅外PDAF感測器之光電二極體中之每一者上之前，照在每一窄頻帶濾波器上。在一些實例中，窄頻帶濾波器可安置於像素之子集(例如，第二組像素)上方，使得光在照在紅外PDAF感測器之像素之子集的光電二極體中之任一者上之前，照在像素之子集上方的窄頻帶濾波器上，而由於缺少安置於紅外PDAF感測器之其餘像素上方之窄頻帶濾波器，紅外PDAF感測器之其他光電二極體可接收所有光(例如，所有光之波長)。在紅外PDAF感測器之一些實例中，除各自包括窄頻帶濾波器之一或多個成像像素之外，一些對焦像素(例如，包括對焦像素之第一組像素)可各自包括窄頻帶濾波器。在單個窄頻帶濾波器之一些實例中，可機械地控制單個窄頻帶濾波器以在紅外PDAF感測器上方移動及/或遠離紅外PDAF感測器移動，使得光在照在紅外PDAF感測器之光電二極體上之前，不再照在單個窄頻帶濾波器上。可基於日時間、環境採光狀況、使用者偏好、使用者輸入等自動地控制濾波器。舉例而言，如圖中8所展示之器件之處理器可輸出指令以在紅外PDAF感測器之一或多個像素上方移動一或多個濾波器。在一些實例中，紅外PDAF感測器之一些像素可包括除窄頻帶濾波器外及/或代替窄頻帶濾波器之彩色濾波器。在一些實例中，彩色濾波器可不包括於紅外PDAF感測器中，而實際上包括於用於擷取單色及/或彩色影像之單獨影像感測器中。窄頻帶濾波器可安置在光學接收器104之透鏡前方或上方，安置在光學接收器104之後方或下方，或任何其他位置，使得在光學接收器104處接收到之光在光(例如，源光之反射)在光學接收器104之影像感測器之光偵測器處接收之前過濾。
紅外PDAF感測器之一或多個對焦像素可基於安置於一或多個對焦像素上方之濾波器(或缺少濾波器)而接收光之特定波長且基於接收到之光之波長產生深度資料。舉例而言，若在一或多個對焦像素上方未安置濾波器，則一或多個對焦像素可接收所有光，該光包括接收到之源光及任何環境光之反射。替代地，若一或多個濾波器安置於一或多個對焦像素上方，則一或多個對焦像素可接收穿過一或多個濾波器之任何光(例如，IR或NIR、環境光等)。如上文所論述，接著可基於在一或多個對焦像素處接收到之光而產生深度資料。
圖1之器件100可判定與第一深度資料相關聯之第一組信賴度值。第一深度資料可基於主動深度系統(諸如結構化光系統、TOF系統或其類似者)而產生。第一深度資料可包括第一深度圖。深度圖可為含有關於自器件100 (例如，器件100之感測器)至場景內之物件的表面之距離之資訊的影像。在一些實例中，第一組信賴度值可基於將第一像素位置之深度資料(例如，深度值)與來自第一像素位置之一或多個相鄰像素之深度資料進行比較而判定。舉例而言，儘管與前景及/或背景之相鄰像素相比而言，深度值中之差可沿物件邊界占優勢，但具有類似深度值之像素之鄰域內之單一像素差異可與相較於與相鄰像素相關聯之信賴度值更低的信賴度值相關聯。在一些實例中，第一組信賴度值可基於第一深度圖內之一或多個像素位置處之空間碼間隙(例如，中斷)而判定。在一些實例中，第一組信賴度值可基於接收到之碼字及/或圖案中之失真而判定。舉例而言，若碼字及/或圖案之接收到之反射之部分相較於預期碼字及/或圖案(例如，基於關於碼字及/或圖案之先前儲存資料)失真，則隨後深度圖之彼等部分可與相較於深度圖之其他部分更低之信賴度值相關聯。在一些實例中，第一組信賴度值可基於環境採光狀況及/或與器件相關聯之元資料而判定(例如，如上文所論述，相較於在室內或低光環境中擷取場景，在白天在戶外擷取場景可指示由於雜訊與第一深度資料相關聯之更低信賴度，從而導致減小SNR)。在一些實例中，第一組信賴度值可基於將基於接收到之源光之反射的第一深度資料(例如，第一深度圖)與與主動深度系統相關聯之先前儲存資料進行比較而判定。在一些實例中，第一組信賴度值可基於上文實例之一或多個組合而判定。此並不意謂本發明之限制性，因為可使用任何方式以判定與第一深度資料相關聯之第一組信賴度值。
信賴度評分可與第一深度圖之一或多個像素相關聯。舉例而言，第一深度圖中之每一像素與信賴度評分相關聯。替代地，第一深度圖中之像素群(例如，包括諸如2×2、4×4、10×10等之任何數目個像素之像素的鄰域)可與信賴度評分相關聯。第一深度圖可包括上文之組合，使得第一深度圖之單個像素可與單個信賴度評分相關聯，而包括單個像素或與單個像素分開之像素群可與信賴度評分相關聯。在一些實例中，與像素群相關聯之信賴度評分可為與包括於像素群內之個別像素相關聯之個別信賴度值的平均值。
圖1之器件100可判定與第二深度資料關聯之第二組信賴度值。第二深度資料可基於紅外PDAF感測器之對焦像素而產生。紅外PDAF感測器可為包括在主動深度系統內之相同接收器。圖5描繪與對焦像素相關聯之絕對差(SAD)量度之實例總和之曲線500，其中SAD (在y軸上)相對於對焦像素(在x軸上)之相位差標繪。SAD量度可表示左右對焦像素與/或向上及向下對焦像素之間的絕對差之總和。舉例而言，SAD量度可表示來自影像感測器之第一組對焦像素之訊號之間的絕對差之總和。相位差(在x軸上)可對應於至場景中之物件之候選距離，且因此判定至場景中之物件之距離對應於判定使SAD最小化之相位差。
對應於最小SAD (「最小相位差」)之相位差可對應於基於一或多個對焦像素之至場景中之物件之距離或深度之估計。更具體而言，最小相位差可對應於來自對應對焦像素之訊號之間的經估計之視差(例如，來自左及右對焦像素與/或向上及向下對焦像素之間的視差)，該視差與感測器(例如，感測器內之對焦像素之已知位置)之已知組態組合有助於提供經估計之深度。相對於圖5，曲線500中之SAD之最小值在510處描繪且出現在剛好超過4之相位差處。圖5中之曲線500之最小相位差展示為大致等於4.0299之「PD」。
SAD量度可用於判定與第二深度資料相關聯之第二組信賴度值。可使用各種技術來判定第二組信賴度值。在一些實例中，接近經判定最小相位差之SAD量度之局部屬性可用於判定第二組信賴度值之一或多個信賴度值。在一個實例中，相較於來自具有接近最小值之更淺斜率之SAD量度之經判定最小SAD，來自具有接近最小值之較大斜率之SAD量度之經判定最小SAD (從而生產明顯的最小值)可具有更高信賴度值。在一個實例中，信賴度值可對應於在相位差之範圍內之SAD量度之平均值與經判定SAD量度之最小值之間的比率。因此，SAD量度之最小值相對於平均值愈小，最小值愈明顯，且信賴度值愈高。相對於圖5，此類信賴度值可對應於平均SAD值530與最小SAD值520之間的比率。
在一些實例中，可針對與第二深度資料相關聯之第二深度圖內之每一像素判定SAD量度、最小相位差及信賴度值。舉例而言，每一像素可與經估計之深度(對應於經判定最小相位差)及經判定最小相位差之對應信賴度值相關聯。替代地，可針對像素群(例如，包括諸如2×2、4×4、10×10等之任何數目個像素之像素的鄰域)判定SAD量度、最小相位差及信賴度值。第二深度圖可包括上文之組合，使得第二深度圖之單個像素可與單個信賴度評分相關聯，而包括單個像素或與單個像素分開之像素群可與信賴度評分相關聯。在一些實例中，與像素群相關聯之信賴度評分可為與包括於像素群內之個別像素相關聯之個別信賴度值的平均值。
器件100可基於第一深度資料及第二深度資料產生經組合深度資料。基於第一深度資料及第二深度資料產生經組合深度資料可包括：基於與第一深度資料相關聯之第一組信賴度值及與第二深度資料相關聯之第二組信賴度值，將第一深度資料之部分與第二深度資料之部分組合。舉例而言，來自第一深度資料之一或多個深度值及來自第二深度資料之一或多個深度值可經選擇以包括在經組合深度資料中。來自第一深度資料及第二深度資料之一或多個深度值可基於與來自第一深度資料及第二深度資料之一或多個深度值相關聯之對應信賴度值而選擇。在一些實例中，經組合深度資料可包括經組合深度圖。
與深度值相關聯之對應信賴度值(例如，對應於單獨像素或像素群)可在第一深度資料與第二深度資料之間進行比較。基於該比較之與最高信賴度值相關聯之深度值可經選擇以包括在經組合深度資料及/或經組合深度圖中。所選擇之深度值可經選擇以用於單獨像素及/或用於像素群。舉例而言，與與第一深度資料相關聯之第一組信賴度值之第一深度值(用於單獨像素或用於像素群)相關聯之第一信賴度值可與對應第二信賴度值進行比較，該第二信賴度值與與第二深度資料相關聯之第二組信賴度值之第二深度值(用於對應單獨像素或用於對應像素群)相關聯。基於該比較，可在第一信賴度值與第二信賴度值之間判定更高信賴度值。與更高信賴度值相關聯之深度值可經選擇以包括在經組合深度資料及/或經組合深度圖中。換言之，基於第一深度圖或第二深度圖之無論哪個深度值具有最高信賴度值，第一深度資料之第一深度值或第二深度資料之第二深度值可包括在用於對應像素或像素群之經組合深度資料及/或經組合深度圖中。
在另一實例中，來自第一深度資料及第二深度資料之深度值中之每一者之貢獻比例可基於第一組信賴度值及第二組信賴度值而選擇。舉例而言，第一深度資料與第二深度資料之間的具有更高信賴度值之第一深度資料與第二深度資料之間的用於對應像素或像素群之深度值可指派第一權重，而第一深度資料與第二深度資料之間的更低信賴度值可指派第二權重，使得第一權重大於第二權重。在經加權之後，接著可在用於像素或像素群之經組合深度資料及/或經組合深度圖內表示兩個深度值。舉例而言，與與第一深度資料相關聯之第一組信賴度值之第一深度值(用於單獨像素或用於像素群)相關聯之第一信賴度值可與對應第二信賴度值進行比較，該第二信賴度值與與第二深度資料相關聯之第二組信賴度值之第二深度值(用於對應單獨像素或用於對應像素群)相關聯。基於該比較，可在第一信賴度值與第二信賴度值之間判定更高信賴度值及更低信賴度值。第一權重可指派給第一深度值且第二權重可指派給第二深度值。第一權重可與第一信賴度值成比例且第二權重可與第二信賴度值成比例。與第一深度資料相關聯之第一加權深度值及與第二深度資料相關聯之第二加權深度值兩者均可經選擇以包括在用於對應像素之經組合深度資料及/或經組合深度圖內。換言之，若第一深度資料及第二深度資料在給定像素或像素群處具有類似信賴度值，則經組合深度資料及/或經組合深度圖中之像素或像素群可反映來自第一深度資料及第二深度資料中之每一者之類似貢獻。相比之下，若第一深度資料在給定像素或像素群處相較於與第二深度資料之相同像素或像素群相關聯之信賴度值具有更低信賴度值，則第一深度資料之像素或像素群之深度值之貢獻在經組合深度資料及/或經組合深度圖中可更小。
在一些實例中，圖1之器件100可視情況停用主動深度系統。舉例而言，器件100可自使用者接收輸入以停用主動深度系統。在另一實例中，器件100可基於當前採光狀況及/或元資料來判定何時停用主動深度系統。舉例而言，若場景為在日光下明亮的，則可視情況停用主動深度系統。可藉由關閉傳輸器/投影器停用主動深度系統，使得不將源光傳輸至場景上。在此類情況下，深度資料可基於紅外PDAF感測器之對焦像素而產生。
在一些實例中，額外深度資料可基於包括在單獨感測器(例如，RGB感測器)及/或單獨立體攝影機系統內之對焦像素而產生。可考慮將基於包括在單獨感測器(例如，RGB感測器)及/或單獨立體攝影機系統內之對焦像素而產生之額外深度資料組合成經組合深度資料及/或經組合深度圖。
圖6為根據一些實施例之產生經組合深度資料之方法的流程圖。在方框602處，方法600可基於包括感測器之主動深度系統而產生第一深度資料。如上文所論述，主動深度系統可包括結構化光系統、TOF系統或其類似者。主動深度系統可包括傳輸器及接收器。接收器可包括感測器。在方框604處，方法600可基於包括在感測器內之對焦像素而產生第二深度資料。對焦像素可包括在主動深度系統之同一感測器/接收器內。在方框606處，方法600可基於第一深度資料及第二深度資料而產生經組合深度資料及/或經組合深度圖。
圖7A描繪基於單個深度映射系統所產生之實例場景702及對應深度圖704。單個深度映射系統可包括主動深度系統，諸如結構化光、TOF或其類似者。替代地，單個深度映射系統可包括被動深度系統，諸如立體攝影機系統或PDAF感測器之對焦像素。如圖7A中所展示，深度圖704包括場景702中之人之面部及/或身體應當處於的間隙(例如，白色或淺灰色區域)。圖7B描繪使用本文中所揭示之技術基於經組合深度資料及/或經組合深度圖而產生之實例場景712及對應深度圖714。如在圖7B之場景712中所見，呈圓點形式之源光已投影至場景712上。經組合深度資料及/或經組合深度圖(例如，深度圖174)可基於本文中所揭示之技術而產生，該等技術包括：基於在紅外PDAF感測器處接收到之圓點及/或環境光之反射產生第一深度資料，基於接收到之圓點之反射及/或基於紅外PDAF感測器之對焦像素之環境光產生第二深度資料，及基於第一深度資料及第二深度資料產生經組合深度資料及/或經組合深度圖(例如經組合深度圖714)。如圖7B中所見，經組合深度圖714相較於場景702之深度圖704包括更多深度資料，其中人之面部及/或身體在場景712中，該場景702之深度圖704僅使用一種深度映射技術而不使用本文中所揭示之紅外PDAF感測器。
圖8為包括主動深度系統之實例器件800之方塊圖。在一些實例中，主動深度系統可耦接至器件800。實例器件800可包括或耦接至傳輸器801 (諸如圖1之傳輸器105、圖2之傳輸器202及/或圖3A之傳輸器302)、接收器802 (諸如圖1之接收器104、圖2之接收器208及/或圖3A之接收器308)、處理器804、儲存指令808之記憶體806、深度控制器810 (其可包括一或多個訊號處理器812)。器件800可視情況包括(或耦接至)顯示器814及多個輸入/輸出(I/O)組件816。器件800可視情況包括攝影機803 (其可為單個攝影機、雙攝影機模組或具有任何數目個攝影機感測器之模組)，該攝影機803耦接至攝影機控制器822 (其可包括一或多個影像訊號處理器824以用於處理自攝影機803之擷取)。與攝影機803相關聯之影像感測器可包括對焦像素及/或彩色濾波器。器件800可進一步視情況包括一或多個感測器820 (諸如陀螺儀、磁力計、慣性感測器、NIR感測器等)。器件800可包括未展示之額外特徵或組件。舉例而言，可包括用於無線通信器件之無線介面，該無線介面可包括多個收發器及基頻處理器。器件800亦可包括電源供應器818，該電源供應器可耦接至器件800或整合至器件800中。
傳輸器801及接收器802可為由深度控制器810及/或處理器804控制之主動深度系統(諸如圖2之結構化光系統200及/或圖3A中之TOF系統300)之部分。器件800可包括或耦接至包括一或多個結構化光系統及/或TOF系統之額外主動深度系統。本發明不應限制於任何特定實例或說明(包括實例器件800)。如圖8中所展示，如參考圖4A至4E所論述主動深度系統之接收器802可包括一或多個對焦像素。
記憶體806可為儲存電腦可執行指令808以進行本發明中所描述之一或多個操作的所有或一部分之非瞬態或非暫時性電腦可讀媒體。處理器804可為能夠執行儲存於記憶體806內的一或多個軟體程式之指令碼或指令(諸如指令808)的一或多個合適的處理器。在一些態樣中，處理器804可為執行指令808以使得器件800進行任何數目個功能或操作的一或多個通用處理器。在額外或替代態樣中，處理器804可包括積體電路或其他硬體以在不使用軟體的情況下進行功能或操作。儘管在圖8之實例中經由處理器804展示為彼此耦接，但處理器804、記憶體806、深度控制器810、視情況選用之顯示器814、視情況選用之I/O組件816、視情況選用之攝影機控制器822及視情況選用之感測器820可在各種配置中彼此耦接。舉例而言，處理器804、記憶體806、深度控制器810、視情況選用之顯示器814、視情況選用之I/O組件816、視情況選用之攝影機控制器822及/或視情況選用之感測器820可經由一或多個區域匯流排(為簡單起見未展示)彼此耦接。一或多個區域匯流排可為各種匯流排結構中之任一者，諸如第三代匯流排(例如，超傳輸匯流排或無限頻帶匯流排)、第二代匯流排(例如，高級圖形埠匯流排、周邊組件互連(PCI)快速匯流排或高級可擴展介面(AXI)匯流排)或另一類型之匯流排或器件互連。應注意，圖8之不同組件之間的匯流排及通信介面之特定組態僅為例示性的，且具有相同或不同組件之器件的其他組態可用於實施本發明之技術。
顯示器814可為允許使用者互動及/或呈現項目(諸如場景之深度圖或預覽影像)以供使用者查看的任何合適之顯示器或螢幕。在一些態樣中，顯示器814可為觸敏式顯示器。I/O組件816可為或包括任何合適之機制、介面或器件以自使用者接收輸入(諸如命令)且向使用者提供輸出。舉例而言，I/O組件816可包括(但不限於)圖形使用者介面、鍵盤、滑鼠、麥克風及揚聲器、器件800之可擠壓邊框或邊界，定位於器件800上之實體按鈕等。顯示器814及/或I/O組件816可向使用者提供場景之預覽影像或深度圖及/或接收用於調整器件800之一或多個設定之使用者輸入(諸如藉由傳輸器801調整發射之強度，判定或切換主動深度系統之模式，調整傳輸器801之發射之場等)。
深度控制器810可包括訊號處理器812，該訊號處理器可為一或多個處理器以處理由接收器802所提供/接收到之量測及/或控制傳輸器801 (諸如切換模式)。在一些態樣中，訊號處理器812可執行來自記憶體之指令(諸如來自記憶體806之指令808或儲存於耦接至訊號處理器812之單獨記憶體中之指令)。在其他態樣中，訊號處理器812可包括用於操作之特定硬體。訊號處理器812可替代地或另外包括特定硬體與執行軟體指令之能力的組合。
詳細描述係針對某些特定實施例。然而，可考慮不同實施例。應顯而易見，可以廣泛多種形式來實施本文中之態樣，且本文中所揭示之任何特定結構、功能或兩者僅為代表性的。基於本文中之教示，熟習此項技術者應瞭解，可獨立於任何其他態樣來實施本文中所揭示之態樣且可以各種方式來組合此等態樣中之兩個或更多個。舉例而言，可使用本文中所闡述之任何數目個態樣來實施裝置或實踐方法。另外，可使用除本文中所闡述之態樣中之一或多者之外的或不同於本文中所闡述之態樣中之一或多者的其他結構、功能性或結構及功能性來實施該裝置或實踐該方法。
應理解，根據本文中所描述之任何特定實施例不一定可達成所有目標或優點。因此，舉例而言，熟習此項技術者將認識到，某些實施例可經組態以達成或最佳化如本文中所教示之一個優點或一組優點而不一定達成如本文中可能教示或推薦的其他目標或優點的方式來操作。
本文中所描述之所有程序可實施於藉由包括一或多個電腦或處理器之計算系統執行之軟體碼模組中，且完全經由該等軟體碼模組而自動化。碼模組可儲存於任何類型之非暫時性電腦可讀媒體或其他電腦儲存器件中。一些或所有方法可實施於專用電腦硬體中。
除本文中所描述之彼等變化外的許多其他變化將自本發明顯而易見。舉例而言，取決於實施例，本文中所描述之演算法中之任一者的某些動作、事件或功能可以不同序列進行，可經添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該演算法所必要)。此外，在某些實施例中，動作或事件可例如經由多執行緒處理、中斷處理或多個處理器或處理器核心或在其他並行架構上同時而非序列進行。另外，不同任務或程序可藉由可共同起作用之不同機器及/或計算系統來進行。
結合本文中所揭示之實施例所描述的各種例示性邏輯區塊及模組可藉由機器實施或進行，該機器諸如處理單元或處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘極陣列(FPGA)或其他可程式化邏輯器件、離散閘極或電晶體邏輯、離散硬體組件，或經設計以進行本文中所描述功能之其任何組合。處理器可為微處理器，但在替代例中，處理器可為控制器、微控制器或狀態機、其組合或其類似者。處理器可包括經組態以處理電腦可執行指令之電氣電路系統。在另一實施例中，處理器包括FPGA或在不處理電腦可執行指令情況下進行邏輯運算的其他可程式化器件。處理器亦可經實施為計算器件之組合，例如，DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器或任何其他此類組態。儘管本文中主要相對於數位技術進行描述，但處理器亦可包括主要類比組件。計算環境可包括任何類型之電腦系統，包括但不限於基於微處理器之電腦系統、大型主機電腦、數位訊號處理器、攜帶型計算器件、器件控制器或電氣設備內之計算引擎，僅舉幾例。
除非另外特定陳述，否則條件性語言(諸如「可」、「可以」、「可能」或「也許」等)在上下文中應另外理解為大體上用於傳達某些實施例包括而其他實施例不包括某些特徵、元件及/或步驟。因此，此類條件性語言大體上並非意欲暗示特徵、元件及/或步驟無論如何為一或多個實施例所需要，或一或多個實施例必需包括用於在具有或不具有使用者輸入或提示情況下決定此等特徵、元件及/或步驟是否包括於任何特定實施例中或有待於在任何特定實施例中進行的邏輯。
除非另外特定陳述，否則析取性語言(諸如，片語「X、Y或Z中之至少一者」)在上下文中應另外理解為大體上用於呈現項目、術語等可為X、Y或Z，或其任何為組合(例如，X、Y及/或Z)。因此，此類析取性語言大體上並非意欲且不應暗示某些實施例需要X中之至少一者、Y中之至少一者或Z中之至少一者各自呈現。
術語「判定」涵蓋廣泛多種動作，且因此「判定」可包括計算(calculating)、計算(computing)、處理、推導、調查、查找(例如，在表、資料庫或另一資料結構中查找)、確定及其類似者。此外，「判定」可包括接收(例如，接收資訊)、存取(例如，存取記憶體中之資料)及其類似者。此外，「判定」可包括解析、選擇、挑選、建立及其類似者。
片語「基於」並不意謂「僅基於」，除非另外明確地指定。換言之，片語「基於」描述「僅基於」及「至少基於」兩者。
本文中所描述及/或附圖中所描繪之流程圖中之任何製程描述、元件或區塊應理解為潛在地表示模組、片段，或碼之部分，其包括一或多個用於在製程中實施特定邏輯功能或元件之可執行指令。替代實施例包括在本文中所描述之實施例之範疇內，其中，取決於所涉及之功能性，如由熟習此項技術者將理解，可不按照所展示或所論述之次序(包括實質上同時或以相反次序)刪除、執行元件或功能。
除非另外明確陳述，否則諸如「一(a)」或「一(an)」之冠詞應大體上解譯為包括一或多個所描述之項目。相應地，諸如「經組態以……之器件」之片語意欲包括一或多個所敍述器件。此類一或多個所述之器件亦可共同地經組態以進行所陳述敍述。舉例而言，「經組態以進行敍述A、B及C之處理器」可包括結合經組態以進行敍述B及C之第二處理器起作用的經組態以進行敍述A的第一處理器。
應強調可對上文所描述之實施例進行許多變化及修改，其元件應理解為其他可接受之實例。所有此類修改及變化欲包括在本文中，在本發明之範疇內且受以下申請專利範圍保護。
100:場景 102:器件 104:光學接收器 105:光學傳輸器 106a:經反射光 106b:經反射光 106c:經反射光 108a:灌木 108b:人 108c:樹 110:外部光源 112a:所發射光 112b:源光 200:結構化光系統 202:傳輸器 204:空間分佈 206A:物件 206B:物件 208:接收器 210:感測器 212:基線 214:中心 216:位置 218:位置 220:孔徑 222:孔徑 224:光源 226:透鏡 228:光調變器 230:透鏡 300:飛行時間系統 302:傳輸器 304:傳輸光 306:表面 308:接收器 310:感測器 312:反射 314:光脈衝 316:經反射光脈衝 318:時間 320:時間 322:往返時間 400:像素陣列 402a:遮罩 402b:遮罩 404:成像二極體 410:像素陣列 412:像素 412L:左二極體 412R:右二極體 420:像素陣列 422:對焦像素 422a:二極體 422b:二極體 422c:二極體 422d:二極體 430:像素陣列 432:晶片上透鏡 440:像素陣列 442:晶片上透鏡 500:曲線 510:SDA之最小值 520:最小SDA值 530:平均SAD值 600:方法 602:方框 604:方框 606:方框 702:場景 704:深度圖 712:場景 714:深度圖 800:器件 801:傳輸器 802:接收器 803:攝影機 804:處理器 806:記憶體 808:指令 810:深度控制器 812:訊號處理器 814:顯示器 816:輸入/輸出組件 818:電源供應器 820:感測器 822:攝影機控制器 824:影像訊號處理器 FD1:浮動擴散節點 FD2:浮動擴散節點 FD_2n:浮動擴散節點 FD2n+1:浮動擴散節點 PD1:光電二極體 PD2:光電二極體 TG1:閘極 TG1a:閘極 TG1b:閘極 TG2:閘極 TG3:閘極 TG4:閘極 TG5:閘極 TG6:閘極 TG7:閘極 TG8:閘極
圖1為繪示器件及包括器件之視場之場景的實例圖。
圖2為實例結構化光系統之描繪。
圖3A為實例飛行時間(TOF)系統之描繪。
圖3B至3D描繪具有實例PDAF架構之實例TOF解調像素的電路。
圖3E描繪解調TOF訊號之時序圖。
圖4A至4E描繪包括不同對焦像素之不同像素陣列組態。
圖5描繪絕對差總和(SAD)量度之實例曲線。
圖6描繪用於產生經組合深度資料之方法的流程圖。
圖7A描繪基於單個深度映射系統所產生之實例場景及對應深度資料。
圖7B描繪基於經組合深度圖所產生之實例場景及對應深度資料。
圖8為包括深度感測系統之實例器件的方塊圖。
712:場景
714:深度圖

Claims (34)

  1. 一種器件，其包含： 一投影器，其經組態以將一源光傳輸至一場景上； 一紅外相位偵測自動對焦(PDAF)感測器，其經組態以接收該源光自該場景內之物件的反射，該紅外PDAF感測器包括一第一組像素，該第一組像素包括對焦像素； 一記憶體；及 一處理器，其耦接至該紅外PDAF感測器及該記憶體，該處理器經組態以： 基於該源光之接收到之反射而產生第一深度資料； 基於自對應該等成對之對焦像素產生之訊號而產生第二深度資料；及 基於該第一深度資料及該第二深度資料而產生經組合深度資料。
  2. 如請求項1之器件，其中該紅外PDAF感測器包括一第二組像素，該第二組像素包括一窄頻帶濾波器。
  3. 如請求項1之器件，其中產生該第二深度資料係基於自對應之成對對焦像素產生之該等訊號之間的所判定差異。
  4. 如請求項2之器件，其中該第一組像素之至少一子集包括該窄頻帶濾波器。
  5. 如請求項1之器件，其中該紅外PDAF感測器包括一或多個濾波器。
  6. 如請求項5之器件，其中該一或多個濾波器包括一或多個窄頻帶濾波器。
  7. 如請求項5之器件，其中該一或多個濾波器包括一或多個彩色濾波器。
  8. 如請求項5之器件，其中該一或多個濾波器機械地受控制以在該紅外PDAF感測器之一或多個像素上方移動。
  9. 如請求項1之器件，其中該紅外PDAF感測器包括在一主動深度系統內。
  10. 如請求項9之器件，其中基於該主動深度系統而產生該第一深度資料。
  11. 如請求項1之器件，其中該源光包括紅外光。
  12. 如請求項1之器件，其中該源光包括一圖案。
  13. 如請求項12之器件，其中該圖案包括一結構化圖案。
  14. 如請求項1之器件，其中該源光包括一泛光圖案。
  15. 如請求項1之器件，其中該處理器進一步經組態以： 判定與該第一深度資料相關聯之一第一組信賴度值；及 判定與該第二深度資料相關聯之一第二組信賴度值。
  16. 如請求項15之器件，其中產生該經組合深度資料包括基於與該第一深度資料相關聯之該第一組信賴度值及與該第二深度資料相關聯之該第二組信賴度值而將該第一深度資料之一部分與該第二深度資料之一部分組合。
  17. 如請求項16之器件，其中基於與該第一深度資料相關聯之該第一組信賴度值及與該第二深度資料相關聯之該第二組信賴度值而將該第一深度資料之該部分與該第二深度資料之該部分組合包括： 將與該第一深度資料相關聯之該第一組信賴度值之一第一信賴度值與與該第二深度資料相關聯之該第二組信賴度值之一對應第二信賴度值進行比較； 基於該比較而判定該第一信賴度值與該第二信賴度值之間的一更高信賴度值；及 選擇與該更高信賴度值相關聯之一深度值以包括在該經組合深度資料內。
  18. 如請求項16之器件，其中基於與該第一深度資料相關聯之該第一組信賴度值及與該第二深度資料相關聯之該第二組信賴度值而將該第一深度資料之該部分與該第二深度資料之該部分組合包括： 將一第一權重指派給與該第一組信賴度值之一第一信賴度值相關聯之一第一深度值，該第一組信賴度值與該第一深度資料相關聯； 將一第二權重指派給與該第二組信賴度值之一對應第二信賴度值相關聯的一對應第二深度值，該第二組信賴度值與該第二深度資料相關聯，其中該第一權重與該第一信賴度值成比例且該第二權重與該第二信賴度值成比例；及 選擇與該第一深度資料相關聯之一第一權重深度值及與該第二深度資料相關聯之一第二權重深度值以包括在該經組合深度資料內。
  19. 一種方法，其包含： 基於包括一紅外相位偵測自動對焦(PDAF)感測器之一主動深度系統而產生第一深度資料，該紅外PDAF感測器包括一第一組像素，該第一組像素包括對焦像素； 基於自對應之該等成對之對焦像素產生之訊號而產生第二深度資料；及 基於該第一深度資料及該第二深度資料而產生經組合深度資料。
  20. 如請求項19之方法，其中該紅外PDAF感測器包括一第二組像素，該第二組像素包括一窄頻帶濾波器。
  21. 如請求項19之方法，其中產生該第二深度資料係基於自對應之成對對焦像素產生之該等訊號之間的所判定差異。
  22. 如請求項20之方法，其中該第一組像素之至少一子集包括該窄頻帶濾波器。
  23. 如請求項19之方法，其中該紅外PDAF感測器包括一或多個濾波器。
  24. 如請求項23之方法，其中該一或多個濾波器包括一或多個窄頻帶濾波器。
  25. 如請求項23之方法，其中該一或多個濾波器包括一或多個彩色濾波器。
  26. 如請求項23之方法，其中該一或多個濾波器機械地受控制以在該紅外PDAF感測器之一或多個像素上方移動。
  27. 如請求項19之方法，其進一步包含： 經由一投影器將一源光傳輸至一場景上；及 經由該紅外PDAF感測器接收該源光自該場景內之物件的反射。
  28. 如請求項27之方法，其中該源光包括紅外光。
  29. 如請求項27之方法，其中該源光包括一圖案。
  30. 如請求項29之方法，其中該圖案包括一結構化圖案。
  31. 如請求項27之方法，其中該源光包括一泛光圖案。
  32. 如請求項19之方法，其進一步包含： 判定與該第一深度資料相關聯之一第一組信賴度值；及 判定與該第二深度資料相關聯之一第二組信賴度值。
  33. 如請求項32之方法，其中產生該經組合深度資料包括基於與該第一深度資料相關聯之該第一組信賴度值及與該第二深度資料相關聯之該第二組信賴度值而將該第一深度資料之一部分與該第二深度資料之一部分組合。
  34. 一種在其上儲存指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時使得一或多個處理器： 基於包括一感測器之一主動深度系統而產生第一深度資料，該感測器包括一第一組像素，該第一組像素包括對焦像素； 基於自對應之該等成對對焦像素產生之訊號而產生第二深度資料；及 基於該第一深度資料及該第二深度資料而產生經組合深度資料。
TW109129584A 2019-08-30 2020-08-28 相位偵測自動對焦(pdaf)感測器 TW202119809A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962893982P 2019-08-30 2019-08-30
US62/893,982 2019-08-30
US17/003,807 2020-08-26
US17/003,807 US11818462B2 (en) 2019-08-30 2020-08-26 Phase detection autofocus sensor apparatus and method for depth sensing

Publications (1)

Publication Number Publication Date
TW202119809A true TW202119809A (zh) 2021-05-16

Family

ID=74679216

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109129584A TW202119809A (zh) 2019-08-30 2020-08-28 相位偵測自動對焦(pdaf)感測器

Country Status (5)

Country Link
US (1) US11818462B2 (zh)
EP (1) EP4022339A1 (zh)
CN (1) CN114270803B (zh)
TW (1) TW202119809A (zh)
WO (1) WO2021041683A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141468A (zh) * 2021-05-24 2021-07-20 维沃移动通信（杭州）有限公司 对焦方法、装置和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
US20210231808A1 (en) * 2020-01-29 2021-07-29 Melexis Technologies Nv Depth mapping system and method therefor
WO2022195537A1 (en) * 2021-03-17 2022-09-22 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging
KR20240007277A (ko) 2021-05-18 2024-01-16 스냅 인코포레이티드 스테레오 비전 및 위상 검출 오토 포커스(pdaf)를 사용한 가변 깊이 결정

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100657915B1 (ko) * 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP5319347B2 (ja) * 2009-03-17 2013-10-16 キヤノン株式会社 撮像装置及びその制御方法
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US10178373B2 (en) * 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6362511B2 (ja) * 2014-11-04 2018-07-25 キヤノン株式会社 撮像装置及びその制御方法
US9906772B2 (en) 2014-11-24 2018-02-27 Mediatek Inc. Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US9584716B2 (en) * 2015-07-01 2017-02-28 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
US9906706B2 (en) * 2015-12-23 2018-02-27 Visera Technologies Company Limited Image sensor and imaging device
KR102618542B1 (ko) * 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
US10271033B2 (en) 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10044926B2 (en) 2016-11-04 2018-08-07 Qualcomm Incorporated Optimized phase detection autofocus (PDAF) processing
JP6547073B2 (ja) * 2017-03-13 2019-07-17 ルミレッズ ホールディング ベーフェー 改善されたオートフォーカス性能を有する撮像装置
CN106982329B (zh) * 2017-04-28 2020-08-07 Oppo广东移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
CN107888829B (zh) 2017-11-23 2020-08-28 努比亚技术有限公司 移动终端的对焦方法、移动终端及存储介质
US10755426B2 (en) * 2018-05-23 2020-08-25 Apple Inc. Efficient scene depth map enhancement for low power devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141468A (zh) * 2021-05-24 2021-07-20 维沃移动通信（杭州）有限公司 对焦方法、装置和电子设备

Also Published As

Publication number Publication date
US20210067705A1 (en) 2021-03-04
US11818462B2 (en) 2023-11-14
EP4022339A1 (en) 2022-07-06
CN114270803B (zh) 2024-08-13
CN114270803A (zh) 2022-04-01
WO2021041683A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
TW202119809A (zh) 相位偵測自動對焦(pdaf)感測器
US11575843B2 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US10924703B2 (en) Sensors and systems for the capture of scenes and events in space and time
US9979886B2 (en) Multi-mode power-efficient light and gesture sensing in image sensors
US10582178B2 (en) Systems and methods for active depth imager with background subtract
US9182490B2 (en) Video and 3D time-of-flight image sensors
US20170264836A1 (en) Image sensors with electronic shutter
KR20170015160A (ko) 선택적 적외선 필터 어레이를 갖는 센서 어셈블리
TWI565323B (zh) 分辨前景的成像裝置及其運作方法、以及影像感測器
KR102125154B1 (ko) 이미징 시스템들에 대한 근적외선 스펙트럼 응답을 확장하는 시스템 및 방법
KR101991237B1 (ko) 공간 및 시간 내의 이벤트들의 포착
US20160037093A1 (en) Image sensors with electronic shutter
US10574872B2 (en) Methods and apparatus for single-chip multispectral object detection
US9407845B1 (en) Self powering camera
CN111982023A (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
TW202303522A (zh) 使用多點深度感測系統資訊處理圖像資料
TWI577971B (zh) 雙孔徑測距系統
CN115201851A (zh) 图像捕获设备
CN110598685A (zh) 分辨前景的成像装置