TWI554787B - 深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像感測器的方法 - Google Patents

深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像感測器的方法 Download PDF

Info

Publication number
TWI554787B
TWI554787B TW101108382A TW101108382A TWI554787B TW I554787 B TWI554787 B TW I554787B TW 101108382 A TW101108382 A TW 101108382A TW 101108382 A TW101108382 A TW 101108382A TW I554787 B TWI554787 B TW I554787B
Authority
TW
Taiwan
Prior art keywords
depth
pixel
pixel signals
phase difference
digital
Prior art date
Application number
TW101108382A
Other languages
English (en)
Other versions
TW201243396A (en
Inventor
閔桐基
陣暎究
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201243396A publication Critical patent/TW201243396A/zh
Application granted granted Critical
Publication of TWI554787B publication Critical patent/TWI554787B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像 感測器的方法
本發明概念之示範實施例是有關於一種深度資訊計算，而且特別是有關於一種使用飛行時間(time of flight,TOF)原理的深度感測器、其深度資訊錯誤補償方法以及包含深度感測器的訊號處理系統。
當使用飛行時間型的深度感測器(depth sensor)，其藉由利用具有相位差0度、90度、180度及270度的多個訊號無法同時偵測到多個畫素訊號(pixel signal)時，深度感測器會藉由使用相位差具有時間延遲(time lag)的多個訊號來偵測多個畫素訊號。
然而，當深度感測器藉由使用相位差具有時間延遲的多個訊號偵測到多個畫素訊號且當一個目標物件(target object)快速移動時，深度感測器會量測到含有深度資訊錯誤(depth information error)的深度資訊。
本發明提供一種能夠將在不同時間區間所偵測到的多個畫素訊號彼此互相比較的深度感測器，並且提供一種根據比較結果用來補償深度資訊錯誤的深度感測器、及其深度資訊錯誤補償的方法以及具有深度感測器的訊號處理系統。
在本發明概念中至少一示範實施例是關於一種含有輸出調變光線至目標物件的深度資訊錯誤補償方法，在第 一時間區間的不同偵測時間點來第一次偵測多個第一畫素訊號，第一畫素訊號表示在第一時間區間中自目標物件反射的反射光線。在第二時間區間的不同偵測時間點來第二次偵測多個第二畫素訊號，第二畫素訊號表示在第二時間區間中自目標物件反射的反射光線。將多個第一畫素訊號中的每一個與多個第二畫素訊號中的每一個作比較，並且依據比較結果來計算關於目標物件的深度資訊。
第一及第二次偵測包括：發生於週期時間為0度、90度、180度或270度相位差的這些深度畫素中至少一個的一光閘控制訊號的電子累積。
計算至目標物件的深度資訊的步驟包括：根據比較結果，產生多個比較值；決定是否這些比較值中的每一個大於臨界值；以及，根據在第一及第二時間區間的反射光線的頻率與相位差，計算深度資訊。
如果深度畫素具有單階畫素型態(One-tap pixel configuration)，計算相位差的步驟包括：如果這些比較值中的每一個小於臨界值，則利用這些第二畫素訊號來計算相位差。
如果深度畫素具有單階畫素型態並且這些比較值中之一大於臨界值，計算相位差的步驟包括：利用這些第二畫素訊號來補償至目標物件的深度資訊錯誤；或是，除了對應至超過臨界值之比較值的這些第一及這些第二畫素訊號以外，利用畫素訊號來計算相位差。
如果深度畫素具有單階畫素型態並且這些比較值中之 兩個大於臨界值，計算相位差的步驟包括：除了分別對應於這些比較值中的兩個的這些第一畫素訊號中的兩個以外，以及除了分別對應於這些比較值中的兩個的這些第二畫素訊號中的兩個以外，利用第一及第二畫素訊號來計算相位差。
如果深度畫素具有單階畫素型態，計算相位差的步驟包括：如果這些比較值中的三個大於臨界值，則利用分別對應到這些比較值中的三個的這些第二畫素訊號中的三個來計算相位差。
如果深度畫素具有單階畫素型態並且這些比較值中的每一個大於臨界值，計算相位差的步驟包括：利用這些第二畫素訊號來計算相位差。
如果深度畫素具有雙階畫素型態(Two-tap pixel configuration)並且這些比較值中的每一個小於臨界值，計算相位差的步驟包括：利用這些第二畫素訊號來計算相位差。
如果深度畫素具有雙階畫素型態並且這些比較值中的一個或兩個大於臨界值，計算相位差的步驟包括：除了分別對應於這些比較值中的兩個的這些第一畫素訊號中的兩個以外，以及除了分別對應於這些比較值中的兩個的這些第二畫素訊號中的兩個以外，利用第一及第二畫素訊號來計算相位差。
如果深度畫素具有雙階畫素型態並且這些比較值中的至少三個大於臨界值，計算相位差的步驟包括：利用這些第二 畫素訊號來計算相位差。
本發明概念之一示範實施例是關於深度感測器。深度感測器包括光源、深度畫素、數位電路、記憶體以及深度錯誤補償器。光源用以輸出調變光線至目標物件。深度畫素用以在第一時間區間中的不同偵測時間點來偵測多個第一畫素訊號及在第二時間區間中的不同偵測時間點來偵測多個第二畫素訊號，這些第一及這些第二畫素訊號表示自目標物件反射的反射光線。數位電路用以將這些第一畫素訊號中的每一個及這些第二畫素訊號中的每一個分別轉換為多個第一數位畫素訊號及多個第二數位畫素訊號。記憶體用以儲存這些第一數位畫素訊號及這些第二數位畫素訊號。深度錯誤補償器用以將這些第一數位畫素訊號與這些第二數位畫素訊號來分別作比較，並且根據比較結果來計算深度資訊。
深度錯誤補償器，用以根據比較結果來產生多個比較值，並且決定這些比較值中的每一個是否大於臨界值，根據決定結果來計算相位差，並且根據反射光線的頻率及相位差來計算深度資訊。
如果深度畫素具有單階畫素型態並且這些比較值中的每一個小於臨界值，則深度錯誤補償器用以利用這些第二數位畫素訊號來相位差。
如果深度畫素具有單階畫素型態並且這些比較值中的之一大於臨界值，深度錯誤補償器，用以利用這些第二數位畫素訊號來補償至目標物件的深度資訊，或者，利用數位畫素 訊號來計算相位差，除了對應於這些比較值中的一個的這些第一數位畫素訊號中的一個以外，以及除了對應於這些比較值中的一個的這些第二數位畫素訊號中的一個以外。
如果深度畫素具有單階畫素型態並且這些比較值中的兩個大於臨界值，深度錯誤補償器，用以利用數位畫素訊號來計算相位差，除了分別對應於這些比較值中的兩個的這些第一數位畫素訊號中的兩個以外及除了分別對應於這些比較值中的兩個的這些第二數位畫素訊號中的兩個以外。
如果深度畫素具有單階畫素型態並且這些比較值中的三個大於臨界值，深度錯誤補償器，用以利用分別對應於這些比較值中的三個的第二數位畫素訊號來計算相位差。
如果深度畫素具有單階畫素型態並且這些比較值中的每一個大於臨界值，深度錯誤補償器，用以利用這些第二數位畫素訊號來計算相位差。
如果深度畫素具有雙階畫素型態並且這些比較值中的每一個小於臨界值，深度錯誤補償器，用以利用這些第二數位畫素訊號來計算相位差。
如果深度畫素具有雙階畫素型態並且這些比較值中的一個或兩個大於臨界值，深度錯誤補償器，用以利用數位畫素訊號來計算相位差，除了分別對應於這些比較值中的兩個的這些第一數位畫素訊號中的兩個以外，以及除了分別對應於這些比較值中的兩個的這些第二數位畫素訊號中的兩個以外。
如果深度畫素具有雙階畫素型態並且這些比較值中的三個或更多個大於臨界值，深度錯誤補償器，用以利用這些 第二數位畫素訊號來計算相位差。
本發明概念之至少一示範實施例是關於訊號處理系統。訊號處理系統包括深度感測器以及處理器。處理器用以控制深度感測器的運作。深度感測器包括光源以及深度畫素。光源用以輸出調變光線至目標物件。深度畫素用以在第一時間區間中的不同偵測時間點偵測多個第一畫素訊號，並且在第二時間區間中的不同偵測時間點偵測多個第二畫素訊號，這些第一及這些第二畫素訊號表示自目標物件反射的反射光線。
本發明概念之至少一示範實施例是關於三維影像感測器。三維影像感測器包括光源、畫素陣列以及影像訊號處理器。光源用以輸出調變光線至目標物件。畫素陣列，包括一深度畫素，深度畫素在第一時間區間中的不同偵測時間點偵測多個第一畫素訊號，並且在第二時間區間中的不同偵測時間點偵測多個第二畫素訊號，這些第一及這些第二畫素訊號表示從目標物件反射的反射光線，畫素陣列更包括紅色畫素、綠色畫素及藍色畫素，用以輸出紅色畫素訊號、綠色畫素訊號及藍色畫素訊號，也就是紅綠藍(RGB)色畫素訊號。影像訊號處理器用以產生三維影像資訊。影像訊號處理器用以分別將多個第一數位畫素訊號與多個第二數位畫素訊號作比較，這些第一數位畫素訊號是從這些第一畫素訊號轉換而來，這些第二數位畫素訊號是從這些第一畫素訊號轉換而來，並且根據比較結果基於至目標物件的深度資訊來產生三維影像資訊以及產生對應於紅綠藍(RGB)色畫素訊號的紅色數位訊號、綠色數位訊號及藍色數位訊號的紅綠藍(RGB)色數位訊號。
本發明概念之另一示範實施例是關於操作影像感測器的方法。此方法包括步驟如下。在第一時間區間，取得多個第一數位畫素訊號，這些第一數位畫素訊號表示在第一時間區間的多個時間點從目標物件反射的反射光線。在第二時間區間，取得多個第二數位畫素訊號，這些第二數位畫素訊號表示在第二時間區間的多個時間點從目標物件反射的反射光線。根據這些第一畫素訊號及這些第二畫素訊號，產生多個值。基於這些值中至少一個是否超過臨界值來決定相位差，此相位差表示在這些第一及這些第二畫素訊號中至少一個與影像感測器所產生的控制訊號之間的相位差。
在此之後，各種示範實施例將參考附圖來更詳細地描述，其中會說明一些示範實施例。然而，本發明概念能夠以不同的形式來實施，並且不應該被解釋成只限制於此處所提出的示範實施例。而是，在此所提出的這些示範實施例會使得本揭露周密且完整，並且能夠對熟悉本領域者完全地傳達本發明概念的範疇。在圖式中，元件的尺寸及相對尺寸是為了清楚才顯得誇大。從頭到尾，相同的標號參考到相同的元件。
雖然在此用來描述不同元件所使用的用語，如第一、第二、第三...等等，而這應該被理解成，這些元件並不受限於這些用語。這些用詞是用來區辨元件及它元件的不同。因此，在以下所討論的第一元件在不脫離本發明概念的教示中可以被稱為第二元件。而用語”及/或(and/or)”包括 了一或多個相關所列用語中的任一及全部組合。
當一個元件稱為”連接”或”耦接”至另一元件時，則這應該被理解成，它是直接連接或直接耦接至另一元件或介於其中間存在著元件。相對地，當一個元件稱為”直接連接”或”直接耦接”至另一個元件時，則應該被理解成，並沒有任何元件介於其中間。其它用來描述元件間關係的用詞應該如同此方式來解釋(例如，”在...之間”相對於”直接在...之間”，”相鄰”相對於”直接相鄰”)。
在此所使用的術語只是為了描述特定示範實施例的目的，並且沒有用來侷限本發明概念的任何意圖。如以下所使用的，單數形式的”一(a、an)”及”所述(the)”是同時包括了複數形式，除非在本文中有明確的其他指示。並且，當包含(comprise、comprising)及/或包括(includes、including)等用語使用在說明書中，這應該進一步被理解成，這是表示所描述的特徵(features)、整數(integers)、步驟(steps)、運算(operations)、元件(elements)及/或成分(components)的存在，但這並不排除一或多個其他特徵(features)、整數(integers)、步驟(steps)、運算(operations)、元件(elements)、成分(components)及/或其群組的存在或增加。
除了有其它的定義外，在此所使用的全部用語(包括科技及科學用語)對於本發明概念所屬的具有通常知識者所認知，都具有一樣的意義。並且，也能夠透過定義在普遍性使用的字典內的用語來進一步理解這些用語，且用語的意義應該被解釋成跟具有相關領域的教科書的意義一致， 以及除非在此處有明顯地定義外，不應該以過於理想化或以過度地拘泥形式的方式來解釋。
圖1為依據一示範實施例之深度感測器之區塊示意圖。圖2為繪示圖1的陣列內的單階深度畫素之平面圖。圖3為將沿著圖2中所繪示的單階深度畫素的剖面線I-I’剖開的橫截面圖。圖4為用來控制包含在圖1中所繪示的單階深度畫素的多個光閘的多個光閘控制訊號的時序圖。以及，圖5為用來解釋經由利用圖1所繪示的單階深度畫素所連續偵測的多個畫素訊號的時序圖。
參照圖1至圖5，藉由使用時間飛行原理來量測距離或深度的深度感測器10包括半導體晶片20。半導體晶片20包括陣列22、光源32以及鏡頭模組34(lens module)。 其中，多個單階深度畫素23(one-tap depth pixel)(亦即偵測器或感測器)安置於陣列22中。
多個單階深度畫素23(one-tap depth pixel)中的每一個都是以二維方式實作在含有光閘110(photo gate)的陣列22裡。除此之外，多個單階深度畫素23中的每一個包括用來訊號處理的多個電晶體。
列解碼器24(row decoder)選擇多數列中之一，用來回應從時序控制器26所輸出的列位址(row address)。在此，列(row)指得是以X方向安置在陣列22的一群多個單階深度畫素。
光閘控制器28(photo gate controller)會產生第一光閘控制訊號Ga並且在時序控制器26(timing controller)的控 制下將其提供至陣列22。
根據一示範實施例，在第一光閘控制訊號Ga被提供至陣列22後，光閘控制器28會產生光閘控制訊號，如第二光閘控制訊號Gb、第三光閘控制訊號Gc、第四光閘控制訊號Gd以及在時序控制器26的控制下進一步地將這些訊號提供至陣列22，以增加距離量測的穩定度。
如圖4所示，在第一光閘控制訊號Ga及第三光閘控制訊號Gc之間的相位差(phase difference)為90度，在第一光閘控制訊號Ga及第二光閘控制訊號Gb之間的相位差為180度，在第一光閘控制訊號Ga及第三光閘控制訊號Gd之間的相位差為270度。
光源驅動器30(light source driver)會產生時脈訊號MLS，在時序控制器26的控制下，此時脈訊號MLS會驅動光源32。
光源32會發射出調變光學訊號(modulated optical signal)至目標物件40(target object)以回應時脈訊號MLS。 而發光二極體(Light Emitting Diode,LED)、有機發光二極體(Organic Light Emitting Diode,OLED)、主動式矩陣有機發光二極體(Active-Matrix Organic Light Emitting Diode,AMOLED)或雷射二極體(laser diode)能夠用來作為光源32。為了方便說明，假設調變光學訊號跟時脈訊號MLS是一樣的。調變光學訊號可以是弦波(sine wave)或是方波(square wave)。
光源驅動器30提供時脈訊號MLS或是時脈訊號MLS 上的資訊至光閘控制器28。因此，光閘控制器28會產生具有跟時脈訊號MLS同樣相位的第一光閘控制訊號Ga，以及產生跟時脈訊號MLS間有著180度相位差的第二光閘控制訊號Gb。此外，光閘控制器28會產生跟時脈訊號MLS間有著90度相位差的第三光閘控制訊號Gc，以及產生跟時脈訊號MLS間有著270度相位差的第四光閘控制訊號Gd。舉例來說，光閘控制器28跟光源驅動器30彼此間會互相同步且運作。
光閘110可以在透明多晶矽(transparent poly silicon)中實施。根據一示範實施例，光閘可以實施在銦錫氧化物(Indium Tin Oxide,ITO)、銦鋅氧化物(Indium Zinc Oxide,IZO)或氧化鋅(ZnO)。
光閘110可以藉由近紅外線(near-infrared ray)輸入通過鏡頭模組34來直通。
自光源32所輸出的調變光學訊號被目標物件40所反射，並且當目標物件40有不同的距離Z1、Z2及Z3時，距離Z會如以下來計算。
舉例來說，當調變光學訊號，例如時脈訊號MLS為cosωt時且光學訊號入射到單階深度畫素23或透過單階深度畫素23偵測到光學訊號，例如A0’、A1’、A2’或A3’為cos(ωt+θ)，而飛行時間所產生的相位移(θ)或是相位差(θ)如方程式1所示。
[方程式1]θ=2* ω *Z/C=2*(2 π f)*Z/C
在此，C為光速。
因此，從光源32或陣列22至目標物件40的距離Z可以從方程式2來計算。在以下會更詳細地討論，而距離Z可以視為深度資訊D(K)。
[方程式2]Z=θ *C/(2* ω)=θ *C/(2*(2 π f))
多數的反射光學訊號會經由鏡頭模組34入射到陣列22。在此，鏡頭模組34包括鏡片及紅外直通濾光片(infrared pass filter)。
深度感測器10包括多個光源，其排列成一個圓形以環繞著鏡頭模組34，但為了方便說明，在此只繪示一個光源32。
多個光學訊號經由鏡頭模組34入射到陣列22，並且會透過多個感測器23來解調變。也就是說，通過鏡頭模組34入射到陣列22的光學訊號會形成一個影像。
參照圖2到圖4，浮動擴散區114(floating diffusion region)形成於P型基板100。浮動擴散區114會連接到驅動電晶體S/F的閘極。而驅動電晶體S/F可以執行源極隨耦器(source follower)的功能。浮動擴散區114可以用N型雜質來摻雜。
矽氧化物形成於P型基板100上，光閘110形成於矽氧化物上面，並且傳輸電晶體112(transfer transistor)也形成於矽氧物上。P型基板100可以是以P掺雜的磊晶 (epitaxial)基板。
在集成區間中，第一光閘控制訊號Ga會提供至光閘110並且這可稱為電荷收集動作(charge collection operation)。此外，用來傳送光電荷(optical charge)至浮動擴散區114的傳輸控制訊號TX會被提供至傳輸電晶體112(transfer transistor)的閘極。而此傳輸控制訊號TX在P型基板100中位於光閘110的較低位置所產生，並且這可稱為電荷傳輸動作(charge transmission operation)。
根據一示範實施例，橋接擴散區116(bridging diffusion area)會進一步地形成於在光閘110的較低部位與傳輸電晶體112的較低部位之間的P型基板100。橋接擴散區116可以用N型雜質來摻雜。
光電荷可以藉由通過光閘110入射到P型基板100內的光學訊號來產生。當具有第一階的傳輸控制訊號TX(例如，1.0V)提供至傳輸電晶體112的閘極並且具有高階的光閘控制訊號Ga(例如，3.3V)提供至光閘110時，由P型基板100內部所產生的電荷會集中在光閘110的較低部位。 並且，聚集的電荷會被傳送至浮動擴散區114(例如，當橋接擴散區116沒有形成時)或是經由橋接擴散區116被傳送至浮動擴散區114(例如，當橋接擴散區116有形成時)。
在此，VHA為一個當具有高階的第一光閘控制訊號Ga提供至第一光閘110時所累積電壓或電荷的區域。
進一步來說，當具有第一階的傳輸控制訊號TX(例如，為1.0V)提供至傳輸電晶體112的閘極以及具有一低 階的第一光閘控制訊號Ga(例如，為0V)提供至光閘時110時，在位於光閘110的較低部位的P型基板100內會產生光電荷。但是，所產生的光電荷並不會傳送至浮動擴散區114。
同理，當第二光閘控制訊號Gb、第三光閘控制訊號Gc以及第四光閘控制訊號Gd提供至光閘110時的電荷收集動作及電荷傳輸動作，類似於當第一光閘控制訊號Ga提供至光閘110時的電荷收集動作及電荷傳輸動作。
在一固定時間的期間(例如，集成時間)，單階深度畫素23會累積光電子或光電荷，並且會依據累積結果來輸出畫素訊號A0’及A2’或A1’及A3’。由多個單階深度畫素23的每一個所產生的畫素訊號Ak’如方程式3所示。
在此，當訊號輸入至單階深度畫素23的光閘110時，k為0，也就是第一光閘控制訊號Ga。當它為第三光閘控制訊號Gc時，k為1。當它為第二光閘控制訊號Gb時，k為2。當它為第四光閘控制訊號Gd時，k為3。
方程式3中，ak,n指示發生於單階深度畫素23的光電子或光電荷的數量，並且當nth閘訊號時，N=fm*Tint會對應於k會被提供一相位差，其中n為自然數。在此，fm 指示調變紅外有機電激發光(electroluminescence，EL)的頻率，並且Tint代表集成時間。依據累積結果來輸出畫素訊號A0’及A2’或A1’及A3’如方程式4、5、6及7。
在此，方程式4、5、6及7的每一個α表示振幅，而β表示偏移(offest)。
參照圖5，單階深度畫素23在第一時間區間P1中不同的偵測時間點t0~t3偵測或計算多個第一畫素訊號A0’(K-1)、A1’(K-1)、A2’(K-1)及A3’(K-1)。其中，K表示包含對應於閘極控制訊號Ga、Gb、Gc及Gd的畫素訊號的區間。
也就是說，單階深度畫素23在第一時間點t0偵測第一畫素訊號A0’(K-1)以回應具有相位差0度的第一光閘控制訊號Ga，在第二時間點t1偵測第二畫素訊號A1’(K-1)以回應具有相位差90度的第三光閘控制訊號Gc，在第三時間點t2偵測第三畫素訊號A2’(K-1)以回應具有相位差180度的第二光閘控制訊號Gb，在第四時間點t3偵測第四畫素訊號A3’(K-1)以回應具有相位差270度的第四光閘控制訊號Gd。
同樣地，單階深度畫素23在第二時間區間P2中的不同偵測時間點t4~t7偵測多個第二畫素訊號A0’(K)、A1’(K)、A2’(K)及A3’(K)。
亦即，單階深度畫素23在第五時間點t4偵測第五畫素訊號A0’(K)以回應具有相位差0度的第一光閘控制訊號Ga，在第六時間點t5偵測第六畫素訊號A1’(K)以回應具有相位差90度的第三光閘控制訊號Gc，在第七時間點t6偵測第七畫素訊號A2’(K)以回應具有相位差180度的第二光閘控制訊號Gb，在第八時間點t7偵測第八畫素訊號A3’(K)以回應具有相位差270度的第四光閘控制訊號Gd。
參照圖1，數位電路36，例如為一個相關雙重取樣 (Correlated Double Sampling,CDS)/類比數位轉換器(Analog to Digital Converter,ADC)，在每一個畫素訊號A0’(K-1)、A1’(K-1)、A2’(K-1)、A3’(K-1)、A0’(K)、A1’(K)、A2’(K)及A3’(K)執行相關雙重取樣的動作及類比轉數位的動作，並且在時序控制器26的控制下輸出每一個數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)、A0(K)、A1(K)、A2(K)及A3(K)。圖1中的深度感測器10可以進一步包括用來傳送畫素訊號至CDS/ADC電路36的主動負載電路(active load circuit)，而此畫素訊號自多個實施於陣列22中行線(column lines)所輸出。
可以用暫存器來實現的記憶體38接收並儲存自CDS/ADC電路36所輸出的每一個數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)、A0(K)、A1(K)、A2(K)及A3(K)。
深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)中每一個作比較。而這些訊號都是在第二時間區間P2中由記憶體38所輸出來計算深度資訊D(K)。其比較值εn如方程式8所示。
[方程式8]εn=|An(K)-An(K-1)|
n為等於或大於0的整數。
深度錯誤補償器39會產生多個比較值，例如第一比較值ε0、第二比較值ε1、第三比較值ε2及第四比較值ε3。
第一比較值ε0為將在多個第一數位畫素訊號中的第一畫素訊號A0(K-1)與在多個第二數位畫素訊號中的第五畫素訊號A0(K)來作比較的值。第二比較值ε1為將在多個第一數位畫素訊號中的第二畫素訊號A1(K-1)與在多個第二數位畫素訊號中的第六畫素訊號A1(K)來作比較的值。 第三比較值ε2為將在多個第一數位畫素訊號中的第三畫素訊號A2(K-1)與在多個第二數位畫素訊號中的第七畫素訊號A2(K)來作比較的值。第四比較值ε3為將在多個第一數位畫素訊號中的第四畫素訊號A3(K-1)與在多個第二數位畫素訊號中的第八畫素訊號A3(K)來作比較的值。
深度錯誤補償器39會決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。深度錯誤補償器39會利用如下所描述的方程式9來計算相位差θ。也就是說，深度錯誤補償器39基於反射光線的頻率與相位差θ來計算深度資訊。
圖3中所繪示的單階深度畫素23包括了形成在光閘110上的微鏡片(micro lens)150。然而，根據其他示範實施例，單階深度畫素23可以不包括微鏡片(micro lens)150。
圖6A為繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。參照圖1到圖6A，深度錯誤補償器39藉 由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)來計算相位差θ。相位差θ如方程式9所示。
在第一時間區間P1，深度錯誤補償器39基於相位差θ來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算深度資訊D(K)。
深度錯誤補償器39會根據比較結果來決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。當目標物件40在第二時間區間P2沒有移動時，深度錯誤補償器39會決定多個比較值ε0、ε1、ε2及ε3中每一個都小於臨界值εth。
當深度錯誤補償器39決定多個比較值ε0、ε1、ε2及ε3中每一個都小於臨界值εth時，深度錯誤補償器39會透過利用多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差θ。而相位差θ如方程式10所示。
[方程式10]
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
根據一示範實施例，估計演算法(estimation algorithm)可以用來補償在第一時間區間P1中由於不同偵測時間點t0~t3的時間差所發生的相位差錯誤。同樣地，估計演算法可以用來補償在第二時間區間P2中由於不同偵測時間點t4~t7的時間差所發生的相位差錯誤。
圖6B為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。圖6B繪示了當目標物件40在第八時間點t7移動時，藉由利用單階深度畫素23所連續偵測到的多個數位畫素訊號。而具有斜對角線的第八數位畫素訊號A3(K)為當目標物件40從第八時間點t7快速移動或橫向地移動所偵測到的畫素訊號。
參照圖1至圖5以及圖6B，深度錯誤補償器39根據方程式9且藉由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)來計算相位差θ，以及在第一時間區間P1基於相位差θ來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、 A2(K)及A3(K)的每一個來作比較以計算深度資訊D(K)。
深度錯誤補償器39會根據比較結果來決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。當目標物件40在第八時間點t7快速移動或橫向地移動時，深度錯誤補償器39會決定第四比較值ε3大於臨界值εth以及第三比較值ε2小於臨界值εth。
當深度錯誤補償器39決定了第四比較值ε3大於臨界值εth以及第三比較值ε2小於臨界值εth時，則深度錯誤補償器39會透過利用在第二時間區間P2所偵測到的多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算深度資訊D(K)。而在第八時間點t7所偵測到的第八數位畫素訊號A3(K)會使得第二時間區間P2的深度資訊D(K)會有錯誤。
因此，當深度錯誤補償器39決定了第三比較值ε2小於臨界值εth時，深度錯誤補償器39會經由利用多個第一數位畫素訊號中之一的第四數位畫素訊號A3(K-1)以及多個第二數位畫素訊號中的A0(K)、A1(K)及A2(K)來計算相位差θ。相位差θ如方程式11所示。
在第二時間區間P2，深度錯誤補償器39會基於相位 差θ來計算深度資訊D(K)。
根據另一示範實施例，當深度錯誤補償器39決定了第四比較值ε3大於臨界值εth以及第三比較值ε2小於臨界值εth時，深度錯誤補償器39會透過利用多個第二數位畫素訊號中的A0(K)、A1(K)及A2(K)來計算相位差θ。相位差θ如方程式12所示。
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
因此，當深度錯誤補償器39決定了第四比較值ε3大於臨界值εth以及第三比較值ε2小於臨界值εth時，深度錯誤補償器39在第二時間區間P2會藉由利用數位畫素訊號A3(K-1)及多個第二數位畫素訊號中的A0(K)、A1(K)及A2(K)來計算深度資訊D(K)以補償深度資訊錯誤。或是，深度錯誤補償器39在第二時間區間P2藉由只利用多個第二數位畫素訊號中的A0(K)、A1(K)及A2(K)來計算深度資訊D(K)以補償深度資訊錯誤。
圖6C仍為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。圖6C指示出當目標物件從第七時 間點t6快速地移動或橫向地移動時，利用單階深度畫素23所連續偵測到的數位畫素訊號。而具有斜對角線的第七數位畫素訊號A2(K)及具有斜對角線的第八數位畫素訊號A3(K)為當目標物件40從第七時間點t6快速地移動或橫向地移動所偵測到的畫素訊號。
參照圖1至圖5以及圖6C，深度錯誤補償器39根據方程式9且藉由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)來計算相位差θ，以及在第一時間區間P1基於相位差θ來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會根據比較結果決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth，以用來計算深度資訊D(K)。當目標物件40從第七時間點t6快速地移動或橫向地移動時，深度錯誤補償器39會決定第四比較值ε3及第三比較值ε2大於臨界值εth，並且決定第二比較值ε1小於臨界值εth。
當深度錯誤補償器39決定了第四比較值ε3及第三比較值ε2大於臨界值εth，並且決定了第二比較值ε1小於臨界值εth時，則深度錯誤補償器39會藉由利用在多個第一數位訊號之中的第三數位畫素訊號A2(K-1)及第四數位畫素訊號A3(K-1)以及利用在多個第二數位畫素訊號之中的第五數位畫素訊號A0(K)及第六數位畫素訊號A1(K)來計算相位差θ。相位差θ如方程式13所示。
[方程式13]
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
圖6D仍為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。圖6D繪示出當目標物件從第六時間點t5快速地移動或橫向地移動時，利用單階深度畫素23所連續偵測到的數位畫素訊號。而具有斜對角線的第六數位畫素訊號A1(K)至第八數位畫素訊號A3(K)為當目標物件40從第六時間點t5快速地移動或橫向地移動所偵測到的多個畫素訊號。
參照圖1至圖5以及圖6D，深度錯誤補償器39根據方程式9且藉由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)來計算相位差θ，以及在第一時間區間P1基於相位差θ來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算深度資訊D(K)。
深度錯誤補償器39會根據比較結果來決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。當目標物件40在第六時間點t5快速移動或橫向地移動時， 則深度錯誤補償器39會決定第四比較值ε3、第三比較值ε2及第二比較值ε1大於臨界值εth並且決定第一比較值ε0小於臨界值εth。
當深度錯誤補償器39決定了第四比較值ε3、第三比較值ε2及第二比較值ε1大於臨界值εth，且決定了第一比較值ε0小於臨界值εth時，則深度錯誤補償器39會透過利用在多個第二數位畫素訊號之中的第六數位訊號A1(K)、第七數位訊號A2(K)及第八數位訊號A3(K)來計算相位差θ。相位差θ如方程式14所示。
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
圖6E仍為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。圖6E繪示出當目標物件從第五時間點t4快速地移動或橫向地移動時，利用單階深度畫素23所連續偵測到的數位畫素訊號。而具有斜對角線的第五數位畫素訊號A0(K)至第八數位畫素訊號A3(K)為當目標物件40從第五時間點t4快速地移動或橫向地移動所偵測到的多個畫素訊號。
參照圖1至圖5以及圖6E，深度錯誤補償器39根據方程式9且藉由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)來計算相位差θ，以及在第一時間區間P1基於相位差θ來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算深度資訊D(K)。
深度錯誤補償器39會根據比較結果來決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。當目標物件40在第五時間點t4快速移動或橫向地移動時，則深度錯誤補償器39會決定多個比較值ε0、ε1、ε2及ε3中的每一個大於臨界值εth。
當深度錯誤補償器39決定了多個比較值ε0、ε1、ε2及ε3中的每一個大於臨界值εth時，則深度錯誤補償器39會透過利用在多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差θ。相位差θ如方程式15所示。
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
圖7為根據一示範實施例用來說明深度資訊錯誤補償方法之流程圖。參照圖1至圖7，在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算比較值ε0、ε1、ε2及ε3(步驟S10)。
深度錯誤補償器39會根據比較結果來決定是否第四比較值ε3大於臨界值εth(步驟S20)。
當深度錯誤補償器39決定了第四比較值ε3小於臨界值εth時，則深度錯誤補償器39會根據如圖6A到圖6E所解釋的方程式10且藉由利用多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差θ(步驟S30)。 當深度錯誤補償器39決定出第四比較值ε3大於臨界值εth且第三比較值ε2小於臨界值εth時(步驟S40)，則深度錯誤補償器39會根據圖6B所解釋的方程式11並且藉由利用多個第一數位畫素訊號中之一的第四數位畫素訊號A3(K-1)及利用多個第二數位畫素訊號中的A0(K)、A1(K)及A2(K)來計算相位差θ(步驟S50)。
根據另一示範實施例，當深度錯誤補償器39決定了第四比較值ε3大於臨界值εth且第三比較值ε2小於臨界值εth時，則深度錯誤補償器39會根據圖6B所解釋的方程式12及藉由只利用多個第二數位畫素訊號中的A0(K)、A1(K)及A2(K)來計算相位差θ。
當深度錯誤補償器39決定了第四比較值ε3及第三比 較值ε2大於臨界值εth且第二比較值ε1小於臨界值εth時(步驟S60)，則深度錯誤補償器39會根據6C所解釋的方程式13及藉由利用在多個第一數位畫素訊號中的第三數位畫素訊號A2(K-1)及第四數位畫素訊號A3(K-1)，以及利用在多個第二數位畫素訊號中的第五數位畫素訊號A0(K)及第六數位畫素訊號A1(K)來計算相位差θ(步驟S70)。
當深度錯誤補償器39決定了第四比較值ε3、第三比較值ε2及第二比較值ε1都大於臨界值εth且第一比較值ε0小於臨界值εth時(步驟S80)，則深度錯誤補償器39會根據根據6D所解釋的方程式14及藉由利用在多個第二數位畫素訊號中的第六數位畫素訊號A1(K)、第七數位畫素訊號A2(K)及第八數位畫素訊號A3(K)來計算相位差θ(步驟S90)。
當深度錯誤補償器39決定了多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth時(步驟S80)，則深度錯誤補償器39會根據根據6E所解釋的方程式15及藉由利用多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差θ(步驟S100)。深度錯誤補償器39會根據決定結果來計算相位差並且藉由利用方程式2來計算深度資訊(步驟S110)。
圖8(A)~(C)為說明利用傳統估計演算法及繪示於圖1中深度感測器的及深度資訊錯誤補償之深度感測器的深度資訊錯誤模擬結果的示範圖。圖8為繪示出當集成時間Tint為100毫秒(ms)、目標物件40的速度為5公尺/秒、 振幅雜訊(noise of amplitude)為30LSB(5%)及偏移雜訊(offset of amplitude)為40LSB(5%)時的深度資訊錯誤之模擬圖。
參照圖1至圖8，圖8(A)繪示出正在移動的目標物件40。如圖8(B)所示，發生一個深度資訊錯誤(depth information error)，亦即當使用傳統的演算法時。圖8(B)的亮度差表示深度資訊錯誤。而8(C)繪示出當深度資訊錯誤發生的一個例子。圖8(C)中的”0”為表示圖6A的例子，圖8(C)中的”1”為表示圖6B的例子，圖8(C)中的”2”為表示圖6C的例子，圖8(C)中的”3”為表示圖6D的例子及，圖8(C)中的”4”為表示圖6E的例子。
根據一示範實施例，當使用深度資訊錯誤演算法時，則應該可以知道深度資訊錯誤會如圖8(D)所繪示般被補償。
圖9為根據另一示範實施例之深度感測器的區塊圖。 圖10為於圖9中所繪示的雙階深度畫素的平面圖。圖11為沿著圖9中所繪示的雙階深度畫素的剖面線I-I’剖開的橫截面圖。圖12為用來控制包含在圖9中所繪示的雙階深度畫素的多個光閘的多個光閘控制訊號的時序圖。圖13為用來解釋經由利用圖9所繪示的雙階深度畫素所連續偵測的多個畫素訊號的時序圖。
參照圖9至圖13，藉由使用時間飛行原理來量測距離或深度的深度感測器10’包括半導體晶片20’。半導體晶片20’包括陣列22’，光源32以及鏡頭模組34。其中，多個 雙階深度畫素23-1(亦即偵測器或感測器)安置於陣列22’。多個雙階深度畫素23-1(two-tap depth pixel)中的每一個都是以二維方式實作在含有第一光閘110’及第二光閘120的陣列22’裡。除此之外，多個單階深度畫素23-1中的每一個包括用來訊號處理的多個電晶體。
具有圖9中的雙階深度畫素23-1的深度感測器10’及具有圖1中的單階深度畫素23的深度感測器，只有在它們分別具有雙階深度畫素及23-1及單階深度畫素23的地方不同，因此如果沒有特別的敘述的話，圖9的元件及訊號應該視為與圖1的元件及訊號執行相同的功能及運算。
如圖13所示，在第一光閘控制訊號Ga及第三光閘控制訊號Gc之間的相位差為90度，在第一光閘控制訊號Ga及第二光閘控制訊號Gb之間的相位差為180度，以及在第一光閘控制訊號Ga及第四光閘控制訊號Gd之間的相位差為270度。
在第一集成區間P1，第一光閘控制訊號Ga被提供至第一光閘110’並且第二光閘控制訊號Gb被提供至第二光閘120。除此之外，在第二集成區間，第三光閘控制訊號Gc被提供至第一光閘110’並且第四光閘控制訊號Gd被提供至第二光閘120。
參照圖10至圖13，第一浮動擴散區114’及第二浮動擴散區124形成P型基板100’裡面。
第一浮動擴散區114’會連接到第一驅動電晶體S/F_A的閘極並且第二浮動擴散區124會連接到第二驅動電晶體 S/F_B的閘極。每一驅動電晶體S/F_A或S/F_B可以執行源極隨耦器的功能。而每一浮動擴散區114’或124可以用N型雜質來摻雜。
矽氧化物形成於P型基板100’上，每一光閘110’及120形成於矽氧化物上面，並且傳輸電晶體112’及122也形成於矽氧物上。隔離區130可以形成於P型基板100’裡面來停止經由每一光閘110’及120在P型基板100’內所產生光電荷來彼此影響。P型基板100’可以是以P-摻雜的磊晶基板並且隔離區130可以是以P+摻雜的區域。
根據一示範實施例，隔離區130可以利用淺渠溝隔離(Shallow Trench Isolation,STI)方法或是矽局部氧化(LOCal Oxidation of Silicon,LOCOS)來實作。
在第一集成區間時，第一光閘控制訊號Ga被提供至第一光閘110’並且第二光閘控制訊號Gb被提供至第二光閘120。
此外，用來傳送光電荷(optical charge)至第一浮動擴散區114’的第一傳輸控制訊號TX_A會被提供至傳輸第一電晶體112’(transfer transistor)的閘極。而此第一傳輸控制訊號TX_A在P型基板100’中位於第一光閘110’的較低位置所產生。用來傳送光電荷(optical charge)至第二浮動擴散區124的第二傳輸控制訊號TX_B會被提供至傳輸第二電晶體122(transfer transistor)的閘極。而此第二傳輸控制訊號TX_B在P型基板100’中位於第二光閘120的較低位置所產生。
根據一示範實施例，第一橋接擴散區116’(bridging diffusion area)會進一步地形成於在第一光閘110’的較低部位與第一傳輸電晶體112的較低部位之間的P型基板100’。再者，第二橋接擴散區126(bridging diffusion area)會進一步地形成於在第二光閘120的較低部位與第二傳輸電晶體122的較低部位之間的P型基板100’。每一橋接擴散區116’或126可以用N型雜質來摻雜。而經由通過每一光閘110’及120入射到P型基板100’的光訊號會產生光電荷。
當具有第一階的第一傳輸控制訊號TX_A(例如，1.0V)提供至第一傳輸電晶體112’的閘極並且具有高階的第一光閘控制訊號Ga(例如，3.3V)提供至第一光閘110’時，由P型基板100’內部所產生的電荷會集中在第一光閘110’的較低部位。並且，集中的電荷會被傳送至第一浮動擴散區114’(例如，當第一橋接擴散區116’沒有形成時)或者是經由第一橋接擴散區116’被傳送至第一浮動擴散區114’(例如，當第一橋接擴散區116’有形成時)。
同時，當具有第一階的第二傳輸控制訊號TX_B(例如，1.0V)提供至第二傳輸電晶體122的閘極並且具有低階的第二光閘控制訊號Gb(例如，0V)提供至第二光閘120時，在位於第二光閘120的較低部位的P型基板100’內會產生光電荷。但是，所產生的光電荷並不會傳送至第二浮動擴散區124。這可以被定義成電荷收集動作(charge collection operation)。
在此，VHA’為一個當具有高階的第一光閘控制訊號Ga提供至第一光閘110’時所累積電壓或電荷的區域。並且VLB為一個當具有低階的第二光閘控制訊號Gb提供至第二光閘120時所累積電壓或電荷的區域。
當具有第一階的第一傳輸控制訊號TX_A(例如，為1.0V)提供至第一傳輸電晶體112’的閘極以及具有一低階的第一光閘控制訊號Ga(例如，為0V)提供至第一光閘時110’時，在位於第一光閘110的較低部位的P型基板100’內會產生光電荷。但是，所產生的光電荷並不會傳送至第一浮動擴散區114’。
同時，當具有第一階的第二傳輸控制訊號TX_B(例如，1.0V)提供至第二傳輸電晶體122的閘極並且具有高階的第二光閘控制訊號Gb(例如，3.3V)提供至第二光閘120時，由P型基板100’內部所產生的電荷會集中在第二光閘120的較低部位。並且，集中的電荷會被傳送至第二浮動擴散區124(例如，當第二橋接擴散區126沒有形成時)或者是經由第二橋接擴散區126被傳送至第二浮動擴散區124(例如，當第二橋接擴散區126有形成時)。這可以被定義成電荷傳輸動作(charge transmission operation)。
在此，VHB為一個當具有高階的第二光閘控制訊號Gb提供至第二光閘120時所累積電壓或電荷的區域。並且VLA為一個當具有低階的第一光閘控制訊號Ga提供至第一光閘110’時所累積電壓或電荷的區域。
同理，當第三光閘控制訊號Gc提供至第一光閘110 時的電荷收集動作及電荷傳輸動作，類似於當第一光閘控制訊號Ga提供至第一光閘110時的電荷收集動作及電荷傳輸動作。
並且，當第四光閘控制訊號Gd提供至第二光閘120時的電荷收集動作及電荷傳輸動作，類似於當第二光閘控制訊號Gb提供至第二光閘120時的電荷收集動作及電荷傳輸動作。
圖13為用來解釋經由利用圖9所繪示的雙階深度畫素所連續偵測的多個畫素訊號的時序圖。參照圖9至圖13，雙階深度畫素23-1在第一時間區間P1中的不同偵測時間點t0及t1偵測或計算多個第一畫素訊號A0’(K-1)、A1’(K-1)、A2’(K-1)及A3’(K-1)。
也就是說，雙階深度畫素23-1在第一時間點t0分別偵測第一畫素訊號A0’(K-1)及第三畫素訊號A2’(K-1)以分別回應具有相位差0度的第一光閘控制訊號Ga及具有相位差180度的第二光閘控制訊號Gb。
雙階深度畫素23-1在第二時間點t1分別偵測第二畫素訊號A1’(K-1)及第四畫素訊號A3’(K-1)以分別回應具有相位差90度的第三光閘控制訊號Gc及具有相位差270度的第四光閘控制訊號Gd。同樣地，雙階深度畫素23-1在第二時間區間P2中的不同偵測時間點t2及t3偵測多個第二畫素訊號A0’(K)、A1’(K)、A2’(K)及A3’(K)。也就是說，雙階深度畫素23-1在第三時間點t2分別偵測第五畫素訊號A0’(K)及第七畫素訊號A2’(K)以分別回應具有相位差0 度的第一光閘控制訊號Ga及具有相位差180度的第二光閘控制訊號Gb。
雙階深度畫素23-1在第四時間點t3分別偵測第六畫素訊號A1’(K)及第八畫素訊號A3’(K)以分別回應具有相位差90度的第三光閘控制訊號Gc及具有相位差270度的第四光閘控制訊號Gd。
圖14A為繪示用來解釋經由利用圖9中所繪示的雙階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。參照圖9，數位電路36，例如為一個相關雙重取樣(Correlated Double Sampling,CDS)/類比數位轉換器(Analog to Digital Converter,ADC)，在每一個畫素訊號A0’(K-1)、A1’(K-1)、A2’(K-1)、A3’(K-1)、A0’(K)、A1’(K)、A2’(K)及A3’(K)執行相關雙重取樣的動作及類比轉數位的動作，並且在時序控制器26的控制下輸出每一個數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)、A0(K)、A1(K)、A2(K)及A3(K)。圖9中的深度感測器10’可以進一步包括用來傳送畫素訊號至CDS/ADC電路36的主動負載電路(active load circuit)，而此畫素訊號自多個實施於陣列22’中行線(column lines)所輸出。參照圖9至圖14A，深度錯誤補償器39根據方程式9且藉由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)來計算相位差，並且，在第一時間區間P1，深度錯誤補償器39會基於相位差來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會將多個第 一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算深度資訊D(K)。
深度錯誤補償器39會根據比較結果來決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。當目標物件40在第二時間區間P2沒有移動時，深度錯誤補償器39會決定多個比較值ε0、ε1、ε2及ε3中每一個都小於臨界值εth。
當深度錯誤補償器39決定多個比較值ε0、ε1、ε2及ε3中每一個都小於臨界值εth時，深度錯誤補償器39會透過利用多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差θ。而相位差θ如方程式16所示。
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
根據一示範實施例，估計演算法(estimation algorithm)可以用來補償在第一時間區間P1中由於不同偵測時間點t0及t1的時間差所發生的相位差錯誤。同樣地，估計演算法可以用來補償在第二時間區間P2中由於不同偵測時間點t2及t3的時間差所發生的相位差錯誤。
圖14B為另一繪示用來解釋經由利用圖9中所繪示的雙階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。圖14B繪示了當目標物件40在第四時間點t3移動時，藉由利用雙階深度畫素23所連續偵測到的多個數位畫素訊號。而具有斜對角線的第六數位畫素訊號A1(K)及具有斜對角線的第八數位畫素訊號A3(K)為當目標物件40從第四時間點t3快速移動或橫向地移動所偵測到的畫素訊號。
參照圖9至圖13以及圖14B，深度錯誤補償器39根據方程式9且藉由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)來計算相位差θ，以及在第一時間區間P1基於相位差θ來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算深度資訊D(K)。
深度錯誤補償器39會根據比較結果來決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。當目標物件40在第四時間點t3快速移動或橫向地移動時，深度錯誤補償器39會決定在多個比較值ε0、ε1、ε2及ε3之中的第二比較值ε1或第四比較值ε3大於臨界值εth，並且決定第一比較值ε0或第三比較值ε2小於臨界值εth。
當深度錯誤補償器39決定了在多個比較值ε0、ε1、ε2及ε3之中的第二比較值ε1或第四比較值ε3大於臨界值 εth，並且決定了第一比較值ε0或第三比較值ε2小於臨界值εth時，深度錯誤補償器39會透過利用在第二時間區間P2所偵測到的多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算深度資訊D(K)。而在第四時間點t3所偵測到的第六數位畫素訊號A1(K)及第八數位畫素訊號A3(K)會使得第二時間區間P2的深度資訊D(K)會有錯誤。
因此，當深度錯誤補償器39決定了在多個比較值ε0、ε1、ε2及ε3之中的第二比較值ε1或第四比較值ε3大於臨界值εth，並且決定了第一比較值ε0或第三比較值ε2小於臨界值εth時，深度錯誤補償器39會藉由利用在多個第一數位畫素訊號中的第二數位畫素訊號A1(K-1)及第四數位畫素訊號A3(K-1)以及在多個第二數位畫素訊號中的第五數位畫素訊號A0(K)與第七數位畫素訊號A2(K)來計算相位差。相位差如方程式17所示。
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
因此，當深度錯誤補償器39決定了在多個比較值ε0、ε1、ε2及ε3之中的第二比較值ε1或第四比較值ε3大於臨界值εth，並且決定了第一比較值ε0或第三比較值ε2小於 臨界值εth時，深度錯誤補償器39會藉由利用在多個第一數位畫素訊號中的第二數位畫素訊號A1(K-1)及第四數位畫素訊號A3(K-1)以及在多個第二數位畫素訊號中的第五數位畫素訊號A0(K)與第七數位畫素訊號A2(K)所計算在第二時間區間P2的深度資訊D(K)，來補償第二時間區間P2中深度資訊D(K)的錯誤。
圖14C仍為另一繪示用來解釋經由利用圖9中所繪示的雙階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。圖14C繪示出當目標物件從第三時間點t2移動時，利用雙階深度畫素23所連續偵測到的數位畫素訊號。具有斜對角線的第五數位畫素訊號A0(K)至具有斜對角線的第八數位畫素訊號A3(K)為當目標物件40從第三時間點t3快速地移動或橫向地移動所偵測到的畫素訊號。
參照圖9至圖13以及圖14C，深度錯誤補償器39根據方程式9且藉由利用多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)來計算相位差θ，以及在第一時間區間P1基於相位差θ來計算深度資訊D(K-1)。
在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算深度資訊D(K)。
深度錯誤補償器39會根據比較結果來決定是否多個比較值ε0、ε1、ε2及ε3中的每一個都大於臨界值εth。當 目標物件40從第三時間點t2快速地移動或橫向地移動時，深度錯誤補償器39會決定第二比較值ε1或第四比較值ε3大於臨界值εth，並且決定第一比較值ε0或第三比較值ε1大於臨界值εth。
當深度錯誤補償器39會決定第二比較值ε1或第四比較值ε3大於臨界值εth，並且決定第一比較值ε0或第三比較值ε1大於臨界值εth時，則深度錯誤補償器39會藉由利用在多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差θ。相位差θ如方程式18所示。
在第二時間區間P2，深度錯誤補償器39會基於相位差θ來計算深度資訊D(K)。
圖15為根據另一示範實施例用來說明深度資訊錯誤補償方法之流程圖。參照圖9至圖15，在第二時間區間P2，深度錯誤補償器39會將多個第一數位畫素訊號A0(K-1)、A1(K-1)、A2(K-1)及A3(K-1)中的每一個來與多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)的每一個來作比較以計算比較值ε0、ε1、ε2及ε3(步驟S120)。深度錯誤補償器39決定第二比較值ε1或第四比較值ε3是否大於臨界值εth(步驟S130)。
當深度錯誤補償器39決定比較值ε1或ε3小於臨界值εth時(步驟S130)，則深度錯誤補償器39會根據如圖14A所解釋的方程式16且藉由利用多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差θ(步驟S140)。
當深度錯誤補償器39決定比較值ε1或ε3大於臨界值εth時，且第一比較值ε0或第三比較值ε2小於臨界值εth時(步驟S150)，則深度錯誤補償器39會根據如圖14B所解釋的方程式17且藉由利用在多個第一數位畫素訊號中的第二數位畫素訊號A1(K-1)與第四數位畫素訊號A3(K-1)以及在多個第二數位畫素訊號中的第五數位畫素訊號A0(K)與第七數位畫素訊號A2(K)來計算相位差θ(步驟S160)。
當深度錯誤補償器39決定了在多個比較值ε0、ε1、ε2及ε3中的第二比較值ε1或第四比較值ε3大於臨界值εth以及第一比較值ε0或第三比較值ε2大於臨界值εth(步驟S150)，深度錯誤補償器39會根據圖14C所描述的方程式18並且藉由利用多個第二數位畫素訊號A0(K)、A1(K)、A2(K)及A3(K)來計算相位差(步驟S170)。
深度錯誤補償器39會根據決定結果來計算相位差並且藉由利用方程式2來計算深度資訊(步驟S180)。
圖16A為三維影像感測器的單位畫素陣列的例子之示意圖。參照圖16A，組成圖17中畫素陣列522的一部份的單位畫素陣列522-1包括了紅色畫素R、綠色畫素G、藍色畫素B以及深度畫素D。深度畫素D的結構可以是如 圖1所繪示的具有單階畫素結構的深度畫素23或者是如圖9所繪示的具有雙階畫素結構的深度畫素23-1。紅色畫素R、綠色畫素G及藍色畫素B可以稱為RGB色彩畫素。
紅色畫素會產生對應到屬於可見光頻譜區域的波的紅色畫素訊號(red pixel signal)，綠色畫素會產生對應到屬於可見光頻譜區域的波的綠色畫素訊號(green pixel signal)以及藍色畫素會產生對應到屬於可見光頻譜區域的波的藍色畫素訊號(blue pixel signal)。深度畫素D會產生對應到屬於紅外(infrared)區域的波的深度畫素訊號(depth pixel signal)。
圖16B為另一個三維影像感測器的單位畫素陣列的例子之示意圖。參照圖16B，組成圖17中畫素陣列522的一部份的單位畫素陣列522-2包括了兩個紅色畫素R、兩個綠色畫素G、兩個藍色畫素B以及兩個深度畫素D。
繪示於圖16A及圖16B的單位畫素陣列522-1及522-2是為了方便說明的例子，並且單位畫素的型態(pattern)及組成此型態的畫素可以根據一示範實施例來作各式各樣的變化。舉例來說，繪示於圖16A到圖16B的每一個畫素R、G及B可以用酒紅色(magenta pixel)畫素、青綠色畫素(cyan pixel)及黃色畫素(yellow pixel)來取代。
圖17為根據一示範實施例的三維影像感測器的區塊圖。在此，三維影像感測器(three-dimensional image sensor)指的是透過結合量測深度資訊的功能來得到三維影像資訊的裝置，其中量測深度資訊是藉由利用深度畫素D及量測 色彩資訊的功能來取得。例如，藉由利用繪示於圖16A或圖16B的單位畫素陣列522-1或522-2所包括的每一色彩畫素R、G及B來取得紅色色彩資訊、綠色色彩資訊及藍色色彩資訊。
參照圖17，三維影像感測器500包括半導體晶片520、光源532及鏡頭模組534。半導體晶片520包括畫素陣列522、列解碼器524、時序控制器526、光閘控制器528、光源驅動器530、CDS/ADC數位電路536、記憶體538及深度錯誤補償器539。
圖17中的列解碼器524、時序控制器526、光閘控制器528、光源驅動器530、CDS/ADC電路536、記憶體538及深度錯誤補償器539的每一個與圖1中的列解碼器24、時序控制器26、光閘控制器28、光源驅動器30、CDS/ADC電路36、記憶體38及深度錯誤補償器39的每一個都具有一樣的運作及功能。為了簡潔之便，在此省略其說明。
根據一示範實施例，三維影像感測器500進一步包括了行解碼器(column decoder)。行解碼器可以將時序控制器526所輸出的行位址(column address)予以解碼並且輸出行選擇訊號(column selection signals)。
列解碼器可以產生用來控制實施在畫素陣列22裡中的每一畫素運作的控制訊號，例如繪示於圖16A或圖16B的每一畫素R、G及B。
畫素陣列522包括繪示於圖16A或圖16B中的單位畫素陣列522-1或522-2。舉例來說，畫素陣列包括多個畫 素。多個畫素中的每一個可以藉由混合在紅色畫素、綠色畫素、藍色畫素、深度畫素、酒紅色畫素、青綠色畫素及黃色畫素中的至少兩個來安配置。多個畫素中的每一個被配置在多條行線(column lines)與多條列線(row lines)的交會點上的矩陣形式內。
根據一示範實施例，記憶體538及深度錯誤補償器539可以實施在影像訊號處理器(image signal processor)內。在此，影像訊號處理器可以內插(interpolate)畫素陣列522中的每一畫素所輸出的每一畫素訊號並且基於每一畫素資訊來產生三維影像訊號。
圖18為包括繪示於圖17的三維影像感測器的影像處理系統的區塊圖。參照圖18，影像處理系統600可以包括三維影像感測器500及處理器210。
處理器210可以控制三維影像感測器500的運作。舉例來說，處理器210可以儲存用來控制三維影像感測器500的動作的程式。根據一示範實施例，處理器210可以存取記憶體(未繪示)中的程式，其程式是用來控制三維影像感測器500的動作，並且執行儲存在記憶體內的程式。
在處理器210的控制下，三維影像感測器500基於每一數位畫素訊號(例如，紅色資訊或深度資訊)可以產生三維影像資訊(three-dimensional image information)。所產生的三維影像資訊可以透過連接到介面230的顯示器顯示而出。
在處理器210的控制下，由三維影像感測器500所產 生的三維影像資訊可以經由匯流排(bus)201儲存在記憶體裝置220。記憶體裝置220可以用非揮發性記憶體裝置(non-volatile memory device)來實作。介面230能夠以用來輸入/輸出三維影像資訊的介面來實作。根據一示範實施例，介面230能夠以無線介面(wireless interface)來實作。
圖19為根據一示範實施例之含有色彩影像感測器及深度感測器的影像處理系統的區塊圖。參照圖19，影像處理系統700包括深度感測器710、含有RGB色彩畫素的色彩影像感測器310及處理器210。深度感測器710可以是深度感測器10或10’。
圖19繪示了實體上彼此分開來的深度感測器710及色彩影像感測器310。然而，深度感測器710及色彩影像感測器310可以共享訊號處理電路(signal processing circuits)。
在此，色彩影像感測器310可以意指包括畫素陣列的影像感測器。而此畫素陣列是實作在紅色畫素，綠色畫素及藍色畫素之內(不包括深度畫素)。因此，處理器210可以基於由深度感測器710所估計或計算的深度資訊來產生三維影像資訊，並且產生自色彩影像感測器310所輸出的每一色彩資訊，例如紅色資訊、綠色資訊、藍色資訊、酒紅色資訊、青綠色資訊及黃色資訊，並且經由顯示器來顯示已產生的三維影像資訊。
由處理器210所產生的三維影像資訊可以透過匯流排301儲存在記憶體裝置220。
繪示於圖18或圖19的影像處理系統可以應用於三維距離量測器(three-dimensional distance measurer)、遊戲控制器(game controller)、深度相機(depth camera)或手勢感測裝置(gesture sensing apparatus)。
圖20為根據一示範實施例之含有深度感測器的訊號處理系統的區塊圖。參照圖20，僅能如簡單深度(或距離)量測感測器運作的訊號處理系統800包括深度感測器810及處理器210。其中，深度感測器810可以是深度感測器10或10’，而處理器210可以用來控制深度感測器810的運作。
處理器210基於深度感測器810所輸出的深度資訊，可以計算在訊號處理系統800及對象(或目標物件)之間的距離資訊或深度資訊。由處理器210所量測到的距離資訊或深度資訊可以透過匯流排401儲存在記憶體裝置220。
至少根據一些示範實施例，深度感測器可以補償當目標物件快速地或橫向地移動時所發生的深度資訊錯誤。
雖然本發明已將一些實施例揭露並說明如上，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10、10’‧‧‧深度感測器
20、20’‧‧‧半導體晶片
22、22’‧‧‧陣列
23‧‧‧單階深度畫素
23-1‧‧‧雙階深度畫素
24‧‧‧列解碼器
26‧‧‧時序控制器
28‧‧‧光閘控制器
30‧‧‧光源驅動器
32‧‧‧光源
34‧‧‧鏡頭模組
36‧‧‧數位電路
38‧‧‧記憶體
39‧‧‧深度錯誤補償器
40‧‧‧目標物件
100、100’‧‧‧P型基板
110‧‧‧光閘
110’‧‧‧第一光閘
112、112’‧‧‧第一傳輸電晶體
114‧‧‧浮動擴散區
114’‧‧‧第一浮動擴散區
116‧‧‧橋接擴散區
116’‧‧‧第一橋接擴散區
120‧‧‧第二光閘
122‧‧‧第二傳輸電晶體
124‧‧‧第二浮動擴散區
126‧‧‧第二橋接擴散區
130‧‧‧隔離區
150‧‧‧微鏡片
201、301、401‧‧‧匯流排
210‧‧‧處理器
220‧‧‧記憶體裝置
230‧‧‧介面
310‧‧‧色彩影像感測器
500‧‧‧三維影像感測器
520‧‧‧半導體晶片
522‧‧‧畫素陣列
522-1、522-2‧‧‧單位畫素陣列
524‧‧‧列解碼器
526‧‧‧時序控制器
528‧‧‧光閘控制器
530‧‧‧光源驅動器
532‧‧‧光源
534‧‧‧鏡頭模組
536‧‧‧數位電路
538‧‧‧記憶體
539‧‧‧深度錯誤補償器
600‧‧‧影像處理系統
700‧‧‧影像處理系統
710‧‧‧深度感測器
800‧‧‧訊號處理系統
810‧‧‧深度感測器
A0’(K-1)、A1’(K-1)、A2’(K-1)、A3’(K-1)‧‧‧第一畫素訊號
A0’(K)、A1’(K)、A2’(K)、A3’(K)‧‧‧第二畫素訊號
A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)‧‧‧第一數位畫素訊號
A0(K)、A1(K)、A2(K)、A3(K)‧‧‧第二數位畫素訊號
D(K)、D(K-1)‧‧‧深度資訊
Ga‧‧‧第一光閘控制訊號
Gb‧‧‧第二光閘控制訊號
Gc‧‧‧第三光閘控制訊號
Gd‧‧‧第四光閘控制訊號
MLS‧‧‧時脈訊號
P1‧‧‧第一時間區間
P2‧‧‧第二時間區間
S10、S20、S30、S40、S50、S60、S70、S80、S90、S100、S110、S120、S130、S140、S150、S160、S170、S180‧‧‧步驟
S/F‧‧‧驅動電晶體
S/F_A‧‧‧第一驅動電晶體
S/F_B‧‧‧第二驅動電晶體
TX‧‧‧傳輸控制訊號
TX_A‧‧‧第一傳輸控制訊號
TX_B‧‧‧第二傳輸控制訊號
t0、t1、t2、t3、t4、t5、t6、t7‧‧‧時間點
VHA、VHA’、VHB‧‧‧區域
VLA、VLB‧‧‧區域
Z、Z1、Z2、Z3‧‧‧距離
θ‧‧‧相位差
ε0、ε1、ε2、ε3‧‧‧比較值
εth‧‧‧臨界值
從以下實施例結合附圖的描述，本發明概念之這些及/或其他觀點及優點會變得明顯且更能欣然地領會，其附圖為以下： 圖1為依據一示範實施例之深度感測器之區塊示意圖。
圖2為繪示圖1的陣列內的單階深度畫素之平面圖。
圖3為將沿著圖2中所繪示的單階深度畫素的剖面線I-I’剖開的橫截面圖。
圖4為用來控制包含在圖1中所繪示的單階深度畫素的多個光閘的多個光閘控制訊號的時序圖。
圖5為用來解釋經由利用圖1所繪示的單階深度畫素所連續偵測的多個畫素訊號的時序圖。
圖6A為繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖6B為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖6C仍為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖6D仍為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖6E仍為另一繪示用來解釋經由利用圖1中所繪示的單階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖7為根據一示範實施例用來說明深度資訊錯誤補償方法之流程圖。
圖8為說明利用傳統估計演算法及繪示於圖1中深度感測器的及深度資訊錯誤補償之深度感測器的深度資訊錯誤模擬結果的示範圖。
圖9為根據另一示範實施例之深度感測器的區塊圖。
圖10為於圖9中所繪示的雙階深度畫素的平面圖。
圖11為沿著圖9中所繪示的雙階深度畫素的剖面線I-I’剖開的橫截面圖。
圖12為用來控制包含在圖9中所繪示的雙階深度畫素的多個光閘的多個光閘控制訊號的時序圖。
圖13為用來解釋經由利用圖9所繪示的雙階深度畫素所連續偵測的多個畫素訊號的時序圖。
圖14A為繪示用來解釋經由利用圖9中所繪示的雙階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖14B仍為另一繪示用來解釋經由利用圖9中所繪示的雙階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖14C仍為另一繪示用來解釋經由利用圖9中所繪示的雙階深度畫素所連續偵測到的多個畫素訊號來計算深度資訊的方法的示範圖。
圖15為根據另一示範實施例用來說明深度資訊錯誤補償方法之流程圖。
圖16A為三維影像感測器的單位畫素陣列的例子之示意圖。
圖16B為另一個三維影像感測器的單位畫素陣列的例子之示意圖。
圖17為根據一示範實施例的三維影像感測器的區塊圖。
圖18為包括繪示於圖17的三維影像感測器的影像處理系統的區塊圖。
圖19為根據一示範實施例之含有色彩影像感測器及深度感測器的影像處理系統的區塊圖。
圖20為根據一示範實施例之含有深度感測器的訊號處理系統的區塊圖。
10‧‧‧深度感測器
20‧‧‧半導體晶片
22‧‧‧陣列
23‧‧‧單階深度畫素
23-1‧‧‧雙階深度畫素
24‧‧‧列解碼器
26‧‧‧時序控制器
28‧‧‧光閘控制器
30‧‧‧光源驅動器
32‧‧‧光源
34‧‧‧鏡頭模組
36‧‧‧數位電路
38‧‧‧記憶體
39‧‧‧深度錯誤補償器
40‧‧‧目標物件
Z、Z1、Z2、Z3‧‧‧距離

Claims (26)

  1. 一種深度資訊錯誤補償方法，適用於一深度感測器，該方法包括：輸出調變光線至一目標物件；藉由至少一個深度畫素，對於該深度畫素的一光閘控制訊號的多個第一相位差而在一第一時間區間的不同偵測時間點進行第一次偵測多個第一畫素訊號，該些第一畫素訊號表示在該第一時間區間從該目標物件反射的一反射光線；對於該深度畫素的該光閘控制訊號的該些第一相位差而在一第二時間區間中的不同偵測時間點進行第二次偵測多個第二畫素訊號，該些第二畫素訊號表示在該第二時間區間從該目標物件反射的一反射光線；將該些第一畫素訊號中的每一個與該些第二畫素訊號中的每一個進行比較；以及根據一比較結果，計算在該第二時間區間中至該目標物件的一深度資訊。
  2. 如申請專利範圍第1項所述之深度資訊錯誤補償方法，其中該第一次偵測及該第二次偵測，包括累積發生於週期時間為0度、90度、180度或270度的該深度畫素的該光閘控制訊號的該些第一相位差的電子。
  3. 如申請專利範圍第1項所述之深度資訊錯誤補償方法，其中該計算至該目標物件的深度資訊的步驟，包括：根據該比較結果，產生多個比較值； 決定該些比較值中的每一個是否大於一臨界值；根據該決定而計算一第二相位差；以及根據在該第一時間區間及該第二時間區間的該反射光線的頻率與該第二相位差，計算該深度資訊。
  4. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一單階畫素型態，計算該第二相位差的步驟包括：如果該些比較值中的每一個小於該臨界值，則利用該些第二畫素訊號來計算該第二相位差。
  5. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一單階畫素型態，並且該些比較值其中之一是大於該臨界值，則計算該第二相位差的步驟包括：利用該些第二畫素訊號來補償至該目標物件的一深度資訊錯誤，或是除了對應於超過該臨界值之該比較值的該些第一及第二畫素訊號以外，利用畫素訊號來計算該第二相位差。
  6. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一單階畫素型態，並且該些比較值中之兩個大於該臨界值，計算該第二相位差的步驟包括：除了分別對應於該些兩個比較值的兩個該些第一畫素訊號，以及對應於該些兩個比較值的兩個該些第二畫素訊號以外， 利用該些第一畫素訊號及該些第二畫素訊號來計算該第二相位差。
  7. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一單階畫素型態，計算該第二相位差的步驟包括：如果該些比較值中的三個大於該臨界值，則利用分別對應三個該些比較值的該些第二畫素訊號中的三個來計算該第二相位差。
  8. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一單階畫素型態，並且該些比較值中的每一個大於該臨界值，計算該第二相位差的步驟包括：利用該些第二畫素訊號來計算該第二相位差。
  9. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一雙階畫素型態，並且該些比較值中的每一個小於該臨界值，計算該第二相位差的步驟包括：利用該些第二畫素訊號來計算該第二相位差。
  10. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一雙階畫素型態，並且該些比較值中的一個或兩個大於該臨界值，計算該第二相位差的步驟包括：除了對應於該些比較值中之兩個的兩個該些第一畫素訊號以外，以及除了對應於該些比較值中之兩個的兩個該 些第二畫素訊號以外，分別利用第一及第二畫素訊號來計算該第二相位差。
  11. 如申請專利範圍第3項所述之深度資訊錯誤補償方法，其中，如果該深度畫素具有一雙階畫素型態，並且該些比較值中的至少三個大於該臨界值，計算該第二相位差的步驟包括：利用該些第二畫素訊號來計算該第二相位差。
  12. 一深度感測器，包括：一光源，用以輸出調變光線至一目標物件；一深度畫素，用以對於該深度畫素的一光閘控制訊號的多個第一相位差而在一第一時間區間中的不同偵測時間點來偵測多個第一畫素訊號及對於該深度畫素的該光閘控制訊號的該些第一相位差而在一第二時間區間中的不同偵測時間點來偵測多個第二畫素訊號，該些第一及該些第二畫素訊號表示自該目標物件反射的一反射光線；一數位電路，用以將該些第一畫素訊號中的每一個及該些第二畫素訊號中的每一個分別轉換為多個第一數位畫素訊號及多個第二數位畫素訊號；一記憶體，用以儲存該些第一數位畫素訊號及該些第二數位畫素訊號；以及深度錯誤補償器，用以將該些第一數位畫素訊號中的每一個與該些第二數位畫素訊號中的每一個進行比較，並且根據多個比較結果計算在該第二時間區間中至該目標物件的深度資訊。
  13. 如申請專利範圍第12項所述之深度感測器，其中該深度錯誤補償器，用以根據該些比較結果來產生多個比較值，並且決定該些比較值中的每一個是否大於一臨界值，根據該些決定結果來計算一第二相位差，並且根據該反射光線的頻率及該第二相位差來計算該深度資訊。
  14. 如申請專利範圍第13項所述之深度感測器，其中，如果該深度畫素具有一單階畫素型態，並且該些比較值中的每一個小於該臨界值，該深度錯誤補償器用以利用該些第二數位畫素訊號來計算該第二相位差。
  15. 如申請專利範圍第13項所述之深度感測器，其中，如果該深度畫素具有一單階畫素型態，並且該些比較值其中之一大於該臨界值，該深度錯誤補償器用以利用該些第二數位畫素訊號對該目標物件補償一深度資訊錯誤，或者，利用多個數位畫素訊號來計算該第二相位差，除了對應於該些比較值其中之一的一第一數位畫素訊號之外，以及除了對應於該些比較值其中之一的一第二數位畫素訊號之外。
  16. 如申請專利範圍第13項所述之深度感測器，其中，如果該深度畫素具有一單階畫素型態，並且該些比較值中的兩個大於該臨界值，該深度錯誤補償器用以利用多個數位畫素訊號來計算該第二相位差，分別除了對應於該些比較值中之兩個該些比較值的兩個第一數位畫素訊號以外，以及除了對應於該些比較值中之兩個該些比較值的兩個第二數位畫素訊號以外。
  17. 如申請專利範圍第13項所述之深度感測器，其中， 如果該深度畫素具有一單階畫素型態，並且該些比較值中的三個大於該臨界值，該深度錯誤補償器用以分別利用對應於該些比較值中之三個該些比較值的多個第二數位畫素訊號來計算該第二相位差。
  18. 如申請專利範圍第13項所述之深度感測器，其中，如果該深度畫素具有一單階畫素型態，並且該些比較值中的每一個大於該臨界值，該深度錯誤補償器用以利用該些第二數位畫素訊號來計算該第二相位差。
  19. 如申請專利範圍第13項所述之深度感測器，其中，如果該深度畫素具有一雙階畫素型態，並且該些比較值中的每一個小於該臨界值，該深度錯誤補償器用以利用該些第二數位畫素訊號來計算該第二相位差。
  20. 如申請專利範圍第13項所述之深度感測器，其中，如果該深度畫素具有一雙階畫素型態，並且該些比較值中的一個或兩個大於該臨界值，該深度錯誤補償器用以利用多個數位畫素訊號來計算該第二相位差，分別除了對應於該些比較值中的兩個該些比較值的兩個第一數位畫素訊號以外，以及除了對應於該些比較值中的兩個該些比較值的兩個第二數位畫素訊號以外。
  21. 如申請專利範圍第13項所述之深度感測器，其中，如果該深度畫素具有一雙階畫素型態，並且該些比較值中的三個或更多個該些比較值大於該臨界值，該深度錯誤補償器用以利用該些第二數位畫素訊號來計算該第二相位差。
  22. 一訊號處理系統，包括： 一深度感測器；以及一處理器，用以控制該深度感測器的運作，其中，該深度感測器包括：一光源，用以輸出調變光線至一目標物件；一深度畫素，用以對於該深度畫素的一光閘控制訊號的多個第一相位差而在一第一時間區間中的不同偵測時間點偵測多個第一畫素訊號，並且對於該深度畫素的該光閘控制訊號的該些第一相位差而在一第二時間區間中的不同偵測時間點偵測多個第二畫素訊號，該些第一及該些第二畫素訊號表示自該目標物件反射的反射光線；以及深度錯誤補償器，用以將該些第一數位畫素訊號中的每一個與該些第二數位畫素訊號中的每一個進行比較，並且根據多個比較結果計算在該第二時間區間中至該目標物件的深度資訊。
  23. 一種三維影像感測器，包括：一光源，用以輸出調變光線至一目標物件；一畫素陣列，包括一深度畫素，該深度畫素在一第一時間區間中的不同偵測時間點偵測多個第一畫素訊號，並且在一第二時間區間中的不同偵測時間點偵測多個第二畫素訊號，該些第一畫素訊號及該些第二畫素訊號表示從該目標物件反射的反射光線，該畫素陣列更包括紅色畫素、綠色畫素及藍色畫素，用以輸出多個紅綠藍(RGB)色畫素訊號；以及一影像訊號處理器，用以產生三維影像資訊，其中，該影像訊號處理器用以分別將多個第一數位畫素訊 號與多個第二數位畫素訊號作比較，該些第一數位畫素訊號是從該些第一畫素訊號轉換而來，該些第二數位畫素訊號是從該些第一畫素訊號轉換而來，並且根據該些比較結果基於至該目標物件的該深度資訊來產生該三維影像資訊，以及產生對應於該紅綠藍(RGB)色畫素訊號的紅綠藍(RGB)色數位訊號。
  24. 一種操作一影像感測器的方法，該方法包括：在一第一時間區間，取得多個第一畫素訊號，該些第一畫素訊號表示在該第一時間區間的多個時間點從一目標物件反射的反射光線；在一第二時間區間，取得多個第二畫素訊號，該些第二數位畫素訊號表示在該第二時間區間的多個時間點從該目標物件反射的反射光線；根據該些第一畫素訊號及該些第二畫素訊號，產生多個值；決定是否該些值中至少一個小於一臨界值；以及基於該些值中是否至少一個超過該臨界值來決定一相位差，該相位差表示在該些第一及該些第二畫素訊號中至少一個與該影像感測器所產生的一控制訊號之間的相位差，其中決定該相位差的步驟，包括：根據該些值小於該臨界值的數目，決定該相位差。
  25. 如申請專利範圍第24項所述之操作一影像感測器的方法，其中決定是否該些值中至少一個小於該臨界值的步驟，包括：如果該目標物件在該些第一及第二時間區間中至少一個 中移動，則決定該些值中至少一個小於該臨界值。
  26. 如申請專利範圍第24項所述之操作一影像感測器的方法，其中決定一相位差的步驟，包括：根據該些第二畫素訊號，決定該些值中至少一個小於該臨界值，並且決定該相位差。
TW101108382A 2011-03-24 2012-03-13 深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像感測器的方法 TWI554787B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110026166A KR101788032B1 (ko) 2011-03-24 2011-03-24 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템

Publications (2)

Publication Number Publication Date
TW201243396A TW201243396A (en) 2012-11-01
TWI554787B true TWI554787B (zh) 2016-10-21

Family

ID=46860265

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101108382A TWI554787B (zh) 2011-03-24 2012-03-13 深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像感測器的方法

Country Status (4)

Country Link
US (1) US8953152B2 (zh)
KR (1) KR101788032B1 (zh)
CN (1) CN102694998B (zh)
TW (1) TWI554787B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI733434B (zh) * 2020-05-06 2021-07-11 瑞昱半導體股份有限公司 訊號處理電路及其訊號處理方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104619237B (zh) 2012-07-26 2018-03-30 德普伊辛迪斯制品公司 光不足环境中的ycbcr脉冲调制的照明方案
JP6526560B2 (ja) 2012-07-26 2019-06-05 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 光が不十分な環境での連続的なビデオ
US9786252B2 (en) * 2012-09-10 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for suppressing background light in time of flight sensor
KR102099218B1 (ko) * 2012-09-10 2020-04-09 삼성전자주식회사 Tof 센서에서의 외광 제거 방법 및 외광 제거 장치
KR101977711B1 (ko) 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
DE102013225676B4 (de) * 2012-12-17 2018-06-07 pmdtechnologies ag Lichtlaufzeitkamera mit einer Bewegungserkennung
US20140168372A1 (en) * 2012-12-17 2014-06-19 Eminent Electronic Technology Corp. Ltd. Sensing apparatus and sensing method for generating three-dimensional image information
KR102007279B1 (ko) * 2013-02-08 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀, 이를 포함하는 3차원 이미지 센서 및 3차원 이미지 센서의 거리 픽셀의 구동 방법
JP6422937B2 (ja) 2013-03-15 2018-11-14 デピュイ・シンセス・プロダクツ・インコーポレイテッド 光制御された環境において感知する内視鏡
EP2967294B1 (en) 2013-03-15 2020-07-29 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
US9777913B2 (en) 2013-03-15 2017-10-03 DePuy Synthes Products, Inc. Controlling the integral light energy of a laser pulse
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
KR102083823B1 (ko) 2013-12-24 2020-04-14 에스케이하이닉스 주식회사 오프셋 전압을 제거하는 디스플레이 구동 장치
EP3119265B1 (en) 2014-03-21 2019-09-11 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
KR102194233B1 (ko) * 2014-05-19 2020-12-22 삼성전자주식회사 깊이 영상 생성 장치 및 방법
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
CN105991990A (zh) * 2015-01-23 2016-10-05 江苏南大五维电子科技有限公司 3d信息获取设备、3d信息获取方法、成像设备及电子设备
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
KR102561099B1 (ko) * 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
KR102444568B1 (ko) * 2017-07-27 2022-09-16 엘지전자 주식회사 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법 및 이를 구현하는 로봇
US11498228B2 (en) 2017-06-14 2022-11-15 Lg Electronics Inc. Method for sensing depth of object by considering external light and device implementing same
CN109274951B (zh) * 2017-07-13 2020-11-10 富泰华工业（深圳）有限公司 深度计算方法及其装置
CN111033315B (zh) * 2017-08-08 2023-07-21 国立大学法人静冈大学 距离图像测定装置以及距离图像测定方法
EP3462730B1 (en) 2017-08-18 2020-05-13 Shenzhen Goodix Technology Co., Ltd. Image sensing circuit and image depth sensing system
EP3572833B1 (en) * 2017-09-29 2021-11-24 Sony Semiconductor Solutions Corporation Time measurement device and time measurement apparatus
KR102624984B1 (ko) 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
CN108955641B (zh) * 2018-04-23 2020-11-17 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
KR102606240B1 (ko) * 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR102683411B1 (ko) * 2018-10-05 2024-07-10 삼성전자주식회사 복조 대비 성능을 향상시키기 위한 픽셀 구조를 포함하는 이미지 센서 및 이미지 처리 시스템
CN109798838B (zh) * 2018-12-19 2020-10-27 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
KR102646902B1 (ko) 2019-02-12 2024-03-12 삼성전자주식회사 거리 측정을 위한 이미지 센서
KR102648089B1 (ko) * 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
JP7476170B2 (ja) * 2019-04-05 2024-04-30 ソニーグループ株式会社 信号処理装置、信号処理方法、および、測距モジュール
CN110333501A (zh) * 2019-07-12 2019-10-15 深圳奥比中光科技有限公司 深度测量装置及距离测量方法
CN110488311B (zh) * 2019-08-05 2021-08-13 Oppo广东移动通信有限公司 深度距离测量方法、装置、存储介质及电子设备
WO2021118279A1 (en) 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
KR20210084752A (ko) * 2019-12-27 2021-07-08 삼성전자주식회사 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
CN111580119B (zh) * 2020-05-29 2022-09-02 Oppo广东移动通信有限公司 深度相机、电子设备及控制方法
US11290671B2 (en) * 2020-09-01 2022-03-29 Pixart Imaging Inc. Pixel circuit outputting pulse width signals and performing analog operation
CN111443361B (zh) * 2020-06-18 2022-03-29 深圳市汇顶科技股份有限公司 飞时测距方法与相关系统
CN116868082B (zh) * 2021-09-17 2024-09-03 邦纳工程公司 使用有效相位测量的飞行时间检测系统
CN114630062B (zh) * 2022-03-10 2024-03-12 杭州指数星空智能设备制造有限责任公司 一种提高tof传感器动态范围的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231057A (ja) * 1999-02-10 2000-08-22 Konica Corp 対物レンズ及び光ピックアップ装置
TWI291040B (en) * 2002-11-21 2007-12-11 Solvision Inc Fast 3D height measurement method and system
JP2009075104A (ja) * 2007-09-18 2009-04-09 Ncb Networks Co Ltd モアレ縞発生器を適用した位相遷移映写式３次元形状測定装置及びその方法
US20110051119A1 (en) * 2009-09-01 2011-03-03 Dong Ki Min Delay compensation in modulated optical time-of-flight phase estimation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715043A (en) * 1994-12-28 1998-02-03 Fuji Photo Film Co., Ltd. Range finder with compensation of rotation about Z-axis
DE10163534A1 (de) * 2001-12-21 2003-07-10 Siemens Ag Vorrichtung zur Überwachung von Raumbereichen
JP3832441B2 (ja) * 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
JP2005258954A (ja) 2004-03-12 2005-09-22 Ntt Docomo Inc 動物体検出装置、及び動物体検出方法
EP1659418A1 (en) * 2004-11-23 2006-05-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method for error compensation in a 3D camera
US7283213B2 (en) * 2005-02-08 2007-10-16 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
US7944548B2 (en) * 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
JP5295511B2 (ja) * 2007-03-23 2013-09-18 富士フイルム株式会社 測距装置及び測距方法
US8089557B2 (en) * 2007-10-04 2012-01-03 Hitachi, Ltd. Video signal processing apparatus, video signal processing method and video display apparatus
JP5250232B2 (ja) 2007-10-04 2013-07-31 株式会社日立製作所 画像信号処理装置、画像信号処理方法及び画像表示装置
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
EP2275833A1 (en) * 2009-07-01 2011-01-19 IEE International Electronics & Engineering S.A.R.L. Range camera and range image acquisition method
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
KR101646908B1 (ko) * 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231057A (ja) * 1999-02-10 2000-08-22 Konica Corp 対物レンズ及び光ピックアップ装置
TWI291040B (en) * 2002-11-21 2007-12-11 Solvision Inc Fast 3D height measurement method and system
JP2009075104A (ja) * 2007-09-18 2009-04-09 Ncb Networks Co Ltd モアレ縞発生器を適用した位相遷移映写式３次元形状測定装置及びその方法
US20110051119A1 (en) * 2009-09-01 2011-03-03 Dong Ki Min Delay compensation in modulated optical time-of-flight phase estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI733434B (zh) * 2020-05-06 2021-07-11 瑞昱半導體股份有限公司 訊號處理電路及其訊號處理方法

Also Published As

Publication number Publication date
US8953152B2 (en) 2015-02-10
CN102694998A (zh) 2012-09-26
KR101788032B1 (ko) 2017-10-19
CN102694998B (zh) 2017-03-01
KR20120108383A (ko) 2012-10-05
TW201243396A (en) 2012-11-01
US20120242975A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
TWI554787B (zh) 深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像感測器的方法
US20120173184A1 (en) Depth sensor, defect correction method thereof, and signal processing system including the depth sensor
KR102488321B1 (ko) 3차원 이미지 센서의 픽셀 어레이 및 3차원 이미지 센서의 구동 방법
US11598857B2 (en) Integrated lidar image-sensor devices and systems and related methods of operation
US20210377473A1 (en) Solid-state imaging apparatus, imaging system, and distance measurement method
US20120134598A1 (en) Depth Sensor, Method Of Reducing Noise In The Same, And Signal Processing System Including The Same
JP5679549B2 (ja) 距離測定方法、距離測定システム及び距離センサー
US8937711B2 (en) Sensor and method using the same
KR101977711B1 (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
CN108291969B (zh) 具有共享像素读出电路系统的成像传感器
US7626685B2 (en) Distance measuring sensors including vertical photogate and three-dimensional color image sensors including distance measuring sensors
US9167230B2 (en) Image sensor for simultaneously obtaining color image and depth image, method of operating the image sensor, and image processing system including the image sensor
US9673237B2 (en) Depth pixel included in three-dimensional image sensor, three-dimensional image sensor including the same and method of operating depth pixel included in three-dimensional image sensor
US20140198183A1 (en) Sensing pixel and image sensor including same
US8976277B2 (en) Image sensors
US9103663B2 (en) Depth sensor, method of calculating depth in the same
KR101681198B1 (ko) 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
KR20140111488A (ko) 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
JP6765235B2 (ja) 光センサ及びその補正方法
KR20210151497A (ko) 이미지 센싱 장치
KR20130006168A (ko) 센서 및 이를 포함하는 데이터 처리 시스템