TWI544232B - 用於飛行時間成像系統之校準電路與方法 - Google Patents

用於飛行時間成像系統之校準電路與方法 Download PDF

Info

Publication number
TWI544232B
TWI544232B TW104117832A TW104117832A TWI544232B TW I544232 B TWI544232 B TW I544232B TW 104117832 A TW104117832 A TW 104117832A TW 104117832 A TW104117832 A TW 104117832A TW I544232 B TWI544232 B TW I544232B
Authority
TW
Taiwan
Prior art keywords
pixel
signal
time
flight
stylized
Prior art date
Application number
TW104117832A
Other languages
English (en)
Other versions
TW201612587A (en
Inventor
郭健
王睿
代鐵軍
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201612587A publication Critical patent/TW201612587A/zh
Application granted granted Critical
Publication of TWI544232B publication Critical patent/TWI544232B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

用於飛行時間成像系統之校準電路與方法
本發明係關於影像感測器。特定言之，本發明之實施例係關於三維影像感測器。
隨著三維(3D)應用在應用(諸如多媒體、基於手勢之人機介面、汽車及類似物)中愈加流行，對3D攝影機之興趣增大。產生3D影像之一典型被動方式係使用多個攝影機來擷取立體影像或多個影像。可使用立體影像來三角量測影像中之物件以產生3D影像。此三角量測技術之一個缺點為，使用小型裝置來產生3D影像係困難的，此係因為各攝影機之間必須存在一最小分離距離以產生三維影像。另外，此技術很複雜且因此需要顯著之電腦處理能力以即時產生3D影像。
針對需要即時獲取3D影像之應用，有時利用基於光學飛行時間量測之主動深度成像系統。飛行時間成像系統通常採用將光引導向一物件之一光源、偵測自物件反射之光之一感測器及基於光行進至一物件且自該物件返回所花之往返時間而計算至物件之距離之一處理單元。在典型之飛行時間感測器中，通常使用光電二極體，此係因為自光偵測區至感測節點之轉換效率高。單獨電路經耦合至各像素單元中之光電二極管以偵測且量測自物件反射之光。
現有3D互補金屬氧化物半導體(CMOS)成像器一般利用飛行時間 成像系統來使用電荷調變提取各種成像物件之距離資訊。為達成高深度解析度，通常利用昂貴之具有尖銳上升/下降邊緣及廣泛後信號處理之雷射觸發系統來補償電子系統中之固有延遲。
100‧‧‧飛行時間成像系統
102‧‧‧光源
104‧‧‧光
106‧‧‧物件
108‧‧‧反射光
110‧‧‧透鏡
112‧‧‧飛行時間像素單元陣列
114‧‧‧光源調變信號
116‧‧‧控制電路
118‧‧‧第一延遲電路
120‧‧‧第二延遲電路
122‧‧‧像素調變信號
200‧‧‧飛行時間成像系統
202‧‧‧光源
204‧‧‧光脈衝
207‧‧‧校準反射器
208‧‧‧反射光脈衝
212‧‧‧飛行時間像素陣列
214‧‧‧光源調變信號
216‧‧‧控制電路
218‧‧‧可程式化延遲線電路/可程式化光源延遲線電路
220‧‧‧可程式化延遲線電路/可程式化像素延遲線電路
222‧‧‧像素調變信號
224‧‧‧參考調變信號
226‧‧‧光源程式化信號
228‧‧‧像素程式化信號
230‧‧‧驅動器電路
232‧‧‧像素控制電路
234‧‧‧讀出電路
238‧‧‧像素資訊/功能邏輯
240‧‧‧晶片
242‧‧‧控制信號
320‧‧‧可程式化延遲電路
322‧‧‧輸出信號/像素調變信號
324‧‧‧參考調變信號
328‧‧‧程式化信號
344‧‧‧最高有效位元
346‧‧‧最低有效位元
348‧‧‧解碼器電路
350A‧‧‧延遲級1
350Z‧‧‧延遲級Z
404‧‧‧光脈衝
422‧‧‧像素調變信號
424‧‧‧參考調變信號
438‧‧‧電荷
452‧‧‧第一脈衝
454‧‧‧第二脈衝
456‧‧‧第三脈衝
458‧‧‧第四脈衝
460‧‧‧第五脈衝
562‧‧‧流程圖
566‧‧‧程序塊
568‧‧‧程序塊
570‧‧‧程序塊
572‧‧‧程序塊
574‧‧‧程序塊
576‧‧‧程序塊
578‧‧‧程序塊
580‧‧‧程序塊
C1‧‧‧行
Cy‧‧‧行
flens‧‧‧焦距
L‧‧‧距離
P1‧‧‧像素單元
P2‧‧‧像素單元
Pn‧‧‧像素單元
Q1‧‧‧電荷讀數
Q2‧‧‧電荷讀數
Q3‧‧‧電荷讀數
Q4‧‧‧電荷讀數
Q5‧‧‧電荷讀數
R1‧‧‧列
Rx‧‧‧列
td‧‧‧可變延遲
td1‧‧‧延遲
td2‧‧‧延遲
td3‧‧‧延遲
td4‧‧‧延遲
td5‧‧‧延遲
參考隨附圖式描述本發明之非限制性且非詳盡性實施例，其中類似參考數字指代貫穿各種視圖之類似零件，除非另有規定。
圖1係展示根據本發明之教示之包含具有一校準模式之控制電路之一飛行時間成像系統之一項實例之一方塊圖。
圖2係繪示根據本發明之教示在校準期間更詳細包含控制電路之一飛行時間成像系統之另一實例之一方塊圖。
圖3係繪示根據本發明之教示之一可程式化延遲電路之一實例之一方塊圖。
圖4係展示根據本發明之教示之在一飛行時間影像感測系統之一校準期間之一參考調變信號、校準光脈衝、一像素調變信號及所感測電荷之一實例之一時序圖。
圖5係繪示根據本發明之教示之在一實例飛行時間成像系統之一校準期間執行之處理之一項實例之一流程圖。
對應參考字符指示貫穿圖式之若干視圖之對應組件。熟習此項技術者將暸解，圖式中之元件出於簡化及清楚之目的而繪示且未必按比例繪製。舉例而言，圖式中之一些元件之尺寸可相對於其他元件誇大以幫助改良對本發明之各種實施例之理解。又，通常未描繪在可商用實施例中有用或必要的常見但眾所周知之元件以促進更方便地瞭解對本發明之此等各種實施例。
揭示用於校準一飛行時間成像系統中之飛行時間像素單元之方法及電路。在下列描述中，提出數種特定細節以便提供對本發明之一 通透理解。然而，熟習相關技術者將認識到，可實踐本文描述之技術而無需一或多個特定細節，或使用其他方法、組件、材料等等。在其他例項中，未詳細展示或描述熟知之結構、材料或操作以避免模糊特定態樣。
整個此說明書中，對「一項實施例」或「一實施例」之引用意謂，結合實施例描述之一特定特徵、結構或特性包含於本發明之至少一項實施例中。因此，整個此說明書各種位置中之短語「在一項實施例中」或「在一實施例中」之出現並不必要皆係指代相同實施例。此外，特定特徵、結構或特性可在一或多項實施例中以任何適當方式組合。
貫穿此說明書，使用若干技術術語。此等術語具有自其等出現之技術中之普通含義，除非本文中明確定義或其等使用之背景內容另有清晰顯示。舉例而言，術語「或」係在包含意義(例如，在「及/或」中)中使用，除非背景內容另有清晰指示。
如將展示，揭示提供一低成本之基於CMOS之3D成像系統之快速且精確之校準電路及方法之實例，且揭示作為光學觸發源之光源(諸如LED)。所揭示校準電路及技術之實例補償整個系統自LED至電子快門電路之延遲。在各種實例中，一飛行時間成像系統包含一校準架構，該校準架構利用晶片上可程式化延遲線來執行光源與影像感測器之間的延遲差之靈活且高效之校準。在各種實例中，根據本發明之教示，所揭示之校準電路及技術可達成亞納秒精確性而具有最小之硬體成本及電力消耗。
為繪示，圖1係展示根據本發明之教示之包含控制電路之一飛行時間成像系統100之一項實例之一方塊圖。如展示，飛行時間成像系統100包含發射光脈衝之一光源102，光脈衝在圖1中繪示為所發射之光104。如展示，所發射之光104經引導至一物件106。在一項實例 中，所發射之光104包含紅外(IR)光脈衝。根據本發明之教示應瞭解，在其他實例中，所發射之光104可具有除紅外以外之波長(諸如可見光、近紅外光等等)。接著，所發射之光104自物件106反射回，在圖1中其經展示為經反射回之光108。如展示，反射光108自物件106引導穿過透鏡110且接著經聚焦至一飛行時間像素單元陣列112上。在一項實例中，飛行時間像素單元陣列112包含以一二維陣列配置之複數個飛行時間像素單元。
如在所描繪之實例中展示，光源102經耦合以回應於自第一延遲電路118接收之一光源調變信號114發射光104，第一延遲電路118經耦合至控制電路116。飛行時間像素單元陣列112經耦合以回應於自一第二延遲電路120接收之一像素調變信號122而感測經反射回之光108，第二延遲電路120亦經耦合至控制電路116。如將在下文中更詳細討論，控制電路116包含一校準模式，該校準模式根據本發明之教示利用第一延遲電路118及第二延遲電路120來使光源調變信號114與像素調變信號122同步。
在圖1中描繪之實例中，應注意，飛行時間像素單元陣列112經定位於與透鏡110相距一焦距flens。如在實例中展示，光源102及透鏡110經定位與物件相距一距離L。在一項實例中，應注意，透鏡110可使用經整合至飛行時間像素單元陣列112中之複數個微透鏡而實施。當然應瞭解，圖1不按比例繪示且在一項實例中，焦距flens實質上小於透鏡110與物件106之間的距離L。因此，應瞭解，為本發明之目的，根據本發明之教示，為量測飛行時間之目的，距離L及距離L+焦距flens實質上相等。另外，亦應瞭解，為本發明之目的，根據本發明之教示，為量測飛行時間之目的，光源102與物件106之間的距離及物件106與透鏡110之間的距離兩者亦實質上等於L。因此，光源102與物件106之間的距離(及/或物件106與透鏡110之間的距離)等於往返距離(例如， D)之一半，因此D等於2×L。換言之，根據本發明之教示，假定自光源102至物件106之距離L加自物件106返回至透鏡110之距離L等於往返距離D(或2×L)。
在描繪之實例中，在經發射之光104之一光脈衝發射與在反射光108中接收該光脈衝之間的存在一延遲時間，此係由光脈衝自光源102行進距離L至物件106所花時間量及接著對應反射光脈衝108自物件106行進距離L返回至像素單元陣列112所花之額外時間所造成。經發射之光104與反射光108之間的延遲時間表示光脈衝在光源102與物件106之間進行往返之飛行時間。一旦飛行時間(即，TOF)已知，則可使用下列方程式1及2中之關係來判定自光源102至物件106之距離L：
其中c係光速，其約等於3 x 108m/s，且TOF係如在圖1中展示之光脈衝行進至物件及自物件返回所花之時間量。
圖2係繪示根據本發明之教示在校準期間包含控制電路之一飛行時間成像系統200之另一更詳細實例之一方塊圖。在圖2中描繪之實例中，一晶片240包含具有一校準模式之一控制電路216，校準模式利用兩個可程式化延遲線電路218及220來提供自光源202發射之實際光脈衝204與像素調變信號222中之電荷調變脈衝之間的精確同步，電荷調變脈衝用來根據本發明之教示控制飛行時間像素陣列212以感測經入射至飛行時間像素陣列212上之反射光脈衝208。
特定言之，如在所描繪之實例中展示，在飛行時間成像系統200之校準期間，一校準反射器207經定位於光源202及飛行時間像素單元陣列212之前部。因此，光脈衝204作為反射光脈衝208自校準反射器207反射至飛行時間像素陣列212。在所繪示之實例中，校準反射器 207在校準期間定位與光源202及飛行時間像素單元陣列212相距一相對近之距離(例如，約0.1米)。因此，入射至飛行時間像素單元陣列212之反射光脈衝208之光學信號歸因於緊靠近校準反射器207而相對強。
在圖2中繪示之實例中，飛行時間像素單元陣列212係飛行時間像素單元(例如，像素單元P1、P2……Pn)之二維(2D)陣列。如繪示，各像素單元P1、P2……Pn經配置於一列(例如，列R1至Rx)及一行(例如，行C1至Cy)中以回應於由可程式化像素延遲線電路220產生之一像素調變信號222之各自脈衝而感測自校準反射器207反射回之反射光脈衝208。
如在實例中展示，可程式化像素延遲線電路220經耦合以藉由根據一像素程式化信號228延遲參考調變信號224而產生像素調變信號222，由控制電路216產生像素程式化信號228。如在下文中更詳細討論，可程式化像素延遲線電路220經耦合以提供一可變像素延遲，其經程式化以回應於像素程式化信號228，以使自光源202發射之光脈衝204與像素調變信號222中之脈衝同步，像素調變信號222中之脈衝用於根據本發明之教示控制飛行時間像素陣列212以感測反射光脈衝208。在一項實例中，像素控制電路232經耦合以接收像素調變信號222來產生控制信號242，控制信號242經耦合以回應於像素調變信號222之脈衝而控制包含於飛行時間像素單元陣列212中之像素單元以感測反射光脈衝208。
在圖2中描繪之實例中，光源202經耦合以回應於一光源調變信號214之各自脈衝而發射光脈衝204至校準反射器207，光源調變信號214經耦合以透過一驅動器電路230自一可程式化光源延遲線電路218接收。如展示，一可程式化光源延遲線電路218經耦合以藉由根據一光源程式化信號226延遲參考調變信號224而產生光源調變信號214， 光源程式化信號226經耦合以自控制電路216接收。在一項實例中，可程式化光源延遲線電路218能夠提供一可變像素延遲，可變像素延遲回應於一光源程式化信號226而經程式化。
在一項實例中，控制電路216將光源程式化信號226設定至一固定中間值且接著改變像素程式化信號228，以使自光源202發射之光脈衝204與像素調變信號222中之脈衝同步，像素調變信號222中之脈衝用來根據本發明之教示控制飛行時間像素陣列212。特定言之，控制電路116經耦合以自飛行時間像素陣列212接收像素資訊238，像素資訊238代表由飛行時間像素陣列212觀察到之反射光脈衝208。
在操作中，根據本發明之教示，控制電路216經耦合以在校準模式期間回應於自飛行時間像素陣列212接收之像素資訊238改變像素程式化信號228，以使自光源202發射之光脈衝208與像素調變信號222之脈衝同步。
在所描繪之實例中，像素程式化信號228及光源程式化信號226兩者皆係N位元數位信號。舉例而言，在一項實例中，N=8，且因此像素程式化信號228及光源程式化信號226兩者皆係8位元數位信號。
在所繪示之實例中，控制電路216經耦合以透過讀出電路234自飛行時間像素陣列212接收像素資訊238。舉例而言，在一項實例中，藉由讀出電路232透過位元線讀出在飛行時間像素單元陣列212中之像素單元P1、P2……Pn。讀出電路234亦可包含放大器以進一步放大透過位元線接收之信號。
在一項實例中，由讀出電路234輸出之像素資訊238可係一M位元數位信號。舉例而言，在一項實例中，M=8，且像素資訊因此係由包含於讀出電路234中之一類比轉數位轉換器產生之一10位元數位信號。在描繪之實例中，依照本發明之教示，自飛行時間像素陣列212讀出之像素資訊238代表回應於由飛行時間像素陣列212感測之反射光 脈衝208在像素單元中光學產生之電荷Q之一數量。
在各種實例中，可在由飛行時間像素陣列212感測複數個反射光脈衝208後讀出像素資訊238。舉例而言，在一項實例中，在藉由讀出電路234之像素資訊238之各讀出之前由飛行時間像素單元陣列212感測15個反射光脈衝208。藉由在各讀出之前感測複數個反射光脈衝208，容許在飛行時間像素單元陣列212之像素單元中累積額外電荷Q，此改良像素資訊238中之信號雜訊比。
在各種實例中，自飛行時間像素單元陣列212讀出之像素資訊238可係基於來自飛行時間像素單元陣列212之兩個對立邊緣之讀數而判定之一平均值。舉例而言，在一項實例中，讀出第一列(例如，列R1)及最後一列(例如，列Rx)。計算且儲存第一列之平均電荷(例如，Q1)，且計算且儲存第二列之平均電荷(例如，Q2)。此之目的係平均化跨飛行時間像素單元陣列212之頂部至底部偏移。接著，可藉由計算Q1及Q2之平均值判定讀出之平均值。
接著，在一項實例中，由讀出電路234讀出之資訊亦可經傳送至功能邏輯238。在一項實例中，功能邏輯238可判定各像素單元之飛行時間及距離資訊。在一項實例中，功能邏輯238亦可儲存飛行時間資訊及/或甚至操縱飛行時間資訊(例如，剪裁、旋轉、針對背景雜訊調整或類似物)。在一項實例中，讀出電路234可沿著位元線一次讀出一整列飛行時間資料，或在另一實例中可使用各種其他技術(未繪示)(諸如一串列讀出或同時完全並行讀出所有像素)讀出飛行時間資料。
在一項實例中，控制電路216經進一步耦合至飛行時間像素單元陣列212以控制飛行時間像素單元陣列212之操作，以及使飛行時間像素單元陣列212之操作與光源202同步，如上文討論。應注意，在其他實例中，根據本發明之教示，控制電路216將像素程式化信號228設定至一固定中間值且接著改變光源程式化信號226，或改變像素程式化 信號228與光源程式化信號226兩者，以使自光源202發射之光脈衝204與像素調變信號222中之電荷調變脈衝同步，像素調變信號222中之電荷調變脈衝用來控制飛行時間像素陣列212。
圖3係繪示根據本發明之教示之一可程式化延遲電路320之一實例之一方塊圖。應瞭解，圖3之可程式化延遲電路320可係圖1之第一延遲電路118及/或第二延遲電路120之一項實例，及/或圖2之可程式化光源延遲線電路218及/或可程式化像素延遲線電路220之一實例，且下文參考之具有類似名稱及編號之元件因此類似於上文描述之耦合且起作用。如在所描繪之實例中展示，圖3之可程式化延遲電路320經耦合以接收參考調變信號324，且回應於程式化信號328將參考調變信號324以一可變延遲td進行延遲以產生一經延遲之輸出信號322。
在實例中，程式化信號328係一n位元數位信號，其經耦合以在一校準模式期間提供一可變延遲td。在一項實例中，校準模式可經劃分為複數個部分，其等(例如)包含一第一部分及一第二部分。舉例而言，在第一部分期間，根據本發明之教示，可對程式化信號328進行粗略調整以迅速地掃描延遲值之一大粗略範圍來迅速地使自光源202發射之光脈衝203與像素調變信號222之脈衝同步。
在一項實例中，根據本發明之教示，在校準之一第一部分(例如，一粗略部分)期間掃掠過程式化信號328之最高有效位元(MSB)344。因此，在程式化信號328為一8位元數位信號之一實例中，當掃掠過校準之粗略部分時，在一粗略範圍中累加最高有效位元組(即，4個高位元)。舉例而言，在一項實例中，根據本發明之教示，當掃掠過校準之粗略部分時，程式化信號328之MSB 344自二進位值0000累加至二進位值1010。在實例中，低位元組(即，4個低位元)在粗略掃掠期間不改變。
在校準之第二部分(例如，一精細部分)期間，對程式化信號328 進行精細調整以按較高解析度嚴密地掃描延遲值之一精細範圍以根據本發明之教示更準確地使自光源202發射之光脈衝204與像素調變信號222之脈衝同步。
在一項實例中，根據本發明之教示，在校準之一精細部分期間掃掠過程式化信號328之最低有效位元(LSB)346。因此，在程式化信號328為一8位元數位信號的實例中，當掃掠過校準之精細部分時，在精細範圍中累加最低有效位元組(即，4個低位元)。舉例而言，在一項實例中，根據本發明之教示，當掃掠過校準之精細部分時，程式化信號328之LSB 346自一二進位值0000累加至二進位值1010。在實例中，高位元組(即，4個高位元)在精細掃掠期間不改變。
根據本發明之教示，憑藉在校準之粗略及精細部分期間在程式化信號328之粗略範圍值及精細範圍值中之多次掃描，可迅速地掃描一大範圍值，且仍在校準期間提供自光源202發射之光脈衝204與像素調變信號222之脈衝之精細解析度同步。
在實例中，可程式化延遲電路320經實施具有複數個延遲級，其等包含(例如)如圖3中所繪示之延遲級1 350A至延遲級Z 350Z。在一項實例中，根據本發明之教示，一解碼器電路348經耦合以接收N位元程式化信號328且回應於程式化信號328控制複數個級之各者，其等包含延遲級1 350A至延遲級Z 350Z。在一項實例中，根據本發明之教示，延遲級1 350A經耦合以回應於像素程式化信號328對可變延遲td執行較粗略之調整，且延遲級Z 350Z經耦合以回應於像素程式化信號328對可變延遲td執行較精細之調整。在一項實例中，延遲級1 350A可提供大約10ns之較粗略可變延遲td，且延遲級Z 350Z可提供大約0.1ns之較精細之可變延遲td。在一項實例中，可使用經級聯之翻轉電路或類似物實施延遲級1 350A，且可使用經級聯之反相器電路或類似物實施延遲級Z 350Z。在一項實例中，根據本發明之教示，應瞭解，圖3中 未展示之額外中間級延遲電路亦可包含，及可(例如)使用具有電容輸出或類似物之經級聯之反相器電路實施，其等可提供大約1ns之可變延遲td。
為繪示，圖4係展示根據本發明之教示的參考調變信號424、在一飛行時間影像感測系統之校準之一掃掠操作期間發射之光脈衝404、具有可變延遲td之一像素調變信號422及在一飛行時間影像感測系統之一校準期間感測之電荷438之一實例之一時序圖。應瞭解，圖4之參考調變信號424可係圖2之參考調變信號224及/或圖3之參考調變信號324之一實例，光脈衝404可係圖2之光脈衝204之一實例，圖4之像素調變信號422可係圖2之像素調變信號222及/或圖3之像素調變信號322之一實例，及經感測之電荷438可代表自圖2之飛行時間像素單元陣列212讀出之像素資訊238，且下文參考之具有相似名稱及編號之元件因此類似於以上所描述地耦合且起作用。應瞭解，代表自飛行時間像素陣列讀出之像素資訊238之經感測之電荷438代表回應於由飛行時間像素單元陣列212所感測之反射光脈衝208在飛行時間像素單元陣列212中所包含之像素單元中光學產生之電荷Q之數量。
如所描繪之實例中所展示，在一飛行時間成像系統之校準之一掃掠操作期間，一第一脈衝452發生在時間t0，此時像素調變信號422具有td1之一延遲，此導致經感測之電荷438之讀數Q1。在一第二脈衝454期間，像素調變信號422具有td2之一延遲，此導致經感測之電荷438之讀數Q2。在一第三脈衝456期間，像素調變信號422具有td3之一延遲，此導致經感測之電荷438之讀數Q3。在一第四脈衝458期間，像素調變信號422具有td4之一延遲，此導致經感測之電荷438之讀數Q4。在一第五脈衝460期間，像素調變信號422具有td5之一延遲，此導致經感測之電荷438之讀數Q5。
如所描繪之實例中所繪示，在第四脈衝458期間讀出峰值電荷 Q4。因此，程式化信號228經校準以等於在脈衝458處之像素調變信號422之延遲設定，其在像素調變信號422中具有td4之一延遲。換言之，根據本發明之教示，可判定，第四脈衝458期間之像素程式化信號228之值係在校準光脈衝404相較於其他脈衝與像素調變信號422最同步之時刻之值。因此，根據本發明之教示，在第四脈衝458期間之像素程式化信號228之值接著經保存作為飛行時間感測器之校準操作之結果。
圖5為繪示根據本發明之教示之在一實例飛行時間成像系統之一校準期間執行之處理之一項實例的一流程圖562。程序塊564展示初始化光源程式化信號及像素程式化信號。在一項實例中，初始化光源程式化信號以將光源調變信號之延遲設定在一中間值。舉例而言，在光源程式化信號的延遲可設定為0ns至10ns之範圍中之一值之實例中，光源程式化信號經初始化為(例如)5ns之一值。在一項實例中，初始化像素程式化信號以將像素調變信號之延遲設定在像素程式化信號之一延遲範圍之一個端處。舉例而言，在像素程式化信號之延遲可經設定為0ns到10ns之範圍中之一值之一實例中，像素程式化信號經初始化為(例如)0ns的一值。
程序塊566展示回應於光源程式化信號而延遲參考調變信號以產生光源調變信號。因此，程序塊568展示回應於光源調變信號自光源發射光脈衝。
程序塊570展示回應於像素程式化信號而亦延遲參考調變信號以產生像素調變信號。程序塊572展示回應於像素調變信號，由飛行時間像素單元陣列感測自一校準反射器反射之光脈衝。
接著，程序塊574展示，回應於經感測之光脈衝，改變像素調變信號中之延遲以在像素程式化信號之粗略解析度部分之一粗略範圍中執行一粗略解析度掃掠來識別一最大粗略解析度估計。舉例而言，若 像素程式化信號係一8位元數位信號，則程式化信號之最高有效位元組可自二進制0000改變為二進制1010，以在像素程式化信號之粗略解析度部分之粗略範圍中掃掠。在一項實例中，針對各延遲設定，可多次(例如，15次)取樣飛行時間感測器。接著，各延遲值之各平均電荷讀數可經儲存且接著經比較以識別導致觀察到之電荷之峰值量之延遲值，以找到最大粗略解析度估計。在一項實例中，可藉由讀出及儲存飛行時間像素單元陣列之第一及最後一列之電荷值而判定平均電荷讀數，以使跨飛行時間像素單元陣列之偏移散佈平均化。程序塊576展示，接著，像素程式化信號之粗略解析度部分(例如，最高有效4位元)經設定等於最大粗略解析度估計，最大粗略解析度估計對應於在粗略校準掃掠期間在程序塊574中由飛行時間像素單元陣列感測之最大電荷。
接著，程序塊578展示，回應於經感測之光脈衝，改變像素調變信號中之延遲以在像素程式化信號之精細解析度部分之一精細範圍中執行一精細解析度掃掠來識別一最大精細解析度估計。舉例而言，繼續係8位元數位信號之實例像素程式化信號，程式化信號之最低有效位元組可自二進制0000改變為二進制1010，以在像素程式化信號之精細解析度部分之精細範圍中掃掠。在一項實例中，針對各延遲設定，可多次(例如，15次)取樣飛行時間感測器。接著，可比較各延遲值之各平均電荷讀數以找到最大精細解析度估計。在實例中，亦可藉由讀出及儲存飛行時間像素單元陣列之第一及最後一列之電荷值而判定平均電荷讀數，以使跨飛行時間像素單元陣列之偏移散佈平均化。接著，程序塊580展示，像素程式化信號之精細解析度部分(例如，最高有效4位元)經設定等於最大精細解析度估計，最大精細解析度估計對應於在精細校準掃掠期間在程序塊578中由飛行時間像素單元陣列感測之最多電荷。
因此，根據本發明之教示，像素程式化信號之粗略及精細解析度部分經校準為在粗略及精細校準掃掠期間觀察到最大電荷之值。根據本發明之教示，隨著像素程式化信號現與光源調變信號同步，飛行時間成像系統現可享有改良之效率及所感測物件之高深度解析度。
本發明之所繪示之實例之以上描述(包含在摘要中描述之內容)不旨在係詳盡性的或將本發明限於所揭示之精確形式。如熟習相關技術者將認識到，雖然僅出於闡釋性目的在本文中描述本發明之特定實施例及實例，但各種等效修改可處於本發明之範疇內。
鑒於上文之實施方式，可對本發明做出此等修改。在隨附申請專利範圍中使用之術語不應解釋為將本發明限於說明書中揭示之特定實施例。實情係，本發明之範疇完全由根據申請專利範圍解釋之已建立規則來理解之隨附申請專利範圍判定。
200‧‧‧飛行時間成像系統
202‧‧‧光源
204‧‧‧光脈衝
207‧‧‧校準反射器
208‧‧‧反射光脈衝
212‧‧‧飛行時間像素陣列
214‧‧‧光源調變信號
216‧‧‧控制電路
218‧‧‧可程式化延遲線電路/可程式化光源延遲線電路
220‧‧‧可程式化延遲線電路/可程式化像素延遲線電路
222‧‧‧像素調變信號
224‧‧‧參考調變信號
226‧‧‧光源程式化信號
228‧‧‧像素程式化信號
230‧‧‧驅動器電路
232‧‧‧像素控制電路
234‧‧‧讀出電路
238‧‧‧像素資訊/功能邏輯
240‧‧‧晶片
242‧‧‧控制信號
C1‧‧‧行
Cy‧‧‧行
P1‧‧‧像素單元
P2‧‧‧像素單元
Pn‧‧‧像素單元
R1‧‧‧列
Rx‧‧‧列

Claims (21)

  1. 一種飛行時間成像系統，其包括：一光源，其經耦合以回應於一光源調變信號之各自脈衝而發射光脈衝至一物件，其中回應於一參考調變信號而產生該光源調變信號；一飛行時間像素單元陣列，其包含複數個像素單元，其中該複數個像素單元之各一者經耦合以回應於一像素調變信號之各自脈衝而感測自該物件反射回之反射光脈衝；一可程式化像素延遲線電路，其經耦合以回應於該參考調變信號而產生該像素調變信號，其中該像素調變信號經耦合以具有回應於一像素程式化信號而程式化之一可變像素延遲；及一控制電路，其經耦合以接收來自該飛行時間像素陣列之代表由該飛行時間像素陣列感測之該反射光脈衝之像素資訊，其中該控制電路經耦合以在一校準模式期間回應於自該飛行時間像素陣列接收之像素資訊而改變該像素程式化信號，以使自該光源發射之該光脈衝與該像素調變信號之該脈衝同步。
  2. 如請求項1之飛行時間成像系統，其進一步包括一可程式化光源延遲線電路，該可程式化光源延遲線電路經耦合以回應於該參考調變信號而產生該光源調變信號，其中該光源調變信號經耦合以具有回應於一光源程式化信號而程式化之可變光源延遲。
  3. 如請求項2之飛行時間成像系統，其中該控制電路經耦合以設定該光源程式化信號。
  4. 如請求項1之飛行時間成像系統，其中該像素程式化信號係一n位元信號，其中該n位元信號之最高有效位元在該校準模式之一第一部分期間改變，且其中該n位元信號之最低有效位元在該校 準模式之一第二部分期間改變。
  5. 如請求項4之飛行時間成像系統，其中該n位元信號之該等最高有效位元之改變經耦合以對該像素程式化信號執行粗略調整，且其中該n位元信號之該等最低有效位元之改變經耦合以對該像素程式化信號執行精細調整。
  6. 如請求項1之飛行時間成像系統，其中該可程式化像素延遲線電路包含複數個級，其中該複數個級之一第一者經耦合以回應於該像素程式化信號對該可變像素延遲執行粗略調整，且其中該複數個級之一第二者經耦合以回應於該像素程式化信號對該可變像素延遲執行精細調整。
  7. 如請求項1之飛行時間成像系統，其中自該飛行時間像素陣列讀出之該像素資訊代表回應於該飛行時間像素陣列感測之該反射光脈衝而光學產生之一電荷量。
  8. 如請求項1之飛行時間成像系統，其進一步包括讀出電路，該讀出電路經耦合至該飛行時間像素單元陣列以自該飛行時間像素單元陣列之該像素單元讀出像素資訊。
  9. 如請求項1之飛行時間成像系統，其中該物件係一校準反射器，該校準反射器經定位於該光源及該感測器之前部，以在該校準模式期間將自該光源發射之該光脈衝反射回該飛行時間像素單元陣列。
  10. 如請求項1之飛行時間成像系統，其進一步包括一光源驅動器電路，該光源驅動器電路經耦合以回應於該光源調變信號之脈衝驅動該光源。
  11. 如請求項1之飛行時間成像系統，其進一步包括像素控制電路，該像素控制電路經耦合以產生控制信號，該控制信號經耦合以回應於該像素調變信號之脈衝而控制該飛行時間像素單元陣列 以感測該反射光脈衝。
  12. 一種校準一飛行時間成像系統之方法，其包括：將具有N個位元之一像素程式化信號初始化為一初始值，其中該像素程式化信號包含一粗略解析度部分及一精細解析度部分；回應於一參考調變信號自一光源發射光脈衝至一物件；回應於該像素程式化信號而延遲該參考調變信號以產生一像素調變信號；回應於該像素調變信號使用一飛行時間像素單元陣列感測自該物件反射之該等光脈衝；回應於使用該飛行時間像素單元陣列感測之該等光脈衝，在該像素程式化信號之該粗略解析度部分之一粗略範圍中執行一粗略解析度掃掠，以識別該像素程式化信號之該粗略解析度部分之一最大粗略解析度估計；設定該像素程式化信號之該粗略解析度部分等於該最大粗略解析度估計；回應於使用該飛行時間像素單元陣列感測之該等光脈衝，在該像素程式化信號之該精細解析度部分之一精細範圍中執行一精細解析度掃掠，以識別該像素程式化信號之該精細解析度部分之一最大精細解析度估計；及設定該像素程式化信號之該精細解析度部分等於該最大精細解析度估計。
  13. 如請求項12之方法，其進一步包括回應於一光源程式化信號而延遲該參考調變信號以產生一光源調變信號，其中回應於該光源調變信號，發射該等光脈衝至該物件。
  14. 如請求項13之方法，其進一步包括將該光源程式化信號初始化 為一起始值，其中該光源程式化信號具有N個位元且包含一粗略解析度部分及一精細解析度部分。
  15. 如請求項12之方法，其中回應於該像素調變信號使用該飛行時間像素單元陣列感測自該物件反射之該等光脈衝包括：自該飛行時間像素單元陣列之一第一邊緣及該飛行時間像素單元陣列之一第二邊緣讀出分別代表在該飛行時間像素單元陣列之該第一邊緣及該第二邊緣處感測之該等反射光脈衝之像素資訊；及平均化自該飛行時間像素單元陣列之該第一邊緣及該第二邊緣讀出之該像素資訊。
  16. 如請求項15之方法，其中該飛行時間像素單元陣列經配置成複數個列及行之像素單元，其中該飛行時間像素單元陣列之該第一邊緣及該第二邊緣包含該飛行時間像素單元陣列之一第一列及一最後一列。
  17. 如請求項15之方法，其中該使用該飛行時間像素單元陣列感測自該物件反射之該等光脈衝包括：在自該飛行時間像素單元陣列之該第一邊緣及該第二邊緣之像素資訊之各讀出之前使用該飛行時間像素單元陣列感測自該物件反射之複數個光脈衝。
  18. 如請求項12之方法，其中該程式化信號之該粗略解析度部分包含該像素程式化信號之最高有效位元，且其中該程式化信號之該精細解析度部分包含該像素程式化信號之最低有效位元。
  19. 如請求項18之方法，其中該在該像素程式化信號之該粗略解析度部分之該粗略範圍中執行該粗略解析度掃掠包括：使該最高有效位元自該粗略範圍之最小值累加至該粗略範圍之最大值。
  20. 如請求項18之方法，其中該在該像素程式化信號之該精細解析度部分之該精細範圍中執行該精細解析度掃掠包括：使該最低 有效位元自該精細範圍之最小值累加至該精細範圍之最大值。
  21. 如請求項12之方法，其進一步包括將一校準反射器定位於該光源之前部，以在該飛行時間成像系統之一校準模期間將來自該光源之該光脈衝反射至該飛行時間像素單元陣列。
TW104117832A 2014-08-29 2015-06-02 用於飛行時間成像系統之校準電路與方法 TWI544232B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/473,803 US9720076B2 (en) 2014-08-29 2014-08-29 Calibration circuitry and method for a time of flight imaging system

Publications (2)

Publication Number Publication Date
TW201612587A TW201612587A (en) 2016-04-01
TWI544232B true TWI544232B (zh) 2016-08-01

Family

ID=55402224

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104117832A TWI544232B (zh) 2014-08-29 2015-06-02 用於飛行時間成像系統之校準電路與方法

Country Status (4)

Country Link
US (1) US9720076B2 (zh)
CN (1) CN105763788B (zh)
HK (1) HK1222275A1 (zh)
TW (1) TWI544232B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
US10762651B2 (en) * 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
US10048358B2 (en) 2016-12-30 2018-08-14 Panosense Inc. Laser power calibration and correction
US10359507B2 (en) * 2016-12-30 2019-07-23 Panosense Inc. Lidar sensor assembly calibration based on reference surface
US20180189977A1 (en) * 2016-12-30 2018-07-05 Analog Devices Global Light detector calibrating a time-of-flight optical system
DE102017105142B4 (de) * 2017-03-10 2021-09-16 Infineon Technologies Ag Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz
WO2018208843A1 (en) * 2017-05-08 2018-11-15 Velodyne Lidar, Inc. Lidar data acquisition and control
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
JP6888216B2 (ja) * 2017-08-31 2021-06-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 物体までの距離を測定するための装置および方法
EP3474038A1 (en) * 2017-10-23 2019-04-24 ams International AG Image sensor for determining a three-dimensional image and method for determining a three-dimensional image
US10681295B2 (en) * 2017-10-30 2020-06-09 Omnivision Technologies, Inc. Time of flight camera with photon correlation successive approximation
WO2019123738A1 (ja) * 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 センサチップ、電子機器、及び装置
CN110192120A (zh) * 2017-12-22 2019-08-30 索尼半导体解决方案公司 信号发生装置
US11212512B2 (en) * 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
EP3508874A1 (de) * 2018-01-03 2019-07-10 Espros Photonics AG Kalibriervorrichtung für eine tof-kameravorrichtung
EP3528005A1 (de) * 2018-02-20 2019-08-21 Espros Photonics AG Tof-kameravorrichtung zur fehlererkennung
US11369366B2 (en) 2018-07-16 2022-06-28 Cilag Gmbh International Surgical visualization and monitoring
EP3633406B1 (en) * 2018-07-18 2022-05-11 Shenzhen Goodix Technology Co., Ltd. Time-of-flight system and calibration method
CN109143252B (zh) * 2018-08-08 2022-08-30 合肥泰禾智能科技集团股份有限公司 Tof深度相机距离校准的方法及装置
DE102018119435A1 (de) * 2018-08-09 2020-02-13 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Kalibrierung einer Time-Of-Flight-Kamera
US20200064478A1 (en) * 2018-08-22 2020-02-27 GM Global Technology Operations LLC Method for depth imaging based on optical quadrant detection scheme
CN109283508A (zh) * 2018-11-21 2019-01-29 深圳奥比中光科技有限公司 飞行时间计算方法
CN113167902A (zh) * 2018-12-04 2021-07-23 ams国际有限公司 用于三维成像的图案化照明
US11423572B2 (en) * 2018-12-12 2022-08-23 Analog Devices, Inc. Built-in calibration of time-of-flight depth imaging systems
CN118033607A (zh) * 2018-12-12 2024-05-14 美国亚德诺半导体公司 飞行时间深度成像系统的内置校准
CN110609293B (zh) * 2019-09-19 2022-05-27 深圳奥锐达科技有限公司 一种基于飞行时间的距离探测系统和方法
KR20210072458A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
KR20210072423A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236235B2 (en) * 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
US7433029B1 (en) 2005-09-22 2008-10-07 Canesta, Inc. Method and system to calibrate a camera system using phase demodulation sensing
US7471376B2 (en) 2006-07-06 2008-12-30 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
US7821619B2 (en) * 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
KR101668869B1 (ko) 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
TW201115183A (en) 2009-10-20 2011-05-01 Ind Tech Res Inst Stereovision system and calculation method for the distance between object and diffractive optical element
TWI427273B (zh) 2010-07-29 2014-02-21 Pixart Imaging Inc 可提高訊雜比之測距裝置及其方法
US8642938B2 (en) * 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel

Also Published As

Publication number Publication date
CN105763788A (zh) 2016-07-13
US20160061941A1 (en) 2016-03-03
US9720076B2 (en) 2017-08-01
TW201612587A (en) 2016-04-01
HK1222275A1 (zh) 2017-06-23
CN105763788B (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
TWI544232B (zh) 用於飛行時間成像系統之校準電路與方法
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN108061603B (zh) 飞行时间光传感器
US8642938B2 (en) Shared time of flight pixel
TWI550299B (zh) 飛行時間像素單元、飛行時間感測系統與利用飛行時間判定至一物件之一往返距離之方法
TWI575929B (zh) 具有改良初始化發信號之飛行時間成像
TWI552570B (zh) 用於飛行時間三維影像感測器的預充電鎖存像素單元
TWI703340B (zh) 適用於遠程飛行時間應用的雙模堆疊式光倍增器
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
TWI591366B (zh) 用於飛行時間三維影像感測器的可程式化電流源
CN111758047B (zh) 单芯片rgb-d相机
US8908063B2 (en) Method and apparatus for a time-of-flight sensor with charge storage
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
EP3602110B1 (en) Time of flight distance measurement system and method
Keränen et al. $256\times8 $ SPAD Array With 256 Column TDCs for a Line Profiling Laser Radar
JP6735515B2 (ja) 固体撮像装置
TW201926985A (zh) 時間解析感測器、三維成像系統和解析時間的方法
JP2021025810A (ja) 距離画像センサ、および距離画像測定装置
KR20200112672A (ko) 거리 측정 및 2d 그레이스케일 이미징을 위한 시간 분해형 센서