TWI719004B - 用以渲染物體的深度影像的時差測距深度成像裝置與其方法 - Google Patents

用以渲染物體的深度影像的時差測距深度成像裝置與其方法 Download PDF

Info

Publication number
TWI719004B
TWI719004B TW104142867A TW104142867A TWI719004B TW I719004 B TWI719004 B TW I719004B TW 104142867 A TW104142867 A TW 104142867A TW 104142867 A TW104142867 A TW 104142867A TW I719004 B TWI719004 B TW I719004B
Authority
TW
Taiwan
Prior art keywords
depth
value
additional
pixel
imaging device
Prior art date
Application number
TW104142867A
Other languages
English (en)
Other versions
TW201637440A (zh
Inventor
格列高里 瓦利古爾斯基
伊利亞 奥夫相尼科夫
朴勇和
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201637440A publication Critical patent/TW201637440A/zh
Application granted granted Critical
Publication of TWI719004B publication Critical patent/TWI719004B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

在實施例中，一種時差測距深度成像裝置渲染物體的具 有經校正深度值的深度影像。所述裝置包括使用電捲式快門方案的畫素陣列。所述裝置亦包括光源及光學快門，所述光源朝所述物體傳送以運作頻率被調變的光，所述光學快門以所述運作頻率開啟及關閉。所述光學快門更在自所述物體反射的光到達所述畫素陣列之前對所述光進行調變。所述光的傳送及所述快門的運作在多個畫素中的至少一者正感測其接收的所述光的同時相對於彼此而改變相位，此容許更快的訊框速率。深度取決於由所述畫素感測的光的量，且計算校正值以補償變化的相位。

Description

用以渲染物體的深度影像的時差測距深度成像 裝置與其方法 【相關申請案的交叉參考】
本專利申請案主張於2015年1月6日提出申請的美國臨時專利申請案第62/100,464號的優先權，所述美國臨時專利申請案的揭露內容併入本案供參考。
本發明是有關於深度影像裝置、系統及其方法。
使用測距裝置來進行範圍感測，即，量測自該些裝置至物體或人的距離。範圍感測亦被稱為測距、距離感測或深度感測。某些測距裝置(有時被稱為成像範圍感測器)可在某一立體角(solid angle)或視場(field of view，FOV)內在不同方向上同時執行多個距離量測。以此方式量測的距離值的集合可被轉換成存在於視場中的3維(3-dimensional，3D)影像。此即為對成像範圍感測器的說明常常相似於對更多傳統相機的說明的原因，所述傳統相機產生2維（2-dimensional，2D）影像，所述2維影像具有相對較少的關於所成像物體的形狀的資訊及相對較多的關於其其他性質（如同顏色及反射率）的資訊。由傳統相機提供的資訊可與來自對相同視場進行成像的測距裝置的距離資料進行組合，以形成物體的彩色3維影像或用於其他用途。能夠同時感測至物體的距離以及來自所述物體的光的強度及顏色的相機亦為此項技術中已知的。
大多數現代成像裝置使用多個陣列的顯微光感測器來拍攝影像，即，由透鏡、反射鏡或類似光學聚光（light-gathering）組件產生的光的圖案。每一個別光感測器（亦被稱為畫素）藉由光學組件對射出至其上的光作出回應，所述光最終來自於光學組件的視場（FOV）內的某一狹窄的立體角。此狹窄的立體角可被稱為畫素的受光角（acceptance angle）或視場。成像裝置的視場僅為其所有主動畫素的非交疊視場的和。畫素對光的回應涉及光子的吸收，致使產生然後在電位阱中捕獲的帶電荷光電子。在被稱為「積分時間（integration time）」或「曝光時間」的某一段時間內積聚於阱中的電荷最終由位於畫素內部及/或外部的專用電子電路轉換為自成像裝置讀出的數位值，並可儲存於數位記憶體中。由不同光感測畫素大致同時產生—且因此代表在投射至成像裝置的畫素陣列上的光圖案的不同點處的光強度的同期值—的此種數位值的集合被稱為數位影像，其中各別數位值被稱為影像畫素。
傳統上使用用詞「畫素」（「像素 （picture element ）」的縮寫形式）表示數位影像的基本組件及成像裝置中的顯微光感測器兩者常常導致所述兩個不同的概念被混淆—或者至少被認為以非常直接的方式相關。然而，光感測畫素的陣列與最終自其獲得的數位影像之間的相關性可為相當複雜的。由來自不同光感測畫素的光強度的簡單「讀數」組成並確切地包含來自每一畫素的一個「讀數」的數位影像僅為最簡單的可能形式，即常常被稱為「原始影像」或「原始訊框」的資料集。自成像裝置依序讀出的一個此種原始影像或一批原始影像可經受數位處理，所述數位處理將首先打破所產生影像的畫素與成像裝置的光感測畫素之間的一一對應關係，並其次使得影像畫素代表除不同位置處的光強度之外的某物。進行所述兩者的影像處理的良好例子為顏色內插或去馬賽克（demosaicing），所述顏色內插或去馬賽克利用其畫素上的濾色器（通常被排列成所謂的拜爾（Bayer）圖案）而將自影像感測器獲得的原始影像轉換為其中每一畫素為代表光強度及顏色（或亮度及色度；簡稱為亮度（luma）及色度（chroma））的三分量向量（three-component vector）的數位影像。測距成像裝置可使用與彩色影像感測器具有相同設計的光感測畫素，但其最終輸出為並非由亮度-色度向量組成而是由藉由以與用於產生數位彩色影像不同的方式對原始畫素讀出數進行處理而獲得的距離資料組成的影像。該些距離資料可被結構化為呈光柵或向量形式的所謂的深度影像。在向量深度影像中，通常可期望每一影像畫素代表至某一物體表面上的某一點的方向及所量測距離—換言之，某一座標系中的此種點的地點。在光柵深度影像中，通常應期望找到代表成功嘗試量測特定方向上的距離的畫素以及代表嘗試失敗的畫素兩者。所述後者的存在可能是由於例如在測距裝置的視場的某些部分中不存在足夠靠近且具有足夠反射性的物體。
常常使用不同時差測距（time-of-flight，T-O-F）技術來執行測距。該些技術中的最受歡迎者涉及利用具有週期性調變強度的光束來照射測距裝置的視場中的物體、以及使所述測距裝置在其調變週期的不同點處捕獲一系列所反射光強度的「樣本」。「強度樣本」實際上為與振盪光強度同某一共週期性「解調函數」或「閘控函數（gating function）」的乘積的有限時間積分成比例的類比或數位訊號。此解調函數藉由以下方式使得所述積分代表強度調變週期的某一點處—或某一小部分內的光強度：在積分中對所述週期的有利部分賦予較週期的其餘部分高的權數。週期的有利部分的權數對所述週期的剩餘者的權數的比率（常常被稱為解調對比度）越高、所述週期的有利部分越小、且積分時間中的週期的數目越少，對作為強度樣本的積分的說明則越準確。所述說明僅在當解調函數為狄拉克δ函數（Dirac delta function）時的理想、不現實的情形中為完全準確的。自此理想情形出發的第一步為藉由δ函數在大量調變週期中的特定調變相位處重複進行取樣，以提高所產生的多週期積分的訊雜比（signal-to-noise ratio，SNR）。此僅在整個積分時間上強度調變為恆定的且強度雜訊為隨機的時適用。當由在對不同光調變相位賦予不相等權數時極端性更小的任意解調函數替代δ函數時，所述情況不發生變化。此變化的唯一效果是使得所述函數與光強度的乘積的任意單週期或多週期積分的相位特異性削弱。
可藉由改變解調函數與對光源處的光強度的已知調變之間的相位差而在其振盪的不同相位處對成像裝置處的所反射光的強度進行取樣。可藉由改變解調函數的相位或光強度調變的相位而達成對此調變-解調相位差或相移的改變，所述兩種方式中的任一者皆為最方便的。在收集由足夠大的相移間隔分隔並具有足夠的訊雜比的至少三個光強度樣本之後，可使用此項技術中已知的計算方法來確定到達測距裝置的光與光源處的光之間的調變相位差。此相位差是所述光已行進自所述光源至所述測距裝置的距離的結果。直至與光調變週期成比例的某一最大距離，此相位差與光所行進的距離成比例。若經調變光的來源接近測距裝置，則光自任何物體反射至測距裝置中使得行進距離接近於所述裝置至所述物體的距離的二倍。因此，可根據自不同物體反射的經調變光束的相移而輕易地獲得至所述物體的距離。
對於將存在於由時差測距裝置捕獲的光強度積分中的解調函數，所述裝置必須包括某一解調組件或解調器，以容許在每一調變週期的某一小部分上對經調變光進行積分並防止或抑制對所述週期的剩餘者進行積分。成像範圍感測器可具有被設計成執行對入射光的解調及積分兩者的畫素。然而，在極小的畫素中所述兩種函數進行組合是困難的，此限制了具有解調畫素的感測器的空間解析度。此外，若解調函數的週期的倒數（被稱為解調頻率）增加至超過20百萬赫（MHz），則CMOS畫素的解調的有效性急劇降低。
代替使用具有解調畫素的特定設計的感測器，時差測距三維成像裝置可使用具有單獨解調器的普通影像感測器，所述單獨解調器呈其傳送以高頻率振盪的光閘或快門的形式。快門的傳送在此種情形中為解調函數。此函數通常可被視為「全局的」，即，對於快門後面的感測器的所有畫素而言是相同的，若未必具有相同的振盪幅值及中點，則至少具有相同的週期及振盪相位。儘管輸入至所有畫素的光是由全局解調函數控制，但所述畫素通常無需完全同步地對光進行積分（即，開始積分與結束積分完全同時），而是如解調函數所容許般對光輸入進行積分。舉例而言，不同列的畫素可在不同時間開始及結束積分，但共享積分時間的長度。此對於早期提出的解調畫素而言是同樣可能的。使光積分的時序以此種方式具有畫素地點相依性或局部性的常見原因是使得能夠以穩定的、最大資料速率讀取及輸出所產生的畫素資料。當畫素中的光積分的時序為局部的時，解調畫素具有優於全局解調器（global demodulator）的優點，乃因畫素的解調函數的相移的必要變化亦可具有局部時序（local timing），且其可被選擇成使得局部相移變化不與相同位置處的光積分一致。使上述情形成為可能的要求是能夠在使光強度調變的相位保持恆定的同時改變畫素的解調函數的相位。
在光積分期間避免解調函數相移的變化對於使所產生的強度積分能夠用作其調變的某一相位處的光強度的樣本而言是必要的。用於根據3或4個此種「純單相強度樣本」來計算距離的公式是簡單的、此項技術中眾所習知的、並廣泛用於時差測距系統中。此外，藉由該些公式對雜訊或誤差傳播進行分析是相當直接的。此所有因素皆使得以恆定解調函數相移進行光積分相對於其他可能形式而言為較佳的。然而，就產生「純單相光強度樣本」的特定畫素中的連續光積分可能必須藉由長期閒置以等待其他畫素完成其類似積分而被分隔的意義而言，在將全局解調函數（例如由光學快門提供）與局部光積分時序（例如，在此項技術中被稱為電捲式快門（Electronic Rolling Shutter，ERS）或ERS的時序方案）進行組合的時差測距深度成像系統中堅持此偏好可能需要低效率地使用畫素。積分時序為局部的暗指對於特定畫素中的每一光積分而言，至少一次積分在相同持續時間的別處發生，並要求全局解調函數的相同的相移，但在開始時間及結束時間方面不同。由此，得出解調函數相移的各變化之間的時間間隔必須長於任一特定積分的持續時間。該些時間間隔亦為任一特定畫素中的連續積分的各開始之間的時間間隔，乃因該些積分中的每一者皆應在不同解調函數相移處進行。若畫素在顯著低於兩個連續積分開始之間的每一間隔的100%中對光進行積分，則所述畫素被低效率地使用。
在時差測距三維相機中在快速光學快門之後使用現成的電捲式快門感測器相對於使用具有解調畫素的專用深度感測器而言具有某些優點。該些優點包括較低的感測器成本、較小的畫素大小、及較高的畫素計數，並在未來將可能包括更高的最大可得調變/解調頻率。亦可列出使用光學快門或其他全局解調器的許多缺點。所述缺點中的某些是全局解調器與由電捲式快門感測器中的積分時序所例示的局部積分時序的組合所特有的。此組合的主要缺點是其不能在電捲式快門時序方案所容許的最大訊框速率下產生由「純單相光強度樣本」組成的原始訊框。高的訊框速率是進行依序拍攝光強度樣本的每一時差測距三維相機的極可取的特性（highly desirable characteristic），乃因相機的對移動物體進行準確成像的能力隨著訊框速率而提高。具有全局解調器的時差測距相機僅可依序拍攝強度樣本。解調畫素可以容許每一畫素同時拍攝2或更多個不同相位強度樣本的多種方式進行設計及運作。當對不同相位強度樣本的拍攝在解調畫素中部分地或完全並行時，使用該些畫素的時差測距三維相機通常較使用完全依序樣本拍攝以在相同訊框速率下產生深度影像的相機更佳地對移動物體進行成像。相應地，更需要將具有全局解調器的時差測距相機（包括亦使用電捲式快門積分時序方案的所述相機）的訊框速率最大化。
本說明給出了深度成像裝置、系統、及方法的實例，所述深度成像裝置、系統、及方法的使用可有助於克服先前技術的問題及限制。
在實施例中，一種時差測距深度成像裝置渲染物體的具有經校正深度值的深度影像。所述裝置包括使用電捲式快門（ERS）方案的畫素陣列。所述裝置亦包括光源及光學快門，所述光源朝所述物體傳送以運作頻率被調變的光，所述光學快門以所述運作頻率開啟及關閉。所述光學快門更在自所述物體反射的光到達所述畫素陣列之前對所述光進行調變。所述光的傳送及所述快門的運作在多個畫素中的至少一者正感測其接收的光的同時相對於彼此而改變相位，此容許更快的訊框速率。深度取決於由所述畫素感測到的光的量，且計算校正值以補償變化的相位。
因此，實施例提供一種在使用全局解調器及普通電捲式快門影像感測器的時差測距系統下避免以上所述的畫素使用的低效率的方式。
在實施例中，一種時差測距深度成像裝置對物體的被渲染的時差測距深度影像訊框執行校正。所述裝置包括畫素陣列及光源，所述光源朝所述物體傳送以運作頻率被調變的光。所述經調變的光自所述物體反射並由所述畫素陣列感測，此產生用於不同相位處的深度的原始資料訊框。根據原始資料訊框中用於類似相位的兩個原始資料訊框的非零貢獻來計算至少一個複合資料訊框，且至少根據所述複合資料訊框可能加上所述原始資料訊框中的某些來計算聚合影像。因此，可減少各聚合影像之間的閃爍運動假影（blinking motion artifact）。
正如所述，本說明是關於深度成像裝置、系統及方法。現在更詳細地闡述實施例。
圖1是可根據諸多不同實施例而實施的裝置100的方塊圖。舉例而言，裝置100可為用以渲染物體101或人的深度影像的深度成像裝置。物體的「深度影像」並非為常規意義上的影像，而是一種呈現關於物體的各部分距相機的距離（深度或範圍）的資訊的方式。另舉例而言，裝置100可為例如相機等正規成像裝置。在某些實施例中，裝置100同時為深度成像裝置及正規成像裝置兩者，乃因此種類型的裝置具有可被協同使用的通用性。
裝置100可具有亦可被稱為殼體的罩殼102。在罩殼102中設置有開口104。在開口104中設置有透鏡或另一光聚焦組件106，除非所述開口為針孔而使得組件106為非必要的。裝置100亦具有畫素陣列110。畫素陣列110用以經由開口104而接收光並對所述光進行拍攝。因此，畫素陣列110、開口104、及透鏡106界定視場112。當然，視場112及物體101呈三維形式，然而圖1以二維形式示出視場112及物體101。
可將罩殼102對準以使物體101、或所期望的人或者場景將處於視場112內，以使得其呈現輸入影像。可更在罩殼102上設置光源114，例如發光二極體（light emitting diode，LED）或雷射二極體，以協助進行成像及/或使得能夠進行裝置100的測距操作。光源114可用以朝視場112發射光116，以照亮視場112內的人及物體。除由來自物體101的反射所接收的周圍光之外，光116亦可被物體101反射然後經由開口104而被接收。因此，光源114可藉由更佳地照射物體101而協助進行成像或者可藉由以裝置100已知的方式對光116的強度進行調變而使得能夠進行測距。光源114可因應於驅動訊號而運作，且因此其可以類似於所述驅動訊號被調變的方式而對所發射光116的強度進行調變，如稍後將在本文中所見。
如上所述，畫素陣列110可拍攝經由開口104所接收的光。現在參照圖2，樣本畫素陣列110具有有時亦被稱為感測器的二維畫素陣列。所述畫素可如圖所示被排列成列及行，但亦可具有其他排列形式。所述列及行可根據其如所示出的地點而進行標注，自所述畫素陣列的一個邊緣開始並在相對的邊緣中結束。由於裝置100為至少深度成像裝置，因此畫素陣列110中的各畫素中的至少某些或全部為深度感測畫素，所述深度感測畫素亦更簡單地稱為深度畫素。示出了樣本第一深度畫素241及樣本第二深度畫素242，但該些畫素中的其他畫素可被視為此種第一深度畫素及第二深度畫素。類似地，第一深度畫素241處於可被表徵為第一列的列中，第二深度畫素242可被表徵為第二列，且因此任一列皆可被表徵為第一或第二列，除非另外指明—例如若指明所述列具有依據於其地點的序號。
在為時差測距深度成像裝置的情形中，當深度畫素被暴露至輸入影像（即，接收到自物體反射、來自視場112並由透鏡106重新導向的光）時，所述深度畫素因應於其所接收的光而產生訊號。通常，該些訊號呈帶電電荷的形式。依據其大小，該些訊號對光的個別感測值進行編碼，此為所述個別所感測值亦被稱為樣本的原因。更具體而言，光的該些個別感測值可為依據於畫素地點、畫素積分時間及所述時間內的光強度調變的個別畫素曝光值，且可被稱為積分或時間平均光強度樣本。此亦為整個畫素陣列110有時被稱為感測器或光強度感測器的原因。在為測距裝置的情形中，根據所拍攝畫素訊號最終計算出的是距離資訊，所述距離資訊證明將所述畫素稱為深度感測畫素且將畫素陣列110稱為深度、距離或範圍感測器為合理的。
返回至圖1，裝置100可另外包括處理器120。如將看到，處理器120可在自畫素陣列110接收到訊號或樣本時執行影像處理功能，最終用於渲染深度影像。該些功能可包括相位校正值、深度值、及經調整深度值等的計算。
裝置100可更包括控制器130。如將看到，控制器130可用以控制畫素陣列110及裝置100的其他組件（例如光源114）的運作。可例如藉由傳送對其運作進行控制的訊號而執行控制。在某些實施例中，控制器130自處理器120接收輸入，例如以調整樣本的成像參數、曝光的成像參數等。舉例而言，在某些實施例中，可調整亮度或平均輸出功率114，以避免畫素陣列110中的畫素過度曝光等。
處理器120及/或控制器130可藉由一或多個中央處理單元（Central Processing Unit，CPU）、數位訊號處理器、微處理器、微控制器、應用專用積體電路（application-specific integrated circuit，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）等來實施。控制器130可視需要與裝置100的畫素陣列110、處理器120、及可能地亦與其他組件一體成型，或許處於單一積體電路中。控制器130可藉由自輸出埠傳送控制訊號等而控制並操作畫素陣列110，如熟習此項技術者將理解。
裝置100可更包括記憶體140。樣本可儲存於記憶體140中，較佳地作為代表由畫素產生的訊號的數位值。樣本可更在儲存於記憶體140中之前及/或之後被處理。在實施例中，記憶體140用以儲存由處理器120計算出的最終樣本作為被渲染影像。記憶體140可與處理器120及/或控制器130一起實施。
在實施例中，一種時差測距深度成像裝置具有執行本文中別處所述的深度資料校正的能力，包括在內部儲存執行其所需的查找表的能力。所述能力可由裝置中的專用電路系統或者由其多用途數位資料處理子系統（例如微處理器及RAM記憶體）提供。
代表由畫素產生的帶電電荷—且最終為積分光強度樣本—的數位值可儲存於記憶體140中。所述數位值可在儲存於記憶體140中之前及/或之後在處理器120中經受某種形式的數位處理。在某些實施例中，記憶體140可用以儲存由處理器120根據亦儲存於記憶體140中的光強度樣本而計算出的深度值。所儲存的深度值可被組織成光柵或向量深度影像。處理器120可對所儲存深度影像進行進一步處理並將所得結果儲存於記憶體140中。記憶體140的此種使用為可選的。記憶體140通常有必要在自畫素陣列110讀出原始光強度樣本時儲存所述原始光強度樣本，直至所述原始光強度樣本可用於計算深度值。深度資料或藉由在處理器120中對深度資料進行進一步處理所產生的資料常常無需在測距系統中儲存或緩衝，而是一旦其變得可用便可在或大或小的連續資料流中輸出。記憶體140可與處理器120及/或控制器130一起實施。
如將看到，處理器120可在自畫素陣列110接收到原始訊框時或在計算深度影像時執行影像校正功能。該些功能可包括對多對原始訊框進行逐畫素地加權平均、使用儲存於記憶體140中的預定的一組權數、將儲存於記憶體140中的查找表中的偏移添加至深度影像的適當深度值、校正由透鏡106所造成的原始影像及深度影像的畸變等。
裝置100此外可包括可用以自使用者接收輸入的使用者介面150。所述輸入可用於控制裝置100的運作，例如用於調整畫素陣列110及光源114的運作參數及/或由處理器120使用的影像處理參數。在某些實施例中，使用者介面150是由一或多個獨立組件（例如罩殼120上的致動器、按鈕、圓形輪等）實施。使用者介面150亦可用以產生人可感知的指示以與使用者通訊。
視需要，裝置100亦包括可被視為使用者介面150的一部分的顯示器160。顯示器160可包括螢幕。
在設置有顯示器160時，顯示器160可顯示影像，例如由畫素陣列110輸出的原始影像以及亦被稱為被渲染深度影像的經處理深度影像。所述影像亦可包括原始影像與被渲染深度影像之間的資料處理的任何中間結果，所述中間結果可以視覺形式呈現。使用者可觀察到所顯示影像，並使用所述所顯示影像來更佳地對準罩殼102，以將物體101置於視場112內。此外，使用者可在自顯示於顯示器160上的影像接收回饋的同時調整裝置運作參數及/或影像處理參數。顯示器160的螢幕可為觸控螢幕，可經由所述觸控螢幕而自使用者接收輸入。可與向其他適當裝置輸出相同或其他資料並行地進行在顯示器160上顯示任一種類的影像。
圖3繪示根據實施例而製成的裝置的基於控制器的系統300。如將理解，系統300可包括圖1所示裝置100的組件。
系統300包括根據實施例而製成且可類似於圖1所示畫素陣列110的畫素陣列310。因此，系統300可為但不限於電腦系統、深度成像系統、正規成像系統、掃描儀系統、機器視覺系統、車輛導航系統、智慧型電話、視訊電話、個人數位助理（personal digital assistant，PDA）、行動電腦、監視系統、自動聚焦系統、星體追蹤儀系統、運動偵測系統、影像穩定系統、用於高清晰度電視或動畫（「電影」）的資料壓縮系統等。
系統300可另外包括可分別類似於處理器120及控制器130的處理器320及控制器330。在某些實施例中，該些組件經由匯流排335而在其之間進行通訊，如圖3所示。
系統300亦可包括可為先前所述記憶體140的記憶體340。記憶體340可為隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read only memory，ROM）、組合等。記憶體340可用以儲存可由處理器320及/或控制器330讀取並執行的指令。記憶體340可用以長期及短期地儲存由畫素陣列310拍攝的樣本。
系統300更視需要包括可如先前所述使用者介面150般製成的使用者介面350。此外，由於系統300沒有必要必須實施有罩殼，因此可存在使用者介面350的更多及不同的配置，例如使用小鍵盤、鍵盤等。記憶體340可用以更儲存使用者可經由使用者介面350而存取的使用者資料。
系統300更視需要包括可被視為使用者介面350的一部分的顯示器360。顯示器360可為圖1所示顯示器160、或電腦螢幕顯示器、定製顯示器、電漿螢幕等。顯示器360可向使用者示出由畫素陣列310拍攝的深度影像等。
此外，系統300可包括外部驅動機370，外部驅動機370可為光碟（compact disk，CD）驅動機、隨身碟等。系統300亦可包括網路介面模組380。系統300可使用網路介面模組380將資料傳送至通訊網路或自通訊網路接收資料。所述傳送可經由線材進行，例如經由纜線或USB介面進行。作為另一選擇，通訊網路可為無線的，且網路介面模組380可為無線的並包括例如天線、無線收發器等。通訊介面協定可為通訊系統的介面協定，例如CDMA、GSM、NADC、E-TDMA、WCDMA、CDMA2000、Wi-Fi、市辦Wi-Fi（Muni Wi-Fi）、藍牙、DECT、無線USB、Flash-OFDM、IEEE 802.20、GPRS、iBurst、WiBro、WiMAX、高級WiMAX、UMTS-TDD、HSPA、EVDO、高級長期演進、MMDS等。
現在更詳細地探究根據實施例的深度成像操作。
圖4重複圖1所示裝置的突出用於根據實施例的深度成像的態樣並進一步添加態樣。時差測距深度成像裝置400可用以渲染物體401的深度影像。時差測距深度成像裝置400包括具有開口404的殼體402、畫素陣列410、控制器430、及位於殼體402上的光源414。如前所述，可在開口404中安裝透鏡或其他光聚焦組件。
控制器430可用以產生可為週期性的照明時脈訊號及快門時脈訊號。所述訊號二者可以視需要而選擇的運作頻率進行調變。常用時脈頻率為20百萬赫，其若等於照明強度調變及快門開啟的相依頻率，則能夠使時差測距系統明確地量測至物體的高達7.5米遠的距離。
儘管所述兩個訊號處於相同運作頻率下，但在所述兩個訊號之間可具有相位差，為了本文的目的所述相位差可被稱為驅動器相位差。如將看到，驅動器相位差可為零、變為其他值、經由一系列有序值而重複地分段等。驅動器相位差的值可以角度、時間等單位給出，正如相位差，如熟習此項技術者將理解。可藉由改變一個時脈訊號的相位同時保持其他時脈訊號的相位不變或者藉由改變兩個時脈訊號的相位而改變驅動器相位差，所述兩種方式中的任一者皆為最方便的。
對所述2個時脈訊號的同步調變是由對光416的強度的同步調變及光學快門419的傳送來反映。在光強度調變的頻率下快門對入射光的開啟及關閉可用作畫素陣列410的全局光學解調器。結合此種解調器，所述畫素陣列能夠在射入光調變的不同相位處對其強度進行取樣。所述取樣是由畫素陣列410中的每一主動畫素獨立進行。根據在3、4、或更多個不同相位處依序或並行獲取的光強度樣本，可計算出所發射光416與落於畫素上的所反射光之間的調變相位差。然後可將此相位差或相移轉換為時差測距深度成像裝置400與物體401的表面上的某一點之間的距離。所述相位差與距離之間的關係僅對於直至常常被稱為模糊距離的某一限值的距離而言為明確的。超出此限值的每一距離與低於所述限值的一個距離共享相移，此使得在不存在除相移值之外的某些額外資訊的條件下，所述兩個距離不能區分。
光源414可朝物體401發射光416。光416可因應於照明時脈訊號而具有光強度、亮度、或功率。瞬時及時間平均光源輸出功率對照明時脈訊號的行為的確切相依性在不同實施例中可為不同的，自時脈訊號值與瞬時功率之間的簡單線性關係至複雜得多的關係變化。儘管所述關係的可能的複雜性，但照明時脈訊號的某一性質（例如，值、頻率、相位或工作循環（duty cycle））在時間上的週期性調變必然會導致對光416的功率或強度的類似定時調變。
當對照明時脈訊號進行調變時，光416相應地得到調變，亦即，以與照明時脈訊號的頻率相等的頻率進行週期性地調變。在某些實施例中，藉由打開及關掉（通常與照明時脈訊號同相）、藉由以相似於正弦曲線的模式平滑地改變其強度等對光416進行調變。
時差測距深度成像裝置400亦包括置於畫素陣列410前面的光學快門419。光學快門419可用以因應於快門時脈訊號而交替地開啟及關閉。開啟及關閉可為絕對的或逐漸的。因此，光學快門419可用以因應於快門時脈訊號而在傳送更高或更低百分比的射入光的意義上交替地開啟及關閉。穿過快門的光的百分比可在最小值與最大值之間平滑地或突然地改變，所述最小值及最大值兩者可處於0與100%之間的任何值處，且所述改變通常與快門時脈訊號保持同步。光學快門419可例如為快速電光學快門，在所述快速電光學快門中施加至半透明材料的週期性變化的電壓訊號改變其對某些波長的光的透明度。
光416的一部分可自物體401朝開口404反射，並經由此開口而到達光學快門419。所述快門可容許入射光的某一部分穿過而到達畫素陣列410。快門的傳送受快門時脈訊號控制，並可在最小值與最大值之間變化，在所述最小值及最大值處，即使所述最小值不為0且所述最大值不為1，所述快門亦可分別被視為關閉的及開啟的。快門傳送與快門時脈訊號之間的確切關係可在各實施例中有所不同，並且未必為簡單的線性關係。所需要的是對快門時脈訊號的某一性質的週期性調變必須產生對快門傳送的同步的週期性調變。因此，光學快門419可在來自物體的經調變光達到畫素陣列之前對所述經調變光進行進一步調變。快門的運作頻率可被設定為等於光強度調變頻率，以使所述快門用作畫素陣列的全局解調器。快門的週期性變化的傳送可為解調函數，所述解調函數使得由畫素陣列產生的光強度積分近似於光強度的諸多樣本的和，所述樣本中的每一者分別在對於所有樣本不同的特定光調變相位處拍攝。
然後，將認識到，畫素陣列410中的深度畫素用以感測所發射、強度經調變光416的在光學快門419開啟時自物體401向回朝殼體402反射並進一步穿過開口404及光學快門419的一部分。各態樣的此種組合使得能夠進行時差測距（T-O-F）深度成像。快門時脈訊號可被視為解調訊號的實例，乃因其有效地改變畫素陣列410中的畫素對光416的靈敏度。快門對畫素的靈敏度的影響通常為全局的，即，所有畫素在任何給定時間處以相同的方式受到影響。畫素的靈敏度亦可取決於其內部狀態，即，任何特定畫素在給定時間處是否正對光進行積分、正在被讀出、正在被重設等。端視畫素陣列410的設計而定，其畫素可在一有限系列的內部狀態之間一致地或不一致地循環。在後一種情形中，不同時序方案可在不同畫素的循環之間引入的不同時間偏移。一種非常流行的時序方案被認為是電捲式快門（ERS）。其基本假設是，在畫素陣列運作期間的任何時間，應讀出陣列中的一列畫素然後進行重設，而所有其他列應對光進行積分。列的讀取應自畫素陣列的頂部至底部連續進行，然後再次自頂部連續進行。畫素中的光積分應僅在畫素的特定列正被讀出時終止。
在某些實施例中，為進行時差測距深度成像，選擇依序使用深度畫素將進行積分的0°、90°、180°、及270°處的四個相位。照明時脈訊號與快門時脈訊號之間的相位差可在一系列4個值（例如，0°、90°、180°、及270°）之間循環。此外，該些值可皆移位相同的任意角度：例如，40°的移位將產生40°、130°、220°、及310°的值。任何此種移位皆可被忽視，且經移位的值的順序被認為相同於0°、90°、180°、270°的順序，如熟習此項技術者將理解。
所述四個相位的順序可按照不同次序，換言之，所述相同的四個值亦可以不同方式排序，藉此產生不同順序以供相位差重覆循環。亦應理解，可藉由經由不小於3的任何數目的值（即，3、4、5、6等）將相位差分段而執行深度成像。
快門時脈訊號與照明時脈訊號之間的相位差影響由所述陣列的畫素進行積分並轉換為光強度樣本的光的量。存在影響每一畫素的訊號的諸多其他因素，但只要所述因素不使得所述訊號太小或過於非線性，則在相位差的不同等間隔值處自一個畫素捕獲的3、4或更多個訊號值的集合足以計算出所述畫素的深度值。
為產生深度影像或訊框（即，所量測距離至物體的映射），理想地應自畫素陣列410中的所有畫素幾乎同時地獲得深度值。若由某一畫素產生的光強度樣本不足以產生有效深度，則深度影像中仍可包含無效深度值。作為另一選擇，可使用熟習此項技術者所已知的方法來評價來自不同畫素的深度值的有效性，且可根據較佳替代方案以替換值替代斷定為無效的深度值。
時差測距相機通常在經由0°、90°、180°、及270°的相位差而將可變相位時脈分段的同時捕獲4個原始訊框。快門時脈訊號與照明時脈訊號之間的相位差可影響由所述陣列的不同畫素感測到並轉換為樣本的光的量。此種變化可藉由改變對訊號進行控制的時脈中的僅一個時脈、且較佳為可以最少不便而變化的時脈的相位而達成。
在實施例中，物體的深度影像是與裝置同物體的表面上的不同點之間的使用時差測距技術所量測的距離相等或成比例的數值的有序集合。所述畫素可使用具有固定全局積分時間的電捲式快門積分時序方案來執行對時差測距而言所必需的光強度積分的依序捕獲。由包含於裝置中的專用電路根據相同時序方案來執行自畫素陣列讀出強度積分、其數位化、及隨後的數位處理及/或輸出。
電捲式快門時序方案的頂層規範可為原始訊框速率或深度訊框速率，所述原始訊框速率或深度訊框速率分別意指裝置產生由未經處理的光強度樣本組成的訊框或影像的速率或由深度值組成的訊框或影像的對應速率。積分時間與原始訊框速率在最簡單的情形中彼此成反比。原始訊框速率通常為深度訊框速率的整數倍數。光源可如上所述朝物體發射強度得到調變的廣角光束。
如先前所述，可在與電捲式快門時序方案的原始訊框速率相等的速率下經由若干不同的值（例如，0°、180°、90°、及270°）而將解調函數的相位與光源處光強度調變的相位之差進行分段。此暗指每一光強度積分至多包括在2個不同調變相位處取得的強度樣本。
在任何特定調變相位處取得的樣本對光強度積分的百分比貢獻可自0變化至100%。若百分比貢獻為100%，則積分可被視為在積分時間上被平均的「純單相強度樣本」。如前所述，根據3或更多個此種強度樣本來計算深度值的方法是此項技術中已知的。然而，在所考慮的裝置中，可由畫素陣列中的至多一列畫素在每一積分循環期間產生此種樣本或積分。可藉由調整電捲式快門方案中積分循環的各開始或各結束之間的時間偏移而選擇此列在畫素陣列中的地點或序號，且調變-解調相移的時序發生變化。
無論陣列中的所述單一「單相列」是否存在或其地點如何，所有其他列中的畫素在每一積分循環中產生包括來自兩個不同調變相位的貢獻的強度積分。所述兩個相位對於所有畫素而言是相同的，但其在每一列中以不同比例作出貢獻，乃因每一列是由所述列中的積分的開始或結束與調變-解調相移變化之間的唯一時間偏移而表徵。
在畫素的每一列處，此時間偏移及光強度積分中兩個相位的貢獻的比例不會自一個積分循環至下一積分循環發生變化。所有所述變化皆為所述兩個相位。舉例而言，若對於特定一列畫素相位貢獻的比例為25%及75%，且調變-解調相移經由0°、90°、180°、及270°的值而重複進行分段，則在第一積分循環中，所述列中的畫素可在積分時間的第一1/4的調變相位0°處以及積分時間的下一3/4的相位90°處對光強度進行取樣。所產生的積分可被稱為25%的相位0°及75%的相位90°。類似地，第二積分循環產生為25%的相位90°及75%的相位180°的積分，第三積分循環產生為25%的相位180°及75%的相位270°的積分，第四積分循環產生為25%的相位270°及75%的相位0°的積分等。此處作為例子給出的所述四個二相積分對應於在由上述單相列中的畫素在相同的四個積分循環中產生的單相0°、90°、180°、及270°積分。
儘管此項技術中已知的標準深度計算方法在應用於所述單相0°、90°、180°、及270°積分時產生正確的深度值，但其在應用於對應二相積分時產生不正確的深度值。因此，根據由裝置產生的4個原始訊框而以標準方式計算出的深度影像包含大部分為不正確的深度值。然而，該些值可在實施例中進行校正。所述校正在其中用於對調變-解調相移進行分段的多個系列的值可被寫成φ(i) = φ0 ± mod(i,n)*360°/n（其中n = 3、4、5…為所述系列中的值的數目，i = 0、1、…、n-1為指派給所述系列中的每一值的序號，mod(i,n)意指i以n為模，且±意指必須選擇+或-以定義整個系列）的實施例中可能更佳。換言之，使深度校正變得簡單的條件是調變-解調相移的所有變化必須相同，即在圓形平面角度空間中為360°/n的加法或減法。當滿足此條件時，可藉由對自二相強度積分獲得的所有不正確深度中的每一者添加固定偏移以使其自深度訊框中的畫素的一列至下一列單調變化但在每一列內恆定而達成對所述不正確深度的校正。進行所述校正所需要的、數目等於畫素中深度訊框的高度的偏移值可易於儲存於小的查找表中。
圖5示出當使用四個相位時，用於深度計算的已知樣本方程式（5-1）、（5-2）、（5-3）、（5-4）。應認識到，有時該些方程式在某些假定（例如，關於調變實質上為正弦曲線等）不適用時可能有所不同。方程式（5-1）給出了A(row, col)，A(row, col)為不同相位處的經解調訊號的所感測幅值。方程式（5-2）給出了B(row, col)，B(row, col)為背景照明的量度。
傳統上，對於每一畫素，根據方程式（5-3）的結果而給出物體101距裝置100的距離、或範圍、或者深度。方程式（5-3）的結果為解調時脈訊號與自物體101反射然後由畫素捕獲的光116的調變之間的所量測相位差。方程式（5-4）給出了此種量測中的不確定性（「誤差」或「深度雜訊」）的量，所述不確定性是裝置的組件固有的。此種不確定性為可以理解的，乃因該些裝置被推進至其基本限度（fundamental limits）。
現在闡述用於曝光的兩種可能的模式，即電子全局快門模式及電捲式快門模式。應記得，電子全局快門模式可不同於可由作為物理快門的光學快門119施加的曝光型式。此（即使是光學快門）本身可被認為是全局快門，乃因其影響同時到達所有畫素的光。
圖6是當使用電子全局快門模式時的樣本時序圖。照明時脈訊號具有如圖所示的相位，所述相位形成對應驅動器相位差。每一列的畫素皆被曝光，並彼此同時感測光。列ROW_1的畫素被曝光達持續時間611、612、613、614。此外，其他列的畫素與列ROW_1的畫素同時曝光。換言之，所有畫素在相同時刻開始曝光，並同樣地皆在相同時刻結束曝光。此外，在圖6中，所有曝光皆在照明時脈訊號移位至下一相位之前結束。
圖7示出使用電捲式快門（ERS）模式的詳細深度成像。頂部的兩個波形示出光調變器（照明時脈訊號）及解調器（快門時脈訊號）的時序圖。然後，示出使用電捲式快門模式的影像感測器中的訊號積分及讀出的時序圖。每一列的畫素皆被曝光，並在積分時間tint 內彼此同時感測光。在積分之後，每一列在列讀出時間trro 處被讀出。當列既不藉由積分而感測光亦不進行讀出時，其為閒置的。
在圖7中，列依序地（即不同時地）被曝光。每一列的曝光在前一列的曝光開始之後的某一時間開始。由於曝光持續時間對於所有列而言皆為相同的，因此每一列的曝光的結束以類似方式相對於前一列的結束而被延遲。相鄰列中曝光開始或曝光結束之間的延遲對於感測器中所有對此種列而言皆為相同的。所述延遲通常等於讀出1列所需要的時間trro ，並較列積分時間tint 短得多。
在圖7中，在持續達時間tfro 的持續時間FRO期間讀出所有列的訊框。第一相位的原始影像的訊框因而可在時間IF1處得到。類似地，其他三個相位的原始影像的訊框可在時間IF2、IF3、IF4處得到。在時間IF4之後，可產生一個深度影像。此外，在此例子中，此處對於H個列，存在確切關係tfro = H * trro 。
實際上所有行動裝置中的影像感測器使用電捲式快門影像感測器而非全局快門感測器，乃因實施電子全局快門模式需要較可用於電捲式快門感測器中的畫素大的畫素。然而，限制之處在於存在閒置時間，且因此存在低的訊框速率。更具體而言，在圖7中，對於訊框的所有畫素的曝光皆在照明時脈訊號改變相位之前完成。所述閒置時間用於等待直至上一列完成的列，並在相位可發生改變之前。
圖8闡述各實施例。快門時脈訊號具有恆定相位，而照明時脈訊號的相位是變化的，以使驅動器相位差在不同角度值之間更迭。事實上，若快門時脈訊號被認為處於0°處，則驅動器相位差具有由照明時脈訊號給出的角度值。
畫素具有用於根據電捲式快門（ERS）模式而進行深度成像的曝光。列ROW_1的畫素針對相應訊框具有曝光811、812、813、814，曝光811、812、813、814中的每一者在驅動器相位差不發生變化時進行。然而，列ROW_5的畫素針對相應訊框具有曝光851、852、853、854，曝光851、852、853、854中的每一者在驅動器相位差改變時進行。舉例而言，曝光851穿越邊界810，且因此具有處於不同驅動器相位差處的第一部分861及第二部分862。自邊界810之前至邊界810之後的變遷可被稱為相變，且可由照明時脈訊號改變相位或快門時脈訊號改變相位等引起。
因此，陣列中的第一深度畫素可用以因而自驅動器相位差具有第一角度值的第一時刻至驅動器相位差具有第二角度值的第二時刻感測所發射光的一部分。第二角度值可與第一角度值至少相差25°（例如90°），如將在存在相變時發生。較佳地，第一時刻與第二時刻之間的感測為連續的。此外，第一深度畫素可更用以因應於所述感測而產生第一深度值。當然，其他深度畫素可更產生其自己的深度值。
由於感測在經歷相變時發生，因此誤差可被引入最終感測到的深度值中。進一步根據圖8，可根據實施例而對深度值應用校正，以補償由相變引入的誤差。更具體而言，處理器120可用以根據第一深度畫素所處的第一列的屬性計算第一相位校正值，然後根據第一深度值及第一相位校正值計算經調整第一深度值。然後可渲染物體的深度影像，所述深度影像包括所述經調整第一深度值。
根據實施例的校正可以多種方式來執行。在某些實施例中，如上所述，可根據深度畫素所處的列的屬性來計算相位校正值。所述屬性可包括相對於畫素陣列的其他列的位置的列的位置或地點。
圖9示出根據實施例的用於計算經校正深度的方程式。方程式(9-1)計算列相對於其他列的列統計值。應觀察到，此處列地點#為將據此發生曝光的號碼，所述號碼通常為在自畫素陣列110的邊緣開始對列進行計數時所指派的序號。參見圖2中的例子，其中列具有序號1至H。在圖9所示例子中，列統計值為具有NROWS的畫素陣列中的正規化列地點w。此正規化列地點w因而自靠近畫素陣列的一個邊緣的第一列的極小的數目或可能為零變化至靠近另一邊緣的最後一列的接近1或可能為1的數目。
方程式（9-2）計算使用方程式（9-1）的列統計值的相位校正值。簡略地參照圖10A、圖10B，示出用於方程式（9-2）的碼及由所述碼產生的相位校正值的曲線。
返回至圖9，在某些實施例中，經調整第一深度值是藉由自第一深度值減去第一相位校正值來計算。此藉由例如方程式（9-3）來達成，方程式（9-3）藉由自由方程式（5-3）所確定者減去方程式（9-2）的相位校正值來確定經調整相位。
當然，針對某一列中的某一深度畫素所書寫的內容亦可適用於所述列中的額外深度畫素。該些額外深度畫素可用以與所述某一深度畫素同時地感測所發射光的所述部分，並因應於所述感測而產生各別地額外深度值。所述處理器可更用以根據額外深度值及針對所述某一深度畫素所計算的相位校正值來計算額外經調整深度值。被渲染深度影像可包括所述額外經調整深度值。
應理解，相位校正值因而具有列相依性。因此，對於不同列中的第二畫素，將計算不同列統計值，且將根據所述不同列統計值來計算第二相位校正值。所述第二相位校正值可不同於不同列中第一畫素的第一相位校正值。
如前所述，當根據實施例而應用校正值時，所述量測中存在不確定性（「深度誤差」）。此不確定性可被表徵為方程式（9-4）。將觀察到，方程式（9-4）相較於方程式（5-4）而在分母中包括附加項。此附加項在畫素陣列的邊緣處（其中w=0或w=1）消失，且因此方程式（9-4）在所述列地點處變得相同於方程式（5-4）。對於其他列地點，此附加項大於1，並因此代表深度誤差的下降—換言之由實施例引起的改良。
簡略地參照圖11A、圖11B，示出用於方程式（9-4）的分母中的附加項的碼及由所述碼引起的此附加項的曲線。所述改良在陣列的中間列中最大化+3分貝。
圖12示出用於闡述根據實施例的方法的流程圖1200。流程圖1200的方法可由各實施例實施。
根據操作1210，產生照明時脈訊號。所述照明時脈訊號可以運作頻率進行調變。
根據另一操作1220，光源可朝物體發射光。所述光可因應於照明時脈訊號而被發射，並因此根據所述照明時脈訊號而進行調變。
根據再一操作1230，可產生快門時脈訊號。所述快門時脈訊號可以運作頻率進行調變。所述快門時脈訊號可具有相對於照明時脈訊號的驅動器相位差。
根據又一操作1240，可交替地開啟及關閉光學快門。所述開啟及關閉可因應於快門時脈訊號而進行，並因此以運作頻率開啟及關閉。
根據又一操作1250，可由第一深度畫素執行感測。所述感測可為所發射光的在光學快門開啟時自物體向回朝殼體反射並進一步穿過光學快門的一部分。第一深度畫素因而可自驅動器相位差具有第一角度值時的第一時刻至驅動器相位差具有第二角度值時的第二時刻進行感測。
根據又一操作1260，可由第一深度畫素因應於操作1250的感測而產生第一深度值。
根據又一操作1270，可根據第一深度畫素所處的列的屬性來計算第一相位校正值。
根據又一操作1280，可根據第一深度值及第一相位校正值來計算經調整第一深度值。
根據又一操作1290，可渲染物體的包括經調整第一深度值的深度影像。
現在闡述樣本實施例，在所述樣本實施例中，存在相位混合，乃因存在相變時畫素被曝光至所反射經調變光。
圖13是示出根據實施例的使用電捲式快門及第一相位混合模式的深度成像的樣本時序圖。將認識到，照明時脈訊號每次使其相位增加+90°。
圖13所示第一模式使用積分時間與訊框讀出時間之間的最佳關係，所述最佳關係為tint = tfro – trro 。因此，所述第一模式在給定訊框速率下達成最大的可能訊雜比（SNR）。
圖14是示出根據實施例的使用電捲式快門及第二相位混合模式的深度成像的樣本時序圖。積分時間與訊框讀出時間之間的關係不是最佳的—而是：tint ＜ tfro – trro 。因此，圖14所示方案在給定訊框速率下達成較圖13所示方案低的訊雜比，乃因畫素的光積分較在圖13所示方案中持續時間不那麼長。
圖15是示出根據實施例的使用電捲式快門及第三相位混合模式的深度成像的樣本時序圖。積分時間與訊框讀出時間之間的關係不是最佳的—而是：tint ＞ tfro – trro 。因此，圖15所示方案較圖13所示方案提高了訊雜比，但達成了較低的訊框速率。
圖14及圖15所示模式2及模式3可被視為相對於圖13所示模式1的偏離，模式2及模式3分別在追求更快的訊框速率及更長的積分時間的不同方向上適用。相反，可能注意到，假若欲尋求模式2與模式3之間的通用性以使訊雜比及訊框速率兩者最佳化，則模式2及模式3可能漸近地收斂至模式1。
圖16是示出根據實施例的使用電捲式快門及第四相位混合模式的深度成像的樣本時序圖。相較於模式1的方案，相變發生移位。
圖17是示出根據實施例的圖1所示裝置的使用電捲式快門及第五相位混合模式的深度成像的樣本時序圖。照明時脈訊號的相位增量是不均等的。
發明者更辨識出以下問題：當存在物體相對於成像裝置的軸向運動時有時在連續被渲染深度訊框之間存在閃爍。現在更詳細地闡述所辨識問題。
圖18是示出藉由根據一系列所獲取原始訊框進行計算而被渲染的一系列深度訊框的時序圖。在所獲取原始訊框上方示出訊框標籤，所述訊框標籤可應用於該些原始訊框。應理解，每一原始訊框可具有多於一個訊框標籤。可基於此時其對哪一被渲染深度訊框作出貢獻而對原始訊框選擇訊框標籤。在圖18中，每一被渲染深度訊框是藉由僅最近所獲取原始資料訊框的貢獻而達成。
在圖18中，以對於每兩個所獲取原始訊框進行一次的速率對深度訊框進行渲染，此被稱為2接頭（2-tap）模式並為訊框速率的二倍。對於被渲染深度訊框而言，可具有不同的訊框速率。
發明者辨識出在圖18所示特定訊框速率處存在閃爍，例如至少在自訊框I+2至訊框I+3的變遷1888處。儘管閃爍問題看起來存在於連續訊框之間的變遷處，但為簡明起見，僅示出一個此種變遷1888。
更具體而言，為正確地計算深度，應同時、並行而非依序捕獲所有四個輸入原始訊框。發明者辨識出，由於此種非同時捕獲，場景中的任何運動皆可將誤差引入所計算深度中，且此可在2接頭模式中加劇。具體而言，軸向移動（更接近或更遠離相機）的物體可造成「深度閃爍」，其中所計算的至移動物體的距離在於偶數深度訊框與奇數深度訊框之間突然移位得「更接近」與「更遠離」之間交替。
舉例而言，可假定物體正更接近測距裝置移動，且因此物體因更接近測距裝置的光源而變得逐漸更亮。可假定相較於所述兩個先前原始訊框，最後兩個原始訊框中每一者的運動給出為ε。為進一步說明關於所述問題所提出的見解，發明者指出正軸向運動增量在圖18中的合適位置處為+ε。
圖19示出由發明者提出用於進一步闡釋圖18中的變遷的深度閃爍的方程式。在圖19中，在具有方程式（19-1）、（19-2）、（19-3）、及（19-4）的上部空間中示出訊框I+2。此外，在具有方程式（19-5）、（19-6）、（19-7）、及（19-8）的下部空間中示出訊框I+3。亦示出自訊框I+2至訊框I+3的變遷1888。
對於訊框I+2，方程式（19-1）及（19-2）示出正軸向運動增量+ε可如何影響原始訊框的值。方程式（19-3）引入方程式（19-1）及（19-2）以產生方程式（19-4），方程式（19-4）示出正軸向運動增量+ε可如何影響所計算深度的值。
對於訊框I+3，方程式（19-5）及（19-6）示出正軸向運動增量+ε可如何影響原始訊框的值。方程式（19-7）引入方程式（19-5）及（19-6）以產生方程式（19-8），方程式（19-8）示出正軸向運動增量+ε可如何影響所計算深度的值。
將觀察到，儘管達成變遷1888，但存在自方程式（19-4）至方程式（19-8）的不連續切換，方程式（19-4）將正軸向運動增量+ε加至其分子並加至其分母，方程式（19-8）自其分子及自其分母減去正軸向運動增量+ε。
某些實施例執行對物體的被渲染時差測距深度影像訊框的校正。該些實施例包括例如以上所述且具有熟習此項技術者將理解的潤飾的裝置。舉例而言，藉由關於光學快門等的對應考慮，可使用電子全局快門方案或可使用電捲式快門方案。此外，處理器可執行例如現在所述的額外或不同功能。
圖20是根據實施例的圖1所示裝置的突出用於深度成像的某些組件的圖，並進一步添加態樣。時差測距深度成像裝置2000可用以渲染物體2001的深度影像。時差測距深度成像裝置2000包括具有開口2004的殼體2002、畫素陣列2010、控制器2030、及位於殼體2002上的光源2014。
控制器2030可用以如上所述在運作頻率下產生照明時脈訊號。光源2014可用以因應於照明時脈訊號而朝物體2001發射光2016。
控制器2030可更用以在運作頻率下產生解調時脈訊號。解調時脈訊號可用以產生靈敏度調變效果。靈敏度調變效果可例如如先前所述藉由調變光學快門（圖20中未示出）或者另外藉由適宜地影響深度畫素的靈敏度而影響畫素陣列2010的深度畫素。鑒於各種可能的靈敏度調變效果，在圖20的部分圖中，未示出解調時脈訊號在特定任何地方終止。因此，深度畫素所進行的感測可經受靈敏度調變效果。
解調時脈訊號可具有不同於照明時脈訊號的至少第一驅動器相位差、第二驅動器相位差、及第三驅動器相位差中的一者。在實施例中，解調時脈訊號亦具有此種第四驅動器相位差，以產生用於獲取原始相位0°、90°、180°、及270°的條件以用於時差測距深度感測。
在實施例中，一種時差測距深度成像裝置具有執行原始資料校正的能力，旨在減少至移動物體的所量測距離的一種類型的準振盪深度訊框至深度訊框變化，所述準振盪深度訊框至深度訊框變化可被稱為運動誘導深度振盪假影。物體朝裝置或遠離裝置的移動使得該些假影在使用旨在提高裝置的深度訊框速率的特定方法產生輸出時出現於裝置的深度輸出中。
根據實施例的方法涉及在深度訊框的若干連續計算時重複使用所捕獲的原始訊框以及改變在重複使用的訊框之前或之後捕獲的多個系列的其他原始訊框。由裝置拍攝的每一原始訊框可以調變-解調相移的一或二個值來標注，乃因向每一原始訊框貢獻畫素值的光強度積分通常為二相積分。舉例而言，部分在90°相移處及部分在180°相移處進行積分的原始訊框可被標注為「90°訊框」或「90°/180°訊框」。為簡明起見，以一個相位使用標注。可結合前面3個訊框（180°、270°、及0°）、前面2個訊框、及一個隨後訊框等而使用被捕獲作為7訊框順序180°、270°、0°、90°、180°、270°、0°中的第四訊框的90°原始訊框來計算深度。共存在4個系列的包括第四訊框在內的連續原始訊框，並可用來計算深度訊框。若需要保持等於原始訊框速率的深度訊框速率，則深度成像裝置可根據所有所述系列來計算深度訊框。若需要在一半的原始訊框速率下產生深度訊框，則其可使用每隔一個的序列，即在兩個深度訊框計算中使用每一原始訊框。最後，裝置可在僅一個深度訊框計算中使用每一所捕獲原始訊框，並保持深度訊框速率為原始訊框速率的1/4。在所論述的4個原始訊框系列中的每一者中，調變-解調相移的次序是不同的：在第一系列中為180°、270°、0°、90°，在第二系列中為270°、0°、90°、180°，依此類推。
若在裝置的視場中存在以恆定速度朝所述裝置或遠離所述裝置移動的物體，則對來自所述4個系列中每一系列的深度訊框的計算產生略微不同的至物體的所量測距離的集合。該些集合之差中的某些準確地反映在捕獲7訊框順序時物體的移動。但在用於計算深度訊框的所述4個原始訊框系列中亦存在僅由相位的不同排序而造成的不同。該些不同產生物體的移動的速度以等於原始訊框頻率的1/4的頻率在時間上振盪的表觀。換言之，物體看上去重複加速然後減速或甚至使其朝或遠離裝置的移動逆反，但移動的實際速度是恆定的。此表觀物體速度振盪亦可被視為物體以恆定速度移動時所述物體的表面的振盪或脈動。
無論其被如何感知，現象僅為藉由在光強度調變的不同相位處對所述光強度依序取樣而產生的假影，且因此其存在是不期望的。其不存在於在不重複使用原始訊框或更精確而言在不使調變-解調相移的次序自一個深度訊框計算改變至下一深度訊框計算的情況下所計算的所有序列的深度訊框中。避免此種變化常常為最佳選擇，但若重複使用原始訊框是在時差測距深度成像裝置中達成所需深度訊框速率所必需的，則所述裝置可使用一種方法來抑制運動誘導深度振盪假影，所述方法涉及對具有相同調變-解調相移的多對連續原始訊框進行加權平均。可以若干方式進行的對此種原始訊框進行平均的目的是產生用於深度計算的輸入，所述輸入看起來不像對不同調變相位的光強度的乘積依序取樣，而是更像在所有相位處並行進行的取樣的乘積。當使用此「增強同時輸入」來代替原始訊框以計算移動物體的深度影像時，所得結果是減少了運動誘導深度振盪假影，乃因運動誘導深度振盪假影是原始訊框的依序捕獲的副產物。
在實施例中，一種時差測距深度成像裝置包括在需要時執行前一部分中所述的經加權原始訊框的平均的子系統。所述子系統能夠自裝置的光感測畫素陣列獲取需要進行平均的多個原始訊框，並將所述多個原始訊框儲存於某種類型的內部記憶體中。所述子系統亦具有對用於平均的權數以及由所述平均產生的訊框的儲存能力。所述子系統可將所述後者輸出至深度計算子系統以代替來自裝置的光感測畫素陣列的原始訊框而用於深度訊框計算。作為另一選擇，該些原始訊框可繞過原始訊框平均子系統而直接饋送至深度計算子系統。
畫素陣列2010可具有深度畫素，所述深度畫素用以感測所發射光2016的自物體2001向回朝殼體2002反射並穿過開口2004的部分。所述感測可如上所述受到解調訊號的影響。深度畫素可更用以因應於因而感測已發射且分別經受第一驅動器相位差、第二驅動器相位差、及第三驅動器相位差的光的所述部分而產生至少第一原始資料訊框、第二原始資料訊框、及第三原始資料訊框。在經受該些驅動器相位差過程中所發射的光可引發對不同相位處的原始資料訊框的感測，以使得能夠進行時差測距深度成像。該些原始資料訊框可如下文所述進一步經處理器（圖20中未示出）處理。
圖21是根據第一實施例的對時差測距深度影像訊框實施校正的圖。圖21是示出藉由根據一序列所獲取原始訊框進行計算而被渲染的一序列深度訊框的時序圖。在所獲取原始訊框上方示出訊框標籤，所述訊框標籤可應用於該些原始訊框。應理解，每一原始訊框可具有多於一個標籤，所述標籤可基於此時原始訊框對哪一被渲染訊框作出貢獻。在此例子中，可在0°、90°、180°、及270°的原始資料訊框中適宜地選擇第一原始資料訊框、第二原始資料訊框、第三原始資料訊框、及第四原始資料訊框。
可以看出，處理器可用以計算90°的複合第一訊框（ACP90(I+3) ）2141。如在方程式21中所見，可例如進行計算。所述計算提供對90°處的兩個原始相位資料訊框的平均。所述平均可進行均勻加權，或有利於構成原始資料訊框中的一者，只要存在來自A90 的第一原始資料訊框中的至少兩者的非零貢獻即可。
處理器可更用以根據複合第一資料訊框2141加第三原始資料訊框中的至少一者來計算聚合影像I+3。所計算聚合影像I+3可被渲染為物體的深度影像。在此種情形中，亦根據第二原始資料訊框中的至少一者且實際上亦根據第四原始資料訊框來計算聚合影像。此被稱為同時校正，並可在照明的變化為實質上線性的時作用最佳。
圖21為其中對於被渲染深度訊框I+3，計算單一複合資料訊框且使用三個原始資料訊框的例子。進行平均有助於使訊框之間變平滑，並因此可減輕此2接頭模式中的閃爍。若頻寬容許更廣泛的計算，則可計算額外複合訊框，如現在所述。
圖22是根據第二實施例的用於對時差測距深度影像訊框實施校正的圖。將認識到，此處處理器計算複合第一訊框2241及複合第二訊框2242兩者。亦根據複合第二訊框2242及更少的純原始訊框來計算聚合影像。
圖23是根據第三實施例的用於對時差測距深度影像訊框實施校正的圖。將認識到，此處處理器計算複合第一訊框2341、複合第二訊框2342、及複合第三訊框2343。根據所述三個複合訊框及僅一個純原始訊框來計算聚合影像，但所述聚合影像需要更多計算。
圖24是可根據實施例而使用的訊框標籤的表。
圖25示出用於闡述根據實施例的方法的流程圖2500。流程圖2500所示方法可由各實施例實施。
根據操作2510，產生照明時脈訊號。所示照明時脈訊號可以運作頻率進行調變。
根據另一操作2520，可由光源朝物體發射光。所述光可因應於照明時脈訊號而被發射，且因此根據照明時脈訊號進行調變。
根據再一操作2530，可產生解調時脈訊號。所述解調時脈訊號可以運作頻率進行調變，並用以如上所述產生靈敏度調變效果。解調時脈訊號可具有不同於照明時脈訊號的至少第一驅動器相位差、第二驅動器相位差、及第三驅動器相位差中的一者。
根據又一操作2540，可感測所發射光的自物體向回朝殼體反射的部分。感測可由深度畫素來進行，並經受靈敏度調變效果。
根據又一操作2550，可因應於因而感測光的被發射且分別經受第一驅動器相位差、第二驅動器相位差、及第三驅動器相位差的部分而產生至少第一原始資料訊框、第二原始資料訊框、及第三原始資料訊框。
根據又一操作2560，可根據第一原始資料訊框中的兩者的非零貢獻而計算複合第一訊框。
根據又一操作2570，可根據複合第一訊框加第三原始資料訊框中的至少一者來計算聚合影像。
根據又一操作2580，可將所計算聚合影像渲染為物體的深度影像。
在上述方法中，可作為進行能夠發生的所書寫內容或使所述所書寫內容發生的肯定步驟而執行每一操作。此種進行或使發生可藉由整個系統或裝置或者其僅一或多個組件。將認識到，方法及操作可以多種方式來實施，包括使用上述系統、裝置、及實施方案。此外，操作的次序並非受限於所示者，而是根據不同實施例而可能具有不同次序。除非上下文另外指明，否則此種替代排序的例子可包括交疊、交錯、打斷、重新排序、遞增、準備、增補、同時、逆反、或其他不同的排序。此外，在某些實施例中，可添加新操作，或者可對個別操作進行修改或刪除。所添加操作可例如來自於在主要闡述不同系統、設備、裝置或方法時所述者。
熟習此項技術者將能夠根據將被視為整體的此說明來實踐本發明。已包括細節以提供透徹的理解。在其他情況下，不再闡述眾所習知的態樣，以避免不必要地使此說明變得模糊不清。而且，在此說明中對任何先前技術的引用不被視為且不應被視為承認或以任何形式暗示此種先前技術形成任何國家或任何技術中的公知常識的部分。
此說明包括一或多個例子，但此事實並非限制可實踐本發明的方式。實際上，可根據所述內容或另外以不同方式以及結合其他現有技術或未來技術來實踐本發明的例子、實例、版本或實施例。其他此種實施例包括本文所述特徵的組合及子組合，包括例如相當於下述者的實施例：以與所述實施例中不同的次序來提供或應用特徵；自一個實施例提取個別特徵並將此種特徵插入另一實施例中；自實施例移除一或多個特徵；或者在提供以此種組合及子組合倂入的所述特徵的同時自實施例移除特徵並添加自另一實施例提取的特徵。
在本文中，措詞「構造成」及/或「用以」表示基本上與該些措詞之前的元件或特徵的物理特性相關聯的構造及/或配置的一或多個實際狀態，且因此達到遠超出僅闡述預期用途。任何此種元件或特徵可以除本文所示任何例子之外的多種方式來實施，如在綜述本發明之後將對熟習此項技術者顯而易見。
在此種主題不與本文不一致的程度上，無論在本文中或在本專利申請案的申請資料表（application data sheet，ADS）中是否提及，任何及所有原始內容、上層內容、上上層內容等專利申請案皆倂入本案供參考，包括在所述申請案中作出的任何優先權主張以及倂入供參考的任何材料。
在此說明中，單一參考編號可自始至終用於表示單一態樣、組件、或過程。此外，在此說明的製圖中已作出進一步努力來選擇類似但不同的參考編號以表示態樣、組件、或過程的相同或可能不同的版本或實施例。在作出此種進一步努力的情況下，此種進一步努力並非必需的，而是為了加快讀者的理解。即使在本文中作出進一步努力的情況下，已作出的此種努力仍或許在藉由此說明而可能作出的諸多版本或實施例通篇中並非完全一致。因此，說明進行控制。參考編號的任何類似性可用於確認正文中的類似性、或甚至可能地在不存在表達正文情況下的類似性，但不使得其中正文或上下文另外指明的態樣混亂不清。
本文的申請專利範圍界定元件、特徵、及步驟或操作的某些組合及子組合，所述組合及子組合被視為新穎的及不顯著的。在本文或相關文獻中可能存在對其他此種組合及子組合的額外主張。該些主張旨在囊括於本文所述主題的真實精神及範圍內的所有變化及潤飾的範圍內。在本文中（包括在申請專利範圍中）使用的用語通常意在作為「開放性」用語。舉例而言，用語「包括」應被解釋為「包括但並非僅限於」、用語「具有」應被解釋為「至少具有」等。若對申請專利範圍的敍述賦予特定數目，則此數目為最小值而非最大值，除非另外指明。舉例而言，在申請專利範圍敍述「一」組件或「一」項目時，意指申請專利範圍可具有一或多個此種組件或項目。
100‧‧‧裝置 101‧‧‧物體 102‧‧‧罩殼 104‧‧‧開口 106‧‧‧透鏡/另一光聚焦組件 110‧‧‧（樣本）畫素陣列 112‧‧‧視場 114‧‧‧光源/亮度或平均輸出功率 116‧‧‧光/所發射光 120‧‧‧處理器 130‧‧‧控制器 140‧‧‧記憶體 150‧‧‧使用者介面 160‧‧‧顯示器 241‧‧‧（樣本）第一深度畫素 242‧‧‧（樣本）第二深度畫素 300‧‧‧系統 310‧‧‧畫素陣列 320‧‧‧處理器 330‧‧‧控制器 335‧‧‧匯流排 340‧‧‧記憶體 350‧‧‧使用者介面 360‧‧‧顯示器 370‧‧‧外部驅動機 380‧‧‧網路介面模組 400‧‧‧時差測距深度成像裝置 401‧‧‧物體 402‧‧‧殼體 404‧‧‧開口 410‧‧‧畫素陣列 414‧‧‧光源 416‧‧‧光/所發射光 419‧‧‧光學快門 430‧‧‧控制器 611、612、613、614‧‧‧持續時間 810‧‧‧邊界 811、812、813、814‧‧‧曝光 851、852、853、854‧‧‧曝光 861‧‧‧第一部分 862‧‧‧第二部分 1200‧‧‧流程圖 1210、1220、1230、1240、1250、1260、1270、1280、1290‧‧‧操作 1888‧‧‧變遷 2000‧‧‧時差測距深度成像裝置 2001‧‧‧物體 2002‧‧‧殼體 2004‧‧‧開口 2010‧‧‧畫素陣列 2014‧‧‧光源 2016‧‧‧光/所發射光 2030‧‧‧控制器 2141‧‧‧複合第一資料訊框 2241‧‧‧複合第一訊框 2242‧‧‧複合第二訊框 2341‧‧‧複合第一訊框 2342‧‧‧複合第二訊框 2343‧‧‧複合第三訊框 2500‧‧‧流程圖 2510、2520、2530、2540、2550、2560、2570、2580‧‧‧操作 COLUMN_1、COLUMN_M‧‧‧行 FRO‧‧‧持續時間 IF1、IF2、IF3、IF4‧‧‧時間 I、I+1、I+2‧‧‧訊框 I+3‧‧‧訊框/聚合影像 ROW_1、ROW_2、ROW_3、ROW_4、ROW_5、ROW_H‧‧‧列 tfro‧‧‧時間 tint‧‧‧（列）積分時間 trro‧‧‧（列讀出）時間 w‧‧‧正規化列地點 ε‧‧‧正軸向運動增量
閱讀參照附圖進行的實施方式之後，此說明的該些及其他特徵及優點將變得更易於顯而易見，在附圖中： 圖1是根據實施例而製成的樣本裝置的方塊圖。 圖2是圖1所示裝置的畫素陣列的前視圖的圖。 圖3繪示根據實施例而製成的基於樣本控制器的系統。 圖4是根據實施例的圖1所示裝置的突出用於深度成像的某些組件的圖。 圖5示出用於計算深度的已知樣本方程式。 圖6是示出用於藉由圖1所示裝置進行深度成像的曝光的樣本時序圖，所述深度成像使用電子全局快門模式。 圖7是示出在圖1所示裝置不發生相變的情況下使用電捲式快門模式的詳細深度成像的樣本時序圖。 圖8是示出用於藉由圖1所示裝置進行深度成像的曝光、相變、及根據實施例而應用的校正值的樣本時序圖，所述深度成像使用電捲式快門（ERS）模式。 圖9示出根據實施例的用於計算經校正深度的樣本方程式。 圖10A示出可用於繪製圖9所示方程式的深度校正的Matlab碼的一部分。 圖10B示出已由圖10A所示碼產生的曲線。 圖11A示出可用於繪製圖9所示根據實施例而得出的方程式的深度誤差變化的Matlab碼的一部分。 圖11B示出已由圖10A所示碼產生且證實由實施例引起的深度誤差的改善的曲線。 圖12是用於說明根據實施例的方法的流程圖。 圖13是示出根據實施例的圖1所示裝置的深度成像的樣本時序圖，所述深度成像使用電捲式快門及第一相位混合模式以及深度校正值。 圖14是示出根據實施例的圖1所示裝置的深度成像的樣本時序圖，所述深度成像使用電捲式快門及第二相位混合模式以及深度校正值。 圖15是示出根據實施例的圖1所示裝置的深度成像的樣本時序圖，所述深度成像使用電捲式快門及第三相位混合模式以及深度校正值。 圖16是示出根據實施例的圖1所示裝置的深度成像的樣本時序圖，所述深度成像使用電捲式快門及第四相位混合模式以及深度校正值。 圖17是示出根據實施例的圖1所示裝置的深度成像的樣本時序圖，所述深度成像使用電捲式快門及第五相位混合模式以及深度校正值。 圖18是示出一系列被渲染深度訊框的時序圖。 圖19示出由發明者提出用於進一步闡釋圖18所示變遷中的閃爍的方程式。 圖20是根據實施例的圖1所示裝置的突出用於深度成像的某些組件的圖。 圖21是用於根據第一實施例對時差測距深度影像訊框實施校正的圖。 圖22是用於根據第二實施例對時差測距深度影像訊框實施校正的圖。 圖23是用於根據第三實施例對時差測距深度影像訊框實施校正的圖。 圖24是可根據實施例而使用的訊框標籤的表。 圖25是用於說明根據實施例的方法的流程圖。
100:裝置
101:物體
102:罩殼
104:開口
106:透鏡/另一光聚焦組件
110:(樣本)畫素陣列
112:視場
114:光源/亮度或平均輸出功率
116:光/所發射光
120:處理器
130:控制器
140:記憶體
150:使用者介面
160:顯示器

Claims (20)

  1. 一種用以渲染物體的深度影像的時差測距深度成像裝置，包括：殼體；控制器，用以產生以運作頻率被調變的照明時脈訊號及以所述運作頻率被調變的快門時脈訊號，所述快門時脈訊號相對於所述照明時脈訊號具有驅動器相位差；光源，位於所述殼體上，用以因應於所述照明時脈訊號而朝所述物體發射光；光學快門，用以因應於所述快門時脈訊號而交替地開啟及關閉；畫素陣列，具有被排列成多個列的多個深度畫素，所述多個列中的第一列具有至少第一深度畫素，所述第一深度畫素用以感測所述所發射光的在所述光學快門開啟時自所述物體向回朝所述殼體反射並進一步穿過所述光學快門的部分，所述第一深度畫素用以因而自所述驅動器相位差具有第一角度值時的第一時刻至所述驅動器相位差具有第二角度值時的第二時刻感測所述所發射光的所述部分，所述第二角度值與所述第一角度值至少相差25°，所述第一深度畫素更用以因應於所述感測而產生第一深度值；以及處理器，用以：根據所述第一列的屬性計算第一相位校正值，以及根據所述第一深度值及所述第一相位校正值計算經調整 第一深度值，以及其中所述物體的深度影像被渲染，所述深度影像包括所述經調整第一深度值，且其中所述屬性包括相對於所述多個列的位置的所述第一列的位置。
  2. 如申請專利範圍第1項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述第一時刻與所述第二時刻之間的所述感測是連續的。
  3. 如申請專利範圍第1項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述經調整第一深度值是藉由自所述第一深度值減去所述第一相位校正值來計算。
  4. 如申請專利範圍第1項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述第一列包括額外深度畫素，所述額外深度畫素用以與所述第一深度畫素同時地感測所述所發射光的所述部分並用以因應於所述感測而產生各別的額外深度值，所述處理器更用以根據所述額外深度值及所述第一相位校正值來計算額外經調整深度值，且所述被渲染深度影像包括所述額外經調整深度值。
  5. 如申請專利範圍第4項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述額外經調整深度值是藉由自所述額外深度值減去所述第一相位校正值來計算。
  6. 如申請專利範圍第1項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述多個列中不同於所述第一列的第二列具有至少第二深度畫素，所述第二深度畫素用以感測所述所發射光的所述部分，所述第二深度畫素用以因而自所述驅動器相位差具有所述第一角度值時的第三時刻至所述驅動器相位差具有所述第二角度值時的第四時刻進行感測，所述第二深度畫素更用以因應於所述感測而產生第二深度值，所述處理器更用以根據所述第二列的屬性來計算第二相位校正值，所述第二相位校正值不同於所述第一相位校正值，所述處理器更用以根據所述第二深度值及所述第二相位校正值來計算經調整第二深度值，且所述被渲染深度影像包括所述經調整第二深度值。
  7. 如申請專利範圍第6項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述第二列的所述屬性包括相對於所述多個列的位置的所述第二列的位置。
  8. 如申請專利範圍第6項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述經調整第二深度值是藉由自所述第二深度值減去所述第二相位校正值來計算。
  9. 如申請專利範圍第6項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述第二列包括額外深度畫素，所述額外深度畫素用以與所述第二深度畫素同時地感測所述所發射光的所述部分並用以因應於所述感測而產生各別的額外深度值，所述處理器更用以根據所述額外深度值及所述第二相位校正值來計算額外經調整深度值，且所述被渲染深度影像包括所述額外經調整深度值。
  10. 如申請專利範圍第9項所述的用以渲染物體的深度影像的時差測距深度成像裝置，其中所述額外經調整深度值是藉由自所述額外深度值減去所述第二相位校正值來計算。
  11. 一種使時差測距深度成像裝置渲染物體的深度影像的方法，所述時差測距深度成像裝置包括殼體、控制器、位於所述殼體上的光源、光學快門、處理器、及畫素陣列，所述畫素陣列具有被排列成多個列的多個深度畫素，所述多個列中的第一列具有至少第一深度畫素，所述方法包括：產生以運作頻率被調變的照明時脈訊號；由所述光源因應於所述照明時脈訊號而朝所述物體發射光；產生以所述運作頻率被調變的快門時脈訊號，所述快門時脈訊號相對於所述照明時脈訊號具有驅動器相位差；因應於所述快門時脈訊號而交替地開啟及關閉所述光學快門； 由所述第一深度畫素感測所述所發射光的在所述光學快門開啟時自所述物體向回朝所述殼體反射並進一步穿過所述光學快門的部分，所述第一深度畫素因而自所述驅動器相位差具有第一角度值時的第一時刻至所述驅動器相位差具有第二角度值時的第二時刻進行感測，所述第二角度值與所述第一角度值至少相差25°；由所述第一深度畫素因應於所述感測而產生第一深度值；根據所述第一列的屬性計算第一相位校正值；根據所述第一深度值及所述第一相位校正值計算經調整第一深度值；以及渲染所述物體的深度影像，所述深度影像包括所述經調整第一深度值，且其中所述屬性包括相對於所述多個列的位置的所述第一列的位置。
  12. 如申請專利範圍第11項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述第一時刻與所述第二時刻之間的所述感測是連續的。
  13. 如申請專利範圍第11項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述經調整第一深度值是藉由自所述第一深度值減去所述第一相位校正值來計算。
  14. 如申請專利範圍第11項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述第一列包括額外深度畫素，所述額外深度畫素用以與所述第一深度畫素同時地感測所述 所發射光的所述部分並用以因應於所述感測而產生各別的額外深度值，所述處理器更用以根據所述額外深度值及所述第一相位校正值來計算額外經調整深度值，且所述被渲染深度影像包括所述額外經調整深度值。
  15. 如申請專利範圍第14項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述額外經調整深度值是藉由自所述額外深度值減去所述第一相位校正值來計算。
  16. 如申請專利範圍第11項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述多個列中不同於所述第一列的第二列具有至少第二深度畫素，所述第二深度畫素用以感測所述所發射光的所述部分，所述第二深度畫素用以因而自所述驅動器相位差具有所述第一角度值時的第三時刻至所述驅動器相位差具有所述第二角度值時的第四時刻進行感測，所述第二深度畫素更用以因應於所述感測而產生第二深度值，所述處理器更用以根據所述第二列的屬性來計算第二相位校正值，所述第二相位校正值不同於所述第一相位校正值，所述處理器更用以根據所述第二深度值及所述第二相位校正值來計算經調整第二深度值，且所述被渲染深度影像包括所述經調整第二深度值。
  17. 如申請專利範圍第16項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中 所述第二列的所述屬性包括相對於所述多個列的位置的所述第二列的位置。
  18. 如申請專利範圍第16項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述經調整第二深度值是藉由自所述第二深度值減去所述第二相位校正值來計算。
  19. 如申請專利範圍第16項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述第二列包括額外深度畫素，所述額外深度畫素用以與所述第二深度畫素同時地感測所述所發射光的所述部分並用以因應於所述感測而產生各別的額外深度值，所述處理器更用以根據所述額外深度值及所述第二相位校正值來計算額外經調整深度值，且所述被渲染深度影像包括所述額外經調整深度值。
  20. 如申請專利範圍第19項所述的使時差測距深度成像裝置渲染物體的深度影像的方法，其中所述額外經調整深度值是藉由自所述額外深度值減去所述第二相位校正值來計算。
TW104142867A 2015-01-06 2015-12-21 用以渲染物體的深度影像的時差測距深度成像裝置與其方法 TWI719004B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562100464P 2015-01-06 2015-01-06
US62/100,464 2015-01-06
US14/883,598 2015-10-14
US14/883,598 US10061029B2 (en) 2015-01-06 2015-10-14 Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration

Publications (2)

Publication Number Publication Date
TW201637440A TW201637440A (zh) 2016-10-16
TWI719004B true TWI719004B (zh) 2021-02-21

Family

ID=56287207

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104142867A TWI719004B (zh) 2015-01-06 2015-12-21 用以渲染物體的深度影像的時差測距深度成像裝置與其方法

Country Status (4)

Country Link
US (1) US10061029B2 (zh)
KR (1) KR102413660B1 (zh)
CN (1) CN105894492B (zh)
TW (1) TWI719004B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI803334B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 深度估計模型優化與物體距離檢測方法及相關設備

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11747135B2 (en) 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
KR20180021509A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US10573234B2 (en) 2016-09-14 2020-02-25 Apple Inc. Systems and methods for in-frame sensing and adaptive sensing control
US10545242B2 (en) 2016-09-14 2020-01-28 Apple Inc. Systems and methods for in-frame sensing and adaptive sensing control
KR102561099B1 (ko) * 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
EP3301479A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US10321115B2 (en) * 2016-12-02 2019-06-11 Samsung Electronics Co., Ltd. Three-dimensional depth sensor
CN108616735B (zh) * 2016-12-02 2021-08-06 北京三星通信技术研究有限公司 用于获得对象的三维深度图像的装置和方法
CN108345000A (zh) * 2017-01-24 2018-07-31 北醒（北京）光子科技有限公司 一种具有面阵光电传感器的探测方法
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
CN108663682A (zh) * 2017-03-28 2018-10-16 比亚迪股份有限公司 障碍物测距系统及具有其的车辆和tof测距方法
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10645367B2 (en) * 2017-04-20 2020-05-05 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US10739447B2 (en) 2017-04-20 2020-08-11 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
WO2019033382A1 (zh) * 2017-08-18 2019-02-21 深圳市汇顶科技股份有限公司 图像传感电路以及图像深度传感系统
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
CN108303702B (zh) * 2017-12-30 2020-08-04 武汉灵途传感科技有限公司 一种相位式激光测距系统及方法
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JP7030607B2 (ja) 2018-04-27 2022-03-07 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
CN110895822B (zh) * 2018-09-13 2023-09-01 虹软科技股份有限公司 深度数据处理系统的操作方法
KR102562360B1 (ko) 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN111025310A (zh) * 2018-10-09 2020-04-17 光宝电子(广州)有限公司 误差校正系统及其方法
JP2020060433A (ja) * 2018-10-10 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 測距システム、キャリブレーション方法、プログラム、及び電子機器
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN113167899B (zh) * 2018-12-04 2022-08-16 Iee国际电子工程股份公司 用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法
CN111316119A (zh) * 2018-12-28 2020-06-19 深圳市大疆创新科技有限公司 雷达仿真方法及装置
CN111385495B (zh) * 2018-12-29 2022-02-11 天津大学青岛海洋技术研究院 一种用于补偿tof传感器中电荷转移不完全的方法
US11467258B2 (en) 2019-02-19 2022-10-11 Lite-On Electronics (Guangzhou) Limited Computation device, sensing device and processing method based on time of flight
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法
CN111726515A (zh) * 2019-03-22 2020-09-29 爱唯秀股份有限公司 一种深度相机系统
CN110428381B (zh) * 2019-07-31 2022-05-06 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、移动终端及存储介质
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US20210055419A1 (en) * 2019-08-20 2021-02-25 Apple Inc. Depth sensor with interlaced sampling structure
KR20210032669A (ko) 2019-09-17 2021-03-25 삼성전자주식회사 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
CN114667457A (zh) * 2019-12-11 2022-06-24 三星电子株式会社 电子设备及其控制方法
CN113126111B (zh) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 飞行时间模组和电子设备
JP2021148608A (ja) * 2020-03-19 2021-09-27 株式会社リコー 撮像装置、測距装置及び撮像プログラム
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
CN115552285A (zh) 2020-06-11 2022-12-30 苹果公司 具有飞行时间感测能力的全局快门图像传感器
US12078757B2 (en) * 2020-07-16 2024-09-03 Crazing Lab, Inc. Vision first light detection and ranging system
US20220107422A1 (en) * 2020-10-06 2022-04-07 Yandex Self Driving Group Llc LiDAR DETECTION METHODS AND SYSTEMS
EP4043926A4 (en) * 2020-10-26 2022-08-17 Shenzhen Goodix Technology Co., Ltd. TIME OF FLIGHT SENSOR, DISTANCE MEASUREMENT SYSTEM AND ELECTRONIC DEVICE
FR3115887B1 (fr) * 2020-10-30 2022-12-02 St Microelectronics Grenoble 2 Procédé d’acquisition d’une cartographie de profondeurs par temps de vol indirect et capteur correspondant
DE102020129908A1 (de) * 2020-11-12 2022-05-12 Mekra Lang Gmbh & Co. Kg Indirektes Schichtsystem und Verfahren zum Anpassen einer Bildwiederholungsrate
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060176469A1 (en) * 2005-02-08 2006-08-10 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
US20090091738A1 (en) * 2004-12-07 2009-04-09 Christopher John Morcom Surface profile measurement

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925195B2 (en) 2002-05-28 2005-08-02 Eastman Kodak Company Stabilization of three-dimensional images in a scannerless range imaging system
KR101020999B1 (ko) * 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR100986439B1 (ko) * 2009-01-05 2010-10-08 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
US8587771B2 (en) * 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
CN102223554B (zh) * 2011-06-09 2013-04-03 清华大学 平面图像序列的深度图序列生成方法及装置
KR101300350B1 (ko) 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
CN104052944A (zh) * 2013-03-15 2014-09-17 三星电子株式会社 在像素阵列中执行空间和时间图像对比检测
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090091738A1 (en) * 2004-12-07 2009-04-09 Christopher John Morcom Surface profile measurement
US20060176469A1 (en) * 2005-02-08 2006-08-10 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI803334B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 深度估計模型優化與物體距離檢測方法及相關設備

Also Published As

Publication number Publication date
CN105894492A (zh) 2016-08-24
KR102413660B1 (ko) 2022-06-27
US10061029B2 (en) 2018-08-28
KR20160084806A (ko) 2016-07-14
US20160198147A1 (en) 2016-07-07
CN105894492B (zh) 2019-03-01
TW201637440A (zh) 2016-10-16

Similar Documents

Publication Publication Date Title
TWI719004B (zh) 用以渲染物體的深度影像的時差測距深度成像裝置與其方法
US20190075257A1 (en) System and Methods for Depth Imaging using Conventional CCD Image Sensors
US9794492B2 (en) Image pickup apparatus capable of reducing influence of flicker, method of controlling the same, and storage medium
JP5272916B2 (ja) 撮像装置
JP6019692B2 (ja) 撮像素子、撮像素子の制御方法、および、撮像装置
US9432563B2 (en) Three-dimensional imaging through multi-image processing
JP5523124B2 (ja) 撮像装置
CN108353158B (zh) 图像拍摄装置及其控制方法
JP2010071976A (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP2007097033A (ja) 撮像装置及びそのプログラム
JP2013005017A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
US10863165B2 (en) Image processing apparatus and method
JP6025081B2 (ja) 距離画像センサ
JP2010273141A (ja) 画像処理装置およびその方法
JP2010273142A (ja) 画像処理装置およびその方法
US11885613B2 (en) Depth data measuring head, measurement device and measuring method
JP2017169111A (ja) 撮像制御装置、および撮像制御方法、ならびに撮像装置
JP2008276017A (ja) 撮像装置および方法、並びにプログラム
JP2010190675A (ja) 距離画像センサシステムおよび距離画像生成方法
JP5581968B2 (ja) 撮像装置
CN112019773B (zh) 深度数据测量头、测量装置和方法
JP7320024B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
US20100103276A1 (en) Split aperture capture of rangemap for 3d imaging
JP5440245B2 (ja) 撮像装置