TWI518350B - 飛航時間像化器及其測量物體深度映圖之方法 - Google Patents

Description

飛航時間像化器及其測量物體深度映圖之方法

本發明係關於使用飛航時間測量以產生深度映圖之改進解決方案，尤指飛航時間像化器，以及改進準確性之飛航時間像化方法。

為了產生3D視訊內容，除了通常視訊資料外，重點是要測量所要捕捉的物體位於景觀內之距離。為此需測定所謂深度映圖。典型上，飛航時間像化器便是用於此目的，即借助飛航時間原理產生距離資料之測量系統。飛航時間像化器含有光源和光感測器，由一陣列的圖元所組成。為測量深度映圖，以脈波觸發光源，而感測器的全部圖元是以轉移閘(TG)脈波和全局快門閘(GSG)脈波，同時擊發。詳見K.Eife等人〈在110nm CMOS中的0.5μm圖元幅轉移CCD形象感測器〉，2007 IEEE國際電子機件會議，第35卷(2007)，第1003-1006頁。

又，WO 2009/135952號揭示飛航時間測量方法和所用感測器。感測器適於在變動背景輻射條件，達成有效的背景輻射抑制。

不止背景輻射會降低深度映圖測量之準確性，為得到準確深度映圖，同樣重要的是，光源、轉移閘脈波和全局快門閘脈波間之時間關係要一定。

因此，本發明之目的，在於擬議以飛航時間產生深度映圖之解決方案，達成改進準確性。

按照本發明，此目的之達成，是利用飛航時間像化器，測量物體之深度映圖，有光源以照明物體，和感測器，有一陣列之圖元，以檢測物體反射之光，得所測量之深度映圖，其中飛航時間像化器適於把深度校正輪廓應用到所測量深度 映圖。

同此，以飛航時間像化器測量物體深度映圖之方法，具有如下步驟：以光源發射之光，照明物體；檢測物體反射光，使用感測器，具有一陣列之圖元，以獲得所測量深度映圖；把深度校正輪廓應用到所測量深度映圖。

儘管分秒控制光源、轉移閘脈波和全局快門閘脈波間之時間關係，尤其是對於具有大量圖元之感測器，所測量深度映圖不能令人滿意。茲發現此乃飛航時間像化器之感測器所致，即對感測器之不同圖元，改變電氣途徑長度。轉移閘脈波和全局快門閘脈波，沿同樣途徑行進。因而此等脈波間無重大移動。然而此等脈波就光源觸發器脈波之時間關係，係越感測器的圖元陣列而變化，即脈波會受到跨越圖元陣列之傳播延遲。對傳播延遲之又一貢獻是源自感測器之水平和垂直驅動器。準確之傳播延遲視圖元在圖元陣列內之位置而定，惟可在10-20ns範圍內。此效應以下稱為「描影」。

光以3×10⁹m/s速度行進時，1公尺的距離會延遲光3.3ns。要以飛航時間像化器測量此距離，光必須行進回到像化器，因此1公尺的距離會造成6.6ns的延遲。因此，跨越像化器20ns的傳播延遲差異，會造成3公尺的誤差。顯然跨越像化器的脈波傳播延遲，對測量之準確性有很大衝擊。像化器尺寸愈大，傳播延遲的問題會增加。針對此問題之率直選項是，使感測器的水平和垂直驅動器最適於較高速度和較低傳播延遲。然而，此舉會增加感測器和飛航時間像化器成本。而且，儘管有最適驅動器，仍然有剩餘延遲。

本發明解決方案藉深度校正輪廓，改正深度映圖內之錯誤，以解決傳播延遲造成的問題。此解決方案的優點是，可以低成本實施，又能確保產生改進準確性之深度映圖。此 外，把深度校正輪廓做成可調式，即可應付感測器老化或環境改變造成的效應。

深度校正輪廓宜將二個n階多項式重疊。二個多項式中之一以感測器之行數做為輸入值，另一則以感測器一行之圖元數做為輸入值。最好使用二個二階多項式，一般即足夠感測器橫行方向和直列方向二者。二多項式之重疊，造成3D深度校正輪廓，從所測量深度映圖減去，而得改正深度映圖。當然，同樣可用不同階之二個多項式。

深度校正輪廓最好是從記憶器，例如從查表檢復。其優點是只需相當有限量的處理功率。另外，深度校正輪廓是基於多項式，飛馳計算。在此情況下，多項式的係數宜從記憶器檢復。雖然後一解決方案需要較多處理功率，但必要的記憶器量卻減少了。為應付環境變化，例如溫度或濕度變化，記憶器內宜可得不同環境條件之深度校正輪廓。在此情況下，飛航時間像化器含有相對應感測器，例如溫度感測器和濕度感測器，以選擇適當的深度校正輪廓。

深度校正輪廓之測定，最好是藉測量已知物體之深度映圖，並將所測量深度映圖與預期深度映圖比較。更具體而言，為測定深度校正輪廓，進行如下步驟：以光源反射光，照明與飛航時間像化器的感測器平行，並位在飛航時間像化器已知距離處之平坦表面；以感測器檢測平坦表面反射光；從所測量深度映圖測定深度校正輪廓。

深度校正輪廓宜由所測量深度硬圖測定，利用：對感測器的橫行，進行橫行平均化；以n階多項式配合平均行值，測定二多項式之第一個多項式；從所測量深度映圖減去平均行值；對感測器的直列，進行直列平均化； 以n階多項式配合平均列值，測定二多項式之第二個多項式。

如此一來，以簡易方式即可測定深度校正輪廓。

另外，從所測量深度映圖減去已知物體之預計深度映圖，也可得深度校正輪廓。為此目的，宜測定多次測量之平均值。在此情況下，不必以任何函數配合深度校正輪廓。惟深度校正輪廓較不平順，因為在此情況下，測量公差造成的雜訊，對最後深度校正輪廓影響更大。

此外，從明確物體，即平坦表面，所測量深度映圖，測定深度校正輪廓，亦可改為直接測量或至少大略計算在感測器的圖元陣列內，轉移閘脈波和全局快門閘脈波之傳播延遲。所測得延遲再轉換成深度值。

為更佳明瞭本發明起見，茲參照附圖詳述如下。須知本發明不限於此具體例，而特定之特點亦可權宜組合和/或修飾，不違本發明在附帶申請專利範圍內所界定。

第1圖表示本發明飛航時間像化器6之原理。飛航時間像化器6含有光源2、透鏡4、感測器5、處理電路集7。位於飛航時間像化器6有75公分距離d之物體1，利用光源2照明，例如為4×4陣列之紅外線LED。物體1有平坦表面，朝向感測器5之圖元陣列。此平坦表面之反射光3，以透鏡4集光，造像在感測器5之圖元陣列上。如此得以測量物體1之深度映圖。處理電路集7致能於處理所測量深度映圖。

利用飛航時間像化器6測量的物體1之深度映圖，如第2圖所示。灰值表示所測量深度，以公分計。在x向和y向，對感測器5之圖元描繪。雖然物體1之平坦表面，與感測器5之平面有75公分之固定距離d，所得深度映圖顯然並不平坦。誠然，顯示距離從底部右角的預計值遞增，兼遞減y圖元和遞減x圖元。

第2圖不平坦深度映圖可說是，感測器5的圖元陣列內傳播延遲之故，可參見第3圖說明如下。感測器5含有複數圖元51，按橫行和直列配置。轉移閘脈波TG和全局快門閘脈波GSG，需從輸入行進至各圖元51。可見脈波必須涵蓋之距離，因不同圖元51而異。此舉會導致在水平方向增加傳播延遲△t_h，也在垂直方向增加傳播延遲△t_v，即業已定址之描影。

已知二階多項式容許近似描影效果。第4圖表示垂直描影量之測量值，以公分計，相對於橫行數，而二階多項式配合測量值。垂直描影量係以橫行平均化表示。

同理，由第5圖可見，利用二階多項式可近似水平描影效果。已知水平描影量是，從原有形像減去橫行平均形像，再進行直列平均化。

分別為水平描影和垂直描影所得二個二階多項式組合，即得3D多項式改正形像，如第6圖所示。此改正形像隨即被電路集7用來改正感測器5所得之任何深度映圖。例如，第7圖所示為第3圖深度映圖經第6圖深度改正映圖改正後。進行改正是從飛航時間像化器6測量之深度映圖，減去改正形像。可見改正之深度映圖，表示感測器全面積之預計距離。

接著，改正形像即應用於飛航時間像化器6為舉例之景觀測量之深度映圖。景觀如第8圖所示。四個物體11,12,13,14配置在飛航時間像化器6之不同距離，即45cm、75cm、105cm和135cm。飛航時間像化器6所得此景觀之原有深度映圖，如第9圖所示。又因描影效果，為不同物體11,12,13,14測量之距離均不一定。惟減去改正形像後，得第10圖之改正深度映圖。第11圖表示伸縮進入此改正深度映圖，只顯示縮小深度映圖，從0cm至140cm。可見不同物體11,12,13,14之距離基本上一定，配合預計之距離。

1‧‧‧物體

2‧‧‧光源

3‧‧‧反射光

4‧‧‧透鏡

5‧‧‧感測器

6‧‧‧飛航時間像化器

7‧‧‧處理電路集

d‧‧‧物體與飛航時間像化器之距離

51‧‧‧圖元

TG‧‧‧轉移閘脈波

GSG‧‧‧全局快門閘脈波

△t_h‧‧‧水平方向增加傳播延遲

△t_v‧‧‧垂直方向增加傳播延遲

11,12,13,14‧‧‧物體

第1圖表示本發明飛航時間像化器之原理；第2圖表示習知飛航時間像化器所得平坦表面之深度映圖；第3圖說明飛航時間像化器在感測器內傳播延遲之原點；第4圖表示垂直描影配合二階多項式；第5圖表示水平描影配合二階多項式；第6圖表示把第4和5圖之二階多項式組合所得深度改正映圖；第7圖表示第3圖深度映圖以第6圖深度改正映圖改正後；第8圖表示四個物體配置於不同深度之景觀例；第9圖表示習知飛航時間像化器所得的第8圖景觀之深度映圖；第10圖表示第9圖深度映圖以第6圖深度改正映圖改正後；第11圖表示深度伸縮於第10圖之改正深度映圖內。

1‧‧‧物體

2‧‧‧光源

3‧‧‧反射光

4‧‧‧透鏡

5‧‧‧感測器

6‧‧‧飛航時間像化器

7‧‧‧處理電路集

d‧‧‧物體與飛航時間像化器之距離

Claims (12)

1. 一種飛航時間像化器(6)，供測量物體(1,11,12,13,14)之深度映圖，有光源(2)，以照明物體(1,11,12,13,14)，和感測器(5)，有一陣列圖元(51)，以檢測物體(1,11,12,13,14)反射光(3)，得所測量深度映圖，包括深度值陣列，相當於物體之不同空間座標，其特徵為，飛航時間像化器(6)適於應用深度校正輪廓於所測量深度映圖，其中深度校正輪廓視所測量深度映圖內之座標，在空間上變化，以補正感測器(5)上之訊號傳播延遲者。
2. 如申請專利範圍第1項之飛航時間像化器(6)，其中深度校正輪廓係二個n階多項式重疊者。
3. 如申請專利範圍第2項之飛航時間像化器(6)，其中二個n階多項式之第一個以感測器(5)之橫行數為輸入值，而二個n階多項式之第二個以感測器(5)之圖元數為輸入值者。
4. 如申請專利範圍第1至3項任一項之飛航時間像化器(6)，其中深度校正輪廓係在飛馳計算或從查表檢復者。
5. 一種測量物體(1,11,12,13,14)深度映圖之測量方法，使用飛航時間像化器(6)，其方法包括：以光源(2)發射之光，照明物體(1,11,12,13,14)；以具有一陣列圖元(51)之感測器(5)，檢測物體(1,11,12,13,14)反射光(3)，而得所測量深度映圖，包括深度值陣列，相當於物體之不同空間座標；其特徵為，此方法又包括，應用深度校正輪廓於所測量深度映圖，其中深度校正輪廓視所測量深度映圖內之座標，在空間上變化，以補正感測器(5)上之訊號傳播延遲者。
6. 如申請專利範圍第5項之方法，其中深度校正輪廓係二個n階多項式重疊者。
7. 如申請專利範圍第6項之方法，其中二個n階多項式之 第一個以感測器(5)之橫行數為輸入值，而二個n階多項式之第二個以感測器(5)之圖元數為輸入值者。
8. 如申請專利範圍第5至7項任一項之方法，其中深度校正輪廓係在飛馳計算或從查表檢復者。
9. 一種為飛航時間像化器(6)測定深度校正輪廓之方法，其方法包括：以光源(2)發射之光，照明與飛航時間像化器(6)的感測器(5)陣列圖元(51)平行，且位於飛航時間像化器(6)已知距離處之平坦表面；以感測器(5)檢測平坦表面之反射光(3)，而得所測量深度映圖，包括深度值陣列，相當於平坦表面之不同空間座標；其特徵為，此方法又包括：從所測量深度映圖測定深度校正輪廓，其中深度校正輪廓視所測量深度映圖內之座標，在空間上變化，以補正感測器(5)上之訊號傳播延遲者者。
10. 如申請專利範圍第9項之方法，其中深度校正輪廓係二個n階多項式重疊者。
11. 如申請專利範圍第10項之方法，其方法又包括：對感測器(5)之橫行，進行橫行平均化；以n階多項式配合平均橫行值，以測定二多項式之第一多項式；從所測量深度映圖，減去平均橫行值；對感測器(5)之直列，進行直列平均化；以n階多項式配合平均直列值，以測定二多項式之第二多項式者。
12. 如申請專利範圍第9至11項任一項之方法，又包括，把深度校正輪廓儲存於查表內者。