TWI463244B

TWI463244B - 深度影像擷取裝置、系統及其方法

Info

Publication number: TWI463244B
Application number: TW100148939A
Authority: TW
Inventors: Chia Chen Chen; Wen Shiou Luo; Tung Fa Liou; Yu Tang Li; Chang Sheng Chu; Shuang Chao Chung
Original assignee: Ind Tech Res Inst
Priority date: 2011-04-14
Filing date: 2011-12-27
Publication date: 2014-12-01
Also published as: TW201241547A

Description

深度影像擷取裝置、系統及其方法

本揭露是有關於一種深度影像擷取裝置、系統及其方法。

傳統影像感測器發展相當成熟，但僅能取得二維影像資訊，因此如何有效、即時且穩定的取得其第三維(即深度)的資訊一直是技術發展上的課題。由於深度影像提供更完整的空間影像資訊，因此可以用來設計作為3D遊戲、互動瀏覽裝置操作介面。其次，在安全影像監控、機器人視覺及醫療影像應用上也有相當的發展潛力。2010年底，微軟正式發表新世代體感遊戲裝置Kinect，採用人體動作為遊戲的互動媒介，其中就是以深度感測器為主要核心元件，預料未來一年內，手勢與人體互動介面相關技術與應用將掀起一波熱潮。

過去被動式影像比對方法，雖然也能夠計算深度影像，但因為過於仰賴影像本身的特徵資訊，因此非常容易受到影像色彩、亮度變化的影響，如果影像特徵不明顯(例如，同一色系的區塊或白色的牆面)，或者環境亮度發生變化(例如，過暗或過亮)，往往造成比對結果不佳，穩定性因此大打折扣。另外一項深度感測技術是所謂的TOF(Time of Flight)技術，但目前解析度(160x120~320x240)不足，反應速率受到限制。

有文獻揭露影像匹配(image matching)的方法。其揭露利用立體視覺(stereo vision)所取得之雙影像(dual-image)來直接進行平方差和SSD(sum-of-square-differences)的比對運算，並用GPU加速。此外，另有採用主動式光源，投射色碼(color code)製造影像特徵，然後以金字塔演算法(pyramid algorithm)進行比對加速運算。

再者，有文獻揭露採用投射一組多張結構光源(graycode pattern)，並利用兩台相機擷取一序列立體雙影像組(stereo image pairs)來解碼其空間位置。

此外，文獻提出投射主斑點圖紋，再建立多個不同距離下取得之參考影像，將量測影像與參考圖案進行影像相關性計算，得出被測物之距離。其採取一投光裝置組與一取像裝組。

另有文獻揭露只建立1張參考影像，將所取得被測物影像與該參考影像進行相關性計算，依對應相關性最高區域之位置偏移量而得到深度值。

一文獻揭露一個獲取三維場景圖像之系統和方法。該系統包括一個投影裝置投射區域性獨特圖案(locally unique pattern)到一個場景，多個感測器由兩個或更多的觀測點取得場景的影像。進行圖像的相應像素匹配計算，建立出深度圖。

一文獻揭露一產生深度資訊之裝置，其包括一台投影機及左右兩台攝影機。投影機投射出預定的結構光圖案至被測物，左右攝影機各取得一結構光影像，經由結構光解碼計算決定兩影像與投出圖案三者對應點而得深度資訊。當結構光圖案無法應用在圖像時由左右影像進行立體匹配(stereo matching)，計算出深度資訊。

依據一實施範例，提出一種深度影像擷取裝置，包括至少一投光裝置、第一與一第二影像感測裝置以及影像處理單元。該投光裝置用以投射一投影圖案到被測物上，其中投光裝置做為虛擬影像感測裝置，以該投影圖案的本源影像做為虛擬影像。第一與第二影像感測裝置分別感測投影到被測物上的投影圖案，以產生第一真實影像與第二真實影像。該影像處理單元耦接至該投光裝置以及該第一與第二影像感測裝置。該影像處理單元將該第一真實影像的第一像素與第二真實影像進行匹配比對，以獲得第一匹配影像；將第一真實影像的第一像素與該虛擬影像進行匹配比對，以獲得第二匹配影像。利用該第一與第二匹配影像進行匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像像素之一。依據第一真實影像各像素與該驗證後之匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生深度影像。

依據另一實施範例，提出一種深度影像的擷取裝置，包括第一與第二投光裝置、影像感測裝置以及影像處理單元。該第一與第二投光裝置分別用以投射投影圖案到被測物上，其中第一與第二投光裝置做為第一與第二虛擬影像感測裝置，以投影圖案的本源影像做為第一與第二虛擬影像感測裝置所成像的第一與第二虛擬影像。該影像感測裝置感測投影到該被測物上的投影圖案，以產生真實影像。該影像處理單元耦接至該第一與第二投光裝置以及該影像感測裝置。該影像處理單元將該真實影像的第一像素與第一虛擬影像進行匹配比對，以獲得一第一匹配影像；將該真實影像的第一像素與第二虛擬影像進行匹配比對，以獲得第二匹配影像。利用該第一與第二匹配影像進行一匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像之像素之一。依據該真實影像各像素與該驗證後之匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生深度影像。

依據另一實施範例，提出一種深度影像擷取方法，對被測物擷取深度影像，用於具有投光裝置、第一與第二影像感測裝置之深度影像擷取裝置中。根據此方法，投光裝置將投影圖案投影到被測物，第一與第二影像感測裝置感測投影到被測物上的投影圖案，以產生第一真實影像與第二真實影像。該投光裝置做為虛擬影像感測裝置，將投影圖案之本源影像轉換為虛擬影像。接著，將該第一真實影像的第一像素與該第二真實影像進行匹配比對，以獲得第一匹配影像；將該第一真實影像的第一像素與該虛擬影像進行匹配比對，以獲得一第二匹配影像。利用該第一與第二匹配像素進行匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像像素之一。依據該第一真實影像各像素與該驗證後之匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生深度影像。

依據另一實施範例，提出一種深度影像擷取方法，對被測物擷取深度影像，用於具有第一與第二投光裝置以及影像感測裝置之深度影像擷取裝置中。依據此方法，該第一與第二投光裝置將投影圖案投影到被測物，該影像感測裝置感測投影到被測物上的投影圖案，以產生真實影像，其中該第一與第二投光裝置做為第一與第二虛擬影像感測裝置，將投影圖案之本源影像轉換為第一與第二虛擬影像。將該真實影像的第一像素與該第一虛擬影像進行匹配比對，以獲得第一匹配影像；將該真實影像的第一像素與該第二虛擬影像進行匹配比對，以獲得一第二匹配影像。利用該第一與第二匹配影像進行匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像像素之一。依據該真實影像各像素與該驗證後之匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生深度影像。

依據另一實施範例，提出一種深度影像擷取裝置，包括投光裝置、影像感測裝置與影像處理單元。投光裝置用以投射一投影圖案到一被測物上，其中該投光裝置做為一虛擬影像感測裝置，以該投影圖案的一本源影像做為一虛擬影像。影像感測裝置感測投影到該被測物上的該投影圖案，以產生一真實影像。影像處理單元耦接至該投光裝置以及該影像感測裝置。該影像處理單元將該真實影像的各像素與該虛擬影像進行匹配比對，以獲得一匹配影像。依據該真實影像的各該像素與該匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的一深度值，產生一深度影像。

依據另一實施範例，提出一種深度影像擷取裝置，包括至少一投光裝置、第一與第二影像感測裝置以及影像處理單元。投光裝置用以投射一投影圖案到一被測物上。第一與第二影像感測裝置分別感測投影到該被測物上的該投影圖案，以產生一第一真實影像與一第二真實影像。影像處理單元耦接至該投光裝置以及該第一與該第二影像感測裝置。該影像處理單元將該第一真實影像的各像素與該第二真實影像分別進行匹配比對，以獲得一匹配影像。依據該第一真實影像各該像素與該匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的一深度值，產生一深度影像。

依據另一實施範例，提出一種深度影像擷取系統，用以取得被測物的深度影像。深度影像擷取系統包括多數個深度影像擷取裝置，其中各該些深度影像擷取裝置可以使用上述各種深度影像擷取裝置。

為更明顯易懂，下文特舉實施範例，並配合所附圖式做詳細說明如下。

本實施範例提出一深度影像擷取裝置及其方法，以光源(例如主動式光源)將投影圖案投射在被測物件上，再利用影像比對技術計算其深度影像資訊。主動式投光裝置是由光源及一組經過設計的投影圖案產生元件，即繞射光學元件或光罩並搭配透鏡組所組成，可產生分佈不規則的亮點影像，構成一隨機分布的圖案。控制入射光束大小並可改變亮點影像之解析度。深度影像的計算原則上是以影像比對技術為基礎，除了由至少兩組同步影像感測裝置同時取得投射圖案的影像，本實施範例更進一步將投光裝置當成虛擬影像感測裝置使用，計算每組影像感測裝置與投光裝置間的空間對應關係，因此得以補償影像遮蔽的問題並提升其精確度。

圖1繪示本實施範例的深度影像擷取裝置之架構示意圖。本實施範例的深度影像擷取裝置包括至少一投光裝置110、至少兩台影像感測裝置120、130以及一影像處理單元170。投光裝置110例如是光學投影裝置、數位投影裝置等，主要是將隨機分布之散亂光點的投影圖案投射在被測物160上。此隨機分布之散亂光點圖案可以是預先設計，或者是自動、隨機產生。影像感測裝置120、130主要是擷取將投影圖案投影在被測物後的影像，以取得影像資訊。影像感測裝置120、130例如可以是一般的攝影機或相機等各種可以用來擷取影像資訊的裝置。

此外，在各影像感測裝置120、130前更可以配設光學濾光鏡140、150，其可以過濾掉不需要波長的光線後，再進入影像感測裝置120及130，以有效避免環境光源及被測物本身顏色的影響。

此外，本實施範例中，上述的投光裝置110更當做一虛擬影像感測裝置來使用(後文會詳加說明)。影像感測裝置120及130取得的影像以及投光裝置110當做虛擬影像感測裝置產生的成像則一併傳送至影像處理單元170，將上述各個影像進行影像比對後，以獲得被測物160之深度影像圖。

例如，影像處理單元170將影像感測裝置120感測到的第一真實影像的各像素與影像感測裝置130感測到的第二真實影像的各像素進行匹配比對，以獲得一第一匹配影像；將第一真實影像的各像素與虛擬影像的各像素進行匹配比對，以獲得一第二匹配影像。利用第一與第二匹配影像進行一匹配驗證，輸出一驗證後之匹配影像。依據該第一真實影像各像素與該驗證後之匹配影像的各像素值，產生一像差影像，並且依據該像差影像，便可以計算出對應的深度值，產生深度影像。

另外，在本實施範例中，投光裝置110例如可以採用大面積分佈光點模組。投光裝置110基本上可以包括光源、投影圖案產生元件與透鏡組等。光源用以發出投光光束。投影圖案產生元件可配置於光源的光路上，由光源照射而產生投影圖案。透鏡組配置於投影圖案產生元件的光路上，將光源通過投影圖案產生元件產生的投影圖案，投影到被測物160上。接著說明幾種投光裝置的實施範例。

圖2A繪示大面積分佈光點模組構成之投光裝置的示意圖。如圖2A所示，投光裝置110A包括光源210、透鏡組230、繞射光學元件220(即上述投影圖案產生元件)，其中透鏡組230為選擇性構件。光源210發出光後，投射到繞射光學元件(diffractive optical elements，DOE)220，經繞射光學元件220產生如光點分佈一般的繞射圖案，再投射到投影面240(即相當於圖1的被測物160)上。此外，繞射圖案也可以再經由透鏡組230，將投射面積擴大後，再投射到投影面240。此外，此透鏡組可以包含一片或一片以上的透鏡。

上述光源210可採用具有特定頻譜的光源，例如雷射二極體(laser diode，LD)、發光二極體(LED)、其他頻譜的紫外線或者可見光等。光源210可以調變出光口徑，亦即控制發出之光束投射到繞射光學元件220上的範圍。繞射光學元件220可以是電腦全像片(computer generated hologram，CGH)、光柵(grating)或相位式繞射元件(phase DOE)等，其能將光源210之光波前調制產生成另一繞射圖案，如光點分佈。之後，在另一實施範例中，可再利用透鏡組230將繞射圖案之光點的發散角增大，且由於是非成像設計，得以使光點至任一位置的平面分佈面積擴大。

此外，參考圖1，在影像感測裝置120、130前更可以搭配與光源210對應之特定頻譜的光學濾波裝置140、150等。目前以紅外雷射二極體光源效果良好，例如波長780nm的紅外線雷射二極體(IR laser diode)。此時在影像感測裝置120、130前，使用對應該波段之光學濾波裝置140、150，例如紅外線狹窄帶通濾光鏡。此紅外線狹窄帶通濾光鏡之主波長在780nm，帶寬為20nm，只讓投射在被測物該波段之光經散射返回，由光學濾波裝置140、150過濾掉其餘波長的光線後，再進入影像感測裝置120及130，以有效避免環境光源及被測物本身顏色的影響。

上述的大面積分佈光點模組乃結合透鏡將繞射光學元件(DOE)產生之光點分布再擴大，亦即增加其發散角。藉此，繞射光學元件的製作尺寸得以避免高成本的奈米微影製程(nanolithography)，以一般積體電路製程(VLSI)即可。此外，此模組可利用光源210的雷射光徑調變光點大小。若要使穿過繞射光學元件220投射出來的光點變小，增加雷射的光徑即可，如此一來光點的解析度提高，進而提升系統精確度。

圖2B繪示大面積分佈光點模組構成之投光裝置的另一種實施方式的示意圖，在此具有與圖2A類似或相同之功能的元件賦予相同的標號。大面積分佈光點模組另一實施方式為結合透鏡組將穿透光罩(mask)之光源光線分佈做投射放大。

如圖2B所示，投光裝置110B包括光源210、透鏡組230、光罩222(即上述投影圖案產生元件)，其中透鏡組230為選擇性構件。光源210發出光後，投射到光罩222，經光罩222後產生如光點分佈一般的圖案，再投射到投影面240(即相當於圖1的被測物160)上。此外，光點分佈也可以再經由透鏡組230，將投射面積擴大後，再投射到投影面240。此外，此透鏡組230可以包含一片或一片以上的透鏡。使用透鏡組230可以將穿透光罩222之光投射放大，使其於特定空間中形成大面積光點分佈。

上述光源可為雷射二極體(LD)、發光二極體(LED)等。光罩可為一般鉻金屬薄膜的石英玻璃片、網點印刷板或金屬板等。光罩222的製作可以一般積體電路製程中的光罩製程即可。投影圖案中所設計的光點分佈區域即為光罩222上的透光區。

此實施方式除了在元件的製作上更節省時間及成本之外，更使得大數量光點分佈如VGA、XGA解析度的圖像得以產生，進而提升系統精確度。

此外，在本實施範例中，影像感測裝置也可選擇對應光源波段有較佳反應曲線之感測器。例如光源採用780nm的雷射二極體時，影像感測裝置可採“PointGrey camera Firefly MV FFMV-03M2M (商品名)”，其近紅外之反應佳，但這只是一個元件可以採用的範例，非一定得使用此列舉的商品來做為必要的實施元件。

圖2C繪示一種隨機影像投光裝置的示意圖。圖2A與圖2B之投光裝置所投影出來的圖案基本上是預先設計好的，如可以依據需求來製作光罩的圖案或者繞射光學元件上的圖案。但是，圖案也是有可能是隨機產生的，圖2C所示即為這樣的一個範例。例如，投光裝置110C內具有光源302和毛玻璃304。光源302發出的光經由毛玻璃304而產生隨機影像圖案，之後再將此影像圖案投影到投影面340(即相當於圖1的被測物160)上。

另外，因為投影的影像是隨機產生的，所以無法預先得知投射出去的影像圖案。因此，再運用此投光裝置時，可以先在投影光路上配設半反射鏡310，而被半反射鏡310反射的光路上再配設一取像裝置320。取像裝置320例如是一個同軸取像校正裝置。透過此同軸取像校正裝置便可以測量並校正投光裝置110C所投影出的影像圖案。待取得並校正完投光裝置110C所投影出的投影圖案，便可以將投光裝置110C配設到深度影像擷取裝置。

圖3繪示另一個實施範例的深度影像擷取裝置之架構示意圖。如圖3所示，深度影像擷取裝置400包括至少一投光裝置410、至少兩台影像感測裝置420、430、控制單元480以及影像處理單元470。影像感測裝置420、430用來擷取被投射到被測物460上的影像資訊，其可為一般之攝影機等或任何可以擷取影像資料的元件。控制單元480耦接到投光裝置410以及影像感測裝置420、430(可以使用有線、無線等任何方式，只要確定控制訊號與資料可以傳遞即可)，用以控制投光裝置410內的光源(未繪出，可參考圖2A至2C)與影像感測裝置420、430。

投光裝置410例如可以是上述圖2A至2C的任何一種形式，如將預先設計之隨機分布之散亂光點圖案投射在被測物460上。影像感測裝置420、430取得投射在被測物460上的影像。影像處理單元470耦接到影像感測裝置420、430，可接收來自影像感測裝置420、430的影像資料，再進行影像比對，以獲得被測物460之深度影像。

此外，在各影像感測裝置420、430前更可以配設光學濾光鏡440、450，其可以過濾掉不需要波長的光線後，再進入影像感測裝置420及430，以有效避免環境光源及被測物本身顏色的影響。

關於上述光源的控制，控制單元480可以採用脈波驅動方式以控制投光裝置410之特定頻譜光源的點亮與關閉(ON/OFF)，並可選擇控制或不控制影像感測裝置420、430之同步取像。

當選擇控制同步取像，由控制單元480發出同步訊號，控制影像感測裝置420、430取像時，同步驅動投光裝置410之光源點亮。當影像感測裝置420、430取像完畢，將投光裝置410之光源關閉。

此外，當選擇不控制同步取像時，可直接週期性脈波驅動方式以控制投光裝置410之光源之ON/OFF。在此可調整投光裝置410之光源ON/OFF頻率與工作周期(duty cycle，點亮所佔時間比例)以及光通量(即光源發光強度)。一般而言，相較於取像，光源可以採取較高頻率，以維持較穩定之影像亮度控制。

本實施範例所提到之光源控制可以節省電源，可以提高光源單一脈波強度而對環境光及其他雜光干擾更有抵抗力，也可降低對人眼之傷害。

圖4繪示另一個實施範例的深度影像擷取裝置之架構示意圖。如圖4所示，深度影像擷取裝置500包括兩個投光裝置510、512以及一影像感測裝置520。

如前述的數個範例，投光裝置510、512也可以是上述圖2A至2C的任何一種形式，將投影圖案投射在被測物560上。影像感測裝置520取得投射在被測物560上的影像。影像處理單元570耦接到影像感測裝置520，可接收來自影像感測裝置520影像資料，再進行影像比對，以獲得被測物560之深度影像。

與圖1的架構類似，本實施範例是使用兩個投光裝置510、512，相對應的也就有兩個虛擬影像感測裝置。同樣地，影像感測裝置520取得的影像以及投光裝置510、512當做虛擬影像感測裝置產生的成像則一併傳送至影像處理單元570，將上述各個影像進行影像比對後，以獲得被測物560之深度影像圖。

此影像處理單元570將真實影像(例如影像感測裝置520取得的影像)的各像素與第一虛擬影像(例如來自投光裝置510的本源影像)進行匹配比對，以獲得一第一匹配影像。將真實影像的各像素與第二虛擬影像(例如來自投光裝置512的本源影像)進行匹配比對，以獲得一第二匹配影像。利用第一與第二匹配影像進行匹配驗證，輸出一驗證後之匹配影像。其中此驗證後之匹配影像之像素為第一與第二匹配影像像素之一。接著依據第一真實影像各像素與驗證後之匹配影像的各像素值，產生一像差影像，並且依據像差影像，計算出對應的深度值，產生深度影像。

此外，在影像感測裝置520前更可以配設光學濾光鏡540，其可以過濾掉不需要波長的光線後，再進入影像感測裝置520，以有效避免環境光源及被測物本身顏色的影響。在投光裝置510、512所投出的色光不同時(即頻譜不同時)，濾光鏡540的頻帶可以設計成包含兩種不同色光的頻帶，使兩種不同頻譜的影像都可以通過濾光鏡540。

此外，影像感測裝置520可以接收疊合兩個色光的影像，而在後端的影像處理單元570可以再將疊合的影像分離，分別處理。

此外，本實施範例可採用非同步脈波驅動方式，其可以是週期性方波控制訊號，如圖5所示，其中週期T，工作周期Tp以及驅動電壓Vp可視實際應用場合而調整。脈波驅動也可以是其他週期性波型訊號控制，只要能達到週期控制光源ON/OFF。而控制同步取像時，則以同步訊號觸發每次取像與光源打亮(ON)同步。

圖6A繪示另一實施範例的深度影像擷取系統，圖6B繪示對應圖6A架構之控制訊號時序示意圖。如圖6A所示，根據此實施範例，在應用上時，使用了三組深度影像擷取裝置1-3來對同一被測物進行深度影像的量測。深度影像擷取裝置1-3可以使用圖1、3或4所示的深度影像擷取裝置。

如圖6B所示，在控制各組深度影像擷取裝置時，可以利用上述的脈波驅動方式，但是將各組的光源打開時段錯開。從圖6B可以看出，各組深度影像擷取裝置1-3(圖6B所示的範例是三組，但不以此為限)的光源的工作週期的光源打亮(ON)期間是彼此錯開的。亦即，三組深度影像擷取裝置1-3的各個控制脈衝訊號具有相同週期但相位不同。此時，各組深度影像擷取裝置1-3的影像感測裝置是與對應的投光裝置之光源開關同步；亦即深度影像擷取裝置1的光源打開期間，深度影像擷取裝置1的影像感測裝置進行取像，而深度影像擷取裝置2-3的影像感測裝置則不動作。藉此，各組深度影像擷取裝置1-3便可以採取相同週期而彼此互不干擾，使得多組深度影像擷取裝置1-3可對同一場景或被測物同時運作。

另外，各組深度影像擷取裝置1-3的控制脈衝訊號也可以採用不同週期的訊號，但是要注意各組的光源打亮(ON)期間必須彼此錯開。

此外，在圖1、3或4的架構中，改變影像感測裝置間的距離，可以獲得不同深度精度。在較近距離之應用場合，可以將影像感測裝置之間距設定較小，而在較遠距離之應用時，影像感測裝置間距則要設定大一點，以便得到較佳之距離精度。在實際應用上，參考設定是取像工作距離為1.5m~5m，兩台影像感測裝置的間距設定在18cm，例如使用640x480像素的相機，深度影像擷取裝置可以達到3~5cm的深度解析度。若取像工作距離降至0.5m~1.5m，且使用同樣影像感測裝置，則間距可調至6cm左右，此時便可達到1~2cm的深度解析度。

關於應用本實施範例之的詳細影像比對方式，會在後文做更詳細的說明。

接著說明本實施範例的影像比對處理流程。在說明處理流程之前，先解釋將光學投影裝置當做虛擬影像感測裝置的方式與原理。

圖7繪示投光裝置當做虛擬影像感測裝置時之本源影像與虛擬影像之間的關係示意圖。在此例中，虛擬影像感測裝置為一虛擬相機。如圖7所示，本實施範例所稱的虛擬相機(非實際存在的相機，或將不是相機的裝置當做相機使用)即是投光裝置。如前所述，投光裝置是將散亂光點圖案投射在被測物上，而此被投影出去的散亂光點圖案便是本源影像(inherent image)。一般而言，此本源影像可以是例如以扇形發散方式投射出去而到達被測物上。

在進行測量時，投光裝置有兩個主要用途：一是當做光源，讓實際存在真實的相機(如上述的圖1之影像感測裝置120、130等)能夠擷取影像；二是製造亮暗或色彩變化，讓真實相機所取得的影像含有豐富的特徵或變化，方便後續的影像分析處理。亮暗或色彩的變化可以用一張本源影像來描述。上述本源影像不是影像感測裝置取得的資料，而是一種二維的資料描述方式。在實施上，可以設計各種的投光裝置，將光源投射到空間中，讓光線在空間中依本源影像描述的方式，產生各種亮暗或色彩的變化。

假如投光裝置是一般的數位投影機，本源影像就是被投射的那張數位影像。假如投光裝置是自行設計的光學系統，本源影像可以直接從設計資料推算出來，或者設計一套校正方法，把本源影像估算出來。

在此，本實施範例是以針孔模型(pin-hole model)來描述虛擬相機，故本源影像也就必須是符合針孔模型的理想影像。此外，當投光裝置有缺陷時，也可以設計一套反扭曲影像修正(anti-distortion correction)方法，得到符合針孔模型的本源影像。

如圖7所示，以針孔模型描述投光裝置時，可以想像此投光裝置相當於一台虛擬的相機(虛擬的影像感測裝置，以下均以虛擬相機稱之)。虛擬相機的光軸AX與投影中心C，與投光裝置的光軸與投影中心完全一致，故虛擬相機所成像的虛擬影像V(i,j)的位置和影像大小與投光裝置的本源影像H(i,j)完全一致或成比例。如上所述，虛擬相機所取得的數位影像可以有以下數式(1)來描述：

V (i,j )=aH (i,j )R (i,j )　0 i <M 　0 j <N 　(1)

上述各參數與函數的定義如下所述：

V(i,j):虛擬相機之虛擬影像的第j列第i行的像素值。

M,N:影像解析度

a:比例值，為虛擬影像和本源影像之間的比例值。

H(i,j):本源影像第j列第i行的像素值。

R(i,j):從投影中心C穿過本源影像第j列第i行的像素H(i,j)的一條直線，所碰觸到拍攝場景的一點，此點的反光係數(reflectance)。這個數值與光源的性質、反射角度以及物體材質有關。

上述像素值V(i,j)可以是RGB彩色或者亮度值，而使用其他系統的彩色或者亮度值也是可行的，並沒有特別的限制。在實際的應用中，相對於反光係數R(i,j)而言，本源影像H(i,j)是比較高頻的訊號。因此，如果只看局部的區域的影像，反光係數R(i,j)近似於常數值，即如下列述式(2)所表示。(m,n)表示以第j列第i行的像素(i,j)為中心之周圍的鄰近區域neighborhood 的範圍，而α為一比例值。

V (m ,n ) αH (i ,j )　(m,n) neighborhood of (i ,j )　(2)

所以當只對影像的局部區域做比對操作時，可以直接使用投光裝置的本源影像，不必真的使用虛擬影像。例如虛擬相機與真實相機做影像比對時，可以使用本源影像H(i,j)，與真實相機取得的數位影像F(i,j)做比對。

此外，假設函數 D(ν1,ν2) 計算v1和v2的差距值，函數 N(i,j,F(i,j)) 定義為將影像 F 的第(i,j)個像素正規化(normalize)，使像素的數值介於0和1之間。則虛擬影像V的像素(i,j)與真實影像F的像素(m,n)的局部比對運算可定義如下列數式(3)的匹配成本函數MatchingCost(i,j,m,n,V,F) ，其中鄰近區域neighborhood 的形狀與大小則可依實際狀況來定義。

(3)

根據本實施範例，藉由導入虛擬相機的概念，使得投光裝置增加了第三個功能，即讓投光裝置具有本源影像，可與真實相機的影像進行比對、分析。因此，使用一個相機和一個投光裝置即可構成一個雙相機系統，進行影像比對(image matching)和三角測距。

基於上述虛擬相機的概念，在如圖1、3或4的深度影像擷取裝置中，一投光裝置與兩個影像感測裝置(或者兩個投光裝置與一影像感測裝置)便可以轉化成三個影像感測裝置，即一虛擬相機加上兩個真實相機(或者兩個虛擬相機與一真實相機)的系統。下面便接著詳細解說此架構下的虛擬三相機系統。

圖8與圖9A至9E為本實施範例所列舉出的各種虛擬三相機系統的例子。圖8所示為圖1所說明的一投光裝置P和兩個相機C1、C2所構成的架構，圖9A則是依據本實施範例的概念，將投光裝置轉換為虛擬相機的架構示意圖。

原本投光裝置的目的只是製造光源以及亮暗或色彩變化。但是如圖9所示，當以虛擬相機來描述投光裝置的時候，這個系統就變成一個虛擬的三相機系統，亦即一個虛擬相機VC加上兩個真實相機C1、C2。虛擬三相機系統比原先主動投光的雙相機系統至少多了以下所述的效果。

首先，虛擬三相機系統可以驗證影像比對結果，排除錯誤。一虛二實相機所構成系統中的相機兩兩配對，可以得到三組雙相機系統。三個系統各自進行影像比對，得到三組結果，這三組結果互相之間必須符合相機成像原理。舉例言之，假如相機一的像素(i₁ ,j₁ )與相機二的像素(i₂ ,j₂ )匹配，相機一的像素(i₁ ,j₁ )與相機三的像素(i₃ ,j₃ )匹配，則(i₂ ,j₂ )與(i₃ ,j₃ )必須符合三相機系統的成像關係式(例如，經由相機校正與系統校正得到)。同時，相機二與相機三之間進行影像比對時，相機二的像素(i₂ ,j₂ )必須與相機三的像素(i₃ ,j₃ )匹配，相機三的像素(i₃ ,j₃ )也必須與相機二的像素(i₂ ,j₂ )匹配。

其次，增加量測結果的完整性。進行三角測距時，常因遮蔽(occlusion)的問題導致某些區域無法量測到資料，本實施範例的虛擬三相機系統可以減少這個問題。虛擬三相機系統的兩兩配對，可以得到三組雙相機系統，當其中一組因遮蔽問題無法量測時，可由其餘兩組雙相機系統補足量測資料。只有三組雙相機系統同時發生遮蔽問題時，才無法量測到資料。

圖9B繪示虛擬三相機系統的另一種配置方式，其中兩個真實相機C1、C2之間有水平像差，而真實相機C1與虛擬相機VC之間有垂直像差。這種配置方式主要是為了減少遮蔽問題。圖9C則是虛擬三相機系統的另一種折衷配置方式。例如虛擬相機VC(投光裝置)大致上是位在兩真實相機C1、C2連線之上方位置，當然下方位置也是可行的。

此外，上述說明的深度影像擷取裝置的架構是以一投光裝置與兩台影像感測裝置(例如，相機)所構成，但是也可以使用兩台投光裝置搭配一台影像感測裝置(例如，相機)。此實施範例的架構便可等效於兩台虛擬相機與一台真實相機所構成的虛擬三相機系統。

圖9D與圖9E繪示出兩個配置的架構範例，而其他的配置位置也是可行的。圖9D所示的架構是虛擬相機VC1、VC2與真實相機C1是大致上配置在一直線上，此架構與圖9A類似。圖9E的架構則類似於圖9B，其中真實相機C1分別與虛擬相機VC2之間有水平像差，而真實相機C1與虛擬相機VC1之間有垂直像差。圖9E的架構同時具有水平和垂直像差，可以減少遮蔽問題。

此範例的三相機系統只能配對出兩組雙相機系統，此乃因為兩個虛擬相機之間無法做影像比對。此架構有個好處，就是只須使用一個相機。除了沒有第三組雙相機系統進行額外的比對外，此架構也同樣具有「驗證影像比對結果」與「增加量測結果的完整性」兩個特點。

在配置成圖9D或9E之架構時，投光裝置之控制可以使用時間分割(time division)或頻譜分割方式(spectrum division)來區別兩個投光裝置的訊號。時間分割是讓兩個投光裝置在不同時間點亮，相機則分別在相對應的時間取相。頻譜分割是讓兩個投光裝置之光源具有不同波長的光源。此時，兩個投光裝置同時點亮，但是相機則能分辨不同的波長。例如，兩個投光裝置之光源分別投出綠光與紅光，使用RGB彩色相機則能同時取到影像，並且分離出兩種光源所產生的影像。

接著，說明本實施範例在應用此虛擬三相機的深度影像擷取裝置時進行影像比對的資料處理流程。虛擬三相機架構中至少有一個是虛擬相機。此外，為了描述方便，在此將上述深度影像擷取裝置中的影像感測裝置均以“相機”為例子來說明，並稱之為真實相機。影像比對處理可以分別由兩個真實像機所取得之真實影像直接進行比對運算，或藉由一個投影裝置(虛擬相機)與一個真實相機影像進行比對。接著一一來說明。

圖10繪示兩個真實相機與一虛擬像機所構成虛擬三相機系統的量測流程。此架構可以是圖9A至9C的一種情形。在本實施範例中，兩真實相機分別與虛擬像機組成「實-實」、「實-虛」以及「實-虛」三組雙相機組合(stereo pair)。

參照圖10，首先在步驟S300，深度影像擷取系統分別取得第一真實影像、第二真實影像以及虛擬影像。第一真實影像與第二真實影像例如由影像處理單元取得兩個影像感測裝置所取得的影像，而虛擬影像則使用投光裝置之投影影像。

接著，在步驟S302、S306、S312等，例如深度影像擷取系統之影像處理單元將第二真實影像與虛擬影像進行比對，將第二真實影像與第一真實影像進行比對以及將第一真實影像與虛擬影像進行比對。進行比對時，例如以第一真實影像為基準，先擇一像素，然後在第二真實影像和虛擬影像上，以區塊比對的方式，找對可以與該像素匹配的像素。之後，在步驟S304、S308、S314分別將此比對結果記錄下來。關於真實影像與真實影像之間(即兩真實相機構成的雙相機)的比對基本流程可以參考圖11，真實影像與虛擬影像之間(即真實相機與虛擬相機構成的雙相機)的比對基本流程可以參考圖12。

接著，在步驟S320，系統進行三組雙相機系統的匹配比對，以產生匹配像素。詳細的處理流程可以參考圖13的說明。

在步驟S330，以第一真實影像為主，記錄每一個像素的匹配結果，以二維影像格式來描述匹配結果，這張影像稱為像差(disparity)影像。在步驟S340，可以使用習知的影像處理技術(例如：平滑化、雜訊消除等)，對像差影像進行後處理。同時也可以依據相機的幾何配置，對像差影像進行分析處理，例如：當兩部相機是以水平位移方式配置時，沿著一影像的任意一條水平線從左到右的每一個像素，我們可以要求它們的匹配點，也是從左到右順序排列。之後，在步驟S350，根據像差影像和相機系統的校正結果，便可以計算出每一個像素的深度。在步驟S360，當整個測量區域的像素深度都計算出來後，便可以具此取得影像的深度影像。

此外，在圖10所示的基準影像(第一個影像)是真實影像，但這並不是必要的。依據實際需要，也可以使用虛擬影像當做基準影像。接下來詳細說明圖10各個流程。

圖11繪示兩個真實相機的影像比對流程示意圖，其主要處理流程包括鏡頭扭曲補正、影像轉正與影像比對等步驟。首先在步驟S200、S200’各真實相機1、2(例如圖1或4所示的影像感測裝置)分別取得真實影像(real image)。

接著，在步驟S202A、S202A’將經過反扭曲修正(anti-distortion correction)，將相機的各種影像扭曲效應消除，讓影像成為符合針孔模型(pin-hole model)的理想影像。接著，在步驟S202B、S202B’將兩張真實影像再分別經過影像重整(image rectification)，讓兩張真實影像變成只有水平像差或只有垂直像差(因為位置擺放的關係而造成的)。例如，原本兩台相機在設置時，會有前後位置的差異，或者鏡頭角度仰角的差異等等。透過影像重整，可以將真實影像轉換成相機是擺放同一取像平面，只剩下水平或垂直位置有差異。藉此，除了減少因視角產生的影像變形，更可以讓影像比對更容易在軟體或硬體上實施。上述反扭曲修正與影像重整可以整合成一個單一的複合式影像轉換(composite transformation)步驟S202、S202’。

接著，在步驟S204進行影像比對。兩張真實影像經過重整之後，可以在兩張真實影像上沿著同一條水平線或垂直線進行比對，計算每一個像素的像素差值(disparity)。計算時，比對匹配函數(matching function)可以依據系統和量測物的特性進行設計，例如可以採用區塊比對(block matching)的方式。也就是說，在兩個比對位置上設定一區域的範圍，統計在此區域範圍內兩個真實影像之像素值的像差值。區塊的大小和形狀、像素差值的運算式，都可依據實際需求指定和設計。像素差值總和稱為匹配成本(matching cost)，匹配成本的值愈小表示兩者愈相似、愈匹配。在此步驟S204，可以使用雙重確認(double check)方式來增加比對的正確性。舉例言之，以第一真實影像的像素(i1,j1)為主，在第二真實影像中找到像素(i2,j2)與第一真實影像的像素(i1,j1)最匹配；反過來，當以第二真實影像的像素(i2,j2)為主，在第一真實影像中找到的最匹配的像素必須是(i1,j1)。

接著，在步驟S206，以第一真實影像(或者第二真實影像)為基準，記錄每一個像素的比對結果(match records)。此比對結果可以包含最佳匹配位置以及匹配成本等的資訊。這些比對結果可供後續產生深度影像的處理使用。

圖12繪示真實影像與虛擬影像的比對流程示意圖。例如，將圖1或4的其中一個影像感測裝置(真實相機)所得的真實影像以及將投光裝置做為虛擬相機所得到的虛擬影像進行比對。根據上述的說明，在做局部比對時，可以直接使用投光裝置的本源影像來產生虛擬影像。

在步驟S302，取得投光裝置的本源影像。接著，在步驟S304、S306對該本源影像進行低通濾波，以移除高頻訊號，產生虛擬影像。本源影像通常是一種理想影像，且常由數學方式直接產生或者推算出來。因此，相較於一般的真實影像，本源影像會呈現較為銳利的樣子，這部分主要是來自高頻訊號。因此，可以利用低通濾波器，將高頻訊號過濾，使本源影像模糊化，藉此可以比較相似於真實影像，如此可以得到較佳的比對結果。本源影像通過低通濾波處理後，可稱之為虛擬影像。之後，可以使用虛擬影像與真實影像進行影像比對。

此外，在步驟S312，真實相機取得真實影像。之後在步驟S314，將該真實影像進行高通濾波處理(例如使用高通濾波器)，移除低頻訊號。本實施範利之深度影像擷取裝置是將投光裝置(亦即虛擬相機)的本源影像投射到空間中，再照射到被測物上，然後成像在真實相機內成為所謂的真實影像。從頻譜來看，場景內被測物對真實影像的貢獻大部份屬於低頻部份。故，將低頻訊號濾除便可以減少物體對真實影像的影響，保留較多的本源影像成分。

透過對本源影像的低通濾波處理以及對真實影像的高通濾波處理，真實影像與虛擬影像會變得比較接近，而比對效果也可以提高。因此，本源影像的低通濾波器與真實影像的高通濾波器需要互相匹配，使得經過處理的兩組影像具有相似的頻譜特徵，以得到最佳的影像比對結果。

接著，在步驟S316A，通過高通濾波處理的真實影像需要再經過反扭曲修正，將真實相機的各種影像扭曲效應消除，讓影像成為符合針孔模型的理想影像。反之，虛擬相機一般不需要這個步驟，因為在產生或計算出本源影像時，就已經考慮扭曲效應。本源影像本身已經是符合針孔模型的理想影像。

接著，在步驟S316B、S308，上述兩個影像均再經過影像重整，讓兩張影像變成只有水平像差或只有垂直像差。同圖11的說明，上述S316A、S316B之反扭曲修正與影像重整可以整合成一個單一的複合式影像轉換步驟S316。

接著，在步驟S330與S340則進行與圖11相同的影像比對以及比對結果的記錄，所不同的是影像比對的對象是真實影像與虛擬影像。詳細可參考圖11之步驟S204、S206的說明。

另外，本源影像的低通濾波處理是一次性的操作，可以事先處理。為了簡化實施流程，也可以考慮將真實影像的高通濾波器移除。在此，本實施範例也提出一個求得匹配高通濾波器(high-pass filter)與低通濾波器(low-pass filter)的方法：(1)首先，將本源影像投射到一個材質單一且均勻的平面上(例如，白色牆壁)，再用真實相機取像，然後計算此影像頻譜；(2)計算本源影像的頻譜；(3)將真實影像頻譜與本源影像頻譜各別做二值化處理；(4)取二值化後兩頻譜的交集；(五)兩個二值化頻譜各別扣除交集部份，然後再反相，即可得到各別所需的高通或低通濾波器。

圖13繪示虛擬三相機系統中使用三組雙相機組之比對與驗證流程。假設三個相機所取得的影像分別為影像image 1、影像image 2、和影像image 3，並且以影像image 1為主。在步驟S402，取得影像image 1上的第一像素(i1,j1)。

在步驟S404，在影像image 2中尋找與第一像素(i1,j1)的最佳第一匹配像素(i2,j2)，稱之為匹配A。此外，在步驟S406，在影像image 3上的尋找與第一像素(i1,j1)的最佳第二匹配像素(i3,j3)，稱之為匹配B。

接著，在步驟S410判斷上述找到的匹配像素，即匹配A與匹配B是否匹配適當。在判斷時，例如使用上述說明的匹配成本函數以及像素差值等的整體分析結果，判斷匹配A與匹配B是否為適當的匹配結果。

若步驟S410的判斷結果是兩個匹配A、B均是適當的，則在步驟S430可以使用三相機系統的校正參數，來驗證匹配A和匹配B是否符合相機成像原則。亦即若是符合成像原則，則匹配A和匹配B基本上應該是一致的。故在步驟S432，判斷匹配A和匹配B是否一致。若一致，則對此結果再進一步的進行比對驗證。在步驟S500，系統進一步地在影像image 3上找與影像image 2之第一像素(i1,j1)匹配的第三匹配像素(ia,ja)，即匹配C。接著判斷此第三匹配像素(ia,ja)是否為匹配適當的畫素(步驟S502)，若不是，則依然輸出精度等級L2的匹配A或B的比對結果(步驟S504)。

如果在步驟S502，系統判斷匹配C(匹配像素(ia,ja))是適當的，則進一步地執行步驟S510。在步驟S510，在影像image 2上找與第二匹配像素(i3,j3)匹配的第四匹配像素(ib,jb)，即匹配D。接著判斷此第四匹配像素(ib,jb)是否為匹配適當的畫素(步驟S512)。如果判斷為適當，則輸出匹配A或B。此時的匹配A或B因位經過進一步的匹配比對與驗證，所以精度等級可以進一步地達到3級(L3)，亦即此時的匹配結果是屬於正確指數最高的比對結果。

另外，即使步驟S512判斷為不適當，仍然可以輸出精度等級L2的匹配A或B的比對結果(步驟S510)。此時的匹配結果是屬於正確指數中等(L2)的比對結果。正確指數的高低可以幫助後續資料的分析處理。

此外，若在步驟S432，判斷匹配A和匹配B為不一致，則輸出無適當匹配的結果(步驟S436)。

另外，若在步驟S410的判斷結果只是其中一個匹配是適當的話，則進行S412、S414、S416、S418的處理。亦即，如果只有匹配A是適當的匹配結果，則輸出匹配A(步驟S412、S414)。假如只有匹配B是適當的匹配結果，則輸出匹配B(步驟S416、S418)。以上兩種匹配結果是屬於正確指數較低的比對結果，可將此比對結果定義為精度等級L1(accuracy level L1)。此乃因為無第三個影像來做進一步的驗證。這種狀況通常是因為某一組雙相機發生遮蔽(occlusion)，但還是可以從另一組得到匹配結果。

假如兩個匹配A、B都不是適當的匹配結果，則輸出無適當匹配(no valid match)，即步驟S420。

正確指數的高低可以幫助後續資料的分析處理，因此正確指數越高，即精度等級越高是越好的，後續所得到的深度影像也就越正確。透過上述三組雙相機的比對方式，可以獲得L1~L3各種不同等級的比對結果。

一般在比對時，可以進行到匹配A、B即可。如果可驗在進行匹配C、D之補充驗證，則精確度可以更加地提高。

圖14繪示由一台真實相機與兩個虛擬相機所構成虛擬三相機系統的量測流程(如圖9D或9E的架構)，即深度影像擷取系統主要是由一影像感測裝置(真實相機)與兩個投光裝置(虛擬相機)構成。在此實施範例中，只能構成兩個雙相機組合，這是因為兩個虛擬相機之間無法進行影像比對。圖9D或9E的架構中，真實相機分別與兩台虛擬像機組成兩個「實-虛」雙相機組合。

參照圖14，首先在步驟S602，深度影像擷取系統分別取得真實影像、第一虛擬影像以及第二虛擬影像。

接著，在步驟S610、系統將真實影像與第二虛擬影像進行比對，而在步驟S620，將真實影像與第一虛擬影像進行比對。進行比對時，例如以真實影像為基準，先擇一像素，然後在第一與第二虛擬影像上，以區塊比對的方式，找出可以與該像素匹配的像素。之後，在步驟S612、S622分別將此比對結果記錄下來。關於真實影像與虛擬影像之間(即真實相機與虛擬相機構成的雙相機)的比對基本流程可以參考圖12。

接著，在步驟S630，系統進行兩組雙相機系統的匹配比對，以產生匹配像素。詳細的處理流程可以參考圖15的說明。

在步驟S640，以真實影像為主，記錄每一個像素的匹配結果，成為像差影像。步驟S650與圖10步驟S340相同，對像差影像進行後處理。之後，在步驟S660，根據像差影像和相機系統的校正結果，便可以計算出每一個像素的深度。在步驟S670，當整個測量區域的像素深度都計算出來後，便可以具此取得影像的深度影像。

圖15繪示虛擬三相機系統中使用兩個雙相機組合之比對與驗證流程。圖15與圖13的差異在於省去第三組雙相機的比對程序。因此，與圖13執行相同或類似的程序者，給予相同的標號。當在步驟S432，系統判斷匹配A與B一致時，於步驟S434，便輸出精度等級L2的匹配A或B，做為比對結果。

正確指數的高低可以幫助後續資料的分析處理，因此正確指數越高，即精度等級越高是越好的，後續所得到的深度影像也就越精密。透過上述兩組雙相機的比對方式，可以獲得L1~L2各種不同等級的比對結果。

此外，除了上述虛擬三相機的架構外，本案尚有其他的變化應用例。例如，深度影像擷取裝置可使用一個投光裝置以及一個影像感測裝置。此時，投光裝置投射投影圖案到被測物上。此投光裝置仍然做為一虛擬影像感測裝置，以投影圖案的本源影像做為虛擬影像。影像感測裝置可以感測投影到該被測物上的投影圖案，以產生真實影像。在此架構下，利用虛擬影像以及真實影像來做匹配，找到匹配的像素，進而產生深度影像。在此架構下，可以不需要進行上述所提到的驗證程序，影像比對則可以使用圖12的流程來進行。

另外，深度影像擷取裝置可使用一個投光裝置以及兩個影像感測裝置。此時，投光裝置僅單純做投射投影圖案到被測物上。兩個影像感測裝置可以感測投影到該被測物上的投影圖案，分別產生真實影像。在此架構下，利用兩個真實影像來做匹配，找到匹配的像素，進而產生深度影像。在此架構下，也可以不需要進行上述所提到的驗證程序，影像比對則可以使用圖11的流程來進行。

綜上所述，本申請採取兩台以上影像感測裝置，不需建立參考影像組比對，直接由影像感測裝置取得之影像進行區塊比對，並參考了投影裝置(虛擬相機)與真實相機的比對資訊以獲得深度資訊。透過真實相機與虛擬相機的虛擬三相機架構，可以提高深度測量的精確度。此外，借由此配置，可以克服三角測距時可能造成的遮蔽問題。

另外，本申請尚可使用一虛擬影像與一真實影像之間的匹配比對，或者兩真實影像之間的匹配比對，因此沒有相互驗證的程序，雖然結果的正確性與完整度可能因此變差，卻可減少硬體設計成本與計算時間。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

100、400、500．．．深度影像擷取裝置

110、110A、110B、110C、410、510、512．．．投光裝置

120、130、420、430、520．．．影像感測裝置

140、150、440、450、540．．．光學濾光鏡

160、460、560．．．被測物

170、470、570．．．影像處理單元

210、302．．．光源

220．．．繞射光學元件

222．．．光罩

230．．．透鏡、透鏡組

240、340．．．投影面

304．．．毛玻璃

310．．．半反射鏡

320．．．同軸取像校正裝置

480．．．控制單元

P．．．投光裝置

C1、C2．．．真實相機

VC、VC1、VC2．．．虛擬相機

圖1繪示本實施範例的深度影像擷取裝置之架構示意圖。

圖2A繪示大面積分佈光點模組構成之投光裝置的示意圖。

圖2B繪示大面積分佈光點模組構成之投光裝置的示意圖。

圖2C繪示一種隨機影像投光裝置的示意圖。

圖3繪示另一個實施範例的深度影像擷取裝置之架構示意圖。

圖4繪示另一個實施範例的深度影像擷取裝置之架構示意圖。

圖5繪示圖3中控制器之非同步脈波驅動方式的波形示意圖。

圖6A繪示另一實施範例的採用多組深度影像感測裝置之深度影像擷取系統。

圖6B繪示對應圖6A架構之控制訊號時序示意圖。

圖7繪示投光裝置當做虛擬相機時之本源影像與虛擬影像之間的關係示意圖。

圖8與圖9A至9E為本實施範例所列舉出的各種虛擬三相機系統的例子。

圖10繪示兩真實相機與一虛擬相機所構成虛擬三機系統的量測流程。

圖11繪示兩個真實相機的影像比對流程示意圖。

圖12繪示真實影像與虛擬影像的比對流程示意圖。

圖13繪示虛擬三相機系統中使用三個雙相機組合之比對與驗證流程。

圖14繪示兩虛擬相機與一真實相機所構成虛擬三相機系統的量測流程。

圖15繪示虛擬三相機系統中使用兩個雙相機組之比對與驗證流程。

100．．．深度影像擷取裝置

110．．．投光裝置

120、130．．．影像感測裝置

140、150．．．光學濾光鏡

160．．．被測物

170．．．影像處理單元

Claims

一種深度影像擷取裝置，包括：至少一投光裝置，用以投射一投影圖案到一被測物上，其中該投光裝置做為一虛擬影像感測裝置，以該投影圖案的一本源影像做為一虛擬影像；一第一與一第二影像感測裝置，分別感測投影到該被測物上的該投影圖案，以產生一第一真實影像與一第二真實影像；以及一影像處理單元，耦接至該投光裝置以及該第一與該第二影像感測裝置，其中該影像處理單元將該第一真實影像的各像素與該第二真實影像分別進行匹配比對，以獲得一第一匹配影像，將該第一真實影像的各該像素與該虛擬影像分別進行匹配比對，以獲得一第二匹配影像；利用該第一與該第二匹配影像進行一匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像像素之一；以及依據該第一真實影像各該像素與該驗證後之匹配影像的各該像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生一深度影像。
如申請專利範圍第1項所述之深度影像擷取裝置，其中該投光裝置更包括：一光源，用以發出一投光光束；以及一投影圖案產生元件，配置於該光源的光路上，由該光源照射而產生該投影圖案。
如申請專利範圍第2項所述之深度影像擷取裝置，其中該投光裝置更包括：一透鏡組，配置於該投影圖案產生元件的光路上，將該光源通過該投影圖案產生元件產生的該投影圖案，投影到該被測物上。
如申請專利範圍第3項所述之深度影像擷取裝置，其中該透鏡組更包含一片或以上的透鏡。
如申請專利範圍第2項所述之深度影像擷取裝置，其中該投影圖案產生元件為一繞射光學元件。
如申請專利範圍第5項所述之深度影像擷取裝置，其中該繞射光學元件包括電腦全像片、光柵與相位式繞射元件的其中之一。
如申請專利範圍第2項所述之深度影像擷取裝置，其中該投影圖案產生元件為光罩。
如申請專利範圍第7項所述之深度影像擷取裝置，其中該光罩為鉻金屬薄膜的石英玻璃片、網點印刷板與金屬板的其中之一。
如申請專利範圍第2項所述之深度影像擷取裝置，其中該光源為紅外線雷射、發光二極體、紫外光與可見光的其中之一。
如申請專利範圍第1項所述之深度影像擷取裝置，更包括一第一與一第二光學濾鏡，分別配置在該第一與該第二影像感測裝置前。
如申請專利範圍第1項所述之深度影像擷取裝置，其中該投影圖案為預先設計或隨機產生。
如申請專利範圍第1項所述之深度影像擷取裝置，其中該投影圖案為隨機分布的散亂光點圖案。
如申請專利範圍第2項所述之深度影像擷取裝置，更包括一控制器，耦接到該投光裝置、該第一與該第二影像感測裝置，以脈波驅動方式來驅動該光源。
一種深度影像的擷取裝置，包括：一第一與一第二投光裝置，分別用以投射一投影圖案到一被測物上，其中該第一與該第二投光裝置做為一第一與一第二虛擬影像感測裝置，以該投影圖案的本源影像做為該第一與該第二虛擬影像感測裝置所成像的一第一與一第二虛擬影像；一影像感測裝置，感測投影到該被測物上的該投影圖案，以產生一真實影像；以及一影像處理單元，耦接至該第一與該第二投光裝置以及該影像感測裝置，其中該影像處理單元將該真實影像的各像素與該第一虛擬影像進行匹配比對，以獲得一第一匹配影像，將該真實影像的各該像素與該第二虛擬影像進行匹配比對，以獲得一第二匹配影像；利用該第一與該第二匹配影像進行一匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像像素之一；以及依據該真實影像各該像素與該驗證後之匹配影像的各該像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生一深度影像。
如申請專利範圍第14述之深度影像擷取裝置，其中該第一與該第二投光裝置分別更包括：一光源，用以發出一投光光束；以及一投影圖案產生元件，配置於該光源的光路上，由該光源照射而產生該投影圖案。
如申請專利範圍第15述之深度影像擷取裝置，其中該第一與該第二投光裝置分別更包括：一透鏡組，配置於該投影圖案產生元件的光路上，將該光源通過該投影圖案產生元件產生的該投影圖案，投影到該被測物上。
如申請專利範圍第16述之深度影像擷取裝置，其中該透鏡組包含一片或以上之透鏡。
如申請專利範圍第15項所述之深度影像擷取裝置，其中該投影圖案產生元件為一繞射光學元件。
如申請專利範圍第18項所述之深度影像擷取裝置，其中該繞射光學元件包括電腦全像片、光柵與相位式繞射元件。
如申請專利範圍第15項所述之深度影像擷取裝置，其中該投影圖案產生元件為一光罩。
如申請專利範圍第20項所述之深度影像擷取裝置，其中該光罩為鉻金屬薄膜的石英玻璃片、網點印刷板與金屬板的其中之一。
如申請專利範圍第15項所述之深度影像擷取裝置，其中該光源為紅外線雷射、發光二極體、紫外光與可見光的其中之一。
如申請專利範圍第14項所述之深度影像擷取裝置，更包括一光學濾鏡，配置在該影像感測裝置前。
如申請專利範圍第14項所述之深度影像擷取裝置，其中該投影圖案為預先設計或隨機產生。
如申請專利範圍第14項所述之深度影像擷取裝置，其中該投影圖案為隨機分布的散亂光點圖案。
如申請專利範圍第15項所述之深度影像擷取裝置，其中該第一與該第二投光裝置的各該光源以時間分割或頻譜分割的方式來控制。
一種深度影像擷取方法，對一被測物擷取一深度影像，用於具有一投光裝置、第一與第二影像感測裝置之深度影像擷取裝置中，該深度影像擷取方法包括：該投光裝置將一投影圖案投影到該被測物，該第一與該第二影像感測裝置感測投影到該被測物上的該投影圖案，以產生一第一真實影像與一第二真實影像，其中該投光裝置做為一虛擬影像感測裝置，將該投影圖案之一本源影像轉換為一虛擬影像；將該第一真實影像的各像素與該第二真實影像進行匹配比對，以獲得一第一匹配影像；將該第一真實影像各該像素與該虛擬影像進行匹配比對，以獲得一第二匹配影像；利用該第一與該第二匹配影像進行一匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像像素之一；以及依據該第一真實影像各該像素與該驗證後之匹配影像的各該像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生一深度影像。
如申請專利範圍第27項所述之深度影像擷取方法，更包括：將該第一真實影像與該第二真實影像分別進行一反扭曲修正；將進行該反扭曲修正的該第一真實影像與該第二真實影像分別進行一影像重整；以及將進行該影像重整後的該第一真實影像與該第二真實影像進行匹配比對，以獲得該第二匹配結果。
如申請專利範圍第27項所述之深度影像擷取方法，更包括：將該第一真實影像進行一高通濾波處理，並將該本源影像進行一低通濾波，以產生該虛擬影像；將進行該高通濾波處理後的該第一真實影像進行一反扭曲修正；將進行該反扭曲修正後的該第一真實影像以及該虛擬影像分別進行一影像重整；以及將進行該影像重整後的該第一真實影像與該虛擬影像進行匹配比對，以獲得該第一匹配結果。
如申請專利範圍第27項所述之深度影像擷取方法，其中輸出各該匹配影像更包括：判斷該第一與該第二匹配影像之像素是否均為適當匹配；若該第一與該第二匹配影像之像素只有其中之一為適當匹配，輸出適當匹配的該第一或該第二匹配影像之像素的匹配結果，若該第一與該第二匹配影像之像素均非適當匹配，輸出無適當匹配的匹配結果；若該第一或該第二匹配影像之像素均為適當匹配，則驗證該第一與該第二匹配影像之像素是否符合一致；若該第一與該第二匹配影像之像素為一致，則輸出該第一與該第二匹配影像之像素任一個的匹配結果，若不一致，則輸出無適當匹配的匹配結果。
如申請專利範圍第30項所述之深度影像擷取方法，其中判斷該第一與該第二匹配影像之像素是否均為適當匹配是利用第一與該第二匹配影像之像素之匹配成本函數。
如申請專利範圍第31項所述之深度影像擷取方法，其中驗證該第一與該第二匹配影像之像素是否符合一致是依據相機成像原則。
如申請專利範圍第30項所述之深度影像擷取方法，其中當該第一與該第二匹配影像之像素為一致時更包括：在該虛擬影像上取得與該第二真實影像之該第一匹配影像相匹配的一第三匹配影像；判斷該第三匹配影像之像素是否為適當匹配；當該第三匹配影像之像素不是適當匹配，則輸出該第一或該第二匹配影像之像素任一個的匹配結果；當該第三匹配影像之像素為適當匹配，則在該第二真實影像上取得與該虛擬影像之該第二匹配影像之像素相匹配的一第四匹配影像之像素；判斷該第四匹配影像之像素是否為適當匹配，並且輸出該第一或該第二匹配影像之像素任一個的匹配結果，其中該第四匹配影像之像素為適當匹配時之匹配結果精度大於該第四匹配影像之像素不是適當匹配時之匹配結果精度。
如申請專利範圍第30項所述之深度影像擷取方法，其中該像差影像是利用三角測距法產生。
一種深度影像擷取方法，對一被測物擷取一深度影像，用於具有一第一與一第二投光裝置以及一影像感測裝置之深度影像擷取裝置中，該深度影像擷取方法包括：該第一與該第二投光裝置將一投影圖案投影到該被測物，該影像感測裝置感測投影到該被測物上的該投影圖案，以產生一真實影像，其中該第一與該第二投光裝置做為一第一與一第二虛擬影像感測裝置，將該投影圖案之一本源影像轉換為一第一與一第二虛擬影像；將該真實影像的各像素與該第一虛擬影像進行匹配比對，以獲得一第一匹配影像，將該真實影像的各該像素與該第二虛擬影像進行匹配比對，以獲得一第二匹配影像；利用該第一與該第二匹配影像之像素進行一匹配驗證，輸出一驗證後之匹配影像，其中該驗證後之匹配影像之像素為該第一與第二匹配影像像素之一；以及依據該真實影像的各該像素與該驗證後之匹配影像的各該像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生一深度影像。
如申請專利範圍第35項所述之深度影像擷取方法，更包括：將該真實影像進行一高通濾波處理，並將該本源影像進行一低通濾波，以產生該第一與該第二虛擬影像；將進行該高通濾波處理後的該真實影像進行一反扭曲修正；將進行該反扭曲修正後的該真實影像以及該第一與該第二虛擬影像分別進行一影像重整；以及將進行該影像重整後的該真實影像與該第一、該第二虛擬影像進行匹配比對，以分別獲得該第一匹畫素與該第二匹配畫素。
如申請專利範圍第35項所述之深度影像擷取方法，其中輸出各該匹配像素更包括：判斷該第一與該第二匹配影像之像素是否均為適當匹配；若該第一與該第二匹配影像之像素只有其中之一為適當匹配，輸出適當匹配的該第一或該第二匹配影像之像素的匹配結果，若該第一與該第二匹配影像之像素均非適當匹配，輸出無適當匹配的匹配結果；若該第一或該第二匹配影像之像素均為適當匹配，則驗證該第一與該第二匹配影像之像素是否符合一致；若該第一與該第二匹配影像之像素為一致，則輸出該第一與該第二匹配影像之像素的任一個的匹配結果，若不一致，則輸出無適當匹配的匹配結果。
如申請專利範圍第37項所述之深度影像擷取方法，其中判斷該第一與該第二匹配影像之像素是否均為適當匹配是利用第一與該第二匹配影像之像素之匹配成本函數。
如申請專利範圍第38項所述之深度影像擷取方法，其中驗證該第一與該第二匹配影像之像素是否符合一致是依據相機成像原則。
如申請專利範圍第35項所述之深度影像擷取方法，其中該像差影像是利用三角測距法產生。
一種深度影像擷取裝置，包括：一投光裝置，用以投射一投影圖案到一被測物上，其中該投光裝置做為一虛擬影像感測裝置，以該投影圖案的一本源影像做為一虛擬影像；一影像感測裝置，感測投影到該被測物上的該投影圖案，以產生一真實影像；以及一影像處理單元，耦接至該投光裝置以及該影像感測裝置，其中該影像處理單元將該真實影像的各像素與該虛擬影像進行匹配比對，以獲得一匹配影像；以及依據該真實影像的各該像素與該匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生一深度影像。
如申請專利範圍第41項所述之深度影像擷取裝置，其中該投光裝置更包括：一光源，用以發出一投光光束；以及一投影圖案產生元件，配置於該光源的光路上，由該光源照射而產生該投影圖案。
如申請專利範圍第42項所述之深度影像擷取裝置，其中該投光裝置更包括：一透鏡組，配置於該投影圖案產生元件的光路上，將該光源通過該投影圖案產生元件產生的該投影圖案，投影到該被測物上。
如申請專利範圍第43項所述之深度影像擷取裝置，其中該透鏡組包含一片或以上之透鏡。
如申請專利範圍第42項所述之深度影像擷取裝置，其中該投影圖案產生元件為一繞射光學元件。
如申請專利範圍第45項所述之深度影像擷取裝置，其中該繞射光學元件包括電腦全像片、光柵與相位式繞射元件的其中之一。
如申請專利範圍第42項所述之深度影像擷取裝置，其中該投影圖案產生元件為光罩。
如申請專利範圍第47項所述之深度影像擷取裝置，其中該光罩為鉻金屬薄膜的石英玻璃片、網點印刷板與金屬板的其中之一。
如申請專利範圍第42項所述之深度影像擷取裝置，其中該光源為紅外線雷射、發光二極體、紫外光與可見光的其中之一。
如申請專利範圍第41項所述之深度影像擷取裝置，更包括一光學濾鏡，配置在該影像感測裝置前。
如申請專利範圍第41項所述之深度影像擷取裝置，其中該投影圖案為預先設計或隨機產生。
如申請專利範圍第41項所述之深度影像擷取裝置，其中該投影圖案為隨機分布的散亂光點圖案。
如申請專利範圍第42項所述之深度影像擷取裝置，更包括一控制器，耦接到該投光裝置與該影像感測裝置，以脈波驅動方式來驅動該光源。
一種深度影像擷取裝置，包括：至少一投光裝置，用以投射一投影圖案到一被測物上；一第一與一第二影像感測裝置，分別感測投影到該被測物上的該投影圖案，以產生一第一真實影像與一第二真實影像；以及一影像處理單元，耦接至該投光裝置以及該第一與該第二影像感測裝置，其中該影像處理單元將該第一真實影像的各像素與該第二真實影像分別進行匹配比對，以獲得一匹配影像；以及依據該第一真實影像各該像素與該匹配影像的各像素值，產生一像差影像，並且依據該像差影像，計算出對應的深度值，產生一深度影像。
如申請專利範圍第54項所述之深度影像擷取裝置，其中該投光裝置更包括：一光源，用以發出一投光光束；以及一投影圖案產生元件，配置於該光源的光路上，由該光源照射而產生該投影圖案。
如申請專利範圍第55項所述之深度影像擷取裝置，其中該投光裝置更包括：一透鏡組，配置於該投影圖案產生元件的光路上，將該光源通過該投影圖案產生元件產生的該投影圖案，投影到該被測物上。
如申請專利範圍第56項所述之深度影像擷取裝置，其中該透鏡組包含一片或以上之透鏡。
如申請專利範圍第55項所述之深度影像擷取裝置，其中該投影圖案產生元件為一繞射光學元件。
如申請專利範圍第58項所述之深度影像擷取裝置，其中該繞射光學元件包括電腦全像片、光柵與相位式繞射元件的其中之一。
如申請專利範圍第55項所述之深度影像擷取裝置，其中該投影圖案產生元件為一光罩。
如申請專利範圍第60項所述之深度影像擷取裝置，其中該光罩為鉻金屬薄膜的石英玻璃片、網點印刷板與金屬板的其中之一。
如申請專利範圍第55項所述之深度影像擷取裝置，其中該光源為紅外線雷射、發光二極體、紫外光與可見光的其中之一。
如申請專利範圍第54項所述之深度影像擷取裝置，更包括一光學濾鏡，配置在該影像感測裝置前。
如申請專利範圍第54項所述之深度影像擷取裝，其中該投影圖案為預先設計或隨機產生。
如申請專利範圍第54項所述之深度影像擷取裝置，其中該投影圖案為隨機分布的散亂光點圖案。
如申請專利範圍第55項所述之深度影像擷取裝置，更包括一控制器，耦接到該投光裝置以及該第一與該第二影像感測裝置，以脈波驅動方式來驅動該光源。
一種深度影像擷取系統，用以取得一被測物的一深度影像，該深度影像擷取系統包括多數個深度影像擷取裝置，其中各該些深度影像擷取裝置如申請專利範圍第1項至第26項以及第41至66項的任一項所述的深度影像擷取裝置。
如申請專利範圍第67項所述之一種深度影像擷取系統，其中各該些深度影像擷取裝置分別以不同波長光源來進行取像。
如申請專利範圍第67項所述之一種深度影像擷取系統，其中各該些深度影像擷取裝置是以時間分割來進行取像。