TWM458748U - 影像式深度資訊擷取裝置 - Google Patents

Description

影像式深度資訊擷取裝置

本創作係關於一種影像式深度資訊擷取裝置，特別為一種利用結合紅外線雷射深度資訊擷取模組輸出之深度資訊與可見光雙眼攝影機深度資訊擷取模組輸出之深度資訊，來計算並輸出場景中影像深度資訊之影像式深度資訊擷取裝置。

一般擷取目標場景區域深度資訊之方式，主要分為三種：第一種方式是透過紅外線雷射投射與接收的方式，紅外線雷射以特定結構光方式投射至目標場景區域，再根據接收到目標場景區域反射之結構光影像來計算目標場景區域之深度資訊，如利用光柵結構光感測器(PrimeSense之Light Coding光柵技術)，此種方式為目前最常見之深度資訊擷取方式，其優點為準確度高，但使用環境受限於室內或無直接陽光照射之環境，也受被攝物體之材質影響；第二種方式是透過計算特定射線(如紅外線雷射)照射到目標後回傳之反射時間，來計算射線發射體與目標之距離以取得目標場景區域之深度資訊，即所謂的TOF(Time Of Flight)方法，但使用紅外線雷射其所受之限制，和第一種方式相同；第三種方式則常見於教科書上，利用可見光雙眼立體視覺與三角定位法之原理，透過兩相距一定距離之可見光攝影機取得影像，利用目標場景區域與兩支可見光攝影機所形成三角關係，根據其相對應之像素點位置差距計算出相對應之深度資訊，此種方式優點是方法簡單成本低廉，但準確度與穩定性較低，夜間或光線昏暗下無法使 用；另外還有一種先前技術為第一種與第三種方式的變型，利用一部紅外線雷射投射器與兩部紅外線接收器以雙眼立體視覺與三角定位法之原理，搭配光柵結構光感測器(Light Coding光柵技術)與三角演算法計算出深度資訊，其優點為比第一種方式穩定性高一些，與解決第三種方式可見光雙攝影機深度資訊擷取方法對光線不足與物體紋理單純時影像深度擷取困難之問題，但是缺點仍然與第一種方式相同，無法適用於戶外陽光照射之環境，且較第一種方式裝置複雜成本高，帶來的效益不見得比較好，且這種做法已揭露於專利「景深判斷裝置」(公告號：M423406)中。以上四種方式皆各有其優缺點，而裝置成本亦有高低區別，故目前尚無一種方式可以適用於各種應用環境。

由此可見，上述習用方式仍有諸多缺失，實非一良善之設計者，而亟待加以改良。

本案創作人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件影像式深度資訊擷取裝置。

本創作之目的即在於提供一種影像式深度資訊擷取裝置，改善一般影像式深度資訊擷取裝置使用時受限於架設環境與光線影響之缺點，並提升所擷取到之深度資訊之準確率以達到技術實用化之目的。

達成上述創作目的之影像式深度資訊擷取裝置，主要係由五大模組組 成，分述如下：(1)紅外線雷射深度資訊擷取模組，係透過紅外線雷射擷取目標場景區域深度資訊影像；(2)可見光雙眼攝影機深度資訊擷取模組，係透過可見光攝影機擷取目標場景區域深度資訊影像；(3)校正處理單元，係將紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組，同時取得之深度資訊影像校正至相同位置範圍；(4)運算處理單元，係結合經過校正之紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組輸出之深度資訊影像，計算出目標場景區域之實際深度資訊影像；(5)深度影像輸出介面，係可輸出整合後之深度資訊影像，可彌補兩種影像深度擷取方法對光線影響之缺點並提升深度資訊之穩定度，達到日夜間與室內外皆能穩定擷取場景深度資訊之目的。

紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組兩模組之裝置有一預設固定距離之相對關係，並拍攝同一目標場景區域；其中該可見光雙眼攝影機中之兩攝影機的間距為12~24cm(根據使用環境)，而紅外線雷射深度資訊擷取模組的接收裝置則位於兩可見光雙眼攝影機中央；其中，紅外線雷射深度資訊擷取模組含一附有功率調整裝置之紅外線雷射投射裝置、一附有曲面濾光鏡之紅外線雷射接收裝置及一紅外線雷射深度運算單元；紅外線雷射投射裝置之功率調整裝置，係將紅外線雷射以特定方式透過功率調整裝置，調整投射功率至特定強度，並照射目標場景區域；紅外線雷射接收裝置之曲面濾光鏡，係可接收目標場景區域反射光並經過曲面濾光鏡之調整，將接收範圍調整至與可見光雙眼攝影機深度資訊擷取模組所擷取之深度資訊範圍相同，且同時濾除非紅外線雷射投射裝置所投射相同波段之光線，然後經紅外線雷射深度運算單元計算出目 標場景區域之深度資訊影像，；另，紅外線雷射投射裝置與紅外線雷射接收裝置須相距一固定距離；而可見光雙眼攝影機深度資訊擷取模組含一右眼可見光攝影機、一左眼可見光攝影機與一影像深度運算單元，右眼及左眼可見光攝影機相距一固定距離平行安裝，並將兩部可見光攝影機拍攝範圍之重疊區域調整至與紅外線雷射接收裝置接收範圍相同，作為本裝置拍攝與擷取深度資訊影像之目標場景區域，且右眼及左眼可見光攝影機與其鏡頭之內部參數(如曝光、快門、增益、白平衡等)與外部參數(如鏡頭焦距、最大光圈f值等)皆須調整一致，影像深度運算單元根據右眼及左眼可見光攝影機所拍攝輸入的影像，利用雙眼立體視覺與三角定位法演算法，從兩張影像各相對應像素點之位置差距，計算出相對應之深度資訊影像。

校正處理單元需預先利用一校正板進行校正程序以取得相關校正參數，包含深度絕對距離校正參數與平移校正參數，再根據校正參數將紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組所輸出之深度資訊影像校正成相同位置範圍之深度資訊影像；本校正處理單元之校正板校正程序，在本影像式深度資訊擷取裝置之用途為量測校正參數，除非紅外線雷射深度資訊擷取模組與/或可見光雙眼攝影機深度資訊擷取模組後續有所變動，否則校正板校正程序進行一次即可。

運算處理單元係根據紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組經校正模組校正後之深度資訊影像之各個像素點進行運算，透過參考兩模組各對應之像素點與鄰近像素之深度值計算出實際深度值，最後得到目標場景區域之整體深度資訊影像，再經由深度影像輸出 介面輸出。這樣經運算模組計算後之整合深度值，其特點為可彌補兩模組間因環境造成之深度值誤差與提升深度值之穩定性與準確率。

本創作所提供之影像式深度資訊擷取裝置，與其他習用技術相互比較時，更具備下列優點：本創作透過結合兩種不同類型之影像深度擷取方式，可彌補目前紅外線雷射對光線影響之缺點，達到日夜間與室內外皆能穩定擷取場景深度資訊之目的，使得應用範圍大幅提升。

本創作透過結合兩種不同類型之影像深度擷取方式，可彌補雙眼攝影機擷取深度資訊不穩定之缺點，顯著提升深度資訊準確率。

請參考圖一所示，為本創作影像式深度資訊擷取裝置運作流程圖。本創作所述之影像式深度資訊擷取裝置包含：紅外線雷射深度資訊擷取模組10、可見光雙眼攝影機深度資訊擷取模組11、校正處理單元12、運算處理單元13及深度影像輸出介面14。其中，紅外線雷射深度資訊擷取模組10，包含一紅外線雷射投射裝置101，係可投射紅外線雷射至攝影機前方目標場景區域；紅外線雷射接收裝置102，係可接收有紅外線雷射投射之前方目標場景區域影像；紅外線雷射深度運算單元103，係可利用紅外線雷射接收裝置102接收之影像資訊，來計算目標場景區域之深度資訊影像；且紅外線雷射投射裝置101與紅外線雷射接收裝置102須相距一固定距離。可見光雙眼攝影機深度資訊擷取模組11，包含一右眼可見光攝影機111、一左眼 可見光攝影機112與一影像深度運算單元113，右眼及左眼兩部可見光攝影機相距一固定距離平行安裝，用以擷取攝影機前方區域彩色影像，並將右眼及左眼可見光攝影機拍攝範圍之重疊區域調整至與紅外線雷射接收裝置102接收位置範圍相同，以作為本裝置擷取深度資訊影像之目標場景區域，且右眼及左眼可見光攝影機與其鏡頭之內部參數(如曝光、快門、增益、白平衡等)與外部參數(如鏡頭焦距、最大光圈f值等)皆調整一致；而影像深度運算單元113，係根據右眼及左眼可見光攝影機所拍攝輸入的影像，利用雙眼立體視覺與三角定位法演算法從兩張影像各相對應像素點之位置差距，計算出相對應之深度資訊影像。校正處理單元12，係將紅外線雷射深度資訊擷取模組10與可見光雙眼攝影機深度資訊擷取模組11同時取得之深度資訊影像，利用相關校正參數校正至相同位置範圍；校正處理單元12需預先利用一校正板進行校正程序以取得相關校正參數，校正程序係透過擺放於目標場景區域中央之校正板，先進行紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組之深度絕對距離校正，分別計算深度絕對距離校正參數後，再依於目標場景區域中央之校正板位置，計算出紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組之各像素點位置之對應關係，來作為平移校正參數，然後利用平移校正參數將紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組輸出之深度資訊影像對齊中心線，並裁切出相同位置範圍之深度資訊影像；上述校正板校正程序之用途為量測校正參數，後續除非紅外線雷射深度資訊擷取模組10與/或可見光雙眼攝影機深度資訊擷取模組11有所變動，否則以校正板校正之程序進行一次即可。運算處理單元13，係結合經過校正之 深度資訊影像，後根據紅外線雷射深度資訊擷取模組10與可見光雙眼攝影機深度資訊擷取模組11之經校正模組校正後之深度資訊影像之各個像素點進行運算，透過參考紅外線雷射深度資訊擷取模組10與可見光雙眼攝影機深度資訊擷取模組11之各對應之像素點與鄰近像素之深度值，並利用深度值之匹配計算出深度值之可信度，後利用兩模組對應像素點深度值之可信度計算出權重值，再根據權重值以內插法計算出實際深度值，以得到可經由深度影像輸出介面14輸出之目標場景區域之整體深度資訊影像；且經運算處理單元13計算後之整合深度值，其特點為可彌補兩模組間因環境造成之深度值誤差與提升深度值之穩定性與準確率。

於具體實施例中，該紅外線雷射投射裝置101具備有紅外線雷射功率調整功能，用以調整紅外線雷射投射功率，使紅外線雷射接收裝置102所能接收到反射之紅外線雷射距離與可見光雙眼攝影機深度資訊擷取模組11所擷取之深度資訊距離相同；另外，該紅外線雷射接收裝置102具備有一曲面濾光鏡21，用以將接收範圍調整至與可見光雙眼攝影機深度資訊擷取模組11所擷取之深度資訊範圍相同，同時濾除非紅外線雷射投射裝置所投射相同波段之光線。另外，校正處理單元12與運算處理單元13可以是共同使用同一處理晶片實作，亦可以是分別使用獨立處理晶片實作。

請參考圖二所示，為本創作影像式深度資訊擷取裝置正面硬體架構圖，影像式深度資訊擷取裝置2包含：紅外線雷射投射裝置101、紅外線雷射接收裝置102、右眼可見光攝影機111、左眼可見光攝影機112。其中，紅外線雷射投射裝置101與紅外線雷射接收裝置102相距一固定距離；右 眼可見光攝影機111與左眼可見光攝影機112相距一固定距離，且右眼可見光攝影機111與左眼可見光攝影機112分別在裝設紅外線雷射接收裝置102的水平等距右左側，以求得深度資訊最大之拍攝重疊區域，而紅外線雷射投射裝置101則可以在紅外線雷射接收裝置102、右眼可見光攝影機111與左眼可見光攝影機112所連成水平線之線上或上方或下方位置。

請參考圖三所示，為本創作影像式深度資訊擷取裝置立面硬體架構圖，影像式深度資訊擷取裝置2包含：紅外線雷射投射裝置101、紅外線雷射接收裝置102、紅外線雷射深度運算單元103、曲面濾光鏡21、右眼可見光攝影機111、左眼可見光攝影機112、影像深度運算單元113、校正處理單元12、運算處理單元13、深度影像輸出介面14。本影像式深度資訊擷取裝置2之深度資訊擷取範圍22係根據紅外線雷射接收裝置102所接收到經過曲面濾光鏡21調整過後之接收範圍，以及右眼可見光攝影機111、左眼可見光攝影機112之取像重疊範圍。其中，紅外線雷射投射裝置101與紅外線雷射接收裝置102分別與紅外線雷射深度運算單元103相連結，用以計算紅外線雷射接收裝置102所接收到經過曲面濾光鏡21紅外線雷射之深度影像；右眼可見光攝影機111與左眼可見光攝影機112分別與影像深度運算單元113相連結，用以計算深度資訊擷取範圍22之深度影像；紅外線雷射深度運算單元103與影像深度運算單元113則分別與校正處理單元12相連接，用以分別將兩種類型之深度影像進行校正處理，並將校正結果透過與校正處理單元12相連接之運算處理單元13進行整合運算，以獲得整合後之深度資訊影像，最後再透過深度影像輸出介面14輸出。

上列詳細說明乃針對本創作之一可行實施例進行具體說明，惟該實施例並非用以限制本創作之專利範圍，凡未脫離本創作技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定創作專利要件，爰依法提出申請，懇請 貴局核准本件創作專利申請案，以勵創作，至感德便。

10‧‧‧紅外線雷射深度資訊擷取模組

101‧‧‧紅外線雷射投射裝置

102‧‧‧紅外線雷射接收裝置

103‧‧‧紅外線雷射深度運算單元

11‧‧‧可見光雙眼攝影機深度資訊擷取模組

111‧‧‧右眼可見光攝影機

112‧‧‧左眼可見光攝影機

113‧‧‧影像深度運算單元

12‧‧‧校正處理單元

13‧‧‧運算處理單元

14‧‧‧深度影像輸出介面

2‧‧‧影像式深度資訊擷取裝置

21‧‧‧曲面濾光鏡

22‧‧‧深度資訊擷取範圍

請參閱以下有關本創作之詳細說明及其附圖，將可進一步瞭解本創作之技術內容及其目的功效；有關附圖為：圖一為本創作影像式深度資訊擷取裝置運作流程圖。

圖二為本創作影像式深度資訊擷取裝置正面硬體架構圖。

圖三為本創作影像式深度資訊擷取裝置立面硬體架構圖。

10‧‧‧紅外線雷射深度資訊擷取模組

101‧‧‧紅外線雷射投射裝置

102‧‧‧紅外線雷射接收裝置

103‧‧‧紅外線雷射深度運算單元

11‧‧‧可見光雙眼攝影機深度資訊擷取模組

111‧‧‧右眼可見光攝影機

112‧‧‧左眼可見光攝影機

113‧‧‧影像深度運算單元

12‧‧‧校正處理單元

13‧‧‧運算處理單元

14‧‧‧深度影像輸出介面

Claims (11)

1. 一種影像式深度資訊擷取裝置，主要包括：一紅外線雷射深度資訊擷取模組，係透過紅外線雷射擷取目標場景區域深度資訊影像；一可見光雙眼攝影機深度資訊擷取模組，係透過該可見光雙眼攝影機擷取目標場景區域深度資訊影像，且該可見光雙眼攝影機深度資訊擷取模組與該紅外線雷射深度資訊擷取模組之間，預設有一固定距離，並拍攝同一目標場景；一校正處理單元，係連接該紅外線雷射深度資訊擷取模組與該可見光雙眼攝影機深度資訊擷取模組，並將該紅外線雷射深度資訊擷取模組與該可見光雙眼攝影機深度資訊擷取模組同時取得之深度資訊影像，校正至相同位置範圍；一運算處理單元，係用以結合經過該校正處理單元校正之紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組輸出之深度資訊影像，並計算出目標場景區域之整體深度資訊影像；一深度影像輸出介面，係將經運算處理單元計算後之深度資訊影像輸出。
2. 如申請專利範圍第1項所述之影像式深度資訊擷取裝置，其中該紅外線雷射深度資訊擷取模組包含：一紅外線雷射投射裝置、一紅外線雷射接收裝置及一紅外線雷射深度運算單元；其中該紅外線雷射投射裝置，係投射紅外線雷射至該影像式深度資訊擷取裝置前方目標場景區域；該紅外線雷射接收裝置，係接收有紅外線雷射投射之 前方目標場景區域；該紅外線雷射深度運算單元，係利用該紅外線雷射接收裝置接收之影像資訊，計算該目標場景區域之深度資訊影像。
3. 如申請專利範圍第2項所述之影像式深度資訊擷取裝置，其中該紅外線雷射投射裝置包含一紅外線雷射投射功率調整裝置，係可調整所投射之紅外線雷射功率，使該紅外線雷射深度資訊擷取模組所擷取之深度資訊距離與該可見光雙眼攝影機深度資訊擷取模組相同。
4. 如申請專利範圍第2項所述之影像式深度資訊擷取裝置，其中該紅外線雷射接收裝置包含一曲面濾光鏡，係調整紅外線雷射之接收範圍，使該紅外線雷射深度資訊擷取模組所擷取之深度資訊範圍與該可見光雙眼攝影機深度資訊擷取模組相同，同時濾除非紅外線雷射投射裝置所投射相同波段之光線。
5. 如申請專利範圍第1項所述之影像式深度資訊擷取裝置，其中該紅外線雷射深度資訊擷取模組，其計算目標場景區域之深度資訊技術係利用其內建之光柵結構光感測器，以結構光方式技術照射該目標場景區域，再根據接收到該目標場景區域反射之結構光影像，來計算該目標場景區域之深度資訊。
6. 如申請專利範圍第1項所述之影像式深度資訊擷取裝置，其中該可見光雙眼攝影機深度資訊擷取模組包含一右眼可見光攝影機、一左眼可見光攝影機及一影像深度運算單元；其中該右眼可見光攝影機係可擷取攝影機前方區域彩色影像，該右眼可見光攝影機與左眼可見光攝影機分別在裝設紅外線雷射深度資訊擷取模組之紅外線雷 射接收裝置的水平右左側，並保持一固定距離之相對關係，以求得最大拍攝重疊區域；其中該左眼可見光攝影機，係可擷取攝影機前方區域彩色影像；其中該影像深度運算單元，係根據右眼與左眼可見光攝影機所拍攝輸入的影像，以雙眼立體視覺與三角定位法演算法從兩張影像各相對應像素點之位置差距，計算出相對應之深度資訊影像；且右眼與左眼可見光攝影機與其鏡頭之內部參數與外部參數皆須調整一致。
7. 如申請專利範圍第6項所述之影像式深度資訊擷取裝置，其中該內部參數為曝光參數、快門參數、增益參數、白平衡參數。
8. 如申請專利範圍第6項所述之影像式深度資訊擷取裝置，其中該外部參數為鏡頭焦距、最大光圈f值。
9. 如申請專利範圍第2項所述之影像式深度資訊擷取裝置，其中該紅外線雷射投射裝置係在紅外線雷射接收裝置、右眼可見光攝影機與左眼可見光攝影機所連成水平線之線上或上方或下方位置。
10. 如申請專利範圍第1項所述之影像式深度資訊擷取裝置，其中該校正處理單元係根據該紅外線雷射深度資訊擷取模組與該可見光雙眼攝影機深度資訊擷取模組同時輸出之深度資訊進行校正，並利用預先計算好之相關校正參數，分別將紅外線雷射深度資訊擷取模組與該可見光雙眼攝影機深度資訊擷取模組輸出之深度資訊影像，校正至相同位置範圍之深度資訊影像。
11. 如申請專利範圍第1項所述之影像式深度資訊擷取裝置，其中該運算處理單元係根據校正處理單元輸出之校正結果，進行運算，分別 對該紅外線雷射深度資訊擷取模組與該可見光雙眼攝影機深度資訊擷取模組輸出且經校正處理單元校正後之深度資訊影像之各個像素點進行運算，並透過參考該紅外線雷射深度資訊擷取模組與該可見光雙眼攝影機深度資訊擷取模組各對應之像素點與鄰近像素之深度值計算出實際深度值，來結合經過校正後之紅外線雷射深度資訊擷取模組與可見光雙眼攝影機深度資訊擷取模組輸出之深度資訊，最後計算出目標場景區域之整體深度資訊。