TWI619372B - Ultra-wide depth stereoscopic image system and method - Google Patents

Abstract

本發明係揭露一種超廣深度立體影像系統及方法，其包括至少三個間隔設置的影像擷取裝置及資訊處理單元。至少三影像擷取裝置用以擷取至少一個目標物的至少二種視野的視野影像。資訊處理單元係以二影像擷取裝置為一組而產生包含有三種組合；當其中一種組合之二影像擷取裝置的視野範圍皆能涵蓋目標物時，則選擇該組合之二影像擷取裝置所擷取的二視野影像作為供後續利用的影像，俾能實現超廣深度的立體影像效果。

Description

超廣深度立體影像系統及方法

本發明係有關一種超廣深度立體影像系統及方法，尤指一種可以實現超廣深度之立體影像效果的影像技術。

請參看圖6、7所示為習知立體視覺測距系統的測距示意，所謂的立體視覺系統是以二組攝影機進行拍攝，而且是利用二張目標物視野影像因角度不同所產生的影像視差，再配合攝影機的相機投影矩陣，進而計算出目標物與二個攝影機之間的距離。再者，習知立體視覺系統主要是依據在智慧型自走車以及智慧型機器人所處周遭環境之需求而加以建立，至於立體視覺系統是依靠左右二張的影像視差，進而計算空間中的物體與攝影機之間的距離關係；換言之，左右二張影像的視差即是代表距離而言，因為從不同角度去看同一物體，則會分別成像在兩張視野影像的不同處，於是就會產生上述的影像視差。

雖然習知立體視覺系統可以利用二張目標物視野影像角度不同所產生之視野影像視差來計算目標物與二個攝影機之間的距離；惟，其並無可以另外選擇啟動的第三攝影機的機能設制，加上二個攝影機之間的間距為固定而無法調整的緣故，所以當目標物無法為其中一個攝影機的視野範圍所涵蓋時，則無法啟動另一視野的攝影機進行拍攝，以致無法做出測距的計算；不僅如此，由於二個攝影機之間的間距為固定的緣故，當 目標物距離較遠時，則必須採用較長焦距的鏡頭方能攝入影像，惟，長焦距鏡頭的視野過於狹小，當二個攝影機的間距短時，尚可勉強做測距計算，但是當二個攝影機之間的間距較大時，則其中一個攝影機的視野範圍勢必無法涵蓋到目標物，以致無法做出測距的計算，致使測量距離範圍受到相當的限制，因而造成立體視覺測距工作上的不便與困擾情事產生。

為改善上述缺失，相關技術領域業者已然開發出一種如中華民國發明第I535996號『可應用於測距的立體視覺系統』所示的專利；其係通過轉動相機模組使第二相機的視場內本來未落入第一相機的視野的目標點落入第一相機的視野範圍內，亦即，可使更多的目標點同時落入第一相機及第二相機的視野範圍，從而能夠獲得更多的目標點在該第一相機及第二相機成像的視差，進而能夠測量更多的目標點到該立體視覺系統的距離。

該專利雖然可以利用旋轉鏡頭的方式來改變視野角度，而提升立體視覺系統的物距測量範圍；惟，該專利之二個攝影機之間的間距同樣為固定不可調整的緣故，當目標物距離較近且二個攝影機的間距短時，尚可做測距計算，但是當二個攝影機之間的間距較大時，由於旋轉鏡頭來改變視野角度仍會有角度轉動的限制，以致其中一個攝影機的視野範圍還是無法涵蓋到目標物，致使無法做測距計算，因而造成測距使用上的不便與困擾；不僅如此，其利用旋轉鏡頭的方式來改變視野角度則勢必增加鏡頭旋轉驅動以及旋轉角度感測等諸多的硬體，因而大幅增加製造的成本，因此，該專利仍有再改善的必要性。

本發明第一目的，在於提供一種超廣深度立體影像系統及 方法，主要是藉由三組不同間距之影像擷取的機能設置，而可依據目標物所處位置不同而選擇較佳間距的其中二組影像擷取裝置所擷取的影像，故可藉由增加物距測量範圍而實現超廣深度的立體視野影像測距功能。達成本發明第一目的採用之技術手段，係包括至少三個間隔設置的影像擷取裝置及資訊處理單元。至少三影像擷取裝置用以擷取至少一個目標物的至少二種視野的視野影像。資訊處理單元係以二影像擷取裝置為一組而產生包含有三種組合；當其中一種組合之二影像擷取裝置的視野範圍皆能涵蓋目標物時，則選擇該組合之二影像擷取裝置所擷取的二視野影像作為供後續利用的影像。

本發明第二目的，在於提供一種具備深度學習功能超廣深度立體影像系統及方法，主要是藉由三組不同間距之影像擷取裝置以及深度學習等之機能設置，除了可以增加物距測量範圍之外，並可強化特徵樣本資料庫分類功能，而且可以利用深度學習方式來實現自我學習修正，因而可以達到目標物高度的辨識率而應用於機器人及無人搬運車的技術領域之中，進而實現障礙物迴避的功能。達成本發明第二目的採用之技術手段，係包括至少三個間隔設置的影像擷取裝置及資訊處理單元。至少三影像擷取裝置用以擷取至少一個目標物的至少二種視野的視野影像。資訊處理單元係以二影像擷取裝置為一組而產生包含有三種組合；當其中一種組合之二影像擷取裝置的視野範圍皆能涵蓋目標物時，則選擇該組合之二影像擷取裝置所擷取的二視野影像作為供後續利用的影像。其中，資訊處理單元包含一具備深度學習訓練功能以執行視野影像辨識的深度學習模組及一物件特徵資料庫；該物件特徵資料庫建立有包含複數個不同物件特徵資料，並於每一該物件特徵資料設定有一物件名稱，再於該物件特徵資料庫辨識出與該視野影像中的至少一個該目標物之特徵符合的該物件名稱，再判斷已辨識出該物件名稱的該目標物是否為一路徑的障礙物，判斷結 果為是，則改變路徑以迴避該障礙物。

10‧‧‧影像擷取裝置

20‧‧‧資訊處理單元

21‧‧‧深度學習模組

210‧‧‧深度學習模型

22‧‧‧物件特徵資料庫

30‧‧‧物件

Ob‧‧‧目標物

d1‧‧‧第一間距

d2‧‧‧第二間距

d3‧‧‧第三間距

f‧‧‧焦距

V‧‧‧視野範圍

Z‧‧‧距離

圖1係本發明的功能方塊示意圖。

圖2係本發明立體視覺測距的具體實施示意圖。

圖3係本發明立體視覺測距針對不同位置目標物的測距實施示意圖。

圖4係本發明深度學習模型的訓練階段的實施示意圖。

圖5係本發明深度學習模型的運行預測階段的實施示意圖。

圖6係本發明立體視覺測距的實施示意圖。

圖7係本發明立體視覺測距的另一種實施示意圖。

為讓 貴審查委員能進一步瞭解本發明整體的技術特徵與達成本發明目的之技術手段，玆以具體實施例並配合圖式加以詳細說明：請配合參看圖1~3所示，為達成本發明第一目的之實施例，係包括至少三個間隔設置的影像擷取裝置10(如相機；或是攝影機)及資訊處理單元20(如電腦；或是微控制器)等技術特徵。於具體的運作實例中，係以三組影像擷取裝置10來擷取至少一個目標物Ob而產生至少二種視野的視野影像。資訊處理單元20係以二個影像擷取裝置10為一組而產生包含有三種組合；當其中一種組合之二影像擷取裝置的視野範圍皆能涵蓋目標物Ob時，則選擇該組合之二影像擷取裝置10所擷取的二視野影像作為供後續利用的影像。

具體來說，資訊處理單元是將二視野影像以一立體視野影像測距技術量測出目標物Ob與該組合之二影像擷取裝置之間的距離；當三 組影像擷取裝置10的視野範圍V皆能涵蓋目標物Ob時，資訊處理單元20則選擇目標物Ob視野影像面積較大的二組影像擷取裝置10所擷取的二張視野影像，以用於執行上述的立體視野影像測距技術。本發明於一種具體的實施例中，上述立體視野影像測距技術係執行如下所示公式(1)的計算求出目標物Ob與二影像擷取裝置10之間的距離Z，此公式(1)為：

其中，如圖6所示，f為位於左側與右側之二影像擷取裝置10的焦距；O為左側影像擷取裝置10的成像點；O'為右側影像擷取裝置10的成像點；x為目標物Ob投影在左側視野影像點p1與成像點O的距離；x'為目標物Ob投影在左側視野影像點p1與成像點O'的距離；Z為目標物Ob與二影像擷取裝置10之間的距離Z。

除此之外，本發明亦可透過公式(2)之計算而求出目標物Ob與二影像擷取裝置10之間的距離Z，公式(2)如下所示：Z=bf(x-x') (2)

其中，x為目標物Ob投影在左側視野影像點p1與成像點O的距離；x'為目標物Ob投影在左側視野影像點p1與成像點O'的距離；Z為目標物Ob與二影像擷取裝置10之間的距離；f為位於左側與右側之二影像擷取裝置10的焦距；b為二組影像擷取裝置10之二光軸之間的距離。

另外，如圖7所示為立體視覺測距的實施示意，其中，UL為Epipolar Plane與左視野影像相交的直線，至於UR則為Epipolar Plane與右視野影像相交的直線。

請配合參看圖1、4所示之影像擷取裝置10的數量為三組，此三組影像擷取裝置10間隔設置；或是並置於一物件30(如行車記錄器、智慧型機器人以及智慧型無人搬運車)上，其一影像擷取裝置10之一側設置其二影像擷取裝置10；其一影像擷取裝置10與其二影像擷取裝置10之間設置其三影像擷取裝置10；其一影像擷取裝置10與其二影像擷取裝置10之間具有第一間距d1；其二影像擷取裝置10與其三影像擷取裝置10之間具有第二間距d2；其一影像擷取裝置10與其三影像擷取裝置10之間具有第三間距d3。由圖中得知，第一間距d1最長；第二間距d2最短；第三間距d3小於第一間距d1且大於第二間距d2。

再請配合參看圖3所示的運作實施例，當目標物Ob1出現在最遠距離的位置時，由於目標物Ob1位於其一影像擷取裝置10與其二影像擷取裝置10之間且為其一、其二影像擷取裝置10的視野範圍V所涵蓋，所以資訊處理單元20採用其一影像擷取裝置10與其二影像擷取裝置10所擷取的二張視野影像來進行物距的計算；當目標物Ob2出現在其一影像擷取裝置10與其三影像擷取裝置10之間的中距離位置時，由於目標物Ob2位於其一影像擷取裝置10與其三影像擷取裝置10之間且為其一、其三影像擷取裝置10的視野範圍V所涵蓋，而且目標物Ob2無法為其二影像擷取裝置10之視野範圍V所涵蓋，所以資訊處理單元20採用其一、其三影像擷取裝置10所擷取的二張視野影像來進行物距的計算；當目標物Ob3出現在其三影像擷取裝置10與其二影像擷取裝置10之間最短距離的位置時，由於目標物Ob3位於其二影像擷取裝置10與其三影像擷取裝置10之間且為其二、其三影像擷取裝置10的視野範圍V所涵蓋，而且目標物Ob3無法為其一影像擷取裝置10之視野範圍V所涵蓋，所以資訊處理單元20採用其二、其三影像擷取裝置10所擷取的二張視野影像來進行物距的計算，於此，即可實現擴大物距量測範圍的功效。

請配合參看圖1~5所示，為達成本發明第二目的之實施例，係包括至少三個間隔設置的影像擷取裝置10(如相機；或是攝影機)及資訊處理單元20(如電腦；或是微控制器)等技術特徵。具體的運作時，係以三組影像擷取裝置10來擷取至少一個目標物Ob而產生至少二種視野的視野影像。資訊處理單元20則依據目標物Ob所處位置可否為各影像擷取裝置10的視野範圍V涵蓋而選擇其中二個影像擷取裝置10所擷取的二張視野影像，並將二張視野影像以立體視野影像測距技術計算出目標物Ob與二張影像擷取裝置10之間的距離Z。其中，資訊處理單元20包含一具備深度學習訓練功能以執行視野影像辨識的深度學習模組21及一物件特徵資料庫22；物件特徵資料庫22建立有包含複數個不同物件特徵資料，並於每一物件特徵資料設定有一物件名稱，再於物件特徵資料庫22辨識出與視野影像中的至少一個目標物Ob之特徵符合的物件名稱，再判斷已辨識出物件名稱的目標物Ob是否為一路徑的障礙物，判斷結果為是，則改變路徑以迴避障礙物，例如應用於無人搬運車；或是智慧型機器人所處周遭環境的實施例中。

基於本實施例的一種具體實施例中，資訊處理單元20內建有一視野影像處理軟體，此視野影像處理軟體執行時，是先對危險空間的範圍內作Sobel邊緣檢測的運算，然後對二張視野影像做二值化處理，接著，利用平面衍生視差的觀念，將左右視野影像疊合在一起，由於只要是不屬於地面的障礙物邊緣，皆會產生視差，疊合之後的新視野影像會有重合的部分與不重合的部分，重合的部仍然是白色，而無法重合的視差部分則呈現出灰色，最後將灰色部分去除，只留下白色的部分，於此，即可得到可供辨識與避開的障礙物輪廓線。

除此之外，如圖4~5所示，上述深度學習模組21於執行 時則包含下列步驟：

(a)訓練階段步驟，係建立一深度學習模型210，並於深度學習模型210輸入距離Z資料及巨量的視野影像，並由深度學習模型210測試視野影像辨識的正確率，再判斷視野影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使深度學習模型210自我修正學習。

(b)運行預測階段步驟，係深度學習模型210於深度學習模型210輸入距離Z資料及即時擷取的視野影像，並由深度學習模型210進行預測性視野影像辨識，以得到至少一個辨識結果的物件名稱及距離值，再將物件30名稱及距離值輸出；或是做後續之利用。

以上所述，僅為本發明之可行實施例，並非用以限定本發明之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合發明專利要件，爰依法具文提出申請，謹請 鈞局依法核予專利，以維護本申請人合法之權益。

Claims (8)

1. 一種超廣深度立體影像系統，其包括：至少三個影像擷取裝置，該至少三個影像擷取裝置用以擷取至少一個目標物的至少二種視野的視野影像；及一資訊處理單元，其係以二個該影像擷取裝置為一組而產生包含有至少三種組合；當其中一種組合之該二影像擷取裝置的視野範圍皆能涵蓋該目標物時，則選擇該組合之該二影像擷取裝置所擷取的該二視野影像作為供後續利用的影像；其中，該至少三個影像擷取裝置以直線間隔並置在一物件上，其一該影像擷取裝置之一側設置其二該影像擷取裝置；其一該影像擷取裝置與其二該影像擷取裝置之間設置其三該影像擷取裝置；其一該影像擷取裝置與其二該影像擷取裝置之間具有一第一間距；其二該影像擷取裝置與其三該影像擷取裝置之間具有一第二間距；其一該影像擷取裝置與其三該影像擷取裝置之間具有一第三間距，該第一間距的距離最長；該第二間距的距離最短；該第三間距的距離小於該第一間距且大於該第二間距。
2. 如請求項1所述之超廣深度立體影像系統，其中，該資訊處理單元將該二視野影像以一立體視野影像測距技術量測出該目標物與該組合之該二影像擷取裝置之間的距離，該立體視野影像測距技術係執行一公式的運算而求出該目標物與該二影像擷取裝置之間的距離，該公式為，其中，f為位於左側與右側之該二影像擷取裝置的焦距；O為左側該影像擷取裝置的成像點；O'為右側該影像擷取裝置的成像點；x為該目標物投影在左側視野影像點p1與成像點O的距離；x'為該目標物投影在左側視野影像點p1與成像點O'的距離；Z為該目標物與該二影像擷取裝置之間的距離。
3. 如請求項1所述之超廣深度立體影像系統，其中，當各該影像擷取裝置的視野範圍皆能涵蓋該目標物時，則選擇目標物視野影像面積較大的該二影像擷取裝置所擷取的該二視野影像，以用於執行該立體視野影像測距技術。
4. 如請求項1所述之超廣深度立體影像系統，其中，該物件係選自行車記錄器、智慧型機器人以及智慧型無人搬運車的其一種。
5. 如請求項1所述之超廣深度立體影像系統，其中，該資訊處理單元包含一具備深度學習訓練功能以執行視野影像辨識的深度學習模組及一物件特徵資料庫；該物件特徵資料庫建立有包含複數個不同物件特徵資料，並於每一該物件特徵資料設定有一物件名稱，再於該物件特徵資料庫辨識出與該視野影像中的至少一個該目標物之特徵符合的該物件名稱，再判斷已辨識出該物件名稱的該目標物是否為一路徑的障礙物，判斷結果為是，則改變路徑以迴避該障礙物。
6. 如請求項5所述之超廣深度立體影像系統，其中，該深度學習模組執行時該則包含下列之步驟：一訓練階段步驟，係建立一深度學習模型，並於該深度學習模型輸入距離資料及巨量的該視野影像，並由該深度學習模型測試視野影像辨識的正確率，再判斷視野影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該深度學習模型自我修正學習；及一運行預測階段步驟，係深度學習模型於該深度學習模型輸入該距離資料及即時擷取的該視野影像，並由該深度學習模型進行預測性視野影像辨識，以得到至少一個辨識結果的該物件名稱及距離值，再將該物件名稱及該距離值輸出。
7. 一種超廣深度立體視野影像方法，其包括：提供至少三個間隔設置的影像擷取裝置及一資訊處理單元；其中，該至少三個影像擷取裝置以直線間隔並置在一物件上，其一該影像擷取裝置之一側設置其二該影像擷取裝置；其一該影像擷取裝置與其二該影像擷取裝置之間設置其三該影像擷取裝置；其一該影像擷取裝置與其二該影像擷取裝置之間具有一第一間距；其二該影像擷取裝置與其三該影像擷取裝置之間具有一第二間距；其一該影像擷取裝置與其三該影像擷取裝置之間具有一第三間距，該第一間距的距離最長；該第二間距的距離最短；該第三間距的距離小於該第一間距且大於該第二間距；以該至少三影像擷取裝置擷取至少一個目標物的至少二種視野的視野影像；及以該資訊處理單元依據該目標物所處位置可否為各該影像擷取裝置的視野範圍所涵蓋而選擇其中二個該影像擷取裝置所擷取的該二視野影像，並將該二視野影像以一立體視野影像測距技術量測出該目標物與該二影像擷取裝置之間的距離。
8. 如請求項7所述之超廣深度立體視野影像方法，其中，該立體視野影像測距技術係執行一公式的運算而求出該目標物與該二影像擷取裝置之間的距離，該公式為，其中，f為位於左側與右側之該二影像擷取裝置的焦距；O為左側該影像擷取裝置的成像點；O'為右側該影像擷取裝置的成像點；x為該目標物投影在左側視野影像點p1與成像點O的距離；x'為該目標物投影在左側視野影像點p1與成像點O'的距離；Z為該目標物與該二影像擷取裝置之間的距離。