TWI738538B - 無人載具之三維影像重組方法及系統 - Google Patents

Abstract

本發明係揭露一種無人載具之三維影像重組方法及系統，其包括無人載具及資訊處理單元。無人載具設有影像擷取裝置，設定起點至目標物的飛行路徑參數，並依序將目標物之各視角附近設定為影像擷取點，令無人載具依據飛行路徑參數依序飛抵至各影像擷取點，於各影像擷取點依序進行影像擷取而成像為不同視角的圖像序列。資訊處理單元依序對圖像進行影像處理，以得到不同視角圖像間之關聯特性的特徵資訊，再由各特徵資訊推估重建目標物的三維影像，俾能利用機動性高的無人載具進行戶外目標物多視角的影像擷取，並藉由影像估算與銜接重建為三維影像，進而實現將戶外目標物轉為可供利用的三維立體模型。

Description

無人載具之三維影像重組方法及系統

本發明係有關一種無人載具之三維影像重組方法及系統，尤指一種可藉由機動性高之無人載具進行戶外目標物多視角影像擷取以估算銜接重建為可供利用之三維立體影像的三維影像重組技術。

按，隨著電腦科技的日新月異，連帶使得於電腦螢幕來顯示現實多種物件的三維模型已受到現今產業界的高度重視與矚目；亦即，在電腦內建立與現實世界多種物件輪廓符合的仿真三維立體模型已成為產業發展不可或缺的趨勢。至於在電腦內建立仿真三維立體模型的習知方法，不外乎是由單一照相機；或攝影機對物件的多個視角逐一進行二維影像的成像擷取，以取得影像序列組合，再對影像序列依序進行影像處理，由各視角的影像推導出共同具關聯性對應的特徵點，經由立體成像公式來導出物件深度，進而重組出仿真的三維立體模型。

雖然該習知技術可於電腦內建立與物件相仿的仿真三維立體模型；但是在取像時必須手持照相機或攝影機對物件多個視角逐一進行影像拍攝，不僅費力且較不便，加上無法取得動態影像同步序列，故而僅適用於靜態的影像擷取用途，而且該習知技術無法適用於戶外大型目標物(如大型建物、山坡、河川、國土等目標區域進行場勘偵測)的影像擷取轉換應用，因而造成仿真三維立體模型建立上的不便與困擾的情事產生。

再者，無人載具(即無人飛機)應用層面非常廣泛，包括環境數據的檢測、特定區域的巡邏或偵查、國土保育、急難搜救、氣象觀測以及通訊中繼等任務需求。然而，直到目前為止，並無一種以無人載具對戶外大型目標物(如大型建物、山坡、河川、國土等場域)進行多視角影像擷取及重組仿真三維立體模型的論文或專利被提出，因此，如何開發出一種以無人載具對戶外大型目標物進行多視角影像擷取及重組仿真三維立體模型的技術實已成為相關技術領域業者所亟欲解決與挑戰的技術課題。

有鑑於此，前述習知技術確實在功能性上未臻完善，仍有再改善的必要性，而且基於相關產業的迫切需求之下，本發明人等乃經不斷的努力研發之下，終於研發出一套有別於上述習知技術的本發明。

本發明主要目的在於提供一種無人載具之三維影像重組方法及系統，主要是藉由機動性強的無人載具進行戶外目標物多視角的影像擷取，以對多視角影像進行估算與銜接重建為三維影像，以實現將戶外目標物轉為立體模型，進而得以導入應用於大型建物、山坡、河川、國土等場域的探勘用途。達成本發明主要目的採用之技術手段，係包括無人載具及資訊處理單元。無人載具設有影像擷取裝置，設定起點至目標物的飛行路徑參數，並依序將目標物之各視角附近設定為影像擷取點，令無人載具依據飛行路徑參數依序飛抵至各影像擷取點，於各影像擷取點依序進行影像擷取而成像為不同視角的圖像序列。資訊處理單元依序對圖像進行影像處理，以得到不同視角圖像間之關聯特性的特徵資訊，再由各特徵資訊推估重建目標物的三維影像。

10:無人載具

11:影像擷取裝置

20:資訊處理單元

21:影像處理模組

30:無線通訊單元

40:目標物

圖1係本發明具體架構的外觀實示意圖。

圖2係本發明無人載具進行多視角影像擷取的實施示意圖。

圖3係本發明具體架構的功能方塊示意圖。

圖4係本發明具體架構的控制流程實施示意圖。

圖5係本發明三維影像缺陷補丁運行實施示意圖。

圖6係本發明射線勢和佔用勢運算流程的實施示意圖。

為讓 貴審查委員能進一步瞭解本發明整體的技術特徵與達成本發明目的之技術手段，玆以具體實施例並配合圖式加以詳細說明：

請配合參看圖1~3所示，為達成本發明主要目的之具體實施例，係包括下列步驟：

(a)準備步驟：提供至少一無人載具10、一資訊處理單元20及一無線通訊單元30等技術特徵；其中，至少一無人載具10設有一影像擷取裝置11。

(b)飛行路徑規劃步驟：於資訊處理單元20設定一起點至戶外目標物40(如大型建物、山坡、河川；或是國土等場域)的飛行路徑參數，並依序將目標物40之複數視角附近設定為影像擷取點，並於每一影像擷取點各自設定有一擷取點參數。

(c)多視角影像擷取步驟：將飛行參數資料及擷取點參數透過無線通訊單元30(如RF射頻無線通訊系統；或是3G~5G行動通訊系統)無線傳輸至至少一無人載具10，以令至少一無人載具10依據飛行路徑參數而依序飛抵至目標物40的各影像擷取點，使至少一無人載具10之影像擷取裝置11可於各影像擷取點依序進行影像擷取而成像為不同視角的圖像序列。

(d)獲取圖像序列步驟，該資訊處理單元20透過無線通訊單元30接收而獲取影像擷取裝置11所提供的圖像序列。

(e)影像處理步驟，資訊處理單元20依序對圖像序列中之各視角圖像進行影像處理，以得到各視角圖像之間對應關聯的特徵資訊，再由各特徵資訊推估重建目標物40的三維影像。

承上所述的實施例中，每一影像擷取點各自包含一高度參數、一距離參數以及至少一GPS定位參數，其中，每一影像擷取點的高度參數及距離參數皆相同，使各視角所擷取的圖像達到定位與校準的效果。

於圖3所示的實施例中，每一無人載具10除設有影像擷取裝置11，更設置包括有一用以透過無線通訊單元30接收飛行參數資料及擷取點參數後而控制無人載具10飛行的飛行控制模組12及一用以提供飛行感測訊號組合給飛行控制模組12的飛行感測模組13(如高度計、距離感測器及GPS定位模組的組合)。

於圖4所示的一種三維影像重建的實施例中，於影像處理步驟中更包含一缺陷範圍檢測步驟，該資訊處理單元20包含一用以對該圖像序列進行影像處理而得到各特徵資訊的影像處理模組21，該缺陷範圍檢測步驟執行時，該影像處理模組21則對三維影像進行缺陷範圍檢測，該影像處理模組21建立一有馬爾可夫隨機場模型，當判定三維影像具有缺陷範圍時，該影像處理模組21則以馬爾可夫隨機場模型對三維影像之缺陷範圍進行缺陷填補。

承上所述的實施例中，該馬爾可夫隨機場模型係將目標物40的表面斑塊假設性有效地編碼為優先級概率。具體的，上述各特徵資訊係包含各圖像之體素、像素、特徵點及圖像片段等資訊，該影像處理模組21再由各圖像之體素、像素、特徵點及圖像片段等資訊來估計三維影像 之外觀、佔用率、深度、法線以及平面度的邊際分佈資訊。

本發明另一種三維影像重建的應用實施例中，係於上述影像處理步驟中，係以影像擷取裝置11於目標物40的每一視角影像擷取成像為不同位置的距離差圖像對，經影像處理模組21之影像處理後，取得圖像序列之各視角的距離差圖像對的特徵點對應，以導出特徵點深度資訊，並透過三角形(Delaunay)分割法依序建立各視角(如前、後、左及右等視角)的部分表面三維模型，再透過結合各視角的部分表面三維模型，以合併重組完整的三維影像。

具體的，上述實施例係透過無人載具10上的影像擷取裝置11對目標物40的每一相同視角影像擷取二張不同位置的距離差圖像對；接著，以影像處理模組21進行影像處理，於影像處理中，由於需由圖像序列中找出相同視角的影像關聯性，所以在圖像中必須找尋出具備代表性之影像輪廓特徵(如影像中點、轉角點或是線段等特徵)，進而導出不同圖像間相對應的特徵點。若是要建立不同圖像間中特徵點關係，所用的處理方式就是影像比對技術，藉以找出不同影像中共同的部分，繼而，經由影像處理取得圖像序列中之距離差圖像對的特徵點對應，進而導出特徵點深度資訊，緊接著，透過三角形(Delaunay)分割法來依序建立各視角的部分表面三維模型，再透過結合各視角的該部分表面三維模型，以合併重組完整的該三維影像。

除此之外，本發明於三維影像重建的實施例中，亦可採用一種卷積神經網絡(CNN)，以將目標物40的形狀預測推估為一個3D模型體積。3D模型體積可被細分為最小單位即體積像素，稱為體素(voxel)，每個體素被確定為被占用；或自由空間(即，分別屬於物體的內部或外部)。CNN使用一個上卷積解碼器架構來預測占用體積(occupancy volume)。網絡被端 到端地訓練，並且由已知的真實占用體積進行監督及推估。具體的做法，是將圖像序列依序輸入，使用卷積編碼器將其先編碼為低維表示，然後，此低維表示被解碼稱一個3D占用體積，即為分層表面預測(hierarchical surface prediction，HSP)，是通過預測低解析度體素開始解碼的一種方法。

本發明提出了一種用於體積多視圖3D重建的非局部結構化檢驗。為了實現這一目標，遂提出了一種基於射線勢的新穎的馬爾可夫隨機場模型，在該模型中，可以將有關大型3D表面斑塊(例如平面度或曼哈頓世界的結構特徵)的假設有效地編碼為優先級概率。此外，更進一步推導了一種推理算法，該算法共同針對體素，像素和圖像片段進行推理，並估計外觀，佔用率，深度，法線和平面度的邊際分佈。易於推理的關鍵是一種新穎的混合表示形式，它既可以跨越體素空間又可以跨越像素空間，並且可以從原理上整合來自2D圖像分割的非局部信息。在比較具有挑戰性的無紋理和反射表面的室外場景時，係先比較非本地變量和常用的本地平滑性假設以及各種最新的體積重建基線。我們的實驗表明，在更大的距離上進行正則化有可能解決局部正則化器失效時的歧義。

如圖1所示為主控中心派遣無人載具10針對目標物40進行取像同時記錄取像機之GPS定位座標與標高，並於各方位安置合適之無人機取像角度。下圖為各角度無人機取像結果。

較佳的，本發明係以三台無人載具10懸空對目標物40以三個視角(如前、後、左等視角)同步拍攝取像並進行影像運算處理，以取得動態影像同步序列，故而可以應用於動態的影像擷取用途，藉以改善習知技術多視點密集立體重建，資料量龐大且設備昂貴的缺點，並可將有關大型3D表面斑塊的假設有效地編碼，並且整合來自2D圖像分割的非局部信息。以 外觀和空間的形式編碼實體間的相似性，使用無人載具10高精度地面真實影像獲取與校準多視角圖像數據採集的過程。

請參看圖5所示，係為本發明三維影像缺陷補丁運行實施示意。圖像形成過程，令R表示源自一台或多台校準過的攝影機。對於單線結構r

R，讓

與

表示如圖6所示，與射線r相交的體素相關的佔用和外觀變量的有序集合。其順序由各自相機自行定義與目標的距離，我們定義了i<j限制條件，如果體素與(

,

)更接近射線r其來自於相機量測比例與實體位置相關的體素(

,

)，經過我們的演算分配沿射線r到達的第一個被佔用的體素的外觀對應的像素。這個過程可以表示為如下式：

其中，I _r 是對應於像素的色彩濃度(intensity/color)，限制

第一個沿射線佔據體素的演算數為1，所有其他體素為0。注意 這個式子

，是能見度的指標；它描述了如果在第i個體素之前沒有 被佔用的體素，則定義為1，否則為0，因此，總和等於第一個被佔用的體素。以這個定義值的方式將圖像形建成模型來估計邊際概率像素觀測值來了解體素的佔用率和顏色。

再者，本發明運用基於射線式的馬爾可夫隨機場模型，將大型3D表面斑塊的假設有效地編碼為概率優先級，並進一步推導估算法，該估算法針對體素，像素和圖像片段進行估算，並估計外觀、佔用率、深度、法線和平面度的邊際分佈。估算的關鍵是一種新穎的混合表示形式，既可跨越體素空間又可以跨越像素空間，並且可以從整合來自2D圖像分割的非局部信息。而且無人載具10之三維影像重組可針對傳統空間取像單點只能 取得目標物40之2D影像的缺點，且固定鏡頭針對立體目標缺乏機動性的問題進行改善，並藉由影像估算與銜接進行三維立體影像重建，對國土偵測、國防及安全監測與場勘性等產品應用面相當廣泛。

以上所述，僅為本發明之可行實施例，並非用以限定本發明之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合發明專利要件，爰依法具文提出申請，謹請 鈞局依法核予專利，以維護本申請人合法之權益。

10:無人載具

20:資訊處理單元

30:無線通訊單元

40:目標物

Claims (5)

1. 一種無人載具之三維影像重組方法，其包括：準備步驟：提供至少一無人載具及一資訊處理單元，其中，該至少一無人載具設有一影像擷取裝置；飛行路徑規劃步驟：於該資訊處理單元設定一起點至戶外之一目標物的飛行路徑參數，並依序將該目標物之複數視角附近各自設定為一影像擷取點，並於每一該影像擷取點各自設定有一擷取點參數；多視角影像擷取步驟：將該飛行路徑參數及該擷取點參數輸入至該至少一無人載具，以令該至少一無人載具依據該飛行路徑參數而依序飛抵至該目標物的各該影像擷取點，使該至少一無人載具之該影像擷取裝置可於各該影像擷取點依序進行影像擷取而成像為不同視角的圖像序列；獲取圖像序列步驟，以該資訊處理單元接收而獲取該影像擷取裝置所提供的該圖像序列；及影像處理步驟，該資訊處理單元依序對該圖像序列中之各視角圖像進行影像處理，以得到各視角該圖像之間對應的特徵資訊，再由各該特徵資訊推估重建該目標物的三維影像。
2. 如請求項1所述之無人載具之三維影像重組方法，其更包含一無線通訊單元，該無線通訊單元用以將該飛行路徑參數及該擷取點參數無線傳輸至該無人載具的一飛行控制模組及將該圖像序列無線傳輸至該資訊處理單元。
3. 如請求項1所述之無人載具之三維影像重組方法，其中，每一該擷取點參數各自包含有一高度參數、一距離參數以及至少一GPS定位參數，每一該影像擷取點的該高度參數及該距離參數皆相同。
4. 如請求項1所述之無人載具之三維影像重組方法，其中，該於該影像處理步驟中更包含一三維影像重建步驟，該三維影像重建步驟執行時，係 以該影像擷取裝置於該目標物的每一該視角影像擷取成像為不同位置的距離差圖像對，經該影像處理模組之影像處理後，取得該圖像序列之各視角的該距離差圖像對的特徵點對應，以導出該特徵點深度資訊，並透過三角形(Delaunay)分割法來建立各視角之部分表面三維模型，再透過結合各視角的該部分表面三維模型，以合併重組完整的該三維影像。
5. 一種無人載具之三維影像重組系統，其包括：至少一無人載具，其設有一影像擷取裝置；一無線通訊單元；及一資訊處理單元，其設定有一起點至戶外之一目標物的飛行路徑參數，並依序將該目標物之複數視角附近設定為影像擷取點，並於每一該影像擷取點各自設定有一擷取點參數，該資訊處理單元將該飛行參數資料及該擷取點參數透過該無線通訊單元傳輸至該至少一無人載具，以令該至少一無人載具依據該飛行路徑參數飛抵至該目標物的各該影像擷取點，使該至少一無人載具之該影像擷取裝置可於各該影像擷取點進行影像擷取成像為不同視角的圖像序列，該資訊處理單元透過該無線通訊單元接收該影像擷取裝置所傳輸的該圖像序列，該資訊處理單元依序對該圖像序列中之各視角圖像進行影像處理，以得到各視角該圖像之間對應的特徵資訊，再由各該特徵資訊推估重建該目標物的三維影像。

Images