TWI666611B

TWI666611B - 一種三維圖標法之立體影像縫合方法

Info

Publication number: TWI666611B
Application number: TW107141140A
Authority: TW
Inventors: 翁炳國; 董蘭榮; 巫穎毅; 湯益福; 古軒龍
Original assignee: 國家中山科學研究院
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2019-07-21
Also published as: TW202020809A

Abstract

一種三維圖標法之立體影像縫合方法，步驟包括：(A)讀取複數三維影像，截取出一重疊三維影像區塊；(B)將該重疊三維影像區塊以第一方向切割成複數第一方向二維影像平面；(C)以一二維影像縫合演算法找出該複數第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線；(D)將該重疊三維影像區塊以第二方向切割成複數第二方向二維影像平面；(E)利用該二維影像縫合演算法找出每一該複數第二方向二維影像平面的縫合縫線，其中每一該複數第二方向二維影像平面的縫合縫線與該第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線相交。藉此，可使縫合後的三維立體影像，保存原來的影像資料，改善縫合處不連續的缺點。

Description

一種三維圖標法之立體影像縫合方法

本發明係關於一種影像處理方法，特別是關於一種三維立體影像之影像縫合處理方法。

影像處理的相關研究一直是學界、業界所重視的研究課題，隨著相機、攝影機的進步，全景影像的拍攝技術也大幅躍進，因此，不同角度的影像擷取裝置所拍攝的影像就需要有影像縫合的技術，例如相機的全景影像，係針對拍攝風景等所設計的功能，使用者可以水平分段拍攝景物，或以四格、九格縫合，形成一全景全圖，所以相機常常需要處理二維影像的縫合。

目前影像的應用，已擴大到360度全景式的環繞影像，例如應用於車輛駕駛上，為了提升行車安全，減少視角盲區，需要提供一個完全無死角、具全車360度的安全視角，習知技術係利用設置於車輛前後左右的攝影器材來拍攝車輛周圍影像，並將這些影像透過縫合技術縫合影像，成為一由車頂輔視的環場影像，但這些環場影像在縫合處常發生模糊失真的狀況。

上述影像縫合技術主要是著眼于將不同視角拍攝出來的二維影像以三維空間來進行特定視角的縫合，最後縫合產生出更廣視域的二維影像，但這些技術卻不適用於三維全景圖的縫合，因為三維全景圖常使用立方體圖來進行重疊區域的影像縫合，使用二維影像的縫合技術常使三維影像發生不連續的圖案發生。

因此目前業界極需發展出一種應用於三維立體影像的影像處理方法，可避免分割出模糊失真及不連續的錯誤縫合影像，如此一來，方能擴大三維全景影像的應用。

鑒於上述悉知技術之缺點，本發明之主要目的在於提供一種三維圖標法之立體影像縫合方法，整合一三維影像、一二維影像縫合演算法、一特徵點匹配法等，以避免分割出模糊失真及不連續的錯誤縫合影像。

為了達到上述目的，根據本發明所提出之一方案，提供一種三維圖標法之立體影像縫合方法，步驟包括：(A)讀取複數三維影像，截取出一重疊三維影像區塊；(B)將該重疊三維影像區塊以第一方向切割成複數第一方向二維影像平面；(C)以一二維影像縫合演算法找出該複數第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線；(D)將該重疊三維影像區塊以第二方向切割成複數第二方向二維影像平面；(E)利用該二維影像縫合演算法找出每一該複數第二方向二維影像平面的縫合縫線，其中每一該複數第二方向二維影像平面的縫合縫線與該第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線相交。

步驟(A)中的重疊三維影像區塊可以利用一特徵點匹配法找尋出複數三維影像中有影像重疊的區塊，該特徵點匹配法主要將特徵點的資訊(可利用Harris Corner Detector計算出特徵點，但不以此為限)，利用SSD(Sum of Squared Differences)演算法(但不以此為限)找出複數三維影像中相匹配的特徵點，再利用RANSAC(Random Sample Consensus)演算法(但不以此為限)剔除複數三維影像中錯誤匹配的特徵點，一般而言，該RANSAC(Random Sample Consensus)演算法若重複執行500-1000次，幾乎可保證所有的錯誤匹配點(outlier)都會被剃除掉。

上述的第一方向與第二方向可以是正交(夾90度)，但不以此為限，本發明主要是利用第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線，當作是每一個第二方向二維影像平面縫合縫線的兩側端點，如此一來，當利用複數第二方向二維影像平面建構出三維影像時，可有效解決產出不連續的三維影像。

以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本創作達到預定目的所採取的方式、手段及功效。而有關本創作的其他目的及優點，將在後續的說明及圖式中加以闡述。

S1、S2‧‧‧二維影像

So‧‧‧重疊區域

S201-S205‧‧‧步驟

310、410、510‧‧‧重疊三維影像區塊

420‧‧‧第一方向二維影像平面中第一片平面

430‧‧‧第一方向二維影像平面中最後一片平面

440‧‧‧縫合縫線

520‧‧‧複數第二方向二維影像平面

第一圖係為本發明二維影像重疊區域示意圖；第二圖係為本發明一種三維圖標法之立體影像縫合方法流程圖；第三圖係為本發明一種截取出重疊三維影像區塊示意圖；第四圖係為本發明一種第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線示意圖；第五圖係為本發明一種第二方向二維影像平面的縫合縫線示意圖。

以下係藉由特定的具體實例說明本創作之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地了解本創作之優點及功效。

本發明的二維影像縫合演算法，是利用特徵點匹配尋找兩張二維影像的位移、放大縮小或旋轉關係，進而決定重疊區域，而當兩張影像重疊區域決定之後，剩下的就是要將兩張影像合起來了，為了防止兩張影像在縫合過程當中出現不均勻的條紋線在其中，必須將兩張影像做適當的縫合，本發明採用的縫合方式為尋找出最佳縫合縫線，其目的是為了使兩張影像能以最自然的方式接合，本發明使用的方法最大的優點在於不會改變原先的影像數值，所以不會有失真的問題，本發明二維影像縫合演算法方法如下：請參閱第一圖，為本發明二維影像重疊區域示意圖。如圖所示，S1與S2分別代表連續截取的二維影像，｜x｜與｜y｜則為移動向量在水平及垂直方向的大小，其意味著影像擷取裝置往右水平移動了｜x｜之距離，往下垂直移動了｜y｜之距離後，所拍攝到的影像即為S2；而So則是它們之間的重疊區域，本發明最佳縫線的尋找工作，首先，先計算此重疊區域的影像差值，所得即為誤差圖(error map)，其作法是直接將對應位置的影像數值進行相減的動作，然後再將所得的結果取絕對值，即可形成誤差圖，第二步則從誤差圖(error map)的第一列開始，由上到下進行累積誤差的計算，可以得到最小累積誤差圖(minimum cumulative error map)，第三步可以利用動態規劃(Dynamic Programming)的方式，找出兩張影像最適當的接合處，即為最佳縫合縫線(Optimal Seamline)，其中，利用動態規劃(Dynamic Programming)法可將問題分為相似的子問題，只需解決子問題一次後加以記錄儲存，相似的子問題後續只需以查表方式及可獲得答案，大幅減少計算，有效提升效能。

請參閱第二圖，為本發明一種三維圖標法之立體影像縫合方法流程圖。如圖所示，本發明所提供一種三維圖標法之立體影像縫合方法，步驟包括：(A)讀取複數三維影像，截取出一重疊三維影像區塊S201；(B)將該重疊三維影像區塊以第一方向切割成複數第一方向二維影像平面S202；(C)以一二維影像縫合演算法找出該複數第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線S203；(D)將該重疊三維影像區塊以第二方向切割成複數第二方向二維影像平面S204；(E)利用該二維影像縫合演算法找出每一該複數第二方向二維影像平面的縫合縫線，其中每一該複數第二方向二維影像平面的縫合縫線與該第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線相交S205。

實施例

請參閱第三圖，為本發明一種截取出重疊三維影像區塊示意圖、請參閱第四圖，為本發明一種第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線示意圖、請參閱第五圖，為本發明一種第二方向二維影像平面的縫合縫線示意圖。如圖三所示，本實施例第一步先從兩個三維影像，截取出一重疊三維影像區塊310，方法如下：將輸入的三維影像進行特徵點搜尋，特偵點搜尋方式係採用Harris Corner Detector做法來取特徵點(Feature Point)，Harris Corner Detector是先計算影像當中每個點在不同方向上的微分，並且去計算其矩陣的特徵值，若是矩陣的特徵值大於某個臨界值，則稱它為一個特徵點(Feature Point)，接下來要找到特徵點當中彼此相互匹配的特徵點，本實施例利用SSD(Sum of Squared Differences) 來做特徵點匹配，SSD是把兩張圖中每個特徵點周圍的5*5方塊大小拿來做最小平方誤差之和，當結果越小，表示特徵點周圍的影像越接近，當然也就表示這兩個點極有可能是匹配的點(Match Points)，但由於從不同角度取像，而沒有重疊的部份有些因為影像內容的關係仍然會被誤認為是匹配的特徵點，或是有些影像內容相當相似，因此經過SSD之後，仍然會被誤判為匹配的特徵點，而這些被誤判的錯誤特徵點(false match)，必須剔除，因此本實施例利用RANSAC(RANdom SAmple Consensus)運算來去掉錯誤匹配的特徵點，RANSAC是一種利用隨機取樣的作法來做測試，在前一步驟匹配的點當中任意取幾個點，並去計算這幾個點在兩張不同影像當中的對應矩陣(homography)，之後再將匹配的特徵點中的點經過對應矩陣做轉換，若是經過轉換後可以正確轉換到另一張圖的相同點，則稱它是正確的匹配點(inlier)，相反的，若是經過轉換後無法正確轉換到另一張圖的相同點，則稱它是錯誤的匹配點(outlier)，為了確保經過RANSAC之後剩下來的點都是正確的匹配點(inlier)，需將RANSAC重複執行500~1000次，以保證所有的錯誤的匹配點(outlier)都會被剃除掉，如此便可決定出重疊三維影像區塊310。

第二步，如圖四所示，將該重疊三維影像區塊410以垂直(第一方向)方向切割成複數垂直(第一方向)二維影像平面，再利用二維影像縫合演算法找出複數垂直(第一方向)二維影像平面中第一片平面420及最後一片平面430(重疊三維影像區塊兩側)的最佳縫合縫線440。

第三步，如圖五所示，將該重疊三維影像區塊510以水平(第二方向)方向切割成複數水平(第二方向)二維影像平面520，再利用二維影像縫合演算法找出複數水平(第二方向)二維影像平面中每一片平面的縫合縫線，其中，複數水平(第二方向)二維影像平面中每一片平面的縫合縫線的找尋，是將垂直(第一方向)二維影像平面中第一片平面及最後一片平面的最佳縫合縫線上的點當作複數水平(第二方向)二維影像平面中每一片平面的縫合縫線的兩側端點，然後再進行二維影像縫合演算法找出縫合縫線。

最後，以縫合縫線為界，分邊採用各組影像像素值當做接合後之結果值，縫線部分的結果值則採用兩組影像在縫線上像素值的平均，該複數第二方向二維影像平面就可重疊建構出三維影像。

本發明係先根據兩組三維影像的特徵點進行匹配，再以多數決方式定義出重疊區域，接著，決定每個x-y平面的切片重疊影像的最佳縫線，最後，以最佳縫線為界，分邊採用各組影像像素值當做接合後之結果值，縫線部分的結果值則採用兩組影像在縫線上像素值的平均，如此一來，縫合好的三維影像可以盡可能保存原來的影像資料，切片間就不會有不連續的結果。

上述之實施例僅為例示性說明本創作之特點及功效，非用以限制本創作之實質技術內容的範圍。任何熟悉此技藝之人士均可在不違背創作之精神及範疇下，對上述實施例進行修飾與變化。因此，本創作之權利保護範圍，應如後述之申請專利範圍所列。

Claims

一種三維圖標法之立體影像縫合方法，步驟包括：(A)讀取複數三維影像，截取出一重疊三維影像區塊；(B)將該重疊三維影像區塊以第一方向切割成複數第一方向二維影像平面；(C)以一二維影像縫合演算法找出該複數第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線；(D)將該重疊三維影像區塊以第二方向切割成複數第二方向二維影像平面；(E)利用該二維影像縫合演算法找出每一該複數第二方向二維影像平面的縫合縫線，其中每一該複數第二方向二維影像平面的縫合縫線與該第一方向二維影像平面中第一片平面及最後一片平面的縫合縫線相交；(F)利用該複數第二方向二維影像平面建構出三維影像。
如申請專利範圍第1項所述之三維圖標法之立體影像縫合方法，其中，該複數重疊三維影像區塊係利用一特徵點匹配法截取而出。
如申請專利範圍第2項所述之三維圖標法之立體影像縫合方法，其中，該特徵點匹配法係包含SSD(Sum of Squared Differences)演算法及RANSAC(Random Sample Consensus)演算法。
如申請專利範圍第3項所述之三維圖標法之立體影像縫合方法，其中，該RANSAC(Random Sample Consensus)演算法係重複執行500-1000次。
如申請專利範圍第2項所述之三維圖標法之立體影像縫合方法，其中，該特徵點匹配法係包含一特徵點的搜尋。
如申請專利範圍第5項所述之三維圖標法之立體影像縫合方法，其中，該特徵點的搜尋係利用Harris Corner Detector計算出特徵點。
如申請專利範圍第1項所述之三維圖標法之立體影像縫合方法，其中，該第一方向與該第二方向係為正交。
如申請專利範圍第1項所述之三維圖標法之立體影像縫合方法，其中，該二維影像縫合演算法係包含一動態規劃法。