TWI514320B - Panoramic image splicing method based on variable seam line - Google Patents

Description

基於可變接縫線之全景影像拼接方法

本發明係有關一種全景影像拼接方法，尤指一種基於可變接縫線之全景影像拼接方法。

隨著數位科技的進步，影像拍攝以及儲存已經漸於普遍，因此，為了達到更好的紀錄效果，在影像儲存的解析度、感光度以及儲存容量上皆有所突破，而可達到高品質的影像保存能力，但在影像拍攝的廣度上，便只能透過光學鏡頭的設計來達到廣角或超廣角的影像拍攝效果。但利用廣角光學鏡頭所進行拍攝的影像容易有失真的現象，造成影像長寬比例不一、線條曲度扭曲等缺點，使得影像拍攝的效果大打折扣。

為了解決上述問題，於照片的拍攝上，有研發者利用軟體技術將鏡頭以單一方向移動所拍得的數張照片進行合併，藉此得到類似廣角的顯示效果。但該類軟體僅適用於不會動的相片拍攝，若於廣角的影片上，上述技術便無法實施。

需要廣角拍攝的影片大多使用於如馬路或大樓的監視系統上，由於需要監視的範圍過於廣大，業者通常也會利用複數個攝影機針對不同角度進行影像拍攝，接著以分別對應的顯示器進行影像的顯示，但這樣的方式並不符合使用者的需求。於是如中華民國專利公開第201325221號之「具有廣角拍攝功能的移動裝置及其影像擷取方法」，其揭露一種利用至少兩 攝像頭於同時進行拍攝，並將拍攝所得的影像進行合併以及補償，藉此取得具有廣角拍攝效果的影片技術。但由於影片會隨著時間改變，因而每一個時間點所需補償的方式以及性質都不相同，上述案件並未揭露如何達到有效的影像合併技術，而不會使影像合併中間發生接縫線過於明顯的狀況。

因此，如Paul Bao於2011 IEEE Symposium on Computers & Informatics所發表之「Image Mosaics With Wavelet Domain Seam-Lines」，其揭露一種高精確度的接縫線補償方法，其透過特定的判斷方式作為重疊位置的接縫線判斷準則，依據不同影像的複雜度而選擇兩個影像之間的接縫位置，使得兩個攝影機之間的重疊位置可順利的達到合併，以減少合併影像之間的接縫失真問題。但，上述Paul Bao案在影像開始合併的初期便已確定接縫位置，然而，攝影影像會隨著時間的變動而有畫面上的變化，請配合參閱「圖1A」至「圖1C」所示，「圖1A」中，左邊影像1為實際影片中看到的影像，而右邊影像2則顯示有接縫線3，當影像中的人尚未經過該接縫線3時，影像的拼接相當正常；如「圖1B」所示，當有人經過接縫線3位置時，便會因為影像判斷的接縫位置誤差問題，而發生通稱鬼影的現象；接著最後如「圖1C」所示，當人越過接縫線3位置後，便會回復正常。由上述說明可知，鬼影的發生會影響影像的顯示品質，不符合使用需求。

本發明之主要目的，在於解決全景影像拼接時，因移動物件經過接縫位置而產生的鬼影，影響影像顯示品質的問題。

為達上述目的，本發明提供一種基於可變接縫線之全景影像拼接方法，其係將一左攝影影像與一右攝影影像進行拼接，且該左攝影影像及 該右攝影影像分別具有一顯示相同影像的重疊區域，該全景影像拼接方法包含有以下步驟：S1：建立一全景影像，將該左攝影影像以及該右攝影影像以該重疊區域進行合併，形成一全景影像，該全景影像包含有複數像素，接著以一最小累進平方差法於該重疊區域中定義出一接縫線，使該接縫線的相對兩側分別為該左攝影影像及該右攝影影像，形成該全景影像：S2：偵測一移動物件是否進入該全景影像，若該移動物件進入該全景影像，則進行下一步驟，若否，則維持繼續偵測的狀態；S3：整合該全景影像以及該移動物件之影像，以該全景影像以及該移動物件之影像進行對應像素的OR邏輯運算，而形成一整合影像；S4：以該最小累進平方差法於該整合影像對應於該重疊區域中重新定義出新的一變動縫線，該變動縫線的兩側分別為該左攝影影像以及該右攝影影像；以及S5：隨著時間更新以及該移動物件的改變，而持續更新該變動縫線，若該移動物件脫離該全景影像，則回到步驟S2；其中，步驟S1包含有以下步驟：S1A：將該全景影像中的各個像素進行平方差計算，而取得一平方差像素陣列，並偵測該全景影像之水平邊緣，並取得一標籤化陣列；S1B：以該最小累進平方差法對該平方差像素陣列以及該標籤化陣列進行整合及更新，取得一具有複數標籤像素的水平修正陣列；S1C：以該水平修正陣列的每一列為單位，依序進行該些標籤像素的最佳值選擇，以定義出該接縫線。

由上述說明可知，相較於習知技術，本發明利用OR邏輯運算定義出包含移動物件的整合影像，接著透過最小累進平方差法不斷的更新該變動縫線，使該變動縫線會隨著移動物件的靠近而改變位置，藉此避免接縫位置重疊於移動物件而發生的鬼影現象，提高全景影像拼接的影像顯示品質。

習知技術

1‧‧‧左邊影像

2‧‧‧右邊影像

3‧‧‧接縫線

本發明

10‧‧‧全景影像

11‧‧‧左攝影影像

12‧‧‧右攝影影像

13‧‧‧重疊區域

14‧‧‧接縫線

15‧‧‧變動縫線

21‧‧‧平方差像素陣列

22‧‧‧標籤化陣列

30‧‧‧水平修正陣列

31‧‧‧第一列

311‧‧‧第一像素

32‧‧‧第二列

321‧‧‧第二像素

41‧‧‧右邊影像

42‧‧‧左邊影像

S1~S5、S1A~S1C‧‧‧步驟

圖1A~1C，為習知技術之鬼影形成示意圖。

圖2，為本發明之步驟流程示意圖。

圖3，為本發明之影像合併示意圖。

圖4A~4H，為本發明之最小累進平方差法流程示意圖。

圖5，為本發明之接縫線判斷示意圖。

圖6A~6C，為本發明之變動縫線變化示意圖。

有關本發明之詳細說明及技術內容，現就配合圖示說明如下：請參閱「圖2」及「圖3」所示，本發明係為一種基於可變接縫線之全景影像拼接方法，其係將一左攝影影像11與一右攝影影像12進行拼接，且該左攝影影像11及該右攝影影像12分別具有一顯示相同影像的重疊區域13，該全景影像拼接方法包含有以下步驟：

S1：建立一全景影像10，將該左攝影影像11以及該右攝影影像12以該重疊區域13進行合併，形成一全景影像10，該全景影像10包含有複數 像素，接著以一最小累進平方差法於該重疊區域13中定義出一接縫線14(如「圖5」及「圖6A」所示)，使該接縫線14的相對兩側分別為該左攝影影像11及該右攝影影像12，形成該全景影像10。更詳細的說明，請配合參閱「圖4A」至「圖4H」，步驟S1係可包含有以下步驟：

S1A：取得平方差像素陣列21以及標籤化陣列22，請配合參閱「圖4A」所示，將該全景影像10中的各個像素進行平方差計算，而取得一平方差像素陣列21，所謂的平方差像素陣列21係將該左攝影影像11及該右攝影影像12中重疊區域13的各個像素分別進行像素的灰階值計算，並且相減及平方，而取得重疊區域13中各個像素的平方差，藉此形成該平方差像素陣列21；而該標籤化陣列22係藉由偵測該全景影像10之水平邊緣，水平邊緣指的是如天花板的邊緣線、櫃子的邊緣線及牆上展示框的邊緣線等，因而可取得如「圖4A」左邊的標籤化陣列22。需特別說明的是，「圖4A」中所繪製的標籤化陣列22以及平方差像素陣列21僅為示意說明，非對應於「圖3」中的全景影像10。

S1B：整合及更新，請配合參閱「圖4B」至「圖4H」所示，以最小累進平方差法對該平方差像素陣列21以及該標籤化陣列22進行整合及更新，取得一具有複數標籤像素的水平修正陣列30。而最小累進平方差法係如「圖4B」所示，該平方差像素陣列21對應該標籤化陣列22最左邊為*1的位置的數字為5，而5上面三個相鄰的像素中，正上方的像素為3，且相鄰3右邊像素為6，相鄰3左邊像素並未列出，但由3及6做比較，3較小，因而將5取代成3，如「圖4C」所示，接著由於該標籤化陣列22為*1的同一排總共有5個*1，因此同樣將該平方差像素陣列21中對應於該標籤化陣列22的位置進行取代而同樣為3，如「圖4D」及「圖4E」所示，其中，由於該標籤化 陣列22同一列中相鄰且相同數值的標籤像素超過5個，亦即，*1總共有5個，因此定義該些標籤像素為水平區域，且更改下一列中對應於該水平區域中間的標籤像素為無窮大，即「圖4E」所示的像素數值255，藉此防止後續的步驟中因水平區域過長，而影響判斷基準的問題。接著，如「圖4F」所示，對應至該標籤化陣列22為0的該平方差像素陣列21上的像素數值2，因為並非為水平邊緣之對應位置，因而將位於其上的像素數值4進行加總，而形成如「圖4G」，改變其像素數值為6。因此，依序在該平方差像素陣列21對應該標籤化陣列22不為0的部分進行相鄰最小數值的取代，而對應該標籤化陣列22為0的部分則以相鄰最小數值的相加，最後完成該水平修正陣列30如「圖4H」所示。

S1C：定義接縫線14，如「圖5」所示，以該水平修正陣列30的每一列為單位，依序進行該些標籤像素的最佳值選擇，以定義出該接縫線14，更詳細的說明，以該水平修正陣列30中位於最邊緣的一第一列31中選擇標籤像素數值最小的一第一像素311，於本實施例中，係以該水平修正陣列30最下方邊緣為第一列31，接著於相鄰於該第一列31的一第二列32中，亦即往上一列，並於相鄰於該第一像素311的三個標籤像素中，選擇標籤像素數值最小的一第二像素321，重複進行每一列中的像素選擇，而定義出該接縫線14。其中，若同一列中所代表的數值相同，則選擇最左邊的像素作為向上選擇的標準位置，如「圖5」中第二列32的數值27以及第四列的數值18。藉由上述所進行的最小累進平方差法進行接縫線14位置的選擇，而可選擇出最小變動的區域作為該接縫線14的位置，而讓該左攝影影像11及該右攝影影像12可以較佳的重疊區域13位置進行影像合併為該全景影像10。

S2：偵測一移動物件進入該全景影像10，若該移動物件進入該全景影像10，則進行下一步驟，若否，則維持繼續偵測的狀態，其中，該移動物件係指於攝影畫面中會移動的物體，一般來說，是指經過的人、動物或行進物，而由該左攝影影像11移動至該右攝影影像12，或由該右攝影影像12移動至該左攝影影像11。

S3：整合該全景影像10以及該移動物件之影像，以該全景影像10以及該移動物件之影像進行對應像素的OR邏輯運算，而形成一整合影像(未圖示)，更詳細的說明，其係整合該移動物件之影像與該標籤化陣列22，並以OR邏輯運算的方式取得更新標籤化陣列。

S4：定義新的變動縫線15，藉由更新標籤化陣列配合該平方差像素陣列21，同樣以該最小累進平方差法於該整合影像對應於該重疊區域13中重新定義出新的一變動縫線15，該變動縫線15的兩側分別為該左攝影影像11以及該右攝影影像12。該變動縫線15的目的在於避開移動物件的位置，避免使左攝影影像11與該右攝影影像12的邊界恰巧在該移動物件的位置上。

S5：維持動態更新，隨著時間更新以及該移動物件的改變，而持續更新該變動縫線15，若該移動物件脫離該全景影像10，則回到步驟S2。

請再配合參閱「圖6A」至「圖6C」所示，其係為利用本發明之變動縫線15方法而取得的全景影像10，在本實施例中，該移動物件為一走動的人，而於「圖6A」中，右邊影像41為有顯示綠色的接縫線14供參考比對，而左邊影像42則為實際由影片中看到的影像，因而於「圖6A」中，由於人像並未靠近接縫線14，因此利用OR邏輯運算後進行最小累進平方差法的變動縫線15仍與全景影像10定義中的接縫線14相同；而當人走至中間位置 時，如「圖6B」所示，變動縫線15進行更新後會自動避開人影像的位置，避免變動縫線15與人影像重疊，而有鬼影現象的發生；當人走離中間位置後，如「圖6C」所示，該變動縫線15便回復至以全景影像10進行最小累進平方差法定義接縫線14的方式，而相同於「圖6A」。

綜上所述，相較於習知技術，本發明利用OR邏輯運算定義出包含移動物件的整合影像，接著透過最小累進平方差法不斷的更新該變動縫線，使該變動縫線會隨著移動物件的靠近而改變位置，藉此避免接縫位置重疊於移動物件而發生的鬼影現象，提高全景影像拼接的影像顯示品質。

S1~S5、S1A~S1C‧‧‧步驟

Claims (4)

1. 一種基於可變接縫線之全景影像拼接方法，其係將一左攝影影像與一右攝影影像進行拼接，且該左攝影影像及該右攝影影像分別具有一顯示相同影像的重疊區域，該全景影像拼接方法包含有以下步驟：S1：建立一全景影像，將該左攝影影像以及該右攝影影像以該重疊區域進行合併，形成一全景影像，該全景影像包含有複數像素，接著以一最小累進平方差法於該重疊區域中定義出一接縫線，使該接縫線的相對兩側分別為該左攝影影像及該右攝影影像，形成該全景影像；S2：偵測一移動物件是否進入該全景影像，若該移動物件進入該全景影像，則進行下一步驟，若否，則維持繼續偵測的狀態；S3：整合該全景影像以及該移動物件之影像，以該全景影像以及該移動物件之影像進行對應像素的OR邏輯運算，而形成一整合影像；S4：以該最小累進平方差法於該整合影像對應於該重疊區域中重新定義出新的一變動縫線，該變動縫線的兩側分別為該左攝影影像以及該右攝影影像；以及S5：隨著時間更新以及該移動物件的改變，而持續更新該變動縫線，若該移動物件脫離該全景影像，則回到步驟S2；其中，步驟S1包含有以下步驟：S1A：將該全景影像中的各個像素進行平方差計算，而取得一平方差像素陣列，並偵測該全景影像之水平邊緣，並取得一標籤化陣列；S1B：以該最小累進平方差法對該平方差像素陣列以及該標籤化陣列進行整合及更新，取得一具有複數標籤像素的水平修正陣列； S1C：以該水平修正陣列的每一列為單位，依序進行該些標籤像素的最佳值選擇，以定義出該接縫線。
2. 如申請專利範圍第1項所述之基於可變接縫線之全景影像拼接方法，其中於步驟S1C中，以該水平修正陣列中位於最邊緣的一第一列中選擇標籤像素數值最小的一第一像素，接著於相鄰於該第一列的一第二列中，於相鄰於該第一像素的三個標籤像素中，選擇標籤像素數值最小的一第二像素，重複進行每一列中的像素選擇，而定義出該接縫線。
3. 如申請專利範圍第2項所述之基於可變接縫線之全景影像拼接方法，其中係以該水平修正陣列中最下方邊緣為該第一列，依序往上進行各個列中的像素選擇。
4. 如申請專利範圍第2項所述之基於可變接縫線之全景影像拼接方法，其中於步驟S1B中，若該標籤化陣列同一列中相鄰且相同數值的標籤像素超過5個，則定義該些標籤像素為水平區域，且更改下一列中對應於該水平區域中間的標籤像素為無窮大。