TWI658434B - 影像處理裝置及方法 - Google Patents

Abstract

一種影像處理方法，適用於全景影像拍攝，包括以下步驟：透過攝像單元擷取第一影像以及第二影像。透過陀螺儀取得第一影像與第二影像之間的方位資訊。使用特徵擷取演算法，當亮度差異超過既定門檻值，產生第一影像之複數第一特徵點以及第二影像之複數第二特徵點。根據方位資訊，取得複數第一特徵點於第二影像中的複數預測特徵點位置。判斷第二特徵點與對應之預測特徵點距離，並捨棄與對應之預測特徵點之距離超過一既定距離之第二特徵點以及根據第一特徵點與挑選過的第二特徵點結合第一影像以及第二影像以產生全景影像。

Description

影像處理裝置及方法

本發明係有關於一種影像處理方法，尤指一種全景拍攝時邊緣偵測之改善方法。

全景攝影一般的實現方法是透過橫向轉動相機拍攝多張圖像後，透過軟件將幾個圖像拼接成一張完整的全景圖像，但拍攝時需依照一定順序拍攝，旋轉拍攝時亦要注意保持轉軸方向，圍繞拍攝，對於普通用戶來說，如果不借助三腳架等工具，比較難控制拍攝過程中旋轉角度的一致性，因此對於最終合成的全景圖像效果不佳。

鑒於本發明之目的，在本發明中，透過邊緣偵測取得第一圖像之特徵點、利用陀螺儀對第二圖像進行特徵點預測，同樣透過邊緣偵測取得第二圖像之特徵點，利用歐式距離比對預測特徵點與第二圖像之特徵點，進行前後圖像的特徵點匹配並去除容易混淆的特徵點，利用歐拉角計算第一圖像與第二圖像同值特徵點之間的旋轉矩陣關係，根據計算結果關聯第一圖像與第二圖像以形成全景照片，透過比對同值特徵點的旋轉矩陣關係克服拍攝時需保持旋轉角度一致性的限制。

本發明提供一種影像處理裝置，適用於全景影像拍攝，包括：攝像單元，用以擷取第一影像以及第二影像。陀螺儀，用以取得裝置方位資訊。處理單元，用以接收第一影像及第二影像，利用特徵擷取演算法，當亮度差異 超過既定之門檻值，產生第一影像之複數第一特徵點以及第二影像之複數第二特徵點，根據方位資訊取得複數第一特徵點於第二影像中的複數預測特徵點位置，判斷第二特徵點與對應之預測特徵點之距離，並捨棄與對應之預測特徵點之距離超過一既定距離之第二特徵點，以及根據第一特徵點與挑選過的第二特徵點結合第一影像及第二影像以產生全景影像。

一種影像處理方法，適用於全景影像拍攝，包括以下步驟：透過攝像單元擷取第一影像以及第二影像。透過陀螺儀取得第一影像與第二影像之間的方位資訊。使用特徵擷取演算法，當亮度差異超過既定門檻值，產生第一影像之複數第一特徵點以及第二影像之複數第二特徵點。根據方位資訊，取得複數第一特徵點於第二影像中的複數預測特徵點位置。判斷第二特徵點與對應之預測特徵點距離，並捨棄與對應之預測特徵點之距離超過一既定距離之第二特徵點。以及根據第一特徵點與挑選過的第二特徵點結合第一影像以及第二影像以產生全景影像。

100‧‧‧影像處理裝置

110‧‧‧攝像單元

120‧‧‧陀螺儀

130‧‧‧處理單元

S201-S208、S401-S411‧‧‧步驟流程

501‧‧‧第一子影像

502‧‧‧第二子影像

503‧‧‧第三子影像

504‧‧‧第四子影像

505‧‧‧第五子影像

圖1係顯示根據本發明一實施例所述之影像處理裝置功能方塊圖。

圖2係顯示根據本發明一實施例所述之影像處理方法流程示意圖。

圖3A係顯示根據本發明一實施例所述之第一影像。

圖3B係顯示根據本發明一實施例所述之第二影像。

圖3C係顯示根據本發明一實施例所述之全景合成影像。

圖4係顯示根據本發明另一實施例所述之影像處理方法流程示意圖。

圖5係顯示根據本發明一實施例所述之子影像更新門檻值。

為了便於本領域普通技術人員理解和實施本發明，下面結合附圖與實施例對本發明進一步的詳細描述，應當理解，此處所描述的實施例僅用於說明和解釋本發明，並不用於限定本發明。

圖1係顯示根據本發明一實施例所述之影像處理裝置功能方塊圖。如圖1所示，根據本發明一實施例所述之影像處理裝置100，適用於全景影像拍攝，包括：攝像單元110、陀螺儀120以及處理單元130。攝像單元110，用以擷取第一影像以及第二影像。陀螺儀120，用以取得影像處理裝置之方位資訊。處理單元130用以接收第一影像及第二影像，利用FAST(Features from Accelerated Segment Test)演算法作為特徵擷取演算法，以判斷影像之特徵點，FAST演算法會從圖片中選取一個像素，當此像素的亮度值與周圍像素差異超過既定之門檻值，則判斷此像素為特徵點，因此藉由特徵擷取演算法，產生第一影像之複數第一特徵點以及第二影像之複數第二特徵點。處理單元130根據陀螺儀120取得的方位資訊得到複數第一特徵點於第二影像中的複數預測特徵點位置，將第一特徵點與第二特徵點從二維空間映射到三維空間上，根據歐式距離(Euclidean distance)判斷第二特徵點與對應之預測特徵點之距離，並捨棄與對應之預測特徵點之距離超過一既定距離之第二特徵點，根據第一特徵點與挑選過的第二特徵點結合第一影像及第二影像以產生全景影像。

再者，在處理一張影像時，一張影像中特徵點的分布會隨著所擷取影像的複雜程度差異而有所不同，當影像很單純時不需要太多特徵點即可辨識出影像的邊緣，當影像很複雜時，則需要較多特徵點才能清楚分辨出影像的邊緣。因此本發明透過處理單元130將影像切割為多個子影像，並更新每個子影像在使用特徵擷取演算法時的門檻值，以調整所需的特徵點數量，透過此方式不僅提升運算效率，亦能取得更具代表性的特徵點來提升在產生全景影像時的準確度。

圖2係顯示根據本發明一實施例所述之影像處理方法流程圖。如圖2所示，根據本發明一實施例所述之影像處理流程包括以下步驟。首先，透 過攝像單元擷取第一影像以及第二影像(S201)。透過陀螺儀取得第一影像與第二影像之間的方位資訊(S202)。接下來，使用特徵擷取演算法判斷影像中的特徵點，當亮度差異超過既定門檻值，產生第一影像之複數第一特徵點以及第二影像之複數第二特徵點(S203)。根據陀螺儀量測到的方位資訊，取得複數第一特徵點於第二影像中的複數預測特徵點位置(S204)。接下來，將第一特徵點與第二特徵點從二維空間映射到三維空間上，以保證以下運算中所使用的第一特徵點與第二特徵點均為三維空間的特徵點(S205)。根據歐式距離判斷第二特徵點與對應之預測特徵點距離，當第二特徵點與對應之預測特徵點超過一既定距離時，捨棄該第二特徵點(S206)。接下來，利用歐拉角(Euler angles)取得第一特徵點與同值的對應之第二特徵點之間旋轉矩陣關係(S207)。處理單元根據第一特徵點與對應之第二特徵點旋轉矩陣關係結合第一影像以及上述第二影像以產生全景影像(S208)。

圖3A係顯示根據本發明一實施例所述之第一影像。如圖3A所示，根據本發明一實施例所述之第一影像由使用者手持影像處理裝置拍攝取得，根據特徵擷取演算法取得圖3A中第一特徵點(圖3A中之特徵點僅為示意)。

圖3B係顯示根據本發明一實施例所述之第二影像。如圖3B所示，根據本發明一實施例所述之第二影像由使用者持手持影像處理裝置自圖3A中之第一影像移動一距離拍攝所得，該移動的方位資訊根據影像處理裝置中之陀螺儀取得，影像處理裝置之處理單元根據移動的方位資訊於第二影像中取得預測特徵點，根據特徵擷取演算法取得圖3B中第二特徵點，判斷第二特徵點與預測特徵點位置，當兩者間距離大於一既定值時，視為易混淆之第二特徵點將予以捨棄。

圖3C係顯示根據本發明一實施例所述之全景合成影像。如圖3C所示，根據本發明一實施例所述之全景影像，由圖3A之第一影像與圖3B之第二影像合併產生。根據歐拉角取得第一特徵點與同值的對應第二特徵點之間旋轉矩 陣關係，由該旋轉矩陣關係關聯第一影像與第二影像形成圖3C所示之全景影像。

圖4係顯示根據本發明另一實施例所述之影像處理方法流程示意圖。如圖4所示，根據本發明一實施例所述之特徵擷取演算法門檻值更新流程，包括以下步驟。首先，透過攝像單元擷取第一影像以及第二影像(S401)。透過陀螺儀取得第一影像與第二影像之間的方位資訊(S402)。接下來，使用特徵擷取演算法判斷第一影像與第二影像中的特徵點，當亮度差異超過預設門檻值，產生第一影像之複數第一特徵點，並得知複數第一特徵點之數量(S403)。透過處理單元將第一影像切割為複數第一子影像，將第二影像切割為複數第二子影像，其中第二子影像之切割方式同第一子影像(S404)。根據第一子影像中所包含的第一特徵點數量，重新計算取得每個第一子影像中特徵擷取演算法的更新門檻值，當第一子影像中所包含的第一特徵點數量小於平均值時，代表該第一子影像中之特徵點明確且具代表性，因此調高第一子影像更新門檻值，取得較少的第一特徵點以提升運算效率。反之亦然，當第一子影像中所包含的第一特徵點數量大於平均值時，代表該第一子影像較為複雜，需要較多的第一特徵點以判別影像之邊緣，因此調降第一子影像之更新門檻值(步驟S405)。接下來，利用特徵擷取演算法更新的門檻值，重新產生第一影像之第一特徵點與第二影像之第二特徵點(S406)。處理單元根據陀螺儀量測到的方位資訊，取得複數第一特徵點於第二影像中的複數預測特徵點位置(S407)。將第一特徵點與第二特徵點從二維空間映射到三維空間上，以保證以下運算中所使用的第一特徵點與第二特徵點均為三維空間的特徵點(S408)。接著，根據歐式距離(Euclidean distance)判斷第二特徵點與對應之預測特徵點距離，當第二特徵點與對應之預測特徵點超過一既定距離時，捨棄該第二特徵點(S409)。利用歐拉角(Euler angles)取得第一特徵點與同值的對應之第二特徵點之間旋轉矩陣關係(S410)。最後，根據第一特徵點與對應之第二特徵點旋轉矩陣關係結合第一影像以及上述第二影像以產生全景影像(S411)。

圖5係顯示根據本發明一實施例所述之子影像更新門檻值。如圖5所述，根據本發明一實施例之影像切割為3x2之子影像，其中特徵擷取演算法之門檻值預設為50，以此預設門檻值取得第一子影像501包含50個特徵點、第二子影像502包含20個特徵點、第三子影像503包含80個特徵點、第四子影像504包含100個特徵點、第五子影像505包含140個特徵點以及第六子影像506包含90個特徵點。接著針對每一子影像之特徵擷取演算法門檻值進行調整，處理單元可以根據上述六個子影像特徵點數量，取得平均值為80，標準差為41.47，並根據上述平均值與標準差分別取得每一子影像中統計學之Z value與P value。當子影像之特徵點數量小於平均值，將門檻值乘上P value的倒數，當子影像之特徵點數量大於平均值，將門檻值乘上P value。以圖5中的第一子影像與第五子影像為例，Z1為|(50-80)/41.47|=0.74，P1為0.77，Z5為1.45，P5=0.92。第一子影像之特徵點數量為50，小於平均的80，因此第一子影像之門檻值由預設的50乘上P value的倒數進行更新，也就是說更新的第一子影像門檻值為50*(1/0.77)=64.9。第五子影像之特徵點數量為140，大於平均的80，因此第五子影像之門檻值由預設的50乘上P value，也就是說更新的第五子影像門檻值為50*0.92=46。

本影像處理裝置及方法藉由陀螺儀取得第一影像及第二影像之方位資訊，再透過比對預測特徵點的方式合成全景影像，改善了拍攝全景影像時使用者需維持特定姿勢之限制，更進一步的將影像切割為多個子影像，根據子影像中畫面內容的差異調整特徵點的取得，提升合成影像的精準度以及影像處理的時間，可適用於所有手持影像處理裝置，如手機、平板、數位相機等。

綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上該者僅為本發明之較佳實施方式，本發明之範圍並不以上述實施方式為限，舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。

Claims (8)

1. 一種影像處理裝置，適用於全景影像拍攝，包括：攝像單元，用以擷取第一影像以及第二影像；陀螺儀，用以取得裝置方位資訊；處理單元，用以接收上述第一影像及上述第二影像，利用特徵擷取演算法，當亮度差異超過既定之門檻值，產生上述第一影像之複數第一特徵點以及上述第二影像之複數第二特徵點，根據上述方位資訊取得上述複數第一特徵點於上述第二影像中的複數預測特徵點位置，判斷上述第二特徵點與對應之上述預測特徵點之距離，並捨棄與對應之上述預測特徵點之距離超過一既定距離之上述第二特徵點，根據上述第一特徵點與挑選過的上述第二特徵點結合上述第一影像及上述第二影像以產生全景影像；上述處理單元分割上述第一影像為複數第一子影像，分割上述第二影像為複數第二子影像，以及根據上述第一特徵點於上述第一子影像之數量，計算每一上述第一子影像之上述特徵擷取演算法之更新門檻值，當上述第一子影像之特徵點數量小於平均值，提高上述門檻值，當上述第一子影像之特徵點數量大於平均值，降低上述門檻值。
2. 如申請專利範圍第1項所述之影像處理裝置，其中上述特徵擷取演算法為FAST(Features from Accelerated Segment Test)演算法。
3. 如申請專利範圍第1項所述之影像處理裝置，其中上述處理單元根據歐式距離(Euclidean distance)取得上述第二特徵點與對應之上述預測特徵點之間的距離。
4. 如申請專利範圍第1項所述之影像處理裝置，其中上述處理單元根據歐拉角(Euler angles)取得上述第一特徵點與對應之上述第二特徵點之間旋轉矩陣關係，並根據矩陣關係結合上述第一影像及上述第二影像以產生全景影像。
5. 一種影像處理方法，適用於全景影像拍攝，包括以下步驟：透過攝像單元擷取第一影像以及第二影像；透過陀螺儀取得上述第一影像與上述第二影像之間的方位資訊；使用特徵擷取演算法，當亮度差異超過既定門檻值，處理單元產生上述第一影像之複數第一特徵點以及上述第二影像之複數第二特徵點；根據上述方位資訊，取得上述複數第一特徵點於上述第二影像中的複數預測特徵點位置；判斷上述第二特徵點與對應之上述預測特徵點距離，並捨棄與對應之上述預測特徵點之距離超過一既定距離之上述第二特徵點；根據上述第一特徵點與挑選過的上述第二特徵點，結合上述第一影像以及上述第二影像以產生全景影像；分割上述第一影像為複數第一子影像；分割上述第二影像為複數第二子影像；以及根據上述第一特徵點於上述第一子影像之數量，調整每一上述第一子影像之上述特徵擷取演算法之門檻值，當上述第一子影像之特徵點數量小於平均值，提高上述門檻值，當上述第一子影像之特徵點數量大於平均值，降低上述門檻值。
6. 如申請專利範圍第5項所述之影像處理方法，其中上述特徵擷取演算法為FAST(Features from Accelerated Segment Test)演算法。
7. 如申請專利範圍第5項所述之影像處理方法，其中上述處理單元根據歐式距離(Euclidean distance)取得上述第二特徵點與對應之上述預測特徵點之間的距離。
8. 如申請專利範圍第5項所述之影像處理方法，其中上述處理單元根據歐拉角(Euler angles)取得上述第一特徵點與對應之上述第二特徵點之間旋轉矩陣關係，並根據矩陣關係結合上述第一影像及上述第二影像以產生全景影像。