TWI819641B

TWI819641B - 影像拼接校正裝置及其方法

Info

Publication number: TWI819641B
Application number: TW111120740A
Authority: TW
Inventors: 王士豪
Original assignee: 威盛電子股份有限公司
Priority date: 2022-06-02
Filing date: 2022-06-02
Publication date: 2023-10-21
Also published as: TW202349339A

Abstract

本發明提出一種影像拼接校正裝置及其方法。影像拼接校正裝置包括儲存裝置以及處理裝置。處理裝置取得多個部分影像以及模板影像，並根據模板影像產生多個卷積核。處理裝置對多個卷積核分別進行多次影像調整，以產生多個形變影像。處理裝置將多個形變影像分別與多個部分影像進行卷積運算，以取得多個相似性分數。處理裝置根據多個相似性分數中的分別對應於多個部分影像的多個最高相似性分數來決定在多個部分影像中分別對應於多個最高相似性分數的多個區域。處理裝置根據多個部分影像進行影像拼接，以產生拼接影像。

Description

影像拼接校正裝置及其方法

本發明是有關於一種影像處理，且特別是有關於一種影像拼接校正裝置及其方法。

一般來說，由於環景攝影模組透過多個魚眼鏡頭所取得的多個魚眼影像存在有因魚眼鏡頭的扭曲現象所造成的影像形變結果，因此環景影像拼接結果所產生的環景影像通常具有畫面扭曲的問題，而導致環景影像的影像品質不佳。並且，傳統的影像校正也具有強健性不足，而使得在影像模糊、物件遮擋、反光等情況下無法有效地校正影像中的畫面扭曲的問題。

本發明提供一種影像拼接校正裝置及其方法，可有效地校正多個影像，並對多個校正後的多個影像進行影像拼接，以產生拼接影像。

本發明的影像拼接校正裝置包括儲存裝置以集處理裝置。儲存裝置儲存多個模組。處理裝置耦接儲存裝置，並執行多個模組，以進行以下影像處理。處理裝置取得多個部分影像以及模板影像，並且處理裝置根據模板影像產生多個卷積核。處理裝置對多個卷積核分別進行多次影像調整，以產生多個形變影像。處理裝置將多個形變影像分別與多個部分影像進行卷積運算，以取得多個相似性分數。處理裝置根據多個相似性分數中的分別對應於多個部分影像的多個最高相似性分數來決定在多個部分影像中分別對應於多個最高相似性分數的多個區域。處理裝置根據多個部分影像的多個區域的多個位置資訊進行影像拼接，以產生拼接影像。

本發明的影像拼接校正方法包括以下步驟：取得多個部分影像以及模板影像；根據模板影像產生多個卷積核；對多個卷積核分別進行多次影像調整，以產生多個形變影像；將多個形變影像分別與多個部分影像進行卷積運算，以取得多個相似性分數；根據多個相似性分數中的分別對應於多個部分影像的多個最高相似性分數來決定在多個部分影像中分別對應於多個最高相似性分數的多個區域；以及根據多個部分影像的多個區域的多個位置資訊進行影像拼接，以產生拼接影像。

基於上述，本發明的影像拼接校正裝置及其方法可根據模板影像對多個影像進行級聯匹配，以取得這些影像的多個位置資訊，並且根據這些位置資訊校正這些影像且進行影像拼接，以產生拼接影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是本發明的一實施例的影像拼接校正裝置的電路示意圖。參考圖1，影像拼接校正裝置100包括處理裝置110以及儲存裝置120。處理裝置110耦接儲存裝置120。在本實施例中，儲存裝置120可儲存多個影像處理模組。處理裝置110耦可執行這些影像處理模組，以實現影像拼接校正功能。在本實施例中，處理裝置110還可耦接外部的影像擷取模組200。影像擷取模組200可例如是一種環景攝影模組，並且可包括多個魚眼攝影機(fisheye camera)。處理裝置110可透過這些魚眼攝影機取得多個影像(部分影像)，並且對這些影像分別進行影像處理後，可產生多個俯視影像。處理裝置110可對這些俯視影像進行影像拼接，以產生拼接影像。

在本實施例中，處理裝置110可例如包括圖形處理裝置(Graphics Processing Unit，GPU)、影像處理單元(Image Processing Unit，IPU)、影像信號處理裝置(Image Signal Processor，ISP)、中央處理單元(Central Processing Unit，CPU)、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)其他具有影像處理及運算功能的處理單元或其組合。在本實施例中，儲存裝置120可為記憶體(Memory)，其中記憶體可例如非易失性記憶體(Non-Volatile Memory，NVM)。儲存裝置120可儲存用於實現本發明各實施例的相關影像資料、程式、模組、系統或演算法，以供處理裝置110存取並執行而實現本發明各實施例所描述的相關影像處理、資料運算等功能及操作。

在本實施例中，影像拼接校正裝置100以及影像擷取模組200可例如是應用於車用環景影像偵測的預先影像校正或車用環景攝影模組在出廠前的影像校正。對此，影像擷取模組200可取得多個部分影像。處理裝置110可將這些部分影像進行影像校正，以消除影像扭曲的問題，以使經影像拼接後可產生具有良好影像品質的車輛環景影像。然而，本發明的影像拼接校正裝置100以及影像擷取模組200的應用場景並不限於此。在一實施例中，影像拼接校正裝置100以及影像擷取模組200也可例如是應用於醫療影像拼接處理或其他平面影像拼接。

圖2是本發明的一實施例的影像拼接校正方法的流程圖。參考圖1以及圖2，影像拼接校正裝置100可執行如以下步驟S210~S260。在步驟S210，處理裝置110可取得多個部分影像以及模板影像。在本實施例中，影像擷取模組200可包括多個魚眼鏡頭，例如四個魚眼鏡頭可分別取得環景的0~90度、90~180度、180~270度以及270~360度的四個部分影像。在本實施例中，使用者可將多個模板物件(例如具有棋盤格圖案的物件)分別放置於不同魚眼鏡頭的攝影範圍中，以使這些魚眼鏡頭所取得這些部分影像中可分別包括對應於模板物件的多個模板圖案。在本實施例中，模板影像可為模板物件的完整影像。

在步驟S220，處理裝置110可根據模板影像產生多個卷積核(kernel)。在本實施例中，處理裝置110可根據不同影像範圍對模板影像進行取樣，以產生這些卷積核。在步驟S230，處理裝置110可對多個卷積核分別進行多次仿射變化(affine transform)處理，以產生多個形變影像，並且處理裝置110可根據這些形變影像進行卷積(Convolution)運算。在本實施例中，處理裝置110可利用仿射變化矩陣((affine transform matrix)以及不同影像調整參數對這些卷積核的每一個分別進行多次仿射變化處理，以產生多個形變影像。

在步驟S240，處理裝置110可將多個形變影像分別與多個部分影像進行卷積運算，以取得多個相似性分數。在本實施例中，處理裝置110可利用多個形變影像分別與多個部分影像的每一個進行影像匹配，以搜尋在每一個部分影像中的模板圖案的位置。在本實施例中，處理裝置110可例如執行平方差(square difference matching)、歸一化平方差(normalized square difference matching)、互相關(cross-correlation)、歸一化互相關(normalized cross-correlation)、餘弦法(cosine coefficient)、歸一化餘弦法(normalized cosine coefficient)或絕對誤差和(Sum of Absolute Difference，SAD)等諸如此類的相關演算法，以計算多個形變影像分別與多個部分影像的每一個的相似性分數。

在步驟S250，處理裝置110可根據多個相似性分數中的分別對應於多個部分影像的多個最高相似性分數來決定在多個部分影像中分別對應於多個最高相似性分數的多個區域。在本實施例中，處理裝置110可鎖定多個部分影像的每一個中對應於最高相似性分數的區域，其中此區域即模板圖案的位置。

在步驟S260，處理裝置110可根據多個部分影像的多個區域的多個位置資訊進行影像拼接，以產生拼接影像。在本實施例中，處理裝置110可計算多個部分影像的每一個中對應於模板圖案的位置資訊，例如計算多個部分影像的每一個的模板圖案的多個特徵點的座標。如此一來，處理裝置110可根據模板圖案的這些特徵點的預設座標以及對應的轉換矩陣，來校正多個部分影像，並推算多個部分影像的每一個的邊緣座標，以便進行影像拼接。

在本實施例中，處理裝置110可根據多個部分影像的多個區域的多個位置資訊產生多個透視轉換(perspective transformation)矩陣，並且根據這些透視轉換矩陣將多個部分影像轉換為多個俯視影像。處理裝置110可將這些俯視影像進行影像拼接，以產生拼接影像。因此，本實施例的影像拼接校正方法可有效地校正多個魚眼影像的影像扭曲問題(因為魚眼鏡頭的扭曲現象所造成的影像形變)，並且將影像校正後的結果進行影像拼接，而可產生具良好影像品質的拼接影像。

圖3是本發明的另一實施例的影像拼接校正方法的流程圖。參考圖1、圖3至圖6，本實施例以級聯匹配(cascade matching)的流程為實施範例來更詳細說明本發明的影像拼接校正方法，並且以下以對於一個魚眼鏡頭所提供部分影像為例。在步驟S301，處理裝置110可從影像擷取模組200取得如圖4所示的部分影像410以及如圖5A所示的模板影像510。圖4是本發明的一實施例的部分影像的示意圖。圖5A是本發明的一實施例的模板影像的示意圖。在本實施例中，部分影像410中可例如包括模板圖案411以及模板圖案412，其中模板圖案411以及模板圖案412可例如位於部分影像410中的左右兩側區域中的對稱位置。應注意的是，模板圖案411以及模板圖案412因為魚眼鏡頭的扭曲現象，因此存在影像形變。

在步驟S302，處理裝置110可根據影像範圍對模板影像510進行取樣，以產生卷積核。在本實施例中，在第一階的級聯匹配的流程中，處理裝置110可將模板影像510(即最大影像範圍)作為卷積核。在第二階的級聯匹配的流程中，處理裝置110可根據較小的影像範圍(小於最大影像範圍)擷取模板影像510，而產生如圖5D所示的部分模板影像520作為卷積核。圖5D是本發明的一實施例的卷積核的示意圖。以此類推，隨著級聯匹配的階數增加，用於產生卷積核而擷取模板影像510的影像範圍的範圍大小依序遞減，並且這些影像範圍為重疊。

在步驟S303，處理裝置110可設定影像調整參數。在本實施例中，處理裝置110可例如配合魚眼鏡頭以及模板影像510的棋盤格輪廓來對以下公式(1)的仿射變化矩陣中的參數a~f進行不同的參數選定，以嘗試對模板影像510進行各種影像形變。參數x、x’、y、y’為影像中的座標。參數w、w’可為齊次參數。參數a、e可用於決定影像的長寬比(aspect ratio)以及縮放比例。參數b、d可用於決定影像的剪切變形(參數b、d即剪切因子(shear factor))。參數c、f可用於決定影像的平移量。 …………公式(1)

在步驟S304，處理裝置110可根據影像調整參數對卷積核進行仿射變化處理，以產生如圖5B所示的形變影像511。圖5B是本發明的一實施例的形變影像的示意圖。在本實施例中，如圖6所示，處理裝置110可將部分影像410分割為第一部分影像410-1以及第二部分影像410-2，並且根據形變影像511產生如圖5C所示的對稱影像512。圖5C是本發明的一實施例的對稱影像的示意圖。圖6是本發明的一實施例的影像匹配的示意圖。在本實施例中，模板圖案411以及模板圖案412分別在魚眼鏡頭下具有對稱性。因此，處理裝置110可將用於形變影像511(用於匹配第一部分影像410-1中的模板圖案411)的仿射變化矩陣中的參數b的參數範圍設為-1.8~-0.4，並且參數d的參數範圍設為0~0.4。處理裝置110可將用於對稱影像512(用於匹配第二部分影像410-2中的模板圖案412)的仿射變化矩陣中的參數b的參數範圍設為0.4~1.8，並且參數d的參數範圍設為-0.4~0。類似地，也可以通過設定仿射變化矩陣中的參數a與d的參數範圍來根據實際情況設定模板圖案的尺度變化範圍。

在步驟S305，處理裝置110可將形變影像511與部分影像410進行影像匹配，以取得對應的相似性分數。在本實施例中，處理裝置110可將形變影像511與第一部分影像410-1進行影像匹配，以取得對應的相似性分數，並且將對稱影像512與第二部分影像410-2進行影像匹配，以取得另一對應的相似性分數。在本實施例中，處理裝置110可根據匹配範圍將形變影像511與第一部分影像410-1進行影像匹配，其中匹配範圍可小於第一部分影像410-1的影像範圍。例如，處理裝置110可以地平線為參照，來設定偏移影像高度0.4倍的棋盤格距離以下為匹配範圍。同樣的，處理裝置110可根據匹配範圍將對稱影像512與第二部分影像410-2進行影像匹配，其中匹配範圍可小於第一部分影像410-2的影像範圍。如此一來，可有效降低資料運算量，而加速影像匹配運算。

在步驟S306，處理裝置110可判斷相似性分數是否比暫存的相似性分數高。若是，在步驟S307，處理裝置110可更新對應於當前級聯匹配階段的暫存的相似性分數。若否，在步驟S308，處理裝置110可判斷是否已嘗試影像匹配範圍內所有匹配組合。在本實施例中，處理裝置110可分別判斷形變影像511以及對稱影像512分別與第一部分影像410-1以及第二部分影像410-2進行影像匹配後的相似性分數是否高於暫存的相似性分數。在第一階的級聯匹配的流程中，對應於第一部分影像410-1的暫存的相似性分數以及對應於第二部分影像410-2的暫存的相似性分數可例如分別為0。

若尚未嘗試影像匹配範圍內所有匹配組合，則處理裝置110重新執行步驟S303，以設定新的影像調整參數。若已嘗試影像匹配範圍內所有匹配組合，則處理裝置110執行步驟S309。換言之，處理裝置110可嘗試形變影像511以及對稱影像512的各種形變分別與第一部分影像410-1以及第二部分影像410-2的匹配結果。在步驟S309，處理裝置110可根據對應於當前級聯匹配階段的暫存的相似性分數，來決定在部分影像410中的對應區域，並取得對應的位置資訊。也就是說，處理裝置110可根據最高相似性分數來有效地判斷如圖6所示在第一部分影像410-1以及第二部分影像410-2中分別對應於形變影像511以及對稱影像512的模板圖案411以及模板圖案412的對應區域611以及對應區域621及其位置資訊。

在步驟S310，處理裝置110可判斷是否有下一個級聯匹配階段。若是，則執行步驟S310。在步驟S311，處理裝置110將對應區域作為下一個級聯匹配階段的影像匹配區域，並且重新執行步驟S302。若否，則處理裝置110結束影像校正與匹配流程。以第二階的級聯匹配的流程為例，處理裝置110可根據較小的影像範圍擷取模板影像510，而產生如圖5D所示的部分模板影像520作為卷積核，並且執行步驟S303~S309。在本實施例中，處理裝置110可將前一階判斷在第一部分影像410-1以及第二部分影像410-2中的對應區域611以及對應區域621作為第二階的級聯匹配的流程的影像匹配區域，以判斷如圖6所示在第一部分影像410-1以及第二部分影像410-2中分別對應於部分模板影像520的形變影像以及對稱影像的模板圖案的對應區域612、622及其位置資訊。如此一來，由於處理裝置110無需比對整個部分影像410的範圍，因此可有效提升影像匹配效率。

以此類推，處理裝置110可行多階的級聯匹配的流程來準確地判斷在第一部分影像410-1以及第二部分影像410-2中的模板圖案411以及模板圖案412。在本實施例中，處理裝置110可例如定義板影像510中的棋盤格的外圍四個黑色方格的中心點位置作為四個特徵點的預設座標。接著，處理裝置110可根據前述的仿射變換以及影像匹配的結果來分別推估第一部分影像410-1以及第二部分影像410-2中的模板圖案411以及模板圖案412中的棋盤格的多個對應特徵點的多個座標。如此一來，處理裝置110可根據這些對應特徵點的這些座標來計算透視轉換矩陣，以將部分影像410轉換為俯視影像，以消除因為魚眼鏡頭的扭曲現象所造成影像形變。以此類推，處理裝置110可例如對於對應於前方、後方、左方、右方的四個魚眼鏡頭所同時取得的四個部分影像進行如上述步驟S301~S311的影像校正，並且對於校正後所產生的四個俯視影像進行影像拼接，以使可產生具有良好影像品質的拼接影像。

綜上所述，本發明的影像拼接校正裝置及其方法可根據模板影像對環景攝影模組的多個魚眼鏡頭所同時提供的多個魚眼影像進行級聯匹配，以對這些魚眼影像進行影像校正而產生多個俯視影像。如此一來，可有效消除因為魚眼鏡頭的扭曲現象所造成影像形變。因此，本發明的影像拼接校正裝置及其方法可對這些俯視影像進行影像拼接，以產生具有良好影像品質的拼接影像。本發明之影像拼接校正原理也可同樣應用於醫療影像拼接處理或其他平面影像拼接等。

100:影像拼接校正裝置

110:處理裝置

120:儲存裝置

200:影像擷取模組

410:部分影像

410-1:第一部分影像

410-2:第二部分影像

411、412:模板圖案

510:模板影像

511:形變影像

512:對稱影像

520:部分模板影像

611、612、621、622:對應區域

S210~S260、S301~S311:步驟

圖1是本發明的一實施例的影像拼接校正裝置的電路示意圖。圖2是本發明的一實施例的影像拼接校正方法的流程圖。圖3是本發明的另一實施例的影像拼接校正方法的流程圖。圖4是本發明的一實施例的部分影像的示意圖。圖5A是本發明的一實施例的模板影像的示意圖。圖5B是本發明的一實施例的形變影像的示意圖。圖5C是本發明的一實施例的對稱影像的示意圖。圖5D是本發明的一實施例的卷積核的示意圖。圖6是本發明的一實施例的影像匹配的示意圖。

S210~S260:步驟

Claims

一種影像拼接校正裝置，包括：一儲存裝置，儲存多個模組；一處理裝置，耦接該儲存裝置，並執行該些模組，以進行以下影像處理：該處理裝置取得多個部分影像以及一模板影像，並且該處理裝置根據該模板影像產生多個卷積核，該處理裝置對該些卷積核分別進行多次影像調整，以產生多個形變影像，該處理裝置將該些形變影像分別與該些部分影像進行卷積運算，以取得多個相似性分數，並且該處理裝置根據該些相似性分數中的分別對應於該些部分影像的多個最高相似性分數來決定在該些部分影像中分別對應於該些最高相似性分數的多個區域，該處理裝置根據該些部分影像的該些區域的多個位置資訊進行影像拼接，以產生一拼接影像，其中該處理裝置根據多個影像範圍對該模板影像進行取樣，以產生該些卷積核。
如請求項1所述的影像拼接校正裝置，其中該些影像範圍彼此重疊，並且範圍大小依序遞減。
如請求項1所述的影像拼接校正裝置，其中該處理裝置根據不同影像調整參數對該些卷積核分別進行多次仿射變化處理，以產生該些形變影像。
如請求項1所述的影像拼接校正裝置，其中該些部分影像中分別包括對應於該模板影像的多個模板圖案，並且該處理裝置根據該些形變影像各別進行以下影像處理：該處理裝置將該形變影像分別與該些部分影像進行影像匹配，以取得對應的多個相似性分數。
如請求項4所述的影像拼接校正裝置，其中該處理裝置對該些部分影像各別進行以下影像處理：該處理裝置將該部分影像分割為一第一部分影像以及一第二部分影像，並且根據該形變影像產生一對稱影像，該處理裝置將該形變影像與該第一部分影像進行影像匹配，以取得對應的相似性分數，並且該處理裝置將該對稱影像與該第二部分影像進行影像匹配，以取得另一對應的相似性分數。
如請求項4所述的影像拼接校正裝置，其中該處理裝置根據一匹配範圍將該形變影像分別與該些部分影像進行影像匹配，其中該匹配範圍小於該些部分影像的影像範圍。
如請求項1所述的影像拼接校正裝置，其中該些部分影像同時由一影像擷取模組提供。
如請求項7所述的影像拼接校正裝置，其中該影像擷取模組包括多個魚眼攝影機，並且該些魚眼攝影機分別提供該些部分影像。
如請求項1所述的影像拼接校正裝置，其中該處理裝置根據該些部分影像的該些區域的該些位置資訊產生多個透視轉換矩陣，並且該處理裝置根據該些透視轉換矩陣將該些部分影像轉換為多個俯視影像，其中該處理裝置將該些俯視影像進行影像拼接，以產生該拼接影像。
一種影像拼接校正方法，包括：取得多個部分影像以及一模板影像；根據該模板影像產生多個卷積核；對該些卷積核分別進行多次影像調整，以產生多個形變影像；將該些形變影像分別與該些部分影像進行卷積運算，以取得多個相似性分數；根據該些相似性分數中的分別對應於該些部分影像的多個最高相似性分數來決定在該些部分影像中分別對應於該些最高相似性分數的多個區域；以及根據該些部分影像的該些區域的多個位置資訊進行影像拼接，以產生一拼接影像，其中產生該些卷積核的步驟包括：根據多個影像範圍對該模板影像進行取樣，以產生該些卷積核。
如請求項10所述的影像拼接校正方法，其中該些影像範圍彼此重疊，並且範圍大小依序遞減。
如請求項10所述的影像拼接校正方法，其中產生該些形變影像的步驟包括：根據不同影像調整參數對該些卷積核分別進行多次仿射變化處理，以產生該些形變影像。
如請求項10所述的影像拼接校正方法，其中該些部分影像中分別包括對應於該模板影像的多個模板圖案，並且該些形變影像各別用於進行以下影像處理：將該形變影像分別與該些部分影像進行影像匹配，以取得對應的多個相似性分數。
如請求項13所述的影像拼接校正方法，其中對該些部分影像各別進行以下影像處理：將該部分影像分割為一第一部分影像以及一第二部分影像，並且根據該形變影像產生一對稱影像；將該形變影像與該第一部分影像進行影像匹配，以取得對應的相似性分數；以及將該對稱影像與該第二部分影像進行影像匹配，以取得另一對應的相似性分數。
如請求項13所述的影像拼接校正方法，其中進行影像匹配的步驟包括：根據一匹配範圍將該形變影像分別與該些部分影像進行影像匹配，其中該匹配範圍小於該些部分影像的影像範圍。
如請求項10所述的影像拼接校正方法，還包括：透過一影像擷取模組提供該些部分影像。
如請求項16所述的影像拼接校正方法，其中該影像擷取模組包括多個魚眼攝影機，並且該些魚眼攝影機分別提供該些部分影像。
如請求項10所述的影像拼接校正方法，產生該拼接影像的步驟包括：根據該些部分影像的該些區域的該些位置資訊產生多個透視轉換矩陣；根據該些透視轉換矩陣將該些部分影像轉換為多個俯視影像；以及將該些俯視影像進行影像拼接，以產生該拼接影像。