TW201928870A

TW201928870A - 影像縫合方法及裝置

Info

Publication number: TW201928870A
Application number: TW106146009A
Authority: TW
Inventors: 黃仁猷
Original assignee: 聚星電子股份有限公司
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2019-07-16
Also published as: TWI661392B; US20190197665A1; US10650494B2

Abstract

本發明揭露一種影像縫合方法與一種影像縫合裝置，用來縫合一第一影像與一第二影像。影像縫合方法包含：根據該第一影像與該第二影像於一重疊區域中之像素值，計算複數個成本，其分別對應於該重疊區域中複數個位置；根據該複數個成本與該複數個位置間之相對距離，計算複數個前向正規化累積成本，其分別對應於該重疊區域中該複數個位置；根據該複數個前向正規化累積成本，決定該重疊區域中之一條縫線，該條縫線包含複數個縫線位置；以及基於該條縫線縫合該第一影像與該第二影像，以產生一縫合影像。

Description

影像縫合方法及裝置

本發明是關於影像處理，尤其是關於影像縫合（image stitching）。

影像縫合技術應用於將兩張影像組合以得到較大的影像。其中，當兩張影像中之同一物體由一移動中的相機所拍攝時，由於拍攝距離不同，該物體在兩張影像中會產生視差（parallax）；此外，當兩張影像中之同一物體由兩顆不同的鏡頭所拍攝時，例如魚眼鏡頭，該物體在兩張影像中的變形（distortion）程度不同。

當物體在兩張影像中有視差或是變形程度不同時，在習知的影像縫合技術中，縫線會穿過該物體，導致在縫合影像中該物體無法對準（misalignment），使得縫合影像的品質降低。因此有需要提出較佳的影像縫合技術以解決習知技術所面臨的問題。

鑑於先前技術之不足，本發明之一目的在於提供一種影像縫合方法及裝置，以提高縫合影像（stitched image）的品質。

本發明揭露一種影像縫合（image stitching）方法，用來縫合一第一影像與一第二影像，該方法包含：根據該第一影像與該第二影像於一重疊區域（overlapping areas）中之像素值，計算複數個成本（costs），其分別對應於該重疊區域中複數個位置；根據該複數個成本與該複數個位置間之相對距離，計算複數個前向正規化累積成本（forward regularized accumulative costs），其分別對應於該重疊區域中該複數個位置；根據該複數個前向正規化累積成本，決定該重疊區域中之一條縫線（seam），該條縫線包含複數個縫線位置；以及基於該條縫線縫合該第一影像與該第二影像，以產生一縫合影像（stitched image）。

本發明另揭露一種影像縫合（image stitching）裝置，用來縫合一第一影像與一第二影像，該裝置包含一成本計算單元、一累積成本計算單元、一縫線決定單元以及一縫合單元。該成本計算單元根據該第一影像與該第二影像於一重疊區域（overlapping area）中之像素值，計算複數個成本（costs），分別對應於該重疊區域中複數個位置。該累積成本計算單元根據該複數個成本與該複數個位置，計算複數個前向正規化累積成本（forward regularized accumulative costs），分別對應於該重疊區域中該複數個位置。該縫線決定單元根據該複數個前向正規化累積成本，決定該重疊區域中之一條縫線（seam）。該縫合單元基於該條縫線縫合該第一影像與該第二影像，以產生一縫合影像（stitched image）。

有關本發明的特徵、實作與功效，茲配合圖式作實施例詳細說明如下。

本發明的影像縫合方法由本發明的影像縫合裝置或其等效裝置執行。在一個實施例中，影像縫合裝置可以由具程式執行能力的計算電路（例如中央處理單元、微處理器、微控制器、數位訊號處理器等）與記憶體所構成。記憶體儲存複數個程式碼或程式指令。計算電路藉由執行該些程式碼或程式指令來實現本發明的影像縫合方法。

圖1係本發明影像縫合裝置之一實施例的功能方塊圖。影像縫合裝置100包含成本計算單元110、累積成本計算單元120、縫線決定單元130及縫合單元140。影像縫合裝置100用於將第一影像I1及第二影像I2之一重疊區域OA縫合。圖3為一重疊區域OA之示意圖，舉例來說，重疊區域OA可為一左右重疊區域，在其他實施例中，重疊區域OA可為一上下重疊區域。圖4為第一影像I1與第二影像I2在重疊區域OA之像素值的一範例，在此範例中，重疊區域包含10*10個像素，每個像素為8位元，像素值對應於灰階，但非用以限制本發明。舉例來說，在其他實施例中，重疊區域可包含10*1080個像素，每個像素可為10位元，像素值可對應於色彩空間（color space）的其中一個通道，例如R、G、B、Y、U或V。如圖4所示，第一影像I1在重疊區域OA例如包含一第一物體（以橫線條為底）及的背景（像素值為255的部分），第二影像I2在重疊區域OA例如包含一第二物體（以直線條為底）及背景（像素值為255的部分）。理想上，縫線不穿越物體可得到較佳的縫合影像品質，例如以灰色為底之像素作為縫線。

圖2為本發明影像縫合方法的一實施例的流程圖。請一併參閱圖1及圖2。首先，成本計算單元110根據第一影像I1於重疊區域OA中之像素值I_LO 及第二影像I2於重疊區域OA中之像素值I_RO ，計算複數個成本C（步驟S210）。在一實施例中，成本計算單元110可根據式(1)計算複數個成本C。(1) 其中，C(x,y)為對應於重疊區域OA中位置P=(x,y)的一成本， I_LO (x,y)為第一影像I1對應於重疊區域OA中位置P=(x,y)的像素值，I_RO (x,y)為第二影像I2對應於重疊區域OA中位置P=(x,y)的像素值。以圖4的重疊區域為例，、、，以此類推，成本計算單元110可產生如圖5所示之複數個成本C，分別對應於重疊區域OA中的複數個位置P=(x,y)，其中、。

接下來，累積成本計算單元120根據成本計算單元110所產生的該複數個成本C與該複數個位置間之相對距離，計算複數個前向正規化累積成本（forward regularized accumulative costs）Cum（步驟S220）。在一實施例中，成本計算單元110可根據式(2)計算該複數個前向正規化累積成本Cum。(2) 其中，為對應於重疊區域OA中位置P=(x,y)之前向正規化累積成本，為對應於重疊區域OA中位置P=(x,y)之成本，為重疊區域OA中位置P=(x,y)之一鄰近位置Pa=(x’,y’)之前向正規化累積成本，為位置P=與鄰近位置Pa=(x’,y’)間在x方向上距離之平方，為一權重。

在本實施例中，位置P=(x,y)之鄰近位置Pa=(x’,y’)係為在位置P=(x,y)上方之一列。以圖5為例，x’=1~10、y’=y-1，舉例來說，對重疊區域OA中第一列之一位置P=(x,y)=(1,1)而言，由於y’=1-1=0，因此沒有鄰近位置Pa，故權重Cum(1,1)=C(1,1)=10000；相似地，對重疊區域OA中第一列之其他位置而言，Cum(2,1)=C(2,1)=0、…、Cum(10,1)=C(10,1)=10000。對重疊區域OA中第二列之一位置P=(x,y)=(1,2)而言，由於y’=2-1=1，因此鄰近位置Pa=(x’,y’)=(1,1)、(2,1)、…(10,1)，又為例，)=；=，以此類推，又在所有鄰近位置Pa=(x’,y’)=(1,1)、(2,1)、…(10,1)中，Pa=(x’,y’)=(2,1)的(最小，因此；相似地，位置P=(x,y)=(2,2)之鄰近位置Pa=(x’,y’)=(1,1)、(2,1)、…(10,1)，其中Pa=(x’,y’)=(2,1)的(最小，因此。以此類推，累積成本計算單元120可產生如圖6所示之複數個前向正規化累積成本，分別對應於該重疊區域OA中的複數個位置。由方程式(2)可知，在本實施例中，前向正規化累積成本Cum具有一空間正規化項（spatial regularization term），亦即，在其他實施例中，該空間正規化項可用來取代。

請注意，上述權重的數值與空間正規化項及影像品質有關，權重較佳地可以依據表1進行設定，然而表1僅做為範例，非用以限制本發明，權重可依據實際應用適當地調整。表1：

接下來，縫線決定單元130根據該複數個前向正規化累積成本Cum，決定該重疊區域OA中之一條縫線（seam）（步驟S230），該條縫線包含複數個縫線位置P_SL 。

舉例來說，請參閱圖7，圖7為步驟S230的細部流程圖。首先，縫線決定單元130根據一排前向正規化累積成本Cum，決定該條縫線之一縫線位置P_SL （步驟S2301）。以圖6為例，縫線決定單元130自最後被計算出的一排（亦即第10列）前向正規化累積成本Cum(1,10)、Cum(2,10)、…、Cum(10,10)中找出一最小值Cum(1,10)，然後選擇對應於Cum(1,10)之一位置P=(1,10)作為第10列縫線位置P_SL =(x’’,y’’)=(1,10)。

接下來，縫線決定單元130根據該縫線位置P_SL ，計算一排後向正規化累積成本（backward regularized accumulative costs）Cumb（步驟S2302）。在一實施例中，縫線決定單元130可根據式(3)計算後向正規化累積成本Cumb。(3) 其中，為對應於重疊區域OA中位置P=(x,y)之後向正規化累積成本，為對應於重疊區域OA中位置P=(x,y)之前向正規化累積成本，為位置P=與縫線位置P_SL =(x’’,y’’)間在x方向上距離之平方，為一權重。以圖6為例，根據第10列縫線位置P_SL 可決定第9列之後向正規化累積成本Cumb，詳細來說，第10列縫線位置P_SL =(x’’,y’’)=(1,10)，又為例，根據式(3)可得出Cumb(1,9)=Cum(1,9)+10*(1-1)² =33534+0=33534；Cumb(2,9)=Cum(2,9)+10*(2-1)² =360+10=370，以此類推，縫線決定單元130可產生第9列之後向正規化累積成本b(x,9)，x=1~10，如圖8所示。由方程式(3)可知，在本實施例中，後向正規化累積成本Cumb亦具有一空間正規化項，亦即，在其他實施例中，該空間正規化項可用來取代。

接下來，縫線決定單元130根據該排後向正規化累積成本Cumb，決定該條縫線之下一縫線位置P_SL （步驟S2303）。以圖8為例，縫線決定單元130自第9列後向正規化累積成本Cumb(1,9)、Cumb(2,9)、…、Cumb(10,9)中找出一最小值Cumb(2,9)，然後選擇對應於Cumb(2,9)之一位置P=(2,9)作為第9列之縫線位置P_SL =(x’’,y’’)=(2,9)。請注意，如果一列後向正規化累積成本Cumb中有兩個或以上的最小值，可任意選擇其中之一所對應之位置作為該列之縫線位置P_SL 。

接下來，縫線決定單元130根據第9列縫線位置可第8列之後向正規化累積成本Cumb（回到步驟S2302），再根據第8列之後向正規化累積成本Cumb決定第8列縫線位置（步驟S2303），以此類推，直到重疊區域OA中每一列之縫線位置都被決定為止。

回到圖1及圖2，縫線決定單元130完成步驟S230後，縫合單元140基於該條縫線縫合該第一影像I1與該第二影像I2，以產生縫合影像IS（步驟S240）。繼續以圖4為例，縫合影像IS如圖9所示，其中因為第一影像I1為左側的影像及第二影像I2為右側的影像，所以縫合影像IS中縫線左側的像素係取自第一影像I1（以橫線條為底），縫線右側的像素係取自第二影像I2（以直線條為底），而縫線上的像素則可以取自第一影像I1或第二影像I2（以灰色為底）。

如圖9所示，縫合影像IS之縫線未穿過第一影像I1之第一物體與第二影像I2之第二物體，可得到較佳的縫合影像品質。這是由於在本發明中之前向正規化累積成本Cum與後向正規化累積成本Cumb均具有空間正規化項，換句話說位置間相對距離愈遠成本愈高，此可有效解決習知技術中成本未考慮位置間相對距離，造成縫線會穿過該物體，導致在縫合影像中該物體無法對準，縫合影像的品質低落的問題，如圖13所示，圖13為基於習知技術所得到的縫合影像。

圖10係本發明影像縫合裝置之另一實施例的功能方塊圖。影像縫合裝置800包含成本計算單元110、累積成本計算單元120、記錄單元510、縫線決定單元520及縫合單元140。圖11為本發明影像縫合方法的另一實施例的流程圖，圖11的流程係對應於圖10的裝置。成本計算單元110及累積成本計算單元120分別執行步驟S210及S220，此部分已於先前的實施例說明過，不再贅述。需注意的是，當累積成本計算單元120根據方程式(2)計算複數個正規化累積成本時，係輸出對應於每一個位置使方程式(2)中具有最小值的。接下來，記錄單元510根據對應於每一個的記錄該複數個前向正規化累積成本之複數個來源位置（步驟S910）。以下以圖12為例說明記錄單元510如何記錄來源位置。

圖12顯示複數個正規化累積成本及相對應之複數個來源Ps。以圖5為例，對重疊區域OA中第一列而言，正規化累積成本係直接複製相對應位置的複數個成本，故無對應的來源位置Ps。對重疊區域OA中第二列而言，當時具有最小值，故的來源位置Ps=(2,1)，其餘依此類推。實作上，因為來源位置必定為前一排，故記錄單元510僅需記錄使具有最小值的即可。累積成本計算單元120每根據方程式(2)計算得到一個位置正規化累積成本時，即輸出對應於該位置的。因此，當步驟S910完成後，記錄單元510即可產生如圖12右邊所示的複數個來源位置Ps，其分別對應於重疊區域OA中的該複數個位置。

接下來，縫線決定單元520根據該複數個前向正規化累積成本，決定該重疊區域中之一條縫線（步驟S920）。更明確地說，此步驟包含子步驟S2301、S9202。步驟S2301已於圖7的說明中詳述，故不再贅述。以圖12為例，於步驟S2301中，縫線決定單元520根據第10列之最小值，決定第10列縫線位置P_SL =(x’’,y’’)=(1,10)。接著縫線決定單元520選擇縫線位置所對應之一來源位置作為一下一縫線像素（步驟S9202）。在圖12的範例中，因為根據記錄單元510所記錄之來源位置，縫線位置P_SL =(1,10)的來源位置Ps的x座標為2(亦即x’=2)，故縫線決定單元520在步驟S9202會選擇下一縫線位置P_SL =(2,9)，接下來以此類推，直到重疊區域OA中每一列之縫線位置都被決定為止。以圖12為例，最後可得到由灰色標示之位置所組成的縫線。

接下來，縫合單元140基於該條縫線縫合該第一影像I1與該第二影像I2，以產生縫合影像IS（步驟S240）。此步驟已於圖2的說明中詳述，故不再贅述。由於縫線決定單元520於步驟S920所得到的縫線與前一實施例的縫線決定單元130所得到的縫線相同（如圖8所示），所以本實施例最後得到縫合影像的重疊區域亦如圖9所示。

在上述實施例中，「一排」係指「一列」，但非用以限制本發明，舉例來說，在其他實施例中，「一排」可指「一欄」。

雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇。

100、800‧‧‧影像縫合裝置

110‧‧‧成本計算單元

120‧‧‧累積成本計算單元

130、520‧‧‧縫線決定單元

140‧‧‧縫合單元

510‧‧‧記錄單元

S210～S240、S2301～S2303、S910、S920、S9202‧‧‧步驟

［圖1］為本發明影像縫合裝置之一實施例的功能方塊圖；［圖2］為本發明影像縫合方法的一實施例的流程圖；［圖3］為一重疊區域OA之示意圖；［圖4］為第一影像與第二影像在重疊區域之像素值的一範例；［圖5］顯示複數個成本C；［圖6］顯示複數個前向正規化累積成本；［圖7］為步驟S230的細部流程圖；［圖8］顯示複數個後向正規化累積成本；［圖9］顯示對應於重疊部分的縫合影像；［圖10］為本發明影像縫合裝置之另一實施例的功能方塊圖；［圖11］為本發明影像縫合方法的另一實施例的流程圖；［圖12］顯示複數個正規化累積成本及相對應之複數個來源；以及［圖13］基於習知技術所得到的縫合影像。

Claims

一種影像縫合（image stitching）方法，用來縫合一第一影像與一第二影像，該方法包含：根據該第一影像與該第二影像於一重疊區域（overlapping areas）中之像素值，計算複數個成本（costs），其分別對應於該重疊區域中複數個位置；根據該複數個成本與該複數個位置間之相對距離，計算複數個前向正規化累積成本（forward regularized accumulative costs），其分別對應於該重疊區域中該複數個位置；根據該複數個前向正規化累積成本，決定該重疊區域中之一條縫線（seam），該條縫線包含複數個縫線位置；以及基於該條縫線縫合該第一影像與該第二影像，以產生一縫合影像（stitched image）。
如申請專利範圍第1項所述之影像縫合方法，其中一位置之一前向正規化累積成本係相關於該位置與一鄰近位置間之一距離分量。
如申請專利範圍第2項所述之影像縫合方法，其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一平方。
如申請專利範圍第2項所述之影像縫合方法，其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一絕對值。
如申請專利範圍第1項所述之影像縫合方法，其中根據該複數個前向正規化累積成本，決定該重疊區域中該條縫線之步驟包含：根據一排前向正規化累積成本，決定該條縫線之一縫線位置；根據該縫線位置，計算一排後向正規化累積成本（backward regularized accumulative costs）；自該排後向正規化累積成本中，找出一最小後向正規化累積成本；以及選擇該最小後向正規化累積成本所對應之一位置作為該條縫線之一下一縫線位置。
如申請專利範圍第1項所述之影像縫合方法，更包含：記錄該複數個前向正規化累積成本之複數個來源位置。
如申請專利範圍第6項所述之影像縫合方法，其中根據該複數個前向正規化累積成本，決定該重疊區域中該條縫線之步驟包含：根據一排前向正規化累積成本，決定該條縫線之一縫線位置；以及選擇該縫線位置所對應之一來源位置作為該條縫線之一下一縫線位置。
一種影像縫合（image stitching）裝置，用來縫合一第一影像與一第二影像，該裝置包含：一成本計算單元，用來根據該第一影像與該第二影像於一重疊區域（overlapping area）中之像素值，計算複數個成本（costs），分別對應於該重疊區域中複數個位置；一累積成本計算單元，根據該複數個成本與該複數個位置，計算複數個前向正規化累積成本（forward regularized accumulative costs），分別對應於該重疊區域中該複數個位置；一縫線決定單元，根據該複數個前向正規化累積成本，決定該重疊區域中之一條縫線（seam）；以及一縫合單元，基於該條縫線縫合該第一影像與該第二影像，以產生一縫合影像（stitched image）。
如申請專利範圍第8項所述之影像縫合裝置，其中一位置之一前向正規化累積成本係相關於該位置與一鄰近位置間之一距離分量。
如申請專利範圍第9項所述之影像縫合裝置，其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一平方。
如申請專利範圍第9項所述之影像縫合裝置，其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一絕對值。
如申請專利範圍第8項所述之影像縫合裝置，其中該縫線決定單元係執行以下步驟以根據該複數個前向正規化累積成本決定該重疊區域中該條縫線：根據一排前向正規化累積成本，決定該條縫線之一縫線位置；根據該縫線位置，計算一排後向正規化累積成本（backward regularized accumulative costs）；自該排後向正規化累積成本中，找出一最小後向正規化累積成本；以及選擇該最小後向正規化累積成本所對應之一位置作為該條縫線之一下一縫線位置。
如申請專利範圍第8項所述之影像縫合裝置，更包含：一記錄單元，用來記錄該複數個前向正規化累積成本之複數個來源位置。
如申請專利範圍第13項所述之影像縫合裝置，其中該縫線決定單元係執行以下步驟以根據該複數個前向正規化累積成本，決定該重疊區域中該條縫線：根據一排前向正規化累積成本，決定該條縫線之一縫線位置；以及選擇該縫線位置所對應之一來源位置作為該條縫線之一下一縫線位置。