TWI661392B - 影像縫合方法及裝置 - Google Patents

影像縫合方法及裝置 Download PDF

Info

Publication number
TWI661392B
TWI661392B TW106146009A TW106146009A TWI661392B TW I661392 B TWI661392 B TW I661392B TW 106146009 A TW106146009 A TW 106146009A TW 106146009 A TW106146009 A TW 106146009A TW I661392 B TWI661392 B TW I661392B
Authority
TW
Taiwan
Prior art keywords
image
img
stitching
costs
suture
Prior art date
Application number
TW106146009A
Other languages
English (en)
Other versions
TW201928870A (zh
Inventor
黃仁猷
Original Assignee
聚星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚星電子股份有限公司 filed Critical 聚星電子股份有限公司
Priority to TW106146009A priority Critical patent/TWI661392B/zh
Priority to US16/056,747 priority patent/US10650494B2/en
Application granted granted Critical
Publication of TWI661392B publication Critical patent/TWI661392B/zh
Publication of TW201928870A publication Critical patent/TW201928870A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本發明揭露一種影像縫合方法與一種影像縫合裝置,用來縫合一第一影像與一第二影像。影像縫合方法包含:根據該第一影像與該第二影像於一重疊區域中之像素值,計算複數個成本,其分別對應於該重疊區域中複數個位置;根據該複數個成本與該複數個位置間之相對距離,計算複數個前向正規化累積成本,其分別對應於該重疊區域中該複數個位置;根據該複數個前向正規化累積成本,決定該重疊區域中之一條縫線,該條縫線包含複數個縫線位置;以及基於該條縫線縫合該第一影像與該第二影像,以產生一縫合影像。

Description

<title lang="zh">影像縫合方法及裝置</title><title lang="en">Image stitching method and device</title><technical-field><p>本發明是關於影像處理,尤其是關於影像縫合(image stitching)。</p></technical-field><background-art><p>影像縫合技術應用於將兩張影像組合以得到較大的影像。其中,當兩張影像中之同一物體由一移動中的相機所拍攝時,由於拍攝距離不同,該物體在兩張影像中會產生視差(parallax);此外,當兩張影像中之同一物體由兩顆不同的鏡頭所拍攝時,例如魚眼鏡頭,該物體在兩張影像中的變形(distortion)程度不同。</p><p>當物體在兩張影像中有視差或是變形程度不同時,在習知的影像縫合技術中,縫線會穿過該物體,導致在縫合影像中該物體無法對準(misalignment),使得縫合影像的品質降低。因此有需要提出較佳的影像縫合技術以解決習知技術所面臨的問題。</p></background-art><disclosure><p>鑑於先前技術之不足,本發明之一目的在於提供一種影像縫合方法及裝置,以提高縫合影像(stitched image)的品質。</p><p>本發明揭露一種影像縫合(image stitching)方法,用來縫合一第一影像與一第二影像,該方法包含:根據該第一影像與該第二影像於一重疊區域(overlapping areas)中之像素值,計算複數個成本(costs),其分別對應於該重疊區域中複數個位置;根據該複數個成本與該複數個位置間之相對距離,計算複數個前向正規化累積成本(forward regularized accumulative costs),其分別對應於該重疊區域中該複數個位置;根據該複數個前向正規化累積成本,決定該重疊區域中之一條縫線(seam),該條縫線包含複數個縫線位置;以及基於該條縫線縫合該第一影像與該第二影像,以產生一縫合影像(stitched image)。</p><p>本發明另揭露一種影像縫合(image stitching)裝置,用來縫合一第一影像與一第二影像,該裝置包含一成本計算單元、一累積成本計算單元、一縫線決定單元以及一縫合單元。該成本計算單元根據該第一影像與該第二影像於一重疊區域(overlapping area)中之像素值,計算複數個成本(costs),分別對應於該重疊區域中複數個位置。該累積成本計算單元根據該複數個成本與該複數個位置,計算複數個前向正規化累積成本(forward regularized accumulative costs),分別對應於該重疊區域中該複數個位置。該縫線決定單元根據該複數個前向正規化累積成本,決定該重疊區域中之一條縫線(seam)。該縫合單元基於該條縫線縫合該第一影像與該第二影像,以產生一縫合影像(stitched image)。</p><p>有關本發明的特徵、實作與功效,茲配合圖式作實施例詳細說明如下。</p></disclosure><mode-for-invention><p>本發明的影像縫合方法由本發明的影像縫合裝置或其等效裝置執行。在一個實施例中,影像縫合裝置可以由具程式執行能力的計算電路(例如中央處理單元、微處理器、微控制器、數位訊號處理器等)與記憶體所構成。記憶體儲存複數個程式碼或程式指令。計算電路藉由執行該些程式碼或程式指令來實現本發明的影像縫合方法。</p><p>圖1係本發明影像縫合裝置之一實施例的功能方塊圖。影像縫合裝置100包含成本計算單元110、累積成本計算單元120、縫線決定單元130及縫合單元140。影像縫合裝置100用於將第一影像I1及第二影像I2之一重疊區域OA縫合。圖3為一重疊區域OA之示意圖,舉例來說,重疊區域OA可為一左右重疊區域,在其他實施例中,重疊區域OA可為一上下重疊區域。圖4為第一影像I1與第二影像I2在重疊區域OA之像素值的一範例,在此範例中,重疊區域包含10*10個像素,每個像素為8位元,像素值對應於灰階,但非用以限制本發明。舉例來說,在其他實施例中,重疊區域可包含10*1080個像素,每個像素可為10位元,像素值可對應於色彩空間(color space)的其中一個通道,例如R、G、B、Y、U或V。如圖4所示,第一影像I1在重疊區域OA例如包含一第一物體(以橫線條為底)及的背景(像素值為255的部分),第二影像I2在重疊區域OA例如包含一第二物體(以直線條為底)及背景(像素值為255的部分)。理想上,縫線不穿越物體可得到較佳的縫合影像品質,例如以灰色為底之像素作為縫線。</p><p>圖2為本發明影像縫合方法的一實施例的流程圖。請一併參閱圖1及圖2。首先,成本計算單元110根據第一影像I1於重疊區域OA中之像素值I <sub>LO</sub>及第二影像I2於重疊區域OA中之像素值I <sub>RO</sub>,計算複數個成本C(步驟S210)。在一實施例中,成本計算單元110可根據式(1)計算複數個成本C。 <img he="44" wi="265" img-format="jpg" id="i0003" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0001.tif" />(1) 其中,C(x,y)為對應於重疊區域OA中位置P=(x,y)的一成本, I <sub>LO</sub>(x,y)為第一影像I1對應於重疊區域OA中位置P=(x,y)的像素值,I <sub>RO</sub>(x,y)為第二影像I2對應於重疊區域OA中位置P=(x,y)的像素值。以圖4的重疊區域為例, <img he="44" wi="259" img-format="jpg" id="i0003" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0002.tif" />、 <img he="44" wi="218" img-format="jpg" id="i0003" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0003.tif" />、 <img he="44" wi="249" img-format="jpg" id="i0003" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0004.tif" />,以此類推,成本計算單元110可產生如圖5所示之複數個成本C,分別對應於重疊區域OA中的複數個位置P=(x,y),其中 <img he="22" wi="89" img-format="jpg" id="i0003" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0005.tif" />、 <img he="22" wi="89" img-format="jpg" id="i0003" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0006.tif" />。 </p><p>接下來,累積成本計算單元120根據成本計算單元110所產生的該複數個成本C與該複數個位置間之相對距離,計算複數個前向正規化累積成本(forward regularized accumulative costs)Cum(步驟S220)。在一實施例中,成本計算單元110可根據式(2)計算該複數個前向正規化累積成本Cum。 <img he="44" wi="410" img-format="jpg" id="i0004" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0007.tif" />(2) 其中, <img he="22" wi="77" img-format="jpg" id="i0004" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0008.tif" />為對應於重疊區域OA中位置P=(x,y)之前向正規化累積成本, <img he="22" wi="51" img-format="jpg" id="i0004" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0009.tif" />為對應於重疊區域OA中位置P=(x,y)之成本, <img he="22" wi="90" img-format="jpg" id="i0004" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0010.tif" />為重疊區域OA中位置P=(x,y)之一鄰近位置Pa=(x’,y’)之前向正規化累積成本, <img he="44" wi="71" img-format="jpg" id="i0004" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0011.tif" />為位置P= <img he="22" wi="41" img-format="jpg" id="i0004" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0012.tif" />與鄰近位置Pa=(x’,y’)間在x方向上距離之平方, <img he="22" wi="11" img-format="jpg" id="i0004" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0013.tif" />為一權重。 </p><p>在本實施例中,位置P=(x,y)之鄰近位置Pa=(x’,y’)係為在位置P=(x,y)上方之一列。以圖5為例,x’=1~10、y’=y-1,舉例來說,對重疊區域OA中第一列之一位置P=(x,y)=(1,1)而言,由於y’=1-1=0,因此沒有鄰近位置Pa,故權重Cum(1,1)=C(1,1)=10000;相似地,對重疊區域OA中第一列之其他位置而言,Cum(2,1)=C(2,1)=0、…、Cum(10,1)=C(10,1)=10000。對重疊區域OA中第二列之一位置P=(x,y)=(1,2)而言,由於y’=2-1=1,因此鄰近位置Pa=(x’,y’)=(1,1)、(2,1)、…(10,1),又 <img he="44" wi="82" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0014.tif" />為例, <img he="44" wi="183" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0015.tif" />)= <img he="44" wi="259" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0016.tif" />; <img he="44" wi="191" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0017.tif" />= <img he="44" wi="187" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0018.tif" />,以此類推,又在所有鄰近位置Pa=(x’,y’)=(1,1)、(2,1)、…(10,1)中,Pa=(x’,y’)=(2,1)的( <img he="44" wi="245" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0019.tif" />最小,因此 <img he="22" wi="389" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0020.tif" />;相似地,位置P=(x,y)=(2,2)之鄰近位置Pa=(x’,y’)=(1,1)、(2,1)、…(10,1),其中Pa=(x’,y’)=(2,1)的( <img he="44" wi="601" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0021.tif" />最小,因此 <img he="22" wi="285" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0022.tif" />。以此類推,累積成本計算單元120可產生如圖6所示之複數個前向正規化累積成本 <img he="22" wi="37" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0023.tif" />,分別對應於該重疊區域OA中的複數個位置。由方程式(2)可知,在本實施例中,前向正規化累積成本Cum具有一空間正規化項(spatial regularization term),亦即 <img he="44" wi="79" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0024.tif" />,在其他實施例中,該空間正規化項可用 <img he="22" wi="67" img-format="jpg" id="i0005" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0025.tif" />來取代。 </p><p>請注意,上述權重 <img he="22" wi="11" img-format="jpg" id="i0006" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0013.tif" />的數值與空間正規化項及影像品質有關,權重 <img he="22" wi="11" img-format="jpg" id="i0006" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0013.tif" />較佳地可以依據表1進行設定,然而表1僅做為範例,非用以限制本發明,權重 <img he="22" wi="11" img-format="jpg" id="i0006" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0013.tif" />可依據實際應用適當地調整。 表1: <tables><table border="1" bordercolor="#000000" width="85%"><tbody><tr><td> 空間正規化項 影像品質 </td><td><img wi="69" he="44" file="02_image053.tif" img-format="tif"/></img></td><td><img wi="57" he="22" file="02_image055.tif" img-format="tif"/></img></td></tr><tr><td> 8位元 </td><td> 灰階 </td><td><img wi="55" he="22" file="02_image057.tif" img-format="tif"/></img></td><td><img wi="45" he="22" file="02_image059.tif" img-format="tif"/></img></td></tr><tr><td> 彩色 </td><td><img wi="101" he="22" file="02_image061.tif" img-format="tif"/></img></td><td><img wi="90" he="22" file="02_image063.tif" img-format="tif"/></img></td></tr><tr><td> 10位元 </td><td> 灰階 </td><td><img wi="55" he="22" file="02_image065.tif" img-format="tif"/></img></td><td><img wi="55" he="22" file="02_image067.tif" img-format="tif"/></img></td></tr><tr><td> 彩色 </td><td><img wi="111" he="22" file="02_image069.tif" img-format="tif"/></img></td><td><img wi="101" he="22" file="02_image071.tif" img-format="tif"/></img></td></tr></tbody></table></tables></p><p>接下來,縫線決定單元130根據該複數個前向正規化累積成本Cum,決定該重疊區域OA中之一條縫線(seam)(步驟S230),該條縫線包含複數個縫線位置P <sub>SL</sub>。 </p><p>舉例來說,請參閱圖7,圖7為步驟S230的細部流程圖。首先,縫線決定單元130根據一排前向正規化累積成本Cum,決定該條縫線之一縫線位置P <sub>SL</sub>(步驟S2301)。以圖6為例,縫線決定單元130自最後被計算出的一排(亦即第10列)前向正規化累積成本Cum(1,10)、Cum(2,10)、…、Cum(10,10)中找出一最小值Cum(1,10),然後選擇對應於Cum(1,10)之一位置P=(1,10)作為第10列縫線位置P <sub>SL</sub>=(x’’,y’’)=(1,10)。 </p><p>接下來,縫線決定單元130根據該縫線位置P <sub>SL</sub>,計算一排後向正規化累積成本(backward regularized accumulative costs)Cumb(步驟S2302)。在一實施例中,縫線決定單元130可根據式(3)計算後向正規化累積成本Cumb。 <img he="44" wi="295" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0029.tif" />(3) 其中, <img he="22" wi="87" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0030.tif" />為對應於重疊區域OA中位置P=(x,y)之後向正規化累積成本, <img he="22" wi="77" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0008.tif" />為對應於重疊區域OA中位置P=(x,y)之前向正規化累積成本, <img he="44" wi="74" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0032.tif" />為位置P= <img he="22" wi="41" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0012.tif" />與縫線位置P <sub>SL</sub>=(x’’,y’’)間在x方向上距離之平方, <img he="22" wi="11" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0013.tif" />為一權重。以圖6為例,根據第10列縫線位置P <sub>SL</sub>可決定第9列之後向正規化累積成本Cumb,詳細來說,第10列縫線位置P <sub>SL</sub>=(x’’,y’’)=(1,10),又 <img he="44" wi="82" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0014.tif" />為例,根據式(3)可得出Cumb(1,9)=Cum(1,9)+10*(1-1) <sup>2</sup>=33534+0=33534;Cumb(2,9)=Cum(2,9)+10*(2-1) <sup>2</sup>=360+10=370,以此類推,縫線決定單元130可產生第9列之後向正規化累積成本 <img he="22" wi="37" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0023.tif" />b(x,9),x=1~10,如圖8所示。由方程式(3)可知,在本實施例中,後向正規化累積成本Cumb亦具有一空間正規化項,亦即 <img he="44" wi="84" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0037.tif" />,在其他實施例中,該空間正規化項可用 <img he="22" wi="72" img-format="jpg" id="i0009" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0038.tif" />來取代。 </p><p>接下來,縫線決定單元130根據該排後向正規化累積成本Cumb,決定該條縫線之下一縫線位置P <sub>SL</sub>(步驟S2303)。以圖8為例,縫線決定單元130自第9列後向正規化累積成本Cumb(1,9)、Cumb(2,9)、…、Cumb(10,9)中找出一最小值Cumb(2,9),然後選擇對應於Cumb(2,9)之一位置P=(2,9)作為第9列之縫線位置P <sub>SL</sub>=(x’’,y’’)=(2,9)。請注意,如果一列後向正規化累積成本Cumb中有兩個或以上的最小值,可任意選擇其中之一所對應之位置作為該列之縫線位置P <sub>SL</sub>。 </p><p>接下來,縫線決定單元130根據第9列縫線位置可第8列之後向正規化累積成本Cumb(回到步驟S2302),再根據第8列之後向正規化累積成本Cumb決定第8列縫線位置(步驟S2303),以此類推,直到重疊區域OA中每一列之縫線位置都被決定為止。</p><p>回到圖1及圖2,縫線決定單元130完成步驟S230後,縫合單元140基於該條縫線縫合該第一影像I1與該第二影像I2,以產生縫合影像IS(步驟S240)。繼續以圖4為例,縫合影像IS如圖9所示,其中因為第一影像I1為左側的影像及第二影像I2為右側的影像,所以縫合影像IS中縫線左側的像素係取自第一影像I1(以橫線條為底),縫線右側的像素係取自第二影像I2(以直線條為底),而縫線上的像素則可以取自第一影像I1或第二影像I2(以灰色為底)。</p><p>如圖9所示,縫合影像IS之縫線未穿過第一影像I1之第一物體與第二影像I2之第二物體,可得到較佳的縫合影像品質。這是由於在本發明中之前向正規化累積成本Cum與後向正規化累積成本Cumb均具有空間正規化項,換句話說位置間相對距離愈遠成本愈高,此可有效解決習知技術中成本未考慮位置間相對距離,造成縫線會穿過該物體,導致在縫合影像中該物體無法對準,縫合影像的品質低落的問題,如圖13所示,圖13為基於習知技術所得到的縫合影像。</p><p>圖10係本發明影像縫合裝置之另一實施例的功能方塊圖。影像縫合裝置800包含成本計算單元110、累積成本計算單元120、記錄單元510、縫線決定單元520及縫合單元140。圖11為本發明影像縫合方法的另一實施例的流程圖,圖11的流程係對應於圖10的裝置。成本計算單元110及累積成本計算單元120分別執行步驟S210及S220,此部分已於先前的實施例說明過,不再贅述。需注意的是,當累積成本計算單元120根據方程式(2)計算複數個正規化累積成本 <img he="22" wi="37" img-format="jpg" id="i0014" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0023.tif" />時,係輸出對應於每一個位置使方程式(2)中 <img he="44" wi="204" img-format="jpg" id="i0014" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0040.tif" />具有最小值的 <img he="22" wi="15" img-format="jpg" id="i0014" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0041.tif" />。接下來,記錄單元510根據對應於每一個的 <img he="22" wi="15" img-format="jpg" id="i0014" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0041.tif" />記錄該複數個前向正規化累積成本之複數個來源位置(步驟S910)。以下以圖12為例說明記錄單元510如何記錄來源位置。 </p><p>圖12顯示複數個正規化累積成本 <img he="22" wi="37" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0023.tif" />及相對應之複數個來源 <img he="44" wi="43" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0044.tif" />Ps。以圖5為例,對重疊區域OA中第一列而言,正規化累積成本 <img he="22" wi="37" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0023.tif" />係直接複製相對應位置的複數個成本 <img he="22" wi="11" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0046.tif" />,故無對應的來源位置Ps。對重疊區域OA中第二列而言,當 <img he="22" wi="50" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0047.tif" />時 <img he="44" wi="204" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0040.tif" />具有最小值,故 <img he="22" wi="77" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0049.tif" />的來源位置Ps=(2,1),其餘依此類推。實作上,因為來源位置必定為前一排,故記錄單元510僅需記錄使 <img he="44" wi="204" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0040.tif" />具有最小值的 <img he="22" wi="15" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0041.tif" />即可。累積成本計算單元120每根據方程式(2)計算得到一個位置正規化累積成本 <img he="22" wi="37" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0023.tif" />時,即輸出對應於該位置的 <img he="22" wi="15" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0041.tif" />。因此,當步驟S910完成後,記錄單元510即可產生如圖12右邊所示的複數個來源位置Ps,其分別對應於重疊區域OA中的該複數個位置。 </p><p>接下來,縫線決定單元520根據該複數個前向正規化累積成本,決定該重疊區域中之一條縫線(步驟S920)。更明確地說,此步驟包含子步驟S2301、S9202。步驟S2301已於圖7的說明中詳述,故不再贅述。以圖12為例,於步驟S2301中,縫線決定單元520根據 <img he="22" wi="87" img-format="jpg" id="i0016" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0054.tif" />第10列之最小值,決定第10列縫線位置P <sub>SL</sub>=(x’’,y’’)=(1,10)。接著縫線決定單元520選擇縫線位置所對應之一來源位置作為一下一縫線像素(步驟S9202)。在圖12的範例中,因為根據記錄單元510所記錄之來源位置,縫線位置P <sub>SL</sub>=(1,10)的來源位置Ps的x座標為2(亦即x’=2),故縫線決定單元520在步驟S9202會選擇下一縫線位置P <sub>SL</sub>=(2,9),接下來以此類推,直到重疊區域OA中每一列之縫線位置都被決定為止。以圖12為例,最後可得到由灰色標示之位置所組成的縫線。 </p><p>接下來,縫合單元140基於該條縫線縫合該第一影像I1與該第二影像I2,以產生縫合影像IS(步驟S240)。此步驟已於圖2的說明中詳述,故不再贅述。由於縫線決定單元520於步驟S920所得到的縫線與前一實施例的縫線決定單元130所得到的縫線相同(如圖8所示),所以本實施例最後得到縫合影像的重疊區域亦如圖9所示。</p><p>在上述實施例中,「一排」係指「一列」,但非用以限制本發明,舉例來說,在其他實施例中,「一排」可指「一欄」。</p><p>雖然本發明之實施例如上所述,然而該些實施例並非用來限定本發明,本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化,凡此種種變化均可能屬於本發明所尋求之專利保護範疇。</p></mode-for-invention><description-of-drawings><description-of-element><p>100、800‧‧‧影像縫合裝置</p><p> 110‧‧‧成本計算單元</p><p> 120‧‧‧累積成本計算單元</p><p> 130、520‧‧‧縫線決定單元</p><p> 140‧‧‧縫合單元</p><p> 510‧‧‧記錄單元</p><p> S210~S240、S2301~S2303、S910、S920、S9202‧‧‧步驟</p></description-of-element><p>[圖1]為本發明影像縫合裝置之一實施例的功能方塊圖; [圖2]為本發明影像縫合方法的一實施例的流程圖; [圖3]為一重疊區域OA之示意圖; [圖4]為第一影像與第二影像在重疊區域之像素值的一範例; [圖5]顯示複數個成本C; [圖6]顯示複數個前向正規化累積成本; [圖7]為步驟S230的細部流程圖; [圖8]顯示複數個後向正規化累積成本; [圖9]顯示對應於重疊部分的縫合影像; [圖10]為本發明影像縫合裝置之另一實施例的功能方塊圖; [圖11]為本發明影像縫合方法的另一實施例的流程圖; [圖12]顯示複數個正規化累積成本及相對應之複數個來源 <img he="44" wi="43" img-format="jpg" id="i0001" img-content="drawing" orientation="portrait" inline="no" file="TWI661392B_D0044.tif" />;以及 [圖13]基於習知技術所得到的縫合影像。 </p></description-of-drawings><bio-deposit /><sequence-list-text />

Claims (14)

  1. 一種影像縫合(image stitching)方法,用來縫合一第一影像與一第二影像,該方法包含: 根據該第一影像與該第二影像於一重疊區域(overlapping areas)中之像素值,計算複數個成本(costs),其分別對應於該重疊區域中複數個位置; 根據該複數個成本與該複數個位置間之相對距離,計算複數個前向正規化累積成本(forward regularized accumulative costs),其分別對應於該重疊區域中該複數個位置; 根據該複數個前向正規化累積成本,決定該重疊區域中之一條縫線(seam),該條縫線包含複數個縫線位置;以及 基於該條縫線縫合該第一影像與該第二影像,以產生一縫合影像(stitched image)。
  2. 如申請專利範圍第1項所述之影像縫合方法,其中一位置之一前向正規化累積成本係相關於該位置與一鄰近位置間之一距離分量。
  3. 如申請專利範圍第2項所述之影像縫合方法,其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一平方。
  4. 如申請專利範圍第2項所述之影像縫合方法,其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一絕對值。
  5. 如申請專利範圍第1項所述之影像縫合方法,其中根據該複數個前向正規化累積成本,決定該重疊區域中該條縫線之步驟包含: 根據一排前向正規化累積成本,決定該條縫線之一縫線位置; 根據該縫線位置,計算一排後向正規化累積成本(backward regularized accumulative costs); 自該排後向正規化累積成本中,找出一最小後向正規化累積成本;以及 選擇該最小後向正規化累積成本所對應之一位置作為該條縫線之一下一縫線位置。
  6. 如申請專利範圍第1項所述之影像縫合方法,更包含: 記錄該複數個前向正規化累積成本之複數個來源位置。
  7. 如申請專利範圍第6項所述之影像縫合方法,其中根據該複數個前向正規化累積成本,決定該重疊區域中該條縫線之步驟包含: 根據一排前向正規化累積成本,決定該條縫線之一縫線位置;以及 選擇該縫線位置所對應之一來源位置作為該條縫線之一下一縫線位置。
  8. 一種影像縫合(image stitching)裝置,用來縫合一第一影像與一第二影像,該裝置包含: 一成本計算單元,用來根據該第一影像與該第二影像於一重疊區域(overlapping area)中之像素值,計算複數個成本(costs),分別對應於該重疊區域中複數個位置; 一累積成本計算單元,根據該複數個成本與該複數個位置,計算複數個前向正規化累積成本(forward regularized accumulative costs),分別對應於該重疊區域中該複數個位置; 一縫線決定單元,根據該複數個前向正規化累積成本,決定該重疊區域中之一條縫線(seam);以及 一縫合單元,基於該條縫線縫合該第一影像與該第二影像,以產生一縫合影像(stitched image)。
  9. 如申請專利範圍第8項所述之影像縫合裝置,其中一位置之一前向正規化累積成本係相關於該位置與一鄰近位置間之一距離分量。
  10. 如申請專利範圍第9項所述之影像縫合裝置,其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一平方。
  11. 如申請專利範圍第9項所述之影像縫合裝置,其中該位置之該前向正規化累積成本包括該位置與該鄰近位置間該距離分量的一絕對值。
  12. 如申請專利範圍第8項所述之影像縫合裝置,其中該縫線決定單元係執行以下步驟以根據該複數個前向正規化累積成本決定該重疊區域中該條縫線: 根據一排前向正規化累積成本,決定該條縫線之一縫線位置; 根據該縫線位置,計算一排後向正規化累積成本(backward regularized accumulative costs); 自該排後向正規化累積成本中,找出一最小後向正規化累積成本;以及 選擇該最小後向正規化累積成本所對應之一位置作為該條縫線之一下一縫線位置。
  13. 如申請專利範圍第8項所述之影像縫合裝置,更包含: 一記錄單元,用來記錄該複數個前向正規化累積成本之複數個來源位置。
  14. 如申請專利範圍第13項所述之影像縫合裝置,其中該縫線決定單元係執行以下步驟以根據該複數個前向正規化累積成本,決定該重疊區域中該條縫線: 根據一排前向正規化累積成本,決定該條縫線之一縫線位置;以及 選擇該縫線位置所對應之一來源位置作為該條縫線之一下一縫線位置。
TW106146009A 2017-12-27 2017-12-27 影像縫合方法及裝置 TWI661392B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106146009A TWI661392B (zh) 2017-12-27 2017-12-27 影像縫合方法及裝置
US16/056,747 US10650494B2 (en) 2017-12-27 2018-08-07 Image stitching method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106146009A TWI661392B (zh) 2017-12-27 2017-12-27 影像縫合方法及裝置

Publications (2)

Publication Number Publication Date
TWI661392B true TWI661392B (zh) 2019-06-01
TW201928870A TW201928870A (zh) 2019-07-16

Family

ID=66950476

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106146009A TWI661392B (zh) 2017-12-27 2017-12-27 影像縫合方法及裝置

Country Status (2)

Country Link
US (1) US10650494B2 (zh)
TW (1) TWI661392B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429354B (zh) * 2020-03-27 2022-01-21 贝壳找房(北京)科技有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN112200727B (zh) * 2020-11-06 2023-11-21 星宸科技股份有限公司 图像缝合装置、图像处理芯片、及图像缝合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW594594B (en) * 2003-05-16 2004-06-21 Ind Tech Res Inst A multilevel texture processing method for mapping multiple images onto 3D models
TWI375136B (zh) * 2004-01-20 2012-10-21
US8374428B2 (en) * 2010-12-05 2013-02-12 Microsoft Corporation Color balancing for partially overlapping images
US20170287184A1 (en) * 2016-04-04 2017-10-05 Microsoft Technology Licensing, Llc Image stitching

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331725B2 (en) * 2007-01-12 2012-12-11 Qualcomm Incorporated Panoramic imaging techniques
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
WO2013079776A2 (en) * 2011-11-30 2013-06-06 Nokia Corporation Method and apparatus for image stitching
TWI533675B (zh) * 2013-12-16 2016-05-11 國立交通大學 影像接合之最佳動態接縫找尋調整系統與方法
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array
NL2016660B1 (en) * 2016-04-22 2017-11-15 Cyclomedia Tech B V Image stitching method and device.
US10244164B1 (en) * 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW594594B (en) * 2003-05-16 2004-06-21 Ind Tech Res Inst A multilevel texture processing method for mapping multiple images onto 3D models
TWI375136B (zh) * 2004-01-20 2012-10-21
US8374428B2 (en) * 2010-12-05 2013-02-12 Microsoft Corporation Color balancing for partially overlapping images
US20170287184A1 (en) * 2016-04-04 2017-10-05 Microsoft Technology Licensing, Llc Image stitching

Also Published As

Publication number Publication date
TW201928870A (zh) 2019-07-16
US10650494B2 (en) 2020-05-12
US20190197665A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
US9251612B2 (en) Optimal dynamic seam adjustment system and method for image stitching
CN105453136B (zh) 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备
US10075635B2 (en) Apparatus and method for generating panoramic image based on image quality
JP5911846B2 (ja) 肌色領域及び顔領域に基づく視点検出器
US10021413B2 (en) Apparatus and method for video data processing
CN106851122A (zh) 基于双摄像头系统的自动曝光参数的标定方法和装置
US20180343431A1 (en) Method and apparatus for disparity-based image adjustment of a seam in an image derived from multiple cameras
WO2016184131A1 (zh) 基于双摄像头拍摄图像的方法、装置及计算机存储介质
US8482619B2 (en) Image processing method, image processing program, image processing device, and imaging device for image stabilization
TWI661392B (zh) 影像縫合方法及裝置
US20220358619A1 (en) Automatic dolly zoom image processing device
TWI571828B (zh) 光學導航方法以及相關裝置
WO2013035457A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN106851103A (zh) 基于双摄像头系统的自动对焦方法和装置
EP2656312B1 (en) Method for producing a panoramic image on the basis of a video sequence and implementation apparatus.
US10388007B2 (en) Image processing method and image processing device
US9813620B2 (en) Image processing apparatus, image processing method, program, and camera
TWI618394B (zh) 利用影像特性之立體匹配裝置
CN110021001B (zh) 图像缝合方法及装置
US8768066B2 (en) Method for image processing and apparatus using the same
CN113240582B (zh) 一种图像拼接方法及装置
JP2016012889A (ja) 画像投写システム
US20220084227A1 (en) Method and apparatus to control light source
JP2015126373A (ja) 像振れ補正システム、プログラム及び方法
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置