TWI784605B - 影像拼接方法 - Google Patents
影像拼接方法 Download PDFInfo
- Publication number
- TWI784605B TWI784605B TW110123839A TW110123839A TWI784605B TW I784605 B TWI784605 B TW I784605B TW 110123839 A TW110123839 A TW 110123839A TW 110123839 A TW110123839 A TW 110123839A TW I784605 B TWI784605 B TW I784605B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- images
- group
- fragment
- value
- Prior art date
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Sewing Machines And Sewing (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一種影像拼接方法,包括以下步驟:(A)獲得一目標場景的多個片段影像,每一片段影像包含該目標場景的一部分;(B)對於兩個具有重疊視角之相鄰的片段影像,從重疊視角的一共同部分比較該兩個相鄰的片段影像,以確定該兩個相鄰的片段影像的一拼接位置;(C)根據所確定的該拼接位置將該兩個相鄰的片段影像拼接在一起。
Description
本發明是有關於一種影像拼接方法,特別是指一種即時影像拼接方法。
在某些因相機倍率限制而沒有足夠的視野來拍攝一完全包含一目標場景之影像的攝影條件下,可能會拍攝多張影像,其中每張影像都包含該目標場景的一部分,然後將該等影像拼接在一起以獲得一個包含該目標場景之完整視角的完整影像。
一些傳統的影像拼接方法使用諸如特徵提取和特徵映射之類的技術來確定所拍攝之影像的拼接部分。然而,這種技術需要龐大的運算要求且耗時,且不適用於一具有多個重複特徵的目標場景,例如具有多個看起來相同之半導體元件的電路,因為它們可能被視為一個且具有相同的特徵,而不是不同特徵。
因此,本發明的目的,即在提供一種可克服現有技術之至少一缺點的影像拼接方法。
於是,本發明影像拼接方法包含以下步驟:
(A)獲得一目標場景的多個片段影像,每一片段影像包含該目標場景的一部分;
(B)對於兩個具有重疊視角之相鄰的片段影像,從重疊視角的一共同部分比較該兩個相鄰的片段影像,以確定該兩個相鄰的片段影像的一拼接位置;及
(C)根據所確定的該拼接位置將該兩個相鄰的片段影像拼接在一起。
在本發明被詳細描述前,應當注意在以下的說明內容中,類似的元件是以相同的編號來表示。
參閱圖1,一用來實施本發明影像拼接方法之實施例的相機系統包含一相機裝置1、一連接該相機裝置1並可操作來驅動該相機裝置1的移動機構2,及一電連接該相機裝置1及該移動機構2,並用以控制該相機裝置1及該移動機構2之運作的電腦裝置3。該相機裝置1的移動可以是一維、二維或三維,且該移動機構2可以包括如一機械臂、一轉軸、其他合適的機構或任何其組合,但不以此為限。
該移動機構2由該電腦裝置3控制以移動該相機裝置1去拍攝一目標場景100的片段影像。在本實施例中,該目標場景100為平面場景,例如為一形成於晶片上的半導體電路。在其他實施例中,該目標場景100例如可為一風景的廣角或360度全景,然而本發明並不以此為限。
進一步參閱圖2,在本發明的影像拼接方法的第一實施例中,該相機裝置1從一第一預定原點開始,從左向右沿一X方向移動,並使用連拍在移動的同時(即在該X方向移動時,該相機裝置1不停止移動以拍攝一張分段影像然後再次移動,隨後停止以拍攝另一張分段影像等)依次拍攝該等分段影像的第一組(對應到圖2中的第一行)。然後,該相機裝置1以一橫向於該X方向的Y方移動到一與該第一預定原點對齊的第二預定原點),並在該X方向上從左向右移動並使用如上所述的連拍方式以拍攝等分段影像的第二組(對應於圖2中的第二行)。藉由重複這種方式,針對該目標場景100,沿著該Y方向(例如,在本實施例中從上到下)依次逐行(一列一列)拍攝該等片段影像的第一至第M列,並共同形成一M×N的影像陣列,其中M和N為正整數。該M×N的影像陣列包括該等片段影像的第一至第M組(對應於圖2中相互平行的第一至第M列),第一至第M組中的每一組包括N個沿著X方向(例如,在本實施例中從左到右)依次拍攝的片段影像(以下稱為第一到第N張影像)。換言之,該等片段影像依據該等片段影像的拍攝順序被分為第一組至第M組。每一片段影像包含該目標場景100的一部分,並包括多個共同形成一A×B像素陣列的像素,在本實施例中以1000×1000像素陣列為例說明,其中“A”代表像素列數,“B”代表像素行數。對於第一到第M組中的每一組,第n影像和第(n+1) 張影像具有重疊的視角,因此從該目標場景100的角度來看是相鄰的片段影像,其中n為取值範圍為1至(N-1)之正整數的變數(例如,在同一組中,第一張影像的右側部分和第二張影像的左側部分具有相同的視野)。第m組片段影像的第i張影像和第(m+1)組片段影像的第i張影像具有重疊的視角,因此從該目標場景100的角度來看是相鄰的片段影像,其中m為取值範圍為1至(M-1) 之正整數的變數,且i為取值範圍為1至N之正整數的變數(例如,第一組的第一張影像的底部和第二組的第一張影像的頂部具有相同的視野)。
圖3示出了拼接兩個具有重疊的視角之相鄰的片段影像(例如,在同一組中的第一張和第二張影像、在同一組中的第二張和第三張影像、第一和第二組的第一張影像,或第二和第三組的第一影像等)。在本發明中,該影像拼接方法的實施例是利用卷積運算來示例性實現的。在一些實施例中,可以使用其他合適的算法來實現本發明,例如模板匹配,但不限於此。
在步驟S31中,該電腦裝置3從該兩個相鄰的片段影像之其中一者獲得一卷積核,並在該兩個相鄰的片段影像之其中另一者中定義一卷積區域。該卷積核至少部分包括該重疊視角的該共同部分之資料,且該卷積區域至少部分包括該重疊視角的該共同部分之資料。通常,該卷積區域的大小大於該卷積核。
圖4示例出了在該X方向上相鄰的兩張1000×1000片段影像(以下稱為一右片段影像和一左片段影像)。假設從該右片段影像中得到一個 800×200 的卷積核,在該左片段影像中定義了一個 1000×800 的卷積區域,該卷積核可以是一個矩陣,其中包含該右片段影像之在左側部分(例如,1000×200區塊)之800×200區塊的像素資料,並且該卷積區域可以是包括該左片段影像之在右側部分之1000×800區塊的像素資料,因為重疊視角的共同部分應位於該左片段影像的右側部分和該右片段影像的左側部分。值得說明的是,該卷積核和該卷積區域不要求為矩形,在其他實施例中可以為正方形或任何合適的形狀。由於本實施例中的該等片段影像是由該相機裝置1在該X方向移動時拍攝的,因此該右片段影像和該左片段影像在該Y方向上可能具有較高的重疊率(可能接近100%)。因此,該卷積核的高度可以接近該右片段影像的高度,例如在本實施例中為該右片段影像高度的80%。然而,通常不會將該卷積核的高度取為該片段影像高度的100%,以便為該相機裝置1的移動方向與該X方向不完全平行的情況留下容錯。這情況將使該右片段影像和該左片段影像在該Y方向上不完全重疊。
再次參閱圖3,在步驟S32中,該電腦裝置3使用該卷積核對該卷積區域進行卷積,以獲得該卷積區域之不同部分的多個卷積分數。例如,對800×800的卷積區域進行卷積時,對於分別對應該卷積區域中之800×800個像素的800×800個區段(例如,一區段可以是該左片段影像的以該卷積區域中的相應像素之一為中心的200×200部分),可以分別得到800×800個卷積分數。每一卷積分數都可以看作是該卷積核與該卷積區域的相應區段之間的一相似度。因此,對應有最高卷積分數的該區段可被確定為該卷積區域被定義的片段影像(例如,圖4中的該左片段影像)的一拼接區段52。
簡而言之,在步驟S31和S32中,該電腦裝置3比較該兩個相鄰的片段影像,以從該兩個相鄰的片段影像的重疊視角的共同部分確定該兩個相鄰的片段影像的拼接位置(例如,該拼接區段52)。
在步驟S33中,該電腦裝置3根據在步驟S32中確定的拼接位置,將該兩個相鄰的片段影像拼接在一起,例如,但不限於將由該卷積核獲得的一右片段影像中的一部分51與根據該等卷積分數確定的該拼接區段52對齊。圖5舉例說明了藉由將由該卷積核獲得的該右片段影像中的一部分51與根據該等卷積分數確定的該拼接區段52對齊來拼接該兩個相鄰的片段影像。由於該相機裝置1的該移動方向可能不完全平行於該目標場景100的該X方向,因此該兩個相鄰的片段影像在拼接在一起時可能會在該Y方向上發生偏移。
圖3中介紹的流程可以作為拼接如圖2所示的該M×N影像陣列之片段影像的基礎。
圖6示出了本發明的影像拼接方法之第一實施例的流程。
在第一實施例中,對於第一至第M組(對應於圖2和圖7中的第一至第M行)中之每一者,該相機裝置1在沿該X方向移動時使用連拍拍攝第一至第N張影像(一影像被稱為Pj,i,表示第j組的第i張影像,其中j為取值範圍為1至M之正整數的變數)。在步驟S61中,對於j的每一值(即,從該目標場景100的角度來看,對於每一組或每一列)且對於n的每一值,一旦第j組的第n張影像P
j,n和第(n+1)張影像P
j , n+1(即同一組中該兩個相鄰的片段影像)被拍攝,該電腦裝置3對作為在步驟S31至S33中的該兩個相鄰的片段影像的第n張影像P
j,n和第(n+1)張影像P
j , n+1執行步驟S31至S33(即,此運算執行了(N-1)次,每一次的變數n為一對應整數(從1到N-1)),以便將該組的所有片段影像(圖2所示的情況為第一到第 N 張影像 P
j,1- P
j,N)在該X 方向上拼接在一起,以形成針對該組的拼接影像 S
j(例如,圖7表示第 j 列的一影像)。需要說明的是,這裡使用的用詞“一旦”是指,對於n的任何值,在第n張影像P
j , n和第(n+1) 張影像P
j , n+1被該相機裝置1拍攝後,立即對第n張影像P
j,n和第(n+1)張影像P
j,n+1執行步驟S31至S33以減少從開始拍攝該等片段影像到完成拼接所有片段影像所需的總時間,從而實現即時處理。然而,在一些不需要即時處理的情況下,可以在該對應組的第一到第N張影像全部被拍攝後,或者在該目標場景100的所有片段影像都被拍攝後,對每對相鄰的片段影像執行步驟S31到S33,並不以此為限。
然而,對於第一到第M組中的每一者,由於第一到第N張影像是在該相機裝置1移動的同時使用連拍來拍攝的,故基於機械誤差和/或容差,對於不同的相鄰片段影像對(例如,同一列中的第 n 張影像和第 (n+1) 張影像),重疊視角的共同部分的大小可能不同。相應地,這裡可以得到並定義多個不同大小的卷積核和多個不同大小的卷積區域,以供後續步驟使用。該等卷積核可被獲得來具有一大小,該大小等於該等片段影像之一大小的不同預設核比例。例如,假設該等片段影像具有1000×1000的一分辨率,且該等預設核比例為該等片段影像之一邊長的10%、20%和40%,則該等卷積核的大小可以為800×100、800×200及800×400(注意,該等卷積核的高度可由用戶預先設定,在一些實施例中,不同的卷積核可有不同之卷積核的高度)。類似地,該等卷積區域可被定義來具有一大小,該大小等於該等片段影像之一大小的不同預設區域比例。在上面的例子中,假設該等卷積區域的預定區域比例為該等片段影像之該邊長的80%、90%和100%,則該等卷積區域的大小可以是1000×800、1000×900和1000×1000(即整個片段影像)(注意,該等卷積區域的高度可以由用戶預先設定,並且在一些實施例中,不同的捲積區域可有不同之卷積核的高度)。然後,對於每對相鄰的片段影像,可以使用由不同大小的該等卷積區域和不同大小的卷積核構成的不同區域-核組合進行多次卷積。換言之,步驟S31和S32可以對每對相鄰的片段影像(例如,同一列的第n張影像和第(n+1)張影像)重複執行,並且對於步驟S31和S32的每一次重複,該卷積核或該卷積區域中的至少一者之大小與另一次重複時的大小不同。
對於該等卷積區域和該等卷積核的每個組合(即,對於每個區域-核組合),使用於該組合中的該卷積區域的多個區段可以獲得多個卷積分數。然而,較大的卷積核可能會導致較高的卷積分數。因此,在步驟S61中,該電腦裝置3可以根據在重複中使用之卷積核的大小,將每次重複步驟S31及S32得到的卷積分數進行正規化,以消除該卷積核大小的影響。然後,該電腦裝置3根據針對步驟S31和S32的所有重複而正規化的卷積分數執行步驟S33。在一種實現方式中,該電腦裝置3可以將在所有正規化卷積分數中對應有最高正規化卷積分數的一區段作為該拼接區段52。
在步驟S62中,對每對具有相同序數但屬於兩連續組的片段影像(簡單地說,從該目標場景100的角度來看,在特定行中相鄰的一對片段影像,例如圖2中第一列和第二列的第一張影像),獲得多個卷積分數。具體來說,對於圖2中描述的情況,對於i的一特定值(例如,i=1) 且對於m的每一值,該電腦裝置3對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像中的第i張影像(即圖2和圖7中同一行中兩個相鄰的片段影像)執行步驟S31和S32,以便獲得第m組和第(m+1)組片段影像中的第i張影像的多個卷積分數(可用於確定一拼接位置)。參閱圖7,舉例來說,假設i=1,且m=1,該電腦裝置3對第一組和第二組的第一張影像P
1,1,P
2,1進行步驟S31和S32,以得到第一組和第二組的第一張影像P
1,1,P
2,1多個卷積分數。在這種情況下,可以從該片段影像P
2,1的頂部獲得該卷積核,並且可以在該片段影像P
1,1的底部定義該卷積區域。值得一提的是,由於該相機裝置1在拍攝第一至第M組之每一者的第一張影像時的位置,例如,但不限於坐標是預先確定的,對於在Y方向上不同之相鄰的第一張影像對,該重疊視角的公同部分可以視為實質上具有相同的大小,且是已知的,因此該卷積核和該卷積區域可分別是預定的一單一大小。
在步驟S63中,根據該等卷積分數在該Y方向上將該等組的該等拼接影像組合在一起以形成該目標場景100的一完整影像。具體地,如圖2所示,對於i的該特定值且對於m的每一值,該電腦裝置3根據針對第m組和第(m+1)組片段影像(即,該運算進行(M-1)次,變數m為一對應的整數(從1到M-1))中的第i張影像獲得的該等拼接位置在該Y方向上將第m組和第(m+1)組的該等拼接影像拼接在一起,以便獲得該目標場景100的一完整影像。參閱圖7,舉例來說,該電腦裝置3可以將在步驟S62中獲得的該最高卷積分數所對應的該片段影像P
1 , 1中的一區段確定為第一列的該拼接影像S
1的一拼接部分(拼接位置),並且藉由將在步驟S62中獲得該卷積核的該片段影像P
2 , 1中的一區段與該片段影像P
1 , 1中的該拼接區段52對齊,以將第一和第二列的該等拼接影像S
1,S
2結合在一起。以此方式,該等拼接影像S1至SM可被拼接在一起以形成該目標場景100的該完整影像。
需要說明的是,在需要即時處理的情況下,對於m的任意值,一旦第m列和第(m+1) 列(即S
m,S
(m+1))的該等拼接影像被獲得,步驟S62和S63即會被執行。在不需要即時處理的情況下,可以在獲得所有的拼接影像S
1至S
M後執行步驟S62和S63。在某些情況下,可以在拍攝完所有的片段影像後執行步驟S61-S63,本發明不限於此。
參閱圖8,在一種實現方式中,該相機裝置1(見圖1)可以沿該Y方向依次移動逐行拍攝該等片段影像,以獲得第一至第N組(對應於圖8中的第一至第N行)的片段影像,且對於第一到第N組中的每一者,該相機裝置1使用連拍依序逐一拍攝該等片段影像,以獲得該組的第一到第M張影像。在這種情境下,參考圖6介紹的流程可以通過互換“行”和“列”以及互換“X方向”和“Y方向”來改變,而可被本領域技術人員易於理解,故為了簡潔,不再贅述細節。
在實作中,無需改變圖6中逐字描述的流程(圖6中這種未改變的流程,以下也被稱為“規定流程”),流程具體設計為先對“X方向”的片段影像進行逐列拼接,以產生第一列至最後列的拼接影像,隨後藉由在“Y方向”上組合該等拼接影像以獲得該目標場景100的一完整圖影像,當期望應用此(規定的)流程對以圖8所示之方式拍攝的片段影像進行拼接時,可能需要對該等片段影像進行一些預處理。
為了符合規定的流程,將逐行拍攝的該等片段影像旋轉90度,並且可以將該等旋轉後的片段影像視為逐列拍攝,如圖9所示,其中如圖8所示的該等片段影像各別依逆時針方向旋轉90度,從而形成該等旋轉後的片段影像的N×M影像陣列。因此,可以對該等旋轉後的片段影像執行步驟S61,以獲得分別對應於圖9中該等旋轉後的片段影像的第一(下)列至第N(上)列的拼接影像。
圖10示出了上述步驟的流程,示例性地應用於圖8所示的情況。
在步驟S101中,對於第一至第N組(對應於圖8中的第一至第N行)中的每一組,對於第一至第M張影像中的每一者,一旦該影像被拍攝,該電腦裝置3將該影像沿一旋轉方向(例如,逆時針方向)旋轉90度,以獲得該組之旋轉後的第一至第M張影像。
在步驟S102中,對於第一到第N組中的每一者且對於m的每一值,一旦獲得旋轉後的第m張影像和旋轉後的第(m+1)張影像後,對作為該兩個相鄰的片段影像之旋轉後的第m張影像和旋轉後的第(m+1)張影像執行步驟31到33(即,此運算進行了(M-1)次,變數m為一對應的整數(從1到M-1)),以便在該X方向上將旋轉後的第一至第M張影像拼接在一起,以形成該等片段影像之一對應組的一拼接影像(即圖9中的該等旋轉後片段影像的該對應列)。
在步驟S103中,對於j的一特定值(例如,j=1)且對於n的每一值,該電腦裝置3對作為在步驟S31至S33中該兩個相鄰的片段影像的第n組和第(n+1)組中之旋轉後的第j張影像執行步驟31及32,並且旋轉後的第(n+1)組的第j張影像(注意,第n組和第(n+1)組中之旋轉後的第j張影像是圖9中在同一行之兩個相鄰的片段影像),以便獲得第n組和第(n+1)組中之旋轉後的第j張影像的多個卷積分數(可用於確定一拼接位置)。
在步驟S104中,對於j的該特定值且對於n的每一值,該電腦裝置3根據第n組和第(n+1)組旋轉後的第j張影像的該拼接位置,在Y方向上將第n組(對應於圖9中的第n列)的拼接影像和第(n+1)組(對應於圖9中的第(n+1) 列)的拼接影像拼接在一起,以獲得該目標場景100的一旋轉後的完整影像。
在步驟S105中,該電腦裝置3將旋轉後的完整影像向另一旋轉方向(例如順時針方向)旋轉90度,以獲得該目標場景100的一完整影像。
在某些情況下,當不需要即時運算時,可以在拍攝所有片段影像之後執行步驟S101-S105。
根據圖10的流程,在旋轉該等片段影像後,可以依照圖6中步驟S61-S63所述的方式對該等旋轉後的片段影像執行步驟S102-S104,且圖6的流程不需要復雜的修改,以拼接依圖8所示的方式拍攝到的該等片段影像。
參閱圖11,示出了本發明影像拼接方法之第二實施例適用於該相機裝置1在預定的等距位置處拍攝一直線(例如,行或列)的該等片段影像的情境。在一個示例中,即使該相機裝置1在移動中使用連拍來拍攝該等片段影像,也可以精確控制該相機裝置1的移動和該相機裝置1拍攝該等片段影像的時間以實現等距影像拍攝。在一個示例中,可以在該相機裝置1移動到並停在根據圖2或8所示的路線所安排的該等預定位置中的一對應者之後拍攝該等片段影像的每一者,而不是使用連拍來拍攝在移動同時之一直線(例如,行或列)的該等片段影像。在下文中,如圖2所示的路線為例以便於說明,但本發明不限於此。因此,對於該等片段影像之第一至第M組(對應於圖2中的第一至第M行)的每一組,對於不同n值的第n張影像和第(n+1)張影像的重疊視角的共同部分實質上具有相同的大小。
在步驟S111中,對於第一至第M組中的每一組且對於n的每一值,一旦拍攝到第n張影像和第(n+1) 張影像,該電腦裝置3對作為該兩個相鄰的片段影像的第n張影像和第(n+1)張影像(即圖2中同一列的兩個相鄰的片段影像) 執行步驟S31及S32,以便獲得該對應組的第n張和第(n+1)張影像的多個卷積分數。
在步驟S112中,對於第一至第M組中的每一組以及n的每一值,該電腦裝置3根據第n張和第(n+1)張影像獲得的該等卷積分數,確定第n張和第(n+1)張影像的相對拼接座標(相對拼接位置)。
在步驟S113中,對於i的一特定值(例如,i=1)且對於m的每一值,該電腦裝置3對作為該兩個相鄰的片段影像(即圖2中同一行的兩個相鄰的片段影像)的第m組和第(m+1)組片段影像中的第i張影像執行步驟S31和S32,以便獲得第m組和第(m+1)組片段影像中的第i張影像的多個卷積分數(可用於確定一拼接位置)。
在步驟S114中,對於i的該特定值且對於m的每一值,該電腦裝置3根據第m組和第(m+1)組片段影像中的第i張影像獲得的該等卷積分數,確定第m組和第(m+1)組片段影像中的第i張影像的相對拼接座標(一相對拼接位置)。
在步驟S115中,該電腦裝置3根據一參考片段影像對該等片段影像獲得的該相對拼接座標進行校正,以便對於該等片段影像之每一者,獲得一相對於該參考片段影像的拼接座標集,其中該拼接座標集作為一絕對拼接位置。在步驟S115中獲得的該拼接座標集(絕對拼接位置)包括從該相對拼接座標校正的拼接座標集,以及為該參考片段影像預先定義的一拼接座標集。該參考片段影像為該等片段影像之第一至第M組的第i張影像之其中一者。參閱圖12,假設該電腦裝置3藉由將該片段影像P
1 , 2的左上角O
1 , 2置於相對於片段影像P
1,1之左上角O
1,1的相對拼接坐標(x
1, y
1)處來確定片段影像P
1 , 2將與片段影像P
1 , 1進行拼接,並且藉由將該片段影像P
1 , 3的左上角O
1 , 3置於相對於片段影像P
1,2之左上角O
1,2的相對拼接坐標(x
2, y
2)處來確定片段影像P
1 , 3將與片段影像P
1 , 2進行拼接。在步驟S115中,該電腦裝置3可使該用片段影像P
1 , 1作為該參考片段影像(即i=1),並修正該片段影像P
1 , 3相對於該片段影像P
1 , 2的相對拼接座標(x
2,y
2),以得到相對於片段影像P
1 , 1的左上角O
1 , 1之(x
1+x
2,y
1+y
2)的一拼接座標集。類似地,可以將在步驟S112針對每組之片段影像確定的該等相對拼接座標和在步驟S114針對第一至第M組的第i張影像確定的該等相對拼接座標分別修正為相對於步驟S115中之參考片段影像的對應拼接座標組。
在步驟S116中,對於該等片段影像之第一至第M組的每一者,且對於n的每一值,該電腦裝置3根據第n張影像和第(n+1) 張影像的拼接座標集對作為該兩個相鄰的片段影像的第n張影像和第(n+1) 張影像(即,在圖2的同一列中兩個相鄰的片段影像)執行步驟S33,並對於i的每一值且對於m的每一值,根據第m組和第(m+1)組片段影像之第i張影像的拼接座標集對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像之第i張影像(即,在同一行中兩個相鄰的片段影像)執行步驟S33,以便將該等片段影像拼接在一起,以形成該目標場景100的一完整影像。換言之,藉由簡單地將該等片段影像放在一單一運算中由該拼接座標集指示的位置,以在步驟S116中將所有片段影像拼接在一起。
在某些情況下,當不需要即時運算時,可以在拍攝所有片段影像之後執行步驟S111-S116。
在該相機裝置1沿著如圖8所示的路線拍攝該等片段影像的情況下,第二實施例也可以藉由互換“X方向”和“Y方向”,或者參考第一實施例所描述的藉由旋轉片段影像來應用,而可被本領域技術人員易於理解,故為了簡潔,不再贅述細節。
需注意的是,在第二實施例中,不需要產生拼接影像(見圖6中的步驟S61和圖10中的步驟S102),因此相較於第一實施例,可節省該電腦裝置3的存儲容量。
參閱圖13,本發明影像拼接方法的第二實施例的一變化適用於在同一直線(行或列)上中的該等片段影像係在預定的等距位置被拍攝的場景。在下文中,為便於說明,以圖2所示的路線為例,但本發明不限於此。因此,對於該等片段影像之第一至第M組(對應於圖2中的第一至第M列)的每一組,且對於不同的n值,第n張影像和第(n+1)張影像的重疊視角的共同部分具有相同的大小。
在步驟S131中,對於第一至第M組中的一特定組,且對於n的每一值,一旦拍攝到第n張影像和第(n+1)張影像,該電腦裝置3對作為該兩個相鄰的片段影像之第n張影像和第(n+1)張影像執行步驟31及32,以便獲得第一到第M組中的該特定組的第n張和第(n+1)張影像的多個卷積分數。
在步驟S132中,對於第一至第M組中的該特定組且對於 n 的每一值,該電腦裝置3根據第n張和第(n+1)張影像獲得的該等卷積分數,確定第n張和第(n+1)張影像的相對拼接座標(一相對拼接位置)。例如,該電腦裝置3在步驟S131和S132中可確定第一列的每對相鄰的片段影像的相對拼接座標(即,第一至第M組中的該特定組為第一組,第一組對應於圖2中的第一列)。
在步驟S133中,對於i的一特定值且對於m的每一值,該電腦裝置3對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像中的第i張影像執行步驟S31和S32,以便獲得第m組和第(m+1)組片段影像中的第i張影像的多個卷積分數。
在步驟S134中,對於i的該特定值且對於m的每一值,該電腦裝置3根據第m組和第(m+1)組片段影像中的第i張影像獲得的該等卷積分數,確定第m組和第(m+1)組片段影像中的第i張影像的相對拼接座標。例如,該電腦裝置3在步驟S133和S134中可確定圖2中之第一列的每對相鄰的片段影像的相對拼接座標。
在步驟S135中,對於i的該特定值,該電腦裝置3根據一參考片段影像,該參考片段影像為第一至第M組的該特定組的第i張影像,校正針對第一至第M組的該特定組的第一至第N張影像及第一至第M組片段影像的第i張影像獲得的該等相對拼接座標,以便針對第一至第M組的該特定組的第一至第N張影像及第一至第M組片段影像的第i張影像之每一者,獲得一相對於該參考片段影像的拼接座標集(絕對拼接位置)。以圖2為例,該電腦裝置3為在該第一列及該第一行的該等片段影像的每一者,計算相對於該第一列及該第一行的片段影像(該參考片段影像)的一拼接座標集。
在步驟S136中,對於i(一選自1至N的一特定正整數)的該特定值,對於一變數 k 的每一值,k為排除i的該特定值且取值範圍為1至N之正整數,且對於j的每一值(j為取值範圍為1至M的正整數),該電腦裝置3根據第一至第M組的該特定組的第k張影像及第j列片段影像的第i張影像確定一相對於針對第j組片段影像的第k張影像之該參考片段影像的一拼接座標集,其中第j列不同於第一至第M列中的該特定列。例如,假設該參考片段影像是第一組(對應圖2中的第一列)的第一張影像(i的該特定值為1),且第一組的第三張影像具有在步驟S135中確定的拼接座標集(x
3,y
1),並且第四組的第一張影像(對應於圖2中的第四列)具有在步驟S135中確定的拼接座標集(x
1,y
4),該電腦裝置3可確定第四組的第三張影像相對於該參考片段影像的一拼接座標組為(x
1+x
3,y
1+y
4)。
在步驟S137中,對於該等片段影像之第一至第M組中的每一者且對於n的每一值,該電腦裝置3根據第n張影像和第(n+1) 張影像的拼接座標集對作為該兩個相鄰的片段影像的第n張影像和第(n+1) 張影像執行步驟S33,並對於i的每一值且對於m的每一值,該電腦裝置3根據第m組和第(m+1)組片段影像之第i張影像的拼接座標集對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像之第i張影像執行步驟S33,以便將該等片段影像拼接在一起,以形成該目標場景100的一完整影像。
在這個變化中,僅對該等片段影像的一列和一行(從該目標場景100的角度)執行卷積,並且可以使用簡單的初等算法(例如,加法和減法)獲取其他片段影像的拼接座標集,因此減少了計算量。
綜上所述,提出了一種影像拼接方法,包括多個實施例。在第一實施例中,將同一行(行或列)中的片段影像拼接在一起形成多條直線上的拼接影像,並將拼接影像拼接在一起形成該完整影像。例如,執行卷積以確定兩個相鄰影像的拼接位置。在第二實施例中,計算該等片段影像的拼接座標集,最後根據該等拼接座標集將該等片段影像拼接在一起,以節省記憶體容量。在第二實施例的一變化中,僅針對一列及一行的片段影像計算拼接座標集,以減少計算量。此外,通過允許用戶定義該卷積區域的選項,在要定義該卷積區域的片段影像中,可以將用戶認為不可能包含拼接位置的片段影像的某些部分從卷積區域中排除,從而減少用戶誤判拼接位置的機會,因此本發明實施例適用於具有重複特徵的目標場景。
在以上描述中,基於解釋的目的,已經闡述許多具體細節以便於提供對該等實施例的透徹理解。然而,對於本領域的技術人員,可以在沒有這些特定細節中的一些情況下實踐一個或多個其他實施例。還需要理解的是,在整份說明書中,對於一個實施例、一實施例、具有順序指示的實施例的引用代表在實踐中可以包括特定的特徵,結構或特性。理當進一步理解的是,在說明書中,有時將各種特徵組合在單一實施例、圖式,或描述中,以簡化本公開並幫助理解各種發明方面,並且在適當情況下,在本發明的實踐中,可以將一個實施例的一或多個特徵或特定細節與另一個實施例的一或多個特徵或特定細節一起實踐。
儘管已經結合示例性實施例描述了本公開,但應當理解的是,本公開不限於所公開的實施例,而是旨在覆蓋包括最廣泛的解釋的精神和範圍內的各種佈置,以涵蓋所有此類修改和等效安排。
1:相機裝置
2:移動機構
3:電腦裝置
100:目標場景
51:右片段影像中的一部分
52:拼接區段
S31~S33:步驟
S61~S63:步驟
S101~S105:步驟
S111~S116:步驟
S131~S137:步驟
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:
圖1是一示意圖,說明實施本發明影像拼接方法之實施例的一相機系統;
圖2是一示意圖,說明一相機裝置以一第一方式拍攝一目標場景的多個片段影像;
圖3是一流程圖,說明一用於拼接兩個相鄰的片段影像的步驟;
圖4是一示意圖,說明自該兩個相鄰的片段影像獲得一卷積區域及一卷積核;
圖5是一示意圖,說明該兩個相鄰的片段影像的拼接;
圖6是一流程圖,說明本發明影像拼接方法之第一實施例的步驟;
圖7是一示意圖,說明在該第一實施例之拼接影像的產生;
圖8是一示意圖,說明該相機裝置以一第二方式拍攝一目標場景的多個片段影像;
圖9是一示意圖,說明當以該第二方式拍攝片段影像時旋轉片段影像的效果;
圖10是一流程圖,說明該第一實施例之變化的步驟;
圖11是一流程圖,說明本發明影像拼接方法之第二實施例的步驟;
圖12是一示意圖,說明將多個相對拼接位置校正為多個絕對拼接位置;及
圖13是一流程圖,說明該第二實施例之變化的步驟。
S31~S33:步驟
Claims (15)
- 一種影像拼接方法,由一相機系統來實施,包含以下步驟:(A)獲得一目標場景的多個片段影像,每一片段影像包含該目標場景的一部分;(B)對於兩個具有重疊視角之相鄰的片段影像,從重疊視角的一共同部分比較該兩個相鄰的片段影像,以確定該兩個相鄰的片段影像的一拼接位置,步驟(B)包含以下子步驟:(B-1)從該兩個相鄰的片段影像之其中一者獲得一卷積核,並在該兩個相鄰的片段影像之其中另一者中定義一卷積區域,其中,該卷積核至少部分包括該重疊視角的該共同部分之資料,且該卷積區域至少部分包括該重疊視角的該共同部分之資料,及(B-2)使用該卷積核對該卷積區域進行卷積,以獲得該卷積區域之不同部分的多個卷積分數;及(C)根據所確定的該拼接位置將該兩個相鄰的片段影像拼接在一起,步驟(C)包括根據該等卷積分數將該兩個相鄰的片段影像拼接在一起。
- 如請求項1所述的影像拼接方法,其中,沿一第一方向依序逐行拍攝該等片段影像,並依據該等片段影像的拍攝順序分為第一至第M組,其中M為大於1的正整數;其中,第一至第M組中的每一組包括N張片段影像, 每一組的N張片段影像被稱為第一至第N張影像並且沿一橫向於該第一方向的第二方向依序逐一被拍攝,其中N為大於1的正整數;其中,對於第一至第M組中的每一組,第n張影像和第(n+1)張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數;及其中第m組片段影像的第i張影像和第(m+1)組片段影像的第i張影像具有重疊的視角,其中m為取值範圍為1至(M-1)之正整數的變數,且i為取值範圍為1至N之正整數的變數;該影像拼接方法還包含一步驟(D)對於第一至第M組中的每一組且對於n的每一值,在拍攝第n張影像和第(n+1)張影像後,對作為該兩個相鄰的片段影像的第n張影像和第(n+1)張影像執行步驟(B)和(C),以便在該第二方向上將第一至第N張影像拼接在一起,以形成針對第一到第M組中的每一組的該拼接影像。
- 如請求項2所述的影像拼接方法,還包含以下步驟:(E)對於i的一特定值且對於m的每一值,對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像中的第i張影像執行步驟(B),以便獲得第m組和第(m+1)組片段影像中的第i張影像的拼接位置;及(F)對於i的該特定值且對於m的每一值,根據針對第 m組和第(m+1)組片段影像中的第i張影像獲得的拼接位置,在該第一方向上將第m組和第(m+1)組的該等拼接影像拼接在一起,以便獲得該目標場景的一完整影像。
- 如請求項1所述的影像拼接方法,其中,該等片段影像分為第一到第N組,其中N是大於1的正整數;其中,第一至第N組中的每一組包括M張片段影像,每一組的M張片段影像被稱為第一至第M張影像並且沿該第一方向依序逐一被拍攝,其中M為大於1的正整數;其中,第一至第N組是沿著橫向於該第一方向的一第二方向依序逐行被拍攝,且該等片段影像依據該等片段影像的拍攝順序分為第一至第N組;其中,對於第一至第N組中的每一組,第m張影像和第(m+1)張影像具有重疊的視角,其中m為取值範圍為1至(M-1)之正整數的變數;及其中第n組片段影像的第j張影像和第(n+1)組片段影像的第j張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數,且j為取值範圍為1至M之正整數的變數;該影像拼接方法還包含以下步驟:(D)對於第一組至第N組中的每一組,在拍攝第一張至M張影像之每一者後,將第一至第M張影像之每一者一沿旋轉方向旋轉90度,以獲得旋轉後的第一至第M張影 像;(E)對於第一至第N組中的每一組且對於m的每一值,在獲得旋轉後的第m張影像和旋轉後的第(m+1)張影像後,對作為該兩個相鄰的片段影像之旋轉後的第m張影像和旋轉後的第(m+1)張影像執行步驟(B)和(C),以便在該第二方向上將旋轉後的第一至第M張影像拼接在一起,以形成針對第一到第N組中的每一組的一拼接影像。
- 如請求項4所述的影像拼接方法,還包含以下步驟:(F)對於j的一特定值且對於n的每一值,對作為該兩個相鄰的片段影像的第n組和第(n+1)組片段影像中的第j張影像執行步驟(B),以便獲得第n組和第(n+1)組片段影像中第j張影像的拼接位置;(G)對於j的該特定值且對於n的每一值,根據針對第n組和第(n+1)組片段影像中第j張影像獲得的拼接位置,在該第一方向上將第n組和第(n+1)組的該等拼接影像拼接在一起,以便獲得該目標場景的一完整影像。
- 如請求項1所述的影像拼接方法,其中,沿一第一方向依次逐行拍攝該等片段影像,並依據該等片段影像的拍攝順序分為第一至第M組,其中M為大於1的正整數;其中,第一至第M組中的每一組包括N張片段影像,每一組的N張片段影像被稱為第一至第N張影像並且沿一橫向於該第一方向的第二方向依序逐一被拍攝,其中N為 大於1的正整數;其中,對於第一至第M組中的每一組,第n影像和第(n+1)張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數;其中第m組片段影像的第i張影像和第(m+1)組片段影像的第i張影像具有重疊的視角,其中m為取值範圍為1至(M-1)之正整數的變數,且i為取值範圍為1至N之正整數的變數;及其中,對於該等片段影像之第一至第M組中的每一者,對於不同n值的第n張影像和第(n+1)張影像的重疊視角的共同部分具有相同的大小;該影像拼接方法還包含以下步驟:(D)對於第一到第M組中的每一組且對於n的每一值,在拍攝第n張影像和第(n+1)張影像後,對作為該兩個相鄰的片段影像之第n張影像和第(n+1)張影像執行步驟(B),以便獲得第n張影像和第(n+1)張影像的一相對拼接位置;(E)對於i的一特定值且對於m的每一值,對作為該兩個相鄰的片段影像之第m組和第(m+1)組片段影像中的第i張影像執行步驟(B),以便獲得第m組和第(m+1)組的第i張影像之一相對拼接位置;(F)對於i的該特定值,根據一參考片段影像,該參考 片段影像為第一至第M組片段影像的第i張影像之一,校正針對該等片段影像獲得的該等相對拼接位置,以便針對該等片段影像之每一者,獲得一相對於該參考片段影像的絕對拼接位置;(G)對於該等片段影像之第一至第M組中的每一者且對於n的每一值,根據第n張影像和第(n+1)張影像的絕對拼接位置對作為該兩個相鄰的片段影像的第n張影像和第(n+1)張影像執行步驟(C),並對於i的每一值且對於m的每一值,根據第m組和第(m+1)組片段影像之第i張影像的絕對拼接位置對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像之第i張影像執行步驟(C),以便將該等片段影像拼接在一起,以形成該目標場景的一完整影像。
- 如請求項1所述的影像拼接方法,其中,沿一第一方向依次逐行拍攝該等片段影像,並依據該等片段影像的拍攝順序分為第一至第M組,其中M為大於1的正整數;其中,第一至第M組中的每一組包括N張片段影像,每一組的N張片段影像被稱為第一至第N張影像並且沿一橫向於該第一方向的第二方向依序逐一被拍攝,其中N為大於1的正整數;其中,對於第一至第M組中的每一組,第n影像和第(n+1)張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數; 其中第m組片段影像的第i張影像和第(m+1)組片段影像的第i張影像具有重疊的視角,其中m為取值範圍為1至(M-1)之正整數的變數,且i為取值範圍為1至N之正整數的變數;及其中,對於該等片段影像之第一至第M組中的每一者,對於不同n值的第n張影像和第(n+1)張影像的重疊視角的共同部分具有相同的大小;該影像拼接方法還包含以下步驟:(D)對於第一到第M組中的每一組且對於n的每一值,在拍攝第n張影像和第(n+1)張影像後,對作為該兩個相鄰的片段影像之第n張影像和第(n+1)張影像執行步驟(B),以便獲得第n張影像和第(n+1)張影像的一相對拼接位置;(E)對於i的一特定值且對於m的每一值,對作為該兩個相鄰的片段影像之第m組和第(m+1)組片段影像中的第i張影像執行步驟(B),以便獲得第m組和第(m+1)組的第i張影像之一相對拼接位置;(F)對於i的該特定值,根據一參考片段影像,該參考片段影像為第一至第M組的一特定組的第i張影像,校正針對第一至第M組的該特定組的第一至第N張影像及第一至第M組片段影像的第i張影像獲得的該等相對拼接位置,以便針對第一至第M組的該特定組的第一至第N張影像及第 一至第M組片段影像的第i張影像之每一者,獲得一相對於該參考片段影像的絕對拼接位置;(G)對於i的該特定值,對於一變數k的每一值,k為排除i的該特定值且取值範圍為1至N之正整數,且對於j的每一值,j為取值範圍為1至M的正整數,根據第一至第M組的該特定組的第k張影像及第j組片段影像的第i張影像確定一相對於針對第j組片段影像的第k張影像之該參考片段影像的絕對拼接位置,其中第j組不同於第一至第M組中的該特定組;及(H)對於該等片段影像之第一至第M組中的每一者且對於n的每一值,根據第n張影像和第(n+1)張影像的絕對拼接位置對作為該兩個相鄰的片段影像的第n張影像和第(n+1)張影像執行步驟(C),並對於i的每一值且對於m的每一值,根據第m組和第(m+1)組片段影像之第i張影像的絕對拼接位置對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像之第i張影像執行步驟(C),以便將該等片段影像拼接在一起,以形成該目標場景的一完整影像。
- 如請求項1所述的影像拼接方法,其中,沿一第一方向依次逐行拍攝該等片段影像,並依據該等片段影像的拍攝順序分為第一至第M組,其中M為大於1的正整數;其中,第一至第M組中的每一組包括N張片段影像,每一組的N張片段影像被稱為第一至第N張影像並且沿一 橫向於該第一方向的第二方向依序逐一被拍攝,其中N為大於1的正整數;其中,對於第一至第M組中的每一組,第n影像和第(n+1)張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數;其中第m組片段影像的第i張影像和第(m+1)組片段影像的第i張影像具有重疊的視角,其中m為取值範圍為1至(M-1)之正整數的變數,且i為取值範圍為1至N之正整數的變數;及該影像拼接方法還包含一步驟(D)對於第一至第M組中的每一組且對於n的每一值,在拍攝第n張影像和第(n+1)張影像後,對作為該兩個相鄰的片段影像的第n張影像和第(n+1)張影像執行步驟(B)和(C),以便在該第二方向上將第一至第N張影像拼接在一起,以形成針對第一到第M組中的每一組的該拼接影像。
- 如請求項8所述的影像拼接方法,還包含以下步驟:(E)對於i的一特定值且對於m的每一值,對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像中的第i張影像執行步驟(B-1)及(B-2),以便獲得第m組和第(m+1)組片段影像中的第i張影像的多個卷積分數;(F)對於i的該特定值且對於m的每一值,根據針對第m組和第(m+1)組片段影像中的第i張影像獲得的該等卷 積分數,在該第一方向上將第m組和第(m+1)組的該等拼接影像拼接在一起,以便獲得該目標場景的一完整影像。
- 如請求項8所述的影像拼接方法,其中,對於該等片段影像之第一至第M組中的每一者,對於不同的n值,第n張影像和第(n+1)張影像的重疊視角的共同部分之大小不同;及其中,在步驟(D)中,對第一至第M組之每一組的第n張影像和第(n+1)張影像重複執行子步驟(B-1)及(B-2),並且,對於子步驟(B-1)及(B-2)的每次重複,該卷積核或該卷積區域之至少一者的大小與另一個重複步驟的該卷積核或該卷積區域之至少一者大小不同。
- 如請求項8所述的影像拼接方法,步驟(D)還包含,在步驟(C)之前,根據在重複中使用之卷積核的大小,將每次重複子步驟(B-1)及(B-2)得到的卷積分數進行正規化;及其中步驟(C)中的拼接是根據所有重複子步驟(B-1)和(B-2)被正規化的卷積分數來執行的。
- 如請求項1所述的影像拼接方法,其中,該等片段影像分為第一到第N組,其中N是大於1的正整數;其中,第一至第N組中的每一組包括M張片段影像,每一組的M張片段影像被稱為第一至第M張影像並且沿該第一方向依序逐一被拍攝,其中M為大於1的正整數;其中,該等片段影像是沿著一橫向於該第一方向的第 二方向依序逐行被拍攝,且依據該等片段影像的拍攝順序分為第一至第N組;其中,對於第一至第N組中的每一組,第m張影像和第(m+1)張影像具有重疊的視角,其中m為取值範圍為1至(M-1)之正整數的變數;及其中第n組片段影像的第j張影像和第(n+1)組片段影像的第j張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數,且j為取值範圍為1至M之正整數的變數;該影像拼接方法還包含以下步驟:(D)對於第一組至第N組中的每一組,在拍攝第一張至M張影像之每一者後,將第一至第M張影像之每一者一沿旋轉方向旋轉90度,以獲得旋轉後的第一至第M張影像;(E)對於第一至第N組中的每一組且對於m的每一值,在獲得旋轉後的第m張影像和旋轉後的第(m+1)張影像後,對作為該兩個相鄰的片段影像之旋轉後的第m張影像和旋轉後的第(m+1)張影像執行步驟(B)和(C),以便在該第二方向上將旋轉後的第一至第M張影像拼接在一起,以形成針對第一到第N組中的每一組的一拼接影像。
- 如請求項12所述的影像拼接方法,還包含以下步驟:(F)對於j的一特定值且對於n的每一值,對作為該兩 個相鄰的片段影像的第n組和第(n+1)組片段影像中的第j張影像執行步驟(B-1)及(B-2),以便獲得第n組和第(n+1)組片段影像中的第j張影像的多個卷積分數;及(F)對於j的該特定值且對於n的每一值,根據針對第n組和第(n+1)組片段影像中的第j張影像獲得的該等卷積分數,在該第一方向上將第n組和第(n+1)組的該等拼接影像拼接在一起,以便獲得該目標場景的一完整影像。
- 如請求項1所述的影像拼接方法,其中,沿一第一方向依次逐行拍攝該等片段影像,並依據該等片段影像的拍攝順序分為第一至第M組,其中M為大於1的正整數;其中,第一至第M組中的每一組包括N張片段影像,每一組的N張片段影像被稱為第一至第N張影像並且沿一橫向於該第一方向的第二方向依序逐一被拍攝,其中N為大於1的正整數;其中,對於第一至第M組中的每一組,第n影像和第(n+1)張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數;其中第m組片段影像的第i張影像和第(m+1)組片段影像的第i張影像具有重疊的視角,其中m為取值範圍為1至(M-1)之正整數的變數,且i為取值範圍為1至N之正整數的變數;及其中,對於該等片段影像之第一至第M組中的每一 者,對於不同n值的第n張影像和第(n+1)張影像的重疊視角的共同部分具有相同的大小;該影像拼接方法還包含以下步驟:(D)對於第一到第M組中的每一組且對於n的每一值,在拍攝第n張影像和第(n+1)張影像後,對作為該兩個相鄰的片段影像之第n張影像和第(n+1)張影像執行步驟(B-1)及(B-2),以便獲得第一到第M組中的每一組的第n張和第(n+1)張影像的多個卷積分數;(E)對於第一到第M組中的每一組且對於n的每一值,根據第n張和第(n+1)張影像獲得的該等卷積分數,確定第n張和第(n+1)張影像的相對拼接座標;(F)對於i的一特定值且對於m的每一值,對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像中的第i張影像執行步驟(B-1)及(B-2),以便獲得第m組和第(m+1)組片段影像中的第i張影像的多個卷積分數;(G)對於i的該特定值且對於m的每一值,根據第m組和第(m+1)組片段影像中的第i張影像獲得的該等卷積分數,確定第m組和第(m+1)組片段影像中的第i張影像的相對拼接座標;(H)對於i的該特定值,根據一參考片段影像,該參考片段影像為第一至第M組片段影像的第i張影像之其中一者,校正針對該等片段影像獲得的該等相對拼接座標,以 便針對該等片段影像之每一者,獲得一相對於該參考片段影像的拼接座標集;及(I)對於該等片段影像之第一至第M組中的每一者且對於n的每一值,根據第n張影像和第(n+1)張影像的拼接座標集對作為該兩個相鄰的片段影像的第n張影像和第(n+1)張影像執行步驟(C),並對於i的每一值且對於m的每一值,根據第m組和第(m+1)組片段影像之第i張影像的拼接座標集對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像之第i張影像執行步驟(C),以便將該等片段影像拼接在一起,以形成該目標場景的一完整影像。
- 如請求項1所述的影像拼接方法,其中,沿一第一方向依次逐行拍攝該等片段影像,並依據該等片段影像的拍攝順序分為第一至第M組,其中M為大於1的正整數;其中,第一至第M組中的每一組包括N張片段影像,每一組的N張片段影像被稱為第一至第N張影像並且沿一橫向於該第一方向的第二方向依序逐一被拍攝,其中N為大於1的正整數;其中,對於第一至第M組中的每一組,第n影像和第(n+1)張影像具有重疊的視角,其中n為取值範圍為1至(N-1)之正整數的變數;其中第m組片段影像的第i張影像和第(m+1)組片段影像的第i張影像具有重疊的視角,其中m為取值範圍為1 至(M-1)之正整數的變數,且i為取值範圍為1至N之正整數的變數;及其中,對於該等片段影像之第一至第M組中的每一者,對於不同n值的第n張影像和第(n+1)張影像的重疊視角的共同部分具有相同的大小;該影像拼接方法還包含以下步驟:(D)對於第一到第M組中的一特定組且對於n的每一值,在拍攝第n張影像和第(n+1)張影像後,對作為該兩個相鄰的片段影像之第n張影像和第(n+1)張影像執行步驟(B-1)及(B-2),以便獲得第一到第M組中的該特定組的第n張和第(n+1)張影像的多個卷積分數;(E)對於第一至第M組中的該特定組且對於n的每一值,根據第n張和第(n+1)張影像獲得的該等卷積分數,確定第n張和第(n+1)張影像的相對拼接座標;(F)對於i的一特定值且對於m的每一值,對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像中的第i張影像執行步驟(B-1)及(B-2),以便獲得第m組和第(m+1)組片段影像中的第i張影像的多個卷積分數;(G)對於i的該特定值且對於m的每一值,根據第m組和第(m+1)組片段影像中的第i張影像獲得的該等卷積分數,確定第m組和第(m+1)組片段影像中的第i張影像的相對拼接座標; (H)對於i的該特定值,根據一參考片段影像,該參考片段影像為第一至第M組的該特定組的第i張影像,校正針對第一至第M組的該特定組的第一至第N張影像及第一至第M組片段影像的第i張影像獲得的該等相對拼接座標,以便針對第一至第M組的該特定組的第一至第N張影像及第一至第M組片段影像的第i張影像之每一者,獲得一相對於該參考片段影像的拼接座標集;(I)對於i的該特定值,對於一變數k的每一值,k為排除i的該特定值且取值範圍為1至N之正整數,且對於j的每一值,j為取值範圍為1至M的正整數,根據第一至第M組的該特定組的第k張影像及第j組片段影像的第i張影像確定一相對於針對第j組片段影像的第k張影像之該參考片段影像的拼接座標集,其中第j組不同於第一至第M組中的該特定組;及(J)對於該等片段影像之第一至第M組中的每一者且對於n的每一值,根據第n張影像和第(n+1)張影像的拼接座標集對作為該兩個相鄰的片段影像的第n張影像和第(n+1)張影像執行步驟(C),並對於i的每一值且對於m的每一值,根據第m組和第(m+1)組片段影像之第i張影像的拼接座標集對作為該兩個相鄰的片段影像的第m組和第(m+1)組片段影像之第i張影像執行步驟(C),以便將該等片段影像拼接在一起,以形成該目標場景的一完整影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110123839A TWI784605B (zh) | 2021-06-29 | 2021-06-29 | 影像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110123839A TWI784605B (zh) | 2021-06-29 | 2021-06-29 | 影像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI784605B true TWI784605B (zh) | 2022-11-21 |
TW202301269A TW202301269A (zh) | 2023-01-01 |
Family
ID=85794579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110123839A TWI784605B (zh) | 2021-06-29 | 2021-06-29 | 影像拼接方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI784605B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140286567A1 (en) * | 2011-12-23 | 2014-09-25 | Mediatek Inc. | Image processing method and associated apparatus |
CN108734657A (zh) * | 2018-04-26 | 2018-11-02 | 重庆邮电大学 | 一种具有视差处理能力的图像拼接方法 |
TW202011349A (zh) * | 2018-09-05 | 2020-03-16 | 宅妝股份有限公司 | 全景圖形成方法及系統 |
CN110910314A (zh) * | 2019-11-27 | 2020-03-24 | 广州市玄武无线科技股份有限公司 | 一种货架场景图像的拼接方法及装置 |
-
2021
- 2021-06-29 TW TW110123839A patent/TWI784605B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140286567A1 (en) * | 2011-12-23 | 2014-09-25 | Mediatek Inc. | Image processing method and associated apparatus |
CN108734657A (zh) * | 2018-04-26 | 2018-11-02 | 重庆邮电大学 | 一种具有视差处理能力的图像拼接方法 |
TW202011349A (zh) * | 2018-09-05 | 2020-03-16 | 宅妝股份有限公司 | 全景圖形成方法及系統 |
CN110910314A (zh) * | 2019-11-27 | 2020-03-24 | 广州市玄武无线科技股份有限公司 | 一种货架场景图像的拼接方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
TW202301269A (zh) | 2023-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6859442B2 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
US10210622B2 (en) | Image processing device, image processing method, and recording medium storing program | |
US10506154B2 (en) | Method and device for generating a panoramic image | |
US20080074489A1 (en) | Apparatus, method, and medium for generating panoramic image | |
CN106572287B (zh) | 使用多个摄像器以提供延伸视野的影像处理系统及方法 | |
US20070211955A1 (en) | Perspective correction panning method for wide-angle image | |
WO2021208486A1 (zh) | 一种相机坐标变换方法、终端以及存储介质 | |
CN112562014B (zh) | 相机标定方法、系统、介质及装置 | |
US11375092B2 (en) | Image sensor and image sensing method | |
US10628967B2 (en) | Calibration for multi-camera systems | |
JP3817302B2 (ja) | 画像生成装置 | |
CN107403409B (zh) | 图像拼接前的图像处理方法、装置及图像拼接方法及装置 | |
JP5442721B2 (ja) | 形状の不変量アフィン認識方法及びデバイス | |
Alomran et al. | Feature-based panoramic image stitching | |
TWI761684B (zh) | 影像裝置的校正方法及其相關影像裝置和運算裝置 | |
CN107527336B (zh) | 镜头相对位置标定方法及装置 | |
KR100614004B1 (ko) | 자동화된 360°파노라마 이미지 생성 방법 | |
CN109887002A (zh) | 图像特征点的匹配方法、装置、计算机设备和存储介质 | |
CN113160048A (zh) | 一种缝合线引导的图像拼接方法 | |
US20200112671A1 (en) | Image sensor and image sensing method | |
TWI784605B (zh) | 影像拼接方法 | |
KR101938067B1 (ko) | Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치 | |
TWI402768B (zh) | 產生高解析度影像之方法 | |
US20220414825A1 (en) | Image stitching method |