TWI630580B - 影像拼接方法與使用此方法的影像擷取裝置 - Google Patents

影像拼接方法與使用此方法的影像擷取裝置 Download PDF

Info

Publication number
TWI630580B
TWI630580B TW106117677A TW106117677A TWI630580B TW I630580 B TWI630580 B TW I630580B TW 106117677 A TW106117677 A TW 106117677A TW 106117677 A TW106117677 A TW 106117677A TW I630580 B TWI630580 B TW I630580B
Authority
TW
Taiwan
Prior art keywords
image
splicing
parameter
parameter group
candidate
Prior art date
Application number
TW106117677A
Other languages
English (en)
Other versions
TW201901618A (zh
Inventor
曹昌盛
張森皓
黃信維
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW106117677A priority Critical patent/TWI630580B/zh
Application granted granted Critical
Publication of TWI630580B publication Critical patent/TWI630580B/zh
Publication of TW201901618A publication Critical patent/TW201901618A/zh

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本發明提出一種影像拼接方法,包括以下步驟。取得第一測試影像以及第二測試影像。利用多個第一參數組的其中之一拼接第一測試影像以及第二測試影像,並取得第一參數組所對應的拼接誤差度。判斷第一參數組所對應的拼接誤差度是否高於最低容忍度。若所述多個第一參數組所對應的拼接誤差度皆高於最低容忍度,依據拼接誤差度來選擇多個第一參數組的其中之一以作為至少一個候選參數組的其中之一。依據至少一個候選參數組拼接第一影像以及第二影像以產生合成影像。

Description

影像拼接方法與使用此方法的影像擷取裝置
本發明是有關於一種影像處理方法,且特別是有關於一種影像拼接方法與使用此方法的影像擷取裝置。
目前的全角度相機都是使用兩顆以上的鏡頭同時拍照,在將所拍攝的照片合成一張360∘x360∘的全角度影像。一般而言,使用越多顆鏡頭來取得越多不同角度的影像,可以使各影像中重疊的部分大幅增加,如此在合成各個影像時,可以簡單並正確的計算重疊的部分,進而產生出良好的全角度影像。然而,鏡頭的價格不斐,為了降低計算負擔而使用多顆鏡頭將導致成本大量的上升。
若不使用大量的鏡頭,在全角度相機校正不完整的情況之下,直接使用混合(blend)的方法合成影像將可能因為鏡頭位置誤差等因素導致影像重疊的部分變形或扭曲而顯得相當不自然。因此,有必要提供一種方式來在避免上述的缺陷下拼接兩張影像,以產生高品質的合成影像。
本發明提供一種影像拼接方法與使用此方法的影像擷取裝置,能夠選擇適當的參數組來拼接兩張影像,以產生高品質的合成影像。
本發明的影像拼接方法包括以下步驟。取得第一測試影像以及第二測試影像。利用多個第一參數組的其中之一拼接第一測試影像以及第二測試影像,並取得第一參數組所對應的拼接誤差度。判斷第一參數組所對應的拼接誤差度是否高於最低容忍度。若所述多個第一參數組所對應的拼接誤差度皆高於最低容忍度,依據拼接誤差度來選擇多個第一參數組的其中之一以作為至少一個候選參數組的其中之一。依據至少一個候選參數組拼接第一影像以及第二影像以產生合成影像。
在本發明的一實施例中,若上述多個第一參數組的其中之一所對應的拼接誤差度低於或等於最低容忍度,將此第一參數組作為至少一個候選參數組的其中之一。
在本發明的一實施例中,上述的至少一個候選參數組的數量多於一組,且上述的影像拼接方法更包括以下步驟。利用至少一個第二參數組的其中之一拼接第一測試影像以及第二測試影像,並取得此第二參數組所對應的拼接誤差度。判斷第二參數組所對應的拼接誤差度是否高於最低容忍度。若其中一個第二參數組所對應的拼接誤差度低於或等於最低容忍度,將此第二參數組作為其中一個候選參數組,或若上述第二參數組所對應的拼接誤差度皆高於最低容忍度,依據拼接誤差度選擇其中一個第二參數組作為其中一個候選參數組。
在本發明的一實施例中,在上述依據多個候選參數組拼接第一影像以及第二影像以產生合成影像的步驟之前更包括以下步驟。判斷候選參數組的數量是否大於預設數量。若候選參數組的數量大於預設數量,依據這些候選參數組拼接第一影像以及第二影像以產生合成影像。若候選參數組的數量小於或等於預設數量,利用至少一個第三參數組的其中之一拼接第一測試影像以及第二測試影像,並取得此第三參數組所對應的拼接誤差度。判斷第三參數組所對應的拼接誤差度是否高於最低容忍度。若其中一個第三參數組所對應的拼接誤差度低於或等於最低容忍度,將此第三參數組作為其中一個候選參數組,或若上述第三參數組所對應的拼接誤差度皆高於最低容忍度,依據拼接誤差度選擇其中一個第三參數組作為其中一個候選參數組。
在本發明的一實施例中,上述依據多個候選參數組拼接第一影像以及第二影像以產生合成影像的步驟包括以下步驟。取得第一驗證影像與第二驗證影像。分別利用各個候選參數組拼接第一驗證影像以及第二驗證影像,並取得各個候選參數組所對應的拼接誤差度。從所述多個候選參數組中選擇對應於最小的拼接誤差度的最佳候選參數組。利用所選擇的最佳候選參數組來拼接第一影像以及第二影像以產生合成影像。
在本發明的一實施例中,上述取得各個候選參數組所對應的拼接誤差度的步驟之後,更包括以下步驟。判斷各個候選參數組所對應的拼接誤差度是否高於最高容忍度。若上述的候選參數組所對應的拼接誤差度皆高於最高容忍度,不依據這些候選參數組來拼接第一影像以及第二影像。
在本發明的一實施例中,上述利用第一參數組拼接第一測試影像以及第二測試影像,並取得第一參數組所對應的拼接誤差度的步驟包括以下步驟。利用第一參數組拼接第一測試影像與第二測試影像,以產生第一拼接影像以及第二拼接影像。第一拼接影像中包括第一拼接區,以及第二拼接影像中包括對應於第一拼接區的第二拼接區。計算第一拼接區與第二拼接區中多個對應像素的多個差異度,並且依據這些差異度計算第一參數組所對應的拼接誤差度。
在本發明的一實施例中,上述利用第一參數組拼接第一測試影像以及第二測試影像,並取得第一參數組所對應的拼接誤差度的步驟更包括以下步驟。查詢資料庫,其中資料庫記錄有多個參數組、各個參數組所對應的拼接誤差度以及多個行為分數,且各個行為分數對應於兩個參數組。資料庫中所記錄的多個參數組中包括所述多個第一參數組。選擇所利用的第一參數組所對應的行為分數之中最高的行為分數,作為第一行為分數。依據所利用的第一參數組以及第一行為分數選擇另一組第一參數組。
在本發明的一實施例中,上述依據所利用的第一參數組以及第一行為分數選擇另一組第一參數組的步驟之後,更包括以下步驟。依據資料庫以及所選擇的另一組第一參數組,判斷所述多個第一參數組的連續重複選擇次數是否大於次數上限。若連續重複選擇次數小於或等於次數上限,取得所選擇的另一組第一參數組所對應的拼接誤差度。若連續重複選擇次數大於次數上限,選擇最小的拼接誤差度所對應的第一參數組作為其中一個候選參數組。
在本發明的一實施例中,上述的影像拼接方法更包括以下步驟。取得所選擇的另一組第一參數組所對應的拼接誤差度。依據所選擇的另一組第一參數組所對應的拼接誤差度,計算獎勵分數。依據獎勵分數以及所選擇的另一組第一參數組所對應的行為分數,更新資料庫中的第一行為分數。
在本發明的一實施例中,上述的拼接誤差度負相關於獎勵分數,且獎勵分數正相關於更新後的第一行為分數。
本發明的影像擷取裝置包括第一影像擷取單元、第二影像擷取單元、儲存單元以及處理單元。第一影像擷取單元用以取得第一影像以及第一測試影像,第二影像擷取單元用以取得第二影像以及第二測試影像,儲存單元用以記錄至少一個候選參數組,處理單元用以利用多個第一參數組的其中之一拼接第一測試影像以及第二測試影像,並取得第一參數組所對應的拼接誤差度。處理單元更設定最低容忍度,以在所述的第一參數組所對應的拼接誤差度皆高於最低容忍度時,依據拼接誤差度選擇其中一個第一參數組以記錄為其中一個候選參數組。處理單元依據儲存單元中的至少一個候選參數組,拼接第一影像以及第二影像以產生合成影像。
在本發明的一實施例中,上述的處理單元在所述多個第一參數組的其中之一所對應的拼接誤差度低於或等於最低容忍度時,將此第一參數組記錄為其中一個候選參數組。
在本發明的一實施例中,上述的候選參數組的數量多於一組,且處理單元更利用至少一個第二參數組的其中之一拼接第一測試影像以及第二測試影像,並取得此第二參數組所對應的拼接誤差度。處理單元更在其中一個第二參數組所對應的拼接誤差度低於或等於最低容忍度時,將此第二參數組記錄為其中一個候選參數組,或在第二參數組所對應的拼接誤差度皆高於最低容忍度時,依據拼接誤差度選擇其中一個第二參數組以記錄為其中一個候選參數組。
在本發明的一實施例中,上述的處理單元在依據多個候選參數組拼接第一影像以及第二影像以產生合成影像之前,判斷候選參數組的數量是否大於預設數量。若候選參數組的數量大於預設數量,處理單元依據這些候選參數組拼接第一影像以及第二影像以產生合成影像。若候選參數組的數量不大於預設數量,處理單元利用至少一個第三參數組的其中之一拼接第一測試影像以及第二測試影像,取得此第三參數組所對應的拼接誤差度。處理單元並且在其中一個第三參數組所對應的拼接誤差度低於等於最低容忍度時,將此第三參數組作為其中一個候選參數組,或在第三參數組所對應的拼接誤差度皆高於最低容忍度時,依據拼接誤差度選擇其中一個第三參數組作為其中一個候選參數組。
在本發明的一實施例中,上述的第一影像擷取單元更用以擷取第一驗證影像,且第二影像擷取單元更用以擷取第二驗證影像。處理單元分別利用儲存單元中的各個候選參數組,拼接第一驗證影像以及第二驗證影像,並取得各個候選參數組所對應的拼接誤差度。處理單元更從候選參數組中選擇對應最小的拼接誤差度的最佳候選參數組,並利用所選擇的最佳候選參數組來拼接第一影像以及第二影像以產生合成影像。
在本發明的一實施例中,上述的處理單元更用以設定最高容忍度,並判斷各個候選參數組所對應的拼接誤差度是否高於最高容忍度。若候選參數組所對應的拼接誤差度皆高於最高容忍度,則處理單元不依據這些候選參數組來拼接第一影像以及第二影像。
在本發明的一實施例中,上述的處理單元利用第一參數組拼接第一測試影像以及第二測試影像,以取得第一參數組所對應的拼接誤差度時,利用第一參數組拼接第一測試影像與第二測試影像以產生第一拼接影像以及第二拼接影像。第一拼接影像中包括第一拼接區以及第二拼接影像中包括對應於第一拼接區的第二拼接區。處理單元更計算第一拼接區與第二拼接區中多個對應像素的多個差異度,並且依據這些差異度計算第一參數組所對應的拼接誤差度。
在本發明的一實施例中,上述的儲存單元更用以記錄資料庫,資料庫中包括記錄多個參數組、各個參數組所對應的拼接誤差度以及多個行為分數,而各個行為分數對應於兩個參數組。資料庫中所記錄的多個參數組中包括所述多個第一參數組。處理單元利用第一參數組拼接第一測試影像以及第二測試影像,以取得第一參數組所對應的拼接誤差度之後,更查詢資料庫,以選擇第一參數組所對應的行為分數之中最高的行為分數作為第一行為分數,並依據第一參數組以及第一行為分數選擇另一組第一參數組。
在本發明的一實施例中,上述的處理單元更記錄所述多個第一參數組的連續重複選擇次數。處理單元依據所選擇的另一組第一參數組查詢資料庫,以判斷連續重複選擇次數是否大於次數上限。若連續重複選擇次數小於或等於次數上限,處理單元取得所選擇的另一組第一參數組所對應的拼接誤差度。若連續重複選擇次數大於次數上限,則處理單元選擇最小的拼接誤差度所對應的第一參數組以記錄為其中一個候選參數組。
在本發明的一實施例中,上述的處理單元更取得所選擇的另一組第一參數組所對應的拼接誤差度,並且依據所選擇的另一組第一參數組所對應的拼接誤差度,計算獎勵分數。處理單元依據獎勵分數以及所選擇的另一組第一參數組所對應的行為分數,更新資料庫中的第一行為分數。
在本發明的一實施例中,上述的拼接誤差度負相關於獎勵分數,且獎勵分數正相關於更新後的第一行為分數。
基於上述,本發明所提出的影像拼接方法及使用此方法的影像擷取裝置,藉由預先拍攝的測試影像,來利用類似於強化學習的方式來選擇出最能夠適應於現實環境的一組參數組提供影像擷取裝置使用,以拼接所拍攝的影像來產生合成影像。如此一來,所產生的合成影像能夠具有良好的影像品質。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1繪示本發明一實施例的影像擷取裝置的概要方塊圖。
請參照圖1,影像擷取裝置100包括第一影像擷取單元110、第二影像擷取單元120、儲存單元130以及處理單元140,其中處理單元140耦接於第一影像擷取單元110、第二影像擷取單元120以及儲存單元130。
在本發明的一實施例中,影像擷取裝置100例如為全角度相機,第一影像擷取單元110以及第二影像擷取單元120例如分別為相同或不同的魚眼鏡頭,其中第一影像擷取單元110與第二影像擷取單元120被設置以具有不同的影像視野(field of view,FOV)。舉例來說,第一影像擷取單元110與第二影像擷取單元120分別為可用以拍攝大於180∘x180∘魚眼影像的左右魚眼鏡頭,且相互背對地設置於影像擷取裝置100上。藉由拼接第一影像擷取單元110與第二影像擷取單元120所分別取得的第一影像與第二影像,兩張魚眼影像能夠合成360∘x360∘的全角度合成影像。
拼接第一影像與第二影像後所產生的合成影像會因為所使用來拼接的參數組的不同,而具有不同的合成品質。當所使用的參數組適當時,合成影像在第一影像與第二影像的拼接處例如會相當自然;反之,合成影像在第一影像與第二影像的拼接處例如會包括扭曲不自然的影像或物件。因此,為了盡可能的選取最佳的參數組來合成第一影像與第二影像,本發明實施例藉由處理單元140搭配第一影像擷取單元110、第二影像擷取單元120,以及儲存單元130來選擇最佳參數組以拼接第一影像與第二影像。
儲存單元130例如是任何型態的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在一實施例中,儲存單元130可用以記錄資料庫等任意形式的所需資料,本發明並不在此限。
處理單元140例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。在一實施例中,處理單元140用以搭配第一影像擷取單元110、第二影像擷取單元120以及儲存單元130來盡可能的選擇參數組以使影像擷取裝置100能夠輸出較佳的合成影像。
在本發明實施例中,參數組例如包括與第一影像擷取單元110和第二影像擷取單元120的設置位置、設置角度、鏡頭焦距、鏡頭視野、鏡頭中心點、鏡頭中心解析度、扭曲參數等相關的多個參數,但本發明並不限於此。
圖2繪示本發明一實施例中依據參數組拼接第一影像與第二影像的示意圖。
請參照圖2,在一實施例中,影像擷取裝置100會同時藉由第一影像擷取單元110以及第二影像擷取單元120拍攝第一影像IMG1以及第二影像IMG2。為了拼接第一影像IMG1與第二影像IMG2,處理單元140例如會分別藉由與第一影像擷取單元110與第二影像擷取單元120相關的參數組,來產生一第一等距長方投影(Equirectangular)EQT1以及一第二等距長方投影EQT2。其中,第一等距長方投影EQT1以第一影像IMG1為基準,而第二等距長方投影EQT2以第二影像IMG2為基準。舉例來說,第一等距長方投影EQT1是以第一影像IMG1為基準來拼接第二影像IMG2,而在拼接時,處理單元140將需要依據參數組來對第一影像IMG1與第二影像IMG2作對應的調整(例如,調整中心點座標、半徑或旋轉影像等)。因此,所使用的參數組將會直接決定第一影像IMG1與第二影像IMG2分別應該如何調整以進行拼接。
第一等距長方投影EQT1中包括第一拼接區ST1a與ST1b,且第二等距長方投影EQT2中包括第二拼接區ST2a與ST2b。因為第一影像IMG1中右半部的影像或物件是對應於第二影像IMG2中左半部的影像或物件,而第一影像IMG1中左半部的影像或物件是對應於第二影像IMG2中右半部的影像或物件。因此,在所產生的第一等距長方投影EQT1與第二等距長方投影EQT2中,第一拼接區ST1a會對應於第二拼接區ST2a,而第一拼接區ST1b會對應於第二拼接區ST2b。
在一實施例中,處理單元140會將第一拼接區ST1a中各畫素的RGB值由左而右的乘上一個遞減且不大於1的非負值,並將第二拼接區ST2a中各畫素的RGB值由左而右的乘上一個遞增且不大於1的非負值,然後疊加第一拼接區ST1a與第二拼接區ST2a,使得合成影像CBI中的右拼接區STR的左右兩側都能夠自然的接合。此外,第一拼接區ST1b與第二拼接區ST2b也能夠以類似的方式來疊加,使合成影像CBI中的左拼接區STL的左右兩側也能夠自然的接合。然而,本發明並不在此限,所屬技術領域具備通常知識者當可依需求來修改拼接第一影像IMG1與第二影像IMG2的方式。
值得一提的是,藉由圖2實施例所介紹的方法來合成第一影像IMG1與第二影像IMG2時,合成影像CBI的合成品質會依賴於產生第一等距長方投影EQT1與第二等距長方投影EQT2時所使用的參數組。若所使用的參數組不適當,合成影像CBI中的右拼接區STR或左拼接區STL中的影像或物件便可能會模糊或變形。在一實施例中,處理單元140會計算用來拼接第一影像IMG1與第二影像IMG2的參數組所對應的拼接誤差度,以作為此參數組是否適當的判斷基準。
圖3繪示本發明一實施例中計算拼接誤差度的示意圖。
請參照圖3,一特定參數組被使用來拼接第一影像IMG1與第二影像IMG2以產生第一等距長方投影EQT1與第二等距長方投影EQT2。首先,處理單元140會計算第一拼接區ST1a、ST1b中的多個像素與第二拼接區ST2a、ST2b中對應的多個像素的差異度。舉例來說,處理單元140會計算第一拼接區ST1a中各個像素與第二拼接區ST2a中位於相對應位置的像素的RGB值的差值,再取此些差值的絕對值平均作為第一差異度DIFF1,以及計算第一拼接區ST1b中各個像素與第二拼接區ST2b中位於相對應位置的像素的RGB值的差值,再取此些差值的絕對值平均作為第二差異度DIFF2。
接著,依據所計算出來的差異度,處理單元140會再計算該特定參數組所對應的拼接誤差度。詳細來說,處理單元140會計算第一差異度DIFF1與第二差異度DIFF2的平均值以作為該特定參數組所對應的拼接誤差度。
藉由上述實施例所介紹的拼接誤差度,特定參數組是否適合用來拼接第一影像IMG1與第二影像IMG2能夠被量化。拼接誤差度越高,表示此特定參數組越不適合用來拼接第一影像IMG1與第二影像IMG2;而拼接誤差度越低,表示此特定參數組越適合用來拼接第一影像IMG1與第二影像IMG2。
在本發明的一實施例中,處理單元140會執行影像拼接方法來選擇出一組最佳參數組,以及用所選出的最佳參數組來拼接第一影像擷取單元110與第二影像擷取單元120所拍攝的第一影像IMG1以及第二影像IMG2以產生合成影像CBI。
圖4繪示本發明一實施例的影像拼接方法的流程圖。圖4相關實施例的影像拼接方法適於藉由圖1至圖3實施例的影像擷取裝置100來完成。在本發明的一實施例中,影像擷取裝置100會產生至少一組候選參數組,再從其中選擇出其中一個最佳候選參數組來拼接第一影像以及第二影像以產生合成影像。
請參照圖4,在一實施例中,為了產生候選參數組,影像擷取裝置100例如會在拼接第一影像IMG1與第二影像IMG2之前,先分別藉由第一影像擷取單元110與第二影像擷取單元120拍攝第一測試影像與第二測試影像(S401)。
不同於第一影像IMG1與第二影像IMG2,第一測試影像與第二測試影像例如是在特定的環境中所拍攝。圖5繪示本發明一實施例中取得測試影像的示意圖。請參照圖5,在一實施例中,在影像擷取裝置100的兩側,分別以三公尺的距離設置兩片測試板TB。影像擷取裝置100的第一影像擷取單元110與第二影像擷取單元120在所設置的環境中,拍攝兩測試板TB的影像以作為第一測試影像以及第二測試影像。然而,本發明並不限於此。在其他實施例中,測試板TB與影像擷取裝置100的距離也可以設置為一公尺、兩公尺或其他的距離。
在一實施例中,處理單元140取得第一測試影像與第二測試影像後,會判斷目前的候選參數組的數量是否大於預設數量(S402)。候選參數組可例如是記錄在儲存單元130或是處理單元140的內嵌記憶體當中,本發明並不在此限。另外,預設數量例如是使用者依其需求預設於處理單元140中。在一實施例中,預設數量例如預設為10,但本發明亦不在此限。
若候選參數組的數量大於預設數量,處理單元140會依據此些候選參數組來拼接第一影像與第二影像以產生合成影像(S403)。若候選參數組的數量不大於預設數量,處理單元140會繼續產生並累積候選參數組。
圖6繪示本發明一實施例的參數組空間的示意圖。
請參照圖6,為了方便對參數組進行說明,以二維的參數組空間PS作為範例,但本發明並不在此限,依據參數組中所包括的參數數量,參數組空間PS可能具有更多或更少的維度。參數組空間PS用以表示所有可能的參數組。在一實施例中,參數組空間PS會與第一影像擷取單元110和第二影像擷取單元120的規格相關。在另一實施例中,參數組空間PS也可能會由使用者依其需求來自行定義。在參數組空間PS中的每一個點都可以用以代表一個參數組。舉例而言,第一參數組P11例如可包括第一影像擷取單元110的設置位置、設置角度、鏡頭焦距、鏡頭視野、鏡頭中心點、鏡頭中心解析度、扭曲參數等多個參數,以及第二影像擷取單元120的設置位置、設置角度、鏡頭焦距、鏡頭視野、鏡頭中心點、鏡頭中心解析度、扭曲參數等多個參數。在一實施例中,多個第一參數組P11、P12、…、P1n、多個第二參數組P21、…、P2m、多個第三參數組P31、…、P3p等分別用以表示位於參數組空間PS不同區域的至少一個參數組。在其他實施例中,第二參數組或第三參數組的數量也可例如是只有一個,本發明不在此限。
在一實施例中,為累積候選參數組,處理單元140會取得參數組空間中多個第一參數組的其中之一組第一參數組P11,並且利用所選擇的第一參數組P11來拼接第一測試影像與第二測試影像以取得第一參數組P11的拼接誤差度C11(S404)。關於取得參數組並將其拼接兩影像以取得參數組對應的拼接誤差度的方式已於圖3相關實施例中詳細描述,在此不再贅述。在一實施例中,從參數組空間中取得第一參數組P11的方式例如是由使用者依據已知的第一影像擷取單元110和第二影像擷取單元120的規格所選擇。在另一實施例中,第一參數組P11亦可以是從參數組空間PS中隨機選擇產生。
隨後,處理單元140會判斷拼接誤差度是否高於最低容忍度(S405)。在本實施例中,若第一參數組P11的拼接誤差度C11低於或等於最低容忍度,處理單元140會將第一參數組P11作為候選參數組(S406),隨後會回到步驟S402以判斷候選參數組的數量是否已經大於預設數量。另一方面,若拼接誤差度C11高於最低容忍度,處理單元140會繼續選擇下一組第一參數組P12。在選擇出多個第一參數組後,處理單元140最後將會從多個第一參數組中選擇出其中之一來做為候選參數組。在一實施例中,若拼接誤差度C11高於最低容忍度,處理單元140會查詢儲存單元130中的資料庫,來選擇另一組第一參數組P12(S407)。
值得一提的是,本發明並不在此限制上述最低容忍度的實際數值。依據不同的拼接誤差度計算方式以及使用單位,應用本發明實施例的使用者當可依其需求來調整最低容忍度的大小。
在一實施例中,資料庫中記錄有參數組空間PS中的多個參數組,以及各參數組所對應的拼接誤差度以及多個行為分數。舉例來說,請參照圖6,資料庫中例如會紀錄多個第一參數組P11、P12、…、P1n、多個第二參數組P21、…、P2m以及多個第三參數組P31、…、P3p等多個參數組。資料庫中會記錄各參數組所對應的拼接誤差度以及兩兩參數組之間的行為分數,其中行為分數用以指示從某一特定參數組換成另一特定參數組後的拼接品質變化。因此,一個行為分數會對應於兩個參數組。行為分數越高,表示越適合從此特定參數組換成另一特定參數組來拼接第一測試影像與第二測試影像。在一實施例中,當處理單元140計算完拼接誤差度或行為分數後,也會對應地更新資料庫的內容。
以第一參數組P11為例,資料庫中記錄有第一參數組P11及其所對應的拼接誤差度C11。此外,資料庫中還記錄第一參數組P11與其他各參數組P12、…、P1n、P21、…、P2m、P31、…、P3p之間的行為分數。以第二參數組P21為例,資料庫中記錄有第二參數組P21及其所對應的拼接誤差度C21。此外,資料庫中還記錄第二參數組P21與其他各參數組P11、…、P1n、P22、…、P2m、P31、…、P3p之間的行為分數。在一實施例中,資料庫中的所有拼接誤差度會被預設為0,且行為分數會被預設為-1,但不限於此。
在一實施例中,當第一參數組P11所對應的拼接誤差度C11高於最低容忍度時,處理單元140會查詢資料庫,以從第一參數組P11所對應的所有行為分數中,選擇出最高的行為分數(以下稱第一行為分數),並且找出與第一參數組P11共同對應第一行為分數的第一參數組P12(S407)。舉例而言,資料庫中記錄有第一參數組P11與其他各參數組P12、…、P1n、P21、…、P2m、P31、…、P3p之間的行為分數。假設第一參數組P11與第一參數組P12之間的第一行為分數為3,而第一參數組P11與其他參數組P13、…、P1n、P21、…、P2m、P31、…、P3p之間的行為分數皆為預設的-1,則處理單元140會選擇第一參數組P12,其表示若從第一參數組P11換成第一參數組P12來拼接第一測試影像與第二測試影像,會具有較低的拼接誤差度。
在一實施例中,為了避免處理單元140在參數組空間PS的特定區域中重複地尋找參數組,卻一直找不到一組參數組對應的拼接誤差度低於或等於最低容忍度的情形,處理單元140會記錄一個連續重複選擇次數於自身的內嵌記憶體或是儲存單元130中,其中連續重複選擇次數是用以指示所有的第一參數組連續被重複選擇的次數。在步驟S407後,處理單元140會依據資料庫以及所選擇的第一參數組P12,判斷多個第一參數組的連續重複選擇次數是否大於次數上限(S408)。具體來說,處理單元140會從資料庫來判斷所選擇的第一參數組P12是否已經計算並更新過拼接誤差度C12,即拼接誤差度C12是否曾經被修改而不再是預設值。若資料庫中所記錄的拼接誤差度C12不是預設值,則處理單元140會將連續重複選擇次數加上一,表示第一參數組P12被選擇過。反之,若資料庫中所記錄的拼接誤差度為預設值,則處理單元140會將連續重複選擇次數歸零。
若連續重複選擇次數大於次數上限,則處理單元140會依據目前多個第一參數組的拼接誤差度來選擇其中拼接誤差度最小的第一參數組(即,本地最佳參數組(Local Best Parameter Set))作為候選參數組(S409),隨後回到步驟S402以判斷候選參數組的數量是否大於預設數量。在一實施例中,若連續重複選擇次數大於次數上限,處理單元140會從多個第一參數組中,選擇對應拼接誤差度最低的第一參數組作為候選參數組,並且將連續重複選擇次數歸零。在一實施例中,次數上限例如是預設為300。在其他實施例中,次數上限亦可以是大於0的任意數值,本發明並不限於此,應用本發明實施例的使用者當可依其需求來設定所述次數上限的數值。
若連續重複選擇次數不大於次數上限,處理單元140會繼續取得所選擇的參數組所對應的拼接誤差度(S410)。在一實施例中,所選擇的參數組為第一參數組P12,且次數上限是設定為300。當連續重複選擇次數不大於300時,處理單元140會利用第一參數組P12來拼接第一測試影像與第二測試影像,以取得拼接誤差度C12。
隨後,處理單元140會依據所選擇的參數組所對應的拼接誤差度來計算獎勵分數(S411)。特別是,所述獎勵分數是用以更新第一參數組P11與第一參數組P12之間的第一行為分數,因此當第一參數組P12對應的拼接誤差度C12越高,獎勵分數將會越低,而獎勵分數越高,則會使更新後的第一行為分數越高。換言之,拼接誤差度是負相關於獎勵分數,而獎勵分數會正相關於更新後的行為分數。
在一實施例中,所選擇的參數組為第一參數組P12,對應於拼接誤差度C12,處理單元140會利用以下條件的至少其中之一來計算獎勵分數。
首先,若拼接誤差度C12低於或等於最低容忍度,表示第一參數組P12的選擇是成功的,則處理單元140會將獎勵分數設定為一個遠高於預設值(例如,-1)的第一分數。在一實施例中,第一分數設定為1000,但本發明並不限於此。
反之,若拼接誤差度C12高於最低容忍度,但不高於一次低容忍度時,處理單元140會將獎勵分數設定為略高於預設值的第二分數。在一實施例中,第二分數設定為-0.9,但本發明並不限於此。
若拼接誤差度C12高於最低容忍度,且甚至高於一最高容忍度時,表示第一參數組P12的選擇較失敗,處理單元140會將獎勵分數設定為低於預設值的第三分數。在一實施例中,第三分數設定為-5,但本發明並不限於此。
若拼接誤差度C12不符合上述任何一個條件,表示無法評斷第一參數組P12的選擇是成功或失敗,則處理單元140會將獎勵分數設定為預設值。
值得一提的是,最低容忍度、次低容忍度以及最高容忍度例如可以由處理單元140分別設定為第一誤差門檻值、第二誤差門檻值以及第三誤差門檻值,其中第一誤差門檻值最低,表示第一誤差門檻值最容易被超過而代表最低容忍度。同理,第二誤差門檻值小於第三誤差門檻值。
計算完獎勵分數後,處理單元140會依據獎勵分數以及所選擇的第一參數組所對應的多個行為分數,來更新資料庫中所記錄的行為分數(S412)。在一實施例中,處理單元140會更新第一參數組P11與所選擇的第一參數組P12之間的第一行為分數。在更新時,若獎勵分數越高,表示第一參數組P12的選擇越成功,則第一行為分數會被增加越多。此外,在另一實施例中,處理單元140還更計算第一參數組P12所對應的多個行為分數,與第一行為分數的最大差值,若此最大差值越大,也可能表示第一參數組P12的選擇越成功,因此第一行為分數也會被增加的越多。其中,第一參數組P12所對應的多個行為分數可例如是從資料庫中取得。
舉例而言,處理單元140可藉由以下算式來更新第一行為分數:
其中, BS1為更新前的第一行為分數,而 BS1’為更新後的第一行為分數; R為獎勵分數; BS2 max 為第一參數組P12所對應的所有行為分數中最大的行為分數;α為學習速度(learning rate)和γ為衰減值(discount factor),其中α和γ分別為兩個預設的常數,使用者可依其需求來加以設定,本發明並不在此限。
更新後,處理單元140將回到步驟S405,判斷第一參數組P12所對應的拼接誤差度C12是否高於最低容忍度。若拼接誤差度C12低於或等於最低容忍度,則處理單元140會將第一參數組P12作為候選參數組(S406),反之,處理單元140會繼續選擇下一組第一參數組P13(S407),並重複上述的步驟,在此不再贅述。
特別是,任何時候當處理單元140將一個參數組選作後選參數組後,會回到步驟S402,以判斷候選參數組的數量是否大於預設數量,並在候選參數組的數量不大於預設數量時嘗試在參數組空間PS的另一個區域中尋找另一組候選參數組。在一實施例中,處理單元140在步驟S406或步驟S409中選定其中一組第一參數組作為候選參數組後,若候選參數組的數量尚未大於預設數量,則處理單元140會繼續選擇參數組空間PS另一區域中的第二參數組P21,並利用第二參數組P21來拼接第一測試影像與第二測試影像,以取得第二參數組P21所對應的拼接誤差度C21(S404),然後重複上述的步驟,在此不再贅述。在一實施例中,處理單元140例如是會在參數組空間PS中隨機選擇一組參數組作為第二參數組P21。在另一實施例中,為了充分在所定義的參數組空間PS中搜尋最適當的參數組,處理單元140也可例如是以預設的規律來選擇第二參數組P21,本發明並不在此加以限制。
類似地,在從至少一組第二參數組選擇出候選參數組後,若候選參數組的數量仍不大於預設數量時,處理單元140會再次從參數組空間PS的又另一區域中選擇下一組第三參數組P31。從第三參數組選擇出候選參數組的步驟亦是類似於前述說明,故在此不再贅述。
另一方面,若候選參數組的數量大於預設數量時,處理單元130會依據此些候選參數組來拼接第一影像擷取單元110與第二影像擷取單元120所拍攝的第一影像(例如,第一影像IMG1)與第二影像(例如,第二影像IMG2),以產生合成影像(S403)。
圖7繪示本發明一實施例中依據多個候選參數組拼接第一影像與第二影像來產生合成影像的流程圖。
請參照圖7,當候選參數組的數量大於預設數量,處理單元140會藉由第一影像擷取單元110拍攝第一驗證影像,並且藉由第二影像擷取單元120拍攝第二驗證影像(S701)。
在一實施例中,不同於第一測試影像與第二測試影像是在特定的環境中拍攝,第一驗證影像與第二驗證影像例如是拍攝於更貼近現實的環境中。詳細來說,第一測試影像與第二測試影像是分別拍攝距離第一影像擷取單元110與第二影像擷取單元120三公尺處的測試板TB影像。因此,所產生的多個候選參數組會是參數組空間PS中,用來拼接第一測試影像與第二測試影像較佳的參數組。然而,這樣的多個候選參數組可能只適合特定的環境,因此驗證環境中,例如是在距離影像擷取裝置100一至三公尺間架設有多個不同物體,使所拍攝的第一驗證影像與第二驗證影像皆能拍攝到驗證環境中的該些物體。如此一來,第一驗證影像與第二驗證影像將更能貼近實際被拼接的第一影像與第二影像。
取得第一驗證影像與第二驗證影像後,處理單元140會分別利用各個候選參數組拼接第一驗證影像以及第二驗證影像,並取得各個候選參數組所對應的拼接誤差度(S702)。隨後,處理單元140會選擇對應於最小的拼接誤差度的候選參數組(以下稱為最佳候選參數組)(S703)。
在一實施例中,處理單元140會利用所選擇的最佳候選參數組來拼接第一影像IMG1與第二影像IMG2,以產生合成影像。
在另一實施例中,處理單元140更判斷所選擇的最佳候選參數組所對應的拼接誤差度是否大於特定門檻值(S704),只有當最佳候選參數組不大於特定門檻值時,處理單元140才會接受此最佳候選參數組,並利用此最佳候選參數組來拼接第一影像IMG1與第二影像IMG2以產生合成影像(S705)。反之,若最佳候選參數組大於特定門檻值時,表示目前所有的候選參數組都不被處理單元140所接受,則處理單元140不會依據此些候選參數組來拼接第一影像與第二影像,而會回到圖4的步驟S401,再次拍攝一組新的第一測試影像以及第二測試影像,來重新尋找並累積候選參數組。值得一提的是,上述的特定門檻值可例如是最高容忍度,或是使用者依其需求來藉由處理單元140設定,本發明不在此限。
綜上所述,本發明實施例的影像拼接方法與使用此方法的影像擷取裝置,藉由預先拍攝的測試影像,來利用類似於強化學習的方式來在參數組空間中的多個區域選擇出多個候選參數組,再從多個候選參數組中選擇出最能夠適應於現實環境的一組最佳候選參數組來供影像擷取裝置使用,以拼接所拍攝的影像來產生合成影像。如此一來,所產生的合成影像能夠具有良好的影像品質。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧影像擷取裝置
110‧‧‧第一影像擷取單元
120‧‧‧第二影像擷取單元
130‧‧‧儲存單元
140‧‧‧處理單元
C11、C12、C21‧‧‧拼接誤差度
CBI‧‧‧合成影像
DIFF1‧‧‧第一差異度
DIFF2‧‧‧第二差異度
EQT1‧‧‧第一等距長方投影
EQT2‧‧‧第二等距長方投影
IMG1‧‧‧第一影像
IMG2‧‧‧第二影像
PS‧‧‧參數組空間
P11、P12、P13、P1n‧‧‧第一參數組
P21、P2m‧‧‧第二參數組
P31、P3p‧‧‧第三參數組
S401~S412‧‧‧影像拼接方法的步驟
S701~S705‧‧‧依據多個候選參數組拼接第一影像與第二影像來產生合成影像的步驟
ST1a、ST1b‧‧‧第一拼接區
ST2a、ST2b‧‧‧第二拼接區
STL‧‧‧左拼接區
STR‧‧‧右拼接區
TB‧‧‧測試板
圖1繪示本發明一實施例的影像擷取裝置的概要方塊圖。 圖2繪示本發明一實施例中依據參數組拼接第一影像與第二影像的示意圖。 圖3繪示本發明一實施例中計算拼接誤差度的示意圖。 圖4繪示本發明一實施例的影像拼接方法的流程圖。 圖5繪示本發明一實施例中取得測試影像的示意圖。 圖6繪示本發明一實施例的參數組空間的示意圖。 圖7繪示本發明一實施例中依據多個候選參數組拼接第一影像與第二影像來產生合成影像的流程圖。

Claims (22)

  1. 一種影像拼接方法,包括: 取得一第一測試影像以及一第二測試影像; 利用多個第一參數組的其中之一拼接該第一測試影像以及該第二測試影像,並取得該第一參數組所對應的一拼接誤差度; 判斷該第一參數組所對應的該拼接誤差度是否高於一最低容忍度; 若該些第一參數組所對應的該些拼接誤差度皆高於該最低容忍度,依據該些拼接誤差度選擇該些第一參數組的其中之一作為至少一候選參數組的其中之一;以及 依據該至少一候選參數組拼接一第一影像以及一第二影像以產生一合成影像。
  2. 如申請專利範圍第1項所述的影像拼接方法,其中若該些第一參數組的其中之一所對應的該拼接誤差度低於或等於該最低容忍度,將該第一參數組作為該至少一候選參數組的其中之一。
  3. 如申請專利範圍第2項所述的影像拼接方法,其中該至少一候選參數組的數量多於一組,所述影像拼接方法更包括: 利用至少一第二參數組的其中之一拼接該第一測試影像以及該第二測試影像,並取得該第二參數組所對應的一拼接誤差度; 判斷該第二參數組所對應的該拼接誤差度是否高於該最低容忍度;以及 若該至少一第二參數組的其中之一所對應的該拼接誤差度低於或等於該最低容忍度,將該第二參數組作為該些候選參數組的其中之一,或若該至少一第二參數組所對應的該至少一拼接誤差度皆高於該最低容忍度,依據該拼接誤差度選擇該至少一第二參數組的其中之一作為該些候選參數組的其中之一。
  4. 如申請專利範圍第3項所述的影像拼接方法,其中依據該些候選參數組拼接該第一影像以及該第二影像以產生該合成影像的步驟之前更包括: 判斷該些候選參數組的數量是否大於一預設數量; 若該些候選參數組的數量大於該預設數量,依據該些候選參數組拼接該第一影像以及該第二影像以產生該合成影像; 若該些候選參數組的數量小於或等於該預設數量,利用至少一第三參數組的其中之一拼接該第一測試影像以及該第二測試影像,並取得該第三參數組所對應的一拼接誤差度; 判斷該第三參數組所對應的該拼接誤差度是否高於該最低容忍度; 若該至少一第三參數組的其中之一所對應的該拼接誤差度低於或等於該最低容忍度,將該第三參數組作為該些候選參數組的其中之一,或若該至少一第三參數組所對應的該至少一拼接誤差度皆高於該最低容忍度,依據該拼接誤差度選擇該至少一第三參數組的其中之一作為該些候選參數組的其中之一。
  5. 如申請專利範圍第3項所述的影像拼接方法,其中依據該些候選參數組拼接該第一影像以及該第二影像以產生該合成影像的步驟包括: 取得一第一驗證影像與一第二驗證影像; 分別利用各該候選參數組拼接該第一驗證影像以及該第二驗證影像,並取得各該候選參數組所對應的拼接誤差度; 從該些候選參數組中選擇一最佳候選參數組,該最佳候選參數組對應最小的該拼接誤差度;以及 利用所選擇的該最佳候選參數組來拼接該第一影像以及該第二影像以產生該合成影像。
  6. 如申請專利範圍第5項所述的影像拼接方法,其中取得各該候選參數組所對應的該拼接誤差度的步驟之後,更包括: 判斷各該候選參數組所對應的該拼接誤差度是否高於一最高容忍度;以及 若該些候選參數組所對應的該些拼接誤差度皆高於該最高容忍度,不依據該些候選參數組來拼接該第一影像以及該第二影像。
  7. 如申請專利範圍第1項所述的影像拼接方法,其中利用該第一參數組拼接該第一測試影像以及該第二測試影像,並取得該第一參數組所對應的該拼接誤差度的步驟包括: 利用該第一參數組拼接該第一測試影像與該第二測試影像,以產生一第一拼接影像以及一第二拼接影像,其中該第一拼接影像包括一第一拼接區以及該第二拼接影像包括對應於該第一拼接區的一第二拼接區;以及 計算該第一拼接區與該第二拼接區中多個對應像素的多個差異度,並且依據該些差異度計算該第一參數組所對應的該拼接誤差度。
  8. 如申請專利範圍第7項所述的影像拼接方法,其中利用該第一參數組拼接該第一測試影像以及該第二測試影像,並取得該第一參數組所對應的該拼接誤差度的步驟更包括: 查詢一資料庫,其中該資料庫記錄多個參數組、各該參數組所對應的拼接誤差度以及多個行為分數,其中各該行為分數對應於該些參數組中的兩個參數組,且該些參數組包括該些第一參數組; 選擇所利用的該第一參數組所對應的該些行為分數之中最高的該行為分數,作為一第一行為分數;以及 依據所利用的該第一參數組以及該第一行為分數選擇該些第一參數組的其中之另一第一參數組。
  9. 如申請專利範圍第8項所述的影像拼接方法,其中依據所利用的該第一參數組以及該第一行為分數選擇該些第一參數組的其中之該另一第一參數組的步驟之後,更包括: 依據該資料庫以及所選擇的該另一第一參數組,判斷該些第一參數組的一連續重複選擇次數是否大於一次數上限; 若該連續重複選擇次數小於或等於該次數上限,取得所選擇的該另一第一參數組所對應的該拼接誤差度;以及 若該連續重複選擇次數大於該次數上限,選擇最小的該拼接誤差度所對應的該第一參數組作為該至少一候選參數組的其中之一。
  10. 如申請專利範圍第8項所述的影像拼接方法,更包括: 取得所選擇的該另一第一參數組所對應的該拼接誤差度; 依據所選擇的該另一第一參數組所對應的該拼接誤差度,計算獎勵分數;以及 依據該獎勵分數以及所選擇的該另一第一參數組所對應的該些行為分數,更新該資料庫中的該第一行為分數。
  11. 如申請專利範圍第10項所述的影像拼接方法,其中該拼接誤差度負相關於該獎勵分數,且該獎勵分數正相關於更新後的該第一行為分數。
  12. 一種影像擷取裝置,包括: 第一影像擷取單元,用以取得一第一影像以及一第一測試影像; 第二影像擷取單元,用以取得一第二影像以及一第二測試影像; 儲存單元,用以記錄至少一候選參數組;以及 處理單元,耦接於該第一影像擷取單元、該第二影像擷取單元以及該儲存單元,用以利用多個第一參數組的其中之一拼接該第一測試影像以及該第二測試影像,並取得該第一參數組所對應的拼接誤差度;以及設定一最低容忍度,以在該些第一參數組所對應的該些拼接誤差度皆高於該最低容忍度時,依據該些拼接誤差度選擇該些第一參數組的其中之一以記錄為該至少一候選參數組的其中之一;以及依據該儲存單元中的該至少一候選參數組,拼接該第一影像以及該第二影像以產生一合成影像。
  13. 如申請專利範圍第12項所述的影像擷取裝置,其中該處理單元在該些第一參數組中的其中之一所對應的該拼接誤差度低於或等於該最低容忍度時,將該第一參數組記錄為該至少一候選參數組的其中之一。
  14. 如申請專利範圍第13項所述的影像擷取裝置,其中該至少一候選參數組的數量多於一組,其中該處理單元更利用至少一第二參數組的其中之一拼接該第一測試影像以及該第二測試影像,並取得該第二參數組所對應的拼接誤差度, 其中該處理單元在該至少一第二參數組的其中之一所對應的該拼接誤差度低於或等於該最低容忍度時,將該其中之一第二參數組記錄為該些候選參數組的其中之一,或在該至少一第二參數組所對應的該至少一拼接誤差度皆高於該最低容忍度時,該處理單元依據該拼接誤差度選擇該至少一第二參數組的其中之一以記錄為該些候選參數組的其中之一。
  15. 如申請專利範圍第14項所述的影像擷取裝置,其中該處理單元在依據該些候選參數組拼接該第一影像以及該第二影像以產生該合成影像之前,判斷該些候選參數組的數量是否大於一預設數量, 其中若該些候選參數組的數量大於該預設數量,該處理單元依據該些候選參數組拼接該第一影像以及該第二影像以產生該合成影像, 其中若該些候選參數組的數量不大於該預設數量,該處理單元利用至少一第三參數組的其中之一拼接該第一測試影像以及該第二測試影像,取得該第三參數組所對應的拼接誤差度,並且在該至少一第三參數組的其中之一所對應的該拼接誤差度低於等於該最低容忍度時,將該第三參數組作為該些候選參數組的其中之一,或在該至少一第三參數組所對應的該至少一拼接誤差度皆高於該最低容忍度時,依據該拼接誤差度選擇該至少一第三參數組的其中之一作為該些候選參數組的其中之一。
  16. 如申請專利範圍第14項所述的影像擷取裝置,其中該第一影像擷取單元更用以擷取一第一驗證影像,且該第二影像擷取單元更用以擷取一第二驗證影像, 其中該處理單元分別利用該儲存單元中的各該候選參數組,拼接該第一驗證影像以及該第二驗證影像,並取得各該候選參數組所對應的拼接誤差度, 其中該處理單元更從該些候選參數組中選擇一最佳候選參數組,該最佳候選參數組對應最小的該拼接誤差度,並利用所選擇的該最佳候選參數組來拼接該第一影像以及該第二影像以產生該合成影像。
  17. 如申請專利範圍第16項所述的影像擷取裝置,其中該處理單元更用以設定一最高容忍度,並判斷各該候選參數組所對應的該拼接誤差度是否高於該最高容忍度, 其中若該些候選參數組所對應的該些拼接誤差度皆高於該最高容忍度,則該處理單元不依據該些候選參數組來拼接該第一影像以及該第二影像。
  18. 如申請專利範圍第12項所述的影像擷取裝置,其中該處理單元利用該第一參數組拼接該第一測試影像以及該第二測試影像,以取得該第一參數組所對應的該拼接誤差度時, 該處理單元利用該第一參數組拼接該第一測試影像與該第二測試影像以產生第一拼接影像以及第二拼接影像,其中該第一拼接影像包括一第一拼接區以及該第二拼接影像包括對應於該第一拼接區的一第二拼接區, 其中該處理單元更計算該第一拼接區與該第二拼接區中多個對應像素的多個差異度,並且依據該些差異度計算該第一參數組所對應的該拼接誤差度。
  19. 如申請專利範圍第18項所述的影像擷取裝置,其中該儲存單元更用以記錄一資料庫,其中該資料庫包括記錄多個參數組、各該參數組所對應的拼接誤差度以及多個行為分數,其中各該行為分數對應於該些參數組中的兩個參數組,且該些參數組包括該些第一參數組,其中該處理單元利用該第一參數組拼接該第一測試影像以及該第二測試影像,以取得該第一參數組所對應的該拼接誤差度之後, 該處理單元更查詢該資料庫,以選擇該第一參數組所對應的該些行為分數之中最高的該行為分數作為一第一行為分數,並依據該第一參數組以及該第一行為分數選擇該些第一參數組的其中之另一第一參數組。
  20. 如申請專利範圍第19項所述的影像擷取裝置,其中該處理單元更記錄該些第一參數組的一連續重複選擇次數, 其中該處理單元依據所選擇的該另一第一參數組查詢該資料庫,以判斷該連續重複選擇次數是否大於一次數上限, 其中若該連續重複選擇次數小於或等於該次數上限,該處理單元取得所選擇的該另一第一參數組所對應的該拼接誤差度, 其中若該連續重複選擇次數大於該次數上限,則該處理單元選擇最小的拼接誤差度所對應的該第一參數組以記錄為該至少一候選參數組的其中之一。
  21. 如申請專利範圍第19項所述的影像擷取裝置,其中該處理單元更取得所選擇的該另一第一參數組所對應的該拼接誤差度,並且依據所選擇的該另一第一參數組所對應的該拼接誤差度,計算獎勵分數, 其中該處理單元依據該獎勵分數以及所選擇的該另一第一參數組所對應的該些行為分數,更新該資料庫中的該第一行為分數。
  22. 如申請專利範圍第21項所述的影像擷取裝置,其中該拼接誤差度負相關於該獎勵分數,且該獎勵分數正相關於更新後的該第一行為分數。
TW106117677A 2017-05-26 2017-05-26 影像拼接方法與使用此方法的影像擷取裝置 TWI630580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW106117677A TWI630580B (zh) 2017-05-26 2017-05-26 影像拼接方法與使用此方法的影像擷取裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106117677A TWI630580B (zh) 2017-05-26 2017-05-26 影像拼接方法與使用此方法的影像擷取裝置

Publications (2)

Publication Number Publication Date
TWI630580B true TWI630580B (zh) 2018-07-21
TW201901618A TW201901618A (zh) 2019-01-01

Family

ID=63640740

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117677A TWI630580B (zh) 2017-05-26 2017-05-26 影像拼接方法與使用此方法的影像擷取裝置

Country Status (1)

Country Link
TW (1) TWI630580B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035047A1 (en) * 1998-03-10 2003-02-20 Tatsushi Katayama Image processing method, apparatus and memory medium therefor
TW200907557A (en) * 2007-08-08 2009-02-16 Behavior Tech Computer Corp Camera array apparatus and the method for capturing wide-angle video over a network
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
CN103247055A (zh) * 2013-05-27 2013-08-14 武汉大学 基于大跨度区域提取的接缝线优化方法
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
TW201416792A (zh) * 2012-10-22 2014-05-01 Nat Univ Chung Cheng 低複雜度之全景影像暨影片接合的方法
TW201510933A (zh) * 2013-09-11 2015-03-16 Univ Nat Yunlin Sci & Tech 基於可變接縫線之全景影像拼接方法
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
TWM510507U (zh) * 2015-04-02 2015-10-11 Ultracker Technology Co Ltd 即時影像縫合裝置
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035047A1 (en) * 1998-03-10 2003-02-20 Tatsushi Katayama Image processing method, apparatus and memory medium therefor
TW200907557A (en) * 2007-08-08 2009-02-16 Behavior Tech Computer Corp Camera array apparatus and the method for capturing wide-angle video over a network
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
TW201416792A (zh) * 2012-10-22 2014-05-01 Nat Univ Chung Cheng 低複雜度之全景影像暨影片接合的方法
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
CN103247055A (zh) * 2013-05-27 2013-08-14 武汉大学 基于大跨度区域提取的接缝线优化方法
TW201510933A (zh) * 2013-09-11 2015-03-16 Univ Nat Yunlin Sci & Tech 基於可變接縫線之全景影像拼接方法
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
TWM510507U (zh) * 2015-04-02 2015-10-11 Ultracker Technology Co Ltd 即時影像縫合裝置
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置

Also Published As

Publication number Publication date
TW201901618A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN110351494B (zh) 一种全景视频合成方法、装置及电子设备
JP4512584B2 (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
CN101322402B (zh) 图像投影装置、控制方法以及半导体装置
CN105453136B (zh) 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备
CN106447602B (zh) 一种图像拼接方法及装置
CN106462944A (zh) 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图
JP7105246B2 (ja) 再構成方法および再構成装置
Yang et al. Self-supervised learning of depth inference for multi-view stereo
JP5236039B2 (ja) 映像処理装置及びその制御方法
JP2006244387A (ja) 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム
JPWO2019230813A1 (ja) 三次元再構成方法および三次元再構成装置
US20100171815A1 (en) Image data obtaining method and apparatus therefor
CN112669429A (zh) 图像扭曲渲染方法及装置
JP2010079505A (ja) 画像生成装置及びプログラム
JP2013254097A (ja) 画像処理装置及びその制御方法、並びにプログラム
CN107376360B (zh) 游戏直播方法及游戏直播系统
CN114390262A (zh) 用于拼接三维球面全景影像的方法及电子装置
TWI630580B (zh) 影像拼接方法與使用此方法的影像擷取裝置
JP6715217B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
US8849014B2 (en) Photographic system
KR101082545B1 (ko) 영상 변환 기능을 구비한 이동통신 단말기
CN111292380B (zh) 图像处理方法及装置
JP6089742B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
TWI661392B (zh) 影像縫合方法及裝置
CN104637043B (zh) 支持像素选择方法、装置、视差值确定方法