TWI768709B

TWI768709B - 雙影像融合方法與裝置

Info

Publication number: TWI768709B
Application number: TW110104936A
Authority: TW
Inventors: 花凱龍; 陳永耀; 鍾昕燁; 陳佑丞; 林八林; 林子永; 溫承書; 王彥博; 陳俊榮; 楊東行; 呂文翔; 黃祺佳
Original assignee: 福邦科技國際股份有限公司; 國立臺灣科技大學
Priority date: 2021-01-19
Filing date: 2021-02-09
Publication date: 2022-06-21
Also published as: TWI797596B; TW202230284A; TW202230278A; TWI759156B; TW202305405A

Abstract

一種雙影像融合方法，其獲得使一熱影像能與一可見光影像良好地融合之一第一單應性矩陣及一第二單應性矩陣，且將該熱影像分割成一近距離影像及一遠距離影像，並以該第一單應性矩陣校正該近距離影像，使一校正後近距離影像與該可見光影像中的一近距離影像能良好地融合，並以第二單應性矩陣校正該遠距離影像，使校正後遠距離影像能與該可見光影像中的一遠距離影像能良好地融合，然後將該校正後近距離影像與該校正後遠距離影像合併成一校正後熱影像後，將該校正後熱影像轉換成一色彩影像，再將該色彩影像與該可見光影像相疊合形成一融合影像。

Description

雙影像融合方法與裝置

本發明是有關於一種影像融合方法，特別是指一種將在同一成像時間獲得之同一場景的熱影像與可見光影像合併成一個影像的雙影像融合方法。

可見光相機(RGB Camera)在天候良好、光線明亮時，其拍攝範圍內之物件成像效果良好，但在光線昏暗，如夜晚無光源處，其成像效果則與光線強弱成反比。而在雨、雪、霧等天候不良或有煙、塵的環境時，則易遭遮蔽且無法穿透，成像效果不佳，以致影響辨識影像中之物件的識別率。熱感攝影機(或稱紅外線相機，Thermal Camera)在天候不佳或光線昏暗環境下，其成像效果較可見光相機佳，但熱感攝影機僅能描繪物件的外型，不能顯示物件的細節輪廓，例如無法顯示人臉的細部特徵，且當所拍攝的相鄰物件溫度相近時，熱感攝影機易混淆相鄰物件而影響辨識影像中之物件的識別率。

因此，若能結合上述兩種影像特徵應可達到影像互補的效果。然而，例如圖1所示，是在同一成像時間由設於同一拍攝位置的一可見光攝影機與一熱感攝影機拍攝同一場景所獲得的一可見光影像20及一熱影像10，但由於可見光攝影機的視野(或視角，簡稱FOV)與熱感攝影機的視野不盡相同，例如在可見光攝影機的視野較大，熱感攝影機的視野較小的情況下，如果該熱影像10未經校正，而只有經過色彩轉換後就直接與該可見光影像20相疊合，會發現疊合後影像30中色彩化的該熱影像301並無法與該可見光影像20良好地重疊在一起，而存在雙影像明顯錯開(錯位)的問題，以致疊合後影像30無法突顯雙影像特徵互補的效果。

因此，本發明之目的，即在提供一種雙影像融合方法以及實現該方法的一種雙影像融合裝置，其能將熱影像與可見光影像良好地重疊(套疊)在一起形成一融合影像，使該融合影像突顯這兩種影像的特徵。

於是，本發明一種雙影像融合方法，應用於融合由一熱感攝影機拍攝的一熱影像與由一可見光攝影機拍攝的一可見光影像，且該熱感攝影機與該可見光攝影機相鄰地固定於一攝影位置；該方法包括：(A)一雙影像融合裝置獲得用以校正該熱影像，以使該熱影像與該可見光影像良好地融合之至少一第一單應性矩陣及一第二單應性矩陣，該第一單應性矩陣用以校正該熱影像中的一近距離影像，該第二單應性矩陣用以校正該熱影像中的一遠距離影像；(B)該雙影像融合裝置的一影像校正模組將該熱影像至少分割成該近距離影像及該遠距離影像，並根據該第一單應性矩陣校正該近距離影像而產生一校正後近距離影像，並且該影像校正模組根據該第二單應性矩陣校正該遠距離影像而產生一校正後遠距離影像；(C)該雙影像融合裝置的一影像合併模組將該校正後近距離影像與該校正後遠距離影像合併成一校正後熱影像；(D) 該雙影像融合裝置的一色彩轉換模組將該校正後熱影像轉換成一色彩影像；及(E)該雙影像融合裝置的一影像融合模組將該色彩影像與該可見光影像相疊合形成一融合影像。

在本發明的一些實施態樣中，步驟(A)獲得該第一單應性矩陣及該第二單應性矩陣的方法包括：(A1)將一校正板放置在與該攝影位置相距一第一距離處，並令該可見光攝影機與該熱感攝影機拍攝該校正板以分別獲得一第一可見光影像和一第一熱影像；(A2)將該校正板放置在與該攝影位置相距一第二距離處，並令該可見光攝影機與該熱感攝影機拍攝該校正板以分別獲得一第二可見光影像和一第二熱影像，其中該第二距離大於該第一距離；及(A3)一電腦裝置利用透視變換原理，根據該第一可見光影像中的該校正板影像與該第一熱影像中的該校正板影像之間的關連性，計算得到將該第一熱影像中的該校正板影像投影至該第一可見光影像中的該校正板影像的該第一單應性矩陣，且根據該第二可見光影像中的該校正板影像與該第二熱影像中的該校正板影像之間的關連性，計算得到將該第二熱影像中的該校正板影像投影至該第二可見光影像中的該校正板影像的該第二單應性矩陣。

在本發明的一些實施態樣中，該可見光攝影機使用非廣角鏡頭時，在步驟(A)中，該雙影像融合裝置還獲得校正該可見光攝影機的一內部參數矩陣，且在步驟(B)中，該影像校正模組根據該內部參數矩陣校正該可見光影像而產生一校正後可見光影像；且在步驟(E)中，該影像融合模組將該色彩影像與該校正後可見光影像相疊合形成該融合影像。

在本發明的一些實施態樣中，該可見光攝影機使用廣角鏡頭時，在步驟(A)中，該雙影像融合裝置還獲得校正該可見光攝影機的一魚眼校正矩陣，且在步驟(B)中，該影像校正模組根據該魚眼校正矩陣校正該可見光影像而產生一校正後可見光影像；且在步驟(E)中，該影像融合模組將該色彩影像與該校正後可見光影像相疊合形成該融合影像。

在本發明的一些實施態樣中，在步驟(A)中還獲得用以校正該熱影像，以使該熱影像與該可見光影像良好地融合的一第三單應性矩陣，且該第三單應性矩陣用以校正該熱影像中的另一遠距離影像；且在步驟(B)中，影像校正模組將該熱影像分割成該近距離影像、該遠距離影像及該另一遠距離影像，且根據該第一單應性矩陣校正該近距離影像而產生該校正後近距離影像，並根據該第二單應性矩陣校正該遠距離影像而產生該校正後遠距離影像，以及根據該第三單應性矩陣校正該另一遠距離影像而產生該另一校正後遠距離影像；且在步驟(C)中，該影像合併模組將該校正後近距離影像、該校正後遠距離影像及該校正後另一遠距離影像合併成該校正後熱影像。

在本發明的一些實施態樣中，步驟(A)獲得該第三單應性矩陣的方法包括：(A4)將該校正板放置在與該攝影位置相距該第二距離但高度高於步驟(A2)之該校正板的位置處，並令該可見光攝影機與該熱感攝影機同時拍攝該校正板以分別獲得一第三可見光影像和一第三熱影像；及(A5)該電腦裝置利用透視變換原理，根據該第三可見光影像中的該校正板影像與該第三熱影像中的該校正板影像之間的關連性，計算得到將該第三熱影像中的該校正板影像投影至該第三可見光影像中的該校正板影像的該第三單應性矩陣。

在本發明的一些實施態樣中，該第二距離是該第一距離的1.5~3倍。

在本發明的一些實施態樣中，在步驟(D)中，該色彩轉換模組還根據該可見光影像的尺寸，將該校正後熱影像的尺寸外擴至與該可見光影像的尺寸一致，再將外擴後的該校正後熱影像轉換成該色彩影像，且該色彩影像之外擴部分的全部像素具有同一像素值；且在步驟(E)中，該影像融合模組將外擴後的該色彩影像與該可見光影像對齊疊合形成該融合影像。

此外，本發明實現上述方法的一種雙影像融合裝置，用以融合由一熱感攝影機拍攝的一熱影像與由一可見光攝影機拍攝的一可見光影像，該熱感攝影機與該可見光攝影機相鄰地固定於一攝影位置；該雙影像融合裝置包括一儲存單元及一處理單元；該儲存單元中儲存該熱影像與該可見光影像；該處理單元與該儲存單元電連接以讀取該熱影像與該可見光影像，並包含一影像校正模組、一影像合併模組、一色彩轉換模組及一影像融合模組。其中，該影像校正模組具有用以校正該熱影像，以使該熱影像與該可見光影像良好地融合的至少一第一單應性矩陣及一第二單應性矩陣，該第一單應性矩陣用以校正該熱影像中的一近距離影像，該第二單應性矩陣用以校正該熱影像中的一遠距離影像；該影像校正模組將該熱影像至少分割成該近距離影像及該遠距離影像，且根據該第一單應性矩陣校正該近距離影像而產生一校正後近距離影像，並根據該第二單應性矩陣校正該遠距離影像而產生一校正後遠距離影像；該影像合併模組將該校正後近距離影像與該校正後遠距離影像合併成一校正後熱影像；該色彩轉換模組將該校正後熱影像轉換成一色彩影像；該影像融合模組將該色彩影像與該可見光影像相疊合形成一融合影像。

本發明之功效在於：藉由預先獲得用以分區校正該熱影像的至少兩個影像區塊的至少兩個單應性矩陣，再將該熱影像分割成與該等單應性矩陣數量相同的影像區塊後，利用各該單應性矩陣校正相對應的各該影像區塊，再將該等校正後影像區塊合併成該校正後熱影像，藉此，能使該校正後熱影像具有良好的校正效果，再將該校正後熱影像色彩化後與該可見光影像融合成該融合影像，則該融合影像將突顯雙影像特徵互補效果，而能同時呈現可見光影像與熱影像的特徵。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖2所示，是本發明雙影像融合方法的一實施例的主要流程圖，且如圖3所示，本實施例主要應用於融合由一熱感攝影機1拍攝的一熱影像10與由一可見光攝影機2拍攝的一可見光影像20，且該熱感攝影機1與該可見光攝影機2是相鄰地固定於一攝影位置，例如一汽車的車頂，並且在同一成像時間分別獲得同一場景的該熱影像10與該可見光影像20。但由於該可見光攝影機2的視野(或視角，簡稱FOV) 與該熱感攝影機1的視野不盡相同，例如本實施例中採用的該可見光攝影機2的視野較大，該熱感攝影機1的視野較小，因此如圖1所示，該可見光影像20的涵蓋範圍較大但其中呈現的物件較小，而該熱影像62的涵蓋範圍較小但其中呈現的物件相對較大，所以，本實施例需要先對該熱影像62進行校正，使校正後的熱影像中呈現的物件尺寸與該可見光影像20中呈現的物件尺寸一致，再將雙影像融合，以使融合後影像能突顯(或兼具)可見光影像與熱影像兩者的特徵。由此可知，由於該可見光攝影機2與該熱感攝影機1的視野通常都不同，所以在進行影像融合之前，一般都需要先對該熱影像62進行校正。

且本實施例的流程是由圖3所示的一雙影像融合裝置3實現，該雙影像融合裝置3可以是例如具有運算功能的一電腦裝置且通常與該熱感攝影機1及該可見光攝影機2設置在一起，又或者，該雙影像融合裝置3也可以與該熱感攝影機1及該可見光攝影機2整合在同一電腦裝置中。

在本實施例中，該雙影像融合裝置3除了具備電腦裝置所需的相關零組件外，主要包括由記憶體組成的一儲存單元31及一與該儲存單元31電連接的處理單元32，例如中央處理器及/或影像處理器等。且為了執行雙影像融合作業，如圖3所示，該處理單元32包含一影像校正模組321、一影像合併模組322、一色彩轉換模組323及一影像融合模組324，且在本實施例中，這四個模組是以程式軟體的方式實現，但並不以此為限，這四個模組也可以韌體或軟體與硬體結合的方式實現。

且如圖2的步驟S21所示，首先該雙影像融合裝置3需獲得用以校正該熱影像10，以使該熱影像10能與該可見光影像20良好地融合之一第一單應性矩陣、一第二單應性矩陣及一第三單應性矩陣，並將該第一單應性矩陣、該第二單應性矩陣及該第三單應性矩陣預先儲存於該儲存單元31中；其中，如圖5所示，該第一單應性矩陣用以校正該熱影像10中的一近距離影像，例如該熱影像10的下方部分影像101，該第二單應性矩陣用以校正該熱影像10中的一遠距離影像，例如該熱影像10的中間部分影像102，該第三單應性矩陣用以校正該熱影像10中的另一遠距離影像，例如該熱影像10的上方部分影像103，且該第一、第二及第三單應性矩陣是由一電腦裝置4預先產生，以下將詳述其產生過程。

為了獲得該第一、第二及第三單應性矩陣，如圖4的步驟S41，首先，將一校正板放置在與該攝影位置相距一第一距離處，例如但不限於相距7.5公尺，然後讓該可見光攝影機20與該熱感攝影機1同時拍攝該校正板以分別獲得如圖6所示之一包含校正板影像511的第一可見光影像51和一包含校正板影像521的第一熱影像52，並將該第一可見光影像51和該第一熱影像52傳送給該電腦裝置4。

接著，如圖4的步驟S42，將該校正板放置在與該攝影位置相距一第二距離處，例如但不限於相距15公尺，然後令該可見光攝影機20與該熱感攝影機10同時拍攝該校正板以分別獲得如圖7所示之一包含校正板影像611的第二可見光影像61和一包含校正板影像621的第二熱影像62，並將該第二可見光影像61和該第二熱影像62傳送給該電腦裝置4。值得一提的是，該第二距離可以是該第一距離的1.5~3倍。

接著，如圖4的步驟S43，再將該校正板放置在與該攝影位置相距該第二距離但高度高於步驟S42中之該校正板的位置處，例如在本步驟中該校正板的高度是在步驟S42中該校正板的高度的4倍或5倍等，但不以此為限；然後，令該可見光攝影機20與該熱感攝影機10同時拍攝該校正板以分別獲得如圖8所示的一包含校正板影像711的第三可見光影像71和一包含校正板影像721的第三熱影像72，並將該第三可見光影像71和該第三熱影像72傳送給該電腦裝置4。

然後，如圖4的步驟S44及圖3所示，該電腦裝置4中的一透視變換模組41利用透視變換(或稱射影變換/投影轉換)（projective /perspective transformation）原理，根據該第一可見光影像51中的該校正板影像511與該第一熱影像52中的該校正板影像521之間的關連性，例如利用這兩個校正板影像511、521的四個角點的座標之間的差異性，計算得到將該第一熱影像52中的該校正板影像511投影至該第一可見光影像51中的該校正板影像521，以使該校正板影像511的大小(尺寸)恰好能與該校正板影像521準確地疊合(貼合)的該第一單應性矩陣。

同理，該透視變換模組41根據該第二可見光影像61中的該校正板影像611與該第二熱影像62中的該校正板影像621之間的關連性，計算得到將該第二熱影像62中的該校正板影像621投影至該第二可見光影像61中的該校正板影像611，以使該校正板影像621的大小(尺寸)恰好能與該校正板影像521準確地疊合(貼合)的該第二單應性矩陣；並且，該透視變換模組41根據該第三可見光影像71中的該校正板影像711與該第三熱影像72中的該校正板影像721之間的關連性，計算得到將該第三熱影像72中的該校正板影像721投影至該第三可見光影像71中的該校正板影像711的該第三單應性矩陣。

由此可知，如圖5所示，該第一單應性矩陣能用來校正該熱影像10中與該攝影位置距離較近的該下方部分影像101，該第二單應性矩陣能用來校正該熱影像10中與該攝影位置相距較遠但高度較低的該中間部分影像102，而該第三單應性矩陣能用來校正該熱影像10中與該攝影位置相距較遠且高度較高的該上方部分影像103。

然後，該電腦裝置4將該第一、第二及第三單應性矩陣提供給該雙影像融合裝置3並儲存於該儲存單元31；此外，該第一、第二及第三單應性矩陣也可以直接儲存於該影像校正模組321。而且，值得一提的是，該電腦裝置4與該雙影像融合裝置3可以是不同的裝置，也可以是同一個裝置，亦即該電腦裝置4中的該透視變換模組41可以被包含在該處理單元32中，且可以程式軟體、韌體或軟體與硬體結合的方式實現。

藉此，當該雙影像融合裝置3接收來自該熱感攝影機1拍攝的該熱影像10以及來自該可見光攝影機2拍攝的該可見光影像20時，該處理單元32將該熱影像10及該可見光影像20暫存於該儲存單元31，然後，該處理單元32執行該影像校正模組321，使該影像校正模組321從該儲存單元31讀取該熱影像10以及該第一、第二和第三單應性矩陣；接著，如圖2的步驟S22和圖9所示，該影像校正模組321將該熱影像10分割成該下方部分影像101(即上述的該近距離影像)、該中間部分影像102(即上述的該遠距離影像)以及該上方部分影像103(即上述的該另一遠距離影像)，然後，根據該第一單應性矩陣校正該下方部分影像101而產生一校正後下方部分影像101’(即校正後近距離影像)，且根據該第二單應性矩陣校正該中間部分影像102而產生一校正後中間部分影像102’ (即校正後遠距離影像)，以及根據該第三單應性矩陣校正該上方部分影像103而產生一校正後上方部分影像103’ (即校正後另一遠距離影像)，然後輸出該校正後下方部分影像101’、該校正後中間部分影像102’及該校正後上方部分影像103’給該影像合併模組322。

接著，如圖2的步驟S23及圖10所示，該影像合併模組322將該校正後下方部分影像101’、該校正後中間部分影像102’及該校正後上方部分影像103’利用例如內插或影像融合技術合併成一校正後熱影像10’，並輸出該校正後熱影像10’給該色彩轉換模組323。

然後，如圖2的步驟S24和圖11所示，該色彩轉換模組323將該校正後熱影像10’轉換成一色彩影像11並輸出給該影像融合模組324；具體而言，如圖12所示，該色彩轉換模組323會先根據該可見光影像20的尺寸，將該校正後熱影像10’的尺寸外擴至與該可見光影像的尺寸一致，再將外擴後的該校正後熱影像10”轉換成該色彩影像11，因此該色彩影像11將包括一色彩化的校正後熱影像100以及一外擴部分影像110，且該外擴部分影像110的全部像素具有同一像素值，故外擴部分110具有單一顏色。且在本實施例中，該色彩轉換模組323是採用JET色彩空間轉換技術將該外擴後的該校正後熱影像10”轉換成該色彩影像11，但不以此為限。其中，上述的JET是一種定義的偽色彩格式(colormap)，由256個色階組成從深藍至深紅的256個色彩顏色，它是一種虛擬上色技術，可對灰階影像上指定顏色，以便在視覺上凸顯影像的某些面向。

然後，如圖2的步驟S25和圖12所示，該影像融合模組324將該色彩影像11與該可見光影像10相疊合形成一融合影像300，具體而言，由於該色彩影像11與該可見光影像10的尺寸一致，代表兩者影像是由相同數量的像素所組成；因此，該影像融合模組324將該色彩影像11與該可見光影像10相對應位置之像素的像素值直接相加，即可獲得該融合影像300。

另外，值得一提的是，在上述步驟S24中，該色彩轉換模組323也可以省略將該校正後熱影像10’的尺寸外擴至與該可見光影像20的尺寸一致的步驟，而直接將該校正後熱影像10’轉換成該色彩化的校正後熱影像100，且在步驟S25中，該影像融合模組324將自動比對該可見光影像20與該色彩化的校正後熱影像100，找出該色彩化的校正後熱影像100在該可見光影像20中的相對應位置，再將該色彩化的校正後熱影像100與該可見光影像20相疊合，亦可獲得類似圖12所示之該融合影像300，唯一差別只在於此種融合影像中的可見光影像20之未與該色彩化的校正後熱影像100重疊的部分影像仍保持原來的色彩。

藉此，如圖13所示可知，該色彩化的校正後熱影像100能與該可見光影像20良好地重疊(套疊)在一起，使該融合影像300藉由整合兩種影像的特徵，而達到可見光影像與熱影像畫面相輔相成(互補) 的效果，使得即使在光線不佳、惡劣及夜間環境中，該融合影像300也能清楚地顯示其中物件的外型和細節輪廓。

此外，值得一提的是，上述實施例使用三個單應性矩陣只是舉例說明，本發明並不限於使用三個單應性矩陣；在其它實施態樣中，也可以使用兩個或兩個以上的單應性矩陣來校正該熱影像10，例如在上述獲得單應性矩陣的步驟中，可以只取得校正板位於第一距離和第二距離的可見光影像和熱影像，比如圖6和圖7這兩組影像或圖6和圖8這兩組影像，並根據這兩組影像找到相對應的兩個單應性矩陣，即可使用這兩個單應性矩陣來校正熱影像的下半部分影像及上半部分影像；或者，也可以取得校正板位於拍攝範圍內的例如九宮格位置(九個位置)的九組影像(一組影像包含校正板位於同一位置的可見光影像和熱影像)，並根據這九組影像找到相對應的九個單應性矩陣，即可使用這九個單應性矩陣來對應校正熱影像之被劃分成九宮格的九個部分影像，而使得校正後熱影像與可見光影像的疊合效果更好。由此可知，單應性矩陣的數量越多，校正效果越好但也需使用更多的運算資源和運算時間，因此，在實作上可以視運算資源(能力)和應用場合的需求，使用適當數量的單應性矩陣。

再者，若考量到該可見光攝影機2採用非廣角鏡頭(例如一般標準鏡頭)時，該可見光攝影機2可能存在因攝影機內部的機構、感光元件和鏡頭等因素所造成的影像失真，在本實施例中，還可尋找該可見光攝影機2的一內部參數矩陣，以利用該內部參數矩陣來校正該可見光攝影機2所拍攝的該可見光影像20(亦即校正該可見光攝影機2)，不過由於尋找該可見光攝影機2的該內部參數矩陣已是一習知技術且非本發明重點所在，故在此不予贅述；因此，在上述步驟S21中，該雙影像融合裝置3還可預先獲得校正該可見光攝影機2的該內部參數矩陣，然後，在上述步驟S22中，該影像校正模組321會從該儲存單元31讀取該可見光影像20，並根據該內部參數矩陣校正該可見光影像20而產生一校正後可見光影像，並輸出該校正後可見光影像給該影像融合模組324；然後，在上述步驟S25中，該影像融合模組324將該色彩影像11與該校正後可見光影像相疊合形成該融合影像300。當然，在此實施態樣下，在上述步驟S41中輸入該電腦裝置4的該等可見光影像51、61、71就會是已經過該內部參數矩陣校正後的影像。

或者，當該可見光攝影機2是採用廣角鏡頭(例如魚眼鏡頭)時，該可見光攝影機2則需要藉由一魚眼校正矩陣進行魚眼校正，以將所拍攝之具有魚眼效果(產生變形)的可見光影像轉換成不具有魚眼效果的可見光影像，此時，在本實施例中，則需尋找該可見光攝影機2的一魚眼校正矩陣，以利用該魚眼校正矩陣來校正該可見光攝影機2所拍攝的該可見光影像20，而由於獲得該魚眼校正矩陣之技術手段已是一習知技術且非本發明重點所在，故在此不予贅述；因此，當該雙影像融合裝置3獲得該魚眼校正矩陣後，即可應用該魚眼校正矩陣來校正該可見光影像20。同理，在此實施態樣下，在上述步驟S41中輸入該電腦裝置4的該等可見光影像51、61、71就會是已經過該魚眼校正矩陣校正後的影像。

綜上所述，上述實施例藉由預先獲得用以分區校正該熱影像10的多個影像區塊(或影像區域)的多個單應性矩陣，再將該熱影像10分割成與該等單應性矩陣數量相同的多個影像區塊後，利用各該單應性矩陣校正相對應的各該影像區塊，再將該等校正後影像區塊合併成該校正後熱影像10’，藉此，能使該校正後熱影像10’具有良好的校正效果，然後，將該校正後熱影像10’色彩化後再與該可見光影像20融合成該融合影像300，該融合影像300將呈現雙影像良好地融合後突顯之雙影像特徵互補效果，而能同時呈現可見光影像與熱影像的特徵，並有效地降低拍攝環境因素和相機本身特性對影像造成的影響，使該融合影像300更有助於提升辨識影像中之物件的識別率，而達到本發明的功效與目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1:熱感攝影機 10:熱影像 10’:校正後熱影像 10”:外擴後的該校正後熱影像 100:色彩化的校正後熱影像 110:外擴部分影像 101:下方部分影像 102:中間部分影像 103:上方部分影像 101’:校正後下方部分影像 102’:校正後中間部分影像 103’:校正後上方部分影像 2:可見光攝影機 20:可見光影像 3:雙影像融合裝置 31:儲存單元 32:處理單元 300:融合影像 300:融合影像 321:影像校正模組 322:影像合併模組 323:色彩轉換模組 324:影像融合模組幕 4:電腦裝置 41:透視轉換模組 51·:第一可見光影像 511:校正板影像 52:第一熱影像 521:校正板影像 61:第二可見光影像 611:校正板影像 62:第二熱影像 621:校正板影像 71:第三可見光影像 711:校正板影像 72:第三熱影像 721:校正板影像

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地顯示，其中：圖1說明將可見光影像與未經校正的熱影像直接疊合的結果；圖2是本發明雙影像融合方法的一實施例的主要流程步驟；圖3顯示本發明雙影像融合裝置的一實施例主要包含的硬體元件和軟體模組；圖4是本實施例獲得單應性矩陣的流程步驟；圖5顯示本實施例要校正的熱影像被區分成三個要校正的影像區塊；圖6說明獲得包含一校正板影像的第一可見光影像和包含一校正板影像的第一熱影像；圖7說明獲得包含一校正板影像的第二可見光影像和包含一校正板影像的第二熱影像；圖8說明獲得包含一校正板影像的第三可見光影像和包含一校正板影像的第三熱影像；圖9說明本實施例的影像校正模組根據單應性矩陣校正相對應的影像區塊；圖10說明本實施例的影像合併模組將多個校正後影像區塊合併成一校正後熱影像；圖11說明本實施例的色彩轉換模組將校正後熱影像轉換成色彩影像；及圖12說明本實施例的影像融合模組將圖11顯示的色彩影像與可見光影像合併(疊合)成一融合影像。

S21~S25:步驟

Claims

一種雙影像融合方法，應用於融合由一熱感攝影機拍攝的一熱影像與由一可見光攝影機拍攝的一可見光影像，且該熱感攝影機與該可見光攝影機相鄰地固定於一攝影位置；該方法包括： (A)一雙影像融合裝置獲得用以校正該熱影像，以使該熱影像與該可見光影像良好地融合之至少一第一單應性矩陣及一第二單應性矩陣，該第一單應性矩陣用以校正該熱影像中的一近距離影像，該第二單應性矩陣用以校正該熱影像中的一遠距離影像； (B)該雙影像融合裝置的一影像校正模組將該熱影像至少分割成該近距離影像及該遠距離影像，並根據該第一單應性矩陣校正該近距離影像而產生一校正後近距離影像，並且該影像校正模組根據該第二單應性矩陣校正該遠距離影像而產生一校正後遠距離影像； (C)該雙影像融合裝置的一影像合併模組將該校正後近距離影像與該校正後遠距離影像合併成一校正後熱影像； (D) 該雙影像融合裝置的一色彩轉換模組將該校正後熱影像轉換成一色彩影像；及 (E)該雙影像融合裝置的一影像融合模組將該色彩影像與該可見光影像相疊合形成一融合影像。
如請求項1所述的雙影像融合方法，其中步驟(A)獲得該第一單應性矩陣及該第二單應性矩陣的方法包括： (A1)將一校正板放置在與該攝影位置相距一第一距離處，並令該可見光攝影機與該熱感攝影機拍攝該校正板以分別獲得一第一可見光影像和一第一熱影像； (A2) 將該校正板放置在與該攝影位置相距一第二距離處，並令該可見光攝影機與該熱感攝影機拍攝該校正板以分別獲得一第二可見光影像和一第二熱影像，其中該第二距離大於該第一距離；及 (A3)一電腦裝置利用透視變換原理，根據該第一可見光影像中的該校正板影像與該第一熱影像中的該校正板影像之間的關連性，計算得到將該第一熱影像中的該校正板影像投影至該第一可見光影像中的該校正板影像的該第一單應性矩陣，且根據該第二可見光影像中的該校正板影像與該第二熱影像中的該校正板影像之間的關連性，計算得到將該第二熱影像中的該校正板影像投影至該第二可見光影像中的該校正板影像的該第二單應性矩陣。
如請求項1所述的雙影像融合方法，其中，該可見光攝影機使用非廣角鏡頭時，在步驟(A)中，該雙影像融合裝置還獲得校正該可見光攝影機的一內部參數矩陣，且在步驟(B)中，該影像校正模組根據該內部參數矩陣校正該可見光影像而產生一校正後可見光影像；且在步驟(E)中，該影像融合模組將該色彩影像與該校正後可見光影像相疊合形成該融合影像。
如請求項1所述的雙影像融合方法，其中，該可見光攝影機使用廣角鏡頭時，在步驟(A)中，該雙影像融合裝置還獲得校正該可見光攝影機的一魚眼校正矩陣，且在步驟(B)中，該影像校正模組根據該魚眼校正矩陣校正該可見光影像而產生一校正後可見光影像；且在步驟(E)中，該影像融合模組將該色彩影像與該校正後可見光影像相疊合形成該融合影像。
如請求項2所述的雙影像融合方法，其中，在步驟(A)中還獲得用以校正該熱影像，以使該熱影像與該可見光影像良好地融合的一第三單應性矩陣，且該第三單應性矩陣用以校正該熱影像中的另一遠距離影像；且在步驟(B)中，影像校正模組將該熱影像分割成該近距離影像、該遠距離影像及該另一遠距離影像，且根據該第一單應性矩陣校正該近距離影像而產生該校正後近距離影像，並根據該第二單應性矩陣校正該遠距離影像而產生該校正後遠距離影像，以及根據該第三單應性矩陣校正該另一遠距離影像而產生該另一校正後遠距離影像；且在步驟(C)中，該影像合併模組將該校正後近距離影像、該校正後遠距離影像及該校正後另一遠距離影像合併成該校正後熱影像。
如請求項5所述的雙影像融合方法，其中步驟(A)獲得該第三單應性矩陣的方法包括： (A4)將該校正板放置在與該攝影位置相距該第二距離但高度高於步驟(A2)之該校正板的位置處，並令該可見光攝影機與該熱感攝影機同時拍攝該校正板以分別獲得一第三可見光影像和一第三熱影像；及 (A5)該電腦裝置利用透視變換原理，根據該第三可見光影像中的該校正板影像與該第三熱影像中的該校正板影像之間的關連性，計算得到將該第三熱影像中的該校正板影像投影至該第三可見光影像中的該校正板影像的該第三單應性矩陣。
如請求項2所述的雙影像融合方法，其中該第二距離是該第一距離的1.5~3倍。
如請求項1至7其中任一項所述的雙影像融合方法，在步驟(D)中，該色彩轉換模組還根據該可見光影像的尺寸，將該校正後熱影像的尺寸外擴至與該可見光影像的尺寸一致，再將外擴後的該校正後熱影像轉換成該色彩影像，且該色彩影像之外擴部分的全部像素具有同一像素值；且在步驟(E)中，該影像融合模組將外擴後的該色彩影像與該可見光影像對齊疊合形成該融合影像。
一種雙影像融合裝置，用以融合由一熱感攝影機拍攝的一熱影像與由一可見光攝影機拍攝的一可見光影像，該熱感攝影機與該可見光攝影機相鄰地固定於一攝影位置；該雙影像融合裝置包括：一儲存單元，其中儲存該熱影像與該可見光影像；及一處理單元，其與該儲存單元電連接以讀取該熱影像與該可見光影像，並包含：一影像校正模組，其中具有用以校正該熱影像，以使該熱影像與該可見光影像良好地融合的至少一第一單應性矩陣及一第二單應性矩陣，該第一單應性矩陣用以校正該熱影像中的一近距離影像，該第二單應性矩陣用以校正該熱影像中的一遠距離影像；該影像校正模組將該熱影像至少分割成該近距離影像及該遠距離影像，且根據該第一單應性矩陣校正該近距離影像而產生一校正後近距離影像，並根據該第二單應性矩陣校正該遠距離影像而產生一校正後遠距離影像；一影像合併模組，其將該校正後近距離影像與該校正後遠距離影像合併成一校正後熱影像；一色彩轉換模組，其將該校正後熱影像轉換成一色彩影像；以及一影像融合模組，其將該色彩影像與該可見光影像相疊合形成一融合影像。
如請求項9所述的雙影像融合裝置，其中，該可見光攝影機使用非廣角鏡頭，且該影像校正模組還具有一校正該可見光攝影機的內部參數矩陣，該影像校正模組根據該內部參數矩陣校正該可見光影像而產生一校正後可見光影像；且該影像融合模組將該色彩影像與該校正後可見光影像相疊合形成該融合影像。
如請求項9所述的雙影像融合裝置，其中，該可見光攝影機使用廣角鏡頭，且該影像校正模組還具有一校正該可見光攝影機的一魚眼校正矩陣，該影像校正模組根據該魚眼校正矩陣校正該可見光影像而產生一校正後可見光影像；且該影像融合模組將該色彩影像與該校正後可見光影像相疊合形成該融合影像。
如請求項9所述的雙影像融合裝置，其中，該影像校正模組還具有用以校正該熱影像，以使該熱影像與該可見光影像良好地融合的一第三單應性矩陣，且該第三單應性矩陣用以校正該熱影像中的另一遠距離影像；該影像校正模組將該熱影像分割成該近距離影像、該遠距離影像及該另一遠距離影像，且根據該第一單應性矩陣校正該近距離影像而產生該校正後近距離影像，並根據該第二單應性矩陣校正該遠距離影像而產生該校正後遠距離影像，以及根據該第三單應性矩陣校正該另一遠距離影像而產生該另一校正後遠距離影像；且該影像合併模組將該校正後近距離影像、該校正後遠距離影像及該校正後另一遠距離影像合併成該校正後熱影像。
如請求項9至12其中任一項所述的雙影像融合裝置，其中，該色彩轉換模組還根據該可見光影像的尺寸，將該校正後熱影像的尺寸外擴至與該可見光影像的尺寸一致，再將外擴後的該校正後熱影像轉換成該色彩影像，且該色彩影像之外擴部分的全部像素具有同一像素值；且該影像融合模組將外擴後的該色彩影像與該可見光影像對齊疊合形成該融合影像。