TWI754496B

TWI754496B - 圖像融合方法、裝置、電子設備及存儲介質

Info

Publication number: TWI754496B
Application number: TW109145521A
Authority: TW
Inventors: 曾德恩; 簡采毅
Original assignee: 鴻海精密工業股份有限公司
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2022-02-01
Also published as: TW202226146A

Abstract

本發明提供一種圖像融合方法、裝置、電子設備及存儲介質。該方法包括：控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻；識別所述第一視頻中每幀的圖像資訊；提取所述圖像資訊中物體的邊緣資訊；從所述第二視頻中獲取與所述第一視頻對應的熱影像；採用MEMC演算法對所述熱影像進行處理，得到預測影像；融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。本發明能夠將普通圖像資訊與熱影像相融合，得到高解析度、高幀率的融合圖像。

Description

圖像融合方法、裝置、電子設備及存儲介質

本發明涉及影像處理技術領域，尤其涉及一種圖像融合方法、裝置、電子設備及存儲介質。

目前普遍採用的紅外測微儀(Microbolometer FIR)受限於成本等問題，幀率(frame rate)無法輕易提升，否則將需要大幅度的提升成本，並且，由於圖元尺寸(Pixel Size)較大，也難以在應用尺寸上做到高解析度。

而對於手機等移動裝置或者固定式影像監控裝置，由於自身體積較小，現有技術中的紅外測微儀無法滿足其對於解析度及幀率的要求。

鑒於以上內容，有必要提供一種圖像融合方法、裝置、電子設備及存儲介質，能夠將普通圖像資訊與熱影像相融合，得到高解析度、高幀率的融合圖像。

一種圖像融合方法，應用於電子設備，所述電子設備與第一攝像裝置以及紅外攝像裝置相通信，所述圖像融合方法包括：控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻；識別所述第一視頻中每幀的圖像資訊；提取所述圖像資訊中物體的邊緣資訊；從所述第二視頻中獲取與所述第一視頻對應的熱影像；採用MEMC演算法對所述熱影像進行處理，得到預測影像；融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。

一種圖像融合裝置，運行於電子設備，所述電子設備與第一攝像裝置以及紅外攝像裝置相通信，所述圖像融合裝置包括：控制單元，用於控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻；識別單元，用於識別所述第一視頻中每幀的圖像資訊；提取單元，用於提取所述圖像資訊中物體的邊緣資訊；獲取單元，用於從所述第二視頻中獲取與所述第一視頻對應的熱影像；處理單元，用於採用MEMC演算法對所述熱影像進行處理，得到預測影像；融合單元，用於融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。

一種電子設備，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲的指令以實現所述圖像融合方法。

一種電腦可讀存儲介質，所述電腦可讀存儲介質中存儲有至少一個指令，所述至少一個指令被電子設備中的處理器執行以實現所述圖像融合方法。

由以上技術方案可以看出，本發明能夠將普通圖像資訊與熱影像相融合，得到高解析度、高幀率的融合圖像。

11:圖像融合裝置

110:控制單元

112:識別單元

113:提取單元

114:獲取單元

115:處理單元

116:融合單元

1:電子設備

12:記憶體

13:處理器

圖1是本發明圖像融合方法的較佳實施例的流程圖。

圖2是本發明圖像融合裝置的較佳實施例的功能模組圖。

圖3是本發明實現圖像融合方法的較佳實施例的電子設備的結構示意圖。

為了使本發明的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本發明進行詳細描述。

如圖1所示，是本發明圖像融合方法的較佳實施例的流程圖。根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。

所述圖像融合方法應用於一個或者多個電子設備中，所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數字信號處理器(Digital Signal Processor，DSP)、嵌入式設備等。

所述電子設備可以是任何一種可與用戶進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、互動式網路電視(Internet Protocol Television，IPTV)、智慧式穿戴式設備等。

所述電子設備還可以包括網路設備和/或使用者設備。其中，所述網路設備包括，但不限於單個網路伺服器、多個網路伺服器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路伺服器構成的雲。

所述電子設備所處的網路包括但不限於網際網路、廣域網路、城域網、局域網、虛擬私人網路(Virtual Private Network，VPN)等。

該方法應用於電子設備，所述電子設備與第一攝像裝置以及紅外攝像裝置相通信。

S10，控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻。

其中，所述第一攝像裝置可以是普通攝像機，能夠拍攝可見光視頻、近紅外視頻等。

例如：所述控制所述第一攝像裝置拍攝第一視頻包括：檢測當前環境的亮度；當所述亮度高於預設閾值時，控制所述第一攝像裝置拍攝可見光視頻及/或近紅外視頻作為所述第一視頻；或者當所述亮度低於或者等於所述預設閾值時，啟動照明裝置，並控制所述第一攝像裝置拍攝近紅外視頻作為所述第一視頻。

其中，所述預設閾值可以進行自訂配置，當所述亮度高於所述預設閾值時，說明所述當前環境為光線充足環境，反之，說明所述當前環境為光線昏暗環境。

藉由上述實施方式，無論光線充足與否，都能夠為後續進行邊緣檢測提供有效的資料基礎。

進一步地，所述照明裝置可以包括，但不限於：LED(Light Emitting Diode，發光二極體)裝置、laser近紅外光源等。

在本實施例中，所述控制所述紅外攝像裝置拍攝第二視頻包括：控制所述紅外攝像裝置拍攝遠紅外視頻作為所述第二視頻。

需要說明的是，熱敏元件(Microbolometer)的圖元尺寸較大，對於手機等體積較小的移動裝置來說，很難達到高解析度，本實施方式藉由和具有較高解析度的第一視頻結合，能夠在有限的體積下藉由圖像融合實現高解析度。

S11，識別所述第一視頻中每幀的圖像資訊。

在本實施例中，所述圖像資訊包括，但不限於以下一種或者多種資訊的組合：顏色特徵資訊、紋理特徵資訊、形狀特徵資訊和空間關係特徵資訊等。

S12，提取所述圖像資訊中物體的邊緣資訊。

在本發明的至少一個實施例中，所述提取所述圖像資訊中物體的邊緣資訊包括：採用圖像信號處理演算法(Image Signal Processing)提取所述圖像資訊中物體的邊緣資訊。

其中，所述邊緣資訊是指所述圖像資訊中物體的輪廓線等資訊。

藉由上述實施方式，能夠結合普通相機拍攝的圖像資訊進行邊緣檢測，以便後續融合熱影像。

S13，從所述第二視頻中獲取與所述第一視頻對應的熱影像。

在本發明的至少一個實施例中，所述從所述第二視頻中獲取與所述第一視頻對應的熱影像包括：確定所述第一視頻的拍攝時間；從所述第二視頻中提取與所述拍攝時間匹配的視頻作為與所述第一視頻對應的熱影像。

藉由上述實施方式，能夠保證獲取的熱影像與所述視頻段屬於相同的拍攝時間，避免後續圖像融合時出現偏差。

S14，採用MEMC(Motion estimation,motion compensation)演算法對所述熱影像進行處理，得到預測影像。

在本發明的至少一個實施例中，所述採用MEMC演算法對所述熱影像進行處理，得到預測影像包括：採用MEMC演算法對所述熱影像中的物體進行運動估計，得到所述熱影像中物體的預測軌跡；根據所述預測軌跡對所述熱影像進行運動補償，得到所述預測影像。

藉由上述實施方式，結合MEMC演算法對所述熱影像進行運動估計及運動補償，提高了熱影像的幀率，視頻的畫面將更加流暢，使最終輸出更為流暢的高幀率圖像。

S15，融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。

可以理解的是，所述預測影像屬於熱影像，沒有明顯的邊緣特徵，本實施方式將所述熱影像、所述預測影像與所述邊緣資訊進行融合，得到的融合影像將具有明顯的邊緣特徵，即得到了高解析度的融合影像。

藉由上述實施方式所得到的目標視頻融合了可見光或者近紅外影像與熱影像，不僅具有高解析度，同時還具有高幀率。

需要說明的是，上述圖像融合方法可以應用於冷熱水管抓漏、電路短路偵測、體溫感測及預防醫學等，還可以取代手機等移動設備的景深相機，直接偵測人體、動物熱感，實現人物背景的虛化等。

由以上技術方案可以看出，本發明能夠控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻，識別所述第一視頻中每幀的圖像資訊，並提取所述圖像資訊中物體的邊緣資訊，進一步從所述第二視頻中獲取與所述第一視頻對應的熱影像，採用MEMC演算法對所述熱影像進行處理，得到預測影像，進而結合MEMC演算法對所述熱影像進行運動估計及運動補償，提高了熱影像的幀率，視頻的畫面將更加流暢，使最終輸出更為流暢的高幀率圖像，融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像，所述融合影像將具有明顯的邊緣特徵，即得到了高解析度、高幀率的融合影像。

如圖2所示，是本發明圖像融合裝置的較佳實施例的功能模組圖。所述圖像融合裝置11包括控制單元110、識別單元112、提取單元113、獲取單元114、處理單元115、融合單元116。本發明所稱的模組/單元是指一種能夠被處理器13所執行，並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體12中。在本實施例中，關於各模組/單元的功能將在後續的實施例中詳述。

該裝置運行於電子設備，所述電子設備與第一攝像裝置以及紅外攝像裝置相通信。

控制單元110控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻。

例如：所述控制單元110控制所述第一攝像裝置拍攝第一視頻包括：檢測當前環境的亮度；當所述亮度高於預設閾值時，控制所述第一攝像裝置拍攝可見光視頻及/或近紅外視頻作為所述第一視頻；或者當所述亮度低於或者等於所述預設閾值時，啟動照明裝置，並控制所述第一攝像裝置拍攝近紅外視頻作為所述第一視頻。

在本實施例中，所述控制單元110控制所述紅外攝像裝置拍攝第二視頻包括：控制所述紅外攝像裝置拍攝遠紅外視頻作為所述第二視頻。

識別單元112識別所述第一視頻中每幀的圖像資訊。

提取單元113提取所述圖像資訊中物體的邊緣資訊。

在本發明的至少一個實施例中，所述提取單元113提取所述圖像資訊中物體的邊緣資訊包括：採用圖像信號處理演算法(Image Signal Processing)提取所述圖像資訊中物體的邊緣資訊。

獲取單元114從所述第二視頻中獲取與所述第一視頻對應的熱影像。

在本發明的至少一個實施例中，所述獲取單元114從所述第二視頻中獲取與所述第一視頻對應的熱影像包括：確定所述第一視頻的拍攝時間；從所述第二視頻中提取與所述拍攝時間匹配的視頻作為與所述第一視頻對應的熱影像。

處理單元115採用MEMC(Motion estimation,motion compensation)演算法對所述熱影像進行處理，得到預測影像。

在本發明的至少一個實施例中，所述處理單元115採用MEMC演算法對所述熱影像進行處理，得到預測影像包括：採用MEMC演算法對所述熱影像中的物體進行運動估計，得到所述熱影像中物體的預測軌跡；根據所述預測軌跡對所述熱影像進行運動補償，得到所述預測影像。

融合單元116融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。

如圖3所示，是本發明實現圖像融合方法的較佳實施例的電子設備的結構示意圖。

所述電子設備1可以包括記憶體12、處理器13和匯流排，還可以包括存儲在所述記憶體12中並可在所述處理器13上運行的電腦程式，例如圖像融合程式。

本領域技術人員可以理解，所述示意圖僅僅是電子設備1的示例，並不構成對電子設備1的限定，所述電子設備1既可以是匯流排型結構，也可以是星形結構，所述電子設備1還可以包括比圖示更多或更少的其他硬體或者軟體，或者不同的部件佈置，例如所述電子設備1還可以包括輸入輸出設備、網路接入設備等。

需要說明的是，所述電子設備1僅為舉例，其他現有的或今後可能出現的電子產品如可適應於本發明，也應包含在本發明的保護範圍以內，並以引用方式包含於此。

其中，記憶體12至少包括一種類型的可讀存儲介質，所述可讀存儲介質包括快閃記憶體、移動硬碟、多媒體卡、卡型記憶體(例如：SD或DX記憶體等)、磁性記憶體、磁片、光碟等。記憶體12在一些實施例中可以是電子設備1的內部存儲單元，例如該電子設備1的移動硬碟。記憶體12在另一些實施例中也可以是電子設備1的外部存放裝置，例如電子設備1上配備的插接式移動硬碟、智慧存儲卡(Smart Media Card,SMC)、安全數位(Secure Digital,SD)卡、快閃記憶體卡(Flash Card)等。進一步地，記憶體12還可以既包括電子設備1的內部存儲單元也包括外部存放裝置。記憶體12不僅可以用於存儲安裝於電子設備1的應用軟體及各類資料，例如圖像融合程式的代碼等，還可以用於暫時地存儲已經輸出或者將要輸出的資料。

處理器13在一些實施例中可以由積體電路組成，例如可以由單個封裝的積體電路所組成，也可以是由多個相同功能或不同功能封裝的積體電路所組成，包括一個或者多個中央處理器(Central Processing unit，CPU)、微處理器、數文書處理晶片、圖形處理器及各種控制晶片的組合等。處理器13是所述電子設備1的控制核心(Control Unit)，利用各種介面和線路連接整個電子設備1的各個部件，藉由運行或執行存儲在所述記憶體12內的程式或者模組(例如執行圖像融合程式等)，以及調用存儲在所述記憶體12內的資料，以執行電子設備1的各種功能和處理資料。

所述處理器13執行所述電子設備1的作業系統以及安裝的各類應用程式。所述處理器13執行所述應用程式以實現上述各個圖像融合方法實施例中的步驟，例如圖1所示的步驟。

示例性的，所述電腦程式可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲在所述記憶體12中，並由所述處理器13執行，以完成本發明。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，該指令段用於描述所述電腦程式在所述電子設備1中的執行過程。例如，所述電腦程式可以被分割成控制單元110、識別單元112、提取單元113、獲取單元114、處理單元115、融合單元116。

上述以軟體功能模組的形式實現的集成的單元，可以存儲在一個電腦可讀取存儲介質中。上述軟體功能模組存儲在一個存儲介質中，包括若干指令用以使得一台電腦設備(可以是個人電腦、電腦設備，或者網路設備等)或處理器(processor)執行本發明各個實施例所述圖像融合方法的部分。

所述電子設備1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指示相關的硬體設備來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，該電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。

其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)。

匯流排可以是外設部件互連標準(peripheral component interconnect，簡稱PCI)匯流排或延伸工業標準架構(extended industry standard architecture，簡稱EISA)匯流排等。該匯流排可以分為位址匯流排、資料匯流排、控制匯流排等。為便於表示，在圖3中僅用一根箭頭表示，但並不表示僅有一根匯流排或一種類型的匯流排。所述匯流排被設置為實現所述記憶體12以及至少一個處理器13等之間的連接通信。

儘管未示出，所述電子設備1還可以包括給各個部件供電的電源(比如電池)，優選地，電源可以藉由電源管理裝置與所述至少一個處理器13邏輯相連，從而藉由電源管理裝置實現充電管理、放電管理、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障檢測電路、電源轉換器或者逆變器、電源狀態指示器等任意元件。所述電子設備1還可以包括多種感測器、藍牙模組、Wi-Fi模組等，在此不再贅述。

進一步地，所述電子設備1還可以包括網路介面，可選地，所述網路介面可以包括有線介面和/或無線介面(如WI-FI介面、藍牙介面等)，通常用於在該電子設備1與其他電子設備之間建立通信連接。

可選地，該電子設備1還可以包括使用者介面，使用者介面可以是顯示器(Display)、輸入單元(比如鍵盤(Keyboard))，可選地，使用者介面還可以是標準的有線介面、無線介面。可選地，在一些實施例中，顯示器可以是LED顯示器、液晶顯示器、觸控式液晶顯示器以及OLED(Organic Light-Emitting Diode，有機發光二極體)觸摸器等。其中，顯示器也可以適當的稱為顯示幕或顯示單元，用於顯示在電子設備1中處理的資訊以及用於顯示視覺化的使用者介面。

應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。

圖3僅示出了具有元件12-13的電子設備1，本領域技術人員可以理解的是，圖3示出的結構並不構成對所述電子設備1的限定，可以包括比圖示更少或者更多的部件，或者組合某些部件，或者不同的部件佈置。

結合圖1，所述電子設備1中的所述記憶體12存儲多個指令以實現一種圖像融合方法，所述處理器13可執行所述多個指令從而實現：控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻；識別所述第一視頻中每幀的圖像資訊；提取所述圖像資訊中物體的邊緣資訊；從所述第二視頻中獲取與所述第一視頻對應的熱影像；採用MEMC演算法對所述熱影像進行處理，得到預測影像；融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。

具體地，所述處理器13對上述指令的具體實現方法可參考圖1對應實施例中相關步驟的描述，在此不贅述。

在本發明所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以藉由其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。

所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。

另外，在本發明各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。

對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。

因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。

此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。系統請求項中陳述的多個單元或裝置也可以由一個單元或裝置藉由軟體或者硬體來實現。第二等詞語用來表示名稱，而並不表示任何特定的順序。

最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

Claims

一種圖像融合方法，應用於電子設備，所述電子設備與第一攝像裝置以及紅外攝像裝置相通信，其中，所述圖像融合方法包括：控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻，所述控制所述第一攝像裝置拍攝第一視頻包括：檢測當前環境的亮度；當所述亮度高於預設閾值時，控制所述第一攝像裝置拍攝可見光視頻作為所述第一視頻；當所述亮度低於或者等於所述預設閾值時，啟動照明裝置，並控制所述第一攝像裝置拍攝近紅外視頻作為所述第一視頻，其中所述第一視頻的解析度大於所述第二視頻的解析度；識別所述第一視頻中每幀的圖像資訊；提取所述圖像資訊中物體的邊緣資訊；從所述第二視頻中獲取與所述第一視頻對應的熱影像；採用運動估計及補償(Motion estimation,motion compensation,MEMC)演算法對所述熱影像進行處理，得到預測影像；融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。
如請求項1所述的圖像融合方法，其中，所述控制所述紅外攝像裝置拍攝第二視頻包括：控制所述紅外攝像裝置拍攝遠紅外視頻作為所述第二視頻。
如請求項1所述的圖像融合方法，其中，所述提取所述圖像資訊中物體的邊緣資訊包括：採用圖像信號處理演算法提取所述圖像資訊中物體的邊緣資訊。
如請求項1所述的圖像融合方法，其中，所述從所述第二視頻中獲取與所述第一視頻對應的熱影像包括：確定所述第一視頻的拍攝時間；從所述第二視頻中提取與所述拍攝時間匹配的視頻作為與所述第一視頻對應的熱影像。
如請求項1所述的圖像融合方法，其中，所述採用MEMC演算法對所述熱影像進行處理，得到預測影像包括：採用MEMC演算法對所述熱影像中的物體進行運動估計，得到所述熱影像中物體的預測軌跡；根據所述預測軌跡對所述熱影像進行運動補償，得到所述預測影像。
一種圖像融合裝置，運行於電子設備，所述電子設備與第一攝像裝置以及紅外攝像裝置相通信，其中，所述圖像融合裝置包括：控制單元，用於控制所述第一攝像裝置拍攝第一視頻，及控制所述紅外攝像裝置拍攝第二視頻，所述控制所述第一攝像裝置拍攝第一視頻包括：檢測當前環境的亮度；當所述亮度高於預設閾值時，控制所述第一攝像裝置拍攝可見光視頻作為所述第一視頻；當所述亮度低於或者等於所述預設閾值時，啟動照明裝置，並控制所述第一攝像裝置拍攝近紅外視頻作為所述第一視頻，其中所述第一視頻的解析度大於所述第二視頻的解析度；識別單元，用於識別所述第一視頻中每幀的圖像資訊；提取單元，用於提取所述圖像資訊中物體的邊緣資訊；獲取單元，用於從所述第二視頻中獲取與所述第一視頻對應的熱影像；處理單元，用於採用運動估計及補償(Motion estimation,motion compensation,MEMC)演算法對所述熱影像進行處理，得到預測影像；融合單元，用於融合所述熱影像、所述預測影像及所述邊緣資訊，得到融合影像。
如請求項6所述的圖像融合裝置，其中，所述控制單元控制所述紅外攝像裝置拍攝第二視頻包括：控制所述紅外攝像裝置拍攝遠紅外視頻作為所述第二視頻。
如請求項6所述的圖像融合裝置，其中，所述提取單元具體用於：採用圖像信號處理演算法提取所述圖像資訊中物體的邊緣資訊。
一種電子設備，其中，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲的指令以實現如請求項1至5中任意一項所述的圖像融合方法。
一種電腦可讀存儲介質，其中：所述電腦可讀存儲介質中存儲有至少一個指令，所述至少一個指令被電子設備中的處理器執行以實現如請求項1至5中任意一項所述的圖像融合方法。