WO2021120406A1 - 一种基于显著图增强的红外和可见光融合方法 - Google Patents

Abstract

本发明属于图像处理和计算机视觉领域，提出一种基于显著图增强的红外和可见光融合方法，是一种利用滤波分解手段和显著增强的红外与可见光融合算法。利用双目相机和NVIDIA TX2构建高性能运算平台，并构建高性能求解算法以获高质量的红外和可见光融合图像。系统容易构建，分别使用立体双目红外和可见光相机即可完成输入数据的采集；程序简单，易于实现；利用红外和可见光相机成像的不同原理，通过用于滤波分解把输入图像分解成背景层和细节层，针对背景层设计了基于显著图增强的融合方法，针对细节层设计基于像素对比度的融合算法，该算法有效增强了融合图像的质量并处理了融合图像后产生的伪影，最后通过GPU加速达到实时。

Description

一种基于显著图增强的红外和可见光融合方法 技术领域

本发明属于图像处理和计算机视觉领域，采用一对红外相机和可见光相机获取图像，涉及图像显著信息构建的图像融合算法，是一种利用图像增强的手段的红外与可见光融合算法。

背景技术

基于可见光波段的双目立体视觉技术发展较为成熟，可见光成像具有丰富的对比度、颜色、形状信息，因而可以准确、迅速的获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像存在其缺陷，如在强光、雾雨、雪天或夜晚，其成像质量大大下降，影响匹配的精度。因此利用不同波段信息源的互补性建立彩色融合系统，是实现特殊环境下产生更可信的图像的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的融合信息。

多模态图像融合技术是利用多个图像之间的互补性和冗余性，采用特定的算法或规则进行融合，得到高可信度、视觉更优图像的一种图像处理算法 ^[1-3]。相比于同模态融合图像单一性，多模态图像融合可以更好的获取不同模态下图像的交互信息，逐渐成为解决灾害监测，无人驾驶，军事监控，深空探测的重要手段。其目标是利用不同模态传感器成像的差异性和互补性，极大限度地提取各模态的图像信息，使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来，大多融合方法都是基于变换域进行研究设计，没有考虑到图像多尺度的细节信息，导致融合后的图像中细节丢失，如公开专利CN208240087U[中文]一种红外与可见光融合系统及图像融合装置。因而本发明在通过对红外和可见光进行数学建模后对其进行最优化求解，在保留红外和可见光图像的有效信息的基础上，实现细节 的增强且去除伪影。

发明内容

本发明旨在克服现有技术的不足，提供了一种基于显著图增强的实时融合算法。通过设计针对红外和可见光图像进行滤波分解得到背景层和细节层，针对背景层进行显著图增强，对细节层进行基于对比度的融合，最后通过GPU加速达到实时。

本发明的具体技术方案：

一种基于显著图增强的红外和可见光融合方法，包括如下步骤：

1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

1-1)利用张正友标定法对红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；

1-2)利用相机联合标定获得的可见光相机与红外相机位姿关系RT(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系，并运用单应性变换进行可见光图像到红外图像(或者红外图像到可见光图像)的配准；

2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；

2-1)针对可见光图像是RGB三通道的问题，进行RGB色彩空间到HSV色彩空间的转换，V为明度，H为色调，S为饱和度；提取可见光图像的明度信息与红外图像进行融合，保留其色调和饱和度，具体转换如下所示：

R′＝R/255 G′＝G/255 B′＝B/255

Cmax＝max(R′,G′,B′)

Cmin＝min(R′,G′,B′)

Δ＝Cmax-Cmin

V＝Cmax

2-2)提取V通道作为可见光的输入，保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。

3)对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解，将图像分别分解成背景层和细节层，背景层包括图像的结构信息，细节层包括图像的梯度和纹理信息；

B＝M(I,V),D＝(I,V)-B

其中，B代表背景层，D代表细节层，M代表互导向滤波，I代表红外图像；

4)基于显著图的方法融合背景层B，基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加，公式如下：

S(p)＝|I(p)-I ₁|+|I(p)-I ₂|+|I(p)-I ₃|+…+|I(p)-I _N|

即

其中S(p)表示像素点的显著值，N表示图像中像素点的个数，M表示直方图统计公式，I(p)代表像素点位置的取值；

根据获取的显著值，得到基于背景层融合的显著图权重：

其中W代表权重，S(p) _j代表对应的像素值，然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合，计算如下公式：

B＝0.5*(0.5+I*(W ₁-W ₂)*0.5)+0.5*(0.5+V*(W ₂-W ₁)*0.5)

其中I、V分别代表输入的红外图像和可见光图像，W ₁，W ₂分别代表对红外图像和可见光图像取得的显著权重；

5)对象差分后出来的细节层进行基于对比度的像素融合策略，设一个滑动窗口，分别对红外和可见光的细节图进行全局的滑动，比较对应的细节图的像素的值大小，当红外图像的当前像素点八邻域的取值大于对应的可见光的八领域的 像素点取值取1。反之取0；根据扫描的滑动窗口生成对应的二值权重图X；之后对细节层进行融合：

D＝D(I)*X+D(V)*(1-X)

6)对背景层和细节层进行线性加权得：

F＝B+D

其中F代表融合结果，B和D表示背景层、融合结果和细节层融合结果；

7)色彩空间转换：将融合的图像转回RGB图像并添加之前保留下的色调和饱和度；

通过把融合图像存入的V信息进行更新，结合之前保留的H和S进行HSV到RGB色彩空间的还原；具体公式如下所示：

C＝V×S

X＝C×(1-|(H/60°)mod2-1|)

m＝V-C

R′,G′,B′＝((R′+m)×255，(G′+m)×255，(B′+m)×255)

其中，C为明度与饱和度的成绩，m为明度与C的差。

8)色彩增强：对融合的图像进行色彩增强，从而生成一幅清晰度和对比度更优的融合图像；针对每个像素点的对比度，进行像素级的图像增强；

还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，获得最终融合图像。具体如下公式所示：

R _out＝(R _in) ^1/gamma

R _display＝(R _in ^(1/gamma)) ^gamma

G _out＝(G _in) ^1/gamma

G＝(G _in ^(1/gamma)) ^gamma

B _out＝(B _in) ^1/gamma

B _display＝(B _in ^(1/gamma)) ^gamma

其中gamma是矫正参数，R _in，G _in，B _in分别是输入R，G，B三个通道的值R _out，G _out，B _out是中间参数R _display，G _display，B _display是增强后三通道的取值。

本发明的有益效果是：

本发明提出了一种利用红外和可见光双目立体相机实时融合的方法。利用滤波分解策略将图像分解成背景层和细节层，分别在背景层和细节层进行不同的策略融合，有效的减少了伪影的干扰并融合成高可信的图像，本发明具有以下特点：

(1)系统容易构建，使用立体双目相机即可完成输入数据的采集；

(2)程序简单，易于实现；

(3)利用滤波分解将图像分解成两部分进行具有针对的求解；

(4)结构完成，可进行多线程操作，程序具有鲁棒性；

(5)利用细节图进行显著增强与判别，提升算法的泛化能力。

附图说明

图1是可见光与红外融合算法流程图。

图2是最终融合图像。

具体实施方式

本发明提出了一种利用红外相机和可见光相机进行实时图像融合的方法，结合附图及实施例详细说明如下：

将可见光相机和红外相机摆放在固定的平台上，实验相机的图像分辨率为1280×720，视场角为45.4°，为保证实时性利用NVIDIA TX2进行计算。在此基础上设计实时红外和可见光融合的方法，所述的方法包括下列步骤：

1)获取配准好的红外和可见光图像：

1-1)利用张正友标定法对红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数。

1-2)利用相机联合标定获得的可见光相机与红外相机位姿关系RT(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系，并运用单应性变换进行可见光图像到红外图像(或者红外图像到可见光图像)的配准。

2)图像色彩空间转换

2-1)针对可见光图像是RGB三通道的问题，进行RGB色彩空间到HSV色彩空间的转换，提取可见光图像的V(明度)信息与红外图像进行融合，保留其H(色调)，S(饱和度)，具体转换如下所示：

R′＝R/255 G′＝G/255 B′＝B/255

Cmax＝max(R′,G′,B′)

Cmin＝min(R′,G′,B′)

Δ＝Cmax-Cmin

V＝Cmax

2-2)保留H(色调)，S(饱和度)通道信息，为后面融合后图像的色彩还原保留颜色信息，提取V(明度)通道作为可见光的输入；

3)对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解，把图像分别分解成背景层和细节层，背景层刻画的图像的结构信息，细节层刻画的是梯度和纹理信息。

B＝M(I,V),D＝(I,V)-B

其中，B代表背景层，D代表细节层，M代表互导向滤波，I代表红外图像。

4)设计了基于显著图的方法融合背景层B，基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加，公式如下：

S(p)＝|I(p)-I ₁|+|I(p)-I ₂|+|I(p)-I ₃|+…+|I(p)-I _N|

即

其中S(p)表示像素点的显著值，N表示图像中像素点的个数，M表示直方图统计公式，I代表图像中的像素点的值。

根据获取的显著值，我们可以得到基于背景层融合的显著图权重：

其中W代表权重，S _j代表对应的像素值，然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合，计算如下公式：

B 0.5*(0.5+I*(W ₁-W ₂)*0.5)+0.5*(0.5+V*(W ₂-W ₁)*0.5)

其中I，V分别代表输入的红外图像和可见光图像，W ₁，W ₂分别代表对红外图像和可见光图像取得的显著权重。

5)之后对象差分后出来的细节层进行基于对比度的像素融合策略，设计一个滑动窗口，大小为3*3,分别对红外和可见光的细节图进行全局的滑动，比较对应的细节图的像素的值大小，存入对应的窗口取为1，否则取0，根据扫描的滑动窗口生成对应的二值权重图X。之后对细节层进行融合：

D＝D(I)*X+D(V)*(1-X)

6)最后，对背景层和细节层进行线性加权得：

F＝B+D

其中F代表融合结果，B和D表示背景层融合结果和细节层融合结果。

7-1)通过把融合图像存入(明度V)信息进行更新，结合之前保留的(色调H)和(饱和度S)进行HSV到RGB色彩空间的还原。具体公式如下所示：

C＝V×S

X＝C×(1-|(H/60°)mod2-1|)

n＝V-C

R′,G′,B′＝((R′+m)×255，(G′+m)×255，(B′+m)×255)

其中，C为明度与饱和度的成绩，m为明度与C的差。

7-2)对步骤7-1，还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，具体如下公式所示：

R _out＝(R _in) ^1/gamma

R _display＝(R _in ^(1/gamma)) ^gamma

G _out＝(G _in) ^1/gamma

G＝(G _in ^(1/gamma)) ^gamma

B _out＝(B _in) ^1/gamma

B _display＝(B _in ^(1/gamma)) ^gamma

其中gamma是矫正参数，R _in，G _in，B _in分别是输入R，G，B三个通道的值R _out，G _out，B _out是中间参数R _display，G _display，B _display是增强后三通道的取值。

Claims (4)

1. 一种基于显著图增强的红外和可见光融合方法，其特征在于，包括如下步骤：

   1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

   1-1)利用张正友标定法对红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；

   1-2)利用相机联合标定获得的可见光相机与红外相机位姿关系RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系，并运用单应性变换进行可见光图像到红外图像的配准；

   2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；

   3)对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解，将图像分别分解成背景层和细节层，背景层包括图像的结构信息，细节层包括图像的梯度和纹理信息；

   B＝M(I,V),D＝(I,V)-B

   其中，B代表背景层，D代表细节层，M代表互导向滤波，I代表红外图像；

   4)基于显著图的方法融合背景层B，基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加，公式如下：

   S(p)＝|I(p)-I ₁|+|I(p)-I ₂|+|I(p)-I ₃|+…+|I(p)-I _N|

   即

   

   其中S(p)表示像素点的显著值，N表示图像中像素点的个数，M表示直方图统计公式，I(p)代表像素点位置的取值；

   根据获取的显著值，得到基于背景层融合的显著图权重：

   

   其中W代表权重，S _j代表对应的像素值，然后对分解后红外图像和可见光 图像进行基于显著图权重的线性加权的融合，计算如下公式：

   B＝0.5*(0.5+I*(W ₁-W ₂)*0.5)+0.5*(0.5+V*(W ₂-W ₁)*0.5)

   其中I、V分别代表输入的红外图像和可见光图像，W ₁，W ₂分别代表对红外图像和可见光图像取得的显著权重；

   5)对象差分后出来的细节层进行基于对比度的像素融合策略，设一个滑动窗口，分别对红外和可见光的细节图进行全局的滑动，比较对应的细节图的像素的值大小，当红外图像的当前像素点八邻域的取值大于对应的可见光的八领域的像素点取值取1，反之取0；根据扫描的滑动窗口生成对应的二值权重图X；之后对细节层进行融合：

   D＝D(I)*X+D(V)*(1-X)

   6)对背景层和细节层进行线性加权得：

   F＝B+D

   其中F代表融合结果，B和D表示背景层、融合结果和细节层融合结果；

   7)色彩空间转换：将融合的图像转回RGB图像并添加之前保留下的色调和饱和度；

   通过把融合图像存入的V信息进行更新，结合之前保留的H和S进行HSV到RGB色彩空间的还原；

   8)色彩增强：对融合的图像进行色彩增强，从而生成一幅清晰度和对比度更优的融合图像；针对每个像素点的对比度，进行像素级的图像增强；

   还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，获得最终融合图像。
2. 根据权利要求1所述的基于显著图增强的红外和可见光融合方法，其特征在于，步骤2)对可见光图像进行色彩空间的转换包括：

   2-1)进行RGB色彩空间到HSV色彩空间的转换，V为明度，H为色调，S为饱和度；提取可见光图像的明度信息与红外图像进行融合，保留其色调和饱和度，具体转换如下所示：

   R′＝R/255 G′＝G/255 B′＝B/255

   Cmax＝max(R′,G′,B′)

   Cmin＝min(R′,G′,B′)

   Δ＝Cmax-Cmin

   V＝Cmax

   2-2)提取V通道作为可见光的输入，保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。
3. 根据权利要求1所述的基于显著图增强的红外和可见光融合方法，其特征在于，步骤7)色彩空间转换的具体公式如下所示：

   C＝V×S

   X＝C×(1-|(H/60°)mod2-1|)

   m＝V-C

   

   R′,G′,B′＝((R′+m)×255，(G′+m)×255，(B′+m)×255)

   其中，C为明度与饱和度的成绩，m为明度与C的差。
4. 根据权利要求1所述的基于显著图增强的红外和可见光融合方法，其特征在于，步骤8)色彩增强，具体如下公式所示：

   R _out＝(R _in) ^1/gamma

   R _display＝(R _in ^(1/gamma)) ^gamma

   G _out＝(G _in) ^1/gamma

   G＝(G _in ^(1/gamma)) ^gamma

   B _out＝(B _in) ^1/gamma

   B _display＝(B _in ^(1/gamma)) ^gamma

   其中gamma是矫正参数，R _in，G _in，B _in分别是输入R，G，B三个通道的值 R _out，G _out，B _out是中间参数R _display，G _display，B _display是增强后三通道的取值。

Images