WO2021093712A1

WO2021093712A1 - 图像处理方法和相关产品

Info

Publication number: WO2021093712A1
Application number: PCT/CN2020/127608
Authority: WO
Inventors: 季军; 赖昌材
Original assignee: 华为技术有限公司
Priority date: 2019-11-11
Filing date: 2020-11-09
Publication date: 2021-05-20
Also published as: CN112785510A; CN112785510B

Abstract

一种图像处理方法和相关产品，以提高成像设备在低照度下的感光能力，提升图像质量，属于图像处理技术领域。所述方法包括：通过摄像头获取当前场景的可见光图像和红外光图像；其中，所述可见光图像对应的曝光时长大于所述红外光图像对应的曝光时长（S101）；对所述可见光图像和所述红外图像进行融合处理，得到融合图像（S102）。

Description

图像处理方法和相关产品

本申请要求于2019年11月11日提交中国专利局、申请号为201911096690.4、申请名称为“图像处理方法和相关产品”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法和相关产品。

背景技术

随着摄像技术的发展，在高照度下，摄像设备能够拍摄到清晰的图像，而在低照度下，拍摄的图像的清晰度会受到影响，导致低照度下拍摄的图像模糊不清。

现有技术中，通过光学成像系统将经过镜头的光线按照波段以及比例进行分离，并通过分离得到的各个频率分量分别进行成像，得到可见光图像与红外光图像，其中，可见光图像为彩色图像，红外光图像为灰度图像。然后，通过预置的融合算法对可见光图像与红外光图像进行图像融合，得到目标图像。

然而现有技术中，由于红外图像是灰度图像，因此目标图像的色彩分量来自于可见光图像。而在低照度下，可见光图像的清晰度会受到严重影响，从而导致融合的目标图像的色彩效果较差。

发明内容

本申请实施例提供一种图像处理方法和相关产品，提高成像设备在低照度下的感光能力，提升图像质量。

第一方面，本申请实施例提供一种图像处理方法，包括：

通过摄像头获取当前场景的可见光图像和红外光图像；其中，所述可见光图像对应的曝光时长大于所述红外光图像对应的曝光时长不同；

对所述可见光还原图像和所述红外图像进行融合处理，得到融合图像。

在本申请实施例中，上述图像处理方法可以应用在具备成像功能的设备中，可以在该设备出厂之前或者之后，分别设置可见光图像对应的曝光时长和红外光图像对应的曝光时长。通过延长可见光图像的对应的曝光时长，来增加呈现设备在低照度下的感光能力，然后再对可见光图像和红外光图像进行融合处理，使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

具体地，以摄像设备为例，在摄像设备的镜头后设置一个分频谱棱镜和两个图像传感器；环境光经过镜头之后通过分频棱镜，分为可见光和红外光，可见光被RGB传感器(色彩传感器)接收，得到可见光图像，红外光被近红外光谱技术(Near Infrared，NIR)传感器接收，得到红外光图像。由于可将光图像对应的曝光时长大于红外图像的对应的曝光时长，因此可见光图像更够适应更低的环境照度，使得融合图像的色彩效果更佳。

结合第一方面，在第一种可能的实施方式中，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。

在本申请实施例中，靶面尺寸用于表征图像传感器中感光部分的大小，靶面尺寸越大，则对应的图像传感器有更大的通光量。可以在成相设备出厂之前，设置可见光图像对应的图像传感器的靶面尺寸大于红外光图像对应的图像传感器的靶面尺寸，从而使得可见光图像对应的图像传感器具备更强大的感光能力。

结合第一方面，或者，结合第一方面的第一种可能的实施方式，在第二种可能的实施方式中，所述通过摄像头获取当前场景的可见光图像，包括：

采用binning模式获取当前场景的所述可见光图像。

在本申请实施例中，binning模式(像素合并模式)可以将相邻两个或以上相同颜色的像素合并为一个像素。由于低照度环境下拍摄的可见光图像的色彩效果会受到影响，因此图像传感器通过binning模式来强化可见光图像中的色彩。

结合第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述binning模式包括：2x2binning、3x3binning、4x4binning。

在本申请实施例中，可以根据成像设备经常使用的环境条件，选择不同的binning模式，理论上合并的像素单元数量越多，则对低照度的适应性越强。

结合第一方面的第二种可能的实施方式，或者结合第一方面的第三种可能的实施方式，在第四种可能的实施方式中，所述可见光图像包括RGB三通道图像，所述可见光图像的RGB三通道图像所采用的binning模式不同。

在本申请实施例中，由于低照度环境下，不同颜色对光强度的敏感度不同，因此可以将可见光图像对应的RGB通道的binning模式不同。

结合第一方面的第四种可能的实施方式，在第五种可能的实施方式中，所述可见光图像的B通道所采用的binning模式中合并的像素单元的数量大于所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

所述可见光图像的R通道所采用的binning模式中合并的像素单元的数量大于所述可见光图像的G通道图像所采用的binning模式中合并的像素单元的数量。

在本申请实施例中，可以根据颜色对光强度的敏感度设置对应颜色通道的binning模式不同，从而提高可见光图像的色彩效果。

结合第一方面的第一种至第五种中任一可能的实施方式，在第六种可能的实施方式中，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行去模糊处理，得到去模糊后的可见光图像；

对所述去模糊后的可见光图像和所述红外图像进行融合处理，得到所述融合图像。

在本申请实施例中，由于延长了可见光图像的曝光时长，因此可见光图像中会引入拖影，使得可见光图像变得模糊。因此，可以通过去模糊算法对可见光图像进行去模糊处理，得到去模糊后的可见光图像，最后对去模糊后的可见光图像和所述红外图像进行融合处理，得到融合图像。对可见光图像进行去模糊处理，可以有效提高融合图像的质量。本实施例不限定去模糊的具体算法，例如可以采用二值化去噪方式对可见光图像进行去模糊处理，或者利用专业的去模糊软件进行去模糊处理，用以消除长曝光引入的拖影。

结合第一方面的第一种至第六种中任一可能的实施方式，在第七种可能的实施方式中，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像；

对所述与所述红外光图像的分辨率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。

在本申请实施例中，由于长曝光获取到的可见光图像可能会牺牲图像分辨率，使得可见光图像的分辨率低于红外光图像的分辨率。因此在进行图像融合之前，需要对可见光图像进行上采样处理，得到与红外光图像的分辨率相同的可见光图像。本申请实施例不限定上采样的具体算法。

结合第一方面的第七种可能的实施方式，在第八种可能的实施方式中，所述对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像，包括：

根据所述红外光图像的分辨率，对所述可见光图像进行插值处理，得到与所述红外光图像的分辨率相同的可见光图像。

在本申请实施例中，可以采用插值方式使得可见光图像的分辨率与红外光图像的分辨率一致。可选地，可以采用邻近插值、线性插值、均值插值、中值插值等等方法，本实施例不限定具体的插值算法。

结合第一方面的第一种至第八种中任一可能的实施方式，在第九种可能的实施方式中，对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对至少两张所述可见光图像进行插帧处理，得到与所述红外光图帧率相同的可见光图像；

对所述与所述红外光图像帧率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。

在本申请实施例中，由于可见光图像对应的曝光时长大于红外光图像对应的曝光时长，因此可见光图像的采集帧率低于红外光图像的采集帧率。当应用在监控摄像头拍摄的视频图像时，在相同时间段内采集的可见光图像和红外光图像的数量不同，因此需要对至少两张所述可见光图像进行插帧处理，得到与所述红外光图帧率相同的可见光图像，以确保得到与红外光图像数量相同的融合图像。

结合第一方面的第一种至第九种中任一可能的实施方式，在第十种可能的实施方式中，对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行低通滤波处理，得到所述可见光图像的低频信息；

对所述红外光图像进行低通滤波处理，得到所述红外光图像的低频信息，根据所述红外光图像的低频信息和所述红外光图像，得到所述红外光图像的高频信息；所述红外光图像的高频信息包括纹理信息；

将所述可见光图像的低频信息和所述红外光图像的高频信息进行融合，得到所述融合图像。

在本申请实施例中，通过分别对可见光图像和红外光图像进行低通滤波处理，以消除高频分量和噪声，得到可见光图像对应的低频信息，以及红外光图像对应的低频信息。然后根据红外光图像对应的低频信息和红外光图像，得到红外光图像的纹理信息。由于红外光图像的纹理信息比可见光图像的纹理信息要丰富，因此，在融合时，将滤波后的红外光图像的纹理信息融合到所述滤波后的可见光图像上，得到所述融合图像。从而可以提升融合图像的质量，使其具备更加丰富的纹理信息。

第二方面，本申请实施例提供一种图像处理方法，包括：

通过摄像头获取当前场景的可见光图像和红外光图像；其中，所述可见光图像的分辨率低于所述红外光图像的分辨率；

对所述可见光图像和所述红外图像进行融合处理，得到融合图像。

在本申请实施例中，上述图像处理方法可以应用在具备成像功能的设备中，可以在该设备出厂之前或者之后，分别设置可见光图像对应的分辨率和红外光图像对应的分辨率。通过降低可见光图像的对应的分辨率，来增加呈现设备在低照度下的感光能力，然后再对可见光图像和红外光图像进行融合处理，使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

具体地，以摄像设备为例，在摄像设备的镜头后设置一个分频谱棱镜和两个图像传感器；环境光经过镜头之后通过分频棱镜，分为可见光和红外光，可见光被RGB传感器(色彩传感器)接收，得到可见光图像，红外光被近红外光谱技术(Near Infrared，NIR)传感器接收，得到红外光图像。由于可将光图像对应的分辨率低于红外图像的对应的分辨率，因此可见光图像更够适应更低的环境照度，使得融合图像的色彩效果更佳。

结合第二方面，在第一种可能的实施方式中，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。

结合第二方面，或者结合第二方面的第一种可能的实施方式，在第二种可能的实施方式中，所述通过摄像头获取当前场景的可见光图像，包括：

采用binning模式获取当前场景的所述可见光图像。

在本申请实施例中，binning模式可以将相邻两个或以上相同颜色的像素合并为一个像素。由于低照度环境下拍摄的可见光图像的色彩效果会受到影响，因此图像传感器通过binning模式来强化可见光图像中的色彩。

结合第二方面的第二种可能的实施方式，在第三种可能的实施方式中，所述binning模式包括：2x2binning、3x3binning、4x4binning。

结合第二方面的第二种可能的实施方式，或者结合第二方面的第三种可能的实施方式，在第四种可能的实施方式中，所述可见光图像包括RGB三通道图像，所述可见光图像的RGB三通道图像所采用的binning模式不同。

结合第二方面的第四种可能的实施方式，在第五种可能的实施方式中，所述可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的G通道图像所采用的binning模式中合并的像素单元的数量。

结合第二方面的第一种至第五种中任一可能的实施方式，在第六种可能的实施方式中，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

在本申请实施例中，在低照度环境下，可见光图像中会引入拖影，使得可见光图像变得模糊。因此，可以通过去模糊算法对可见光图像进行去模糊处理，得到去模糊后的可见光图像，最后对去模糊后的可见光图像和所述红外图像进行融合处理，得到融合图像。对可见光图像进行去模糊处理，可以有效提高融合图像的质量。本实施例不限定去模糊的具体算法，例如可以采用二值化去噪方式对可见光图像进行去模糊处理，或者利用专业的去模糊软件进行去模糊处理，用以消除长曝光引入的拖影。

结合第二方面的第一种至第六种中任一可能的实施方式，在第七种可能的实施方式中，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

在本申请实施例中，由于可见光图像的分辨率低于红外光图像的分辨率。因此在进行图像融合之前，需要对可见光图像进行上采样处理，得到与红外光图像的分辨率相同的可见光图像。本申请实施例不限定上采样的具体算法。

结合第二方面的第七种可能的实施方式，在第八种可能的实施方式中，所述对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像，包括：

结合第二方面的第一种至第八种中任一可能的实施方式，在第九种可能的实施方式中，对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

第三方面，本申请实施例提供一种图像处理装置，包括：

摄像模块，用于获取当前场景的可见光图像和红外光图像；其中，所述可见光图像对应的曝光时长大于所述红外光图像对应的曝光时长；

处理模块，用于对所述可见光图像和所述红外图像进行融合处理，得到融合图像。

结合第三方面，在第一种可能的实施方式中，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。

结合第三方面，或者结合第三方面的第一种可能的实施方式中，在第二种可能的实施方式中，所述摄像模块，具体用于：

采用binning模式获取当前场景的所述可见光图像。

结合第三方面的第二种可能的实施方式，在第三种可能的实施方式中，所述binning模式包括：2x2binning、3x3binning、4x4binning。

结合第三方面的第二种可能的实施方式，或者结合第三方面的第三种可能的实施方式，在第四种可能的实施方式中，所述可见光图像包括RGB三通道图像，所述可见光图像的RGB三通道图像所采用的binning模式不同。

结合第三方面的第四种可能的实施方式，在第五种可能的实施方式中，所述可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

结合第三方面的第一种至第五种中任一可能的实施方式，在第六种可能的实施方式中，所述处理模块，具体用于：

结合第三方面的第一种至第六种中任一可能的实施方式，在第七种可能的实施方式中，所述处理模块，具体用于：

结合第三方面的第七种可能的实施方式，在第八种可能的实施方式中，所述处理模块，具体用于：

结合第三方面的第一种至第八种中任一可能的实施方式，在第九种可能的实施方式中，所述处理模块，具体用于：

对至少两张所述可见光图像进行插帧处理，得到与所述红外光图像帧率相同的可见光图像；

结合第三方面的第一种至第九种中任一可能的实施方式，在第十种可能的实施方式中，所述处理模块，具体用于：

第四方面，本申请实施例提供一种图像处理装置，包括：

摄像模块，用于获取当前场景的可见光图像和红外光图像；其中，所述可见光图像的分辨率低于所述红外光图像的分辨率；

结合第四方面，在第一种可能的实施方式中，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。

结合第四方面，或者结合第四方面的第一种可能的实施方式，在第二种可能的实施方式中，所述摄像模块，具体用于：

采用binning模式获取当前场景的所述可见光图像。

结合第四方面的第二种可能的实施方式，在第三种可能的实施方式中，所述binning模式包括：2x2binning、3x3binning、4x4binning。

结合第四方面的第二种可能的实施方式，或者结合第四方面的第三种可能的实施方式，在第四种可能的实施方式中，所述可见光图像包括RGB三通道图像，所述可见光图像的RGB三通道图像所采用的binning模式不同。

结合第四方面的第四种可能的实施方式，在第五种可能的实施方式中，所述可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

结合第四方面的第一种至第五种中任一可能的实施方式，在第六种可能的实施方式中，所述处理模块，具体用于：

结合第四方面的第一种至第六种中任一可能的实施方式，在第七种可能的实施方式中，所述处理模块，具体用于：

结合第四方面的第七种可能的实施方式，在第八种可能的实施方式中，所述处理模块，具体用于：

结合第四方面的第一种至第八种中任一可能的实施方式，在第九种可能的实施方式中，所述处理模块，具体用于：

第五方面，本申请实施例提供一种成相设备，包括摄像头、处理器、存储器；所述镜头用于采集可见光图像和红外图像，所述存储器用于存储程序指令，所述处理器用于调用存储器中的程序指令执行如第一方面或第一方面中任一可能的实施方式所述的图像处理方法。

第六方面，本申请实施例提供一种成相设备，包括摄像头、处理器、存储器；所述镜头用于采集可见光图像和红外图像，所述存储器用于存储程序指令，所述处理器用于调用存储器中的程序指令执行如第二方面或第二方面中任一可能的实施方式所述的图像处理方法。

第七方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序；所述计算机程序在被执行时，实现第一方面本申请实施例所述的图像处理方法。

第八方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序；所述计算机程序在被执行时，实现第二方面本申请实施例所述的图像处理方法。

第九方面，本申请实施例提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，图像处理装置的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得图像处理装置实施第一方面本申请实施例任一所述的图像处理方法。该存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

第十方面，本申请实施例提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，图像处理装置的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得图像处理装置实施第二方面本申请实施例任一所述的图像处理方法。该存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请实施例中，通过不同的曝光时长，通过摄像头获取当前场景的可见光图像和红外图像，对可见光图像和红外图像进行融合处理，得到融合图像。因此，可以通过设置不同的曝光时长，来增加呈现设备在低照度下的感光能力，从而使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

附图说明

图1为本申请实施例提供的成像装置的结构示意图；

图2为本申请实施例提供的图像处理方法的流程图一；

图3为2x2binning阵列的像素合并原理示意图；

图4为本申请实施例提供的图像处理方法的流程图二；

图5为本申请实施例提供的图像处理方法的流程图三；

图6为本申请实施例提供的图像处理方法的流程图四；

图7为可见光图像的插帧原理示意图；

图8为本申请实施例提供的图像处理方法的流程图五；

图9为本申请实施例提供的图像处理方法的流程图六；

图10为本申请实施例提供的图像处理方法的流程图七；

图11为本申请实施例提供的图像处理装置的结构示意图一；

图12为本申请实施例提供的图像处理装置的结构示意图二；

图13为本申请实施例提供的监控设备的结构示意图；

图14为与本申请实施例提供的摄像装置的部分结构的框图。

具体实施方式

图1为本申请实施例提供的成像装置的结构示意图，如图1所示，成像装置100包括：红外镜头110、分频棱镜120、RGB传感器130、NIR传感器140、处理器150、显示屏160；环境光经过红外镜头110之后通过分频棱镜120，分为可见光和红外光；其中，可见光被RGB传感器130接收，并生成可见光图像；红外光被NIR传感器140接收，并生成红外光图像。处理器150分别对生成的可见光图像和红外光图像进行融合处理，并在显示屏160上显示融合图像。

在本申请实施例中，可见光图像的曝光时长与红外光图像的曝光时长不同。例如，可以将红外光图像的曝光时长设置为标准的曝光时长，将可见光图像的曝光时长延长，使得可见光图像能够获取到更多的色彩信息，以适用于低照度环境。处理器150对可见光图像进行还原处理，得到可见光还原图像；然后对可见光还原图像和红外图像进行融合处理，得到融合图像。这种方式可以增加呈现设备在低照度下的感光能力，从而使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解：

1)红外镜头：是指能够同时接收环境光中的可见光和红外光的镜头。现有的监控设备一般都安装有红外镜头。

2)分频棱镜：是指能够将红外光(波长>700nm)和可见光(波长为400nm～700nm)分离的棱镜。

3)RGB传感器：又称为色彩传感器，能够识别红色R、绿色G、蓝色B三种颜色的传感器，能够将可见光转换为人眼视觉感知相同的图像。

4)NIR传感器：近红外光谱技术(Near Infrared，NIR)传感器，用于将红外光转换为灰度图像。

下面采用具体的实施例对本申请的通信的方法进行详细说明，需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图2为本申请实施例提供的图像处理方法的流程图一，参见图2，本实施例的方法包括：

步骤S101、通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像对应的曝光时长大于红外光图像对应的曝光时长。

步骤S102、对可见光还原图像和红外图像进行融合处理，得到融合图像。

本实施例中，可以应用在具备成像功能的设备中，例如监控设备、夜视仪等等。通过设置对可见光图像对应的曝光时长大于红外光图像的对应的曝光时长，来增加在低照度下的感光能力。本实施例中的方法适用于光线较暗的场景，例如夜间环境、阴雨天，以及光线昏暗的室内环境等等。

示例性的，以分频棱镜相机为例。分频棱镜相机包括：红外镜头、分频谱棱镜、RGB传感器和NIR传感器。环境光进入红外镜头之后通过分频谱棱镜，分为可见光和红外光，可见光被RGB传感器接收，生成可见光图像，红外光被NIR传感器接收，生成红外光图像。在分频棱镜相机出厂之前或者之后，设置可见光图像对应的曝光时长和红外光图像对应的曝光时长。通过延长可见光图像的对应的曝光时长，来增加成像设备在低照度下的感光能力，然后再对可见光图像和红外光图像进行融合处理，使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

示例性的，可以设置可见光图像的曝光时长为80ms；红外光图像的曝光时长为10ms。具体地，以人脸场景为例，现有技术中，为了避免产生模糊问题，可见光图像和红外光图像的曝光都是10ms。应用本申请中的方法时，可以将可见光图像的曝光时间提升到80ms，从而可以显著改善融合图像的质量，适用于低照度场景。

需要说明的是，本实施例不限定可见光图像和红外光图像的具体曝光时长。红外光图像的曝光时长的设置以不引起运动模糊为参照标准。可将光图像的曝光时长则可以根据实际的环境照度进行灵活调整。示例性的，可见光图像对应的图像传感器的靶面尺寸大于红外光图像对应的图像传感器的靶面尺寸。

本实施例中，靶面尺寸用于表征图像传感器中感光部分的大小，靶面尺寸越大，则对应的图像传感器有更大的通光量。可以在成相设备出厂之前，设置可见光图像对应的图像传感器的靶面尺寸大于红外光图像对应的图像传感器的靶面尺寸，从而使得可见光图像对应的图像传感器具备更强大的感光能力。

示例性的，可以设置可见光图像对应的图像传感器的分辨率小于红外光图像对应的图像传感器的分辨率。

具体地，以分频棱镜相机为例，可以在相机出厂之前设置RGB传感器的分辨率低于NIR传感器的分辨率，从而使得RGB传感器采集的可见光图像能够适用于光照度更低的环境。

示例性的，可以采用binning模式(又称为像素合并模式)获取当前场景的可见光图像。

需要说明的是，红外光图像不使用binning模式采集。

本实施例中，binning模式是指将图像传感器采集的多个像素合并为一个像素。由于低照度环境下拍摄的可见光图像的色彩效果会受到影响，因此图像传感器通过binning模式来强化可见光图像中的色彩。

示例性的，binning模式包括：2x2binning、3x3binning、4x4binning等等。具体地，2x2binning阵列，是指将四个相同颜色的像素合并为一个像素；4x4binning阵列是指将16个相同颜色的像素合并为一个像素。

本实施例中，可以根据成像设备经常使用的环境条件，选择不同的binning模式，理论上合并的像素单元数量越多，则对低照度的适应性越强。

具体地，图3为2x2binning阵列的像素合并原理示意图，如图3所示，以2x2个像素为一个单元进行像素合并；其中，合并后的像素为四个像素的累加值。

示例性的，可见光图像包括RGB三通道图像，可见光图像的RGB三通道图像所采用的binning模式不同。

示例性的，可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量大于可见光图像的G通道图像所采用的binning模式中合并的像素单元的数量。

本实施例中，可以根据颜色对光强度的敏感度设置对应颜色通道的binning模式不同，从而提高可见光图像的色彩效果。

在步骤S102中，在低照度下的场景下，红外光图像的纹理较可见光图像更清晰，因此可以将红外光图像的纹理信息融合到可见光图像上，从而得到融合图像。而延长可见光图像的曝光时长来增加呈现设备在低照度下的感光能力，从而使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

示例性的，可以对可见光图像进行低通滤波处理，得到可见光图像的低频信息；对红外光图像进行低通滤波处理，得到红外光图像的低频信息，根据红外光图像的低频信息和红外光图像，得到红外光图像的高频信息；红外光图像的高频信息包括纹理信息；将可见光图像的低频信息和红外光图像的高频信息进行融合，得到融合图像。

本实施例中，通过分别对可见光图像和红外光图像进行低通滤波处理，以消除高频分量和噪声，得到可见光图像对应的低频信息，以及红外光图像对应的低频信息。然后根据红外光图像对应的低频信息和红外光图像，得到红外光图像的纹理信息。由于红外光图像的纹理信息比可见光图像的纹理信息要丰富，因此，在融合时，将滤波后的红外光图像的纹理信息融合到滤波后的可见光图像上，得到融合图像。从而可以提升融合图像的质量，使其具备更加丰富的纹理信息。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像对应的曝光时长大于红外光图像对应的曝光时长；然后对可见光图像和红外图像进行融合处理，得到融合图像。从而可以提高成像设备在低照度下的感光能力，提升图像质量。

图4为本申请实施例提供的图像处理方法的流程图二，参见图4，本实施例的方法包括：

步骤S201、通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像对应的曝光时长大于红外光图像对应的曝光时长。

本实施例中步骤S201的现具体的实现原理和实现过程与图2所示方法的实现原理和实现过程类似，此处不再赘述。

步骤S202、对可见光图像进行去模糊处理，得到去模糊后的可见光图像。

步骤S203、对去模糊后的可见光图像和红外图像进行融合处理，得到融合图像。

本实施例的步骤S202、步骤S203中，由于延长了可见光图像的曝光时长，因此可见光图像中会引入拖影，使得可见光图像变得模糊。因此，可以通过去模糊算法对可见光图像进行去模糊处理，得到去模糊后的可见光图像，最后对去模糊后的可见光图像和红外图像进行融合处理，得到融合图像。对可见光图像进行去模糊处理，可以有效提高融合图像的质量。本实施例不限定去模糊的具体算法，例如可以采用二值化去噪方式对可见光图像进行去模糊处理，或者利用专业的去模糊软件进行去模糊处理，用以消除长曝光引入的拖影。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像对应的曝光时长大于红外光图像对应的曝光时长；然后对可见光图像进去模糊处理，将去模糊处理的可见光图像和红外图像进行融合处理，得到融合图像。从而可以消除可见光图像在长曝光下引入的拖影，提高融合图像的质量。

图5为本申请实施例提供的图像处理方法的流程图三，参见图5，本实施例的方法包括：

步骤S301、通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像对应的曝光时长大于红外光图像对应的曝光时长。

本实施例中步骤S301的现具体的实现原理和实现过程与图2所示方法的实现原理和实现过程类似，此处不再赘述。

步骤S302、对可见光图像进行上采样处理，得到与红外光图像的分辨率相同的可见光图像。

步骤S303、对与红外光图像的分辨率相同的可见光图像和红外图像进行融合处理，得到融合图像。

在步骤S302、步骤S303中，由于长曝光获取到的可见光图像可能会牺牲图像分辨率，使得可见光图像的分辨率低于红外光图像的分辨率。因此在进行图像融合之前，需要对可见光图像进行上采样处理，得到与红外光图像的分辨率相同的可见光图像。本申请实施例不限定上采样的具体算法。

示例性的，红外光图像采用全分辨率，可见光图像采用低分辨率，从而可以使得可见光图像能够适用于更长的曝光时长，实现在低照度下获取充分的色彩信息。例如，可见光图像的分辨率为1280x720，红外光图像的分辨率为2560x1440，然后可以通过bicubic算法将可见光图像从1280x720上采样到2560x1440，得到与红外光图像分辨率相同的可见光图像。

示例性的，可以根据红外光图像的分辨率，对可见光图像进行插值处理，得到与红外光图像的分辨率相同的可见光图像。

本实施例中，可以采用插值方式使得可见光图像的分辨率与红外光图像的分辨率一致。可选地，可以采用邻近插值、线性插值、均值插值、中值插值等等方法，本实施例不限定具体的插值算法。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像对应的曝光时长大于红外光图像对应的曝光时长；然后对可见光图像进去上采样处理，得到与红外光图像的分辨率相同的可见光图像，最后将与红外光图像分辨率相同的可见光图像和红外图像进行融合处理，得到融合图像。从而可以使得可见光图像更够适应更低的环境照度，使得融合图像的色彩效果更佳。

图6为本申请实施例提供的图像处理方法的流程图四，参见图6，本实施例的方法包括：

步骤S401、通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像对应的曝光时长大于红外光图像对应的曝光时长。

本实施例中步骤S401的现具体的实现原理和实现过程与图2所示方法的实现原理和实现过程类似，此处不再赘述。

步骤S402、对至少两张可见光图像进行插帧处理，得到与红外光图像帧率相同的可见光图像。

步骤S403、对与红外光图像帧率相同的可见光图像和红外图像进行融合处理，得到融合图像。

在本实施例中，可见光图像的采集帧率小于红外光图像的采集帧率。示例性的，红外光图像的采集帧率可以是采用现有标准的图像采集帧率。当可见光图像的采集帧率小于40ms对应的采集帧率时，则对可见光图像进行插帧处理。或者，当可见光图像的采集帧率小于33.3ms对应的采集帧率时，则对可见光图像进行插帧处理。

需要说明的是，本实施例不限定可见光图像的具体采集帧率。当可见光图像的采集帧率小于红外光图像的采集帧率时，可以通过插帧的方式，使得可见光图像的采集帧率与红外光图像的采集帧率率相同。

在步骤S402、步骤S403中，由于可见光图像对应的曝光时长大于红外光图像对应的曝光时长，因此可见光图像的采集帧率低于红外光图像的采集帧率。当应用在监控摄像头拍摄的视频图像时，在相同时间段内采集的可见光图像和红外光图像的数量不同，因此需要对至少两张可见光图像进行插帧处理，得到与红外光图数量相同的可见光图像，以确保得到与红外光图像数量相同的融合图像。

本实施例中，为了适应低照度环境，延长了曝光时间，因此降低了可见光图像的采集帧率。在融合之前，需要通过插帧技术对可见光图像进行补帧。具体地，可以同分析前后两帧可见光图像预测中间帧的可见光图像，从而使得可见光图像的数量与红外光图像的数量相同。

具体地，图7为可见光图像的插帧原理示意图，如图7所示，红外传感器的采集帧率是可见光传感器采集帧率的2倍。红外传感器采集到了1～10帧红外光图像；可见光传感器采集到了1、3、5、7、9共五帧可见光图像。通过第1帧可见光图像和第3帧可见光图像，预测得到第2帧可见光图像；通过第3帧可见光图像和第5帧可见光图像，预测得到第4帧可见光图像；通过第5帧可见光图像和第7帧可见光图像，预测得到第6帧可见光图像；通过第7帧可见光图像和第9帧可见光图像，预测得到第8帧可见光图像；依次类推，直到得到与红外传感器采集的相同数量的可见光图像。

示例性的，可以设置可见光图像的采集帧率为红外光的采集帧率的1/2；从而可以方便后续对可见光图像进行还原处理时的插帧运算。

示例性的，可以设置第一帧率为25fps，第二帧率为12.5fps。

需要说明的是，本实施例不限定可见光图像和红外光图像的具体采集帧率，以及可见光图像和红外光图像的分辨率。在实际应用中，可以根据成像设备自身器件的性能进行灵活设置。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像对应的曝光时长大于红外光图像对应的曝光时长；然后根据红外光图像的采集帧率对至少两张可见光图像进行插帧处理，得到与红外光图数量相同的可见光图像，最后对与红外光图像数量相同的可见光图像和红外图像进行融合处理，得到融合图像。从而可以应用于监控设备拍摄的多帧视频图像的融合处理，使得视频图像质量更佳。

图8为本申请实施例提供的图像处理方法的流程图五，参见图8，本实施例的方法包括：

步骤S501、通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像的分辨率低于红外光图像的分辨率。

步骤S502、对可见光图像和红外图像进行融合处理，得到融合图像。

本实施例中，可以应用在具备成像功能的设备中，例如监控设备、夜视仪等等。通过降低可见光图像的分辨率，来增加在低照度下的感光能力。本实施例中的方法适用于光线较暗的场景，例如夜间环境、阴雨天，以及光线昏暗的室内环境等等。

示例性的，以分频棱镜相机为例。分频棱镜相机包括：红外镜头、分频谱棱镜、RGB传感器和NIR传感器。环境光进入红外镜头之后通过分频谱棱镜，分为可见光和红外光，可见光被RGB传感器接收，生成可见光图像，红外光被NIR传感器接收，生成红外光图像。在分频棱镜相机出厂之前或者之后，设置可见光图像的分辨率低于红外光图像的分辨率。从而增加成像设备在低照度下的感光能力，然后再对可见光图像和红外光图像进行融合处理，使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

示例性的，可见光图像对应的图像传感器的靶面尺寸大于红外光图像对应的图像传感器的靶面尺寸。

示例性的，可以采用binning模式获取当前场景的可见光图像。

需要说明的是，红外光图像不使用binning模式采集。

在步骤S502中，在低照度下的场景下，红外光图像的纹理较可见光图像更清晰，因此可以将红外光图像的纹理信息融合到可见光图像上，从而得到融合图像。而延长可见光图像的曝光时长来增加呈现设备在低照度下的感光能力，从而使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像的分辨率低于红外光图像的分辨率；然后对可见光图像和红外图像进行融合处理，得到融合图像。从而可以提高成像设备在低照度下的感光能力，提升图像质量。

图9为本申请实施例提供的图像处理方法的流程图六，参见图9，本实施例的方法包括：

步骤S601、通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像的分辨率低于红外光图像的分辨率。

本实施例中步骤S601的现具体的实现原理和实现过程与图8所示方法的实现原理和实现过程类似，此处不再赘述。

步骤S602、对可见光图像进行去模糊处理，得到去模糊后的可见光图像。

步骤S603、对去模糊后的可见光图像和红外图像进行融合处理，得到融合图像。

本实施例的步骤S602、步骤S603中，可以通过去模糊算法对可见光图像进行去模糊处理，得到去模糊后的可见光图像，最后对去模糊后的可见光图像和红外图像进行融合处理，得到融合图像。对可见光图像进行去模糊处理，可以有效提高融合图像的质量。本实施例不限定去模糊的具体算法，例如可以采用二值化去噪方式对可见光图像进行去模糊处理，或者利用专业的去模糊软件进行去模糊处理，用以消除长曝光引入的拖影。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像的分辨率低于红外光图像的分辨率；然后对可见光图像进去模糊处理，将去模糊处理的可见光图像和红外图像进行融合处理，得到融合图像。从而可以消除可见光图像在长曝光下引入的拖影，提高融合图像的质量。

图10为本申请实施例提供的图像处理方法的流程图七，参见图10，本实施例的方法包括：

步骤S701、通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像的分辨率低于红外光图像的分辨率。

本实施例中步骤S701的现具体的实现原理和实现过程与图6所示方法的实现原理和实现过程类似，此处不再赘述。

步骤S702、对可见光图像进行上采样处理，得到与红外光图像的分辨率相同的可见光图像。

步骤S703、对与红外光图像的分辨率相同的可见光图像和红外图像进行融合处理，得到融合图像。

在步骤S702、步骤S703中，由于可见光图像的分辨率低于红外光图像的分辨率，因此在进行图像融合之前，需要对可见光图像进行上采样处理，得到与红外光图像的分辨率相同的可见光图像。本申请实施例不限定上采样的具体算法。

示例性的，红外光图像采用全分辨率，可见光图像采用低分辨率，实现在低照度下获取充分的色彩信息。例如，可见光图像的分辨率为1280x720，红外光图像的分辨率为2560x1440，然后可以通过bicubic算法将可见光图像从1280x720上采样到2560x1440，得到与红外光图像分辨率相同的可见光图像。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像的分辨率低于红外光图像的分辨率；然后对可见光图像进去上采样处理，得到与红外光图像的分辨率相同的可见光图像，最后将与红外光图像分辨率相同的可见光图像和红外图像进行融合处理，得到融合图像。从而可以使得可见光图像更够适应更低的环境照度，使得融合图像的色彩效果更佳。

图11为本申请实施例提供的图像处理装置的结构示意图一，参见图11，本实施例的装置包括：

摄像模块810，用于通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像对应的曝光时长大于红外光图像对应的曝光时长；

处理模块820，用于对可见光图像和红外图像进行融合处理，得到融合图像。

应理解，上述模块可以是软件模块，也可以是硬件单元或者电路单元。

本实施例中，图像处理装置适用于光线较暗的场景，例如夜间环境、阴雨天，以及光线昏暗的室内环境等等。摄像模块810包括：可见光图像传感器和红外光图像传感器。环境光进入摄像模块810的镜头之后被分为可见光和红外光，可见光被可见光图像传感器接收，生成可见光图像，红外光被红外光图像传感器接收，生成红外光图像。在图像处理装置出厂之前或者之后，可以设置摄像模块810中可见光图像对应的曝光时长和红外光图像对应的曝光时长。通过延长可见光图像的对应的曝光时长，来增加图像处理装置在低照度下的感光能力，然后再通过处理模块820对可见光图像和红外光图像进行融合处理，使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

需要说明的是，处理模块820中可以预先加载有图像处理程序，当程序被调用时，执行对可见光图像和红外光图像的融合处理，得到融合图像。

具体地，以夜间监控场景为例，摄像模块810拍摄夜间环境下的可见光图像和红外光图像，其中，可见光图像对应的曝光时长大于红外光图像对应的曝光时长。摄像模块810将采集到的可见光图像和红外光图像发送给处理模块820，以使得处理模块820对可见光图像和红外光图像进行融合处理。例如，处理模块820对可见光图像进行低通滤波处理，得到去噪后的可见光图像，并提取红外光图像的纹理信息；最后将红外光图像的纹理信息融合到去噪后的可见光图像上，得到融合图像。需要说明的是，本实施例不限定处理模块820所加载的图像处理算法。

示例性的，摄像模块810，具体用于：

采用binning模式获取当前场景的可见光图像。

示例性的，binning模式包括：2x2binning、3x3binning、4x4binning。

示例性的，处理模块820，具体用于：

对可见光图像进行去模糊处理，得到去模糊后的可见光图像；

对去模糊后的可见光图像和红外图像进行融合处理，得到融合图像。

示例性的，处理模块820，具体用于：

对可见光图像进行上采样处理，得到与红外光图像的分辨率相同的可见光图像；

对与红外光图像的分辨率相同的可见光图像和红外图像进行融合处理，得到融合图像。

示例性的，处理模块820，具体用于：

根据红外光图像的分辨率，对可见光图像进行插值处理，得到与红外光图像的分辨率相同的可见光图像。

示例性的，处理模块820，具体用于：

对至少两张可见光图像进行插帧处理，得到与红外光图帧率相同的可见光图像；

对与红外光图像帧率相同的可见光图像和红外图像进行融合处理，得到融合图像。

示例性的，处理模块820，具体用于：

对可见光图像进行低通滤波处理，得到可见光图像的低频信息；

对红外光图像进行低通滤波处理，得到红外光图像的低频信息，根据红外光图像的低频信息和红外光图像，得到红外光图像的高频信息；红外光图像的高频信息包括纹理信息；

将可见光图像的低频信息和红外光图像的高频信息进行融合，得到融合图像。

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像对应的曝光时长大于红外光图像对应的曝光时长；对可见光图像和红外图像进行融合处理，得到融合图像。从而可以提高成像设备在低照度下的感光能力，提升图像质量。其具体实现过程和实现原理请参见图2～图7所示实施例中的相关描述，此处不再赘述。

图12为本申请实施例提供的图像处理装置的结构示意图二，参见图12，本实施例的装置包括：

摄像模块910，用于通过摄像头获取当前场景的可见光图像和红外光图像；其中，可见光图像的分辨率低于红外光图像的分辨率；

处理模块920，用于对可见光图像和红外图像进行融合处理，得到融合图像。

本实施例中，图像处理装置适用于光线较暗的场景，例如夜间环境、阴雨天，以及光线昏暗的室内环境等等。摄像模块910包括：可见光图像传感器和红外光图像传感器。环境光进入摄像模块910的镜头之后被分为可见光和红外光，可见光被可见光图像传感器接收，生成可见光图像，红外光被红外光图像传感器接收，生成红外光图像。在图像处理装置出厂之前或者之后，可以设置摄像模块910中可见光图像的分辨率低于红外光图像的分辨率。通过降低可见光图像的分辨率，来增加图像处理装置在低照度下的感光能力，然后再通过处理模块920对可见光图像和红外光图像进行融合处理，使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

需要说明的是，处理模块920中可以预先加载有图像处理程序，当程序被调用时，执行对可见光图像和红外光图像的融合处理，得到融合图像。

具体地，以夜间监控场景为例，摄像模块910拍摄夜间环境下的可见光图像和红外光图像，其中，可见光图像的分辨率低于红外光图像的分辨率。摄像模块910将采集到的可见光图像和红外光图像发送给处理模块920，以使得处理模块820对可见光图像和红外光图像进行融合处理。例如，处理模块920对可见光图像进行上采样，得到与红外光图像相同分辨率的可见光图像，然后再对与红外光图像相同分辨率的可见光图像进行低通滤波处理，得到去噪后的可见光图像，并提取红外光图像的纹理信息；最后将红外光图像的纹理信息融合到去噪后的可见光图像上，得到融合图像。需要说明的是，本实施例不限定处理模块920所加载的图像处理算法。

示例性的，摄像模块910，具体用于：

采用binning模式获取当前场景的可见光图像。

示例性的，binning模式包括：2x2binning、3x3binning、4x4binning。

示例性的，处理模块920，具体用于：

本实施例，通过摄像头获取当前场景的可见光图像和红外光图像；且可见光图像的分辨率低于红外光图像的分辨率；对红外图像进行融合处理，得到融合图像。从而可以提高成像设备在低照度下的感光能力，提升图像质量。其具体实现过程和实现原理请参见图8～图10所示实施例中的相关描述，此处不再赘述。

图13为本申请实施例提供的监控设备的结构示意图，如图13所示，处理器1010、存储器1020、镜头1030、电源1040、数据传输接口1050等部件。本领域技术人员可以理解，图13中示出的监控设备的结构并不构成对监控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本实施例中的监控设备可以执行图2、图4、图5、图6、图8～图10中任一实施例中的图像处理方法，其具体实现过程和实现原理请参见图2～图10所示实施例中的相关描述，此处不再赘述。

本实施例中的监控设备可以包括图11、图12所示的图像的处理装置中的各个模块，并通过图11、图12所示的图像的处理装置中的各个模块执行图2、图4、图5、图6、图8～图10中任一实施例中的图像处理方法，其具体实现过程和实现原理请参见图2～图10所示实施例中的相关描述，此处不再赘述。

存储器1020可用于存储软件程序以及模块，处理器1010通过运行存储在存储器1020的软件程序以及模块，从而执行成像设备的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据摄像装置的使用所创建的数据(比如音频数据等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

监控设备中的镜头1030可以获取光学图像，包括红外光图像和/或可见光图像，其中，监控设备中的镜头1030可以是一个，也可以是至少两个(图中未示出)，具体可根据实际设计需求调整。

处理器1010是摄像装置的控制中心，利用各种数据传输接口1050和线路连接整个监控设备的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行监控设备的各种功能和处理数据。可选的，处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

监控设备还包括给各个部件供电的电源1040(比如电池)，可选地，电源1040可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，摄像装置还可以包括蓝牙模块等，在此不再赘述。

本实施例，获取当前场景的可见光图像和红外图像，对可见光还原图像和红外图像进行融合处理，得到融合图像。通过增加可见光图像的曝光时长和/或降低可见光图像的分辨率，来增加呈现设备在低照度下的感光能力，从而使得融合图像具备更佳的色彩效果，提升拍摄的图像质量。

图14为与本申请实施例提供的摄像装置的部分结构的框图，如图14所示，摄像装置包括：射频(Radio Frequency，RF)电路2010、存储器2020、输入单元2030、显示单元2040、传感器2050、音频电路2060、镜头2070、处理器2080、以及电源2090等部件。本领域技术人员可以理解，图14中示出的摄像装置结构并不构成对摄像装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图14对摄像装置的各个构成部件进行具体的介绍：

RF电路2010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器2080处理；另外，将设计上行的数据发送给基站。通常，RF电路2010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路2010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器2020可用于存储软件程序以及模块，处理器2080通过运行存储在存储器2020的软件程序以及模块，从而执行摄像装置的各种功能应用以及数据处理。存储器2020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据摄像装置的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器2020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元2030可用于接收输入的数字或字符信息，以及产生与摄像装置的用户设置以及功能控制有关的键信号输入。具体地，输入单元2030可包括触控面板2031以及其他输入设备2032。触控面板2031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板2031上或在触控面板2031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板2031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器2080，并能接收处理器2080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板2031。除了触控面板2031，输入单元2030还可以包括其他输入设备2032。具体地，其他输入设备2032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元2040可用于显示由用户输入的信息或提供给用户的信息以及摄像装置的各种菜单。显示单元2040可包括显示面板2041，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板2041。进一步的，触控面板2031可覆盖显示面板2041，当触控面板2031检测到在其上或附近的触摸操作后，传送给处理器2080以确定触摸事件的类型，随后处理器2080根据触摸事件的类型在显示面板2041上提供相应的视觉输出。虽然在图14中，触控面板2031与显示面板2041是作为两个独立的部件来实现摄像装置的输入和输入功能，但是在某些实施例中，可以将触控面板2031与显示面板2041集成而实现摄像装置的输入和输出功能。

摄像装置还可包括至少一种传感器2050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板2041的亮度，接近传感器可在摄像装置移动到耳边时，关闭显示面板2041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别摄像装置姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于摄像装置还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路2060、扬声器2061，传声器2062可提供用户与摄像装置之间的音频接口。音频电路2060可将接收到的音频数据转换后的电信号，传输到扬声器2061，由扬声器2061转换为声音信号输出；另一方面，传声器2062将收集的声音信号转换为电信号，由音频电路2060接收后转换为音频数据，再将音频数据输出处理器2080处理后，经RF电路2010以发送给比如另一摄像装置，或者将音频数据输出至存储器2020以便进一步处理。

摄像装置中的镜头2070可以获取光学图像，包括红外光图像和/或可见光图像，其中，摄像装置中的镜头可以是一个，也可以是至少两个(图中未示出)，具体可根据实际设计需求调整。

处理器2080是摄像装置的控制中心，利用各种接口和线路连接整个摄像装置的各个部分，通过运行或执行存储在存储器2020内的软件程序和/或模块，以及调用存储在存储器2020内的数据，执行摄像装置的各种功能和处理数据，从而对摄像装置进行整体监控。可选的，处理器2080可包括一个或多个处理单元；优选的，处理器2080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器2080中。

摄像装置还包括给各个部件供电的电源2090(比如电池)，优选的，电源可以通过电源管理系统与处理器2080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，摄像装置还可以包括摄像头、蓝牙模块等，在此不再赘述。

本实施例中的摄像装置可以执行图2、图4、图5、图6、图8～图10中任一实施例中的图像处理方法，其具体实现过程和实现原理请参见图2～图10所示实施例中的相关描述，此处不再赘述。

本实施例中的摄像装置可以包括图11、图12所示的图像的处理装置中的各个模块，并通过图11、图12所示的图像的处理装置中的各个模块执行图2、图4、图5、图6、图8～图10中任一实施例中的图像处理方法，其具体实现过程和实现原理请参见图2～图10所示实施例中的相关描述，此处不再赘述。

本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如本申请上述实施例中终端设备执行的方法。

本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如本申请上述实施例中网络设备执行的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

Claims

一种图像处理方法，其特征在于，所述方法包括：

通过摄像头获取当前场景的可见光图像和红外光图像；其中，所述可见光图像对应的曝光时长大于所述红外光图像对应的曝光时长；

对所述可见光图像和所述红外图像进行融合处理，得到融合图像。
根据权利要求1所述的方法，其特征在于，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。
根据权利要求1或2所述的方法，其特征在于，所述通过摄像头获取当前场景的可见光图像，包括：

采用binning模式获取当前场景的所述可见光图像。
根据权利要求3所述的方法，其特征在于，所述binning模式包括：2x2binning、3x3binning、4x4 binning。
根据权利要求3或4所述的方法，其特征在于，所述可见光图像的RGB通道的binning模式不同。
根据权利要求5所述的方法，其特征在于，所述可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的G通道图像所采用的binning模式中合并的像素单元的数量。
根据权利要求1-6中任一项所述的方法，其特征在于，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行去模糊处理，得到去模糊后的可见光图像；

对所述去模糊后的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求1-7中任一项所述的方法，其特征在于，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像；

对所述与所述红外光图像的分辨率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求8所述的方法，其特征在于，所述对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像，包括：

根据所述红外光图像的分辨率，对所述可见光图像进行插值处理，得到与所述红外光图像的分辨率相同的可见光图像。
根据权利要求1-9中任一项所述的方法，其特征在于，对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对至少两张所述可见光图像进行插帧处理，得到与所述红外光图像帧率相同的可见光图像；

对所述与所述红外光图像帧率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求1-10中任一项所述的方法，其特征在于，对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行低通滤波处理，得到所述可见光图像的低频信息；

对所述红外光图像进行低通滤波处理，得到所述红外光图像的低频信息，根据所述红外光图像的低频信息和所述红外光图像，得到所述红外光图像的高频信息；所述红外光图像的高频信息包括纹理信息；

将所述可见光图像的低频信息和所述红外光图像的高频信息进行融合，得到所述融合图像。
一种图像处理方法，其特征在于，所述方法包括：

通过摄像头获取当前场景的可见光图像和红外光图像；其中，所述可见光图像的分辨率低于所述红外光图像的分辨率；

对所述可见光图像和所述红外图像进行融合处理，得到融合图像。
根据权利要求12所述的方法，其特征在于，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。
根据权利要求12或13所述的方法，其特征在于，所述通过摄像头获取当前场景的可见光图像，包括：

采用binning模式获取当前场景的所述可见光图像。
根据权利要求14所述的方法，其特征在于，所述binning模式包括：2x2binning、3x3binning、4x4 binning。
根据权利要求14或15所述的方法，其特征在于，所述可见光图像的RGB通道的binning模式不同。
根据权利要求16所述的方法，其特征在于，所述可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的G通道图像所采用的binning模式中合并的像素单元的数量。
根据权利要求12-17中任一项所述的方法，其特征在于，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行去模糊处理，得到去模糊后的可见光图像；

对所述去模糊后的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求12-17中任一项所述的方法，其特征在于，所述对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像；

对所述与所述红外光图像的分辨率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求19所述的方法，其特征在于，所述对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像，包括：

根据所述红外光图像的分辨率，对所述可见光图像进行插值处理，得到与所述红外光图像的分辨率相同的可见光图像。
根据权利要求12-20中任一项所述的方法，其特征在于，对所述可见光图像和所述红外图像进行融合处理，得到融合图像，包括：

对所述可见光图像进行低通滤波处理，得到所述可见光图像的低频信息；

对所述红外光图像进行低通滤波处理，得到所述红外光图像的低频信息，根据所述红外光图像的低频信息和所述红外光图像，得到所述红外光图像的高频信息；所述红外光图像的高频信息包括纹理信息；

将所述可见光图像的低频信息和所述红外光图像的高频信息进行融合，得到所述融合图像。
一种图像处理装置，其特征在于，所述装置包括：

摄像模块，用于获取当前场景的可见光图像和红外光图像；其中，所述可见光图像对应的曝光时长大于所述红外光图像对应的曝光时长；

处理模块，用于对所述可见光图像和所述红外图像进行融合处理，得到融合图像。
根据权利要求22所述的装置，其特征在于，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。
根据权利要求22或23所述的装置，其特征在于，所述摄像模块，具体用于：

采用binning模式获取当前场景的所述可见光图像。
根据权利要求24所述的装置，其特征在于，所述binning模式包括：2x2binning、3x3binning、4x4 binning。
根据权利要求24或25所述的装置，其特征在于，所述可见光图像的RGB通道的binning模式不同。
根据权利要求26所述的装置，其特征在于，所述可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量，和/或

所述可见光图像的R通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像的G通道图像所采用的binning模式中合并的像素单元的数量。
根据权利要求22-27中任一项所述的装置，其特征在于，所述处理模块，具体用于：

对所述可见光图像进行去模糊处理，得到去模糊后的可见光图像；

对所述去模糊后的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求22-28中任一项所述的装置，其特征在于，所述处理模块，具体用于：

对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像；

对所述与所述红外光图像的分辨率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求29所述的装置，其特征在于，所述处理模块，具体用于：

根据所述红外光图像的分辨率，对所述可见光图像进行插值处理，得到与所述红外光图像的分辨率相同的可见光图像。
根据权利要求22-30中任一项所述的装置，其特征在于，所述处理模块，具体用于：

对至少两张所述可见光图像进行插帧处理，得到与所述红外光图像帧率相同的可见光图像；

对所述与所述红外光图像帧率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求22-31中任一项所述的装置，其特征在于，所述处理模块，具体用于：

对所述可见光图像进行低通滤波处理，得到所述可见光图像的低频信息；

对所述红外光图像进行低通滤波处理，得到所述红外光图像的低频信息，根据所述红外光图像的低频信息和所述红外光图像，得到所述红外光图像的高频信息；所述红外光图像的高频信息包括纹理信息；

将所述可见光图像的低频信息和所述红外光图像的高频信息进行融合，得到所述融合图像。
一种图像处理装置，其特征在于，所述装置包括：

摄像模块，用于获取当前场景的可见光图像和红外光图像；其中，所述可见光图像的分辨率低于所述红外光图像的分辨率；

处理模块，用于对所述可见光图像和所述红外图像进行融合处理，得到融合图像。
根据权利要求33所述的装置，其特征在于，所述可见光图像对应的图像传感器的靶面尺寸大于所述红外光图像对应的图像传感器的靶面尺寸。
根据权利要求33或34所述的装置，其特征在于，所述摄像模块，具体用于：

采用binning模式获取当前场景的所述可见光图像。
根据权利要求35所述的装置，其特征在于，所述binning模式包括：2x2binning、3x3binning、4x4 binning。
根据权利要求35或36所述的装置，其特征在于，所述可见光图像的RGB通道的binning模式不同。
根据权利要求37所述的装置，其特征在于，所述可见光图像的B通道图像所采用的binning模式中合并的像素单元的数量大于所述可见光图像R通道图像所采用的binning模式中合并的像素单元的数量，和/或

所述可见光图像的R通道所采用的binning模式中合并的像素单元的数量大于所述可见光图像G通道图像所采用的binning模式中合并的像素单元的数量。
根据权利要求33-38中任一项所述的装置，其特征在于，所述处理模块，具体用于：

对所述可见光图像进行去模糊处理，得到去模糊后的可见光图像；

对所述去模糊后的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求33-39中任一项所述的装置，其特征在于，所述处理模块，具体用于：

对所述可见光图像进行上采样处理，得到与所述红外光图像的分辨率相同的可见光图像；

对所述与所述红外光图像的分辨率相同的可见光图像和所述红外图像进行融合处理，得到所述融合图像。
根据权利要求40所述的装置，其特征在于，所述处理模块，具体用于：

根据所述红外光图像的分辨率，对所述可见光图像进行插值处理，得到与所述红外光图像的分辨率相同的可见光图像。
根据权利要求33-41中任一项所述的装置，其特征在于，所述处理模块，具体用于：

对所述可见光图像进行低通滤波处理，得到所述可见光图像的低频信息；

对所述红外光图像进行低通滤波处理，得到所述红外光图像的低频信息，根据所述红外光图像的低频信息和所述红外光图像，得到所述红外光图像的高频信息；所述红外光图像的高频信息包括纹理信息；

将所述可见光图像的低频信息和所述红外光图像的高频信息进行融合，得到所述融合图像。
一种成相设备，其特征在于，包括摄像头、处理器、存储器；所述镜头用于采集可见光图像和红外图像，所述存储器用于存储程序指令，所述处理器用于调用存储器中的程序指令执行如权利要求1-11中任一项所述的图像处理方法。
一种成相设备，其特征在于，包括摄像头、处理器、存储器；所述镜头用于采集可见光图像和红外图像，所述存储器用于存储程序指令，所述处理器用于调用存储器中的程序指令执行如权利要求12-21中任一项所述的图像处理方法。
一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如权利要求1-11中任一项所述的图像处理方法。
一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如权利要求12-21中任一项所述的图像处理方法。