WO2016206087A1 - 一种低照度图像处理方法和装置 - Google Patents

一种低照度图像处理方法和装置 Download PDF

Info

Publication number
WO2016206087A1
WO2016206087A1 PCT/CN2015/082486 CN2015082486W WO2016206087A1 WO 2016206087 A1 WO2016206087 A1 WO 2016206087A1 CN 2015082486 W CN2015082486 W CN 2015082486W WO 2016206087 A1 WO2016206087 A1 WO 2016206087A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
texture
module
coefficient
filter coefficient
Prior art date
Application number
PCT/CN2015/082486
Other languages
English (en)
French (fr)
Inventor
李霖
王荣刚
唐骋洲
王振宇
高文
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Priority to PCT/CN2015/082486 priority Critical patent/WO2016206087A1/zh
Priority to US15/736,403 priority patent/US10424054B2/en
Publication of WO2016206087A1 publication Critical patent/WO2016206087A1/zh

Links

Images

Classifications

    • G06T5/73—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present application relates to the field of digital image processing, and in particular, to a low illumination image processing method and apparatus.
  • low-light such as night, backlight, indoor, etc.
  • the image captured in the above case is called a low-illuminance image
  • the low-illuminance image has various noises, which are more prominent after image enhancement, thereby reducing the recognizability of the object of interest in the image, and strongly reducing the subjective feeling of the person.
  • the present application provides a low illumination image processing method and apparatus, which solves problems such as noise amplification and detail loss after low illumination image processing.
  • the present application provides a low illumination image processing method, including:
  • the enhanced image is subjected to inverse color processing to obtain an output image.
  • the present application provides a low illumination image processing apparatus, including:
  • An image segmentation module configured to divide the low illumination image into different texture regions
  • a first calculating module configured to calculate a standard deviation and a gradient sum of pixel gray levels in each texture region, and use the ratio of the standard deviation and the gradient sum as a texture and noise level parameter of the image;
  • a first color inversion module configured to perform inverse color processing on the low illumination image to obtain an inverse color image
  • a smoothing filter module configured to determine a first filter coefficient and a second filter coefficient according to an average value of standard deviations of pixel gray levels in each texture region, and smooth the inverse color image by using the first filter coefficient and the second filter coefficient respectively Processing, respectively obtaining a first smooth image and a second smooth image;
  • a weighting module configured to perform weighted averaging on the first smooth image and the second smooth image according to the texture and noise level parameter to obtain a weighted image
  • a second calculation module configured to calculate a dark channel map of the weighted image, and obtain an ambient light intensity according to the dark channel map; and obtain a contrast enhancement coefficient according to the dark channel map and the ambient light intensity;
  • a third calculating module configured to calculate a gradient image of the inverse color image, and perform texture structure extraction on the gradient image to obtain a texture image
  • a sharpening module configured to add the weighted image to the texture image to obtain a sharpened image
  • a contrast enhancement module configured to perform contrast enhancement on the sharpened image according to the ambient light intensity and a contrast enhancement coefficient to obtain an enhanced image
  • the second color-changing module is configured to perform inverse color processing on the enhanced image to obtain an output image.
  • the input low illumination image is first divided into different texture regions to obtain texture and noise level parameters of the image.
  • the first filter coefficient is determined according to an average value of standard deviations of pixel gradations in each texture region
  • the second filter coefficient respectively, using the first filter coefficient and the second filter coefficient to smooth the inverse image of the low illumination image to obtain the first smooth image and the second smooth image; according to the texture and noise level parameters, the first The smoothed image and the second smoothed image are weighted and averaged to obtain a weighted image; the ambient light intensity is obtained according to the dark channel map of the weighted image, thereby obtaining a contrast enhancement coefficient.
  • the texture image of the gradient image of the inverted image is extracted to obtain a texture image.
  • the weighted image is added to the texture image to obtain a sharpened image; and the sharpened image is contrast-enhanced according to the contrast enhancement coefficient to obtain an enhanced image.
  • the enhanced image is inversely processed to obtain an output image. Therefore, the low illumination image processing method and apparatus provided by the present application can effectively enhance the contrast of the low illumination image, filter out various noises, and preserve the color and details of the image to obtain a clear and realistic restored image.
  • FIG. 1 is a schematic structural diagram of a low illumination image processing apparatus according to an embodiment of the present application.
  • FIG. 2 is a schematic flow chart of a low illumination image processing method according to an embodiment of the present application.
  • FIG. 3 is a schematic diagram of comparison of the same input image after processing the low illumination image processing method provided by the prior art and the present embodiment, respectively.
  • the low illumination image processing method and device provided by the embodiments of the present application can be applied to a video monitoring system, an image processing software, etc., and can effectively perform defogging processing and low illumination enhancement processing, and can filter out color noise in image noise reduction. And brightness noise, and also to the greatest extent possible to preserve the color and detail of the image.
  • the embodiment provides a low illumination image processing method and apparatus.
  • the low illumination image processing apparatus includes an input module 101, an image segmentation module 102, a first calculation module 103, a first inverse color module 104, a smoothing filter module 105, a weighting module 106, a second calculation module 107, a third calculation module 108, and a sharp
  • the module 109, the contrast enhancement module 110 and the second inverse module 111 includes an input module 101, an image segmentation module 102, a first calculation module 103, a first inverse color module 104, a smoothing filter module 105, a weighting module 106, a second calculation module 107, a third calculation module 108, and a sharp
  • the module 109, the contrast enhancement module 110 and the second inverse module 111 includes an input module 101, an image segmentation module 102, a first calculation module 103, a first inverse color module 104, a smoothing filter module 105, a weighting module 106, a second calculation module
  • the low illumination image processing method includes the following steps:
  • Step 1.1 The input module 101 inputs a low illumination image I.
  • Step 1.2 The image segmentation module 102 divides the low illumination image I into different texture regions.
  • the image segmentation module 102 divides the low illumination image I into different texture regions by using superpixel segmentation.
  • Step 1.4 The first inverse color module 104 performs inverse color processing on each color channel of the low illumination image I to obtain an inverted color image R.
  • the illuminance image I is subjected to inverse color processing.
  • the low-illuminance image I is first inverted, and then the subsequent processing is performed, and the low-luminance pixels in the image can be converted into high-brightness pixels, thereby facilitating contrast enhancement processing in the low-illumination region.
  • Step 1.5 The third calculation module 108 convolves with the three color channels of R by using the differential operator to obtain a gradient image R d of R.
  • Step 1.6 a third calculating module 108 selects the appropriate size of the filter coefficient, R d texture structure extraction, to obtain the primary texture image R ds R d is without noise.
  • the filter coefficient can select an empirical value.
  • Step 1.7 The smoothing filter module 105 performs smoothing on the inverse color image by using the first filter coefficient and the second filter coefficient, respectively.
  • the inverse color image is smoothed by using a three-dimensional block matching (BM3D) filter.
  • BM3D three-dimensional block matching
  • the first filter coefficient is greater than an average value of the standard deviation ⁇ of the pixel point gradations in each texture region
  • the second filter coefficient is smaller than an average value of the standard deviation ⁇ of the pixel point gradations in each texture region.
  • Step 1.8 In this embodiment, the smoothing filter module 105 uses twice the average value of ⁇ as the first filter coefficient to obtain a smooth first smooth image.
  • Step 1.9 The smoothing filter module 105 uses 1/2 of the average value of ⁇ as the second filter coefficient to obtain a second smooth image with a more prominent texture.
  • the first filter coefficient and the second filter coefficient may be selected according to actual needs, and the smoothing filter module 105 may also select other filters to smooth the inverse color image.
  • Step 1.10 The weighting module 106 performs weighted averaging on the first smoothed image and the second smoothed image obtained by filtering and denoising according to the texture and noise level parameter ⁇ to obtain a weighted image.
  • the weighted image R s is obtained by the following formula:
  • Step 1.7-Step 1.10 is equivalent to adding a noise suppression filter to the front end of the contrast enhancement operation to solve the noise amplification problem existing in the original low illumination image contrast enhancement technology.
  • Step 1.11 The sharpening module 109 adds the weighted image to the texture image to obtain a sharpened image.
  • the sharpened image R sharp with the detail enhancement is obtained by the following formula:
  • R sharp R s + ⁇ *R ds
  • a better sharpening effect can be achieved by weighted summation while avoiding excessive edge enhancement.
  • steps 1.6, 1.7, and 1.11 the noise in the gradient image is removed, the key structural information is retained, and the image is sharpened by the structural information to enhance the image detail.
  • Step 1.12 The second calculation module 107 calculates a dark channel map R dark of the weighted image, and the dark channel map refers to a gray scale formed by the color channel having the smallest gray value among the three color channels at each pixel point in the image. image.
  • the dark channel map is calculated using the following formula:
  • ⁇ (x) is the neighborhood centered on the pixel point x
  • c represents the different color channels.
  • ⁇ (x) is a neighborhood having a size of 3*3 centered on the pixel point x.
  • Step 1.13 The second calculation module 107 obtains the ambient light intensity A according to the dark channel map.
  • each pixel in R dark is sorted according to the gray value from large to small, and the pixel points ranked in the first 0.2% are found, and the average value of the gray levels of the three color channels of the pixels in the weighted image is calculated.
  • the pixel having the largest average value is used, and the pixel value of the pixel (the gray value of the three color channels) is used as an estimated value for the ambient light intensity A.
  • Step 1.14 The second calculation module 107 obtains the contrast enhancement coefficient t according to the dark channel map and the ambient light intensity.
  • the following formula is used:
  • t(x) is the contrast enhancement coefficient
  • ⁇ (x) is the neighborhood centered on pixel x
  • c is the different color channel
  • ⁇ is the weight correction factor
  • R c ( y) is the luminance value of the yth pixel in the c channel
  • A is the ambient light intensity.
  • ⁇ (x) is a neighborhood having a size of 3*3 centered on the pixel point x.
  • the coefficient ⁇ is adaptively adjusted according to the gray value of the three channels of RGB of the pixel (ie, the brightness of the pixel), and the adjustment method adopts the following formula:
  • ⁇ (x) is the weight correction coefficient of the xth pixel point
  • I c (x) is the gray value of the xth pixel point in the c channel.
  • ⁇ may also take a fixed value, for example, 0.85.
  • the correction formula is as follows:
  • Step 1.15 The contrast enhancement module 110 performs contrast enhancement on the sharpened image according to the ambient light intensity and the contrast enhancement coefficient to obtain an enhanced image, that is, de-fogging the sharpened image to restore a clear enhanced image R clear , in this embodiment. , using the following recovery formula:
  • Step 1.16 The second color inversion module 111 is configured to perform inverse color processing on each color channel of the enhanced image to obtain an output image J.
  • FIG. 3(a) is an input low-illumination image
  • FIG. 3(b) is an output image directly obtained by contrast enhancement using a conventional method
  • FIG. 3(c) is a low-illuminance image provided by the embodiment.
  • the output image obtained by the processing method It can be analyzed from FIG. 3 that the output image obtained by the low illumination image processing method provided by the embodiment has less noise and can preserve the color and detail of the image.

Abstract

一种低照度图像处理方法和装置，针对原有的低照度图像对比度增强技术中存在的噪声放大问题，提出在进行对比度增强操作前，加入噪声抑制滤波器，采用第一滤波系数和第二滤波系数对低照度图像的反色图像进行平滑处理，在增强图像对比度的同时抑制随机噪声。根据图像的局部块内特征，计算图像的纹理和噪声水平参数，根据纹理和噪声水平参数，对平滑处理后的第一平滑图像和第二平滑图像进行加权平均。针对反色图像的梯度图像进行纹理结构提取后得到纹理图像，将其与加权图像相加，对加权图像进行锐化，起到增强图像细节的作用。因此，可以有效增强低照度图像的对比度，滤除各种噪声，同时保留图像色彩和细节，得到清晰逼真的复原图像。

Description

一种低照度图像处理方法和装置 技术领域
本申请涉及数字图像处理领域，具体涉及一种低照度图像处理方法和装置。
背景技术
人们越来越多地使用监控摄像头，用来保证城市、交通、公共场所等方面的安全，同时也使用车载摄像头来提高驾驶的安全性。但是低光照(如夜晚、背光、室内等)条件会大大降低此类摄像头的性能，使其拍摄的图像和视频可视性降低，往往难以辨别关键人、物等信息。上述情况下拍摄的图像称为低照度图像，低照度图像有各种噪声，进行图像增强后更加突显出来，从而降低图像中关注对象的可辨识度，强烈降低人的主观感受。
对于传统的图像增强技术(比如去雾霾和低照度增强技术)，其对图像进行处理之后，会大大增强图像中原有的噪声，往往在图像中出现大片颜色噪声(Color noise)和一些亮度噪声(Luma noise)。传统的图像增强技术不能有效地滤除这些噪声。
对于传统的降噪方法，其不能解决下面两个问题：
1)有效滤除大片颜色噪声的同时保证物体的色彩饱和度。
2)在滤除亮度噪声的同时保留物体的细节。
发明内容
本申请提供一种低照度图像处理方法和装置，解决了低照度图像处理后噪声放大、细节损失等问题。
根据本申请的第一方面，本申请提供了一种低照度图像处理方法，包括：
输入低照度图像；
将所述低照度图像分割成不同的纹理区域，计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；
对所述低照度图像进行反色处理，得到反色图像；
根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；
根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；
计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；
根据所述暗通道图和环境光照强度得到对比度增强系数；
计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；
将所述加权图像与纹理图像相加，得到锐化图像；
根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；
对所述增强图像进行反色处理，得到输出图像。
根据本申请的第二方面，本申请提供了一种低照度图像处理装置，包括：
输入模块，用于输入低照度图像；
图像分割模块，用于将所述低照度图像分割成不同的纹理区域；
第一计算模块，用于计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；
第一反色模块，用于对所述低照度图像进行反色处理，得到反色图像；
平滑滤波模块，用于根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；
加权模块，用于根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；
第二计算模块，用于计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；根据所述暗通道图和环境光照强度得到对比度增强系数；
第三计算模块，用于计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；
锐化模块，用于将所述加权图像与纹理图像相加，得到锐化图像；
对比度增强模块，用于根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；
第二反色模块，用于对所述增强图像进行反色处理，得到输出图像。
本申请提供的低照度图像处理方法和装置中，先将输入的低照度图像分割成不同的纹理区域，以得到图像的纹理和噪声水平参数。一方面，根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数 和第二滤波系数，分别采用第一滤波系数和第二滤波系数对低照度图像的反色图像进行平滑处理，得到第一平滑图像和第二平滑图像；根据纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；根据加权图像的暗通道图得到环境光照强度，进而得到对比度增强系数。另一方面，对反色图像的梯度图像进行纹理结构提取，得到纹理图像。之后，将加权图像与纹理图像相加，得到锐化图像；再根据对比度增强系数对锐化图像进行对比度增强，得到增强图像。最后对增强图像进行反色处理，得到输出图像。因此，本申请提供的低照度图像处理方法和装置，可以有效地增强低照度图像的对比度，滤除各种噪声，同时保留图像色彩和细节，得到清晰逼真的复原图像。
附图说明
图1为本申请一种实施例中低照度图像处理装置的结构示意图；
图2为本申请一种实施例中低照度图像处理方法的流程示意图；
图3为分别采用现有技术和本实施例提供的低照度图像处理方法对同一输入图像进行处理后的对比示意图。
具体实施方式
本申请实施例提供的低照度图像处理方法和装置，可应用于视频监控系统、图像处理软件等，能有效进行去雾霾处理和低照度增强处理，在图像降噪上既能滤除颜色噪声和亮度噪声，也最大可能地保留图像的色彩和细节。
下面通过具体实施方式结合附图对本申请作进一步详细说明。
请参考图1，本实施例提供了一种低照度图像处理方法和装置。低照度图像处理装置包括输入模块101、图像分割模块102、第一计算模块103、第一反色模块104、平滑滤波模块105、加权模块106、第二计算模块107、第三计算模块108、锐化模块109、对比度增强模块110和第二反色模块111。
下面结合低照度图像处理方法对该装置进行说明，请参考图2，低照度图像处理方法包括下面步骤：
步骤1.1：输入模块101输入低照度图像I。
步骤1.2：图像分割模块102将低照度图像I分割成不同的纹理区域。优选的，图像分割模块102采用超像素(superpixel)分割将低照度图像I分割成不同的纹理区域。
步骤1.3：第一计算模块103计算各个纹理区域内像素点灰度的标准差σ及梯度和s，并将标准差σ与梯度和s的比值作为图像的纹理和噪声水平参数α，即α＝σ/s。
步骤1.4：第一反色模块104对低照度图像I的每一个颜色通道进行反色处理，得到反色图像R。第一反色模块104按照公式R＝255-I对低 照度图像I进行反色处理。先对低照度图像I进行反色，然后在进行后续处理，可以将图像中低亮度像素转换成高亮度像素，从而有利于对低照度区域的对比度增强处理。
步骤1.5：第三计算模块108利用微分算子与R的三个颜色通道分别进行卷积，得到R的梯度图像Rd。
步骤1.6：第三计算模块108选择大小合适的滤波系数，对Rd进行纹理结构提取，得到Rd的不含噪声的主要纹理图像Rds。其中，滤波系数可以选择经验值。
步骤1.7：平滑滤波模块105分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，本实施例中，利用三维块匹配(BM3D)滤波器对反色图像进行平滑处理。使用BM3D图像滤波器，能在去除图像噪声的同时，尽可能保留更多的图像纹理细节。优选的，第一滤波系数大于各个纹理区域内像素点灰度的标准差σ的平均值，第二滤波系数小于各个纹理区域内像素点灰度的标准差σ的平均值。
步骤1.8：本实施例中，平滑滤波模块105采用σ的平均值的2倍作为第一滤波系数，得到纹理较平滑的第一平滑图像
Figure PCTCN2015082486-appb-000001
步骤1.9：平滑滤波模块105采用σ的平均值的1/2作为第二滤波系数，得到纹理较突出的第二平滑图像
Figure PCTCN2015082486-appb-000002
在其他实施例中，第一滤波系数和第二滤波系数可以根据实际需求选择，并且，平滑滤波模块105也可以选择其他滤波器对反色图像进行平滑处理。
步骤1.10：加权模块106根据纹理和噪声水平参数α，对滤波去噪得到的第一平滑图像和第二平滑图像进行加权平均，得到加权图像。本实施例中，采用下面公式得到加权图像Rs：
Figure PCTCN2015082486-appb-000003
步骤1.7-步骤1.10相当于在进行对比度增强操作前端加入噪声抑制滤波器，解决原有的低照度图像对比度增强技术中存在的噪声放大问题。
步骤1.11：锐化模块109将加权图像与纹理图像相加，得到锐化图像。本实施例中，采用下面公式得到细节增强的锐化图像Rsharp：
Rsharp＝Rs+α*Rds
通过加权求和可以取得较好的锐化效果，同时避免边缘过分增强。
步骤1.6、1.7、1.11中，去除梯度图像中的噪声，保留其中的关键结构信息，并用该结构信息对图像进行锐化，起到增强图像细节的作用。
步骤1.12：第二计算模块107计算得到加权图像的暗通道图Rdark，暗通道图是指：图像中每个像素点上三个颜色通道中灰度值最小的那一个颜色通道构成的灰度图像。
本实施例中，采用下面公式计算暗通道图：
Figure PCTCN2015082486-appb-000004
其中，x和y表示像素点的位置，Ω(x)为以像素点x为中心的邻域，c代表不同颜色通道。具体的，Ω(x)为以像素点x为中心、大小为3*3的邻域。
步骤1.13：第二计算模块107根据暗通道图得到环境光照强度A。本实施例中，将Rdark内各个像素按照灰度值从大到小排序，找出排在前0.2％的像素点，计算加权图像中这些像素点三个颜色通道灰度的平均值，找出平均值最大的像素点，将该像素点的像素值(三个颜色通道的灰度值)作为对环境光照强度A的估计值。
步骤1.14：第二计算模块107根据暗通道图和环境光照强度得到对比度增强系数t。本实施例中，采用下面计算公式：
Figure PCTCN2015082486-appb-000005
其中，x和y表示像素点的位置，t(x)为对比度增强系数，Ω(x)为以像素点x为中心的邻域，c代表不同颜色通道，ω为权重修正系数，Rc(y)为c通道中第y个像素点的亮度值，A为环境光照强度。具体的，Ω(x)为以像素点x为中心、大小为3*3的邻域。
为了避免出现对比度过度增强和增强不足的问题，本实施例中，根据像素点的RGB三个通道的灰度值(即像素点的亮度)来自适应地调节系数ω，其调节方式采用下面公式：
Figure PCTCN2015082486-appb-000006
其中，ω(x)为第x个像素点的权重修正系数，Ic(x)为c通道中第x个像素点的灰度值。
在其他实施例中，ω也可以取一固定值，例如，取0.85。
通常，直接利用上面计算出的t(x)进行低照度图像增强，会在照度极低的区域失效，造成增强不足的问题，所以在按照上面公式求出对比 度增强系数t(x)之后，还需要对其进行简单的修正，具体为：对小于预设值的增强系数进行进一步缩小。本实施例中，修正公式如下：
Figure PCTCN2015082486-appb-000007
在其他实施例中，也可以采用其他修正方式。
步骤1.15：对比度增强模块110根据环境光照强度和对比度增强系数对锐化图像进行对比度增强，得到增强图像，即对锐化图像进行去雾处理，恢复成清晰的增强图像Rclear，本实施例中，采用下面恢复公式：
Figure PCTCN2015082486-appb-000008
步骤1.16：第二反色模块111用于对增强图像的每一个颜色通道进行反色处理，得到输出图像J。第二反色模块111按照公式J＝255-Rclear对增强图像Rclear进行反色处理。
请参考图3，图3(a)为输入的低照度图像，图3(b)为采用传统方法直接进行对比度增强得到的输出图像，图3(c)为采用本实施例提供的低照度图像处理方法得到的输出图像。从图3中可以分析出，采用实施例提供的低照度图像处理方法得到的输出图像具有更小的噪声，且能够保留图像的色彩和细节。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (13)

  1. 一种低照度图像处理方法，其特征在于，包括：
    输入低照度图像；
    将所述低照度图像分割成不同的纹理区域，计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；
    对所述低照度图像进行反色处理，得到反色图像；
    根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；
    根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；
    计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；
    根据所述暗通道图和环境光照强度得到对比度增强系数；
    计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；
    将所述加权图像与纹理图像相加，得到锐化图像；
    根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；
    对所述增强图像进行反色处理，得到输出图像。
  2. 如权利要求1所述的方法，其特征在于，采用超像素分割将所述低照度图像分割成不同的纹理区域。
  3. 如权利要求1所述的方法，其特征在于，分别采用第一滤波系数和第二滤波系数，利用三维块匹配滤波器对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；并且，所述第一滤波系数大于各个纹理区域内像素点灰度的标准差的平均值，所述第二滤波系数小于各个纹理区域内像素点灰度的标准差的平均值。
  4. 如权利要求1-3任一项所述的方法，其特征在于，还包括对所述对比度增强系数进行修正的步骤，具体为：对小于预设值的增强系数进行进一步缩小。
  5. 一种低照度图像处理装置，其特征在于，包括：
    输入模块，用于输入低照度图像；
    图像分割模块，用于将所述低照度图像分割成不同的纹理区域；
    第一计算模块，用于计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；
    第一反色模块，用于对所述低照度图像进行反色处理，得到反色图 像；
    平滑滤波模块，用于根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；
    加权模块，用于根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；
    第二计算模块，用于计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；根据所述暗通道图和环境光照强度得到对比度增强系数；
    第三计算模块，用于计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；
    锐化模块，用于将所述加权图像与纹理图像相加，得到锐化图像；
    对比度增强模块，用于根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；
    第二反色模块，用于对所述增强图像进行反色处理，得到输出图像。
  6. 如权利要求5所述的装置，其特征在于，图像分割模块用于采用超像素分割将所述低照度图像分割成不同的纹理区域。
  7. 如权利要求5所述的装置，其特征在于，平滑滤波模块用于分别采用第一滤波系数和第二滤波系数，利用三维块匹配滤波器对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；并且，所述第一滤波系数大于各个纹理区域内像素点灰度的标准差的平均值，所述第二滤波系数小于各个纹理区域内像素点灰度的标准差的平均值。
  8. 如权利要求7所述的装置，其特征在于，加权模块用于根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像时，采用下面公式：
    Figure PCTCN2015082486-appb-100001
    其中，RS为加权图像，
    Figure PCTCN2015082486-appb-100002
    为第一平滑图像，
    Figure PCTCN2015082486-appb-100003
    为第二平滑图像，α为纹理和噪声水平参数。
  9. 如权利要求8所述的装置，其特征在于，锐化模块用于将所述加权图像与纹理图像相加，得到锐化图像时，采用下面公式：
    Rsharp＝Rs+α*Rds
    其中，Rsharp为锐化图像，Rds为纹理图像。
  10. 如权利要求5所述的装置，其特征在于，第二计算模块用于根据暗通道图和环境光照强度得到对比度增强系数时，采用下面公式：
    Figure PCTCN2015082486-appb-100004
    其中，x和y表示像素点的位置，t(x)为对比度增强系数，Ω(x)为以像素点x为中心的邻域，c代表不同颜色通道，ω为权重修正系数，Rc(y)为c通道中第y个像素点的亮度值，A为环境光照强度。
  11. 如权利要求10所述的装置，其特征在于，第二计算模块还用于采用下面公式根据像素点在RGB三个通道的亮度值自适应调节所述权重修正系数：
    Figure PCTCN2015082486-appb-100005
    其中，ω(x)为第x个像素点的权重修正系数，Ic(x)为c通道中第x个像素点的亮度值。
  12. 如权利要求5-11任一项所述的装置，其特征在于，第二计算模块还用于对所述对比度增强系数进行修正，具体为：第二计算模块用于对小于预设值的增强系数进行进一步缩小。
  13. 如权利要求12所述的装置，其特征在于，第二计算模块用于对所述对比度增强系数进行修正时，采用下面公式：
    Figure PCTCN2015082486-appb-100006
    其中，t(x)为对比度增强系数。
PCT/CN2015/082486 2015-06-26 2015-06-26 一种低照度图像处理方法和装置 WO2016206087A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2015/082486 WO2016206087A1 (zh) 2015-06-26 2015-06-26 一种低照度图像处理方法和装置
US15/736,403 US10424054B2 (en) 2015-06-26 2015-06-26 Low-illumination image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/082486 WO2016206087A1 (zh) 2015-06-26 2015-06-26 一种低照度图像处理方法和装置

Publications (1)

Publication Number Publication Date
WO2016206087A1 true WO2016206087A1 (zh) 2016-12-29

Family

ID=57584577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/082486 WO2016206087A1 (zh) 2015-06-26 2015-06-26 一种低照度图像处理方法和装置

Country Status (2)

Country Link
US (1) US10424054B2 (zh)
WO (1) WO2016206087A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895503A (zh) * 2017-11-07 2018-04-10 钟永松 一种无人值守的停车场监控系统
CN108595284A (zh) * 2018-05-14 2018-09-28 武汉斗鱼网络科技有限公司 一种纹理共享方法、计算机设备和存储介质
CN109903250A (zh) * 2019-02-25 2019-06-18 大连海事大学 基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法
CN110378848A (zh) * 2019-07-08 2019-10-25 中南大学 一种基于衍生图融合策略的图像去雾方法
CN110807742A (zh) * 2019-11-21 2020-02-18 西安工业大学 一种基于一体式网络的微光图像增强方法
US20220122360A1 (en) * 2020-10-21 2022-04-21 Amarjot Singh Identification of suspicious individuals during night in public areas using a video brightening network system

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658447B (zh) * 2018-11-06 2023-03-28 天津大学 基于边缘细节保持的夜间图像去雾方法
CN111915500A (zh) * 2019-05-10 2020-11-10 南京工业大学 一种基于改进Retinex算法的雾天图像增强方法
CN110189332B (zh) * 2019-05-22 2021-03-02 中南民族大学 基于权重图设计的前列腺磁共振图像分割方法及系统
CN110378354B (zh) * 2019-06-17 2021-06-04 浙江大学 一种基于组织滤波算法的提花织物图片颜色提取方法
CN110766621B (zh) * 2019-10-09 2022-03-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111223068B (zh) * 2019-11-12 2023-02-28 西安建筑科技大学 基于Retinex的自适应非均匀低照度图像增强的方法
CN111369478B (zh) * 2020-03-04 2023-03-21 腾讯科技（深圳）有限公司 人脸图像增强方法、装置、计算机设备和存储介质
CN111563864B (zh) * 2020-04-22 2023-04-28 江苏理工学院 基于直方图的正反图像融合的可变对比度增强方法及装置
CN111476744B (zh) * 2020-05-06 2023-05-16 北京理工大学 一种基于分类及大气成像模型的水下图像增强方法
CN111724332B (zh) * 2020-06-09 2023-10-31 四川大学 一种适用于密闭腔体检测的图像增强方法及系统
CN112464806A (zh) * 2020-11-27 2021-03-09 山东交通学院 一种基于人工智能的低照度车辆检测识别方法与系统
CN112508833B (zh) * 2020-12-09 2024-03-29 东南大学 基于深度学习的医学图像增强方法及装置
CN112598586B (zh) * 2020-12-11 2022-11-11 青岛海信移动通信技术股份有限公司 一种雾天图像显示方法及终端
KR102368677B1 (ko) * 2020-12-14 2022-02-28 중앙대학교 산학협력단 어두운 영역 기반 저조도 영상 개선 방법 및 장치
CN112614063B (zh) * 2020-12-18 2022-07-01 武汉科技大学 用于楼宇内低照度环境的图像增强和噪声自适应去除方法
CN112614077B (zh) * 2020-12-30 2022-08-19 北京航空航天大学杭州创新研究院 一种基于生成对抗网络的非监督低照度图像增强方法
CN112446880B (zh) * 2021-02-01 2021-04-30 安翰科技(武汉)股份有限公司 图像处理方法、电子设备及可读存储介质
CN113112418B (zh) * 2021-03-26 2023-10-10 浙江理工大学 一种低照度图像迭代增强的方法
CN113450340B (zh) * 2021-07-13 2024-03-19 北京美医医学技术研究院有限公司 一种皮肤纹理检测系统
TWI800943B (zh) * 2021-10-08 2023-05-01 大陸商星宸科技股份有限公司 圖像處理裝置與圖像處理方法
CN114627030B (zh) * 2022-05-13 2022-09-20 深圳深知未来智能有限公司 一种自适应的图像锐化方法及系统
CN117152182B (zh) * 2023-10-31 2024-02-20 深圳市巨龙创视科技有限公司 一种超低照度网络相机图像处理方法、装置及电子设备
CN117197001B (zh) * 2023-11-06 2024-02-09 青岛理工大学 一种沙尘图像清晰化方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102399A (zh) * 2007-07-26 2008-01-09 上海交通大学 带有去噪功能的实时数字图像处理增强方法
EP2047801A1 (en) * 2006-07-20 2009-04-15 Hitachi Medical Corporation Ultrasonographic device
CN103177424A (zh) * 2012-12-07 2013-06-26 西安电子科技大学 一种低照度图像的增强和去噪方法
CN105046658A (zh) * 2015-06-26 2015-11-11 北京大学深圳研究生院 一种低照度图像处理方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7525528B2 (en) * 2004-11-16 2009-04-28 Sharp Laboratories Of America, Inc. Technique that preserves specular highlights
US8948539B2 (en) * 2011-09-28 2015-02-03 The United States Of America As Represented By The Secretary Of The Army System and method for image improvement and enhancement
US8150202B2 (en) * 2008-06-30 2012-04-03 Honeywell International Inc. Gaussian mixture model based illumination normalization for global enhancement
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US9135683B2 (en) * 2013-09-05 2015-09-15 Arecont Vision, Llc. System and method for temporal video image enhancement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2047801A1 (en) * 2006-07-20 2009-04-15 Hitachi Medical Corporation Ultrasonographic device
CN101102399A (zh) * 2007-07-26 2008-01-09 上海交通大学 带有去噪功能的实时数字图像处理增强方法
CN103177424A (zh) * 2012-12-07 2013-06-26 西安电子科技大学 一种低照度图像的增强和去噪方法
CN105046658A (zh) * 2015-06-26 2015-11-11 北京大学深圳研究生院 一种低照度图像处理方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895503A (zh) * 2017-11-07 2018-04-10 钟永松 一种无人值守的停车场监控系统
CN108595284A (zh) * 2018-05-14 2018-09-28 武汉斗鱼网络科技有限公司 一种纹理共享方法、计算机设备和存储介质
CN108595284B (zh) * 2018-05-14 2021-11-26 武汉斗鱼网络科技有限公司 一种纹理共享方法、计算机设备和存储介质
CN109903250A (zh) * 2019-02-25 2019-06-18 大连海事大学 基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法
CN109903250B (zh) * 2019-02-25 2022-10-04 大连海事大学 基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法
CN110378848A (zh) * 2019-07-08 2019-10-25 中南大学 一种基于衍生图融合策略的图像去雾方法
CN110807742A (zh) * 2019-11-21 2020-02-18 西安工业大学 一种基于一体式网络的微光图像增强方法
CN110807742B (zh) * 2019-11-21 2023-02-24 西安工业大学 一种基于一体式网络的微光图像增强方法
US20220122360A1 (en) * 2020-10-21 2022-04-21 Amarjot Singh Identification of suspicious individuals during night in public areas using a video brightening network system

Also Published As

Publication number Publication date
US10424054B2 (en) 2019-09-24
US20180182074A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
CN105046658B (zh) 一种低照度图像处理方法和装置
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
KR101756173B1 (ko) 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법
EP3087730B1 (en) Method for inverse tone mapping of an image
Yu et al. Fast single image fog removal using edge-preserving smoothing
Pang et al. Improved single image dehazing using guided filter
CN106846276B (zh) 一种图像增强方法及装置
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
US9165210B1 (en) Systems and methods for localized contrast enhancement
WO2014169579A1 (zh) 一种色彩增强方法及装置
CN112419162A (zh) 图像去雾方法、装置、电子设备及可读存储介质
JP5767064B2 (ja) イメージのエッジ向上方法
Zhang et al. Single image dehazing based on fast wavelet transform with weighted image fusion
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN110175967B (zh) 图像去雾处理方法、系统、计算机设备和存储介质
CN109345479B (zh) 一种视频监控数据的实时预处理方法及存储介质
Jia et al. Real-time content adaptive contrast enhancement for see-through fog and rain
CN110378860A (zh) 修复视频的方法、装置、计算机设备和存储介质
Toka et al. A fast method of fog and haze removal
CN112825189B (zh) 一种图像去雾方法及相关设备
CN110136085B (zh) 一种图像的降噪方法及装置
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
Negru et al. Exponential image enhancement in daytime fog conditions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15895987

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15736403

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07.05.2018)

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07/05/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15895987

Country of ref document: EP

Kind code of ref document: A1