WO2009012659A1 - Digital image processing and enhancing system and method with function of removing noise - Google Patents

Digital image processing and enhancing system and method with function of removing noise Download PDF

Info

Publication number
WO2009012659A1
WO2009012659A1 PCT/CN2008/001382 CN2008001382W WO2009012659A1 WO 2009012659 A1 WO2009012659 A1 WO 2009012659A1 CN 2008001382 W CN2008001382 W CN 2008001382W WO 2009012659 A1 WO2009012659 A1 WO 2009012659A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
illumination
input
processing
digital
Prior art date
Application number
PCT/CN2008/001382
Other languages
English (en)
French (fr)
Inventor
Yuming Zhao
Jiapeng Liu
Yanfeng Xiao
Feng Shen
Masaki Suwa
Masatoshi Kimachi
Original Assignee
Omron Corporation
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN200710044216A external-priority patent/CN101102398B/zh
Priority claimed from CNB2007100442172A external-priority patent/CN100562067C/zh
Application filed by Omron Corporation, Shanghai Jiaotong University filed Critical Omron Corporation
Priority to US12/670,625 priority Critical patent/US8411979B2/en
Priority to EP08783573.2A priority patent/EP2187620B1/en
Priority to JP2010517255A priority patent/JP4986250B2/ja
Publication of WO2009012659A1 publication Critical patent/WO2009012659A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Definitions

  • the present invention relates to an image processing system in the field of digital image technology, and more particularly to a digital image processing enhancement system with a denoising function.
  • the present invention is also directed to an image processing method in the field of digital image technology, and more particularly to a digital image processing enhancement method with a denoising function.
  • the dynamic range of brightness is very large, mainly affected by ambient light.
  • the brightness in direct sunlight and shadows often differ by several orders of magnitude.
  • the dynamic range of a digital camera is much smaller, and the most commonly used 8-bit image depth can only represent 256 brightness orders.
  • the human visual system can correct the effects of illumination by adjusting the size of the pupil and the treatment of the retina and cerebral cortex to correctly identify the object.
  • the camera does not have this self-adjusting function, so in the case of poor lighting conditions (too dark or too bright), the object of interest is difficult to recognize on the image, and the quality of the image is much reduced.
  • the general processing method for this problem is often gray level equalization or gamma correction.
  • these two processing methods are a global processing method, and the local information is neglected. Therefore, after the image is enhanced by the above method, the illumination is obtained. Improvements, details of partial images may be lost.
  • the present invention is based on the Retinex model, which decomposes the input image into an illumination image and a reflection image, and strips the influence of the illumination from the input image, thereby improving the illumination effect in the output image while protecting the input image. Partial image detail.
  • the prediction of ambient lighting is based on the 3 confirmations mentioned in the Retinex variational model. Constraints: The illumination image is smoothed in the spatial domain, the pixel value of the illumination image is larger than the pixel value of the input image, and the illumination image is close enough to the input image to estimate the ambient illumination component, and a very smooth image is obtained as the prediction of the illumination image. Then, the reflected image is derived from the relationship between the input image and the illumination image and the reflection image.
  • the illumination image of the input image is processed separately, and the nonlinearity correction processing is performed on the pixel value of the illumination image according to the application requirements (for example: gamma correction, grayscale equalization, pair Number transformation, exponential transformation, piecewise linear mapping, etc.) to improve the visibility of poorly illuminated areas in the original image and improve image quality.
  • Figure 1 below shows a schematic block diagram of the image enhancement system in the "Retinex a variational architecture".
  • the disadvantages of the above system and method are: Although it can improve the illumination effect of the input image, the noise in the input image is enhanced while the image detail content is enhanced, so that the input image containing the original noise is included.
  • the quality of the output image may be worse than the input image. It is not possible to solve the effect of noise on the quality of the output image while enhancing the detail of the image. Summary of the invention
  • the present invention provides a digital image processing enhancement system and method with a denoising function.
  • the invention can automatically estimate the ambient lighting condition according to the input image and automatically adjust the image according to the illumination, and the image obtained under different illumination conditions is automatically adjusted according to the information of the partial image in the dynamic range of the digital camera (usually 0-255). Improves the illumination in the output image and enhances partial image detail to the brightness range with the best visibility.
  • the present invention can be applied to improve the image quality of digital cameras and the image pre-processing stage of industrial automation based on digital images.
  • the invention provides a digital image processing enhancement system with a denoising function, which is realized by the following technical solutions, comprising five modules: an input module, an image decomposition module, a illumination image processing module, a reflection image processing module, a combination and an output. Module.
  • the input module is responsible for acquiring the digital image as a system input, and the obtained digital image is input to the image decomposition module; the image decomposition module decomposes the input image into the illumination image L and the reflection image R, and inputs the illumination image processing module and the reflection image processing module respectively;
  • the image processing module performs nonlinear correction processing on the illumination image L of the input image, and outputs the corrected illumination image L′;
  • the reflection image processing module performs denoising processing on the pixel corresponding to the dark region of the input image in the reflection image R,
  • the denoised reflection component R' is output, and the over dark area of the input image can be determined by the illumination image information; the combined output module recombines the output L' and R' of the first two modules into the output image and displays it to the output device. on.
  • the input module of the present invention refers to: a module responsible for collecting digital images, the digital image is a digital camera and The image that can be acquired by the digital scanner and one frame in the sequence image provided by the digital camera.
  • the image decomposing module of the present invention means: real-time decomposition of the input image, providing two modules respectively for the illumination image corresponding to the illumination component of the input image and the reflection image corresponding to the reflection component of the input image.
  • the above-mentioned real-time decomposition of the input image is an implementation of the Retinex model. According to the Retinex model, any image can be decomposed into the product of the illumination image and the reflection image.
  • the core of the image decomposition is the estimation of the illumination image, that is, the prediction of the ambient illumination.
  • the prediction of ambient illumination is based on the three constraints mentioned in the Retinex variational model: the illumination image is smoothed in the spatial domain, the pixel value of the illumination image is larger than the pixel value of the input image, and the illumination image and the input image are close enough to the ambient illumination image. It is estimated that multi-resolution technology is applied, that is, smoothing filtering (such as Gaussian filtering, mean filtering, etc.) is applied to each resolution layer to obtain low-frequency information of the image, and sharp (such as pull-down sharpening, gradient sharpening, etc.) is applied.
  • smoothing filtering such as Gaussian filtering, mean filtering, etc.
  • sharp such as pull-down sharpening, gradient sharpening, etc.
  • the illumination image processing module of the present invention refers to: a module that separately processes an illumination image of an input image.
  • the grayscale distribution of the illumination image tends to be concentrated in a small part of the dynamic range of the image.
  • the processing of the illumination image uses a nonlinear mapping relationship to improve the low-end and high-end of the dynamic range. The contrast of the pixels, so that the details of this part can be seen. This non-linear mapping relationship can be determined according to specific application requirements.
  • the nonlinear correction process in the present invention may be gamma correction.
  • the reflection image processing module of the present invention refers to: a module that recognizes an over dark area of an input image from a lighting image, and performs denoising filtering on a region corresponding to the reflected image of the input image.
  • the reflected image contains the high-frequency information of the image. Most of the noise of the image is concentrated in the reflected image after image decomposition.
  • the illumination image basically contains no noise. Therefore, the reflected image of the input image needs to be denoised and filtered. deal with.
  • the denoising filtering refers to: identifying an over dark area of the input image by grading analysis of the illumination image, and filtering the areas on the reflected image.
  • the recognizing the over dark area of the input image refers to: selecting an optimal threshold according to an experiment, and performing binarization processing on the pixel gray scale of the illumination image, the gray scale is less than the threshold value of the target 1, and the gray scale is greater than the threshold value. Mark 0, so the area marked 1 is the over dark area that needs to be denoised.
  • the denoising filtering process of the present invention may employ a method of local bilateral filtering.
  • the experimental analysis can determine that most of the noise of the output image corresponds to the over dark area of the input image, so these areas can be identified by gradation analysis of the illumination image, and the denoising filtering of these areas on the reflected image can be increased only With a small amount of processing time, most of the noise is effectively removed to meet the requirements of real-time processing.
  • the merging and output module of the present invention means that the separately processed illumination image and reflected image are re-according to known A module that merges into the same output image and outputs the output image.
  • the output image can be output as a picture via a photo printer or directly on other display devices such as computer monitors.
  • the input module of the present invention is responsible for acquiring a digital image as a system input, and the obtained digital image is input to an image decomposition module; the image decomposition module decomposes the input image to obtain two outputs: a light image L and a reflection image R, and the two outputs
  • the illumination image processing module and the reflection image processing module are respectively input; the illumination image processing module performs nonlinear correction processing on the illumination image L of the input image to obtain the illumination image L′ of the image; the reflection image processing module first determines according to the illumination image.
  • the noise area then denoising the pixels in the denoising area of the reflected image, and outputting the denoised reflection component R'; the combining and output module recombines the outputs L' and R' of the first two modules into the output The image is output to the output device.
  • the present invention also provides a digital image processing enhancement method with a denoising function, which is implemented by the following technical solution, first reading a digital image, and saving the color and gray value of each pixel to the distribution.
  • the input image is secondly decomposed into two parts: the illumination image and the reflection image.
  • the illumination image and the reflection image are processed separately, and finally the processed illumination image and the reflection image are combined into the output image and output to the output.
  • the device On the device.
  • saving the input image to the allocated memory area means: applying a memory area corresponding to the image size, and storing each pixel value of the input image in the memory unit corresponding to the memory area in order. If the input image is a color image, the color image will be divided into three channels: R, G, and B.
  • the decomposition of the input image into the illumination image and the reflection image means According to the Retinex model, any image can be decomposed into a product of the illumination image and the reflection image, and the core of the image decomposition is the estimation of the illumination image, that is, the illumination of the environment. prediction.
  • the prediction of ambient illumination is based on the three constraints mentioned in the Retinex variational model: the illumination image is smoothed in the spatial domain, the pixel value of the illumination image is larger than the pixel value of the input image, and the illumination image is close enough to the input image to apply the ambient illumination component.
  • Simplification applying multi-resolution technology, that is, applying smoothing filtering (for example: Gaussian filtering, mean filtering, etc.) to each resolution layer to obtain low-frequency information of the image, applying sharpening (such as Laplacian sharpening, gradient sharpening) Sharpening method to obtain high-frequency information of the image, by continuously removing the high-frequency information in the image, retaining the low-frequency information, and obtaining a very smooth image as a prediction of the illumination image, and then inputting the image and the illumination image, and reflecting The relationship of the images is derived from the reflected image.
  • smoothing filtering for example: Gaussian filtering, mean filtering, etc.
  • sharpening such as Laplacian sharpening, gradient sharpening
  • the processing of the illumination image refers to: performing nonlinear correction processing on the initial illumination image, that is, using a nonlinear mapping curve to pull up the contrast of the over dark area and the over bright area in the input image, thereby improving the illumination of the two parts. Light effects and visibility in poor areas.
  • the method of performing nonlinear correction processing on the initial illumination image may be gamma correction, with gamma
  • the line acts as a mapping curve to increase the contrast of the over- and dark areas of the input image, improving the lighting and visibility of the poorly illuminated areas.
  • the processing of the reflected image means: identifying an over dark area of the input image from the illumination image, and performing a denoising filtering process on the area corresponding to the reflected image of the input image.
  • the denoising filtering process refers to: since the reflected image contains high frequency information in the original image, the information of the over dark area of the input image and the visibility of the noise are both low, and the noise of the image is large after image decomposition. Partially concentrated on the over-dark area of the corresponding input image in the reflected image, the over-dark area of the input image is identified from the illumination image, and the de-noising processing is performed on the reflected image area corresponding to the over-dark area by denoising filtering.
  • the denoising filtering method may be local bilateral filtering, that is, dynamically determining the area to be filtered by the information on the illumination image, that is, the dark area of the input image.
  • bilateral filtering is used to denoise in the reflected image, and the edge information can be completely preserved, and the noise on both sides of the edge is removed by the smoothing filter.
  • finding the over dark area in the input image from the illumination image means: selecting an optimal threshold according to the experiment, and performing binarization processing on the pixel gray scale of the illumination image, and the gray scale is less than the threshold value 1
  • the gray scale is greater than the threshold value of 0, so the area marked with 1 is the over dark area that needs to be denoised.
  • the local bilateral filtering refers to: a technique for performing denoising processing in the image space domain and the image gray domain respectively, which can eliminate noise in the image on the basis of protecting the image edge information from being damaged, Improve the quality of the image.
  • the pixel values on both sides of the edge do not affect each other, but the spatial filtering is performed on the side of the edge.
  • the combination of the illumination image and the reflection image to the extracted image means: according to the principle that any image can be decomposed into the product of the illumination image and the reflection image, the separately processed new illumination image and the pixel corresponding to the reflected image are pixels. Multiply the values to get the output image.
  • the output image is in the same format as the input image and can be output to general output devices such as digital photo printers and computer monitors.
  • the invention first inputs a digital image, and saves the color and gray value of each pixel into the allocated memory area; secondly, according to the Retinex model, the input image is decomposed into two parts: a light image and a reflection image; The parts are processed separately, and the illumination image is subjected to nonlinear correction processing to improve the illumination effect.
  • the reflection image is denoised and filtered according to the denoising area obtained from the illumination image to remove noise; finally, the processed illumination image and the reflection image are combined into An output image is output to the output device.
  • the system and method for digital image processing enhancement according to the present invention can not only improve the quality of images captured in an environment with poor illumination, but also adjust the illumination effect in the input image, improve the visibility of the input image content, and Sufficient to meet the requirements of real-time processing.
  • the present invention adds a denoising operation to the noise concentration region of the reflected image based on the image enhancement system based on the Retinex model, and greatly improves the noise amount of the Retinex algorithm in the image enhancement process without affecting the real-time performance of the system. The problem. DRAWINGS
  • Figure 1 is a schematic block diagram of an image enhancement system of "Retinex a variational architecture" in the prior art
  • FIG. 2 is a schematic block diagram of a digital image processing enhancement system in accordance with the present invention.
  • Figure 3 is a process flow diagram of an embodiment of a digital image processing enhancement method in accordance with the present invention.
  • FIG. 4 is a schematic diagram of an application example of a digital image processing enhancement method according to the present invention. detailed description
  • an embodiment of a digital image processing enhancement system in accordance with the present invention includes five modules: an input module, an image decomposition module, a lighting image processing module, a reflective image processing module, a merge and an output module.
  • These five modules are implemented by an input device (digital camera), a computer software processing program, and an output device (photo printer or computer monitor, etc.).
  • the input module collects the digital image, and the output of the input module is connected to the input of the image decomposition module; the two outputs of the image decomposition module: the illumination image and the reflection image are respectively two other modules: an input of the illumination image processing module and the reflection image processing module;
  • the outputs of the illumination image processing module and the reflection image processing module are the two inputs of the merge and output modules.
  • the input module can be implemented by an input device such as a general digital camera, digital video camera or scanner.
  • the output of the input module is a digital image in a common format (such as bmp, jpeg, etc.).
  • the image decomposition module decomposes the digital image acquired by the input module into two images: a light image and a reflection image.
  • any image can be decomposed into the product of the illuminated image and the reflected image.
  • the core problem of decomposing the input image is the estimation of the illumination image.
  • the estimation of the illumination image in the present invention is based on the Retinex model, and the smoothing filtering of the image is preserved at each resolution layer by the multi-resolution technique (in the preferred embodiment of the invention, Gaussian filtering is applied for smoothing filtering, but Other filtering methods well known to those skilled in the art, such as mean filtering, etc., can also be applied to the present invention.
  • the sharpening result of the image is removed (in a preferred embodiment of the invention, the application of Lapla Sharpening is used as a sharpening method, but other sharpening methods well known to those skilled in the art, such as gradient sharpening, etc., can also be applied to the present invention), after a number of ⁇ : iterations, to a very smooth image, as an input An estimate of the illumination image of the image.
  • the reflected image is obtained by dividing the input image by the illumination image.
  • the illumination image processing module mainly adjusts the illumination conditions of the input image to achieve the purpose of improving the illumination effect of the output image.
  • the present invention adopts a nonlinear mapping curve to pull up the contrast of the over dark area and the over bright area in the input image, thereby improving the illumination effect and visibility of the two parts of the poor illumination area.
  • the reflection image processing module mainly performs denoising processing on a partial area of the reflected image.
  • Denoising processing The noise of the image processed by Retinex is mainly concentrated in the over dark area of the input image.
  • an optimal threshold is selected according to the experimental experience, and the illumination image of the input image is binarized, and the gray scale is less than the threshold value.
  • the gray level is greater than the threshold value of 0, so the area marked with 1 is the over dark area that needs to be denoised.
  • the denoising filtering method used is local bilateral filtering, but other filtering methods (eg, median filtering, mean filtering, low-pass filtering, anisotropic filtering, etc.) are also applicable.
  • the reflected image is denoised and filtered.
  • the bilateral filtering is used to denoise the reflected image, and the edge information can be completely preserved, and the noise on both sides of the edge is removed by Gaussian filtering.
  • general filtering methods such as global filtering methods such as mean filtering, median filtering and Gaussian filtering
  • the above-mentioned local bilateral filtering method can save more processing time and meet real-time processing requirements. Therefore, local bilateral filtering is used in the preferred embodiment of the present invention, which can save a lot of time compared to general global filtering.
  • the merging and output module multiplies the illumination image and the reflection image respectively processed by the illumination image processing module and the reflection image processing module according to the principle that the input image is the product of the illumination image and the reflection image, and obtains the output image, and then outputs the output image.
  • the image is output to the output device.
  • the output device can be a digital photo printer, a computer display, or the like.
  • the present embodiment increases the denoising filtering of the reflected image by applying local bilateral filtering, and effectively suppresses the adverse effect of noise on the output image quality in the image enhancement process.
  • the adoption of the local bilateral filtering technology due to the adoption of the local bilateral filtering technology, a large amount of processing time is saved, so that the embodiment can satisfy the real-time processing. Claim.
  • an input image is first read; after that, the input image is decomposed into two parts: a light image and a reflection image; and then, the illumination image is subjected to nonlinear correction processing, and from the pre-correction The dark region is extracted from the illumination image, and the local region of the reflected image is denoised by local bilateral filtering. Finally, the processed illumination image and the reflection image are multiplied and combined into an output image, and the image is output.
  • the entire process is real-time and adaptive, without requiring the user to set any parameters.
  • the nonlinear correction processing is to process the illumination image by the gamma correction method
  • other nonlinear correction processing methods such as grayscale equalization, logarithmic transformation, exponential transformation, piecewise linearization A map or the like can be applied to the present invention as a nonlinear correction processing method.
  • the user first activates the real-time image enhancement system, clicks the file selection button to select an image to be enhanced, and clicks the enhancement button to start enhancing the input image.
  • the image enhancement program decomposes the input image according to the Retinex model, and decomposes the input image into a light image and a reflection image.
  • the program performs gamma correction on the illumination image to obtain the processed illumination image.
  • the program binarizes the illumination image according to the experimental selection threshold.
  • the pixel scale 0 with the grayscale greater than 3 ⁇ 4 value is the region where the input image is bright, and no filtering is needed, and the pixel scale whose grayscale is smaller than the threshold is the input image. In the dark area, it needs to be filtered.
  • the pixels in the reflection image are selected one by one, and the binary image obtained by the illumination image is compared with the binary image obtained by the illumination image. If the pixel at the corresponding position is 0 in the binary image, no processing is performed; if the pixel at the corresponding position is in the binary value If the image is 1, the local bilateral filtering is performed on the pixel. It is then determined whether each pixel in the reflected image has been traversed, and if not, continues to select the next pixel.
  • the processed illuminated image and the reflected image are finally recombined into the output image for display in the program window.
  • the input image of this embodiment is decomposed into a light image and a reflection image according to the Retinex model.
  • the image noise in the over dark area is enhanced, the signal-to-noise ratio corresponding to the over dark area on the reflected image is low.
  • These over-dark areas are identified from the illumination image as denoising areas, and local bilateral filtering is performed on the reflected image to smooth the high-noise area while preserving the edges.
  • the gamma corrected illumination image and the denoised processed reflection image are then combined into the output image. Compared with the input image, the output image is significantly improved, and the contrast of the image details is significantly improved, and the noise is effectively suppressed.
  • the above processing is done under real-time conditions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

带有去噪功能的数字图像处理增强系统和方法
技术领域
本发明涉及的一种数字图像技术领域的图像处理系统， 具体地说， 是一种带有去噪功 能的数字图像处理增强系统。 另一方面， 本发明还涉及一种数字图像技术领域的图像处理 方法， 具体地说， 是一种带有去噪功能的数字图像处理增强方法。 背景技术
随着数码相机的普及， 数字图像在生产和生活中占有了越来越重要的地位。特别是在 生产自动化中， 数字图像在目标识别和目标跟踪等方面起到了重要作用。 然而由于成像技 术本身的缺陷， 影响了数字图像的质量， 使数字图像的应用受到了限制。
现实生活中的亮度动态范围非常大， 主要受环境光照的影响， 阳光直射下和阴影中的 亮度往往相差几个数量级。 相比之下数码相机的动态范围则小得多， 最常用的 8位图像深 度只能表示 256个亮度阶数。 在不同光照条件下， 人类的视觉系统可以通过调整瞳孔大小 以及视网膜与大脑皮层的处理消除光照 影响， 以正确识别物体。 而照相机不具备这种自 我调节的功能， 因此在光照条件不佳的情况下 （过暗或过亮）， 感兴趣的物体在图像上难 以识别， 图像的质量也就下降了很多。
针对这个问题一般的处理方法往往是灰度均衡化或者伽马校正，然而这两种处理方法 都是一种全局的处理方法， 而忽视了局部的信息， 因此用上述方法增强图像后虽然光照得 到了改善， 局部图像的细节却可能丢失。 相比之下， 本发明基于 Retinex模型， 通过将输 入图像分解为光照图像和反射图像， 将光照的影响从输入图像中剥离， 在改善输出图像中 光照效果的同时较好地保护了输入图像中局部的图像细节。
经对现有技术的文献检索发现， Ron. imrael , Michael Elad 等在 international Journal of Computer Vision》 （计算机视觉国际期刊， 2003年第 52期第 1卷第 7~23页） 一文 "A Variational Framework for Retinex" (Retinex的一种变分架构） ， 该文中提 出一种基于 Retinex模型的图像增强系统和方法。 具体为： 首先采集一张输入图像， 然后 将输入图像分解为光照图像和反射图像。 这个图像分解的方法是通过以下方式完成的： 根 据 Retinex模型， 任何图像可以分解为光照图像和反射图像的乘积， 图像分解的核心为光 照图像的估计， 即对环境光照的预测。 环境光照的预测基于 Retinex变分模型中提到的 3 确认本 个约束： 光照图像在空间域平滑、 光照图像的像素值大于输入图像的像素值、 以及光照图 像和输入图像足够接近， 对环境光照成分加以估算， 得到一幅很平滑的图像作为光照图像 的预测， 然后由输入图像与光照图像、 反射图像的关系推得反射图像。 将图像分解为光照 图像和反射图像以后， 对输入图像的光照图像进行单独处理， 通过对光照图像的像素值根 据应用的要求做非线性校正处理 （例如： 伽马校正、 灰度均衡化、 对数变换、 指数变换、 分段线性映射等处理）， 以改善原图中光照不佳区域的可见度， 提高图像质量。 后附图 1 显示了该 "Retinex的一种变分架构" 中的图像增强系统的示意框图。
上述系统和方法的不足在于： 虽然它可以改善输入图像的光照效果， 但是在图像细节 内容得到了增强的同时输入图像中的噪声也被增强了， 因此对含原本包含较多噪声的输入 图像， 输出图像的质量有可能比输入图像还要差。 不能解决在增强图像细节的同时， 避免 噪声对输出图像质量的影响。 发明内容
本发明的目的在于克服现有技术中对于环境光照条件对数字图像的影响的技术存在 不足，为了实现该目的，本发明提供了一种带有去噪功能的数字图像处理增强系统和方法， 通过本发明， 能够根据输入图像自动估计环境光照条件并根据光照对图像进行自动调节， 在不同光照条件下获得的图像在数码相机的动态范围 （通常为 0-255 ) 内根据局部图像的 信息自动调整到可见度最佳的亮度范围， 改善输出图像中的光照效果并增强局部图像细 节。 本发明可以应用于提高数码相机的成像质量以及基于数字图像的工业自动化的图像预 处理阶段。
本发明提供一种带有去噪功能的数字图像处理增强系统，该系统通过以下技术方案实 现， 包括五个模块： 输入模块， 图像分解模块， 光照图像处理模块， 反射图像处理模块， 合并和输出模块。 输入模块负责采集数字图像作为系统输入， 所获得的数字图像输入到图 像分解模块； 图像分解模块将输入图像分解为光照图像 L和反射图像 R， 分别输入光照图 像处理模块和反射图像处理模块； 光照图像处理模块对输入图像的光照图像 L进行非线性 校正处理后输出经过校正的光照图像 L' ； 反射图像处理模块则对反射图像 R中与输入图 像过暗区域相对应的像素进行去噪处理， 输出去噪后的反射成分 R' ， 输入图像的过暗区 域可由光照图像信息来确定； 合并输出模块则将前两个模块中输出的 L' 和 R' 重新合并 到输出图像并显示到输出设备上。
其中， 本发明的输入模块是指： 负责来集数字图像的模块， 该数字图像是数码相机和 数字扫描仪所能获取的图像以及数码摄像机所提供序列图像中的一帧。
本发明的图像分解模块是指： 对输入图像实时分解， 提供两个分别为对应于输入图像 光照成分的光照图像和对应于输入图像反射成分的反射图像的 ^出的模块。 上述的输入图 像实时分解是对 Retinex模型的实现， 根据 Retinex模型， 任何图像可以分解为光照图像 和反射图像的乘积， 图像分解的核心为光照图像的估计， 即对环境光照的预测。 环境光照 的预测基于 Retinex变分模型中提到的 3个约束: 光照图像在空间域平滑、 光照图像的像 素值大于输入图像的像素值、 以及光照图像和输入图像足够接近， 对环境光照图像加以估 计， 应用多解析度技术， 即在每个解析度层应用平滑滤波 （例如高斯滤波、 均值滤波等） 得到图像的低频信息， 应用锐 （例如拉會拉斯锐化、 梯度锐化等锐化方法） 得到图像的 高频信息， 通过不断地去除图像中的高频信息， 保留低频信息， 得到一幅很平滑的图像作 为光照图像的估计， 然后由输入图像与光照图像、 反射图像的关系推得反射图像。
本^明的光照图像处理模块是指： 对输入图像的光照图像进行单独处理的模块。 光照 不佳的输入图像中， 光照图像的灰度分布往往集中在图像动态范围的某一小部分， 对光照 图像的处理是采用一种非线性的映射关系来提高处于动态范围低端和高端的像素的对比 度， 从而使这一部分的细节能够显现出来。 该非线性的映射关系可以根据具体的应用要求 来确定。
本发明中的非线性校正处理可以是伽马校正。
本发明的反射图像处理模块是指: 从光照图像中识别出输入图像的过暗区域， 对输入 图像的反射图像相应的区域进行去噪滤波的模块。 反射图像中包含的是图像的高频信息， 图像的噪声大部分在经过图像分解后大部分集中到了反射图像中， 光照图像中基本不包含 噪声， 因此需要对输入图像的反射图像进行去噪滤波处理。 所述的去噪滤波， 是指： 通过 对光照图像的灰度分析识别输入图像的过暗区域， 在反射图像上对这些区域进行滤波。 所 述的识别输入图像的过暗区域， 是指： 根据实验选取一个效果最佳的阈值， 针对光照图像 的像素灰度做二值化处理， 灰度小于阈值的标 1， 灰度大于阈值的标 0， 这样标 1 的区域 即是需要做去噪滤波处理的过暗区域。
本发明的去噪滤波处理， 可以采用局部双边滤波的方法。 实验分析可以确定输出图像 的绝大部分噪声对应于输入图像的过暗区域， 因此通过对光照图像的灰度分析可以识别这 些区域， 在反射图像上对这些区域进行去噪滤波， 可以在仅增加少量处理时间的条件下， 有效去除大部分的噪声以满足实时处理的要求。
本发明的合并和输出模块是指：将单独经过处理的光照图像和反射图像重新根据已知 关系合并到同一张输出图像中并输出该输出图像的模块。 该输出图像可以经过照片打印机 输出为图片或直接在电脑显示器等其他显示设备上显示。
本发明的输入模块负责采集数字图像作为系统输入，所获得的数字图像输入到图像分 解模块； 图像分解模块将输入图像分解， 得到两个输出： 光照图像 L和反射图像 R， 将这 两个输出分别输入光照图像处理模块和反射图像处理模块； 光照图像处理模块对输入图像 的光照图像 L进行非线性校正处理， 得到^ 后的光照图像 L' ； 反射图像处理模块则首 先根据光照图像来确定去噪区域， 然后对反射图像去噪区域内的像素进行去噪处理， 输出 去噪后的反射成分 R' ；合并和输出模块则将前两个模块中输出的 L' 和 R' 重新合并到输 出图像并输出到输出设备上。
同时， 本发明还提供了一种带有去噪功能的数字图像处理增强方法， 该方法通过以下 技术方案实现， 首先读入一张数字图像， 将每个像素的颜色和灰度值保存到分配的内存区 域中， 其次将输入图像分解为光照图像和反射图像两部分， 接下来分别对光照图像和反射 图像进行处理， 最后再将处理后的光照图像和反射图像合并到输出图像并输出到输出设备 上。
本发明中， 将输入图像保存到分配的内存区域中， 是指： 申请一块和图像尺寸大小相 当的内存区域， 将输入图像的每个像素值按顺序存入内存区域对应的内存单元中。 如果输 入图像是彩色图像， 则彩色图像将分为 R、 G、 B三个通道分别保存。
本发明中， 将输入图像分解为光照图像和反射图像， 是指： 根据 Retinex模型， 任何 图像可以分解为光照图像和反射图像的乘积， 图像分解的核心为光照图像的估计， 即对环 境光照的预测。 环境光照的预测基于 Retinex变分模型中提到的 3个约束： 光照图像在空 间域平滑、光照图像的像素值大于输入图像的像素值、以及光照图像和输入图像足够接近， 对环境光照成分加以简化， 应用多解析度技术， 即在每个解析度层应用平滑滤波 （例如： 高斯滤波、 均值滤波等滤波方法） 得到图像的低频信息， 应用锐化 （例如拉普拉斯锐化、 梯度锐化等锐化方法） 得到图像的高频信息， 通过不断地去除图像中的高频信息， 保留低 频信息， 得到一幅很平滑的图像作为光照图像的预测， 然后由输入图像与光照图像、 反射 图像的关系推得反射图像。
本发明中， 对光照图像的处理， 是指： 对初始的光照图像进行非线性校正处理， 即以 非线性映射曲线拉升输入图像中过暗区域和过亮区域的对比度， 提高这两部分光照不佳区 域的光照效果和可见度。
本发明中， 对初始的光照图像进行非线性校正处理的方法可以是伽马校正， 以伽马曲 线作为映射曲线， 来拉升输入图像中过暗区域和过亮区域的对比度， 提高这两部分光照不 佳区域的光照效果和可见度。
本发明中， 对反射图像的处理， 是指： 从光照图像中识别出输入图像的过暗区域， 对 输入图像的反射图像相应的区域进行去噪滤波处理。 所述的去噪滤波处理， 是指： 由于反 射图像包含的是原图中的高频信息， 同时输入图像的过暗区域信息和噪声的可见度都较 低， 图像的噪声在经过图像分解后大部分集中到了反射图像中对应输入图像中过暗的区 域， 从光照图像中识别输入图像的过暗区域， 应用去噪滤波对与过暗区域相对应的反射图 像区域进行去噪处理。
本发明中， 去噪滤波的方式可以是局部双边滤波， 即通过光照图像上的信息动态地确 定需要滤波的区域， 即输入图像的黑暗区域。 同时根据光照图像上识别出的过暗区域在反 射图像中做双边滤波去噪， 边缘信息可以得到完整的保留， 同时边缘两侧的噪声由平滑滤 波去除。
本发明中， 从光照图像中找到输入图像中的过暗区域， 是指： 根据实验选取一个效果 最佳的阈值， 针对光照图像的像素灰度做二值化处理， 灰度小于阈值的标 1， 灰度大于阈 值的标 0， 这样标 1的区域即是需要做去噪滤波的过暗区域。
本发明中， 局部双边滤波， 是指： 一种分别在图像空间域和图像灰度域进行去噪处理 的技术， 它能在保护图像边缘信息不受损害的基础上消除图像中的噪声， 达到改善图像质 量的目的。 当遇到物体边缘时， 受值域滤波的影响， 边缘两侧的像素值不会相互影响， 而 是分别在自己的一侧做空间¾^的平滑滤波。
本发明中， 光照图像和反射图像合并到镩出图像， 是指： 根据任何图像可以分解为光 照图像和反射图像的乘积的原理， 将分别处理后的新的光照图像和反射图像对应像素的像 素值相乘得到输出图像。 输出图像和输入图像的格式一致， 可以输出到一般的输出设备如 数字照片打印机以及计算机显示器等等。
本发明首先输入一幅数字图像， 将每个像素的颜色和灰度值保存到分配的内存区域 中； 其次根据 Retinex模型将输入图像分解为两个部分： 光照图像和反射图像； 接下来对 两个部分分别处理， 光照图像经过非线性校正处理改善光照效果， 反射图像根据从光照图 像上获取的去噪区域进行去噪滤波， 以去除噪声； 最后再将处理后的光照图像和反射图像 合并为一幅输出图像输出到输出设备上。
根据本发明所提供的数字图像处理增强的系统和方法，不仅能够改善在光照不佳的环 境下拍摄图像的质量， 调整输入图像中的光照效果， 提高输入图像内容的可见度， 而且能 够满足实时处理的要求。 与一般的全局图像增强方法如伽马校正和灰度均衡化方法相比， 能够更好地保留局部的图像细节， 增加图像中有效的特征点个数， 使其在日常生活和生产 中都有广泛的应用前景。 并且本发明在基于 Retinex模型的图像增强系统的基础上加入了 对反射图像噪声集中区域的去噪操作， 在不影响系统实时性的条件下大大改善了 Retinex 算法在图像增强过程中造成噪声量提高的问题。 附图说明
图 1 现有技术中的 "Retinex的一种变分架构" 图像增强系统示意框图；
图 2 根据本发明的数字图像处理增强系统的示意框图；
图 3 根据本发明的数字图像处理增强方法的实施例的处理流程图；
图 4 根据本发明的数字图像处理增强方法的应用实例的示意图。 具体实施方式
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下 进行实施， 给出了详细的实施方式， 但本发明的保护范围不限于下述的实施例。
如图 2所示，根据本发明的数字图像处理增强系统的实施例包含五个模块：输入模块、 图像分解模块、 光照图像处理模块、 反射图像处理模块、 合并和输出模块。 这五个模块是 由一个输入设备 （数码相机）、 一个计算机软件处理程序和一个输出设备 （照片打印机或 计算机显示器等） 实现的。 输入模块采集数字图像， 输入模块的输出与图像分解模块的输 入相连； 图像分解模块的两个输出： 光照图像和反射图像分别是另外两个模块： 光照图像 处理模块和反射图像处理模块的输入； 光照图像处理模块和反射图像处理模块的输出是合 并和输出模块的两个输入。
输入模块可以由一般的数码照相机、数码摄像机或者扫描仪等输入设备实现， 输入模 块的输出是一幅通用格式的数字图像 （如 bmp、 jpeg等）。
图像分解模块将输入模块获取的数字图像分解为两幅图像： 光照图像和反射图像。根 据 Retinex模型， 任何图像可以分解为光照图像和反射图像的乘积， 对输入图像进行分解 的核心问题在于光照图像的估计。 本发明中对光照图像的估计是基于 Retinex模型， 用多 解析度技术， 在各个解析度层， 保留图像的平滑滤波 （在本发明的较佳实施例中， 应用高 斯滤波进行平滑滤波， 但是本领域技术人员熟知的其他滤波方法， 例如均值滤波等也可以 应用于本发明中） 结果， 去除图像的的锐化结果 （在本发明的较佳实施例中， 应用拉普拉 斯锐化作为锐化方法， 但是本领域技术人员熟知的其他锐化方法， 例如梯度锐化等也可以 应用于本发明中）, 经过若干^:迭代， 到一幅非常平滑的图像， 作为输入图像的光照图 像的估计。 反射图像由输入图像除以光照图像获得。
光照图像处理模块主要是对输入图像的光照条件进行调节， 以达到改善输出图像光照 效果的目的。 对光照图像的非线性校正处理， 本发明采用的是用非线性映射曲线拉升输入 图像中过暗区域和过亮区域的对比度， 提高这两部分光照不佳区域的光照效果和可见度。
反射图像处理模块主要是对反射图像的局部区域进行去噪处理。 去噪处理根据 Retinex 处理图像的噪声主要集中在输入图像中的过暗区域， 首先根据实验经验选择一个 最佳的阈值， 对输入图像的光照图像进行二值化处理， 灰度小于阈值的标 1， 灰度大于阈 值的标 0， 这样标 1的区域即是需要做去噪处理的过暗区域。 然后根据 2值图像对反射图 像每个像素判断是否在过暗区域内， 如果在则进行滤波处理以去除噪声。
较佳地， 在本实施例中， 使用的去噪滤波方法为局部双边滤波， 但是其他的滤波方法 (例如： 中值滤波、 均值滤波、 低通滤波、 各向异性滤波等） 也是可以应用于本发明中对 反射图像进行去噪滤波。
通过上面的描述可以知道， 输入图像经过分解后大部分噪声都集中到了反射图像中。 通过实验分析可以确定， 输出图像的绝大部分噪声对应于输入图像的过暗区域， 通过在反 射图像上对这些区域进行滤波， 而非整个图像， 不仅可以有效去除大部分的噪声， 还可以 节省大量的处理时间， 以满足实时处理的要求。需要滤波的区域， 即输入图像的黑暗区域， 可以由光照图像上的信息动态地确定。 同时根据光照图像上识别出的过暗区域在反射图像 中做双边滤波去噪，边缘信息可以得到完整的保留， 同时边缘两侧的噪声由高斯滤波去除。 相比于一般的滤波方法， 如均值滤波、 中值滤波和高斯滤波等全局滤波方法， 使用上述局 部双边滤波的方法， 可以节省更多的处理时间， 达到实时处理的要求。 因此， 本发明较佳 实施例中使用局部双边滤波， 此方法与一般的全局滤波相比可以节省大量的时间。
合并和输出模块根据输入图像是光照图像和反射图像的乘积的关系的原理， 将经过光 照图像处理模块和反射图像处理模块分别处理后的光照图像和反射图像相乘合并得到输 出图像， 然后将输出图像输出到输出设备上。 输出设备可以是数码照片的打印机、 计算机 的显示器等设备。
本实施例与现有技术图像增强系统（如图 1所示）相比， 增加了应用局部双边滤波对 反射图像的去噪滤波， 有效抑制了噪声在图像增强过程中对输出图像质量的不良影响， 同 时由于局部双边滤波技术的采用， 节省了大量处理时间， 使本实施例能够满足实时处理的 要求。
下面， 参照图 3和 4对根据本发明的数宇图像处理增强的方法的实施例进行描述。 根 据本发明的数字图像处理增强的 法， 首先读取输入图像； 之后， 将输入图像分解为两个 部分： 光照图像和反射图像; 然后， 对光照图像做非线性校正处理， 并从校正前的光照图 像中提取过暗区域， 对反射图像的相应区域采用局部双边滤波进行去噪处理； 最后， 将处 理后的光照图像和反射图像相乘合并为输出图像， 输出该图像。 整个过程是实时的并且是 自适应的， 不需要用户设定任何参数。
较佳地， 在本实施例中， 非线性校正处理为通过伽马校正方法对光照图像进行处理， 而其他非线性校正处理方法， 例如灰度均衡化、 对数变换、 指数变换、 分段线性映射等， 均可以作为非线性校正处理方法应用于本发明中。
如图 3所示， 本实施例首先用户启动实时图像增强系统， 点击文件选择按钮选择打幵 待增强的图像， 点击增强按钮开始对输入图像进行增强。
接下来， 图像增强程序根据 Retinex模型对输入图像进行分解， 将输入图像分解为光 照图像和反射图像。 程序对光照图像进行伽马校正得到处理后的光照图像。 程序根据实验 选取阈值对光照图像进行二值化 ^ 灰度大于¾值的像素标 0， 即为输入图像亮的区域， 不 需要进行滤波， 而灰度小于阈值的像素标 ， 即为输入图像的过暗区域， 需要对之进行滤 波处理。
对于反射图像处理时， 逐个选取反射图像中的像素， 对照之前由光照图像获取的二值 图像， 如果对应位置的像素在二值图像中为 0， 则不作处理； 如果对应位置的像素在二值 图像中为 1， 则对该像素进行局部双边滤波。 然后判断是否反射图像中的每个像素都己经 遍历过， 如果没有， 则继续选择下一个像素。
当反射图像的每一个像素都遍历过之后， 经过处理的光照图像和反射图像最后重新相 乘合并到输出图像， 显示在程序窗口中。
如图 4所示， 本实施例输入图像根据 Retinex模型被分解为光照图像和反射图像。 在 做去噪处理前， 由于过暗区域的图像噪声被增强了， 反射图像上对应过暗区域的地方信噪 比很低。 从光照图像中识别出这些过暗区域作为去噪区域， 在反射图像上做局部双边滤波 处理， 在保留边缘的条件下使高噪声的区域得到了平滑。 然后将经过伽马校正的光照图像 和去噪处理后的反射图像合并到输出图像。 输出图像与输入图像相比， 光照效果得到了明 显改善， 图像细节的对比对得到显著提高， 同时噪声得到有效抑制。 以上处理是在实时条 件下完成的。

Claims

权 利 要 求
1、 一种带有去噪功能的数字图像处理增强系统， 其特征在于， 包括五个模块： 输入 模块， 图像分解模块， 光照图像处理模块， 反射图像处理模块， 合并和输出模块， 其中： 输入模块负责采集数字图像作为系统输入， 所获得的数字图像输入到图像分解模块， 图像 分解模块将输入图像分解为光照图像 L和反射图像 R， 分别输入光照图像处理模块和反射 图像处理模块， 光照图像处理模块对输入 ¾像的光照图像 L进行非线性校正处理并输出经 过校正的光照图像 L' ，反射图像处理模块则对反射图像 R中与输入图像过暗区域相对应的 像素进行去噪滤波处理， 输出去噪后的反射图像 R' ， 其中输入图像的过暗区域可由光照 图像信息来确定，合并和输出模块则将前两个模块中输出的 L' 和 R' 重新合并到输出图像 并输出到输出设备上。
2、 根据权利要求 1所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 的输入模块， 是指： 负责采集数字图像的模块， 所述的数字图像是数码相机和数字扫描仪 所能获取的图像以及数码摄像机所提供序列图像中的一帧。
3、 根据权利要求 1所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 的图像分解模块， 是指： 对输入图像实时分解， 提供两个输出， 分别为对应于输入图像光 照成分的光照图像和对应于输入图像反射成分的反射图像的模块。
4、 根据权利要求 3所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 输入图像实时分解， 是指： 环境光照的预测基于 Retinex变分模型的 3个约束： 光照图像 在空间域平滑、 光照图像的像素值大于输入图像、 以及光照图像和输入图像足够接近对输 入图像的光照成分加以估计， 应用多解析度技术， 在每个解析度层， 保留平滑结果， 去除 锐化结果， 得到一幅平滑的图像作为光照图像的估计， 然后由输入图像与光照图像、 反射 图像的关系推得反射图像。
5、 根据权利要求 1所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 的光照图像处理模块， 是指： 对输入图像的光照图像进行单独处理的模块， 光照不佳的输 入图像中， 光照图像的灰度分布往往集中在图像动态范围的某一小部分， 对光照图像的处 理是采用非线性校正处理， 通过非线性的映射关系来提高处于动态范围低端和高端的像素 的对比度， 从而使这一部分的细节能够显现出来。
6、 根据权利要求 5所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 的非线性校正处理是伽马校正。
7、 根据权利要求 1所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 的反射图像处理模块， 是指从光照图像中识别出输入图像的过暗区域， 对输入图像的反射 图像相应的区域进行去噪滤波的模块。 '
8、 根据权利要求 7所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 的去噪滤波， 是指： 通过对光照图像的灰度分析识别输入图像的过暗区域， 在反射图像上 对这些区域进行去噪滤波处理。
9、 根据权利要求 1或者 8所述的蒂有去噪功能的数字图像处理增强系统， 其特征是， 所述去噪滤波处理为局部双边滤波处理。
10、根据权利要求 1或者 8所述的带有去噪功能的数字图像处理增强系统，其特征是， 所述的识别输入图像的过暗区域， 是指： 根据实验选取一个效果最佳的阈值， 针对光照图 像的像素灰度做二值化处理， 灰度小于阈值的标 1， 灰度大于阈值的标 0， 这样标 1 的区 域即是需要做去噪滤波的过暗区域。
11、 根据权利要求 1所述的带有去噪功能的数字图像处理增强系统， 其特征是， 所述 的合并和输出模块， 是指： 将单独经过处理的光照成分和反射成分重新根据已知关系合并 到同一张输出图像并输出该输出图像的模块。
12、 一种带有去噪功能的数字图像处理增强方法， 其特征在于， 首先读入一张数字图 像， 将每个像素的颜色和灰度值保存到分配的内存区域中， 其次将输入图像分解为光照图 像和反射图像两部分， 接下来分别对光照图像和反射图像进行处理， 最后再将处理后的光 照图像和反射图像合并为输出图像并输出到输出设备上。
13、 根据权利要求 12所述的带有去噪功能的数字图像处理增强方法， 其特征是， 所 述的将输入图像保存到分配的内存区域中， 是指： 申请一块和图像尺寸大小相当的内存区 域， 将输入图像的每个像素值按顺序存入内存区域对应的内存单元中， 如果输入图像是彩 色图像， 则彩色图像将分为 R、 G、 B三个通道分别保存。
14、 根据权利要求 12所述的带有去噪功能的数字图像处理增强方法， 其特征是， 所 述的将输入图像分解为光照图像和反射图像， 是指： 根据 Retinex模型， 图像分解为光照 图像和反射图像的乘积， 对光照图像的估计是基于 Retinex变分模型的， 应用多解析度技 术， 在相应解析度层， 保留图像的平滑结果， 去除图像的锐化结果， 经过若干次迭代， 得 到一幅非常平滑的图像， 作为输入图像的光照图像的估计， 反射图像由输入图像除以光照 图像获得。
15、 根据权利要求 12所述的带有去噪功能的数字图像处理增强方法， 其特征是， 所 述的对光照图像的处理， 是指： 光照不佳的输入图像中光照图像的灰度分布集中在图像动 态范围的某一小部分， 通过非线性校正处理拉升处于动态范围低端和高端的像素的对比 度， 从而使这一部分的细节能够显现出来。
16、 根据权利要求 12或者 15所述的带有去噪功能的数字图像处理增强方法， 其特征 是，所述的非线性校正处理是采用非线性映射曲线，拉升过亮和过暗区域的灰度动态范围， 提高过亮和过暗区域内图像内容的可见度。
17、 根据权利要求 12或者 15所述的带有去噪功能的数字图像处理增强方法， 其特征 是， 所述非线性校正处理是伽马校正。
18、 根据权利要求 12所述的锆有去噪功能的数字图像处理增强方法， 其特征是， 所 述的对反射图像的处理， 是指： 从光照图像中识别出输入图像的过暗区域， 对输入图像的 反射图像相应的区域进行去噪滤波处理。
19、 根据权利要求 18所述的带有去噪功能的数字图像处理增强方法， 其特征是， 所 述去噪滤波处理为局部双边滤波处理。
20、 根据权利要求 19所述的带有去噪功能的数字图像处理增强方法， 其特征是， 所 述的局部双边滤波处理， 是指： 由于反射图像包含的是原图中的高频信息， 同时输入图像 的过暗区域信息和噪声的可见度都较低， 图像的噪声在经过图像分解后大部分集中到了反 射图像中对应输入图像中过暗的区域， 从光照图像中识别输入图像的过暗区域， 应用双边 滤波对与过暗区域相对应的反射图像区域进行去噪处理。
21、 根据权利要求 20所述的带有去噪功能的数字图像处理增强方法， 其特征是， 所 述双边滤波， 是一种分别在图像空间域禾 P图像灰度域进行去噪处理的技术， 当遇到物体边 缘时， 受值域滤波的影响， 边缘两侧的像素值不会相互影响， 而是分别在自己的一侧做空 间域的平滑滤波。
22、 根据权利要求 18所述的全自动的数字图像处理增强方法， 其特征是， 从光照图 像识别输入图像的过暗区域， 是指： 根据实验选取一个效果最佳的阈值， 针对光照图像的 像素灰度做二值化处理， 灰度小于阈值的标 1， 灰度大于阈值的标 0， 这样标 1 的区域即 是需要做去噪滤波的过暗区域。
23、 根据权利要求 12所述的带有去噪功能的数字图像处理增强方法， 其特征是， 所 述的光照图像和反射图像合并到输出图像， 是指： 根据任何图像能分解为光照图像和反射 图像的乘积的原理， 将分别处理后的新的光照图像和反射图像对应像素的像素值相乘得到 输出图像。
PCT/CN2008/001382 2007-07-26 2008-07-28 Digital image processing and enhancing system and method with function of removing noise WO2009012659A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/670,625 US8411979B2 (en) 2007-07-26 2008-07-28 Digital image processing and enhancing system and method with function of removing noise
EP08783573.2A EP2187620B1 (en) 2007-07-26 2008-07-28 Digital image processing and enhancing system and method with function of removing noise
JP2010517255A JP4986250B2 (ja) 2007-07-26 2008-07-28 ノイズ除去機能付きのデジタル画像処理増強システム及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN200710044216A CN101102398B (zh) 2007-07-26 2007-07-26 全自动的实时数字图像处理增强系统
CN200710044216.8 2007-07-26
CNB2007100442172A CN100562067C (zh) 2007-07-26 2007-07-26 带有去噪功能的实时数字图像处理增强方法
CN200710044217.2 2007-07-26

Publications (1)

Publication Number Publication Date
WO2009012659A1 true WO2009012659A1 (en) 2009-01-29

Family

ID=40280994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2008/001382 WO2009012659A1 (en) 2007-07-26 2008-07-28 Digital image processing and enhancing system and method with function of removing noise

Country Status (4)

Country Link
US (1) US8411979B2 (zh)
EP (1) EP2187620B1 (zh)
JP (1) JP4986250B2 (zh)
WO (1) WO2009012659A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8512289B2 (en) 2009-07-08 2013-08-20 Medtronic Minimed, Inc. Reservoir filling systems and methods
US8559714B2 (en) * 2011-11-07 2013-10-15 Tandent Vision Science, Inc. Post processing for improved generation of intrinsic images
CN111815661A (zh) * 2020-07-14 2020-10-23 合肥工业大学 基于Retinex分解的铅笔画图像生成方法及装置
CN112132748A (zh) * 2020-09-24 2020-12-25 长沙理工大学 一种红外热成像超分辨率的处理方法
CN114429426A (zh) * 2021-12-20 2022-05-03 哈尔滨理工大学 一种基于Retinex模型的低照度图像质量改善方法
CN114571326A (zh) * 2022-01-20 2022-06-03 上海交通大学 基于计算机视觉的变形曲面磨削方法、装置及系统

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100897385B1 (ko) * 2007-06-27 2009-05-14 성균관대학교산학협력단 조명 정규화 방법 및 장치
US8526754B2 (en) * 2009-05-28 2013-09-03 Aptina Imaging Corporation System for enhancing depth of field with digital image processing
US8483480B2 (en) * 2009-12-18 2013-07-09 Tandent Vision Science, Inc. Method and system for factoring an illumination image
JP5247910B1 (ja) * 2012-03-30 2013-07-24 Ｅｉｚｏ株式会社 画像表示装置またはその方法
CN102855611A (zh) * 2012-08-21 2013-01-02 长春迪瑞医疗科技股份有限公司 一种尿沉渣图像分段非线形增强的方法
WO2014043005A1 (en) * 2012-09-12 2014-03-20 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
US9412155B2 (en) * 2012-12-31 2016-08-09 Karl Storz Imaging, Inc. Video system with dynamic contrast and detail enhancement
KR102166334B1 (ko) * 2014-02-19 2020-10-15 삼성전자주식회사 영상 데이터 처리 방법 및 디바이스
JP2016086347A (ja) 2014-10-28 2016-05-19 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
CN105701777B (zh) * 2016-01-08 2018-04-27 北京航空航天大学 一种螺旋断层放疗图像质量提高方法
EP3481074A4 (en) 2016-06-30 2020-01-08 I-Cubed Research Center Inc. VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, AND PROGRAM
CN106251300B (zh) * 2016-07-26 2019-04-09 华侨大学 一种基于Retinex的快速夜间雾天图像复原方法
JP6742231B2 (ja) * 2016-12-09 2020-08-19 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN109556348B (zh) * 2018-11-29 2020-12-04 台州新凯科技服务有限公司 蒸汽现场识别系统
DE102018222595A1 (de) * 2018-12-20 2020-06-25 Siemens Healthcare Gmbh Verfahren zur Bildbearbeitung eines Bilddatensatzes eines Patienten, medizinische Bildgebungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
CN109919869B (zh) * 2019-02-28 2021-06-04 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN110148188B (zh) * 2019-05-27 2023-03-10 平顶山学院 一种基于最大差值图像估计低照度图像光照分布的方法
CN111161312B (zh) * 2019-12-16 2022-03-22 重庆邮电大学 一种基于计算机视觉的物体轨迹追踪识别装置及系统
CN111507922B (zh) * 2020-04-21 2022-02-11 南京航空航天大学 一种基于直方图的隧道表面图像自适应增强方法
CN113012115B (zh) * 2021-03-03 2023-02-14 珠海迪沃航空工程有限公司 一种螺栓立体成像检测系统及方法
CN112907570B (zh) * 2021-03-24 2022-03-22 合肥工业大学 一种轻量级无监督暗光图像增强方法及装置
CN113628149A (zh) * 2021-08-26 2021-11-09 辽宁工程技术大学 基于拉普阿斯金字塔重构的Retinex图像增强算法
CN114414660B (zh) * 2022-03-18 2024-01-12 盐城工学院 一种铁路车辆轮对的轴号和裂纹识别方法
CN114612345B (zh) * 2022-04-01 2023-05-09 上海兴驰电子有限公司 一种基于图像处理的光源检测方法
CN114862786A (zh) * 2022-04-29 2022-08-05 清远蓄能发电有限公司 基于Retinex图像增强和Ostu阈值分割的隔离带检测方法及系统
CN116366990B (zh) * 2023-02-20 2024-02-23 王一川 一种应用于夜视仪的算法系统
CN116684739A (zh) * 2023-06-20 2023-09-01 广东电网有限责任公司广州供电局 户外作业机器人的图像获取方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941028B2 (en) * 2001-04-30 2005-09-06 Hewlett-Packard Development Company, L.P. System and method for image enhancement, dynamic range compensation and illumination correction
US20070071350A1 (en) * 2005-09-29 2007-03-29 Samsung Electronics Co., Ltd. Image enhancement method using local illumination correction
CN101102398A (zh) * 2007-07-26 2008-01-09 上海交通大学 全自动的实时数字图像处理增强系统
CN101102399A (zh) * 2007-07-26 2008-01-09 上海交通大学 带有去噪功能的实时数字图像处理增强方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3165225B2 (ja) 1991-03-27 2001-05-14 キヤノン株式会社 画像処理装置および画像処理方法
US6025905A (en) * 1996-12-31 2000-02-15 Cognex Corporation System for obtaining a uniform illumination reflectance image during periodic structured illumination
US7433540B1 (en) * 2002-10-25 2008-10-07 Adobe Systems Incorporated Decomposing natural image sequences
US7218324B2 (en) * 2004-06-18 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Scene reflectance functions under natural illumination
JP4783795B2 (ja) * 2005-01-27 2011-09-28 タンデント ビジョン サイエンス インコーポレーティッド 照明および反射境界の区別
JP4696812B2 (ja) * 2005-09-22 2011-06-08 コニカミノルタホールディングス株式会社 撮像装置
US7596266B2 (en) * 2006-04-13 2009-09-29 Tandent Vision Science, Inc. Method and system for separating illumination and reflectance using a log color space
US7747045B2 (en) * 2006-06-30 2010-06-29 Fujifilm Corporation Method and apparatus for diffusion based illumination normalization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941028B2 (en) * 2001-04-30 2005-09-06 Hewlett-Packard Development Company, L.P. System and method for image enhancement, dynamic range compensation and illumination correction
US20070071350A1 (en) * 2005-09-29 2007-03-29 Samsung Electronics Co., Ltd. Image enhancement method using local illumination correction
CN101102398A (zh) * 2007-07-26 2008-01-09 上海交通大学 全自动的实时数字图像处理增强系统
CN101102399A (zh) * 2007-07-26 2008-01-09 上海交通大学 带有去噪功能的实时数字图像处理增强方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIANG X.-F. ET AL.: "Advancement of study in Retinex theory of color image enhancement", OPTICAL TECHNIQUE, vol. 31, no. SUPPL., 30 September 2005 (2005-09-30), pages 258 - 260 *
KIMMEL R. ET AL.: "A Variational Framework for Retinex", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 52, no. 1, 2003, pages 7 - 23, XP008130703 *
RON. KIMMEL; MICHAEL ELAD: "A Variational Framework for Retinex", INTERNATIONAL JOURNAL OF COMPUTER VSION, vol. 1, no. 52, 2003, pages 7 - 23
See also references of EP2187620A4
WANG X.-L. ET AL.: "Retinex image enhancement method based on robust estimation", COMPUTER APPLICATIONS, vol. 26, no. 7, 31 July 2006 (2006-07-31), pages 1611 - 1613 *
WANG Y.-C. ET AL.: "Enhancement of radiography based multiscale Retinex", OPTICS AND PRECISION ENGINEERING, vol. 14, no. 1, 28 February 2006 (2006-02-28), pages 70 - 76 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8512289B2 (en) 2009-07-08 2013-08-20 Medtronic Minimed, Inc. Reservoir filling systems and methods
US8559714B2 (en) * 2011-11-07 2013-10-15 Tandent Vision Science, Inc. Post processing for improved generation of intrinsic images
CN111815661A (zh) * 2020-07-14 2020-10-23 合肥工业大学 基于Retinex分解的铅笔画图像生成方法及装置
CN111815661B (zh) * 2020-07-14 2024-02-02 合肥工业大学 基于Retinex分解的铅笔画图像生成方法及装置
CN112132748A (zh) * 2020-09-24 2020-12-25 长沙理工大学 一种红外热成像超分辨率的处理方法
CN112132748B (zh) * 2020-09-24 2022-09-16 长沙理工大学 一种红外热成像超分辨率的处理方法
CN114429426A (zh) * 2021-12-20 2022-05-03 哈尔滨理工大学 一种基于Retinex模型的低照度图像质量改善方法
CN114571326A (zh) * 2022-01-20 2022-06-03 上海交通大学 基于计算机视觉的变形曲面磨削方法、装置及系统

Also Published As

Publication number Publication date
EP2187620A1 (en) 2010-05-19
EP2187620B1 (en) 2014-12-24
EP2187620A4 (en) 2013-10-23
US8411979B2 (en) 2013-04-02
US20100303372A1 (en) 2010-12-02
JP2010534432A (ja) 2010-11-04
JP4986250B2 (ja) 2012-07-25

Similar Documents

Publication Publication Date Title
WO2009012659A1 (en) Digital image processing and enhancing system and method with function of removing noise
US11127122B2 (en) Image enhancement method and system
Zhu et al. Single image dehazing using color attenuation prior.
CN105654436B (zh) 一种基于前景背景分离的背光图像增强去噪方法
EP2515273B1 (en) Multiple exposure high dynamic range image capture
Pang et al. Improved single image dehazing using guided filter
CN100562067C (zh) 带有去噪功能的实时数字图像处理增强方法
Gao et al. A fast image dehazing algorithm based on negative correction
CN106683080B (zh) 一种视网膜眼底图像预处理方法
CN101102398B (zh) 全自动的实时数字图像处理增强系统
US6801672B1 (en) Removing noise from a color image using wavelets
CN111986120A (zh) 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法
JP2010520727A (ja) 写真の目のアーチファクトの２段階検出
Manju et al. Improved method for enhancing dark images based on CLAHE and morphological reconstruction
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
CN111368661B (zh) 一种基于图像处理的手指静脉图像增强方法
CN102750674A (zh) 基于自适应容差的视频图像去雾方法
CN107123124B (zh) 视网膜图像分析方法、装置和计算设备
Mohan et al. Underwater image enhancement based on histogram manipulation and multiscale fusion
Vijayakumar Selective image enhancement and restoration for skin cancer identification
Iwamoto et al. Fast dark channel prior based haze removal from a single image
KR20140109801A (ko) 3d이미지 품질을 향상시키는 방법과 장치
Han et al. Automatic illumination and color compensation using mean shift and sigma filter
CN117830134A (zh) 基于混合滤波分解和图像融合的红外图像增强方法及系统
CN116579953A (zh) 自监督的水面图像增强方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08783573

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010517255

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2008783573

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12670625

Country of ref document: US