WO2012144158A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2012144158A1
WO2012144158A1 PCT/JP2012/002469 JP2012002469W WO2012144158A1 WO 2012144158 A1 WO2012144158 A1 WO 2012144158A1 JP 2012002469 W JP2012002469 W JP 2012002469W WO 2012144158 A1 WO2012144158 A1 WO 2012144158A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
image
unit
correction signal
predicted
Prior art date
Application number
PCT/JP2012/002469
Other languages
English (en)
French (fr)
Inventor
カン グエン
物部　祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201280001672.3A priority Critical patent/CN102959581B/zh
Priority to US13/704,791 priority patent/US8842930B2/en
Priority to EP12773954.8A priority patent/EP2701119A4/en
Priority to JP2012533160A priority patent/JP5914843B2/ja
Publication of WO2012144158A1 publication Critical patent/WO2012144158A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing apparatus and an image processing method.
  • the present invention relates to an image processing apparatus and an image processing method for generating a high-definition image by restoring a blurred or blurred image.
  • Image restoration processing can reproduce degraded images due to blurring and blurring into high-definition images.
  • the restoration process since the high frequency components of the image are emphasized, noise included in the image is also greatly amplified. For this reason, in order to obtain a good restoration result image, a highly accurate noise reduction process is required before performing the restoration process.
  • General noise reduction processing includes, for example, processing using a low-pass filter. This reduces noise by limiting the high frequency components of the image. However, the edge component included in the high frequency component is also reduced, and there is a problem that the edge is blurred.
  • the conventional technique has a problem that it is difficult to perform noise reduction processing of an edge portion included in an image.
  • the present invention solves the conventional problems, and an object of the present invention is to provide an image processing apparatus and the like that can better reduce noise in the entire area of an image.
  • an aspect of the image processing apparatus includes a first band limiting unit that reduces noise included in an input image, and noise reduction processing performed by the first band limiting unit.
  • a restoration unit that performs a restoration process for restoring image information other than noise that has been degraded by performing the noise reduction process on the noise reduced image that is the input image that has been applied, and the restoration unit includes: A difference calculation unit that calculates a difference between the input image and the noise reduced image, a prediction noise acquisition unit that acquires a predicted noise amount predicted to be included in the input image, and an absolute value of the difference is the prediction noise
  • a correction signal generating unit that generates a correction signal for correcting the noise-reduced image so as to be within a range of the amount; and an image synthesis unit that corrects the noise-reduced image based on the correction signal.
  • the present invention can be realized not only as such an image processing apparatus but also as an image processing method using characteristic means included in the image processing apparatus as a step, or such characteristic steps in a computer. It can also be realized as a program to be executed. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM (Compact Disc Only Memory) and a transmission medium such as the Internet.
  • a recording medium such as a CD-ROM (Compact Disc Only Memory)
  • a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such an image processing apparatus, or can be realized as an image processing system including such an image processing apparatus.
  • LSI semiconductor integrated circuit
  • FIG. 1 is a configuration diagram illustrating an example of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing an example of the image processing method according to Embodiment 1 of the present invention.
  • FIG. 3A is a diagram showing an example of a noise model in Embodiments 1 to 6 of the present invention.
  • FIG. 3B is a diagram showing another example of the noise model in Embodiments 1 to 6 of the present invention.
  • FIG. 4 is a diagram showing an example of a correction signal calculation method according to Embodiments 1 to 6 of the present invention.
  • FIG. 5A is a diagram illustrating noise included in an input image.
  • FIG. 5B is a diagram illustrating a result of the noise reduction process and the restoration process performed on the linear region illustrated in FIG. 5A.
  • FIG. 6 is a block diagram showing an example of an image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 7 is a block diagram showing an example of an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 8 is a block diagram showing an example of an image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 9 is a block diagram showing an example of an image processing apparatus according to Embodiment 5 of the present invention.
  • FIG. 10 is a block diagram showing an example of an image processing apparatus according to Embodiment 6 of the present invention.
  • FIG. 11 is a block diagram showing a hardware configuration of a computer system that implements the image processing apparatus according to the first to sixth embodiments of the present invention.
  • Patent Document 1 in order to improve the resolution of an input image, control is performed so that a high frequency component among the frequency components of the image included in the region is distributed more than other frequency components in the edge portion.
  • Such processing is processing for emphasizing high-frequency components included in the edge portion. Therefore, there is a lot of noise along with the high frequency component at the edge portion where the high frequency component is emphasized. For this reason, the edge portion has a problem that noise remains.
  • noise reduction processing is performed on the input image and then image blur or blur restoration processing is performed, high frequency components are emphasized.
  • noise remains in the edge portion, and thus there is a problem that the noise is greatly amplified in the edge portion by the restoration processing.
  • the noise included in the edge region cannot be reduced.
  • the image processing apparatus first applies a stronger noise reduction process to the entire area of the input image than in the past. Thereafter, for each pixel, the high frequency component removed excessively by the noise reduction processing is restored. Whether or not it is “excessive” here refers to a prediction noise model determined in advance, and compares the prediction noise amount corresponding to the luminance value of the input image with the image information removed from the input image. Judgment by
  • an aspect of the image processing apparatus includes a first band limiting unit that reduces noise included in an input image, and the noise reduction processing performed by the first band limiting unit.
  • a restoration unit that performs restoration processing to restore image information other than noise that has deteriorated by performing the noise reduction processing on the noise reduced image that is an input image, and the restoration unit includes the input image,
  • a difference calculation unit that calculates a difference from the noise reduced image, a prediction noise acquisition unit that acquires a predicted noise amount predicted to be included in the input image, and an absolute value of the difference within the range of the predicted noise amount
  • a correction signal generation unit that generates a correction signal for correcting the noise-reduced image and an image composition unit that corrects the noise-reduced image based on the correction signal.
  • the restoration unit calculates the difference between the input image and the band-limited image. By comparing the difference with the predicted amount of noise, it is possible to distinguish between noise and a deteriorated component that has deteriorated due to noise reduction processing. Therefore, the degradation component can be restored by generating a correction signal for compensating for the degradation component and synthesizing it with the band-limited image.
  • the difference calculating unit calculates the difference for each corresponding pixel in the input image and the noise reduced image, and the prediction noise acquiring unit corresponds to a pixel in the input image and the noise reduced image.
  • the prediction noise amount may be acquired every time, and the correction signal generation unit may generate the correction signal for each pixel whose absolute value of the difference exceeds the prediction noise amount.
  • the correction signal is a difference between the absolute value of the difference for each pixel and the predicted noise amount
  • the image synthesis unit corresponds to the correction signal generated by the correction signal generation unit.
  • a value obtained by adding either the positive or negative sign of the difference to the correction signal may be added to or subtracted from the pixel value of the pixel.
  • the predicted noise acquisition unit may acquire the predicted noise amount based on the ISO sensitivity used by the imaging device at the time of imaging the input image and the luminance information included in the input image.
  • the magnitude of the predicted noise is determined according to the luminance value of the pixel.
  • the model of the prediction noise changes depending on the ISO sensitivity used when the input image is captured. Therefore, an appropriate predicted noise amount can be acquired based on the ISO sensitivity used when capturing the input image and the luminance information of the image.
  • the prediction noise acquisition unit may acquire the prediction noise amount based on characteristics of an image sensor included in an imaging device that has captured the input image and luminance information included in the input image.
  • the prediction noise model also varies depending on the characteristics of the image sensor used to capture the input image. Therefore, an appropriate predicted noise amount can be acquired based on the characteristics of the image sensor used for imaging and the luminance information of the image.
  • the restoration unit may further include a second band limiting unit that limits the band of the correction signal generated by the correction signal generation unit.
  • a rapid change in pixel values (red, green, and blue luminance values) between neighboring pixels is prevented by reducing high frequency components included in the correction signal generated by the correction signal generation unit. be able to. As a result, noise included in the input image can be further reduced.
  • the restoration unit may further include a third band limiting unit that limits the band of the noise-reduced image corrected by the image synthesis unit.
  • the restoration unit may further perform the restoration process on the noise-reduced image corrected by the image synthesis unit.
  • the restoration unit when the image information lost by the noise reduction process is restored, the restoration unit repeatedly performs the restoration process using the noise reduced image subjected to the noise reduction process as a new input image.
  • the luminance value of each pixel gradually approaches the true luminance value before noise is included in the input image.
  • the prediction noise acquisition unit can acquire the prediction noise amount based on the luminance value closer to the true luminance value. Therefore, the restoration unit can perform noise reduction processing more accurately.
  • the first band limiting unit may limit the band more strongly than the second band limiting unit.
  • the first band limiting unit may limit the band more strongly than the third band limiting unit.
  • the predicted noise acquisition unit may acquire a larger noise amount as the predicted noise amount as the luminance value indicated by the luminance information is larger.
  • One aspect of the image processing method is a first band limiting step for reducing noise included in an input image, and noise that is the input image that has been subjected to noise reduction processing in the first band limiting step.
  • a correction signal generating step for generating a correction signal for correcting the noise reduced image, and correcting the noise reduced image based on the correction signal Including an image synthesizing step.
  • FIG. 1 is a functional configuration diagram of an image processing apparatus 100 according to Embodiment 1 of the present invention.
  • the image processing apparatus 100 is typically a part of an imaging apparatus such as a digital still camera or a video camera, but may be implemented as software that operates on a personal computer.
  • the image processing apparatus 100 includes a first band limiting unit 10 and a restoration unit 20.
  • the first band limiting unit 10 performs band limiting on the input image and limits high frequency components including noise. That is, the first band limiting unit 10 reduces noise included in the input image.
  • the first band limiting unit 10 for example, at least one of a low-pass filter, a Gaussian filter, a bilateral filter, and the like may be used.
  • noise means random noise such as so-called light shot noise.
  • the restoration unit 20 restores the deteriorated edge component to the image whose noise is reduced by the first band limiting unit 10.
  • the restoration unit 20 performs a restoration process for restoring image information other than noise that has deteriorated due to the noise reduction process, on the noise reduced image that is the input image on which the noise reduction process has been performed by the first band limiting unit 10.
  • Image information other than noise is, for example, an edge component included in the input image.
  • the restoration unit 20 includes a difference calculation unit 21, a correction signal generation unit 22, an image synthesis unit 23, and a prediction noise acquisition unit 26.
  • the difference calculation unit 21 calculates the difference between the input image and the image whose high frequency component is limited by the first band limiting unit 10 (that is, the noise reduction image). More specifically, the difference calculation unit 21 calculates a difference for each corresponding pixel in the input image and the noise reduced image.
  • the prediction noise acquisition unit 26 acquires a prediction noise amount predicted to be included in the input image. More specifically, the predicted noise amount is acquired based on noise information including ISO sensitivity and image sensor characteristics used when an input image is captured by the imaging device, and luminance information of the image. Here, the predicted noise acquisition unit 26 acquires the predicted noise amount for each corresponding pixel in the input image and the noise reduced image.
  • the correction signal generation unit 22 generates a correction signal (hereinafter referred to as a correction signal) for a deteriorated edge based on the difference calculated by the difference calculation unit 21 and the predicted noise amount acquired by the predicted noise acquisition unit 26. To do. Specifically, a correction signal for correcting the noise-reduced image is generated so that the absolute value of the difference is within the range of the predicted noise amount.
  • the correction signal generation unit 22 generates a correction signal for each pixel in which the absolute value of the difference calculated by the difference calculation unit 21 exceeds the predicted noise amount.
  • the image synthesis unit 23 Based on the correction signal generated by the correction signal generation unit 22, the image synthesis unit 23 corrects the noise reduced image in which the high frequency component is limited by the first band limiting unit 10, and outputs the corrected noise reduced image. To do.
  • FIG. 2 is a flowchart showing the flow of processing in the image processing apparatus 100 according to Embodiment 1 of the present invention.
  • the first band limiting unit 10 performs band limitation on the input image (S11).
  • high frequency components including noise are limited. That is, a high frequency component is reduced among the frequency components included in the input image. Thereby, noise is reduced from the input image.
  • the method to be used is not limited regarding the high frequency component limitation. Any method such as a general low-pass filter may be used as long as it has an effect of limiting high frequency components.
  • the image in which the high frequency component is restricted by the first band restriction unit 10 is reduced in noise and edge components included in the high frequency component, so that the edge is deteriorated and the image is blurred. Therefore, the image processing apparatus 100 according to the first embodiment performs restoration of the edge deteriorated by the restoration unit 20 after performing the band limitation process.
  • the difference calculation unit 21 calculates the difference between the input image and the band-limited image (S12).
  • the predicted noise acquisition unit 26 acquires a predicted noise amount based on noise information obtained from ISO sensitivity, sensor characteristics, and the like and the luminance of the image.
  • the predicted noise amount indicates a predicted noise amount that is a reference under a certain condition. For example, the maximum amount of noise expected at a certain luminance.
  • random noise included in an image has a property that it depends on the luminance of the image signal. Further, the captured image is increased in gain by the ISO sensitivity at the time of shooting, and noise is amplified accordingly. That is, the amount of random noise predicted to be included in the image can be obtained based on the characteristics of the image sensor, noise information such as ISO sensitivity at the time of shooting, and the luminance of the image signal. Therefore, using this property, the amount of noise is predicted by measuring in advance the relationship between the luminance and the amount of noise for each pixel included in the image captured by the image capturing device under predetermined conditions. A noise model can be created.
  • FIG. 3A shows an example of a noise model.
  • the graph shows the relationship between the luminance shown on the horizontal axis and the predicted noise amount shown on the vertical axis.
  • the predicted noise acquisition unit 26 acquires a larger noise amount as the predicted noise amount as the luminance value indicated by the luminance information is larger.
  • the relationship between the luminance value of the pixel and the predicted noise amount is a linear relationship, but it is not limited to this depending on the characteristics of the camera used as the imaging device. For example, a model in which the luminance increases and the predicted noise amount increases nonlinearly is also conceivable. Furthermore, as shown in FIG. 3B, although the luminance increases below a certain luminance value and the prediction noise amount increases, a model in which the prediction noise amount is constant or decreases when exceeding a certain luminance value is also conceivable.
  • the predicted noise acquisition unit 26 acquires the predicted noise amount from the luminance of the input image by referring to the noise model determined in advance as described above.
  • the correction signal generation unit 22 generates a correction signal using the difference between the input image and the band-limited image (noise reduction image) and the predicted noise amount calculated from the predicted noise acquisition unit 26 (S13).
  • the difference between the input image and the band-limited image includes a noise component and a degradation signal at the edge portion of the image that causes the image to be blurred by the band-limiting process.
  • the correction signal generation unit 22 distinguishes noise and a deterioration signal at the edge portion of the image, and generates a corresponding correction signal when it is determined as a deterioration signal at the edge portion of the image.
  • FIG. 4 is a diagram showing an example of a correction signal calculation method according to Embodiment 1 of the present invention.
  • the correction signal generation unit 22 compares the absolute value of d (i) with n (i).
  • the absolute value of the difference is larger than the predicted noise amount, the luminance value is changed beyond the range of the predicted noise amount in the pixel i when the first band limiting unit 10 limits the high frequency component. It is thought. Therefore, it can be determined that the pixel i is a pixel in which the edge component of the image signal is deteriorated. Therefore, the correction signal generation unit 22 generates a correction signal for the pixel i whose absolute value of the difference exceeds the predicted noise amount.
  • the correction signal is expressed by Equation 1 below.
  • the correction signal generation unit 22 generates a correction signal such that the difference is within the predicted noise amount range. That is, the correction signal is a difference between the absolute value of the difference and the predicted noise amount calculated for each of the plurality of pixels.
  • the absolute value of the difference exceeds the predicted noise amount among the pixels whose high frequency components are limited by the first band limiting unit 10 in the correction signal generated by the correction signal generating unit 22.
  • the deteriorated edge portion is corrected by combining with the existing pixel according to Equation 2 described later (S14).
  • res (i) is It is calculated by the following formula 2.
  • sign (d (i)) is a function representing the sign of d (i).
  • the difference calculation unit 21 calculates the difference by subtracting each of the pixel values of the corresponding pixels included in the input image from each of the pixel values of the pixels included in the noise reduced image. It is assumed that However, for example, the difference calculation unit 21 calculates the difference by subtracting each of the pixel values of the corresponding pixels included in the noise reduction image from each of the pixel values of the pixels included in the input image. Also good. In this case, in Equation 2, pre (i) and sign (d (i)) ⁇ c (i) are added.
  • the image synthesizing unit 23 determines whether the sign calculated by the difference calculating unit 21 has a positive or negative sign from the pixel value of the pixel corresponding to the correction signal generated by the correction signal generating unit 22. Add or subtract the value added with.
  • the noise of the input image can be reduced by band limitation, and then the edge can be restored using the predicted noise amount as a reference. Therefore, there is no deterioration of the image signal at the edge portion, and noise can be reduced satisfactorily. Further, even when processing such as image restoration is performed after noise reduction processing, noise is not emphasized, and high-definition image quality can be obtained.
  • the predicted noise amount in units of pixels when the predicted noise amount in units of pixels is acquired, the predicted noise amount is acquired by referring to the noise model based on the luminance of the input image.
  • the predicted noise amount may be calculated by referring to the noise model based on the luminance of the image whose noise is reduced by the first band limiting unit 10.
  • a new band limitation processing unit may be provided without using the first band limitation unit 10.
  • the image processing apparatus 100 reduces the noise included in the input image by the new band limitation processing unit, and then based on the luminance of the pixels included in the image in which the noise is reduced by the new band limitation processing unit.
  • the predicted noise amount may be acquired with reference to FIG.
  • the noise model is typically recorded in advance in a memory or the like provided in an image capturing apparatus such as a digital still camera in which the image processing apparatus 100 is incorporated.
  • the noise model may be recorded in a database connected to the network.
  • the image processing apparatus 100 can acquire a noise model from a database via a network such as the Internet.
  • FIGS. 5A to 5B are conceptual diagrams for explaining the effect of the image processing apparatus 100 according to the present embodiment.
  • the horizontal axis indicates the position of the pixel included in the linear region set on the image.
  • the vertical axis indicates the luminance value in the corresponding pixel.
  • FIG. 5A shows noise included in the input image. A state in which random noise is placed at a place where the luminance value is flat is shown. Note that the portion where the luminance value changes abruptly corresponds to the edge region of the image.
  • FIG. 5B shows the result of the noise reduction processing performed by the first band limiting unit 10 on the linear region shown in FIG. 5A.
  • the sharp rise of the luminance value is moderated. This indicates that the edge area of the image is blurred.
  • FIG. 5B (b) shows the result of the restoration processing performed by the restoration unit 20 on the linear region shown in FIG. 5B (a). Due to the noise reduction processing by the first band limiting unit 10, the rising edge of the luminance that has been distorted is restored. This indicates that the sharpness that the input image originally had in the edge region can be restored.
  • the image processing apparatus 100 it is possible to remove noise included in the input image in the entire image area and to suppress the influence of excessive noise reduction processing. Therefore, the noise reduction process can be performed on the input image without impairing the sharpness of the edge portion where the influence of the excessive noise reduction process is prominent.
  • FIG. 6 is a functional configuration diagram of the image processing apparatus 100A according to Embodiment 2 of the present invention.
  • the second band limiting unit 24 included in the restoration unit 20 ⁇ / b> A performs band limiting on the correction signal generated by the correction signal generating unit 22. Specifically, the second band limiting unit 24 performs a smoothing process on the correction signal.
  • the correction signal generation unit 22 calculates the correction signal in units of pixels, there may be a large difference between the pixels in the magnitude of the correction signal. As a result, a large difference may occur between the luminance values of the pixels included in the noise-reduced image after correction by the image composition unit 23. There is a possibility that this difference in luminance value becomes new noise and appears in the output image. Accordingly, the second band limiting unit 24 performs band limitation on the correction signal generated by the correction signal generating unit, thereby suppressing a rapid change in luminance between adjacent pixels. According to this configuration, the image processing apparatus 100A can further reduce noise while suppressing the generation of new noise.
  • the band limiting process of the second band limiting unit 24 can be realized by an arbitrary process as long as it has an effect of limiting the high frequency component.
  • any method such as a low-pass filter or an edge retaining filter such as bilateral may be used.
  • the first band limiting unit 10 preferably limits the band more strongly than the second band limiting unit 24. This is because the restoration process by the restoration unit 20A is performed later, and thus the first band limiting unit 10 can prioritize the noise reduction effect over the influence on the edge.
  • the second band limiting unit 24 is preferably an edge retaining filter. This is because the processing for restoring the edge portion is not performed after the processing by the second band limiting unit 24, and therefore the second band limiting unit 24 is desirably a process capable of maintaining the pixel information of the edge portion as much as possible.
  • FIG. 7 is a functional configuration diagram of the image processing apparatus 100B according to Embodiment 3 of the present invention.
  • the same components as those in FIG. 7 are identical to FIG. 7 and the same components as those in FIG. 7;
  • the third band limiting unit 25 included in the restoration unit 20B further performs band limitation on the noise-reduced image corrected by the image synthesis unit 23.
  • the third band limiting unit 25 performs high frequency band limitation on the output of the image synthesizing unit 23, so that residual noise included in the corrected image can be reduced. Therefore, the image processing apparatus 100B can output an output image with better image quality.
  • the band limiting process of the third band limiting unit 25 can be realized by an arbitrary process as long as it has an effect of limiting the high frequency component.
  • any method such as a low-pass filter or an edge retaining filter such as bilateral may be used.
  • the first band limiting unit 10 preferably limits the band more strongly than the third band limiting unit 25. This is because the restoration process by the restoration unit 20B is performed later, and thus the first band limiting unit 10 can prioritize the noise reduction effect over the influence on the edge.
  • the third band limiting unit 25 is preferably an edge retaining filter. This is because the processing for restoring the edge portion is not performed after the processing by the third band limiting unit 25, and therefore the third band limiting unit 25 is desirably a process capable of maintaining the pixel information of the edge portion as much as possible.
  • FIG. 8 is a functional configuration diagram of the image processing apparatus 100C according to Embodiment 4 of the present invention. 8, the same components as those in FIGS. 6 and 7 are denoted by the same reference numerals, and the description thereof is omitted.
  • the noise reduction effect can be further improved by using both the second band limiting unit 24 and the third band limiting unit 25 of the restoration unit 20C.
  • a rapid change can be suppressed between adjacent pixels, and a good image quality can be obtained.
  • the second band limiting unit 24 performs band limitation on the correction signal calculated by the correction signal generating unit 22.
  • the correction signal generation unit 22 calculates the correction signal in units of pixels, there may be a large difference between the pixels in the magnitude of the correction signal. As a result, a large difference may occur between the luminance values of the pixels included in the noise-reduced image after correction by the image composition unit 23. There is a possibility that this difference in luminance value becomes new noise and appears in the output image. Accordingly, the second band limiting unit 24 performs band limitation on the correction signal generated by the correction signal generating unit, thereby suppressing a rapid change in luminance between adjacent pixels. With this configuration, the image processing apparatus 100 ⁇ / b> C can further reduce noise while suppressing the generation of new noise.
  • the third band limiting unit 25 further performs band limiting on the image signal synthesized by the image synthesizing unit 23.
  • the third band limiting unit 25 performs high frequency band limitation on the output of the image synthesizing unit 23, so that residual noise included in the corrected image can be reduced. Therefore, the image processing apparatus 100C can output an output image with better image quality.
  • the second band limiting unit 24 and the third band limiting unit 25 are arbitrary as long as the second band limiting unit 24 and the third band limiting unit 25 have the effect of limiting the high frequency component, as in the second and third embodiments. It can be realized by processing. For example, any method such as an edge retaining filter such as a low-pass filter or a bilateral filter may be used.
  • the first band limiting unit 10 preferably limits the band more strongly than the second band limiting unit 24 and the third band limiting unit 25. This is because the restoration process by the restoration unit 20C is performed later, and thus the first band limiting unit 10 can prioritize the noise reduction effect over the influence on the edge.
  • FIG. 9 is a functional configuration diagram of the image processing apparatus 100D according to Embodiment 5 of the present invention. 9, the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
  • the restoration unit 20D included in the image processing apparatus 100D further performs restoration processing on the noise reduced image corrected by the image synthesis unit 23. This will be described in more detail below.
  • the image processing device 100D includes a first band limiting unit 10, a first buffer 30, and a restoration unit 20D.
  • the first buffer 30 is a buffer for temporarily storing the output image of the image composition unit 23.
  • the restoration unit 20D repeatedly performs the restoration process a plurality of times using the input image and the output image of the image composition unit 23 temporarily stored in the first buffer 30.
  • the prediction noise acquisition unit 26 included in the image processing apparatus 100 according to Embodiment 1 acquires the prediction noise amount based on the luminance information included in the input image.
  • the input image originally contains noise. Therefore, in the first embodiment, the correction signal generation unit 22 generates a correction signal based on the amount of noise predicted from the luminance including noise.
  • the restoration unit 20D repeats the restoration process recursively with respect to its own output. Therefore, for example, in the second loop processing, the correction signal generation unit 22D can generate a correction signal based on the amount of noise predicted from the luminance of the image with further reduced noise.
  • the restoration process in the restoration unit 20D may be adjusted to be weak, and the degraded edge component may be gradually restored for each loop. According to this, highly accurate edge restoration can be performed.
  • the difference calculation unit 21D calculates the difference between the input image and the image whose high frequency component is limited by the first band limiting unit 10. Further, the predicted noise acquisition unit 26D acquires the predicted noise amount from the luminance value for each pixel included in the input image and noise information such as ISO sensitivity or sensor characteristics.
  • the difference calculation unit 21D calculates the difference between the original input image and the corrected noise-reduced image output immediately before from the image synthesis unit 23 and stored in the first buffer 30. calculate. Further, the predicted noise acquisition unit 26D acquires the predicted noise amount from the luminance value for each pixel included in the corrected noise reduced image stored in the first buffer 30 and the noise information.
  • the correction signal generation unit 22D generates a correction signal by applying the calculated difference and the reference predicted noise amount to Equation 1 described above.
  • correction signal generation unit 22 may adjust the correction amount for each processing loop so that the correction amount is not corrected larger than the correction amount limit value in one loop.
  • the correction signal is expressed as Equation 3 below using a loop coefficient k (l).
  • l is a loop number
  • k (l) is a real value from 0 to 1.
  • the edge of the image output from the image composition unit 23 is corrected little by little for each loop, and the deterioration of the edge is reduced.
  • the correction signal generation unit 22 can calculate the predicted noise amount more accurately by using the image whose edge is corrected. For this reason, the noise contained in the difference image and the degradation signal at the edge portion of the image can be more accurately distinguished, and the correction signal can be generated with high accuracy.
  • the deteriorated edge component can be restored with high accuracy by feeding back the output of the image composition unit 23 to the first buffer 30 and repeatedly performing the restoration process in the restoration unit 20. Therefore, it is possible to finally suppress the deterioration of the edge while reducing noise and obtain a high-definition image.
  • FIG. 10 is a functional configuration diagram of an image processing apparatus 100E according to Embodiment 6 of the present invention. 10, the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
  • the image processing apparatus 100E includes a first band limiting unit 10, a restoration unit 20E, and a second buffer 40.
  • the second buffer 40 is a buffer for temporarily storing the output image of the image composition unit 23.
  • the image processing apparatus 100E repeatedly performs the band limitation process performed by the first band limitation unit 10 and the restoration process performed by the restoration unit 20E a plurality of times as loop processing.
  • the image processing apparatus 100E according to the sixth embodiment of the present invention uses the second buffer 40 instead of the first buffer 30 according to the fifth embodiment.
  • Other parts are the same as those of the fifth embodiment, and the description thereof is omitted.
  • the image processing apparatus 100E feeds back the corrected noise-reduced image output from the image synthesis unit 23 to the second buffer 40. Thereafter, a restoration process is further performed by the restoration unit 20E on the image band-limited by the first band restriction unit 10 again. More specifically, the difference calculation unit 21E calculates the difference between the input image and the noise reduced image that has been subjected to the noise reduction processing by the first band limiting unit 10.
  • the predicted noise acquisition unit 26E acquires the predicted noise amount based on the luminance value for each pixel included in the input image for the first time and based on the luminance value for each pixel included in the noise reduced image for the second time and thereafter.
  • the correction signal generation unit 22E calculates a correction signal from the outputs of the difference calculation unit 21E and the prediction noise acquisition unit 26E.
  • the image processing apparatus 100E can restore the edge with high accuracy. As a result, it is possible to finally suppress the deterioration of the edge while reducing the noise and obtain a high-definition image.
  • FIG. 11 is a block diagram illustrating a hardware configuration of a computer system that implements the image processing apparatuses 100, 100A, 100B, 100C, 100D, and 100E.
  • the image processing apparatuses 100, 100A, 100B, 100C, 100D, and 100E are collectively referred to as the image processing apparatus 100 and the like.
  • the image processing apparatus 100 or the like includes a computer 534, a keyboard 536 and a mouse 538 for giving instructions to the computer 534, a display 532 for presenting information such as calculation results of the computer 534, and a program executed by the computer 534 CD-ROM (Compact Disc-Read Only Memory) device 540 and a communication modem (not shown).
  • a computer 534 includes a keyboard 536 and a mouse 538 for giving instructions to the computer 534, a display 532 for presenting information such as calculation results of the computer 534, and a program executed by the computer 534 CD-ROM (Compact Disc-Read Only Memory) device 540 and a communication modem (not shown).
  • CD-ROM Compact Disc-Read Only Memory
  • a program that is a process performed by the image processing apparatus 100 or the like is stored in a CD-ROM 542 that is a computer-readable medium, and is read by the CD-ROM apparatus 540.
  • the data is read by the communication modem 552 through a computer network.
  • the computer 534 includes a CPU (Central Processing Unit) 544, a ROM (Read Only Memory) 546, a RAM (Random Access Memory) 548, a hard disk 550, a communication modem 552, and a bus 554.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 544 executes a program read via the CD-ROM device 540 or the communication modem 552.
  • the ROM 546 stores programs and data necessary for the operation of the computer 534.
  • the RAM 548 stores data such as parameters when the program is executed.
  • the hard disk 550 stores programs and data.
  • the communication modem 552 communicates with other computers via a computer network.
  • the bus 554 connects the CPU 544, ROM 546, RAM 548, hard disk 550, communication modem 552, display 532, keyboard 536, mouse 538, and CD-ROM device 540 to each other.
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • a part or all of the constituent elements constituting each of the above devices may be constituted by an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Moreover, it is good also as a computer program which implement
  • the present invention provides a recording medium capable of reading the computer program or the digital signal, such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray Disc). (Registered trademark)), a memory card such as a USB memory or an SD card, or a semiconductor memory. Further, the digital signal may be recorded on these recording media.
  • a recording medium capable of reading the computer program or the digital signal, such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray Disc). (Registered trademark)), a memory card such as a USB memory or an SD card, or a semiconductor memory.
  • the digital signal may be recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory, in which the memory stores the computer program, and the microprocessor operates according to the computer program.
  • program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like and executed by another independent computer system. You may do that.
  • the present invention can be applied to an image processing apparatus or the like.
  • the present invention can be applied to an image processing apparatus or the like for reducing image noise.
  • First band limiting unit 20 20A, 20B, 20C, 20D, 20E Restoring unit 21, 21D, 21E Difference calculating unit 22, 22D, 22E Correction signal generating unit 23 Image synthesizing unit 24 Second band limiting unit 25 Second 3 Band limiting unit 26, 26D, 26E Predictive noise acquisition unit 30 First buffer 40 Second buffer 100, 100A, 100B, 100C, 100D, 100E Image processing device 532 Display 534 Computer 536 Keyboard 538 Mouse 540 CD-ROM device 542 CD-ROM 544 CPU 546 ROM 548 RAM 550 Hard disk 552 Communication modem 554 Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　本発明に係る画像処理装置（１００）は、入力画像に含まれるノイズを低減する第１の帯域制限部（１０）と、第１の帯域制限部（１０）でノイズ低減処理が施された入力画像であるノイズ低減画像に対して、ノイズ低減処理を施すことにより劣化した、ノイズ以外の画像情報を復元する復元処理を施す復元部（２０）とを備え、復元部（２０）は、入力画像と、ノイズ低減画像との差分を算出する差分算出部（２１）と、入力画像に含まれると予測される予測ノイズ量を取得する予測ノイズ取得部（２６）と、差分の絶対値が予測ノイズ量の範囲に収まるように、ノイズ低減画像を補正するための補正信号を生成する補正信号生成部（２２）と、補正信号に基づいて、ノイズ低減画像を補正する画像合成部（２３）とを有する。

Description

画像処理装置及び画像処理方法
　本発明は画像処理装置及び画像処理方法に関する。特に、ブレやボケ劣化画像を復元して高精細画像を生成する画像処理装置及び画像処理方法に関する。
　画像復元処理は、ボケやブレなどによる劣化画像を高精細な画像に再現することができる。しかし、復元処理では、画像の高周波数成分を強調するため、画像に含まれるノイズも大幅に増幅される。このため、良好な復元結果画像を得るために、復元処理を行う前に高精度のノイズ低減処理が必要となっている。
　一般のノイズ低減処理は、例えば、ローパスフィルタによる処理がある。これは、画像の高周波数成分を制限することによって、ノイズが低減される。しかし、高周波数成分に含まれているエッジ成分も低減され、エッジがぼけるという課題がある。
　これに対して、従来は、画像の平坦部及びエッジ部それぞれに対して、異なるノイズ低減処理を行う技術が開示されている（例えば、特許文献１、及び特許文献２を参照）。
特開２００７－６０４５７号公報 特開昭６４－６００６５号公報
　しかしながら、従来技術には、画像に含まれるエッジ部分のノイズ低減処理が難しいという課題がある。
　本発明は、従来の課題を解決するもので、画像の全領域においてより良好にノイズを低減させる画像処理装置等を提供することを目的とする。
　従来の課題を解決するために、本発明に係る画像処理装置の一態様は、入力画像に含まれるノイズを低減する第１の帯域制限部と、前記第１の帯域制限部でノイズ低減処理が施された前記入力画像であるノイズ低減画像に対して、前記ノイズ低減処理を施すことにより劣化した、ノイズ以外の画像情報を復元する復元処理を施す復元部とを備え、前記復元部は、前記入力画像と、前記ノイズ低減画像との差分を算出する差分算出部と、前記入力画像に含まれると予測される予測ノイズ量を取得する予測ノイズ取得部と、前記差分の絶対値が前記予測ノイズ量の範囲に収まるように、前記ノイズ低減画像を補正するための補正信号を生成する補正信号生成部と、前記補正信号に基づいて、前記ノイズ低減画像を補正する画像合成部とを有する。
　なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な手段をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのはいうまでもない。
　さらに、本発明は、このような画像処理装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を含む画像処理システムとして実現したりできる。
　本発明によれば、画像の全領域において良好にノイズを低減させる画像処理装置を提供できる。
図１は、本発明の実施の形態１における画像処理装置の一例を示す構成図である。 図２は、本発明の実施の形態１における画像処理方法の一例を示すフローチャートである。 図３Ａは、本発明の実施の形態１～６におけるノイズモデルの一例を示す図である。 図３Ｂは、本発明の実施の形態１～６におけるノイズモデルの他の一例を示す図である。 図４は、本発明の実施の形態１～６における補正信号の算出方法の一例を示す図である。 図５Ａは、入力画像に含まれるノイズを示す図である。 図５Ｂは、図５Ａに示される直線領域に対して、ノイズ低減処理及び復元処理が施された結果を示す図である。 図６は、本発明の実施の形態２における画像処理装置の一例を示す構成図である。 図７は、本発明の実施の形態３における画像処理装置の一例を示す構成図である。 図８は、本発明の実施の形態４における画像処理装置の一例を示す構成図である。 図９は、本発明の実施の形態５における画像処理装置の一例を示す構成図である。 図１０は、本発明の実施の形態６における画像処理装置の一例を示す構成図である。 図１１は、本発明の実施の形態１～６にかかる画像処理装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、ノイズ低減処理に関し、以下の問題が生じることを見出した。
　特許文献１では、入力画像の解像度を改善するために、エッジ部分では、当該領域に含まれる画像の周波数成分のうち高周波数成分を、他の周波数成分よりも多く配分するように制御する。かかる処理は、エッジ部分に含まれる高周波数成分を強調する処理である。従って、高周波数成分が強調されたエッジ部分には、高周波数成分と共にノイズが多く存在している。このため、エッジ部分では、ノイズが残るという課題を有している。
　また、特許文献２に示されるエッジ部なまり補正では、画像に含まれる周波数成分のうち高周波数成分を強調する高域フィルタを利用しているため、ノイズを含む高周波数成分が強調される。その後スライサでノイズを除去するが、輝度によってノイズ量が変動する性質を考慮していないため、一定レベルのノイズしか除去できない。さらに、増幅器でエッジ成分を強調するため、エッジ付近に残っているノイズも強調されるという課題を有している。
　さらに、入力画像にノイズ低減処理を施した後、画像のボケやブレの復元処理を行う場合、高周波数成分が強調されることになる。従来のノイズ低減処理では、エッジ部分ではノイズが残るため、復元処理によって、エッジ部分においてノイズが大幅に増幅されるという課題を有している。
　すなわち、本発明の関連技術においては、入力画像に含まれるエッジ領域と他の領域とで異なるノイズ低減処理を施す。これにより、エッジ領域のボケを抑えつつ、ノイズ低減処理を行うことを目的としている。
　しかし、前述のように、関連技術によると、エッジ領域に含まれるノイズを低減しきれない。
　そこで、本発明に係る画像処理装置は、まず入力画像の全領域に対して、従来よりも強めのノイズ低減処理を施す。その後、画素ごとに、ノイズ低減処理により過剰に取り除かれた高周波数成分を復元する。ここで「過剰」であるか否かは、事前に定められた予測ノイズモデルを参照することにより、入力画像の輝度値に対応する予測ノイズ量と、入力画像から取り除いた画像情報とを比較することにより判断する。
　具体的には、本発明に係る画像処理装置の一態様は、入力画像に含まれるノイズを低減する第１の帯域制限部と、前記第１の帯域制限部でノイズ低減処理が施された前記入力画像であるノイズ低減画像に対して、前記ノイズ低減処理を施すことにより劣化した、ノイズ以外の画像情報を復元する復元処理を施す復元部とを備え、前記復元部は、前記入力画像と、前記ノイズ低減画像との差分を算出する差分算出部と、前記入力画像に含まれると予測される予測ノイズ量を取得する予測ノイズ取得部と、前記差分の絶対値が前記予測ノイズ量の範囲に収まるように、前記ノイズ低減画像を補正するための補正信号を生成する補正信号生成部と、前記補正信号に基づいて、前記ノイズ低減画像を補正する画像合成部とを有する。
　これによれば、入力画像の全領域においてノイズ低減処理を実行した後に、ノイズ低減処理において過剰に帯域が制限されてしまった画素情報を復元することにより、入力画像に元々含まれていたエッジの復元を行うことができる。その結果、良好なノイズ低減画像を得ることができる。具体的には、復元部では、入力画像と帯域制限された画像との差分を算出する。差分と予測されるノイズ量とを比較することで、ノイズと、ノイズ低減処理により劣化した劣化成分とを区別することができる。したがって、劣化成分を補うための補正信号を生成し、帯域制限された画像と合成することで、劣化成分を復元することができる。
　また、前記差分算出部は、前記入力画像と前記ノイズ低減画像とにおいて、対応する画素ごとに前記差分を算出し、前記予測ノイズ取得部は、前記入力画像と前記ノイズ低減画像とにおいて対応する画素ごとに前記予測ノイズ量を取得し、前記補正信号生成部は、前記差分の絶対値が前記予測ノイズ量を上回っている画素のそれぞれについて前記補正信号を生成するとしてもよい。
　これによれば、ノイズ低減処理により画像情報が劣化している画素を判別でき、補正信号を生成する必要がある画素を特定できる。
　具体的には、前記補正信号は、画素ごとの前記差分の絶対値と前記予測ノイズ量との差であり、前記画像合成部は、前記補正信号生成部で生成された前記補正信号に対応する画素が有する画素値から、当該補正信号に前記差分が有する正負いずれかの符号を付加した値を加算又は減算するとしてもよい。
　また、前記予測ノイズ取得部は、撮像装置が前記入力画像を撮像時に使用したＩＳＯ感度と、前記入力画像に含まれる輝度情報とに基づいて前記予測ノイズ量を取得するとしてもよい。
　一般に、画素の輝度値に応じて、予測ノイズの大きさが定まる。また、予測ノイズのモデルは、入力画像の撮像時に使用されたＩＳＯ感度により変化する。したがって、入力画像を撮像する時に使用されたＩＳＯ感度と画像の輝度情報とに基づくことで、適切な予測ノイズ量を取得できる。
　また、前記予測ノイズ取得部は、前記入力画像を撮像した撮像装置が有する画像センサーの特性と、前記入力画像に含まれる輝度情報とに基づいて前記予測ノイズ量を取得するとしてもよい。
　予測ノイズのモデルは、入力画像の撮像に使用された画像センサーの特性によっても変化する。したがって、撮像に使用された画像センサーの特性と画像の輝度情報とに基づくことで、適切な予測ノイズ量を取得できる。
　また、前記復元部は、さらに、前記補正信号生成部が生成した前記補正信号を帯域制限する第２の帯域制限部を備えるとしてもよい。
　これによれば、補正信号生成部で生成された補正信号に含まれる高周波数成分を低減させることによって、近隣画素間において画素値（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ各々の輝度値）の急激な変化を防ぐことができる。その結果、入力画像に含まれるノイズをさらに低減することができる。
　また、前記復元部は、さらに、前記画像合成部で補正された前記ノイズ低減画像を帯域制限する第３の帯域制限部を備えるとしてもよい。
　これによれば、補正後の画像に対して、帯域制限を行い、高周波数成分を制限することによって、よりノイズ低減効果を高めることができる。
　また、前記復元部は、前記画像合成部で補正された前記ノイズ低減画像に対して、さらに前記復元処理を施すとしてもよい。
　これによれば、ノイズ低減処理により失われた画像情報を復元する際、１度ノイズ低減処理が施されたノイズ低減画像を新たな入力画像として、復元部により繰り返し復元処理を行う。その結果、各画素の輝度値が、入力画像にノイズが含まれる前の真の輝度値に漸近していく。これにより、予測ノイズ取得部は、真の輝度値により近い輝度値に基づいて、予測ノイズ量を取得することができる。したがって、復元部は、より正確にノイズ低減処理を施すことができる。
　また、前記第１の帯域制限部は前記第２の帯域制限部よりも、強く帯域を制限するとしてもよい。
　また、前記第１の帯域制限部は前記第３の帯域制限部よりも、強く帯域を制限するとしてもよい。
　また、前記予測ノイズ取得部は、前記輝度情報により示される輝度値が大きいほど、より大きなノイズ量を前記予測ノイズ量として取得するとしてもよい。
　本発明に係る画像処理方法の一態様は、入力画像に含まれるノイズを低減する第１の帯域制限ステップと、前記第１の帯域制限ステップにおいてノイズ低減処理が施された前記入力画像であるノイズ低減画像に対して、前記ノイズ低減処理を施すことにより劣化した、ノイズ以外の画像情報を復元する復元処理を施す復元ステップとを含み、前記復元ステップは、前記入力画像と、前記ノイズ低減画像との差分を算出する差分算出ステップと、前記入力画像に含まれると予測される予測ノイズ量を取得する予測ノイズ取得ステップと、前記差分の絶対値が前記予測ノイズ量の範囲に収まるように、前記ノイズ低減画像を補正するための補正信号を生成する補正信号生成ステップと、前記補正信号に基づいて、前記ノイズ低減画像を補正する画像合成ステップとを含む。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下本発明の実施の形態について、図面を参照しながら説明する。
　なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　図１は、本発明の実施の形態１における画像処理装置１００の機能構成図である。なお、画像処理装置１００は、典型的には、デジタルスチールカメラ、ビデオカメラ等の撮像装置の一部であるが、パーソナルコンピュータ上で動作するソフトウェアとして実装してもよい。
　本発明の実施の形態１における画像処理装置１００は、第１帯域制限部１０と、復元部２０とを備える。
　第１帯域制限部１０は、入力画像に対して、帯域制限を行い、ノイズを含む高周波数成分を制限する。すなわち、第１帯域制限部１０は、入力画像に含まれるノイズを低減する。第１帯域制限部１０としては、例えば、ローパスフィルタ、ガウシアンフィルタ、及びバイラテラルフィルタ等のうちの少なくとも１つを使用することが考えられる。
　なお、以後ノイズとは、いわゆる光ショットノイズ等のランダムノイズを意味する。
　復元部２０は、第１帯域制限部１０でノイズを低減した画像に対して、劣化したエッジ成分の復元を行う。復元部２０は、第１帯域制限部１０でノイズ低減処理が施された入力画像であるノイズ低減画像に対して、ノイズ低減処理により劣化した、ノイズ以外の画像情報を復元する復元処理を施す。ノイズ以外の画像情報とは、例えば、入力画像に含まれるエッジ成分である。
　より具体的には、復元部２０は、差分算出部２１、補正信号生成部２２、画像合成部２３、及び予測ノイズ取得部２６を有する。
　差分算出部２１は、入力画像と、第１帯域制限部１０で高周波数成分が制限された画像（すなわち、ノイズ低減画像）との差分を算出する。より詳細には、差分算出部２１は、入力画像とノイズ低減画像とにおいて対応する画素ごとに差分を算出する。
　予測ノイズ取得部２６は、入力画像に含まれると予測される予測ノイズ量を取得する。より詳細には、撮像装置によって入力画像を撮像した際に使用されたＩＳＯ感度や画像センサーの特性等を含むノイズ情報と、画像の輝度情報とに基づいて予測ノイズ量を取得する。ここで、予測ノイズ取得部２６は、入力画像及びノイズ低減画像において対応する画素ごとに予測ノイズ量を取得する。
　補正信号生成部２２は、差分算出部２１により算出された差分と予測ノイズ取得部２６により取得された予測ノイズ量とに基づいて、劣化されたエッジの補正信号（以下、補正信号という）を生成する。具体的には、差分の絶対値が予測ノイズ量の範囲に収まるように、ノイズ低減画像を補正するための補正信号を生成する。ここで、補正信号生成部２２は、差分算出部２１によって算出された差分の絶対値が予測ノイズ量を上回っている画素のそれぞれについて補正信号を生成する。
　画像合成部２３は、補正信号生成部２２で生成された補正信号に基づいて、第１帯域制限部１０で高周波数成分が制限されたノイズ低減画像を補正し、補正後のノイズ低減画像を出力する。
　図２は本発明の実施の形態１における画像処理装置１００における処理の流れを示すフローチャートである。
　まず、第１帯域制限部１０では、入力画像に対して、帯域制限を行う（Ｓ１１）。ここでは、ノイズを低減するために、ノイズを含む高周波数成分の制限を行う。すなわち、入力画像に含まれる周波数成分のうち高周波数成分を低減させる。これによって、入力画像からノイズが低減される。本実施の形態では、高周波数成分制限に関しては、利用する方法を限定しない。高周波数成分を制限する効果があれば、一般のローパスフィルタなど、どんな方法を利用しても良い。
　第１帯域制限部１０で高周波数成分を制限された画像は、ノイズが低減されると共に高周波数成分に含まれるエッジ成分も低減されるため、エッジが劣化し、画像がぼける。そこで、本実施の形態１に係る画像処理装置１００は、帯域制限処理をした後、復元部２０で劣化されたエッジの復元を行う。
　差分算出部２１では、入力画像と帯域制限された画像との差分の算出を行う（Ｓ１２）。
　予測ノイズ取得部２６では、ＩＳＯ感度やセンサーの特性等から得られるノイズ情報と、画像の輝度とに基づいて予測ノイズ量を取得する。ここで、予測ノイズ量とは、ある条件において基準となる予測ノイズ量のことを示す。たとえば、ある輝度において予想される最大のノイズの量などである。
　ここで、基準となる予測ノイズ量の取得について説明する。
　一般に、画像に含まれるランダム性のノイズは、画像信号の輝度に依存するという性質がある。また、撮影時のＩＳＯ感度等によって、撮影画像がゲインアップされ、これに伴ってノイズは増幅される。すなわち、画像センサーの特性や、撮影時のＩＳＯ感度等のノイズ情報と、画像信号の輝度とによって、画像に含まれると予測されるランダム性のノイズの量が得られる。そこで、この性質を利用して、事前に定められた条件のもとに撮像装置によって撮像された画像に含まれる画素ごとの輝度とノイズ量との関係を予め測定することで、ノイズ量を予測するためのノイズモデルを作成できる。
　図３Ａはノイズモデルの一例を表す。横軸に示される輝度と、縦軸に示される予測ノイズ量との関係をグラフにしたものである。図３Ａに示される様に、予測ノイズ取得部２６は、輝度情報により示される輝度値が大きいほど、より大きなノイズ量を予測ノイズ量として取得する。
　なお、図３Ａでは、画素の輝度値と予測ノイズ量との関係は線形関係になっているが、撮像装置として使用するカメラの特性によって、この限りではない。例えば、輝度が大きくなると共に、予測ノイズ量が非線形に大きくなるモデルも考えられる。さらにまた、図３Ｂに示される様に、ある輝度値以下は輝度が大きくなると共に予測ノイズ量も増加するが、ある輝度値を超えると予測ノイズ量が一定、又は減少するモデルも考えられる。
　このように事前に定められたノイズモデルを参照することで、予測ノイズ取得部２６では、入力画像の輝度から予測ノイズ量を取得する。
　補正信号生成部２２では、入力画像と帯域制限された画像（ノイズ低減画像）との差分及び予測ノイズ取得部２６から算出された予測ノイズ量を利用して補正信号を生成する（Ｓ１３）。
　入力画像と帯域制限された画像との差分には、ノイズ成分と、帯域制限処理で画像がぼける原因となる画像のエッジ部における劣化信号が含まれている。補正信号生成部２２は、各画素に対して、ノイズと画像のエッジ部における劣化信号とを区別し、画像のエッジ部における劣化信号と判断された場合は対応する補正信号を生成する。
　図４は、本発明の実施の形態１における補正信号の算出方法の一例を示す図である。
　図４において、画素ｉにおける差分をｄ（ｉ）、予測ノイズ量をｎ（ｉ）とする。この場合、補正信号生成部２２では、ｄ（ｉ）の絶対値とｎ（ｉ）との比較を行う。差分の絶対値が予測ノイズ量よりも大きい場合は、第１帯域制限部１０で高周波数成分を制限する際に、画素ｉにおいて予測されるノイズ量の範囲を上回って輝度値を変更してしまったと考えられる。したがって、画素ｉは、画像信号のエッジ成分が劣化している画素であると判断できる。そこで補正信号生成部２２は、差分の絶対値が予測ノイズ量を上回っている画素ｉについて補正信号を生成する。
　補正信号は以下の数式１で表される。
Figure JPOXMLDOC01-appb-M000001
 　　　（数式１）
　補正信号生成部２２は、差分が予測ノイズ量の範囲に収まるような、補正信号を生成する。すなわち、補正信号は、複数の画素ごとに算出された、差分の絶対値と予測ノイズ量との差である。
　次に、画像合成部２３では、補正信号生成部２２で生成された補正信号を第１帯域制限部１０で高周波数成分が制限された画素のうち、差分の絶対値が予測ノイズ量を上回っている画素と、後述する数式２に従って合成することにより、劣化したエッジ部の補正を行う（Ｓ１４）。
　第１帯域制限部１０で高周波数成分を制限する処理が施された画像において、画素ｉにおける輝度値をｐｒｅ（ｉ）、合成結果の信号をｒｅｓ（ｉ）とすると、ｒｅｓ（ｉ）は以下の数式２で算出される。
Figure JPOXMLDOC01-appb-M000002
 　　　（数式２）
　ここで、ｓｉｇｎ（ｄ（ｉ））は、ｄ（ｉ）の符号を表す関数とする。
　なお、数式２は、差分算出部２１が、ノイズ低減画像に含まれる画素が有する画素値のそれぞれから、入力画像に含まれる対応する画素が有する画素値のそれぞれを減算することにより、差分を算出することを前提としている。しかし、例えば、差分算出部２１は、入力画像に含まれる画素が有する画素値のそれぞれから、ノイズ低減画像に含まれる対応する画素が有する画素値のそれぞれを減算することにより、差分を算出してもよい。この場合、数式２においては、ｐｒｅ（ｉ）とｓｉｇｎ（ｄ（ｉ））×ｃ（ｉ）とが加算される。
　すなわち、画像合成部２３は、補正信号生成部２２で生成された補正信号に対応する画素が有する画素値から、当該補正信号に、差分算出部２１により算出された差分が有する正負いずれかの符号を付加した値を加算又は減算する。
　かかる構成によれば、画像からノイズを低減する際、帯域制限により入力画像のノイズを低減してから、基準となる予測ノイズ量を利用してエッジの復元を行うことができる。したがって、エッジ部分での画像信号の劣化がなく、良好にノイズを低減することができる。また、ノイズ低減処理後に画像復元などの処理が行われた場合でもノイズが強調されず、高精細な画質を得ることができる。
　なお、本実施の形態１では、画素単位の予測ノイズ量を取得する際、入力画像の輝度に基づいて、ノイズモデルを参照することで予測ノイズ量を取得する。しかし、入力画像にノイズが多く含まれる場合、ノイズの影響によって、正確に予測ノイズ量を算出できないこともある。そこで、第１帯域制限部１０でノイズが低減された画像の輝度に基づいてノイズモデルを参照することにより、予測ノイズ量を算出しても良い。また、第１帯域制限部１０を利用せず、新たな帯域制限処理部を設けてもよい。画像処理装置１００は、入力画像に含まれるノイズを新たな帯域制限処理部で低減してから、新たな帯域制限処理部でノイズが低減された画像に含まれる画素の輝度に基づいて、ノイズモデルを参照し、予測ノイズ量を取得してもよい。
　なお、ノイズモデルは、典型的には、画像処理装置１００が組み込まれたデジタルスチールカメラ等の画像撮像装置が備えるメモリ等に、事前に記録されている。なお、ノイズモデルをネットワークに接続されたデータベースに記録しておいてもよい。この場合、画像処理装置１００はインターネット等のネットワークを介して、データベースからノイズモデルを取得することが考えられる。
　図５Ａ～図５Ｂは、本実施の形態に係る画像処理装置１００の効果を説明する概念図である。図５Ａ～図５Ｂのいずれも、横軸は、画像上に設定した直線領域に含まれる画素の位置を示す。また縦軸は、対応する画素における輝度値を示す。
　図５Ａは、入力画像に含まれるノイズを示す。輝度値が平坦な箇所に、ランダムノイズが乗っている様子を示す。なお、輝度値が急激に変化する箇所は、画像のエッジ領域に相当する。
　図５Ｂの（ａ）は、図５Ａに示される直線領域に対して、第１帯域制限部１０によってノイズ低減処理が施された結果を示す。ランダムノイズが取り除かれるとともに、輝度値の急激な立ち上がりが緩やかになまっている。これは、画像のエッジ領域がボケてしまったことを示す。
　図５Ｂの（ｂ）は、図５Ｂの（ａ）に示される直線領域に対して、復元部２０によって復元処理が施された結果を示す。第１帯域制限部１０によるノイズ低減処理により、なまってしまった輝度の立ち上がりが復元されている。これは、入力画像がエッジ領域において元々有していたシャープさが復元できたことを示す。
　以上述べたように、本実施の形態に係る画像処理装置１００によれば、入力画像に含まれるノイズを全画像領域において取り除くとともに、過剰なノイズ低減処理による影響を抑制することができる。したがって、過剰なノイズ低減処理の影響が顕著に表れやすいエッジ部分のシャープさを損なうことなく、入力画像にノイズ低減処理を施すことができる。
　（実施の形態２）
　図６は、本発明の実施の形態２における画像処理装置１００Ａの機能構成図である。図６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
　図６において、復元部２０Ａが有する第２帯域制限部２４は、補正信号生成部２２で生成された補正信号に対して、帯域制限を行う。具体的には、第２帯域制限部２４は、補正信号に対して平滑化処理を行う。
　補正信号生成部２２は、画素単位で補正信号を算出しているため、補正信号の大きさには画素間で大きく差が発生することがある。これによって、画像合成部２３で補正した後のノイズ低減画像に含まれる画素の輝度値の間に、大きな差が発生しうる。この輝度値の差が新たなノイズとなって出力画像中に見える可能性がある。そこで、第２帯域制限部２４では、補正信号生成部で生成された補正信号に対して、帯域制限を行うことで、隣接する画素間における輝度の急激な変化を抑える。この構成によると、画像処理装置１００Ａは、新たなノイズの発生を抑制しながら、さらなるノイズ低減の効果が得られる。
　本実施の形態２では、第２帯域制限部２４の帯域制限処理は、高周波数成分を制限する効果があれば、任意の処理によって実現できる。例えばローパスフィルタやバイラテラルのようなエッジ保持型フィルタなど、どんな方法を利用しても良い。なお、第１帯域制限部１０は、第２帯域制限部２４よりも、より強く帯域を制限することが好ましい。後に復元部２０Ａによる復元処理が行われるため、第１帯域制限部１０はエッジに与える影響よりもノイズ低減効果を優先できるためである。一方、第２帯域制限部２４は、エッジ保持型フィルタであることが好ましい。第２帯域制限部２４による処理の後はエッジ部分を復元する処理がなされないため、第２帯域制限部２４はエッジ部分の画素情報をなるべく維持可能な処理であることが望ましいためである。
　（実施の形態３）
　図７は、本発明の実施の形態３における画像処理装置１００Ｂの機能構成図である。図７において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
　図７において、復元部２０Ｂが有する第３帯域制限部２５は、画像合成部２３で補正されたノイズ低減画像に対して、さらに帯域制限を行う。第３帯域制限部２５が画像合成部２３の出力に高周波数帯域制限を行うことによって、補正された画像に含まれる残留ノイズを低減することができる。したがって、画像処理装置１００Ｂは、より良い画質の出力画像を出力することができる。
　本実施の形態では、第３帯域制限部２５の帯域制限処理は、高周波数成分を制限する効果があれば、任意の処理によって実現できる。例えばローパスフィルタやバイラテラルのようなエッジ保持型フィルタなど、どんな方法を利用しても良い。なお、第１帯域制限部１０は、第３帯域制限部２５よりも、より強く帯域を制限することが好ましい。後に復元部２０Ｂによる復元処理が行われるため、第１帯域制限部１０はエッジに与える影響よりもノイズ低減効果を優先できるためである。一方、第３帯域制限部２５は、エッジ保持型フィルタであることが好ましい。第３帯域制限部２５による処理の後はエッジ部分を復元する処理がなされないため、第３帯域制限部２５はエッジ部分の画素情報をなるべく維持可能な処理であることが望ましいためである。
　（実施の形態４）
　図８は、本発明の実施の形態４における画像処理装置１００Ｃの機能構成図である。図８において、図６、図７と同じ構成要素については同じ符号を用い、説明を省略する。
　図８において、復元部２０Ｃが有する第２帯域制限部２４及び第３帯域制限部２５を両方利用することで、さらにノイズ低減効果を向上することができる。また、隣接する画素間では、急激な変化を抑制することができ、良好な画質を得ることができる。
　まず、第２帯域制限部２４は、補正信号生成部２２で算出された補正信号に対して、帯域制限を行う。
　補正信号生成部２２は、画素単位で補正信号を算出しているため、補正信号の大きさには画素間で大きく差が発生することがある。これによって、画像合成部２３で補正した後のノイズ低減画像に含まれる画素の輝度値の間に、大きな差が発生しうる。この輝度値の差が新たなノイズとなって出力画像中に見える可能性がある。そこで、第２帯域制限部２４では、補正信号生成部で生成された補正信号に対して、帯域制限を行うことで、隣接する画素間における輝度の急激な変化を抑える。この構成によって、画像処理装置１００Ｃは、新たなノイズの発生を抑制しながら、さらなるノイズ低減の効果が得られる。
　次に、第３帯域制限部２５は、画像合成部２３で合成された画像信号に対して、さらに帯域制限を行う。第３帯域制限部２５が画像合成部２３の出力に高周波数帯域制限を行うことによって、補正された画像に含まれる残留ノイズを低減することができる。したがって、画像処理装置１００Ｃは、より良い画質の出力画像を出力することができる。
　本実施の形態４では、第２帯域制限部２４及び第３帯域制限部２５については、実施の形態２及び実施の形態３と同じように、高周波数成分を制限する効果があれば、任意の処理によって実現できる。例えばローパスフィルタやバイラテラルフィルタのようなエッジ保持型フィルタなど、どんな方法を利用しても良い。なお、第１帯域制限部１０は、第２帯域制限部２４及び第３帯域制限部２５よりも、より強く帯域を制限することが好ましい。後に復元部２０Ｃによる復元処理が行われるため、第１帯域制限部１０はエッジに与える影響よりもノイズ低減効果を優先できるためである。
　（実施の形態５）
　図９は、本発明の実施の形態５における画像処理装置１００Ｄの機能構成図である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。画像処理装置１００Ｄが備える復元部２０Ｄは、画像合成部２３で補正されたノイズ低減画像に対して、さらに復元処理を施す。以下、より詳細に説明する。
　本発明の実施の形態５における画像処理装置１００Ｄは、第１帯域制限部１０と、第１バッファ３０と、復元部２０Ｄとを備える。
　第１バッファ３０は、画像合成部２３の出力画像を一時的に保存するためのバッファである。
　復元部２０Ｄは、入力画像と、第１バッファ３０で一時的に保存されている画像合成部２３の出力画像とを利用して、復元処理を複数回繰り返して行う。
　例えば、実施の形態１に係る画像処理装置１００が備える予測ノイズ取得部２６は、入力画像に含まれる輝度情報をもとに、予測ノイズ量を取得する。しかし、入力画像には元々ノイズが含まれている。したがって、実施の形態１において、補正信号生成部２２は、ノイズが含まれている輝度から予測されるノイズ量に基づき補正信号を生成する。
　一方、本実施の形態においては、復元部２０Ｄは、自身の出力に対して再帰的に復元処理を繰り返す。したがって、例えば２度目のループ処理において補正信号生成部２２Ｄは、よりノイズが低減された画像の輝度から予測されるノイズ量に基づき補正信号を生成することができる。
　なお、本発明の実施の形態５では、ループ処理を行う場合、復元部２０Ｄでの復元処理を弱く調整し、ループごとに劣化されたエッジ成分を徐々に復元してもよい。これによると、高精度のエッジの復元ができる。
　本発明の実施の形態５における差分算出部２１Ｄは、１回目のループでは、入力画像と、第１帯域制限部１０で高周波数成分を制限された画像との差分を算出する。また、予測ノイズ取得部２６Ｄは、入力画像に含まれる画素ごとの輝度値と、ＩＳＯ感度又はセンサー特性等のノイズ情報とから、予測ノイズ量を取得する。
　一方、２回目以降のループでは、差分算出部２１Ｄは、当初の入力画像と、画像合成部２３から直前に出力され、第１バッファ３０に保存されている補正後のノイズ低減画像との差分を算出する。また、予測ノイズ取得部２６Ｄは、第１バッファ３０に保存されている補正後のノイズ低減画像に含まれる画素ごとの輝度値と、ノイズ情報とから、予測ノイズ量を取得する。
　そして、補正信号生成部２２Ｄは、算出された差分と基準となる予測ノイズ量とを、前述の数式１に適用することにより補正信号を生成する。
　なお、本発明の実施の形態５における補正信号生成部２２は、処理ループごとに補正量を制限し、１回のループで補正量の制限値よりも大きく補正しないように調整してもよい。
　より具体的には、補正信号を算出する際、ノイズなどの影響で間違った補正信号を算出した場合、結果として、画質が劣化する可能性がある。そこで、本発明の実施の形態５では、１回のループで、補正量を制限することによって、エラーの発生を抑制してもよい。補正信号は、ループの係数ｋ（ｌ）を用いて、下記の数式３のように表される。ただし、ｌはループ番号で、ｋ（ｌ）は０以上１以下の実数値である。
Figure JPOXMLDOC01-appb-M000003
 　　　（数式３）
　これによると、画像合成部２３から出力された画像は、ループごとに、エッジが少しずつ補正され、エッジの劣化が少なくなる。これによって、補正信号生成部２２では、エッジが補正された画像を利用して、予測ノイズ量をより正確に算出することができる。このため、差分画像に含まれるノイズと画像のエッジ部における劣化信号とをより正確に区別することができ、高精度に補正信号を生成できる。
　かかる構成によれば、画像合成部２３の出力を第１バッファ３０へフィードバックし、復元部２０で繰り返し復元処理を行うことによって、劣化したエッジ成分を高精度に復元することができる。したがって、最終的にノイズを低減しながらエッジの劣化を抑制し、高精細の画像を得ることができる。
　（実施の形態６）
　図１０は、本発明の実施の形態６における画像処理装置１００Ｅの機能構成図である。図１０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
　本発明の実施の形態６における画像処理装置１００Ｅは、第１帯域制限部１０と、復元部２０Ｅと、第２バッファ４０とを備える。
　第２バッファ４０は、画像合成部２３の出力画像を一時的に保存するためのバッファである。
　画像処理装置１００Ｅは、ループ処理として、第１帯域制限部１０で行う帯域制限処理と復元部２０Ｅで行う復元処理とを複数回、繰り返して行う。
　本発明の実施の形態６における画像処理装置１００Ｅは、実施の形態５における第１バッファ３０の代わりに、第２バッファ４０を利用している。他の部分については、実施の形態５と同様で、説明を省略する。
　かかる構成によれば、画像処理装置１００Ｅは、画像合成部２３から出力された補正後のノイズ低減画像を第２バッファ４０へフィードバックする。その後、再度第１帯域制限部１０によって帯域制限した画像に対して、さらに、復元部２０Ｅで復元処理を行う。より詳細には、差分算出部２１Ｅは、入力画像と、第１帯域制限部１０によるノイズ低減処理が施されたノイズ低減画像との差分を算出する。また、予測ノイズ取得部２６Ｅは、１回目は入力画像に含まれる画素ごとの輝度値に基づき、２回目以降はノイズ低減画像に含まれる画素ごとの輝度値に基づいて、予測ノイズ量を取得する。また、補正信号生成部２２Ｅは、差分算出部２１Ｅと予測ノイズ取得部２６Ｅとの出力から、補正信号を算出する。
　以上のフィードバック処理を繰り返すことによって、画像処理装置１００Ｅは、高精度にエッジを復元することができる。その結果、最終的にノイズを低減しながらエッジの劣化を抑制し、高精細の画像を得ることができる。
　なお、実施の形態１～６で説明した画像処理装置は、コンピュータにより実現することも可能である。図１１は、画像処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、及び１００Ｅを実現するコンピュータシステムのハードウェア構成を示すブロック図である。なお、以後、画像処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、及び１００Ｅをまとめて、画像処理装置１００等とよぶ。
　画像処理装置１００等は、コンピュータ５３４と、コンピュータ５３４に指示を与えるためのキーボード５３６及びマウス５３８と、コンピュータ５３４の演算結果等の情報を提示するためのディスプレイ５３２と、コンピュータ５３４で実行されるプログラムを読み取るためのＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）装置５４０及び通信モデム（図示せず）とを含む。
　画像処理装置１００等が行う処理であるプログラムは、コンピュータで読取可能な媒体であるＣＤ－ＲＯＭ５４２に記憶され、ＣＤ－ＲＯＭ装置５４０で読み取られる。又は、コンピュータネットワークを通じて通信モデム５５２で読み取られる。
　コンピュータ５３４は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５４４と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５４６と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５４８と、ハードディスク５５０と、通信モデム５５２と、バス５５４とを含む。
　ＣＰＵ５４４は、ＣＤ－ＲＯＭ装置５４０又は通信モデム５５２を介して読み取られたプログラムを実行する。ＲＯＭ５４６は、コンピュータ５３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ５４８は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク５５０は、プログラムやデータなどを記憶する。通信モデム５５２は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス５５４は、ＣＰＵ５４４、ＲＯＭ５４６、ＲＡＭ５４８、ハードディスク５５０、通信モデム５５２、ディスプレイ５３２、キーボード５３６、マウス５３８及びＣＤ－ＲＯＭ装置５４０を相互に接続する。
　さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
　また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。また、コンピュータプログラムからなるデジタル信号であるとしてもよい。
　さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
　また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
　また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　本発明は、画像処理装置等に適用できる。特に、画像のノイズを低減するための画像処理装置等に適用できる。
　１０　第１の帯域制限部
　２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ　復元部
　２１、２１Ｄ、２１Ｅ　差分算出部
　２２、２２Ｄ、２２Ｅ　補正信号生成部
　２３　画像合成部
　２４　第２の帯域制限部
　２５　第３の帯域制限部
　２６、２６Ｄ、２６Ｅ　予測ノイズ取得部
　３０　第１バッファ
　４０　第２バッファ
　１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ　画像処理装置
　５３２　ディスプレイ
　５３４　コンピュータ
　５３６　キーボード
　５３８　マウス
　５４０　ＣＤ－ＲＯＭ装置
　５４２　ＣＤ－ＲＯＭ
　５４４　ＣＰＵ
　５４６　ＲＯＭ
　５４８　ＲＡＭ
　５５０　ハードディスク
　５５２　通信モデム
　５５４　バス

Claims (15)

  1. 　入力画像に含まれるノイズを低減する第１の帯域制限部と、
    　前記第１の帯域制限部でノイズ低減処理が施された前記入力画像であるノイズ低減画像に対して、前記ノイズ低減処理を施すことにより劣化した、ノイズ以外の画像情報を復元する復元処理を施す復元部とを備え、
    　前記復元部は、
    　前記入力画像と、前記ノイズ低減画像との差分を算出する差分算出部と、
    　前記入力画像に含まれると予測される予測ノイズ量を取得する予測ノイズ取得部と、
    　前記差分の絶対値が前記予測ノイズ量の範囲に収まるように、前記ノイズ低減画像を補正するための補正信号を生成する補正信号生成部と、
    　前記補正信号に基づいて、前記ノイズ低減画像を補正する画像合成部とを有する
    　画像処理装置。
  2. 　前記差分算出部は、前記入力画像と前記ノイズ低減画像とにおいて、対応する画素ごとに前記差分を算出し、
    　前記予測ノイズ取得部は、前記入力画像と前記ノイズ低減画像とにおいて対応する画素ごとに前記予測ノイズ量を取得し、
    　前記補正信号生成部は、前記差分の絶対値が前記予測ノイズ量を上回っている画素のそれぞれについて前記補正信号を生成する
    　請求項１記載の画像処理装置。
  3. 　前記補正信号は、画素ごとの前記差分の絶対値と前記予測ノイズ量との差であり、
    　前記画像合成部は、前記補正信号生成部で生成された前記補正信号に対応する画素が有する画素値から、当該補正信号に前記差分が有する正負いずれかの符号を付加した値を加算又は減算する
    　請求項２記載の画像処理装置。
  4. 　前記予測ノイズ取得部は、撮像装置が前記入力画像を撮像時に使用したＩＳＯ感度と、前記入力画像に含まれる輝度情報とに基づいて前記予測ノイズ量を取得する
    　請求項１から３のいずれか１項記載の画像処理装置。
  5. 　前記予測ノイズ取得部は、前記入力画像を撮像した撮像装置が有する画像センサーの特性と、前記入力画像に含まれる輝度情報とに基づいて前記予測ノイズ量を取得する
    　請求項１から４のいずれか１項記載の画像処理装置。
  6. 　前記復元部は、さらに、前記補正信号生成部が生成した前記補正信号を帯域制限する第２の帯域制限部を備える
    　請求項１から５のいずれか１項記載の画像処理装置。
  7. 　前記復元部は、さらに、前記画像合成部で補正された前記ノイズ低減画像を帯域制限する第３の帯域制限部を備える
    　請求項１から６のいずれか１項記載の画像処理装置。
  8. 　前記復元部は、前記画像合成部で補正された前記ノイズ低減画像に対して、さらに前記復元処理を施す
    　請求項１から５のいずれか１項記載の画像処理装置。
  9. 　前記第１の帯域制限部は前記第２の帯域制限部よりも、強く帯域を制限する
    　請求項６記載の画像処理装置。
  10. 　前記第１の帯域制限部は前記第３の帯域制限部よりも、強く帯域を制限する
    　請求項７記載の画像処理装置。
  11. 　前記予測ノイズ取得部は、前記輝度情報により示される輝度値が大きいほど、より大きなノイズ量を前記予測ノイズ量として取得する
    　請求項４又は請求項５記載の画像処理装置。
  12. 　入力画像に含まれるノイズを低減する第１の帯域制限ステップと、
    　前記第１の帯域制限ステップにおいてノイズ低減処理が施された前記入力画像であるノイズ低減画像に対して、前記ノイズ低減処理を施すことにより劣化した、ノイズ以外の画像情報を復元する復元処理を施す復元ステップとを含み、
    　前記復元ステップは、
    　前記入力画像と、前記ノイズ低減画像との差分を算出する差分算出ステップと、
    　前記入力画像に含まれると予測される予測ノイズ量を取得する予測ノイズ取得ステップと、
    　前記差分の絶対値が前記予測ノイズ量の範囲に収まるように、前記ノイズ低減画像を補正するための補正信号を生成する補正信号生成ステップと、
    　前記補正信号に基づいて、前記ノイズ低減画像を補正する画像合成ステップとを含む
    　画像処理方法。
  13. 　請求項１２記載の画像処理方法をコンピュータに実行させるための
    　プログラム。
  14. 　請求項１２記載の画像処理方法をコンピュータに実行させるためのプログラムを記録した
    　コンピュータ読み取り可能な記録媒体。
  15. 　請求項１２記載の画像処理方法を実現する
    　集積回路。
PCT/JP2012/002469 2011-04-22 2012-04-09 画像処理装置及び画像処理方法 WO2012144158A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280001672.3A CN102959581B (zh) 2011-04-22 2012-04-09 图像处理装置及图像处理方法
US13/704,791 US8842930B2 (en) 2011-04-22 2012-04-09 Image processing device and image processing method
EP12773954.8A EP2701119A4 (en) 2011-04-22 2012-04-09 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP2012533160A JP5914843B2 (ja) 2011-04-22 2012-04-09 画像処理装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-095743 2011-04-22
JP2011095743 2011-04-22

Publications (1)

Publication Number Publication Date
WO2012144158A1 true WO2012144158A1 (ja) 2012-10-26

Family

ID=47041292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002469 WO2012144158A1 (ja) 2011-04-22 2012-04-09 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US8842930B2 (ja)
EP (1) EP2701119A4 (ja)
JP (1) JP5914843B2 (ja)
CN (1) CN102959581B (ja)
WO (1) WO2012144158A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142171A1 (ja) * 2013-03-13 2014-09-18 富士通フロンテック株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400128B (zh) * 2013-08-09 2016-12-28 深圳市捷顺科技实业股份有限公司 一种图像处理方法及装置
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
CN108830892B (zh) * 2018-06-13 2020-03-06 北京微播视界科技有限公司 人脸图像处理方法、装置、电子设备及计算机可读存储介质
US11978186B2 (en) * 2019-10-22 2024-05-07 Canon U.S.A., Inc. Apparatus and method for creating a noise estimation model
US11423515B2 (en) * 2019-11-06 2022-08-23 Canon Kabushiki Kaisha Image processing apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6460065A (en) 1987-08-31 1989-03-07 Canon Kk Noise reduction device
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2005310098A (ja) * 2004-03-26 2005-11-04 Seiko Epson Corp ノイズ検出装置、ノイズ検出方法およびノイズ検出プログラム
JP2006004124A (ja) * 2004-06-17 2006-01-05 Fuji Photo Film Co Ltd 画像補正装置および方法，ならびに画像補正プログラム
JP2007060457A (ja) 2005-08-26 2007-03-08 Hitachi Ltd 画像信号処理装置および画像信号処理方法
WO2009130820A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999062264A1 (en) * 1998-05-22 1999-12-02 Matsushita Electric Industrial Co., Ltd. Block noise detector and block noise eliminator
US6538249B1 (en) * 1999-07-09 2003-03-25 Hitachi, Ltd. Image-formation apparatus using charged particle beams under various focus conditions
US6724943B2 (en) 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
US7257271B2 (en) * 2003-12-17 2007-08-14 Eastman Kodak Company Noise reduction in color digital images using pyramid decomposition
US7400779B2 (en) * 2004-01-08 2008-07-15 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
US7508550B2 (en) 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
JP2009100373A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置
JP4645746B2 (ja) * 2009-02-06 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法および撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6460065A (en) 1987-08-31 1989-03-07 Canon Kk Noise reduction device
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2005310098A (ja) * 2004-03-26 2005-11-04 Seiko Epson Corp ノイズ検出装置、ノイズ検出方法およびノイズ検出プログラム
JP2006004124A (ja) * 2004-06-17 2006-01-05 Fuji Photo Film Co Ltd 画像補正装置および方法，ならびに画像補正プログラム
JP2007060457A (ja) 2005-08-26 2007-03-08 Hitachi Ltd 画像信号処理装置および画像信号処理方法
WO2009130820A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2701119A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142171A1 (ja) * 2013-03-13 2014-09-18 富士通フロンテック株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2014142171A1 (ja) * 2013-03-13 2017-02-16 富士通フロンテック株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017107573A (ja) * 2013-03-13 2017-06-15 富士通フロンテック株式会社 画像処理装置、画像処理方法、及びプログラム
US9818177B2 (en) 2013-03-13 2017-11-14 Fujitsu Frontech Limited Image processing apparatus, image processing method, and computer-readable recording medium
US10210601B2 (en) 2013-03-13 2019-02-19 Fujitsu Frontech Limited Image processing apparatus, image processing method, and computer-readable recording medium

Also Published As

Publication number Publication date
CN102959581B (zh) 2016-01-13
US8842930B2 (en) 2014-09-23
EP2701119A1 (en) 2014-02-26
JP5914843B2 (ja) 2016-05-11
EP2701119A4 (en) 2015-01-21
JPWO2012144158A1 (ja) 2014-07-28
CN102959581A (zh) 2013-03-06
US20130089268A1 (en) 2013-04-11

Similar Documents

Publication Publication Date Title
JP4534756B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP5914843B2 (ja) 画像処理装置及び画像処理方法
JP5576812B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP5389903B2 (ja) 最適映像選択
JP5144202B2 (ja) 画像処理装置およびプログラム
US9692985B2 (en) Image processing apparatus and image processing method for tone control by applying different gain
US8237822B2 (en) Image processing method and apparatus for reducing noise in an image
WO2016189901A1 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
JP5672527B2 (ja) 画像処理装置及び画像処理方法
US8830359B2 (en) Image processing apparatus, imaging apparatus, and computer readable medium
US8165421B2 (en) Method and apparatus for image processing by using stored image
JP2015062270A (ja) 画像処理装置
JP4944061B2 (ja) 画像処理装置および方法並びにプログラム
EP3540685A1 (en) Image-processing apparatus to reduce staircase artifacts from an image signal
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2013070241A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP5863236B2 (ja) 画像処理装置、画像処理方法
JP2010187394A (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP6818585B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5159647B2 (ja) 画像処理装置及び画像処理方法
JP6584173B2 (ja) 画像処理装置及び画像処理方法
JP4930638B2 (ja) 画像補正装置および画像補正方法
JP5760495B2 (ja) 画像鮮明化装置、画像出力装置、画像鮮明化プログラム、画像処理装置及び画像処理プログラム
JP5267277B2 (ja) レンジ補正プログラム、レンジ補正方法及びレンジ補正装置
JP2009088933A (ja) 画像記録装置、画像補正装置及び撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001672.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2012533160

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13704791

Country of ref document: US

Ref document number: 2012773954

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12773954

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE