WO2006064913A1 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
WO2006064913A1
WO2006064913A1 PCT/JP2005/023158 JP2005023158W WO2006064913A1 WO 2006064913 A1 WO2006064913 A1 WO 2006064913A1 JP 2005023158 W JP2005023158 W JP 2005023158W WO 2006064913 A1 WO2006064913 A1 WO 2006064913A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
processing method
image data
noise
color
Prior art date
Application number
PCT/JP2005/023158
Other languages
English (en)
French (fr)
Inventor
Kenichi Ishiga
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to JP2006548938A priority Critical patent/JP4952251B2/ja
Priority to US11/792,338 priority patent/US7940983B2/en
Priority to EP05816611A priority patent/EP1833264B1/en
Publication of WO2006064913A1 publication Critical patent/WO2006064913A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an image processing method for converting to a color space suitable for image noise removal and color reproduction.
  • Patent Document 1 an image processing method that uses the concept of a uniform noise space in which a shot noise that increases in square root with respect to signal intensity is subjected to square root gradation conversion, resulting in constant noise with respect to signal intensity.
  • the noise fluctuation width that is, the standard deviation
  • the noise fluctuation width is represented by one representative value regardless of the gradation, which is convenient for profiling the noise.
  • Non-Patent Document 1 that removes noise by averaging between pixel values where the pixel value difference value falls within a constant multiple of the standard deviation ⁇ , and spatial Gaussian blur
  • the standard deviation ⁇ When using Bilateral Filter (Non-Patent Document 2), which removes noise by performing Gaussian blurring with the ratio of the pixel value difference value to the argument as the argument, the standard deviation value does not depend on the brightness when filtering in a uniform noise space. Noise removal with high accuracy suitable for If such a uniform noise space is not used, as disclosed in Patent Document 2, it will be necessary to investigate the standard deviation for each luminance level and generate a noise profile.
  • Patent Document 1 Japanese Patent Laid-Open No. 7-92588
  • Patent Document 2 U.S. Pat.No. 5,923,775
  • Non-Patent Literature 1 JS Lee, Digital Image smoothing ana the Sigma Fileter, computer Vision, Graphics, and Image Processing Vol.24, pp.255—269, 1983.
  • Non-Patent Document 2 C. Tomasi et al "" Bilateral Filtering for Gray and Color Images, "Pro ceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.
  • an image processing method inputs color image data captured with a certain imaging sensitivity, and converts the color image data into a uniform color space that differs depending on the difference in imaging sensitivity. Do.
  • the gradation conversion characteristic for converting into the uniform color space is imaged. It is preferable to change it according to the sensitivity.
  • the tone conversion characteristics are non-linear.
  • image data represented by a set of stimulus values having linear gradation characteristics with respect to light intensity is input, and predetermined nonlinear gradation conversion is performed on the stimulus values of the input image data.
  • the image processing method that converts to a color signal that represents a perceptual attribute via the image is converted to a color signal that represents a perceptual attribute via a predetermined nonlinear gradation conversion.
  • conversion from a linear gray scale to a non-linear gray scale is performed in a state where an offset signal is added to each stimulus value of the image data.
  • the predetermined nonlinear gradation conversion is converted into a color signal representing a perceptual attribute that realizes a pseudo uniform color space. It is preferred that according to the sixth aspect of the present invention, in the image processing method according to any one of the fourth to fifth aspects, it is preferable that the predetermined nonlinear gradation conversion is substantially a non-linear gradation conversion having a square root characteristic.
  • the offset signal is preferably a zero or positive offset signal.
  • the input image data when the offset signal is captured for each stimulus value of the image data, the input image data It is preferable to change the value of the offset signal to be added according to the imaging sensitivity.
  • the noise characteristics of the input image data having a constant width of the signal are included. It is preferable to use a representative value.
  • the constant width of the signal has a perceptual attribute obtained from the image data obtained by imaging a uniform surface through a predetermined nonlinear gradation transformation. It is preferable to obtain the color signal by expressing it and obtaining the standard deviation of the converted uniform plane image data.
  • noise removal processing is performed using a representative value of noise characteristics in the color space of the converted color signal. Good to do! / ⁇ .
  • the input image data is represented by tristimulus values having ⁇ , ⁇ , and ⁇ as original stimuli.
  • the image data is preferable.
  • the input image data is represented by tristimulus values having R, G, and B as original stimuli.
  • the input image data is represented by tristimulus values having R, G, and B as the original stimuli.
  • Image data Preferably, the tristimulus values R, G, and B are converted to perceptual attributes after nonlinear gradation conversion in the R, G, and B states.
  • color image data having linear gradation characteristics is input, and the input color image data is converted into a uniform noise space by nonlinear gradation conversion.
  • conversion to a uniform color space is performed using a predetermined conversion formula.
  • an offset signal is input to the input color image data.
  • color image data is converted into an XYZ space using XYZ stimulus values, and the XYZ space is converted into a uniform color space.
  • a computer-readable computer product product has an image processing program that causes a computer or an image processing apparatus to execute the image processing method according to any one of the first to seventeenth aspects.
  • the computer program product is preferably a computer-readable recording medium on which the image processing program is recorded.
  • the image processing apparatus has a control device that executes the image processing method according to any one of the first to seventeenth aspects.
  • the present invention is configured as described above, the following effects can be obtained. Since a space that realizes noise uniformity and color uniformity is generated, noise and color can be handled very easily, and various high-performance image processing can be easily realized. Furthermore, when noise removal processing is applied to color difference components, both color noise suppression and color reproducibility can be achieved.
  • FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a flowchart of image processing according to the first embodiment.
  • FIG. 3 is a diagram for explaining signal characteristics of an image sensor.
  • FIG. 4 is a diagram showing a linear gradation graph.
  • FIG. 6 A diagram showing a state of cube root gradation conversion in conversion to a conventional uniform color space CIE L * a * b *.
  • FIG. 7 is a diagram showing input / output characteristics in a linear gradation space, a square root gradation space, and a square root gradation space with an offset.
  • FIG. 8 is a diagram showing input / output characteristics in a linear gradation space, a square root gradation space, and a gradation space according to Equation (11).
  • FIG. 9 is a diagram illustrating a flowchart of image processing according to the second embodiment.
  • FIG. 10 is a diagram showing Mac Adam's deviation ellipse in the chromaticity diagram of the conventional CIE L * a * b * color space and CIE L * u * v * color space.
  • FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus is realized by the personal computer 1.
  • the personal computer 1 is connected to a digital camera 2, a recording medium 3 such as a CD-ROM, another computer 4 and the like, and receives various image data.
  • the personal computer 1 performs the image processing described below on the provided image data.
  • the computer 4 is connected via the Internet and other telecommunications lines 5.
  • the program executed by the personal computer 1 for image processing is provided by other computer power via a recording medium such as a CD-ROM, the Internet, and other telecommunication lines as in the configuration of FIG. Installed in the personal computer 1.
  • the personal computer 1 is composed of a CPU (not shown) and its peripheral circuits (not shown), and executes a program installed with CPU power.
  • the program power is provided via the Internet or other telecommunication line
  • the program is transmitted after being converted into a signal on a telecommunication line, that is, a carrier wave carrying a transmission medium.
  • the program is supplied as a computer readable computer program product in various forms such as a recording medium and a carrier wave.
  • FIG. 2 is a diagram showing a flowchart of image processing according to the first embodiment processed by the personal computer 1.
  • step S1 linear RGB image data is input.
  • step S2 it is converted to a uniform noise 'pseudo uniform color space.
  • step S3 noise removal processing is performed.
  • step S4 the color space is inversely transformed.
  • step S5 the processed image data is output.
  • the linear RGB image data input in step S1 is RGB color system data expressed in linear gradation.
  • RGB color system data is picked up by an image sensor such as a CCD with a color filter with a bay array, subjected to various interpolation processes, and R, G, and color component color information for each pixel.
  • Linear gradation data is gradation data linear with respect to light intensity, and is data having color information values proportional to the amount of received light. Data that is subject to gamma correction shall be restored to linear gradation in advance.
  • image data is picked up by the digital camera 2 or other image pickup device.
  • step S2 the linear tone tristimulus values R, G, and B are converted into a color space that realizes a uniform noise 'pseudo uniform color space.
  • the space defined in the present embodiment is obtained by modifying the conventional so-called uniform color space L * a * b * in consideration of uniform noise, and is named a "for convenience.
  • This conversion formula varies depending on the spectral sensitivity distribution characteristics of the color filter used in the input image sensor.
  • an example of the conversion formula from the CIE RGB color system to the CIE XYZ color system with the original stimulus R (700.0 nm), G (546.lnm), and B (435.8 nm) in a single spectrum is shown.
  • the following conversion formula. X 2.7689R + 1.7517G + 1.1320B ... (1)
  • ⁇ , ⁇ , and ⁇ are values determined by the illumination light.
  • the nonlinear tone conversion function is defined by the following equation (10).
  • A when it is described as A, it means the square root of A, that is, the root A.
  • ⁇ is an offset signal added to a linear gradation signal, and takes a zero or positive value, and takes a larger value as the imaging sensitivity becomes higher.
  • the value of ⁇ is determined by the amount of noise at the time of darkness of the sensor. For example, when ISO is about 100, it is close to 0, and when it is about ISO 6400, it is about 0.05.
  • the offset signal is the same whether it is added at the time of non-linear gradation conversion, whether it is calorific in the low value state, or in the RGB value state.
  • the above equations (7), (8), and (9) are conversion equations similar to the conversion equation for converting from the XYZ space to the uniform color space CIE L * a * b *. The difference is that the conversion formula that converts to the uniform color space CIE L * a * b * is a power function of 1/3, but the above formula (7) (8) (9) It is a point that is a function. Further, although not specifically taken into consideration in the conversion formula for converting to the uniform color space CIE L * a * b *, the offset signal ⁇ is considered in the above formulas (7), (8), and (9).
  • the uniform color space does not change the definition of the conventional CIE L * a * b * so much, so it can be seen that the uniform color space is realized in a pseudo manner. That is, the uniform color distribution ratio of the discriminating mesh by the Mac Adam deviation ellipse in the chromaticity diagram is maintained without causing a great change except for the portion where the gradation characteristic changes greatly.
  • the uniform noise 'pseudo-uniform color space according to this embodiment also realizes the uniformity of Mac Adam's deviation ellipse, as in Figs. 10 (a) and 10 (b)! RU
  • the original linear gradation RGB signal is shot noise that is proportional to the square root of the signal and the signal-independent image sensor / circuit It has a random noise consisting of two elements (dark noise). If the shot noise of the R signal is expressed as ⁇ R and the dark noise is expressed as ⁇ (constant), the total noise amounts ⁇ R, SG, ⁇ ⁇ of R, G, B can be written as follows. However, the constant multiple term is omitted. Since ⁇ is a constant, the description is given for convenience. In addition, when shot noise and dark noise are included, a uniform noise space can be realized by adding an offset signal corresponding to the dark noise amount before square root gradation conversion. Application filed by the same inventor).
  • the noise amount of ⁇ , ⁇ , ⁇ signal, ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ ⁇ can be written as follows.
  • each of the noise amounts ⁇ ⁇ ', ⁇ ⁇ ', and ⁇ ⁇ ' It turns out that it becomes constant with respect to the key.
  • the offset amount of the tone conversion function in the equation (24X25X26) is ⁇ ⁇ ⁇ ⁇ that matches the temporal noise, the noise expansion / contraction operation by tone conversion and the brightness dependency of the original noise amount cancel each other. It can be converted into constant noise for the brightness of ⁇ ⁇ ', ⁇ ', ⁇ '.
  • step S3 in FIG. 2 the noise removal process is performed on each surface of the uniform color space a "with uniform noise by a noise filter that refers to an index whose noise amount is one profile.
  • a noise filter that refers to an index whose noise amount is one profile.
  • One is the Bilateral Filter (Non-patent Document 2), which has been known in the past, but in this embodiment, it is different from the Bilateral Filter (Non-Patent Document 2) described above and has the following higher performance.
  • the signal component that fluctuates within the width of noise is smoothed while the signal difference amount and the distance ratio influence each other within a predetermined range.
  • Non-Patent Document 2 proposes an adaptive filter that takes into account both spatial distance and difference between pixel values as arguments (variables, parameters). It is called Bilateral Filter because it takes two arguments.
  • the noise removal filter is not a separate weighted bilateral filter that can separate a weighting factor into a photometric term and a geometric term, but a weighting factor can be separated into a hot metric term and a geometric term.
  • N! / Use non-separation weighted bilateral filter.
  • the conventional Bilateral Filter used a filter with a weighting factor represented by the product of two exponential functions with two arguments as exponents.
  • a weight coefficient filter represented by one exponential function with a value represented by the product of two arguments as one exponent is used.
  • the integration range is about twice that of rth, it is possible to perform calculations that take into account the Gaussian tail while suppressing the scale of calculations.
  • This filtering process is performed independently for each a "3 ⁇ 4.
  • the noise component includes all frequency components up to a short period force and a long period.
  • the filtering size needs to be about 20, that is, about 80x80 pixels, so even if filtering is performed over a wide range, V takes into account both the pixel value difference and the spatial distance, thus destroying the image structure. Noise removal is possible.
  • the weighting coefficient is also calculated for the force by multiplying the two values of the pixel value difference and the distance in this way. Therefore, even if there is a protruding point-like noise such as a false color at a steep part in the signal plane such as a color boundary part, the conventional separable weighted filter is controlled by the fall of the weighting coefficient of the photometirc term and noise removal is performed. On the other hand, the non-separable weighting filter of this method effectively uses the spatial distance argument as the pixel value difference argument, and finally generates a finite weighting coefficient, which is effective noise. Removal is possible.
  • the conventional separation-type weighted filter is not as effective as this method compared to the fact that the filtering intensity rapidly weakens as the distance increases and false colors tend to remain.
  • the filtering strength is maintained between pixels that are within the range of noise fluctuation even over long distances, so that it is possible to eliminate noises.
  • the value of ⁇ th may be set to twice the standard deviation measured in the above-described uniform noise 'pseudo-uniform color space by photographing a uniform surface.
  • the standard deviation takes a constant value regardless of the brightness. Therefore, it is possible to profile the noise characteristic of the input image data using this standard deviation as one representative value.
  • the standard deviation measured in the uniform noise space of the image data of the uniform surface can be used to evaluate the representative value of the noise characteristics of the input image.
  • the above filter is processed using this representative value.
  • the uniform color space is very convenient for using the above filter.
  • noise removal with respect to the luminance component reduces the feeling of roughness while retaining the image structure of edges and texture.
  • Noise removal for color difference components removes color spot noise and color moire while maintaining the color structure and color reproduction.
  • Noise removal for luminance components is liking and disliked by people because of the trade-off between maintaining vividness and reducing roughness. So you can omit it or make it weaker.
  • a noise removal may be performed by applying a to each surface by applying a sigma filter.
  • a Unilateral Filter in which the argument is only a difference between pixel values may be used. Yes.
  • step S4 of Fig. 2 the same a "color space force is restored to the linear gradation RGB color space.
  • the inverse transformation is performed using the above equations (1) (2) (3), (7) (8) (9), etc. It is sufficient to perform a process of tracing the reverse.
  • step S5 in FIG. 2 the image data from which noise has been removed is output.
  • processing such as conversion to a standard color space suitable for display systems such as the sRGB color space may be performed.
  • the image data force V in the RGB color space of linear gradation is converted to the image data in the uniform color space that has been subjected to uniform noise, and noise removal filtering is performed. After that, the image data from which noise has been removed is inversely transformed and returned to the original linear RGB color space image data.
  • images shot with high sensitivity such as ISO3200 and ISO6400 contain a lot of dark noise. If this is processed with L * a * b * in a uniform color space, the fluctuation range of dark noise will be emphasized due to the effect of this 1/3 gamma characteristic without offset in places such as ⁇ flat part of red background ''.
  • noise removal does not fall within the target range where noise removal is strong, there is a phenomenon in which a rough feeling remains. For the same reason, the color noise removal capability is low.
  • the uniform noise 'pseudo uniform color space of the present embodiment when used, it is possible to achieve appropriate compatibility between removal of color noise such as false colors and color reproduction.
  • the difference between the uniform noise 'pseudo uniform color space of this embodiment and the conventional L * a * b * is that an offset signal is added in the state of the RGB stimulus value, and the nonlinear gradation conversion is 1 This is a change from a power function of / 3 to a power function of 1/2.
  • the offset signal has the effect of not enhancing dark noise by weakening the rise of the square root in dark areas.
  • the offset signal has the same effect on the conventional power function of 1/3. Therefore, even if it does not become a perfect uniform noise space, an RGB stimulus value can be added to the conventional definition L * a * b * by simply adding an offset signal in the XYZ stimulus value state. Can play a big role in noise equalization.
  • the conventional uniform color space defined by CIE is basically high-sensitivity image data that requires noise removal processing, and image signals that contain a considerable amount of dark noise are fundamental. It is thought that they were not supposed to. In this way, even if nonlinear tone conversion that stretches the color signal of the part where the true signal is buried in noise is not expected, it seems that the correct uniform color display is not performed, and for high-sensitivity shooting data For this reason, it is desirable to move the color perception density slightly to a bright area where the color can be recognized more accurately.
  • the offset processing of the above embodiment plays the role. If a uniform color space that takes into account the amount of noise contained in the image is used, it will be close to the amount of human perception and will have a positive effect on the image processing results.
  • FIG. 3 is a diagram for explaining the signal characteristics of the image sensor.
  • the horizontal axis represents the illuminance on the imaging surface, and the vertical axis represents the number of electrons in the signal.
  • Line 11 represents the optical signal, indicating that the optical signal (number of electrons) increases in proportion to the amount of incident light.
  • Line 12 represents light shot noise, and indicates that noise (number of electrons) increases in proportion to the 1Z2 power of the incident light quantity.
  • Line 13 represents drowning noise (dark noise), indicating that there is noise (number of electrons) regardless of the amount of incident light! /
  • FIGS. 4 to 6 are diagrams schematically illustrating the uniform noise space.
  • Figure 4 shows a linear gradation graph.
  • S y is the fluctuation of random noise that combines shot noise and dark noise It shows the width and increases with the square root of the input X except for a certain amount of dark noise.
  • FIG. 6 is a diagram showing a third root gradation conversion in the conversion to the conventional uniform color space CIE L * a * b *. As shown in Fig.
  • the total random noise Sy of shot noise and dark noise decreases with increasing input value and is not constant.
  • the conventional uniform color space CIE L * a * b * does not realize a uniform noise space of random noise.
  • FIG. 7 is a diagram showing input / output characteristics in a linear gradation space, a square root gradation space, and a square root gradation space with an offset.
  • the horizontal axis represents the linear gradation signal input value X
  • the vertical axis represents the output value y.
  • Line 21 shows the input / output characteristics during linear conversion
  • curve 22 shows the input / output characteristics converted to square root space
  • curve 23 shows the input / output characteristics converted to square root space with offset.
  • Curve 23 is according to equation (10) described above.
  • FIG. 8 is a diagram showing input / output characteristics of the linear gradation space, the square root gradation space, and the gradation space according to the equation (11).
  • Line 21 and curve 22 are the same as in FIG. 7, and show the input / output characteristics during linear transformation and the input / output characteristics to the square root space, respectively.
  • Curve 31 is a curve when the origin and saturation point are standardized according to equation (11).
  • FIG. 9 is a diagram illustrating a flowchart of image processing according to the second embodiment processed by the personal computer 1.
  • step SI1 linear RGB image data is input. For example, image data picked up by an image sensor of a color filter with a bay array is input. At this stage, interpolation processing has not yet been performed, and the data has color information of any one of R component, G component, and ⁇ component for each pixel.
  • step S12 the noise is converted into a uniform noise space.
  • step S13 an interpolation process is performed.
  • step S14 a uniform noise 'pseudo uniform color space is realized by performing linear conversion to the pseudo uniform color space.
  • step S15 noise removal processing is performed.
  • step S16 the color space is inversely transformed.
  • step S17 the processed image data is output.
  • the linear RGB image data input in step SI 1 is RGB color system data expressed in linear gradation.
  • the RGB color system data is data that is picked up by an image pickup device such as a CCD having a color filter of a bay arrangement, for example, and has color information of any of R component, G component, and ⁇ component for each pixel. Interpolation has not been done yet.
  • step S12 conversion to a uniform noise space is performed.
  • an offset signal is added to the R, G, B linear gradation and converted to square root gradation characteristics. With the offset signal as ⁇ , the line Converts RGB image data to nonlinear R'G'B 'image data.
  • step S13 the image data converted into the uniform noise space is interpolated.
  • the barrier image data or the like has only color information of any one of the R component, the G component, and the blue component for each pixel. Therefore, color information of missing color components in each pixel is generated by interpolation processing.
  • Various methods have been proposed for the interpolation processing, and the optimum method may be used in this embodiment. However, it is easier to obtain high-definition results if the noise is equalized in the interpolation process.
  • Non-linear ⁇ ', ⁇ ', ⁇ ' is further converted into a space that realizes a perceptual uniform color in a pseudo manner by the following equation. For convenience, we will name it L # a # b #.
  • the noise is equal to the noise without depending on the gradation, so that the linear transformation of ⁇ ', ⁇ ', Z' and L #, a # , b # is also a uniform noise space independent of gradation.
  • Noise removal processing is performed in the same manner as in the first embodiment.
  • step S16 the color space is returned from the L # a # b # color space to the linear gradation RGB color space.
  • reverse conversion it is only necessary to perform the process of tracing back the definition expression described above. You can also convert to any other color space here.
  • step S17 the image data from which noise has been removed is output.
  • the conversion to the uniform color space is performed instead of the simulated nonlinear gradation definition X′Y′Z ′. Therefore, when performing the interpolation process or noise removal process continuously from the image sensor output, the gradation of the uniform noise space of the interpolation process is changed back to the linear gradation, and then the uniform noise 'uniform color space of the noise removal process is changed. Since the transition from direct uniform noise space to uniform noise 'uniform color space without the need for non-linear gradation conversion is required, the number of operations for color space conversion is reduced, and connectivity with interpolation processing is better. Become.
  • the uniform noise space is realized by performing the square root gradation conversion while adding the offset signal.
  • a uniform noise space can be achieved even with square root gradation conversion alone.
  • square root gradation characteristics Even if the nonlinear tone conversion is different from that of the image, even if the RGB stimulus value or only the offset operation for the XYZ stimulus value is used, the noise equalization in consideration of the dark noise of the image sensor circuit is approximated. It is possible to achieve various objectives.
  • L * u * v *, Hunter Lab, LABHNU, and recent CIECAM97, CIECAM02, iCAM, etc. can basically be linearly converted to the XYZ color system, and from linear gradation to nonlinear gradation. Since the color space is defined with the conversion of, it can be applied to these.
  • the color space of the present invention is expressed as a pseudo-uniform color space.
  • This “pseudo” is known as a uniform color space, so it is close to the so-called L * a * b *, and because it creates a space!
  • the color space of the present application realizes a uniform color space that varies depending on the imaging sensitivity. This can be said to realize a more accurate uniform color space than the conventional uniform color space.
  • the filter is not necessarily limited to the force expressed by the equation (36) force (38).
  • the pixel value difference is larger than the profiled representative value ⁇ or 2 ⁇ etc.! /, Depending on whether or not the weighting factor is 0 (large, if), is 1 (small, if), and the weighting factor Processing may be performed in which the average value is calculated for the pixel values for which is set to 1.
  • the force shown in the example of performing processing by the personal computer 1 is not necessarily limited to this content.
  • the processing may be performed in an imaging device such as a camera. Another device may be used. That is, the present invention can be applied to any apparatus that handles image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　画像処理方法は、ある撮像感度で撮像されたカラー画像データを入力し、カラー画像データを、撮像感度の違いによって異なる均等色空間への変換を行う。

Description

明 細 書
画像処理方法
技術分野
[0001] 本発明は、画像のノイズ除去および色の再現に適した色空間へ変換する画像処理 方法に関する。
背景技術
[0002] 従来、信号強度に対して平方根で増えるショットノイズを平方根階調変換することに より、信号強度に対して一定のノイズとなる均等ノイズ空間の概念を利用した画像処 理方法が開示されている (特許文献 1)。この場合、ノイズのゆらぎ幅、すなわち標準 偏差が階調に依らず 1つの代表値で表されるため、ノイズをプロファイルィ匕する上で 都合がよい。
[0003] 例えば、標準偏差 σの定数倍以内に画素値差分値が収まる画素値間で平均をと つてノイズ除去する σフィルタ (非特許文献 1)や、空間的なガウスぼかしと共に、標準 偏差 σに対する画素値差分値の比率を引数としたガウスぼかしを行ってノイズ除去 する Bilateral Filter (非特許文献 2)を使用する場合、均等ノイズ空間でフィルタリング すると標準偏差値が輝度に依らないため、画像構造に適した精度のよいノイズ除去 が可能となる。もしこのような均等ノイズ空間を用いなければ、特許文献 2に開示され るように、輝度レベル毎に標準偏差を調べてノイズプロファイルを生成する苦労が必 要となる。
[0004] 一方、画像処理を行う場合、視覚系を考慮した輝度 ·色差表現の色空間を用いるこ とが多い。一般に L*a*b*に代表されるような均等色空間が用いられることが多い。こ れは均等色空間のほうが、色信号を人間の視覚系知覚量に近い形をより正確に表 現しており、色再現性等の観点力 優れていると考えられるからである。
[0005] 特許文献 1 :特開平 7— 92588号公報
特許文献 2 :米国特許第 5, 923, 775号明細書
非特干文献 1： J. S. Lee, Digital Image smoothing ana the Sigma Fileter, computer Vision, Graphics, and Image Processing Vol.24, pp.255— 269, 1983. 非特言午文献 2 : C. Tomasi et al" "Bilateral Filtering for Gray and Color Images," Pro ceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.
発明の開示
発明が解決しょうとする課題
[0006] しかし、従来提案されて!ヽる均等ノイズ空間では、色の均等性にっ ヽて考慮されて いないという問題があった。また、従来提案されている均等色空間では、色の均等性 は考慮されて 、てもノイズの均等性は考慮されて 、な 、と 、う問題があった。そのた め、一方の考慮された側の要因しか十分な性能が引き出せないという問題が生じて いた。
課題を解決するための手段
[0007] 本発明の第 1の態様によると、画像処理方法は、ある撮像感度で撮像されたカラー 画像データを入力し、カラー画像データを、撮像感度の違いによって異なる均等色 空間への変換を行う。
本発明の第 2の態様によると、第 1の態様の画像処理方法において、カラー画像デ ータを均等色空間への変換を行うとき、均等色空間へ変換するための階調変換特性 を撮像感度に応じて変更するのが好まし 、。
本発明の第 3の態様によると、第 2の態様の画像処理方法において、階調変換特 性は非線形であるのが好まし 、。
本発明の第 4の態様によると、光強度に対し線形な階調特性をもつ刺激値のセット で表された画像データを入力し、入力された画像データの刺激値に所定の非線形階 調変換を介して知覚的な属性を表す色信号へ変換する画像処理方法は、入力され た画像データの刺激値に所定の非線形階調変換を介して知覚的な属性を表す色信 号へ変換するとき、画像データの刺激値の各々に対してオフセット信号を加えた状態 で線形階調カゝら非線形階調への変換を行う。
本発明の第 5の態様によると、第 4の態様の画像処理方法において、所定の非線 形階調変換は、擬似的に均等色空間を実現する知覚的な属性を表す色信号への変 換であるのが好ましい。 本発明の第 6の態様によると、第 4から 5のいずれかの態様の画像処理方法におい て、所定の非線形階調変換は、実質的に平方根特性の非線形階調変換であるのが 好ましい。
本発明の第 7の態様によると、第 4から 6のいずれかの態様の画像処理方法におい て、オフセット信号は、零ないし正のオフセット信号であるのが好ましい。
本発明の第 8の態様によると、第 4から 7のいずれかの態様の画像処理方法におい て、画像データの刺激値の各々に対してオフセット信号をカ卩えるとき、入力された画 像データの撮像感度に応じて、加えるオフセット信号の値を変えるのが好ましい。 本発明の第 9の態様によると、第 4から 8のいずれかの態様の画像処理方法におい て、変換された色信号において、信号の一定幅を入力された画像データが有するノ ィズ特性の代表値とするのが好ま 、。
本発明の第 10の態様によると、第 9の態様の画像処理方法において、信号の一定 幅は、一様面を撮像した画像データを所定の非線形階調変換を介して知覚的な属 性を表す色信号へ変換し、変換後の一様面の画像データの標準偏差を求めることに より求めるのが好ましい。
本発明の第 11の態様によると、第 9から 10のいずれかの態様の画像処理方法にお いて、変換された色信号の色空間において、ノイズ特性の代表値を利用してノイズ除 去処理を行うのが好まし!/ヽ。
本発明の第 12の態様によると、第 4から 11のいずれかの態様の画像処理方法にお いて、入力された画像データは、 Χ,Υ,Ζを原刺激とする 3刺激値で表された画像デー タであるのが好ましい。
本発明の第 13の態様によると、第 4から 11のいずれかの態様の画像処理方法にお いて、入力された画像データは、 R,G,Bを原刺激とする 3刺激値で表された画像デー タであり、 R,G,Bを原刺激とする 3刺激値で表された画像データを、該原刺激値の線 形結合で表される 3刺激値 Χ,Υ,Ζに変換し、変換した Χ,Υ,Ζから知覚的な属性への変 換を行うのが好ましい。
本発明の第 14の態様によると、第 4から 11のいずれかの態様の画像処理方法にお いて、入力された画像データは、 R,G,Bを原刺激とする 3刺激値で表された画像デー タであり、 3刺激値 R,G,Bを R,G,Bの状態で非線形階調変換してから、知覚的な属性 への変換を行うのが好ましい。
本発明の第 15の態様によると、画像処理方法は、線形階調特性を有するカラー画 像データを入力し、入力されたカラー画像データに対して、非線形階調変換により均 等ノイズ空間への変換を行うとともに、所定の変換式により均等色空間への変換を行 本発明の第 16の態様によると、第 15の態様の画像処理方法において、入力された カラー画像データに対してオフセット信号を加えて、非線形階調変換により均等ノィ ズ空間への変換を行うのが好まし 、。
本発明の第 17の態様によると、第 15から 16のいずれかの態様の画像処理方法に おいて、カラー画像データを XYZ刺激値による XYZ空間へ変換し、 XYZ空間から均 等色空間への変換を行うとき、 3乗根階調変換の代わりに平方根階調変換を使用す ることにより均等ノイズ空間への変換を行なうのが好ましい。
本発明の第 18の態様によると、コンピュータ読み込み可能なコンピュータプロダラ ム製品は、第 1から 17のいずれかの態様の画像処理方法をコンピュータまたは画像 処理装置に実行させる画像処理プログラムを有する。
本発明の第 19の態様によると、第 18の態様のコンピュータプログラム製品において 、コンピュータプログラム製品は前記画像処理プログラムを記録したコンピュータ読み とり可能な記録媒体であるのが好まし 、。
本発明の第 20の態様によると、画像処理装置は、第 1から 17のいずれかの態様の 画像処理方法を実行する制御装置を有する。
発明の効果
本発明は、以上説明したように構成しているので、次のような効果を奏する。ノイズ の均等性と色の均等性を実現する空間を生成しているので、ノイズと色が非常に扱 いやすくなり、種々の高性能な画像処理の実現が容易となる。さらに、ノイズ除去処 理を色差成分に適用した場合に、色ノイズ抑制と色再現性の両立を図ることができる
図面の簡単な説明 [0009] [図 1]本発明の一実施の形態である画像処理装置を示す図である。
[図 2]第 1の実施の形態の画像処理のフローチャートを示す図である。
[図 3]撮像素子の信号特性を説明する図である。
[図 4]線形階調のグラフを示す図である。
[図 5]線形階調 y=xのグラフを非線形階調 (平方根階調)変換した様子を示す図であ る。
[図 6]従来の均等色空間 CIE L*a*b*に変換における 3乗根階調変換の様子を示す 図である。
[図 7]線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間にお けるそれぞれの入出力特性を示す図である。
[図 8]線形階調空間、平方根階調空間、および式 (11)による階調空間におけるそれぞ れの入出力特性を示す図である。
[図 9]第 2の実施の形態の画像処理のフローチャートを示す図である。
[図 10]従来の CIE L*a*b*色空間および CIE L*u*v*色空間の色度図におけるマック アダムの偏差楕円を示す図である。
発明を実施するための最良の形態
[0010] (第 1の実施の形態）
図 1は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装 置は、パーソナルコンピュータ 1で実現される。パーソナルコンピュータ 1は、デジタル カメラ 2、 CD— ROMなどの記録媒体 3、他のコンピュータ 4などと接続され、各種の 画像データの提供を受ける。パーソナルコンピュータ 1は、提供された画像データに 対して、以下に説明する画像処理を行う。コンピュータ 4は、インターネットやその他 の電気通信回線 5を経由して接続される。
[0011] パーソナルコンピュータ 1が画像処理のために実行するプログラムは、図 1の構成と 同様に、 CD— ROMなどの記録媒体や、インターネットやその他の電気通信回線を 経由した他のコンピュータ力 提供され、パーソナルコンピュータ 1内にインストールさ れる。パーソナルコンピュータ 1は、 CPU (不図示）およびその周辺回路（不図示）か ら構成され、 CPU力インストールされたプログラムを実行する。 [0012] プログラム力 Sインターネットやその他の電気通信回線を経由して提供される場合は 、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に 変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形 態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。
[0013] 以下、パーソナルコンピュータ 1が実行する画像処理について説明する。図 2は、パ 一ソナルコンピュータ 1が処理する第 1の実施の形態の画像処理のフローチャートを 示す図である。ステップ S1では、線形 RGB画像データを入力する。ステップ S2では、 均等ノイズ'擬似均等色空間に変換する。ステップ S3では、ノイズ除去処理をする。 ステップ S4では、色空間を逆変換する。ステップ S5では、処理が終了した画像デー タを出力する。以下、各ステップの処理の詳細について説明する。
[0014] 1)画像データ入力
ステップ S1で入力される線形 RGB画像データは、線形階調で表された RGB表色系 データである。 RGB表色系データは、例えばべィァ配列の色フィルタを備えた CCDな どの撮像素子で撮像され、各種の補間処理がなされ、画素ごとに R成分, G成分 ,Β成 分の色情報を有するデータである。線形階調のデータとは、光強度に線形な階調の データであり、受光量に比例した色情報の値を持つデータである。ガンマ補正が掛 力つているようなデータは事前に線形階調へ戻しておくものとする。このような画像デ ータは、デジタルカメラ 2やその他の撮像装置で撮像される。
[0015] 2)色空間変換
ステップ S2では、線形階調の 3刺激値 R,G,Bから均等ノイズ'擬似均等色空間を実 現する色空間へ変換する。本実施の形態で定義する空間は、従来のいわゆる均等 色空間 L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にじ a" と名付ける。
[0016] まず最初に、均等色空間を定義するとき通例用いられる XYZ表色系へ変換する。
入力撮像素子に用いられているカラーフィルタの分光感度分布特性によってこの変 換式はそれぞれ異なってくる。ここで、原刺激を単一スペクトルの R(700.0nm), G(546. lnm), B(435.8nm)とした CIE RGB表色系から CIE XYZ表色系への変換式の例を示す と、次の変換式の通りである。 X=2.7689R+1.7517G+1.1320B ...(1)
Y=1.0000R+4.5907G+0.0601B ...(2)
Z= +0.0565G+5.5943B ...(3)
[0017] もう一つ別の例を挙げておく。最終的に sRGB色空間で表現されたカラー画像を扱 う場合、線形階調に戻された RGB値カゝら XYZ値への変換は以下の式を利用する。
X=0.4124R+0.3576G+0.1805B ...(4)
Y=0.2126R+0.7152G+0.0722B ...(5)
Z=0.0193R+0.1192G+0.9505B ...(6)
[0018] 次に、線形階調の XYZ空間から擬似的に均等色配分された知覚的な属性を表す 非線形階調のじ a" 空間へ次式により変換する。
じ =100* Y/Y0) ...(7)
a~=500*[ X/X0)— Y/Y0)] ...(8)
=200*[ Y/Y0)- Z/ZO)] ...(9)
[0019] ここに、 ΧΟ,ΥΟ,ΖΟは照明光によって定まる値であり、例えば、標準光 D65下で 2度視 野の場合、 Χ0=95.045、 Υ0=100.00、 Ζ0=108.892のような値をとる。また、非線形階調 変換関数 は以下の式 (10)で定義する。ただし、変数 tは t=(Y/Y0),t=(X/X0),t=(Z/Z0 )であり、 0≤ (Y/Y0)≤ 1 ,0≤ (X/X0)≤ 1 ,0≤ (Z/Z0)≤ 1となるように XYZ値の階調数の 最大値で規格化された値をとる。なお、本実施の形態で、 Aのように記載する場合 は、 Aの平方根すなわちルート Aであることを意味する。
[数 1]
【数 1】
[0020] なお、原点と飽和点を規格ィ匕する必要がある場合は、以下の式を用いる。
[数 2]
【数 2】 八尸^ WIS [0021] εは線形階調の信号に対して加えるオフセット信号で、零ないし正の値をとり、撮 像感度が高くなるに従い大きな値をとる。 εの値は、センサーの暗時ノイズの量によ つて決まるが、例えば ISO 100程度のときはほぼ 0に近い値を、 ISO6400程度のときは 0 .05程度の値をとる。オフセット信号は、非線形階調変換時に加えても、 ΧΥΖ値の状態 でカロえても、 RGB値の状態でカ卩えても同じ結果である。
[0022] 上記式 (7)(8)(9)は、 XYZ空間から均等色空間 CIE L*a*b*に変換する変換式と類似 の変換式である。異なる点は、均等色空間 CIE L*a*b*に変換する変換式では 1/3乗 の冪関数になっているところ、上記式 (7)(8)(9)では 1/2乗の冪関数になっている点で ある。また、均等色空間 CIE L*a*b*に変換する変換式では特に考慮されていないが 、上記式 (7)(8)(9)ではオフセット信号 εが考慮されている点である。
[0023] 参考に、 ΧΥΖ空間から均等色空間 CIE L*a*b*に変換する変換式の例を以下に記 載する。
L*=116*(Y/Y0)1 3-16 ...(12)
a*=500*[(X/X0)1 3-(Y/Y0)1 3] ...(13)
b*=200*[(Y/Y0)1 3-(Z/Z0)1 3] ...(14)
[0024] ここで、上記変換式 (7)(8)(9)により均等ノイズ'擬似均等色空間がなぜ実現できるの か説明を加える。均等色空間は従来の CIE L*a*b*の定義力もそれほど大きな変更を 加えていないことから、擬似的に均等色空間を実現していることが判る。すなわち、色 度図におけるマックアダムの偏差楕円による弁別メッシュの均等色配分比率は、階調 特性の大きく変わる喑 、部分を除 、て大きな変化を生じせずに保持される。図 10 (a )は、従来の CIE L*a*b*色空間の L*=50の色度図におけるマックアダムの偏差楕円 を示す図であり、図 10 (b)は従来の CIE L*u*v*色空間の L*=50の色度図におけるマ ックアダムの偏差楕円を示す図である。図中に示された小さな複数のマックアダムの 偏差楕円が略一様性を呈し、 CIE L*a*b*空間および CIE L*u*v*色空間が、均等色 空間であることが分かる。本実施の形態による均等ノイズ'擬似均等色空間も、図 10 ( a)や図 10 (b)と同様に、マックアダムの偏差楕円の一様性が実現されて！、る。
[0025] 一方のノイズの均等性について更に詳しく述べる。元の線形階調 RGB信号は、信 号の平方根に比例するショットノイズと信号に依存しない撮像素子 ·回路系の喑時ノ ィズ (ダークノイズ）の 2つの要素からなるランダムノイズを持っている。 R信号のショット ノイズを ^R、暗時ノイズを ε (定数）のように表せば、 R,G,Bの各トータルノイズ量 δ R、 S G、 δ Βは以下のように書ける。ただし、定数倍項は省略して表記している。 εは 定数であるので、便宜上 をつけた記載とした。なお、ショットノイズと暗時ノイズを含 む場合において、平方根階調変換する前に暗時ノイズ量に応じたオフセット信号を 加えることにより均等ノイズ空間が実現できることが特願 2004-200890号 (本願発明者 と同一発明者による出願）において示されている。
[数 3]
【数 3】 δ
Figure imgf000011_0001
(1 5)
Π ( ~ _, ^ f 7 ~~ Jimm . ！ „
( 1 6)
Figure imgf000011_0002
[0026] 更に、 RGB表色系力 XYZ表色系への変換は、大ざっぱに近似すれば下式のよう になる。
X=(R+G)/2 ...(18)
Y=G ...(19)
Z=B ...(20)
[0027] したがって、誤差伝播則により Χ,Υ,Ζ信号のノイズ量、 δ Χ、 δ Υ、 δ Ζは以下のよう に書ける。
画
【数 4】
Figure imgf000011_0003
δ Y= δ G=VG+ ε=ν'ίί+ ε (22)
(23) [0028] 非線形変換部のみを取り出して、式 (24X25X26)のように定義すると、式 (27)(28)(29) より、各々のノイズ量 δ Χ'、 δ Υ'、 δ Ζ'は階調に対して一定になるのが判る。すなわち 、式 (24X25X26)の階調変換関数のオフセット量を喑時ノイズにあわせた ε〖ことると、 階調変換によるノイズの伸縮操作と元のノイズ量の明るさ依存性が相殺し合って Χ'、 Υ'、 Ζ 'の明るさに対して一定なノイズに変換することができる。
X'=KX/X0) ...(24)
Y'=KY/Y0) —(25)
Z'=KZ/Z0) ...(26)
[0029] [数 5]
【数 5】
1 x+ ε 1
0 Χ δ Χ。 '■const. * - (27)
Figure imgf000012_0002
Figure imgf000012_0001
[0030] したがって、均等ノイズ化された Χ',Υ',Ζ'の線形変換で定義される輝度 ·色差表現 のじ , も均等ノイズ空間となる。すなわち、式 (30)(31)(32)のじ , に対する誤差 δじ， δ a δ b ま式 (33X34X35)となり一定の値となる。すなわち、均等ノイズ化された 均等色空間が実現できる。
じ =100Υ' ...(30)
a^500(X'-Y') ...(31)
=200(Υ'— Ζ') ...(32)
[0031] [数 6] 【数 6】
δ LA=1006 Ύ'= const " * (33)
Figure imgf000013_0001
[0032] 3)ノイズ除去処理
図 2のステップ S3では、均等ノイズィ匕された均等色空間じ a" の各面に対し、ノイズ 量を 1つのプロファイルィ匕したような指標を参照するノイズフィルタによりノイズ除去処 理を行う。その 1つに、従来力 知られた Bilateral Filter (非特許文献 2)がある。しか し、本実施の形態では、上記の Bilateral Filter (非特許文献 2)とは異なる更に高性能 な次式による Bilateral Filterを用いる。すなわち、ノイズ程度の幅でゆらぐ信号成分同 士を、所定の範囲内で、信号差分量と距離比が相互に影響を及ぼし合いながら平滑 化する処理を行う。
[0033] (1)輝度成分じ
[数 7]
【数
Figure imgf000013_0002
(2)色差成分 b
[数 8]
【数 8】
Figure imgf000013_0003
[数 9]
Figure imgf000014_0001
7'は処理対象画素周辺の画素のベクトル（2次元座標）を示す
[0034] 従来の Bilateral Filter (非特許文献 2)では、引数 (変数、パラメータ）として空間的 な距離及び画素値間差分の両方を考慮した適応的フィルタが提案されて 、る。 2つ の引数をとることから Bilateral Filterと呼ばれている。このフィルタでは、フィルタの加 重係数が画素値差分 (V'-V)のみを引数とした photometric項の加重係数 w_photo[V'- V]と距離 (r'-r)のみを引数とした geometric項の加重係数 w_geometric[r'-r]の積で表さ れる。
[0035] し力し、このような従来の Bilateral Filterでは、 2つの引数に対してそれぞれ加重係 数を分離した形でしか扱って 、な 、ために、エッジ部や色境界部で突出点状のノィ ズ、偽色が残るという問題があった。すなわち、一方の引数の要因のみに左右されや すいためにうまくノイズ除去ができない状況が発生していた。例えば、色境界部では 画素値差分 |Vし V|が急激に大きくなると考えられる力 これによつて w_photometric[V' -V]は急激に小さ!/、値となってしま!/、、 V、くら w_geometric[r'-r]力 S1に近 、値を採って Vヽても無視されてしま 、、本来色境界部上に載って 、るノイズを除去したくても除去 できなくなる状況が発生していた。
[0036] 本実施の形態では、ノイズ除去フィルタとして、従来のような加重係数が photometri c項と geometric項に分離できる分離加重型 Bilateral Filterではなく、加重係数が phot ometric項と geometric項に分離できな!/、非分離加重型 Bilateral Filterを用いる。すな わち、従来の Bilateral Filterでは、 2つの引数をそれぞれ指数とする 2つの指数関数 の積で表される加重係数のフィルタを使用していた。しかし、本実施の形態のフィル タでは、 2つの引数の積で表される値を 1つの指数とする 1つの指数関数であらされる 加重係数のフィルタを使用している。積分範囲は rthの 2倍程度にとると、演算規模を 抑えながら十分ガウシアンの裾部分も考慮した演算を行うことができる。 [0037] このフィルタリング処理をじ面、 a"¾、 毎に単独で行う。ノイズ成分は短周期力 長 周期まであらゆる周波数成分を含む。長周期の色斑ノイズにまで対応するには、 rth= 20程度、すなわちフィルタリングサイズとしては 80x80画素程度にとる必要がある。この ように広範囲にフィルタリングしても、画素値差分と空間的距離の両因子を考慮して V、るので、画像構造の破壊なくノイズ除去が可能である。
[0038] 更に、このように画素値差分と距離の 2つの引数同士で積をとつて力も加重係数を 算出している。従って、色境界部等の信号面内の急勾配部で偽色等の突出点状ノィ ズがあっても、従来の分離型加重フィルタなら photometirc項の加重係数の落ち込み に支配されてノイズ除去が行われなくなって 、たのに対し、本方式の非分離型加重 フィルタなら空間距離の引数が画素値差分の引数に有効に作用して、最終的に有 限の加重係数を生み出して実効あるノイズ除去が可能となる。
[0039] また、長周期に渡る色斑ノイズに対しても従来の分離型加重フィルタは距離が離れ るとフィルタリング強度が急速にが弱まって偽色が残りやす力つたのに比べ、本方式 の非分離型加重フィルタなら長距離間でもノイズゆらぎ程度に収まる画素間ではフィ ルタリング強度が維持されるので、きれ 、なノイズ除去が可能となる。
[0040] 式 (36X37X38)において、 σ thの値は、一様面を撮影して、前述の均等ノイズ'擬似 均等色空間で計測した標準偏差の 2倍にとるとよい。均等ノイズ空間では、明るさ に依らず標準偏差が一定値をとる。従って、この標準偏差を使用して入力された画 像データのノイズ特性を 1つの代表値としてプロファイルィ匕することができる。すなわ ち、一様面の画像データの均等ノイズ空間で計測した標準偏差を、入力される画像 が有するノイズ特性の代表値として評価するために使用することができる。上述のフィ ルタは、この代表値を使用して処理が行われる。均等色空間は、上述のフィルタを使 用するのに非常に都合が良い。センサーによっても値が異なる力 256階調に対して I SO100程度では σ th=l程度、 ISO6400程度では σ th=10〜15程度の値をとる。
[0041] このようにして、輝度成分に対するノイズ除去は、エッジやテキスチャの画像構造を 保持しながらザラザラ感を減らす。色差成分に対するノイズ除去は、色構造や色再現 を保持しながら色斑ノイズや色モアレを除去する。輝度成分に対するノイズ除去は、 鮮明感の維持とザラザラ感の抑制とのトレードオフの関係で人によって好き嫌いがあ るので、省いたり、弱めにしたりしてもよい。
[0042] なお、 Bilateral Filterに限らず、 σフィルタをじ a" 各面に対し掛けるノイズ除去を行 つてもよい。また、引数を画素値間差分のみとするような Unilateral Filterであってもよ い。
[0043] 4)逆色空間変換
図 2のステップ S4では、じ a" 色空間力 線形階調の RGB色空間へ戻す。逆変換 は、上記式 (1)(2)(3)、式 (7)(8)(9)などを逆にたどるような処理をすればよい。
[0044] 5)画像出力
図 2のステップ S5では、ノイズ除去された画像データを出力する。ここで sRGB色空 間等の表示系に適した標準色空間へ変換するなどの処理を行ってもょ 、。
[0045] このようにして、線形階調の RGB色空間の画像データ力 V、つたん、均等ノイズィ匕さ れた均等色空間の画像データへ変換され、ノイズ除去のフィルタリングが行なわれる 。その後、ノイズ除去が行われた画像データを逆変換し、元の線形階調の RGB色空 間の画像データに戻し出力する。
[0046] 以上説明した本実施の形態の効果について説明する。従来の色空間では、画像 の構造に応じた如何に優れた適応フィルタを用いて画像構造破壊の少な ゾィズ除 去を行っても、色斑ノイズ等の広範囲に及ぶノイズに対応すると、量子力学の不確定 性原理により色ノイズ除去と色再現性の両立が図れなくなる。均等ノイズ空間では偽 色除去能力は高いものの色再現性が悪くなる問題がある。一方、均等色空間を用い ると色再現性は高 、ものの、ノイズが均等化されな 、ためその扱!、の難しさゆえにノ ィズ除去能力が低い。
[0047] 例えば、 ISO3200や ISO6400のような高感度で撮影された画像では、暗時ノイズが 多く含まれている。これを均等色空間の L*a*b*で処理すると、「赤地の平坦部」のよう なところはこのオフセットのない 1/3ガンマ特性の影響で暗時ノイズのゆらぎ幅を強調 してしまい、ノイズ除去が強力にかかる目標幅内に収まらないので、ザラザラ感が残 るといった現象がみられる。また、同様な理由によって色斑ノイズ除去能力も低い。
[0048] しかし、本実施の形態の均等ノイズ'擬似均等色空間と呼べる色空間を用いると偽 色などの色ノイズ除去と色再現の適度な両立を図ることができる。 [0049] 本実施の形態の均等ノイズ'擬似均等色空間と従来の L*a*b*との違いは、 RGB刺 激値の状態でオフセット信号が加わったことと、非線形階調変換が 1/3乗の冪関数か ら 1/2乗の冪関数に変わったことである。オフセット信号は、暗い部分で平方根の立 ち上がりを弱めることにより暗時ノイズを強調しない効果がある。
[0050] なお、オフセット信号は、従来の 1/3乗の冪関数に対しても同様の効果がある。した がって、完全な均等ノイズ空間にはならなくても、従来定義の L*a*b*に対し、 RGB刺 激値な ヽしは XYZ刺激値の状態でオフセット信号を加えるだけでも、ノイズ均等化の 大きな役割を果たせる。
[0051] CIE等で定義される従来の均等色空間は、ノイズ除去処理を必要とするような高感 度撮影データで、且つ、相当な量の暗時ノイズを含むような画像信号は基本的に想 定していなかったのではないかと考えられる。このように、ほとんど真の信号がノイズ に埋もれるような部分の色信号を引き伸ばすような非線形階調変換をしても正しい均 等色表示をしているとは思われず、高感度撮影データに対してはもう少し色が正確 に認知できるような明るい部分にやや色の知覚比重を移すことが望ましい。上記実施 の形態のオフセット処理がその役割を果たすことになる。このように画像中に含まれる ノイズ量を考慮した均等色空間を使えば、人間の知覚量に近いものとなり、画像処理 結果にも好影響を及ぼすと考えられる。
[0052] 図 3〜図 8を使用して、均等ノイズ空間についてさらに説明する。図 3は、撮像素子 の信号特性を説明する図である。両対数スケールで表された図 3において、横軸は 撮像面照度を、縦軸は信号の電子数をそれぞれ表す。直線 11は光信号を表し、入 射光量に比例して光信号 (電子数）が増加することを示している。直線 12は光ショット ノイズを表し、入射光量の 1Z2乗に比例してノイズ (電子数）が増加することを示して いる。直線 13は喑時ノイズ (ダークノイズ)を表し、入射光量にかかわらずノイズ (電子 数）が存在することを示して！/、る。
[0053] 図 4〜図 6は、均等ノイズ空間を模式的に説明する図である。図 4は、線形階調のグ ラフを示す。横軸は、撮像素子に対する光の入力量 Xを示し、縦軸は、撮像素子から の信号の出力 yを示す。光の入力量に応じて出力が y = Xの線形で変化して 、る様子 が示されている。 S yは、ショットノイズと暗時ノイズを合わせたランダムノイズの揺らぎ 幅を示し、入力 Xに対し暗時ノイズの一定分を除けば平方根で増加して 、る。
[0054] 図 5は、線形階調 y=xのグラフを非線形階調変換 (平方根階調変換)した様子を示 す図である。また、前述したオフセット εが考慮されている。図 5から分かるように、ォ フセット付きの平方根階調変換すると、ショットノイズと暗時ノイズの合計ランダムノィ ズ δ yは、入力値にかかわらず一定の値を示していることがわかる。これにより、オフ セット付きの平方根階調変換により、ショットノイズと暗時ノイズの合計ランダムノイズ の均等ノイズ空間が実現されることが分かる。なお、図 6は、従来の均等色空間 CIE L *a*b*に変換における 3乗根階調変換の様子を示す図である。図 6から分力るように、 従来の均等色空間 CIE L*a*b*では、入力値の増加に伴いショットノイズと暗時ノイズ の合計ランダムノイズ S yは小さくなつており一定ではない。すなわち、従来の均等色 空間 CIE L*a*b*では、ランダムノイズの均等ノイズ空間は実現されていない。
[0055] 図 7は、線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間に おけるそれぞれの入出力特性を示す図である。図 7において、横軸は線形階調信号 入力値 Xを、縦軸は出力値 yをそれぞれ表す。直線 21は線形変換時の入出力特性 を、曲線 22は平方根空間へ変換した入出力特性を、曲線 23はオフセット付き平方 根空間へ変換した入出力特性をそれぞれ示す。曲線 23は、前述した式 (10)によるも のである。
[0056] 曲線 22によれば、暗時ノイズ (ダークノイズ）が支配的となる線形入力値が小さ 、領 域 (たとえば、 0< x< 0. 1)、すなわち、低輝度領域において傾きが急峻になる。この ため、入力値にノイズによる揺らぎが生じると、入力側で生じた揺らぎより大きく増幅さ れた揺らぎが出力される。これに対して、前述した本実施の形態のオフセット付き平 方根階調空間（曲線 23)では、暗時ノイズ (ダークノイズ)が支配的となる領域 (たとえ ば、 0< x< 0. 1)でも傾きが急峻にならない。
[0057] 図 8は、線形階調空間、平方根階調空間、および式 (11)による階調空間におけるそ れぞれの入出力特性を示す図である。直線 21および曲線 22は図 7と同一であり、そ れぞれ線形変換時の入出力特性、および平方根空間への入出力特性を示す。曲線 31は式 (11)により、原点と飽和点を規格ィ匕した場合の曲線である。
[0058] (第 2の実施の形態） 第 1の実施の形態では、式 (7)(8)(9)で示すように、線形階調の XYZ空間から均等ノ ィズかつ均等色配分された知覚的な属性を表す非線形階調のじ a 空間へ変換す る例を示した。第 2の実施の形態では、線形入力されてきた RGB刺激値に対し、まず 最初に非線形変換を行って均等ノイズィヒしてから、その後、線形変換により均等色空 間を実現しょうとするものである。すなわち、まず、 RGBの段階でオフセット付き平方 根により均等ノイズィ匕し、後は XYZへの線形変換と視覚系特性への線形変換のみで 定義する。均等ノイズ空間を用いた高精細な補間処理を行う場合、補間処理との接 続性はこちらの方がとりやすい。
[0059] 第 2の実施の形態の画像処理装置の構成は、第 1の実施の形態と同様であるので 、図 1を参照し、その説明を省略する。図 9は、パーソナルコンピュータ 1が処理する 第 2の実施の形態の画像処理のフローチャートを示す図である。
[0060] ステップ SI 1では、線形 RGB画像データを入力する。例えば、べィァ配列のカラー フィルタの撮像素子で撮像された画像データを入力する。この段階では、まだ補間処 理がなされておらず、画素単位に R成分, G成分 ,Β成分の ヽずれかの色情報を有する データである。ステップ S 12では、均等ノイズ空間に変換する。ステップ S 13では、補 間処理を行う。ステップ S 14では、擬似均等色空間へ線形変換することにより均等ノ ィズ'擬似均等色空間を実現する。ステップ S15では、ノイズ除去処理をする。ステツ プ S16では、色空間を逆変換する。ステップ S17では、処理が終了した画像データを 出力する。以下、各ステップの処理の詳細について説明する。
[0061] 1)画像入力
ステップ SI 1で入力される線形 RGB画像データは、線形階調で表された RGB表色 系データである。 RGB表色系データは、例えばべィァ配列の色フィルタを備えた CCD などの撮像素子で撮像され、画素ごとに R成分, G成分 ,Β成分のいずれかの色情報を 有するデータである。補間処理はまだなされて 、な 、。
[0062] 2)均等ノイズ空間変換
ステップ S12では、均等ノイズ空間へ変換する。ショットノイズとセンサー '回路系の 暗時ノイズを含むノイズを均等化するには、 R,G,B線形階調にオフセット信号を加え て平方根階調特性に変換すればよい。オフセット信号を εとして、次の式により、線 形 RGB画像データから非線形 R'G'B'画像データに変換する。
[数 10]
【数 1 0】
Figure imgf000020_0001
[0063] εの値は、第 1の実施の形態と同程度にとる。
[0064] 3)補間処理
ステップ S 13では、均等ノイズ空間に変換された画像データを補間処理する。べィ ァ画像データなどは、前述したように、画素ごとに R成分, G成分 ,Β成分のいずれかの 色情報しか有しない。そこで、各画素において欠落する色成分の色情報を補間処理 で生成する。補間処理については各種の手法が提案されているので、本実施の形態 において最適なものを使用すればよい。ただし、補間処理においてもノイズが均等化 されて ヽる方が高精細な結果を得やす ヽ。
[0065] 4)均等ノイズ ·擬似均等色空間変換
補間処理後の非線形 R',G',B'から、次式により非線形定義の Χ',Υ' ,Ζ'空間へ線形 変換する。
X'=2.7689R'+1.7517G'+1.1320B' ...(42)
Y'=1.0000R'+4.5907G'+0.0601B' ...(43)
Z'= +0.0565G'+5.5943B' ...(44) [0066] ここでは、線形階調で定義される CIE RGB表色系力 CIE XYZ表色系への変換と 同じマトリックス係数を用いた。しかし、上記式は非線形階調の間で定義されるので、 もう少し補正されたマトリックス行列を使用するようにしてもょ 、。
[0067] 非線形 Χ',Υ',Ζ'を、さらに次式により、知覚的均等色を擬似的に実現する空間への 変換を行う。便宜的に L#a#b#空間と名付ける。
L#=100Y' ...(45)
a#=500(X'-Y') ...(46)
b#=200(Y'-Z') ...(47)
[0068] このようにして均等ノイズ'擬似均等色空間が実現される。先の R',G',B'の段階で、 ノイズが階調に依存しな 、均等ノイズィ匕されて 、るので、それらを線形変換した Χ',Υ', Z'及び L#,a#,b#も階調に依存しな ヽ均等ノイズ空間となる。
[0069] 5)ノイズ除去処理
第 1の実施の形態と同じようにノイズ除去処理を行う。
[0070] 6)逆色空間変換
ステップ S16では、 L#a#b#色空間から線形階調の RGB色空間へ戻す。逆変換は前 述した定義式を逆にたどるような処理を行えばよい。また、ここで他の任意の色空間 へ変換するようにしてもょ ヽ。
[0071] 7)画像出力
ステップ S 17では、ノイズ除去された画像データを出力する。本実施の形態では、 通常の線形階調定義の XYZを介さずに、代わりに模擬的な非線形階調定義の X'Y'Z 'を介した均等色空間への変換である。従って、撮像素子出力から連続的に補間処 理ゃノイズ除去処理を行う場合、補間処理の均等ノイズ空間の階調を線形階調に戻 して、さらにノイズ除去処理の均等ノイズ'均等色空間への非線形階調変換をする必 要もなぐ直接均等ノイズ空間から均等ノイズ'均等色空間への移行が図られるため、 色空間変換の演算回数が少なくて済み、より補間処理との接続性が良くなる。
[0072] なお、上記実施の形態では、オフセット信号を加えながら平方根階調変換をするこ とによって均等ノイズ空間を実現する例を説明した。しかし、暗時ノイズが少ない場合 は、平方根階調変換のみでも均等ノイズ空間が達成できる。逆に、平方根階調特性 とは異なる非線形階調変換であっても、 RGB刺激値な ヽしは XYZ刺激値に対するォ フセット操作のみでも近似的に撮像素子'回路系の暗時ノイズを考慮したノイズの均 等化の主要な目的を達成することが可能である。
[0073] 従って、 L*u*v*、 Hunter Lab、 LABHNUや、最近の CIECAM97、 CIECAM02, iCA M等でも基本的に XYZ表色系と線形変換可能で且つ、線形階調から非線形階調へ の変換を伴って定義される色空間であるため、これらへの応用も可能である。
[0074] 上記実施の形態では、本発明の色空間を擬似均等色空間という表現をした。この「 擬似」とは、均等色空間として知られて 、る 、わゆる L*a*b*に近 、空間を生成して!/ヽ るので「擬似」とした。しかし、本願の色空間は、撮像感度に応じて異なる均等色空間 を実現している。このことは、従来の均等色空間よりより正確な均等色空間を実現し ているとも言える。
[0075] 上記実施の形態では、フィルタを式 (36)力 (38)のように表した力 必ずしもこの内 容に限定する必要はない。画素値の差分が、プロファイルィ匕された代表値 σあるい は 2 σ等より大き!/、かどうかにより加重係数を 0 (大き 、場合)ある 、は 1 (小さ 、場合） とし、加重係数が 1とされたものの画素値について平均値を計算するような処理にし てもよい。
[0076] 上記実施の形態では、パーソナルコンピュータ 1で処理を行う例を示した力 必ずし もこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であ つてもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱う あらゆる装置に適用することができる。
[0077] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容 に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態 様も本発明の範囲内に含まれる。
[0078] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願 2004年第 365881号（2004年 12月 17日出願）

Claims

請求の範囲
[1] 画像処理方法であって、
ある撮像感度で撮像されたカラー画像データを入力し、
前記カラー画像データを、前記撮像感度の違いによって異なる均等色空間への変 換を行うことを特徴とする画像処理方法。
[2] 請求項 1に記載の画像処理方法において、
前記カラー画像データを前記均等色空間への変換を行うとき、前記均等色空間へ 変換するための階調変換特性を前記撮像感度に応じて変更することを特徴とする画 像処理方法。
[3] 請求項 2に記載の画像処理方法において、
前記階調変換特性は非線形であることを特徴とする画像処理方法。
[4] 光強度に対し線形な階調特性をもつ刺激値のセットで表された画像データを入力 し、前記入力された画像データの刺激値に所定の非線形階調変換を介して知覚的 な属性を表す色信号へ変換する画像処理方法であって、
前記画像データの刺激値の各々に対してオフセット信号を加えた状態で線形階調 から非線形階調への変換を行うことを特徴とする画像処理方法。
[5] 請求項 4に記載の画像処理方法において、
前記所定の非線形階調変換は、擬似的に均等色空間を実現する知覚的な属性を 表す色信号への変換であることを特徴とする画像処理方法。
[6] 請求項 4から 5の 、ずれかに記載の画像処理方法にお!、て、
前記所定の非線形階調変換は、実質的に平方根特性の非線形階調変換であるこ とを特徴とする画像処理方法。
[7] 請求項 4力 6の 、ずれかに記載の画像処理方法にお!、て、
前記オフセット信号は、零な 、し正のオフセット信号であることを特徴とする画像処 理方法。
[8] 請求項 4から 7の 、ずれかに記載の画像処理方法にお!、て、
前記画像データの刺激値の各々に対してオフセット信号を加えるとき、前記入力さ れた画像データの撮像感度に応じて、加えるオフセット信号の値を変えることを特徴 とする画像処理方法。
請求項 4力 8の 、ずれかに記載の画像処理方法にお!ヽて、
前記変換された色信号において、信号の一定幅を前記入力された画像データが有 するノイズ特性の代表値とすることを特徴とする画像処理方法。
請求項 9に記載の画像処理方法にお 、て、
前記信号の一定幅は、一様面を撮像した画像データを前記所定の非線形階調変 換を介して知覚的な属性を表す色信号へ変換し、変換後の一様面の画像データの 標準偏差を求めることにより求めることを特徴とする画像処理方法。
請求項 9から 10の 、ずれかに記載の画像処理方法にお!、て、
前記変換された色信号の色空間にお 、て、前記ノイズ特性の代表値を利用してノ ィズ除去処理を行うことを特徴とする画像処理方法。
請求項 4から 11の 、ずれかに記載の画像処理方法にお!ヽて、
前記入力された画像データは、 Χ,Υ,Ζを原刺激とする 3刺激値で表された画像デー タであることを特徴とする画像処理方法。
請求項 4から 11の 、ずれかに記載の画像処理方法にお!ヽて、
前記入力された画像データは、 R,G,Bを原刺激とする 3刺激値で表された画像デー タであり、
前記 R,G,Bを原刺激とする 3刺激値で表された画像データを、該原刺激値の線形結 合で表される 3刺激値 Χ,Υ,Ζに変換し、
前記変換した Χ,Υ,Ζから前記知覚的な属性への変換を行うことを特徴とする画像処 理方法。
請求項 4から 11の 、ずれかに記載の画像処理方法にお!ヽて、
前記入力された画像データは、 R,G,Bを原刺激とする 3刺激値で表された画像デー タであり、
前記 3刺激値 R,G,Bを R,G,Bの状態で非線形階調変換してから、前記知覚的な属性 への変換を行うことを特徴とする画像処理方法。
画像処理方法であって、
線形階調特性を有するカラー画像データを入力し、 前記入力されたカラー画像データに対して、非線形階調変換により均等ノイズ空間 への変換を行うとともに、所定の変換式により均等色空間への変換を行うことを特徴と する画像処理方法。
[16] 請求項 15に記載の画像処理方法において、
前記入力されたカラー画像データに対してオフセット信号を加えて、前記非線形階 調変換により均等ノイズ空間への変換を行うことを特徴とする画像処理方法。
[17] 請求項 15から 16のいずれかに記載の画像処理方法において、
前記カラー画像データを XYZ刺激値による XYZ空間へ変換し、
前記 XYZ空間から前記均等色空間への変換を行うとき、 3乗根階調変換の代わりに 平方根階調変換を使用することにより前記均等ノイズ空間への変換を行なうことを特 徴とする画像処理方法。
[18] コンピュータ読み込み可能なコンピュータプログラム製品であって、
請求項 1から 17のいずれかに記載の画像処理方法をコンピュータまたは画像処理 装置に実行させる画像処理プログラムを有する。
[19] 請求項 18のコンピュータプログラム製品において、前記コンピュータプログラム製品 は前記画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体である。
[20] 画像処理装置であって、
請求項 1から 17のいずれかに記載の画像処理方法を実行する制御装置を有する。
PCT/JP2005/023158 2004-12-17 2005-12-16 画像処理方法 WO2006064913A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006548938A JP4952251B2 (ja) 2004-12-17 2005-12-16 画像処理方法、画像処理プログラム、記録媒体、および画像処理装置
US11/792,338 US7940983B2 (en) 2004-12-17 2005-12-16 Image processing method
EP05816611A EP1833264B1 (en) 2004-12-17 2005-12-16 Image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004365881 2004-12-17
JP2004-365881 2004-12-17

Publications (1)

Publication Number Publication Date
WO2006064913A1 true WO2006064913A1 (ja) 2006-06-22

Family

ID=36587962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/023158 WO2006064913A1 (ja) 2004-12-17 2005-12-16 画像処理方法

Country Status (4)

Country Link
US (1) US7940983B2 (ja)
EP (2) EP1833264B1 (ja)
JP (1) JP4952251B2 (ja)
WO (1) WO2006064913A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035370A (ja) * 2006-07-31 2008-02-14 Dainippon Printing Co Ltd デジタルカメラの偽色評価方法、デジタルカメラの偽色評価装置及びデジタルカメラの偽色評価プログラム
WO2008056565A1 (fr) * 2006-11-10 2008-05-15 Olympus Corporation Système d'analyse d'image et programme de traitement d'image
WO2008105268A1 (ja) * 2007-02-28 2008-09-04 Nikon Corporation 画像処理方法
US8120679B2 (en) 2008-08-01 2012-02-21 Nikon Corporation Image processing method
US8238683B2 (en) 2006-03-31 2012-08-07 Nikon Corporation Image processing method
US8244034B2 (en) 2006-03-31 2012-08-14 Nikon Corporation Image processing method
US8265412B2 (en) 2007-02-02 2012-09-11 Nikon Corporation Image processing method
US8369640B2 (en) 2007-02-02 2013-02-05 Nikon Corporation Image processing for removing a noise component contained in an image
WO2014013792A1 (ja) * 2012-07-19 2014-01-23 ソニー株式会社 ノイズ評価方法、画像処理装置、撮像装置およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1781043B1 (en) * 2004-07-07 2013-01-23 Nikon Corporation Image processor and computer program product
JP4533860B2 (ja) * 2006-03-09 2010-09-01 富士フイルム株式会社 撮影装置及び露出制御方法
US7652788B2 (en) * 2006-06-23 2010-01-26 Nokia Corporation Apparatus, method, mobile station and computer program product for noise estimation, modeling and filtering of a digital image
KR100696162B1 (ko) * 2006-08-11 2007-03-20 엠텍비젼 주식회사 이미지의 노이즈 감소 장치 및 노이즈 감소 방법, 이를수행하는 프로그램이 기록된 기록 매체
TW200828983A (en) * 2006-12-27 2008-07-01 Altek Corp Method of eliminating image noise
JP2009055465A (ja) * 2007-08-28 2009-03-12 Toshiba Corp 画像処理装置および方法
US8861885B2 (en) * 2009-08-26 2014-10-14 Apple Inc. Directional noise filtering
US7983511B1 (en) 2010-11-29 2011-07-19 Adobe Systems Incorporated Methods and apparatus for noise reduction in digital images
JP2013219452A (ja) * 2012-04-05 2013-10-24 Sony Corp 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置
CN103390262B (zh) * 2012-05-11 2016-06-29 华为技术有限公司 数字滤波器权重系数的获取方法和装置
US9602735B2 (en) 2012-12-19 2017-03-21 International Business Machines Corporation Digital imaging exposure metering system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154623A (ja) * 1993-10-06 1995-06-16 Fuji Photo Film Co Ltd 色再現システム
JP2001036758A (ja) * 1999-07-16 2001-02-09 Fuji Photo Film Co Ltd 色補正処理方法および色補正処理装置
JP2003149050A (ja) * 2001-11-08 2003-05-21 Minolta Co Ltd 測色装置、測色方法、測色制御プログラムおよび測色制御プログラムが格納されたコンピュータ読み取り可能な記録媒体
JP2003234955A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
JP2004208079A (ja) * 2002-12-25 2004-07-22 Sony Corp 撮像装置及び方法
JP2005020186A (ja) * 2003-06-24 2005-01-20 Olympus Corp 画像処理システム及び画像処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6342575A (ja) * 1986-08-08 1988-02-23 Dainippon Screen Mfg Co Ltd 階調変換方法およびその装置
DE4012905A1 (de) * 1990-04-23 1991-10-24 Linotype Ag Verfahren und vorrichtung zur erzeugung einer digitalen drucktabelle fuer druckfarben bei bildreproduktionsgeraeten
US5091972A (en) 1990-09-17 1992-02-25 Eastman Kodak Company System and method for reducing digital image noise
EP0613294B1 (en) * 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
DE69307693T2 (de) 1993-08-16 1997-07-24 Agfa Gevaert Nv Verfahren sowie Vorrichtung zur Überwachung der Empfindlichkeit eines Systems zur Wiedergabe von in einem photostimulierbaren Leuchtstoffschirm gespeicherten Bildern
US5502580A (en) 1993-10-06 1996-03-26 Fuji Photo Film Co., Ltd. Color reproduction system
US6278800B1 (en) 1993-11-04 2001-08-21 Eastman Kodak Company Method and associated apparatus for transforming of color-image signals for consistent shadow to highlight characteristics
US5796865A (en) * 1994-07-04 1998-08-18 Fuji Photo Film Co., Ltd. Gradation correcting method and apparatus
US6160634A (en) * 1995-12-25 2000-12-12 Fuji Photo Film Co., Ltd. Digital printer and image data conversion method
JPH09247473A (ja) * 1996-03-07 1997-09-19 Minolta Co Ltd 画像形成装置
US5923775A (en) 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
JPH11187420A (ja) 1997-12-24 1999-07-09 Sony Corp 信号処理装置及び信号処理方法
JP2000354179A (ja) * 1999-06-11 2000-12-19 Nikon Corp 信号変換方法、および信号変換プログラムを記録した記録媒体
JP2001169127A (ja) 1999-12-10 2001-06-22 Konica Corp 画像処理方法および画像処理装置
US6724943B2 (en) 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
JP3757747B2 (ja) * 2000-04-03 2006-03-22 株式会社ニコン 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法
JP4154847B2 (ja) * 2000-09-26 2008-09-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2004200890A (ja) 2002-12-17 2004-07-15 Konica Minolta Holdings Inc デジタル画像出力アダプタおよびそれを利用した印刷システム
EP1781043B1 (en) 2004-07-07 2013-01-23 Nikon Corporation Image processor and computer program product

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154623A (ja) * 1993-10-06 1995-06-16 Fuji Photo Film Co Ltd 色再現システム
JP2001036758A (ja) * 1999-07-16 2001-02-09 Fuji Photo Film Co Ltd 色補正処理方法および色補正処理装置
JP2003149050A (ja) * 2001-11-08 2003-05-21 Minolta Co Ltd 測色装置、測色方法、測色制御プログラムおよび測色制御プログラムが格納されたコンピュータ読み取り可能な記録媒体
JP2003234955A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
JP2004208079A (ja) * 2002-12-25 2004-07-22 Sony Corp 撮像装置及び方法
JP2005020186A (ja) * 2003-06-24 2005-01-20 Olympus Corp 画像処理システム及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1833264A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238683B2 (en) 2006-03-31 2012-08-07 Nikon Corporation Image processing method
US8244034B2 (en) 2006-03-31 2012-08-14 Nikon Corporation Image processing method
JP2008035370A (ja) * 2006-07-31 2008-02-14 Dainippon Printing Co Ltd デジタルカメラの偽色評価方法、デジタルカメラの偽色評価装置及びデジタルカメラの偽色評価プログラム
WO2008056565A1 (fr) * 2006-11-10 2008-05-15 Olympus Corporation Système d'analyse d'image et programme de traitement d'image
JP2008124764A (ja) * 2006-11-10 2008-05-29 Olympus Corp 撮像システム、画像処理プログラム
US8184181B2 (en) 2006-11-10 2012-05-22 Olympus Corporation Image capturing system and computer readable recording medium for recording image processing program
US8265412B2 (en) 2007-02-02 2012-09-11 Nikon Corporation Image processing method
US8675982B2 (en) 2007-02-02 2014-03-18 Nikon Corporation Image processing for removing a noise component contained in an image
US8369640B2 (en) 2007-02-02 2013-02-05 Nikon Corporation Image processing for removing a noise component contained in an image
WO2008105268A1 (ja) * 2007-02-28 2008-09-04 Nikon Corporation 画像処理方法
US8249341B2 (en) 2007-02-28 2012-08-21 Nikon Corporation Image processing method for removing noise contained in an image
JP4858610B2 (ja) * 2007-02-28 2012-01-18 株式会社ニコン 画像処理方法
US8339484B2 (en) 2008-08-01 2012-12-25 Nikon Corporation Image processing method
US8120679B2 (en) 2008-08-01 2012-02-21 Nikon Corporation Image processing method
WO2014013792A1 (ja) * 2012-07-19 2014-01-23 ソニー株式会社 ノイズ評価方法、画像処理装置、撮像装置およびプログラム

Also Published As

Publication number Publication date
JPWO2006064913A1 (ja) 2008-06-12
US20080095431A1 (en) 2008-04-24
EP2464125A1 (en) 2012-06-13
US7940983B2 (en) 2011-05-10
EP1833264A4 (en) 2010-03-31
EP2464125B1 (en) 2013-07-31
EP1833264B1 (en) 2012-11-07
EP1833264A1 (en) 2007-09-12
JP4952251B2 (ja) 2012-06-13

Similar Documents

Publication Publication Date Title
JP4952251B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、および画像処理装置
US8081239B2 (en) Image processing apparatus and image processing method
US8249341B2 (en) Image processing method for removing noise contained in an image
JP4273428B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2003230160A (ja) カラー映像の彩度調節装置及び方法
EP2672691B1 (en) Image processing apparatus and image processing method
WO2006134923A1 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
US7130485B2 (en) Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
US10764469B2 (en) Image processing apparatus, image processing method, and storage medium that convert an input luminance signal included in image data into an output signal for printing by using a conversion parameter
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
JP2006114005A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP4774757B2 (ja) 画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP2006115444A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ
JP2016126617A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP4752912B2 (ja) 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
JP7278096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015076642A (ja) 画像処理装置及びプログラム
JP2008131529A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2011120299A (ja) 階調変換装置、プログラム、電子カメラ、及びその方法
JP2011146893A (ja) 画像処理装置、撮像装置及び画像処理プログラム
KR20160001897A (ko) Cielab 색 공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치
JP5103580B2 (ja) 画像処理装置およびデジタルカメラ
JP7329932B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5494249B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2004235700A (ja) 画像処理装置、画像処理方法、およびそのプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006548938

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11792338

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005816611

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005816611

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11792338

Country of ref document: US