WO2014013792A1 - ノイズ評価方法、画像処理装置、撮像装置およびプログラム - Google Patents

ノイズ評価方法、画像処理装置、撮像装置およびプログラム Download PDF

Info

Publication number
WO2014013792A1
WO2014013792A1 PCT/JP2013/064778 JP2013064778W WO2014013792A1 WO 2014013792 A1 WO2014013792 A1 WO 2014013792A1 JP 2013064778 W JP2013064778 W JP 2013064778W WO 2014013792 A1 WO2014013792 A1 WO 2014013792A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
noise
color difference
pixel
calculated
Prior art date
Application number
PCT/JP2013/064778
Other languages
English (en)
French (fr)
Inventor
建行 藤井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014525744A priority Critical patent/JPWO2014013792A1/ja
Publication of WO2014013792A1 publication Critical patent/WO2014013792A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Definitions

  • This technology relates to a noise evaluation method.
  • the present invention relates to a noise evaluation method for calculating the amount of noise included in an image, an image processing device, an imaging device, and a program for causing a computer to execute the method.
  • an apparatus for imaging a subject and an apparatus for reproducing a captured image have been realized.
  • a predetermined image process is performed on the image so as to display an image that is easy to see for the user, and then the image is recorded or an image subjected to such an image process is reproduced.
  • noise image quality
  • L * u * v * color space L * u * v * color space
  • variable coupling coefficient that is a coefficient obtained by experiments to determine the degree to which the user perceives noise
  • the noise evaluation value (noise amount) can be calculated.
  • variable coupling coefficient used when calculating the noise evaluation value is obtained using images of different brightness. Then, when calculating the evaluation value of the noise, based on the average brightness of the evaluation object area obtained in the process of calculating the evaluation value of the noise (L *) (L * AVE ), each axial A variable coupling coefficient is determined.
  • the degree of noise perception varies depending on the difference in chromaticity (u * , v * ). For this reason, it is desirable to set the degree of perceiving noise in consideration of not only lightness (L * ) but also chromaticity (u * , v * ).
  • This technology was created in view of such a situation, and aims to appropriately calculate the amount of noise.
  • a first aspect of the present technology is a three-dimensional value that is a value specified by the pixel value of a pixel in an image quality evaluation target area and that can calculate a color difference.
  • a reference value calculation procedure that averages the coordinate values in the color space and calculates the reference pixel value of the evaluation target region as a reference value, and a color difference formula for calculating the color difference in the three-dimensional color space
  • a noise evaluation method comprising a noise amount calculation procedure for calculating. Thereby, the noise amount in the evaluation target region is calculated based on the color difference between the reference value and the pixel value of each pixel.
  • the noise amount calculation procedure may calculate an average value using the color difference of each pixel in the evaluation target region and set the average value as the noise amount. This brings about the effect that the average value of the color difference of each pixel in the evaluation target area is calculated as the noise amount.
  • the three-dimensional color space may be a uniform color space
  • the color difference calculation procedure may calculate the color difference based on a distance relationship in the uniform color space. This brings about the effect that the color difference is calculated based on the distance relationship in the uniform color space.
  • the three-dimensional color space is CIELAB
  • the color difference calculation procedure may use a CIE2000 color difference formula as the color difference formula. This brings about the effect that the color difference is calculated using the CIE2000 color difference formula.
  • the second aspect of the present technology averages the coordinate values in the three-dimensional color space that is a value specified by the pixel value of the pixel in the image quality evaluation target area and can calculate the color difference, and
  • the pixel value of each pixel in the evaluation target area is calculated using a reference value calculation unit that calculates a reference pixel value as a reference value and a color difference formula for calculating a color difference in the three-dimensional color space.
  • a color difference calculation unit that calculates a color difference with respect to each reference value for each pixel, and a noise amount calculation unit that calculates a noise amount indicating the degree of noise in the evaluation target region based on the calculated color difference.
  • An image processing apparatus Thereby, the noise amount in the evaluation target region is calculated based on the color difference between the reference value and the pixel value of each pixel.
  • a determination unit that determines a parameter for adjusting the image quality of an image to be processed based on the calculated noise amount may be further provided.
  • the parameter for adjusting the image quality of the image to be processed is determined based on the amount of noise.
  • the determination unit includes a parameter for adjusting the degree of noise reduction, a parameter for adjusting the color reproducibility degree of the color matrix, and a parameter for adjusting imaging settings. May be determined as the parameter. Accordingly, there is an effect that the degree of processing of at least one of the plurality of image processing in the image processing apparatus is determined based on the amount of noise.
  • the third aspect of the present technology averages coordinate values in a three-dimensional color space that is a value specified by a pixel value of a pixel in an image quality evaluation target region in a captured image and that can calculate a color difference.
  • a pixel of each pixel in the evaluation target region using a reference value calculation unit that calculates a reference pixel value of the evaluation target region as a reference value and a color difference formula for calculating a color difference in the three-dimensional color space
  • a color difference calculation unit that calculates a color difference between a value and the calculated reference value for each pixel, and a noise amount that calculates a noise amount indicating the degree of noise in the evaluation target area based on the calculated color difference
  • the imaging apparatus includes a calculating unit and a determining unit that determines a parameter for adjusting the image quality of an image to be processed based on the calculated noise amount. This brings about the effect that the parameter for adjusting the image quality in the captured image is determined based on the noise amount calculated based on the color difference.
  • the fourth aspect of the present technology is a value specified by the pixel value of the pixel in the image quality evaluation target area and averages the coordinate values in the three-dimensional color space, and serves as a reference for the evaluation target area.
  • a reference value calculation procedure for calculating a pixel value as a reference value, and a coefficient used for calculating a noise amount in the evaluation target area, and a weight for calculating the noise amount of each axis direction value in the three-dimensional color space Calculate the amount of noise based on the coefficient calculation procedure for calculating the weighting coefficient for each direction based on the calculated reference value, the calculated weighting coefficient, and the pixel value of the pixel in the evaluation target area.
  • a noise evaluation method comprising: a noise amount calculating procedure. By this. There is an effect that the amount of noise is calculated using the weighting coefficient in each axial direction calculated based on the reference value.
  • the coefficient calculation procedure includes a table in which predetermined coordinates and sensitivity information relating to a range of coordinates where colors that cannot be distinguished by user perception are associated with colors at the coordinates are associated with each other.
  • the sensitivity information at the calculated reference value may be generated, and the weighting coefficient may be calculated based on the generated sensitivity information. This brings about the effect that the weighting coefficient is calculated using the table in which the coordinates and the sensitivity information are associated.
  • the weighting coefficient is a value calculated for each axial direction, and the coefficient calculation procedure is performed by setting the reference value in the direction of the axis where the weighting coefficient to be calculated indicates a weight.
  • the weighting coefficient of the calculation target is calculated. You may make it calculate.
  • the weighting coefficient is based on at least one of the sensitivity information having the closest coordinates on the positive side with respect to the reference value and the sensitivity information having the closest coordinates on the negative side with respect to the reference value in the direction of this axis. Is calculated.
  • the coefficient calculation procedure calculates the weighting coefficient in the calculated reference value using a table in which predetermined coordinates and the weighting coefficient at the coordinates are associated with each other. May be. This brings about the effect that the weighting coefficient at the reference value is calculated using the table in which the predetermined coordinates and the weighting coefficient at the coordinates are associated with each other.
  • the fifth aspect of the present technology is a value specified by the pixel value of the pixel in the image quality evaluation target area and averages the coordinate values in the three-dimensional color space, and serves as a reference for the evaluation target area.
  • a reference value calculation unit for calculating a pixel value as a reference value, and a coefficient used for calculating a noise amount in the evaluation target region, and a weight for calculating the noise amount of each axial value in the three-dimensional color space Calculate the amount of noise based on the coefficient calculation unit that calculates the weighting coefficient shown for each direction based on the calculated reference value, the calculated weighting coefficient, and the pixel value of the pixel in the evaluation target area
  • An image processing apparatus including a noise amount calculation unit. This brings about the effect that the amount of noise is calculated using the weighting coefficient in each axial direction calculated based on the reference value.
  • the image processing apparatus may further include a determination unit that determines a parameter for adjusting the image quality of the image to be processed based on the calculated noise amount.
  • the parameter for adjusting the image quality of the image to be processed is determined based on the amount of noise.
  • the determination unit includes a parameter for adjusting the degree of noise reduction, a parameter for adjusting the color reproducibility degree of the color matrix, and a parameter for adjusting imaging settings. May be determined as the parameter. Accordingly, there is an effect that the degree of processing of at least one of the plurality of image processing in the image processing apparatus is determined based on the amount of noise.
  • the sixth aspect of the present technology provides an average value of coordinates in a three-dimensional color space, which is a value specified by a pixel value of a pixel in an evaluation target region of captured image quality, and A reference value calculation unit for calculating a reference pixel value as a reference value, and a coefficient used for calculating a noise amount in the evaluation target region, and calculating a noise amount of a value in each axis direction in the three-dimensional color space.
  • An imaging apparatus comprising: a noise amount calculation unit that calculates a quantity; and a determination unit that determines a parameter for adjusting the image quality of an image to be processed based on the calculated noise amount It is. This brings about the effect that the parameter for adjusting the image quality in the captured image is determined based on the noise amount calculated based on the color difference.
  • FIG. 3 is a flowchart illustrating an example of a processing procedure when image processing is performed by the image processing apparatus 10 according to the first embodiment of the present technology.
  • 12 is a flowchart illustrating an example of a processing procedure of a noise amount calculation process (step S920) in the image processing procedure according to the first embodiment of the present technology.
  • step S940 is a flowchart illustrating an example of a processing procedure of parameter determination processing (step S940) in the image processing procedure according to the first embodiment of the present technology. It is a figure which shows an example of the relationship between the deviation ellipse of McAdam which shows the range which cannot detect the color difference detected by actual measurement in a u * v * chromaticity diagram, and the range where the color difference calculated by CIE2000 color difference formula cannot be identified. . It is a block diagram showing an example of functional composition of image processing device 20 in a 2nd embodiment of this art. It is a figure for demonstrating the color difference identification sensitivity information in 2nd Embodiment of this technique.
  • FIG. 22 is a flowchart illustrating an example of a processing procedure of a noise amount calculation process (step S950) in the image processing procedure according to the second embodiment of the present technology.
  • First embodiment image processing control: an example of calculating a noise amount based on a color difference
  • Second embodiment image processing control: an example of calculating noise amount by predicting sensitivity information (information on a range in which a color difference cannot be distinguished) for each coordinate)
  • FIG. 1 is a block diagram illustrating an example of a functional configuration example of the image processing apparatus 10 according to the first embodiment of the present technology.
  • the image processing apparatus 10 will be described assuming an imaging apparatus such as a digital still camera.
  • the image processing apparatus 10 can also be applied to a video viewing apparatus (for example, a recorder with a built-in hard disk) that records or displays still image content input from the outside.
  • a video viewing apparatus for example, a recorder with a built-in hard disk
  • the image processing apparatus 10 includes an image input unit 191, a signal processing unit 100, and an image output unit 192.
  • the image input unit 191 inputs an image, and supplies the input image to the signal processing unit 100.
  • the imaging apparatus such as a digital still camera
  • an image obtained by performing predetermined signal processing on an image acquired by the imaging element is supplied to the signal processing unit 100.
  • the predetermined signal processing for the acquired image corresponds to, for example, AD conversion, black level correction, defect correction, shading correction, color mixture correction, white balance correction, ⁇ correction, demosaic processing, and the like.
  • the image input unit 191 will be described assuming that the values in the RGB color space are pixel values.
  • the image input unit 191 supplies the image read from the recording medium to the signal processing unit 100.
  • the signal processing unit 100 determines a parameter for performing image processing based on the amount of noise (noise amount) included in the image, and performs image processing using the determined parameter.
  • the signal processing unit 100 includes a noise amount calculation unit 110 and an image processing unit 180.
  • the noise amount calculation unit 110 detects (quantifies) a noise amount indicating the amount of noise included in an image using a color difference.
  • the color difference is a value that quantitatively indicates the color difference perceived by the user's (human) vision.
  • the noise amount calculation unit 110 supplies the detected noise amount to the image processing unit 180.
  • the noise amount calculation unit 110 includes a target area setting unit 120, a color space conversion unit 130, a reference color calculation unit 140, a color difference calculation unit 150, and an average value calculation unit 160.
  • the target area setting unit 120 sets an area that uses a pixel value when calculating the amount of noise from the images supplied from the image input unit 191.
  • the target area setting unit 120 is, for example, an image obtained by capturing a subject (for example, an image composed of a single color) having a uniform pixel value throughout the image in order to detect the performance of the imaging device. If it is an image, the entire image is set as the target area.
  • the target area setting unit 120 detects, for example, an area in which the luminance value is relatively uniform when the image is an image of a subject having various pixel values such as a landscape, and the detected area is Set to the target area.
  • the target area setting unit 120 supplies the pixel value of each pixel in the target area to the color space conversion unit 130.
  • the color space conversion unit 130 defines the pixel value of each pixel supplied from the target region setting unit 120 from a value indicating coordinates in the RGB color space by the CIE (Commission Internationale de l'Eclairage). It is converted to a value indicating coordinates in the L * a * b * color space (CIELAB).
  • the color space conversion unit 130 supplies the pixel value converted into the L * a * b * color space to the reference color calculation unit 140 and the color difference calculation unit 150.
  • the reference color calculation unit 140 calculates a color (reference color) that serves as a reference for the color in the target region.
  • the reference color calculation unit 140 calculates the average value of the pixel values represented by the supplied L * a * b * color space from the color space conversion unit 130 as the reference color.
  • the reference color calculation unit 140 supplies the calculated reference color to the color difference calculation unit 150.
  • the reference color calculation unit 140 is an example of a reference value calculation unit described in the claims.
  • the color difference calculation unit 150 calculates a color difference between each pixel in the target area and the reference color.
  • the color difference calculation unit 150 calculates the color difference using the CIE2000 color difference formula, which is a formula for calculating the color difference in the L * a * b * color space. Note that L * is lightness, and a * and b * are chromaticness indices.
  • the calculation of the color difference using the CIE2000 color difference formula will be described with reference to FIG.
  • the color difference calculation unit 150 calculates the color difference of each pixel in the target area, and supplies the calculated color difference to the average value calculation unit 160.
  • the average value calculation unit 160 calculates the average value of the color differences supplied from the color difference calculation unit 150 as the amount of noise in the target area. An example of the calculation formula will be described with reference to FIG.
  • the average value calculation unit 160 supplies the calculated average value (noise amount) to the image processing unit 180.
  • the average value calculation unit 160 is an example of a noise amount calculation unit described in the claims.
  • the image processing unit 180 determines image processing parameters based on the amount of noise supplied from the average value calculation unit 160, and performs image processing based on the determined parameters. For example, the image processing unit 180 determines parameters so that strong noise reduction is applied when the amount of noise is large, and performs image processing (noise reduction) based on the determined parameters.
  • the image processing unit 180 supplies the image that has undergone image processing to the image output unit 192.
  • the image processing unit 180 is an example of a determination unit described in the claims.
  • the image output unit 192 outputs an image.
  • the output image is a removable recording medium such as a disk such as a DVD (Digital Versatile Disk) or a semiconductor memory such as a memory card. To be recorded.
  • the image processing device 10 is a video viewing device, for example, the image processing device 10 is output to a display device connected to the video viewing device and displayed on the display device.
  • the image processing unit 180 describes an example in which the noise reduction effect increases or decreases according to the calculated amount of noise.
  • the present invention is not limited to this, and the effect of other processing is increased or decreased.
  • the color reproducibility of the color matrix may be increased or decreased by changing parameters.
  • the image quality when displaying a moving image can be improved by using a color matrix having high color reproducibility.
  • the image quality in the recorded image can be improved by setting the imaging condition (for example, the exposure condition) in accordance with the amount of noise detected in the live view image. .
  • FIG. 2 is a diagram schematically illustrating the color difference calculation performed by the noise amount calculation unit 110 according to the first embodiment of the present technology.
  • FIG. 2a is an image diagram showing the L * a * b * color space as a three-dimensional color space solid.
  • the vertical axis (vertical direction) is an axis indicating L *
  • the horizontal axis (horizontal direction) is an axis indicating b *
  • the vertical axis Is an axis indicating a *
  • one small circle (color coordinate 210) indicated by gray in the sphere 200 schematically shows the coordinates of the reference color calculated by the reference color calculation unit 140.
  • the four small circles shown in the sphere 200 schematically indicate the coordinates of the pixel values of the four pixels in the target area.
  • the noise amount calculation unit 110 calculates the noise amount calculation unit 110 by the noise amount calculation unit 110.
  • the target region is set by the target region setting unit 120
  • the color space of the pixel value of the pixel in the target region is converted into the L * a * b * color space by the color space conversion unit.
  • the average value (average coordinate value) of all the pixels in the target region is calculated by the reference color calculation unit 140, and the reference color coordinate (color coordinate 210) is determined.
  • Equation 1 The coordinates of the reference color are (L * t , a * t , b * t ), and the coordinates of the color difference calculation target are (L * , a * , b * ).
  • the calculation of dL ′ is defined by the following equation 2.
  • dC ′ The calculation of dC ′ is defined by the following equation 3 and a plurality of equations shown in equation 4 necessary for calculating equation 3.
  • the calculation of the weight coefficient (S L , S C , S H ) is defined by a plurality of formulas shown in the following formula 6 and a plurality of formulas shown so far and the following formula 7. ing.
  • the above formula shows an example where
  • the color difference calculation unit 150 calculates the color difference using the CIE2000 color difference formula.
  • the color difference calculation unit 150 converts the color space into the color space.
  • the color difference is calculated using the corresponding color difference formula. For example, when it is converted into L * u * v * color space, the color difference formula for calculating the color difference in the L * u * v * color space is used.
  • the color difference is the reference This is the distance between the color and the color to be calculated. That is, when the coordinates of the reference color are (x t , y t , z t ) and the coordinates of the color difference calculation target are (x, y, z), the color difference (dE i ) in the complete color space is The following Expression 10 is obtained.
  • FIG. 2b the color difference of a plurality of pixels is schematically shown with the horizontal axis as the axis indicating the X coordinate of the pixel position and the vertical axis as the axis indicating the color difference (dE 2000 ). For convenience of explanation, the color difference between pixels in one row is shown. The plurality of small circles shown in FIG. 2b indicate the color difference of each pixel. In FIG. 2b, a sign (color difference 231 to color difference 234) and a double arrow indicating the amount of color difference are attached to the fourth color difference from the left end to the right of the graph.
  • the average value calculation unit 160 calculates an average value from the color differences of all the pixels in the noise amount calculation target region.
  • the average value (N) is calculated using, for example, the following formula 11.
  • n is the number of pixels in the target area.
  • equation 11 is an average value calculation equation for corresponding to the noise amount value according to the conventional calculation method.
  • L *, a *, b * and calculates a standard deviation for each were calculated the distance from the origin (0, 0, 0) to the coordinates indicated by the standard deviation as the amount of noise.
  • weighting is performed for each direction (L * , a * , b * ).
  • the noise amount (Noise) has been calculated using, for example, the following Expression 12.
  • ⁇ L * , ⁇ a * , and ⁇ b * are standard deviations of L * , a * , and b *, respectively.
  • ⁇ , ⁇ , and ⁇ are fixed values for weighting.
  • the calculation was performed using the standard deviation.
  • the calculation since the calculation is performed using the color difference, it is possible to calculate the amount of noise in consideration of the image quality perceived by human vision.
  • the example which calculates an average value was demonstrated here as a calculation method of noise amount, it is not limited to this. Since the color difference may be used for calculation, for example, the standard deviation may be calculated as the noise amount, or the square root of the value of the calculation result of Equation 11 may be calculated as the noise amount.
  • FIG. 3 is a table showing fluctuations in the degree of image blur due to noise reduction performed by the image processing unit 180 according to the first embodiment of the present technology.
  • FIG. 3 shows a table showing the relationship between the degree of noise reduction effect (column 241) and the degree of blur in the image (column 242).
  • the higher the degree of noise reduction effect the stronger the degree of image processing. That is, the degree of blur in an image increases as the degree of noise reduction effect increases.
  • the noise amount calculation unit 110 calculates the noise amount using the color difference, which is a value reflecting human visual perception, the perceived noise amount can be calculated appropriately. Thereby, image processing can be performed using an image processing parameter that provides an appropriate noise reduction effect.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure when image processing is performed by the image processing apparatus 10 according to the first embodiment of the present technology.
  • the image processing apparatus 10 is an image capturing apparatus such as a digital still camera.
  • step S901 it is determined whether or not to start the image processing of the captured image (step S901), and when it is determined that the image processing is not started, the process waits until the image processing is started. This determination is performed by, for example, a control unit (not shown) in the imaging apparatus, and when an image is output from the imaging element, it is determined that image processing of this image is started.
  • step S920 when it is determined to start the image processing (step S901), a noise amount calculation process for calculating the noise amount is performed (step S920). Note that the noise amount calculation processing (step S920) will be described with reference to FIG.
  • step S940 parameter determination processing is performed in which image processing parameters are determined (step S940). Thereafter, image processing using the determined parameters is performed by the image processing unit 180 (step S902). Then, the image subjected to this image processing is output to the image output unit 192 (step S903), and the image processing operation ends.
  • FIG. 5 is a flowchart illustrating a processing procedure example of the noise amount calculation processing (step S920) in the image processing procedure according to the first embodiment of the present technology.
  • a target area for noise amount calculation is set by the target area setting unit 120 from images to be processed in image processing (step S921). Thereafter, the pixel value (RGB value) of each pixel in the set target area is converted into a value (coordinate) in the L * A * B * color space by the color space conversion unit 130 (step S922). Then, the reference color calculation unit 140 performs a reference color calculation process in which the value of each pixel in the target area (coordinates in the L * A * B * color space) is averaged to calculate the value of the reference color (step) S923). Note that step S923 is an example of a reference value calculation procedure described in the claims.
  • Step S924 is an example of the color difference calculation procedure described in the claims.
  • Step S925 is an example of a noise amount calculation procedure described in the claims.
  • FIG. 6 is a flowchart illustrating a processing procedure example of parameter determination processing (step S940) in the image processing procedure according to the first embodiment of the present technology.
  • step S941 whether or not the noise amount calculated by the average value calculation unit 160 is greater than a threshold value (threshold (high)) value indicating a boundary value between the high-level parameter and the medium-level parameter is determined based on the image. The determination is made by the processing unit 180 (step S941). If it is determined that the amount of noise is larger than the threshold value (high) (step S941), the image processing parameter is set to a high level (step S942), and the processing procedure of the parameter determination process ends.
  • a threshold value threshold (threshold (high)
  • step S941 when it is determined that the amount of noise is not larger (smaller) than the threshold (high) (step S941), the amount of noise indicates the value of the boundary between the medium level parameter and the weak level parameter. Whether the value is larger than the threshold value (threshold value (medium)) is calculated by the image processing unit 180 (step S943). If it is determined that the amount of noise is larger than the threshold value (medium) (step S943), the image processing parameter is set to the medium level (step S944), and the processing procedure of the parameter determination process ends.
  • step S943 If it is determined that the amount of noise is not larger (smaller) than the threshold (medium) (step S943), the image processing parameter is set to a weak level (step S945), and the parameter determination processing procedure is as follows. finish.
  • the noise amount is calculated using the color difference
  • the color difference perceived by the user's vision is appropriately reflected in the noise amount.
  • the signal processing intensity can be set by using the amount of noise to set the signal processing intensity.
  • Second Embodiment> In the first embodiment of the present technology, an example has been described in which a difference (color difference) from the reference color is calculated for each pixel value, and the noise amount is calculated using the calculated color difference for each pixel. Since the L * a * b * color space is not a perfect color space, even if the CIE2000 color difference formula is used, the color difference perceived by human vision cannot be accurately reflected. For this reason, even if the color difference is calculated using the CIE2000 color difference formula, it may deviate from the color difference perceived by human vision (actual color difference). Since the calculated color difference deviates from the actual color difference, the amount of noise may also be a value that does not reflect the noise perceived by human vision.
  • FIG. 7 shows an example of the relationship between McAdam's deviation ellipse indicating the range in which the color difference detected by actual measurement in the u * v * chromaticity diagram cannot be identified and the range in which the color difference calculated by the CIE2000 color difference formula cannot be identified.
  • the chromaticity diagram shown in FIG. 7 shows the value of u * v * (chromaticity coordinates) when the value of L * (lightness) is “50”.
  • a region (region 501) surrounded by a thick line indicates a coordinate range (region) where a color exists when L * is “50”.
  • a region surrounded by a thin line (region 502) represents a MacAdam deviation ellipse.
  • the area surrounded by the broken line (area 503) is based on a color that is substantially the same as the reference color (the color near the approximate center of the deviation ellipse) in the McAdam deviation ellipse including the color of the coordinates near the center of this area.
  • a region where the calculated dE 2000 is smaller than “3.5” is shown.
  • the dE 2000 value “3.5” is assumed to be the degree of color difference corresponding to the outer periphery of the McAdam deviation ellipse. That is, the difference between the ranges in the region 502 and the region 503 that reference the same color indicates a deviation between the color difference calculated by the CIE 2000 color difference formula and the color difference in the actual measurement value.
  • the range in which the color difference calculated by the CIE2000 color difference formula cannot be identified often deviates from the range in which the actual color difference cannot be identified.
  • the degree of deviation differs depending on the color (coordinates).
  • the McAdam deviation ellipse in the color (coordinates) to be calculated is obtained from the information regarding the MacAdam deviation ellipse having a color near the coordinate position. An example of predicting and calculating the noise amount using this prediction will be described.
  • FIG. 8 is a block diagram illustrating an example of a functional configuration example of the image processing device 20 according to the second embodiment of the present technology.
  • the noise amount calculation unit (noise amount calculation unit 410) of the image processing apparatus 20 illustrated in FIG. 8 is a modification of the noise amount calculation unit 110 of the image processing apparatus 10 illustrated in FIG.
  • the noise amount calculation unit 410 replaces the color difference calculation unit 150 and the average value calculation unit 160 of the noise amount calculation unit 110 with a color difference identification sensitivity information holding unit 430, a color difference identification sensitivity prediction unit 440, and a noise amount calculation unit 450. Is provided. Since the configuration other than these is the same as that shown in FIG. 2, the same reference numerals are given and description thereof is omitted here.
  • the color space conversion unit 130 converts the values into coordinates indicating coordinates in the L * u * v * color space (CIELV) defined by the CIE. Then, an operation for calculating the noise amount is performed using the coordinates in the L * u * v * color space.
  • the reference color calculation unit 140 calculates a reference color by averaging pixel values indicating coordinates in the L * u * v * color space.
  • the color difference identification sensitivity information holding unit 430 holds a table in which color difference identification sensitivity information at a plurality of coordinates is stored.
  • the color difference identification sensitivity information is the coordinate (L * , u * , v * ) and the range of the coordinate of the color perceived by the user's vision with respect to the color at that coordinate (McAdam's deviation ellipse) ) Related information.
  • the information on the coordinate range of the color perceived by the same color and the visual perception of the user corresponds to the ability of human perception of the color (sensitivity to color difference). Since this is a region, it will be described as sensitivity information.
  • the coordinate range (McAdam's deviation ellipse) of the same color and the color perceived by the user's vision with respect to the color at a predetermined coordinate will be described as the same color recognition area.
  • this sensitivity information is, for example, information indicating the same color recognition area by a value (width) in each axial direction.
  • the weighting coefficient can be held as sensitivity information instead of the value indicating the range. .
  • the color difference identification sensitivity information will be described with reference to FIG. Regarding the table held by the color difference identification sensitivity information holding unit 430, an example in which the value indicating the range is sensitivity information will be described with reference to FIG. 10a, and an example in which the weighting coefficient is sensitivity information will be described with reference to FIG. 10b. For the purpose of explanation, these explanations are omitted here.
  • the color difference identification sensitivity information holding unit 430 supplies color difference identification sensitivity information used for prediction of color difference identification sensitivity to the color difference identification sensitivity prediction unit 440 from the held table. Note that the second embodiment of the present technology will be described assuming that the value indicating the range is sensitivity information.
  • the color difference identification sensitivity prediction unit 440 predicts the color difference identification sensitivity information of the reference color supplied from the reference color calculation unit 140. That is, when the value indicating the range is sensitivity information, the range of the same color recognition area of the reference color is predicted, and the value (width) in each axial direction regarding the same color recognition area is generated. Further, when the weighting coefficient in each axial direction is sensitivity information, the weighting coefficient in each axial direction of the reference color is predicted. The color difference identification sensitivity prediction unit 440 predicts the same color recognition region using the color difference identification sensitivity information at a position whose coordinates are close to the reference color.
  • An example of calculating the value (width) will be described. Note that the same color recognition region prediction method by the color difference identification sensitivity prediction unit 440 will be described with reference to FIG.
  • the color difference identification sensitivity prediction unit 440 supplies information (sensitivity information) related to the predicted same color recognition region to the noise amount calculation unit 450.
  • the noise amount calculation unit 450 includes the sensitivity information of the reference color supplied from the color difference identification sensitivity prediction unit 440, the coordinates of the reference color supplied from the reference color calculation unit 140, and the noise amount supplied from the color space conversion unit 130.
  • the amount of noise is calculated based on the coordinates of each pixel in the calculation target area.
  • the noise amount calculation unit 450 first calculates variation (standard deviation) in each of the L * direction, the u * direction, and the v * direction.
  • the noise amount calculation unit 450 calculates a coefficient (weighting coefficient) for weighting each of the L * direction, the u * direction, and the v * direction in calculating the noise amount based on the sensitivity information of the reference color.
  • the noise amount calculation unit 450 calculates the noise amount based on the calculated standard deviation and the calculated weighting coefficient. Note that the calculation of the amount of noise by the noise amount calculation unit 450 will be described with reference to FIG.
  • the color difference identification sensitivity prediction unit 440 and the noise amount calculation unit 450 are an example of a coefficient calculation unit described in the claims.
  • the noise amount calculation unit 450 is an example of a noise amount calculation unit described in the claims.
  • FIG. 9 is a diagram for describing color difference identification sensitivity information according to the second embodiment of the present technology.
  • FIG. 9 a shows the MacAdam deviation ellipse in the u * v * chromaticity diagram. Note that the color difference identification sensitivity information is described with reference to FIGS. 9B and 9C by using a deviation ellipse (area 511) indicated by a thick line among a plurality of McAdam's deviation ellipses shown in the u * v * chromaticity diagram. To do.
  • FIG. 9B shows a diagram for explaining color difference identification sensitivity information regarding the region 511.
  • An area 511 indicates a color range in which human beings cannot identify a color with respect to a reference color of the area 511 (coordinates of the center of the area 511 (coordinate 512)).
  • the width (u * width, v * width) of each region 511 in each axial direction is held in the color difference identification sensitivity information holding unit 430 as sensitivity information. That is, the coordinates of the coordinates 512 and the sensitivity information (u * width, v * width) indicating the region 511 are associated with each other and are held in the color difference identification sensitivity information holding unit 430 as color difference identification sensitivity information.
  • FIG. 9c shows an example of color difference identification sensitivity information.
  • the color difference identification sensitivity information will be described in consideration of the L * direction.
  • the color difference identification sensitivity information includes each coordinate (L * coordinate, u * coordinate, v * coordinate) of the color at the center position of the same color recognition area and each color indicating the same color recognition area of this color.
  • the widths (L * width, u * width, v * width) are held in association with each other.
  • FIG. 10 is a diagram illustrating an example of a table held by the color difference identification sensitivity information holding unit 430 according to the second embodiment of the present technology.
  • FIG. 10a shows an example in which color difference identification sensitivity information in which coordinates and widths of the same color recognition area are associated is held
  • FIG. 10b shows a color difference in which coordinates and coefficients of the same color recognition area are associated.
  • An example in which identification sensitivity information is held is shown.
  • the color difference identification sensitivity prediction unit 440 calculates the width of the same color recognition area of the reference color by holding the same color recognition area associating the coordinates and width of the same color recognition area as a table. can do.
  • the method for calculating the width of the same color recognition area of the reference color will be described with reference to FIG.
  • the color difference identification sensitivity prediction unit 440 can store each color of the reference color by holding the same color recognition area in which the coordinates of the same color recognition area and the weighting coefficient in each direction are associated as a table. A weighting factor for the direction can be calculated. This calculation method is the same as that of the same color recognition area in which the coordinates and width of the same color recognition area are associated.
  • FIG. 11 is a diagram schematically illustrating a reference color sensitivity information prediction method predicted by the color difference identification sensitivity prediction unit 440.
  • FIG. 11 a shows the sensitivity information of the reference color coordinates when the color difference identification sensitivity information located in the + and ⁇ direction coordinates with respect to the reference color coordinates is held in the table of the color difference identification sensitivity information holding unit 430.
  • the figure for demonstrating the prediction method is shown.
  • FIG. 11 for convenience of explanation, an example of performing prediction in the u * direction and the v * direction will be described using the u * v * space. Note that the L * direction is calculated in the same manner as the u * direction and the v * direction, and thus description thereof is omitted.
  • the coordinate a (532) is the coordinate A (531) of the coordinates of the same color recognition area located on the + side in the v * direction with respect to the coordinate A (531) which is the coordinate (reference color) of the prediction target. Is the closest coordinate.
  • the coordinate b (534) is the closest coordinate to the coordinate A (531) among the coordinates of the same color recognition area located on the negative side in the u * direction with respect to the coordinate A (531).
  • the coordinate c (536) is the closest coordinate to the coordinate A (531) among the coordinates of the same color recognition region located on the + side in the u * direction with respect to the coordinate A (531), and v *. This is the coordinate closest to the coordinate A (531) among the coordinates of the same color recognition region located on the negative side of the direction.
  • the color difference identification sensitivity prediction unit 440 calculates the reference color of the same color recognition region of the u * width (Su * a).
  • the coordinate c (536) is closest on the + side in the u * direction
  • the coordinate b (534) is closest on the ⁇ side in the u * direction.
  • the color difference identification sensitivity prediction unit 440 calculates the u * width (Su * A ) of the same color recognition region at the calculation target coordinates (reference color) using, for example, the following Expression 13.
  • Du * Ac is a coordinate difference in u * direction (distance in u * direction) between coordinate A (531) and coordinate c (536).
  • Du * Ab is the distance in the u * direction between the coordinates A (531) and the coordinates b (534).
  • Su * b is the width (u * width) of the same color recognition area at the coordinate b (534) in the u * direction
  • Su * c is the u * width of the same color recognition area at the coordinate c (536). It is.
  • the color difference identification sensitivity prediction unit 440 also calculates the v * width (Sv * A ) of the same color recognition area at the coordinates to be calculated in the same manner as Su * A.
  • the coordinate a (532)) is closest on the + side in the v * direction
  • the coordinate c (536) is closest on the ⁇ side in the v * direction. Therefore, the color difference identification sensitivity prediction unit 440 calculates the v * width (Sv * A ) of the same color recognition region at the coordinates to be calculated using, for example, the following Expression 14.
  • Dv * Ac are the coordinates A (531) the difference between the v * coordinate direction between the coordinates c (536) and (v * direction distance).
  • Dv * Aa is the distance in the v * direction between the coordinates A (531) and the coordinates a (532).
  • Sv * a is the width (v * width) in the v * direction of the same color recognition area at the coordinate a (532), and
  • Sv * c is the v * width of the same color recognition area at the coordinate c (536). It is.
  • the color difference identification sensitivity prediction unit 440 calculates the u * width (Su * A ) of the same color recognition region at the calculation target coordinates using, for example, the following Expression 15.
  • D 0d is the distance from the origin to the coordinate d (542).
  • Su * d is the u * width of the same color recognition area at the coordinate d (542).
  • the color difference identification sensitivity prediction unit 440 predicts the sensitivity information of the calculation target coordinates based on the color difference identification sensitivity information close to the calculation target coordinates.
  • the description has been made without particularly considering the L * width.
  • the L * width is calculated in the same manner as the u * width and the v * width. explain.
  • the color difference identification sensitivity prediction unit 440 determines the noise level in each axis direction for each of the L * direction, u * direction, and v * direction. To calculate the standard deviation. Accordingly, the L * direction noise amount are shown standard deviation (? L *), and the standard deviation showing the amount of noise in the u * direction ( ⁇ u *), v * and the standard deviation indicating the direction of the noise amount ([sigma] v *) Is calculated.
  • the noise amount is calculated. Convert to weighting factor to use. For example, as shown in FIGS. 10a and 10b, a value obtained by setting each width to 1/100 is used as a coefficient. As shown in FIG. 10b, when the coefficient is held in the table, the predicted value (weighting coefficient) is used as it is as the weighting coefficient.
  • the amount of noise is calculated using, for example, the above equation 12.
  • is a weighting coefficient calculated from the L * width (SL * A )
  • is a weighting coefficient calculated from the u * width (Su * A )
  • is v *. It is a weighting coefficient calculated from the width (Sv * A ). That is, the weighting coefficient indicates the degree of contribution (weight) in each direction (L * direction, u * direction, v * direction) in calculating the noise amount.
  • the noise amount can be calculated using the following equation 16.
  • FIG. 12 is a flowchart illustrating a processing procedure example of the noise amount calculation processing (step S950) in the image processing procedure according to the second embodiment of the present technology.
  • the noise amount calculation process (step S950) shown in FIG. 12 is a modification of the noise amount calculation process (step S920) shown in FIG. 5, and instead of calculating the noise amount by calculating the color difference of each pixel, The difference is that the noise amount is calculated by calculating the color difference information of the reference color. Therefore, in FIG. 12, the same steps as those in FIG. 5 are denoted by the same reference numerals, and the description thereof is omitted here.
  • step S921 When the target area for calculating the noise amount is determined in step S921, the pixel value (RGB value) of each pixel in the set target area is set to the value (coordinates) in the L * u * v * color space. Conversion is performed by the conversion unit 130 (step S951).
  • the reference color coordinates and the vicinity of the reference color are obtained. Based on the color difference identification sensitivity information that is positioned, the sensitivity information of the reference color is predicted by the color difference identification sensitivity prediction unit 440 (step S952).
  • step S953 the weighting coefficient in each axial direction used when calculating the noise amount is set (calculated) by the color difference identification sensitivity prediction unit 440 (step S953).
  • step S953 the weighting coefficient in each direction is held in the color difference identification sensitivity information holding unit 430, and when the weighting coefficient is predicted as the sensitivity information of the reference color, the predicted weighting coefficient is Used as is.
  • Steps S952 and S953 are an example of a coefficient calculation procedure described in the claims.
  • Step S955 is an example of a noise amount calculation procedure described in the claims.
  • the noise amount is appropriately determined by determining the weighting coefficient used in calculating the noise amount based on the actually measured value (color difference identification sensitivity information). Can be calculated. That is, as shown in steps S952 and S953, by calculating a weighting coefficient appropriate for calculating the noise amount from the coordinates of the reference color, the weight in each axis direction when calculating the noise amount is appropriately set. It is set, and the amount of noise can be calculated appropriately.
  • the amount of noise can be calculated appropriately. That is, by calculating an appropriate amount of noise, it is possible to appropriately evaluate the noise included in the image.
  • the imaging device and the video viewing device have been described.
  • the present invention is not limited to this, and for example, a noise evaluation function in a device for evaluating the function of the imaging device It is also applicable to.
  • a noise evaluation function in a device for evaluating the function of the imaging device It is also applicable to.
  • an image having a uniform color is captured, the entire image generated by the imaging is performed as a target region, and the function of the imaging device is evaluated based on the calculated noise amount.
  • the color difference identification sensitivity information holding unit 430 holds the color difference identification sensitivity information. Any color space can be used. That is, in the first embodiment of the present technology, the present invention is also implemented using the L * u * v * color space and an equation (for example, CIE 1976) that calculates a color difference in the L * u * v * color space. Can do. Further, in the second embodiment of the present technology may also be practiced by using the L * a * b * color space, and L * a * b * of deviation ellipse MacAdam in the color space information.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • Average values of coordinates in a three-dimensional color space that are specified by pixel values of pixels in the image quality evaluation target area and can calculate a color difference are used as reference values for the reference pixel values in the evaluation target area
  • a reference value calculation procedure to calculate as a value
  • a color difference calculation procedure for calculating, for each pixel, a color difference between a pixel value of each pixel in the evaluation target area and the calculated reference value using a color difference formula for calculating a color difference in the three-dimensional color space
  • a noise evaluation method comprising: a noise amount calculation procedure for calculating a noise amount in the evaluation target region based on the calculated color difference.
  • the noise evaluation method according to (1) wherein the noise amount calculation procedure calculates an average value using the color difference of each pixel in the evaluation target region and uses the average value as the noise amount.
  • the three-dimensional color space is a uniform color space
  • the noise evaluation method according to (1) or (2), wherein the color difference calculation procedure calculates the color difference based on a distance relationship in the uniform color space.
  • the three-dimensional color space is CIELAB.
  • the color difference calculation procedure is the noise evaluation method according to (3), wherein a CIE2000 color difference formula is used as the color difference formula.
  • Average values of coordinates in a three-dimensional color space that are specified by pixel values of pixels in an image quality evaluation target area and that can calculate a color difference are used as a reference, and a pixel value that is a reference of the evaluation target area is used as a reference
  • a reference color calculation unit to calculate as a value
  • a color difference calculating unit that calculates a color difference between a pixel value of each pixel in the evaluation target region and the calculated reference value for each pixel using a color difference formula for calculating a color difference in the three-dimensional color space
  • An image processing apparatus comprising: a noise amount calculation unit that calculates a noise amount indicating a degree of noise in the evaluation target region based on the calculated color difference.
  • the image processing apparatus further including a determination unit that determines a parameter for adjusting the image quality of an image to be processed based on the calculated amount of noise.
  • the determination unit includes at least one of a parameter for adjusting the degree of noise reduction, a parameter for adjusting the color reproducibility degree of the color matrix, and a parameter for adjusting imaging settings.
  • the image processing apparatus wherein one is determined as the parameter.
  • a coordinate value in a three-dimensional color space that is a value specified by a pixel value of a pixel in an evaluation target area of image quality in a captured image and that can calculate a color difference is averaged, and the reference of the evaluation target area
  • a reference color calculation unit that calculates a pixel value as a reference value
  • a color difference calculating unit that calculates a color difference between a pixel value of each pixel in the evaluation target region and the calculated reference value for each pixel using a color difference formula for calculating a color difference in the three-dimensional color space; , Based on the calculated color difference, a noise amount calculation unit for calculating a noise amount indicating the degree of noise in the evaluation target region and a parameter for adjusting the image quality of the image to be processed are set as the calculated noise amount.
  • An imaging apparatus comprising: a determination unit that determines based on the determination unit. (9) Average values of coordinates in a three-dimensional color space that are specified by the pixel values of the pixels in the image quality evaluation target area and can calculate a color difference, and use the pixel values that serve as the reference of the evaluation target area as a reference A reference value calculation procedure to calculate as a value; A color difference calculation procedure for calculating, for each pixel, a color difference between a pixel value of each pixel in the evaluation target area and the calculated reference value using a color difference formula for calculating a color difference in the three-dimensional color space; , A program for causing a computer to execute a noise amount calculation procedure for calculating a noise amount indicating a degree of noise in the evaluation target region based on the calculated color difference.
  • a value specified by the pixel value of the pixel in the image quality evaluation target area and the coordinate value in the three-dimensional color space is averaged, and the pixel value serving as the reference of the evaluation target area is calculated as a reference value.
  • Reference value calculation procedure, A coefficient used for calculating the amount of noise in the evaluation target area, and a weighting coefficient indicating the weight in the calculation of the amount of noise of each axial direction value in the three-dimensional color space for each direction, the calculated reference A coefficient calculation procedure to calculate based on the value;
  • a noise evaluation method comprising: a noise amount calculation procedure for calculating a noise amount based on the calculated weighting coefficient and a pixel value of a pixel in the evaluation target region.
  • the coefficient calculation procedure is calculated using a table in which predetermined coordinates and sensitivity information regarding a range of coordinates where a color that cannot be distinguished by user perception is associated with a color at the coordinate are associated with each other.
  • the noise evaluation method according to (10) wherein the sensitivity information at a reference value is generated, and the weighting coefficient is calculated based on the generated sensitivity information.
  • the weighting coefficient is a value calculated for each axial direction,
  • the coefficient calculation procedure includes the sensitivity information of the coordinates closest to the reference value on the plus side in the direction of the axis where the weighting coefficient to be calculated indicates the weight, and the minus side of the reference value in the direction of the axis.
  • the noise evaluation method wherein the weighting coefficient to be calculated is calculated based on at least one of the sensitivity information of the closest coordinates.
  • the coefficient calculation procedure calculates the weighting coefficient at the calculated reference value using a table in which predetermined coordinates and the weighting coefficient at the coordinates are associated with each other. Evaluation methods.
  • a value specified by a pixel value of a pixel in the image quality evaluation target area and a coordinate value in the three-dimensional color space is averaged, and a pixel value serving as a reference of the evaluation target area is calculated as a reference value.
  • a reference color calculation unit A coefficient used for calculating the amount of noise in the evaluation target area, and a weighting coefficient indicating the weight in the calculation of the amount of noise of each axial direction value in the three-dimensional color space for each direction, the calculated reference A coefficient calculation unit for calculating based on the value;
  • An image processing apparatus comprising: a noise amount calculation unit that calculates a noise amount based on the calculated weighting coefficient and a pixel value of a pixel in the evaluation target region.
  • the image processing apparatus according to (14) further including a determination unit that determines a parameter for adjusting the image quality of an image to be processed based on the calculated amount of noise.
  • the determination unit includes at least one of a parameter for adjusting the degree of noise reduction, a parameter for adjusting the color reproducibility degree of the color matrix, and a parameter for adjusting imaging settings.
  • a coefficient calculation unit for calculating based on the value
  • a noise amount calculation unit that calculates a noise amount based on the calculated weighting coefficient and a pixel value of a pixel in the evaluation target region, and a parameter for adjusting the image quality of the image to be processed are calculated noise
  • An imaging apparatus comprising: a determination unit that determines based on a quantity.
  • a value specified by the pixel value of the pixel in the image quality evaluation target area and the coordinate value in the three-dimensional color space is averaged, and the pixel value serving as the reference of the evaluation target area is calculated as a reference value.
  • Reference value calculation procedure, A coefficient used for calculating the amount of noise in the evaluation target area, and a weighting coefficient indicating the weight in the calculation of the amount of noise of each axial direction value in the three-dimensional color space for each direction, the calculated reference A coefficient calculation procedure to calculate based on the value;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

 ノイズ量を適切に算出する。 基準値算出手順は、画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、評価対象領域の基準となる画素値を基準値として算出する。色差算出手順は、3次元色空間における色差を算出するための色差式を用いて、評価対象領域における各画素の画素値と、基準値との間における色差を画素ごとに算出する。ノイズ量算出手順は、算出された色差に基づいて、評価対象領域におけるノイズ量を算出する。

Description

ノイズ評価方法、画像処理装置、撮像装置およびプログラム
 本技術は、ノイズ評価方法に関する。詳しくは、画像に含まれるノイズの量を算出するノイズ評価方法、画像処理装置、撮像装置、および、当該方法をコンピュータに実行させるプログラムに関する。
 近年、被写体を撮像する装置や撮像された画像を再生する装置が実現されている。このような装置では、ユーザーに見やすい画像を表示するように、画像について所定の画像処理を施した後にその画像を記録したり、このような画像処理が施された画像を再生したりする。
 なお、このような画像処理を施すためには、画質を評価する必要がある。このような画質を評価する方法としては様々な方法が考えられる。例えば、均等色空間(L色空間)における各軸方向の値の標準偏差と、ユーザーがノイズを知覚する程度を実験により求めた係数である可変結合係数とからノイズ(画質)の評価値を算出する方法が提案されている(例えば、特許文献1参照。)。
特開2005-309985号公報
 上述の従来技術では、ノイズの評価値(ノイズ量)を算出することができる。
 なお、ノイズの評価値を算出する際に用いられる可変結合係数は、異なる明度の画像を用いて求められる。そして、ノイズの評価値を算出する際には、ノイズの評価値を算出する過程で求められた評価対象の領域の明度(L)の平均(L AVE)に基づいて、各軸方向の可変結合係数が決定される。
 しかしながら、色度(u、v)の違いによっても、ノイズを知覚する程度は変わる。このため、明度(L)のみではなく、色度(u、v)も考慮してノイズを知覚する程度が設定されることが望ましい。
 すなわち、実際の視覚を反映させることは難しく、視覚により知覚されるノイズをより考慮してノイズ量を適切に算出することが重要である。
 本技術はこのような状況に鑑みて生み出されたものであり、ノイズ量を適切に算出することを目的とする。
 本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、上記3次元色空間における色差を算出するための色差式を用いて、上記評価対象領域における各画素の画素値と上記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、上記算出された色差に基づいて、上記評価対象領域におけるノイズ量を算出するノイズ量算出手順とを具備するノイズ評価方法である。これにより、基準値と各画素の画素値との間の色差に基づいて、評価対象領域におけるノイズ量が算出されるという作用をもたらす。
 また、この第1の側面において、上記ノイズ量算出手順は、上記評価対象領域における各画素の上記色差を用いて平均値を算出して上記平均値を上記ノイズ量とするようにしてもよい。これにより、評価対象領域における各画素の色差の平均値が、ノイズ量として算出されるという作用をもたらす。
 また、この第1の側面において、上記3次元色空間は、均等色空間であり、上記色差算出手順は、上記均等色空間における距離関係に基づいて上記色差を算出するようにしてもよい。これにより、均等色空間における距離関係に基づいて色差が算出されるという作用をもたらす。
 また、この第1の側面において、上記3次元色空間は、CIELABであり、上記色差算出手順は、CIE2000色差式を上記色差式として用いるようにしてもよい。これにより、CIE2000色差式を用いて色差が算出されるという作用をもたらす。
 また、本技術の第2の側面は、画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記3次元色空間における色差を算出するための色差式を用いて、上記評価対象領域における各画素の画素値と上記算出された基準値との間における色差を画素ごとに算出する色差算出部と、上記算出された色差に基づいて、上記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部とを具備する画像処理装置である。これにより、基準値と各画素の画素値との間の色差に基づいて、評価対象領域におけるノイズ量が算出されるという作用をもたらす。
 また、この第2の側面において、処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部をさらに具備するようにしてもよい。これにより、処理対象となる画像の画質を調整するためのパラメータがノイズ量に基づいて決定されるという作用をもたらす。
 また、この第2の側面において、上記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを上記パラメータとして決定するようにしてもよい。これにより、画像処理装置における複数の画像処理うちの少なくとも1つの処理の度合いがノイズ量に基づいて決定されるという作用をもたらす。
 また、本技術の第3の側面は、撮像された画像における画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記3次元色空間における色差を算出するための色差式を用いて、上記評価対象領域における各画素の画素値と上記算出された基準値との間における色差を画素ごとに算出する色差算出部と、上記算出された色差に基づいて、上記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部とを具備する撮像装置である。これにより、撮像された画像における画質を調整するためのパラメータが、色差に基づいて算出されたノイズ量に基づいて決定されるという作用をもたらす。
 また、本技術の第4の側面は、画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、上記評価対象領域におけるノイズ量算出のために用いられる係数であって上記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、上記算出された基準値に基づいて算出する係数算出手順と、上記算出された重み付け係数と、上記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順とを具備するノイズ評価方法である。これにより。基準値に基づいて算出された各軸方向の重み付け係数を用いてノイズ量が算出されるという作用をもたらす。
 また、この第4の側面において、上記係数算出手順は、所定の座標とその座標における色に対してユーザの知覚では区別できない色が位置する座標の範囲に関する感度情報とが関連付けられているテーブルを用いて上記算出された基準値における上記感度情報を生成し、当該生成された感度情報に基づいて上記重み付け係数を算出するようにしてもよい。これにより、座標と感度情報とが関連付けられているテーブルを用いて重み付け係数が算出されるという作用をもたらす。
 また、この第4の側面において、上記重み付け係数は、上記軸方向ごとに算出される値であり、上記係数算出手順は、算出対象の上記重み付け係数が重みを示す軸の方向において上記基準値に対しプラス側で最も近い座標の上記感度情報と、この軸の方向において上記基準値に対しマイナス側で最も近い座標の上記感度情報とのうちの少なくとも1つに基づいて上記算出対象の重み付け係数を算出するようにしてもよい。これにより、基準値に対しプラス側で最も近い座標の上記感度情報と、この軸の方向において基準値に対しマイナス側で最も近い座標の上記感度情報とのうちの少なくとも1つに基づいて重み付け係数が算出されるという作用をもたらす。
 また、この第4の側面において、上記係数算出手順は、所定の座標とその座標における上記重み付け係数とが関連付けられているテーブルを用いて上記算出された基準値における上記重み付け係数を算出するようにしてもよい。これにより、所定の座標とその座標における重み付け係数とが関連付けられているテーブルを用いて基準値における重み付け係数が算出されるという作用をもたらす。
 また、本技術の第5の側面は、画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記評価対象領域におけるノイズ量算出のために用いられる係数であって上記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、上記算出された基準値に基づいて算出する係数算出部と、上記算出された重み付け係数と、上記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部とを具備する画像処理装置である。これにより、基準値に基づいて算出された各軸方向の重み付け係数を用いてノイズ量が算出されるという作用をもたらす。
 また、この第5の側面において、処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部をさらに具備するようにしてもよい。これにより、処理対象となる画像の画質を調整するためのパラメータがノイズ量に基づいて決定されるという作用をもたらす。
 また、この第5の側面において、上記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを上記パラメータとして決定するようにしてもよい。これにより、画像処理装置における複数の画像処理うちの少なくとも1つの処理の度合いがノイズ量に基づいて決定されるという作用をもたらす。
 また、本技術の第6の側面は、撮像された画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記評価対象領域におけるノイズ量算出のために用いられる係数であって上記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、上記算出された基準値に基づいて算出する係数算出部と、上記算出された重み付け係数と、上記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部とを具備する撮像装置である。これにより、撮像された画像における画質を調整するためのパラメータが、色差に基づいて算出されたノイズ量に基づいて決定されるという作用をもたらす。
 本技術によれば、ノイズ量を適切に算出することができるという優れた効果を奏し得る。
本技術の第1の実施の形態における画像処理装置10の機能構成例の一例を示すブロック図である。 本技術の第1の実施の形態におけるノイズ量算出部110により行われる色差の算出を模式的に示す図である。 本技術の第1の実施の形態の画像処理部180により行われるノイズリダクションによる画像のボケの度合いの変動を示す表である。 本技術の第1の実施の形態における画像処理装置10により画像処理が行われる際の処理手順例を示すフローチャートである。 本技術の第1の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS920)の処理手順例を示すフローチャートである。 本技術の第1の実施の形態の画像処理手順におけるパラメータ決定処理(ステップS940)の処理手順例を示すフローチャートである。 色度図における実測により検出された色差が識別できない範囲を示すマクアダムの偏差楕円と、CIE2000色差式により算出される色差が識別できない範囲との間の関係の一例を示す図である。 本技術の第2の実施の形態における画像処理装置20の機能構成例の一例を示すブロック図である。 本技術の第2の実施の形態における色差識別感度情報を説明するための図である。 本技術の第2の実施の形態における色差識別感度情報保持部430が保持するテーブルの一例を示す図である。 色差識別感度予測部440により予測される基準色の感度情報の予測方法を模式的に示す図である。 本技術の第2の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS950)の処理手順例を示すフローチャートである。
 以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
 1.第1の実施の形態(画像処理制御:色差に基づいてノイズ量を算出する例)
 2.第2の実施の形態(画像処理制御:座標ごとに感度情報(色の差が区別できない範囲に関する情報)を予測してノイズ量を算出する例)
 <1.第1の実施の形態>
 [画像処理装置の機能構成例]
 図1は、本技術の第1の実施の形態における画像処理装置10の機能構成例の一例を示すブロック図である。
 なお、本技術の実施の形態では、画像処理装置10は、デジタルスチルカメラなどの撮像装置を想定して説明する。また、画像処理装置10は、外部から入力された静止画コンテンツを記録または表示させる映像視聴装置(例えば、ハードディスク内蔵型レコーダー)などにおいても適用可能である。
 画像処理装置10は、画像入力部191と、信号処理部100と、画像出力部192とを備える。
 画像入力部191は、画像を入力するものであり、入力された画像を信号処理部100に供給する。例えば、デジタルスチルカメラなどの撮像装置が画像処理装置10である場合には、撮像素子により取得された画像に所定の信号処理を施した画像が信号処理部100に供給される。なお、取得された画像への所定の信号処理とは、例えば、AD変換、黒レベル補正、欠陥補正、シェーディング補正、混色補正、ホワイトバランス補正、γ補正、デモザイク処理等が対応する。なお、図1では、画像入力部191は、RGB色空間における値が画素値とされていることを想定して説明する。
 なお、画像処理装置10が映像視聴装置の場合には、画像入力部191は、記録媒体から読み出した画像を信号処理部100に供給する。
 信号処理部100は、画像処理を行う際のパラメータを画像に含まれるノイズの量(ノイズ量)に基づいて決定し、その決定したパラメータを用いて画像処理を行うものである。この信号処理部100は、ノイズ量算出部110と、画像処理部180とを備える。
 ノイズ量算出部110は、画像に含まれるノイズの量を示すノイズ量を、色差を用いて検出(定量化)するものである。ここで、色差とは、ユーザー(人間)の視覚により知覚される色の違いを定量的に示した値である。ノイズ量算出部110は、検出したノイズ量を画像処理部180に供給する。ノイズ量算出部110は、対象領域設定部120と、色空間変換部130と、基準色算出部140と、色差算出部150と、平均値算出部160とを備える。
 対象領域設定部120は、ノイズ量を算出する際に画素値を用いる領域を、画像入力部191から供給された画像のうちから設定するものである。この対象領域設定部120は、例えば、撮像装置の性能を検出するために画像全体で均一な画素値となる被写体(例えば、単一の色で構成された画像)を撮像した画像が処理対象の画像である場合には、画像全体を対象領域に設定する。また、対象領域設定部120は、例えば、風景などの画素値が様々な被写体を撮像した画像である場合には、輝度値が比較的に画一化な領域を検出し、この検出した領域を対象領域に設定する。対象領域設定部120は、対象領域における各画素の画素値を、色空間変換部130に供給する。
 色空間変換部130は、対象領域設定部120から供給された各画素の画素値を、RGB色空間における座標を示す値から、CIE(国際照明委員会:Commission Internationale de l'Eclairage)で規定されているL色空間(CIELAB)における座標を示す値に変換するものである。この色空間変換部130は、L色空間に変換した画素値を、基準色算出部140および色差算出部150に供給する。
 基準色算出部140は、対象領域における色の基準となる色(基準色)を算出するものである。この基準色算出部140は、例えば、色空間変換部130から供給されたL色空間で表された画素値の平均値を基準色として算出する。基準色算出部140は、算出した基準色を、色差算出部150に供給する。なお、基準色算出部140は、特許請求の範囲に記載の基準値算出部の一例である。
 色差算出部150は、対象領域における各画素と基準色との間の色差を算出するものである。この色差算出部150は、L色空間における色差を算出する式であるCIE2000色差式を用いて色差を算出する。なお、Lは明度であり、aおよびbは、クロマティクネス指数である。CIE2000色差式を用いた色差の算出については、図2を参照して説明するため、ここでの説明を省略する。色差算出部150は、対象領域における各画素の色差を算出し、算出した色差を平均値算出部160に供給する。
 平均値算出部160は、色差算出部150から供給された色差の平均値を、対象領域のノイズ量として算出するものである。なお、算出式の一例については、図2を参照して説明するため、ここでの説明を省略する。平均値算出部160は、算出した平均値(ノイズ量)を、画像処理部180に供給する。なお、平均値算出部160は、特許請求の範囲に記載のノイズ量算出部の一例である。
 画像処理部180は、平均値算出部160から供給されたノイズ量に基づいて画像処理のパラメータを決定し、この決定したパラメータに基づいて画像処理を行うものである。画像処理部180は、例えば、ノイズ量の大きさが大きいと強いノイズリダクションがかかるようにパラメータを決定し、この決定したパラメータに基づいて画像処理(ノイズリダクション)を行う。画像処理部180は、画像処理を行った画像を、画像出力部192に供給する。なお、画像処理部180は、特許請求の範囲に記載の決定部の一例である。
 画像出力部192は、画像を出力するものである。例えば、デジタルスチルカメラなどの撮像装置が画像処理装置10である場合には、出力された画像は、例えば、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体に記録される。また、画像処理装置10が映像視聴装置の場合には、例えば、映像視聴装置に接続された表示装置に出力され、表示装置において表示される。
 なお、図1では、画像処理部180は、算出されたノイズ量に応じてノイズリダクション効果が増減する例について説明するが、これに限定されるものではなく、他の処理の効果を増減させる場合も考えられる。例えば、処理対象の画像が動画における1フレームであり、映像視聴装置において再生する際の処理の場合には、パラメータの変更によりカラーマトリックスの色再現性を増減させる場合なども考えられる。低減させるノイズの量が少ない場合には、色再現性が高いカラーマトリックスを使用することにより、動画を表示する際の画質を向上させることができる。また、撮像装置において実施する場合には、ライブビュー用の画像において検出されたノイズ量に応じて撮像条件(例えば、露光条件)を設定することにより、記録する画像における画質を向上させることができる。
 次に、色差の算出について、図2を参照して説明する。
 [色空間における色差の説明]
 図2は、本技術の第1の実施の形態におけるノイズ量算出部110により行われる色差の算出を模式的に示す図である。
 図2aは、L色空間を3次元の色空間立体で示すイメージ図である。球体200は、球体200の中心が、L色空間における軸の原点(L=0、a=0、b=0)である。
 なお、図2aでは、縦軸(上下方向)がLを示す軸であり、横軸(左右方向)がbを示す軸であり、垂直軸(図2aでは右上方向から左下方向へ伸びる斜線)がaを示す軸である。また、球体200の中に示されている灰色が付された1つの小さな丸(色座標210)は、基準色算出部140が算出した基準色の座標を模式的に示すものである。そして、球体200の中に示されている4つの小さな丸(色座標221乃至224)は、対象領域における4つの画素の画素値の座標を模式的に示すものである。
 ここで、ノイズ量算出部110によるノイズ量算出部110の算出について説明する。まず、対象領域設定部120により対象領域が設定されると、その対象領域の画素の画素値の色空間が、色空間変換部130によりL色空間に変換される。そして、対象領域の全ての画素の画素値の平均値(座標の平均値)が基準色算出部140により算出され、基準色の座標(色座標210)が決定される。
 その後、この基準色に対する各画素の画素値の色差が算出される。なお、CIE2000色差式を用いて色差(dE2000)を算出する場合には、次の式1を用いて算出される。
Figure JPOXMLDOC01-appb-M000001
 ここで、上述の式1について説明する。なお、基準色の座標を(L ,a ,b )とし、色差の算出対象の座標を(L,a,b)とする。dL'は次の式2により算出が定義されている。
Figure JPOXMLDOC01-appb-M000002
 また、dC'は、次の式3と、この式3を算出するために必要な式4に示す複数の式により算出が定義されている。
Figure JPOXMLDOC01-appb-M000003
 また、dH'は、次の式5により算出が定義されている。
Figure JPOXMLDOC01-appb-M000004
 また、重価係数(S,S,S)は、次の式6に示す複数の式と、これまでに示した数式や次の式7に示す複数の式とにより算出が定義されている。
Figure JPOXMLDOC01-appb-M000005
なお、上述の数式には、|h'+h'|が180°以下となる場合の例を示している。
 なお、ローテーション関数(R)は、次の式8と、次の式9に示す複数の式とにより算出が定義されている。
Figure JPOXMLDOC01-appb-M000006
 なお、標準的な条件で画像が撮像されたことを想定し、パラメトリック係数(k,k,k)は、全て「1」であることを想定する。
 このように、色差算出部150では、CIE2000色差式を用いて色差が算出される。
 なお、本技術の第1の実施の形態では、CIE2000色差式を用いて算出する例について説明するが、これに限定されるものではなく、CIE1994色差式を用いてもよい。
 なお、色空間変換部130においてL色空間に変換されることを想定しているが、他の色空間に変換される場合には、色差算出部150は、その色空間に応じた色差式を用いて色差を算出する。例えば、L色空間に変換される場合には、L色空間における色差を算出するための色差式が用いられる。
 なお、色空間変換部130が完全な均等色空間(L色空間は、不完全であるため、上述のCIE2000色差式などが必要)に変換できる場合には、色差は、基準色と、算出対象の色との間の距離となる。すなわち、基準色の座標を、(x,y,z)とし、色差の算出対象の座標を、(x,y,z)とすると、完全な色空間における色差(dE)は、次の式10となる。
Figure JPOXMLDOC01-appb-M000007
 次に、算出された色差からのノイズ量(平均値)の算出について、図2bを参照して説明する。
 図2bには、横軸を画素位置のX座標を示す軸とし、縦軸を色差(dE2000)を示す軸として、複数の画素の色差が模式的に示されている。なお、説明の便宜上、1行の画素の色差を示す。図2bで示す複数の小さな丸は、各画素の色差を示す。なお、図2bでは、グラフの左端から右へ4つ目までの色差に符号(色差231乃至色差234)と、色差の量を示す両矢印が付されている。
 平均値算出部160では、ノイズ量の算出対象領域の全ての画素の色差から平均値を算出する。この平均値(N)の算出は、例えば、次の式11を用いて算出される。
Figure JPOXMLDOC01-appb-M000008
ここで、nは、対象領域の画素数である。
 なお、上述の式11は、従来の算出方法によるノイズ量の値に対応させるための平均値の算出式である。ここで、従来の算出方法について説明する。従来は、L,a,bそれぞれについて標準偏差を算出し、原点(0,0,0)からその標準偏差が示す座標までの距離をノイズ量として算出していた。なお、この算出の際には、方向(L,a,b)ごとに重み付けが行われる。例えば、ノイズ量(Noise)は、例えば、次の式12を用いて算出されていた。
Figure JPOXMLDOC01-appb-M000009
ここで、σL,σa,σbは、L,a,bそれぞれの標準偏差である。また、α、β、γは、重み付けのための固定値である。
 このように、従来では、標準偏差を用いて算出していた。これに対し、本技術の第1の実施の形態では、色差を用いて算出するため、人間の視覚により知覚される画質を考慮したノイズ量を算出することができる。
 なお、ここでは、ノイズ量の算出方法として、平均値を算出する例について説明したが、これに限定されるものではない。色差を用いて算出すればよいため、例えば、標準偏差をノイズ量として算出する場合や、上述の式11の算出結果の値の平方根をノイズ量として算出するようにしてもよい。
 [ノイズリダクション効果の一例]
 図3は、本技術の第1の実施の形態の画像処理部180により行われるノイズリダクションによる画像のボケの度合いの変動を示す表である。
 図3には、ノイズリダクション効果の度合い(列241)と、画像におけるボケの度合い(列242)との関係を示す表が示されている。
 図3に示すように、ノイズリダクション効果の度合いが高くなるほど画像の加工の度合いが強くなる。すなわち、画像におけるボケの度合いは、ノイズリダクション効果の度合いが高くなるほど大きくなる。
 このため、知覚されるノイズ量に適切なノイズリダクション効果となる画像処理パラメータを用いて画像処理を行うことにより、ノイズリダクション効果の度合いと、画像の解像度とが適切な画像を生成することができる。
 ノイズ量算出部110は、人間の視覚による知覚が反映されている値である色差を用いてノイズ量を算出するため、知覚されるノイズ量が適切に算出できる。これにより、適切なノイズリダクション効果となる画像処理パラメータを用いて画像処理を行うことができる。
 [画像処理装置の動作例]
 次に、本技術の第1の実施の形態における画像処理装置10の動作について図面を参照して説明する。
 図4は、本技術の第1の実施の形態における画像処理装置10により画像処理が行われる際の処理手順例を示すフローチャートである。
 ここでは、デジタルスチルカメラなどの撮像装置が画像処理装置10であることを想定して説明する。
 まず、撮像した画像の画像処理を開始するか否かが判断され(ステップS901)、画像処理を開始しないと判断された場合には画像処理を開始するまで待機する。なお、この判断は、例えば、撮像装置における制御部(図示せず)により行われ、撮像素子から画像が出力された場合には、この画像の画像処理を開始すると判断される。
 一方、画像処理を開始すると判断された場合には(ステップS901)、ノイズ量を算出するノイズ量算出処理が行われる(ステップS920)。なお、ノイズ量算出処理(ステップS920)については、図5を参照して説明するため、ここでの説明を省略する。
 次に、算出されたノイズ量を用いて、画像処理のパラメータが決定されるパラメータ決定処理が行われる(ステップS940)。その後、決定されたパラメータを用いた画像処理が画像処理部180により行われる(ステップS902)。そして、この画像処理が行われた画像が画像出力部192へ出力され(ステップS903)、画像処理の動作が終了する。
 図5は、本技術の第1の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS920)の処理手順例を示すフローチャートである。
 まず、画像処理の処理対象の画像のうちから、ノイズ量の算出の対象領域が対象領域設定部120により設定される(ステップS921)。その後、設定された対象領域における各画素の画素値(RGBの値)が、L色空間における値(座標)に、色空間変換部130により変換される(ステップS922)。そして、対象領域における各画素の値(L色空間における座標)が平均化されて基準色の値が算出される基準色算出処理が、基準色算出部140により行われる(ステップS923)。なお、ステップS923は、特許請求の範囲に記載の基準値算出手順の一例である。
 その後、対象領域における各画素の値(L色空間における座標)と、基準色の値(L色空間における座標)とに基づいて、色差算出部150により色差が画素ごとに算出される(ステップS924)。そして、画素ごとに算出された色差を平均して、対象領域のノイズ量が平均値算出部160により算出され(ステップS925)、ノイズ量算出処理の処理手順は終了する。なお、ステップS924は、特許請求の範囲に記載の色差算出手順の一例である。また、ステップS925は、特許請求の範囲に記載のノイズ量算出手順の一例である。
 図6は、本技術の第1の実施の形態の画像処理手順におけるパラメータ決定処理(ステップS940)の処理手順例を示すフローチャートである。
 なお、ここでは、一例として、3つのパラメータ(強レベル、中レベル、弱レベル)から、算出したノイズ量に基づいてパラメータを選択する例について説明する。
 まず、平均値算出部160により算出されたノイズ量が、強レベルのパラメータと中レベルのパラメータとの間の境界の値を示す閾値(閾値(高))の値より大きいか否かが、画像処理部180により判断される(ステップS941)。そして、閾値(高)よりもノイズ量が大きいと判断された場合には(ステップS941)、画像処理のパラメータが強レベルに設定され(ステップS942)、パラメータ決定処理の処理手順は終了する。
 一方、閾値(高)よりもノイズ量が大きくない(小さい)と判断された場合には(ステップS941)、ノイズ量が、中レベルのパラメータと弱レベルのパラメータとの間の境界の値を示す閾値(閾値(中))の値より大きいか否かが、画像処理部180により算出される(ステップS943)。そして、閾値(中)よりもノイズ量が大きいと判断された場合には(ステップS943)、画像処理のパラメータが中レベルに設定され(ステップS944)、パラメータ決定処理の処理手順は終了する。
 また、閾値(中)よりもノイズ量が大きくない(小さい)と判断された場合には(ステップS943)、画像処理のパラメータが弱レベルに設定され(ステップS945)、パラメータ決定処理の処理手順は終了する。
 このように、本技術の第1の実施の形態によれば、色差を用いてノイズ量が算出されるため、ユーザーの視覚により知覚される色の差がノイズ量に適切に反映され、ノイズ量を適切に算出することができる。これにより、画像処理を行う際には、このノイズ量を用いて信号処理の強度を設定することにより、適切な強度の信号処理を実施することができる。
 <2.第2の実施の形態>
 本技術の第1の実施の形態では、基準色との差(色差)を画素値ごとに算出し、この算出した画素ごとの色差を用いてノイズ量を算出する例について説明した。なお、L色空間は完璧な色空間でないため、CIE2000色差式を用いても、人間の視覚により知覚される色差を正確には反映できない。このため、CIE2000色差式を用いて色差を算出しても、人間の視覚により知覚される色差(実際の色差)からずれてしまう可能性がある。そして、算出した色差が実際の色差からずれているため、ノイズ量も、人間の視覚により知覚されるノイズを反映しない値になってしまう可能性がある。
 そこで、本技術の第2の実施の形態では、人間の視覚では色の差が区別できない色の範囲の実測値に基づいてノイズ量を算出する例について説明する。
 まず、CIE2000色差式と、人間の視覚では色の差が区別できない色の範囲の実測値(マクアダム(MacAdam)の偏差楕円)との間における差について、図7を参照して説明する。
 [CIE2000色差式と実測値との差の一例]
 図7は、u色度図における実測により検出された色差が識別できない範囲を示すマクアダムの偏差楕円と、CIE2000色差式により算出される色差が識別できない範囲との間の関係の一例を示す図である。
 なお、L色空間よりもL色空間の方がマクアダムの偏差楕円が綺麗である(楕円の形状が円形に近い)ため、図7では、CIE2000色差式により算出される色差が識別できない範囲をL色空間における座標で示したものを図示する。
 図7において示す色度図では、Lの値(明度)が「50」の場合におけるuの値(色度座標)が示されている。この色度図において、太線により囲まれた領域(領域501)は、Lが「50」の場合に色が存在する座標の範囲(領域)を示す。また、細線により囲まれた領域(領域502)は、マクアダムの偏差楕円を示す。
 そして、破線により囲まれた領域(領域503)は、この領域の中心付近の座標の色を含むマクアダムの偏差楕円における基準の色(偏差楕円の略中心付近の色)と略同じ色を基準として算出したdE2000が「3.5」よりも小さくなる領域を示す。
 なお、dE2000の値の「3.5」は、マクアダムの偏差楕円の外周に対応する色差の度合いであることを想定して説明する。すなわち、同じ色を基準する領域502および領域503における範囲の差は、CIE2000色差式により算出される色差と、実測値における色差とのずれを示す。
 図7に示す色度図に示すように、CIE2000色差式により算出される色差が識別できない範囲と、実際の色差が識別できない範囲とは、ずれることが多い。このずれは、色(座標)に応じてずれの度合いが異なる。
 このように、CIE2000色差式により算出した色差と実際の色差との間には、ずれが生じる。なお、図7の色度図におけるマクアダムの偏差楕円に示すように、座標が近いマクアダムの偏差楕円は形状が類似する。このため、マクアダムの偏差楕円に関する情報が無い座標におけるマクアダムの偏差楕円を、座標が近い色のマクアダムの偏差楕円からある程度予測することができる。
 そこで、本技術の第2の実施の形態における画像処理装置(画像処理装置20)では、座標位置が近い色のマクアダムの偏差楕円に関する情報から、算出対象の色(座標)におけるマクアダムの偏差楕円を予測し、この予測を用いてノイズ量を算出する例について説明する。
 [画像処理装置の機能構成例]
 図8は、本技術の第2の実施の形態における画像処理装置20の機能構成例の一例を示すブロック図である。
 なお、図8において示す画像処理装置20のノイズ量算出部(ノイズ量算出部410)は、図1において示した画像処理装置10のノイズ量算出部110の変形例である。ノイズ量算出部410は、ノイズ量算出部110の色差算出部150および平均値算出部160に代えて、色差識別感度情報保持部430と、色差識別感度予測部440と、ノイズ量演算部450とを備える。なお、これら以外の構成は、図2において示したものと同様のものであるため、同一の符号を付してここでの説明を省略する。
 なお、図8では、色空間変換部130は、CIEで規定されているL色空間(CIELUV)における座標を示す値に変換することとする。そして、L色空間における座標を用いてノイズ量の算出のための動作が行われる。例えば、基準色算出部140は、L色空間の座標を示す画素値を平均して基準色を算出する。
 色差識別感度情報保持部430は、複数の座標における色差識別感度情報が格納されたテーブルを保持するものである。ここで、色差識別感度情報とは、座標(L,u,v)と、その座標における色に対して同一色とユーザーの視覚により知覚される色の座標の範囲(マクアダムの偏差楕円)に関する情報とを関連づけた情報である。なお、本技術の第2の実施の形態では、同一色とユーザーの視覚により知覚される色の座標の範囲に関する情報は、人間の視覚による色の知覚の能力(色差への感度)に応じた領域であるため、感度情報と称して説明する。また、所定の座標における色に対して同一色とユーザーの視覚により知覚される色の座標の範囲(マクアダムの偏差楕円)は、同一色認識領域と称して説明する。
 なお、この感度情報は、例えば、同一色認識領域を、各軸方向の値(幅)で示した情報である。なお、この範囲を示す各軸方向の値は、ノイズ量の算出において用いられる各軸方向の重み付け係数と相関があるため、範囲を示す値の代わりに重み付け係数を感度情報として保持させることもできる。
 なお、色差識別感度情報については図9を参照して説明する。また、色差識別感度情報保持部430が保持するテーブルについて、範囲を示す値が感度情報である例は図10aを参照して説明し、重み付け係数が感度情報である例は図10bを参照して説明するため、これらのここでの説明を省略する。色差識別感度情報保持部430は、保持するテーブルのうちから、色差識別感度の予測に用いられる色差識別感度情報を、色差識別感度予測部440に供給する。なお、本技術の第2の実施の形態では、範囲を示す値が感度情報であることを想定して説明する。
 色差識別感度予測部440は、基準色算出部140から供給された基準色の色差識別感度情報を予測するものである。すなわち、範囲を示す値が感度情報である場合には、基準色の同一色認識領域の範囲が予測され、同一色認識領域に関する各軸方向の値(幅)が生成される。また、各軸方向の重み付け係数が感度情報である場合には、基準色の各軸方向の重み付け係数が予測される。この色差識別感度予測部440は、基準色と座標が近い位置の色差識別感度情報を用いて同一色認識領域を予測する。なお、本技術の第2の実施の形態では、L色空間の各軸方向(L方向,u方向,v方向)に対する同一色認識領域のサイズ(各軸方向の値(幅))を算出する例について説明する。なお、色差識別感度予測部440による同一色認識領域の予測方法については、図11を参照して説明するため、ここでの説明を省略する。色差識別感度予測部440は、予測した同一色認識領域に関する情報(感度情報)を、ノイズ量演算部450に供給する。
 ノイズ量演算部450は、色差識別感度予測部440から供給された基準色の感度情報と、基準色算出部140から供給された基準色の座標と、色空間変換部130から供給されたノイズ量算出の対象領域の各画素の座標とに基づいて、ノイズ量を算出するものである。ノイズ量演算部450は、まず、L方向,u方向,v方向それぞれについてのばらつき(標準偏差)を算出する。また、ノイズ量演算部450は、ノイズ量の算出においてL方向,u方向,v方向それぞれに重み付けをするための係数(重み付け係数)を、基準色の感度情報に基づいて算出する。そして、ノイズ量演算部450は、算出した標準偏差と、算出した重み付け係数とに基づいて、ノイズ量を算出する。なお、ノイズ量演算部450によるノイズ量の算出については、図11を参照して説明するため、ここでの説明を省略する。なお、色差識別感度予測部440およびノイズ量演算部450は、特許請求の範囲に記載の係数算出部の一例である。また、ノイズ量演算部450は、特許請求の範囲に記載のノイズ量算出部の一例である。
 次に、色差識別感度情報保持部430に保持される色差識別感度情報について、図9を参照して説明する。
 [色差識別感度情報の例]
 図9は、本技術の第2の実施の形態における色差識別感度情報を説明するための図である。
 なお、図9では、L方向については考慮せずに、u色度図を用いて説明する。
 図9aには、u色度図におけるマクアダムの偏差楕円が示されている。なお、u色度図に示されている複数のマクアダムの偏差楕円のうちの太線で示された偏差楕円(領域511)を用いて、図9bおよび図9cにおいて色差識別感度情報を説明する。
 図9bには、領域511に関する色差識別感度情報を説明するための図が示されている。領域511は、この領域511の基準となる色(領域511の中心の座標(座標512))に対して人間には色の識別ができない色の範囲を示している。範囲を示す値が感度情報である場合には、この領域511の各軸方向の幅(u幅、v幅)が、感度情報として色差識別感度情報保持部430に保持される。すなわち、座標512の座標と、領域511を示す感度情報(u幅、v幅)とが関連付けられて、色差識別感度情報として色差識別感度情報保持部430に保持される。
 図9cには、色差識別感度情報の一例が示されている。なお、図9cでは、L方向も考慮して色差識別感度情報を説明する。
 図9cに示すように、色差識別感度情報は、同一色認識領域の中心位置の色の各座標(L座標,u座標,v座標)と、この色の同一色認識領域を示す各幅(L幅,u幅,v幅)とが関連付けられて保持される。
 [色差識別感度情報保持部が保持するテーブルの一例]
 図10は、本技術の第2の実施の形態における色差識別感度情報保持部430が保持するテーブルの一例を示す図である。
 なお、図10aでは、同一色認識領域の座標と幅とが関連付けられた色差識別感度情報が保持されている例を示し、図10bでは、同一色認識領域の座標と係数とが関連付けられた色差識別感度情報が保持されている例を示す。
 図10aに示すように、同一色認識領域の座標と幅とを関連付けた同一色認識領域をテーブルとして保持させることにより、色差識別感度予測部440は、基準色の同一色認識領域の幅を算出することができる。なお、基準色の同一色認識領域の幅の算出方法については、図11を参照して説明するためここでの説明を省略する。
 また、図10bに示すように、同一色認識領域の座標と各方向への重み付け係数とを関連付けた同一色認識領域をテーブルとして保持させることにより、色差識別感度予測部440は、基準色の各方向への重み付け係数を算出することができる。なお、この算出方法は、同一色認識領域の座標と幅とを関連付けた同一色認識領域と同じである。
 なお、全ての座標における色差識別感度情報を保持させることは不可能であるため、基準色に近接する座標の感度情報から予測する必要がある。そこで、この予測の方法については、様々な方法が考えられる。そこで、予測の方法について、図11を参照して説明する。
 [色差識別感度予測部による予測の例]
 図11は、色差識別感度予測部440により予測される基準色の感度情報の予測方法を模式的に示す図である。
 図11aには、基準色の座標に対し+方向および-方向の座標に位置する色差識別感度情報が色差識別感度情報保持部430のテーブルに保持されている場合における基準色の座標の感度情報の予測方法を説明するための図が示されている。なお、図11では、説明の便宜上、u方向およびv方向の予測を行う例についてu空間を用いて説明する。なお、L方向は、u方向やv方向と同じように算出されるため説明を省略する。
 図11aでは、u空間の上に、3つの座標(座標a(532)、座標b(534)、座標c(536))の同一色認識領域(領域533、領域535、領域537)が示されている。なお、座標a(532)は、予測対象の座標(基準色)である座標A(531)に対してv方向の+側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標である。また、座標b(534)は、座標A(531)に対してu方向の-側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標である。なお、座標c(536)は、座標A(531)に対してu方向の+側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標であるとともに、v方向の-側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標である。
 このような場合において、色差識別感度予測部440は、基準色に対してu方向の+側で最も近い同一色認識領域の座標およびu幅と、基準色に対してu方向の-側で最も近い同一色認識領域の座標およびu幅とを用いて、基準色の同一色認識領域のu幅(Su )を算出する。図11aでは、座標c(536)がu方向の+側で最も近く、座標b(534)がu方向の-側で最も近い。
 色差識別感度予測部440は、例えば、次の式13を用いて、算出対象の座標(基準色)における同一色認識領域のu幅(Su )を算出する。
Figure JPOXMLDOC01-appb-M000010
ここで、Du Acは、座標A(531)と座標c(536)との間におけるu方向の座標の差(u方向の距離)である。同様に、Du Abは、座標A(531)と座標b(534)との間におけるu方向の距離である。また、Su は、座標b(534)の同一色認識領域のu方向における幅(u幅)であり、Su は、座標c(536)の同一色認識領域のu幅である。
 色差識別感度予測部440は、算出対象の座標における同一色認識領域のv幅(Sv )についても、Su と同様にして算出する。なお、図11aでは、座標a(532))がv方向の+側で最も近く、座標c(536)がv方向の-側で最も近い。そこで、色差識別感度予測部440は、例えば、次の式14を用いて、算出対象の座標における同一色認識領域のv幅(Sv )を算出する。
Figure JPOXMLDOC01-appb-M000011
ここで、Dv Acは、座標A(531)と座標c(536)との間におけるv方向の座標の差(v方向の距離)である。同様に、Dv Aaは、座標A(531)と座標a(532)との間におけるv方向の距離である。また、Sv は、座標a(532)の同一色認識領域のv方向における幅(v幅)であり、Sv は、座標c(536)の同一色認識領域のv幅である。
 なお、基本的には+側と-側とに、テーブルに保持されている同一色認識領域があるものの、色空間における縁付近の座標などが算出対象の座標である場合には、テーブルに保持されている同一色認識領域が一方にしかない場合がある。そこで、一方にしかない場合における予測方法について、図11bを参照して説明する。
 図11bでは、u空間の上に、1つの座標(座標d(542))の同一色認識領域(領域543)と、予測対象の座標(基準色)である座標A(541)とが示されている。
 図11bに示すように、予測に用いることができる同一色認識領域が、+側および-側のいずれかに1つしか存在しない場合には、この1つの同一色認識領域を用いて算出対象の座標における同一色認識領域のu幅およびv幅を算出する。色差識別感度予測部440は、例えば、次の式15を用いて、算出対象の座標における同一色認識領域のu幅(Su )を算出する。
Figure JPOXMLDOC01-appb-M000012
ここで、D0Aは、原点(L=0,u=0,v=0)から座標A(541)までの距離である。同様に、D0dは、原点から座標d(542)までの距離である。そして、Su は、座標d(542)の同一色認識領域のu幅である。
 なお、v幅(Sv )の算出は、上述の式14で示したu幅(Su )の算出と同様のものであるため、ここでの説明を省略する。
 このように、色差識別感度予測部440は、算出対象の座標に近接する色差識別感度情報に基づいて、算出対象の座標の感度情報を予測する。
 なお、図11のここまでは、L幅を特に考慮しないで説明したが、これから説明するノイズ量の算出では、L幅もu幅およびv幅と同様にして算出されたこととして説明する。
 色差識別感度予測部440は、基準色の感度情報(同一色認識領域)の予測を行った後に、各軸方向へのノイズの度合いとして、L方向、u方向、v方向それぞれに対して標準偏差を算出する。これにより、L方向のノイズ量を示す標準偏差(σL)と、u方向のノイズ量を示す標準偏差(σu)と、v方向のノイズ量を示す標準偏差(σv)とが算出される。
 そして、予測された基準色の感度情報(L幅(SL )、u幅(Su ))、v幅(Sv )を正規化して、ノイズ量を算出する際に用いる重み付け係数に変換する。例えば、図10aおよび図10bに示すように、各幅を×1/100にした値を係数として用いる。なお、図10bに示すように、係数がテーブルに保持されている場合には、予測された値(重み付け係数)を重み付け係数としてそのまま使用する。
 ノイズ量の算出は、例えば、上述の式12を用いて算出される。この場合において、αは、L幅(SL )から算出される重み付け係数であり、βは、u幅(Su ))から算出される重み付け係数であり、γは、v幅(Sv )から算出される重み付け係数である。すなわち、重み付け係数は、ノイズ量の算出での、各方向(L方向、u方向、v方向)の寄与の度合い(重み)を示している。
 なお、ノイズ量の算出は、上述の式12の他にも、様々な方法が考えられ、例えば、次の式16を用いて算出することもできる。
Figure JPOXMLDOC01-appb-M000013
 このように、それぞれの重み付け係数を実測値(色差識別感度情報)に基づいて算出することにより、人の視覚により知覚されるノイズ量が反映されたノイズ量を適切に算出することができる。
 [画像処理装置の動作例]
 次に、本技術の第2の実施の形態における画像処理装置20の動作について図面を参照して説明する。
 図12は、本技術の第2の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS950)の処理手順例を示すフローチャートである。
 この図12で示すノイズ量算出処理(ステップS950)は、図5において示したノイズ量算出処理(ステップS920)の変形例であり、各画素の色差を算出してノイズ量を算出する代わりに、基準色の色差情報を算出してノイズ量を算出する点が異なる。そこで、図12では、図5と同一の手順については同一の符号を付してここでの説明を省略する。
 ステップS921においてノイズ量の算出の対象領域が決定されると、設定された対象領域における各画素の画素値(RGBの値)が、L色空間における値(座標)に色空間変換部130により変換される(ステップS951)。
 そして、対象領域における各画素の値(L色空間における座標)を平均して基準色の値が算出された後に(ステップS923)、基準色の座標と、基準色の近傍に位置する色差識別感度情報とに基づいて、基準色の感度情報が色差識別感度予測部440により予測される(ステップS952)。
 その後、予測された基準色の感度情報に基づいて、ノイズ量の算出の際に用いられる各軸方向の重み付け係数が、色差識別感度予測部440により設定(算出)される(ステップS953)。なお、ステップS953において、各方向への重み付け係数が、色差識別感度情報保持部430に保持されており、基準色の感度情報として重み付け係数が予測された場合には、この予測された重み付け係数がそのまま用いられる。なお、ステップS952およびステップS953は、特許請求の範囲に記載の係数算出手順の一例である。
 次に、各画素の座標を用いて、各軸方向のばらつき(標準偏差)が、色差識別感度予測部440により算出される(ステップS954)。そして、算出された重み付け係数と、算出された標準偏差とに基づいて、算出対象領域におけるノイズ量が、ノイズ量演算部450により算出され(ステップS955)、ノイズ量算出処理の処理手順は終了する。なお、ステップS955は、特許請求の範囲に記載のノイズ量算出手順の一例である。
 このように、本技術の第2の実施の形態によれば、実測値(色差識別感度情報)に基づいて、ノイズ量の算出の際に用いられる重み付け係数を決定することにより、ノイズ量を適切に算出することができる。すなわち、ステップS952およびステップS953に示すように、基準色の座標から、ノイズ量を算出するのに適切な重み付け係数を算出することにより、ノイズ量を算出する際の各軸方向の重みが適切に設定されて、ノイズ量を適切に算出することができる。
 このように、本技術の実施の形態によれば、ノイズ量を適切に算出することができる。すなわち、適切なノイズ量を算出することにより、画像に含まれるノイズを適切に評価することができる。
 なお、本技術の実施の形態では、撮像装置や映像視聴装置を想定して説明したが、これに限定されるものではなく、例えば、撮像装置の機能を評価するための機器におけるノイズ評価の機能などにも適用可能である。この場合には、一面が均等な色のものを撮像し、この撮像により生成された画像全体を対象領域として行われ、算出されたノイズ量に基づいて、撮像装置の機能が評価される。
 なお、本技術の第1の実施の形態では、L色空間に変換する例について説明し、本技術の第2の実施の形態では、L色空間に変換する例について説明したが、これに限定されるものではない。本技術の第1の実施の形態では、色差を算出することができる色空間であればよく、本技術の第2の実施の形態では、色差識別感度情報を色差識別感度情報保持部430に保持させることができる色空間であればよい。すなわち、本技術の第1の実施の形態で、L色空間と、L色空間における色差を算出する式(例えば、CIE1976)とを用いても実施することができる。また、本技術の第2の実施の形態では、L色空間と、L色空間におけるマクアダムの偏差楕円の情報とを用いても実施することができる。
 なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
 また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
 なお、本技術は以下のような構成もとることができる。
(1) 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
 前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
 前記算出された色差に基づいて、前記評価対象領域におけるノイズ量を算出するノイズ量算出手順と
を具備するノイズ評価方法。
(2) 前記ノイズ量算出手順は、前記評価対象領域における各画素の前記色差を用いて平均値を算出して前記平均値を前記ノイズ量とする前記(1)に記載のノイズ評価方法。
(3) 前記3次元色空間は、均等色空間であり、
 前記色差算出手順は、前記均等色空間における距離関係に基づいて前記色差を算出する
前記(1)または(2)に記載のノイズ評価方法。
(4) 前記3次元色空間は、CIELABであり、
 前記色差算出手順は、CIE2000色差式を前記色差式として用いる
前記(3)に記載のノイズ評価方法。
(5) 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
 前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
 前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
を具備する画像処理装置。
(6) 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する前記(5)に記載の画像処理装置。
(7) 前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する前記(6)に記載の画像処理装置。
(8) 撮像された画像における画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
 前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
 前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
を具備する撮像装置。
(9) 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
 前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
 前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出手順と
をコンピュータに実行させるプログラム。
(10) 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
 前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
 前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
を具備するノイズ評価方法。
(11) 前記係数算出手順は、所定の座標とその座標における色に対してユーザの知覚では区別できない色が位置する座標の範囲に関する感度情報とが関連付けられているテーブルを用いて前記算出された基準値における前記感度情報を生成し、当該生成された感度情報に基づいて前記重み付け係数を算出する前記(10)に記載のノイズ評価方法。
(12) 前記重み付け係数は、前記軸方向ごとに算出される値であり、
 前記係数算出手順は、算出対象の前記重み付け係数が重みを示す軸の方向において前記基準値に対しプラス側で最も近い座標の前記感度情報と、この軸の方向において前記基準値に対しマイナス側で最も近い座標の前記感度情報とのうちの少なくとも1つに基づいて前記算出対象の重み付け係数を算出する前記(11)に記載のノイズ評価方法。
(13) 前記係数算出手順は、所定の座標とその座標における前記重み付け係数とが関連付けられているテーブルを用いて前記算出された基準値における前記重み付け係数を算出する前記(10)に記載のノイズ評価方法。
(14) 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
 前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
 前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
を具備する画像処理装置。
(15) 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する前記(14)に記載の画像処理装置。
(16) 前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する前記(15)に記載の画像処理装置。
(17) 撮像された画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
 前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
 前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
を具備する撮像装置。
(18) 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
 前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
 前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
をコンピュータに実行させるプログラム。
 100 信号処理部
 110 ノイズ量算出部
 120 対象領域設定部
 130 色空間変換部
 140 基準色算出部
 150 色差算出部
 160 平均値算出部
 180 画像処理部
 191 画像入力部
 192 画像出力部
 410 ノイズ量算出部
 430 色差識別感度情報保持部
 440 色差識別感度予測部
 450 ノイズ量演算部

Claims (18)

  1.  画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
     前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
     前記算出された色差に基づいて、前記評価対象領域におけるノイズ量を算出するノイズ量算出手順と
    を具備するノイズ評価方法。
  2.  前記ノイズ量算出手順は、前記評価対象領域における各画素の前記色差を用いて平均値を算出して前記平均値を前記ノイズ量とする請求項1記載のノイズ評価方法。
  3.  前記3次元色空間は、均等色空間であり、
     前記色差算出手順は、前記均等色空間における距離関係に基づいて前記色差を算出する
    請求項1記載のノイズ評価方法。
  4.  前記3次元色空間は、CIELABであり、
     前記色差算出手順は、CIE2000色差式を前記色差式として用いる
    請求項3記載のノイズ評価方法。
  5.  画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
     前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
     前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
    を具備する画像処理装置。
  6.  処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する請求項5記載の画像処理装置。
  7.  前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する請求項6記載の画像処理装置。
  8.  撮像された画像における画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
     前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
     前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
     処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
    を具備する撮像装置。
  9.  画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
     前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
     前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出手順と
    をコンピュータに実行させるプログラム。
  10.  画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
     前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
     前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
    を具備するノイズ評価方法。
  11.  前記係数算出手順は、所定の座標とその座標における色に対してユーザの知覚では区別できない色が位置する座標の範囲に関する感度情報とが関連付けられているテーブルを用いて前記算出された基準値における前記感度情報を生成し、当該生成された感度情報に基づいて前記重み付け係数を算出する請求項10記載のノイズ評価方法。
  12.  前記重み付け係数は、前記軸方向ごとに算出される値であり、
     前記係数算出手順は、算出対象の前記重み付け係数が重みを示す軸の方向において前記基準値に対しプラス側で最も近い座標の前記感度情報と、この軸の方向において前記基準値に対しマイナス側で最も近い座標の前記感度情報とのうちの少なくとも1つに基づいて前記算出対象の重み付け係数を算出する請求項11記載のノイズ評価方法。
  13.  前記係数算出手順は、所定の座標とその座標における前記重み付け係数とが関連付けられているテーブルを用いて前記算出された基準値における前記重み付け係数を算出する請求項10記載のノイズ評価方法。
  14.  画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
     前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
     前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
    を具備する画像処理装置。
  15.  処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する請求項14記載の画像処理装置。
  16.  前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する請求項15記載の画像処理装置。
  17.  撮像された画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
     前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
     前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
     処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
    を具備する撮像装置。
  18.  画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
     前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
     前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
    をコンピュータに実行させるプログラム。
PCT/JP2013/064778 2012-07-19 2013-05-28 ノイズ評価方法、画像処理装置、撮像装置およびプログラム WO2014013792A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014525744A JPWO2014013792A1 (ja) 2012-07-19 2013-05-28 ノイズ評価方法、画像処理装置、撮像装置およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012160079 2012-07-19
JP2012-160079 2012-07-19

Publications (1)

Publication Number Publication Date
WO2014013792A1 true WO2014013792A1 (ja) 2014-01-23

Family

ID=49948628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/064778 WO2014013792A1 (ja) 2012-07-19 2013-05-28 ノイズ評価方法、画像処理装置、撮像装置およびプログラム

Country Status (3)

Country Link
JP (1) JPWO2014013792A1 (ja)
TW (1) TW201411553A (ja)
WO (1) WO2014013792A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019169910A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN113938597A (zh) * 2020-06-29 2022-01-14 腾讯科技(深圳)有限公司 一种脸部识别方法、装置、计算机设备和存储介质
WO2022170747A1 (zh) * 2021-02-09 2022-08-18 珠海赛纳三维科技有限公司 三维物体色差计算方法及装置、三维物体色差计算系统
US11601625B2 (en) 2020-02-24 2023-03-07 Samsung Electronics Co., Ltd. Color stain analyzing method and electronic device using the method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427349B (zh) * 2015-11-18 2018-05-25 国家海洋局第一海洋研究所 遥感图像条带噪声定量评价方法
TWI743646B (zh) * 2020-01-07 2021-10-21 和碩聯合科技股份有限公司 一種導光柱影像的處理方法與裝置
KR20230072702A (ko) 2021-11-18 2023-05-25 삼성전자주식회사 컬러 변환을 수행하는 전자 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064913A1 (ja) * 2004-12-17 2006-06-22 Nikon Corporation 画像処理方法
JP2009212672A (ja) * 2008-03-03 2009-09-17 Sony Corp 信号処理装置および方法、並びにプログラム
JP2011160168A (ja) * 2010-02-01 2011-08-18 Hitachi Consumer Electronics Co Ltd 画像処理装置
JP2012076413A (ja) * 2010-10-05 2012-04-19 Canon Inc 画像処理装置、記録装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064913A1 (ja) * 2004-12-17 2006-06-22 Nikon Corporation 画像処理方法
JP2009212672A (ja) * 2008-03-03 2009-09-17 Sony Corp 信号処理装置および方法、並びにプログラム
JP2011160168A (ja) * 2010-02-01 2011-08-18 Hitachi Consumer Electronics Co Ltd 画像処理装置
JP2012076413A (ja) * 2010-10-05 2012-04-19 Canon Inc 画像処理装置、記録装置および画像処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019169910A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7106318B2 (ja) 2018-03-26 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11601625B2 (en) 2020-02-24 2023-03-07 Samsung Electronics Co., Ltd. Color stain analyzing method and electronic device using the method
CN113938597A (zh) * 2020-06-29 2022-01-14 腾讯科技(深圳)有限公司 一种脸部识别方法、装置、计算机设备和存储介质
CN113938597B (zh) * 2020-06-29 2023-10-10 腾讯科技(深圳)有限公司 一种脸部识别方法、装置、计算机设备和存储介质
WO2022170747A1 (zh) * 2021-02-09 2022-08-18 珠海赛纳三维科技有限公司 三维物体色差计算方法及装置、三维物体色差计算系统

Also Published As

Publication number Publication date
TW201411553A (zh) 2014-03-16
JPWO2014013792A1 (ja) 2016-06-30

Similar Documents

Publication Publication Date Title
WO2014013792A1 (ja) ノイズ評価方法、画像処理装置、撮像装置およびプログラム
JP4264553B2 (ja) 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム
JP5697353B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP5847471B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2020501464A (ja) 画像パープルフリンジ除去システム、方法、コンピュータ読み取り可能な記録媒体及び撮像装置
JP2013219705A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2007105359A1 (ja) 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
JP2005331929A (ja) 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム
JP2013183282A (ja) 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
JP2015011058A (ja) 撮像装置及び撮像方法
JP5324508B2 (ja) 画像処理装置および方法,ならびに画像処理プログラム
JP4900373B2 (ja) 画像出力装置、画像出力方法およびプログラム
US8026954B2 (en) System and computer-readable medium for automatic white balancing
JP5163733B2 (ja) 撮像装置、および焦点判定プログラム
JP2006133196A (ja) 画素ムラ欠陥検出方法、画素ムラ欠陥検出装置、画素ムラ欠陥検出プログラムおよびこのプログラムを記録した記録媒体。
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP5159647B2 (ja) 画像処理装置及び画像処理方法
JP2004222143A (ja) 撮像装置およびプログラム
JP5846100B2 (ja) 表示装置の欠陥検査方法
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP2011041094A5 (ja)
JP5957106B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13820011

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014525744

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13820011

Country of ref document: EP

Kind code of ref document: A1