WO2014192412A1 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2014192412A1
WO2014192412A1 PCT/JP2014/059924 JP2014059924W WO2014192412A1 WO 2014192412 A1 WO2014192412 A1 WO 2014192412A1 JP 2014059924 W JP2014059924 W JP 2014059924W WO 2014192412 A1 WO2014192412 A1 WO 2014192412A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
frequency component
frequency components
component
frequency
Prior art date
Application number
PCT/JP2014/059924
Other languages
English (en)
French (fr)
Inventor
直哉 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2014192412A1 publication Critical patent/WO2014192412A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present technology relates to an image processing device, an imaging device, an image processing method, and a program that causes a computer to execute the method. More specifically, the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program that causes a computer to execute the method.
  • an image having a wider dynamic range than usual may be captured by an imaging device for the purpose of capturing a high quality image in a backlight condition.
  • the dynamic range of such an image is often wider than the dynamic range supported by the display device. For this reason, when an image is displayed on a display device having a narrow dynamic range, tone correction for narrowing the dynamic range is performed on the image.
  • an image processing apparatus that separates a high frequency component having a relatively high spatial frequency and a low frequency component having a relatively low spatial frequency in an image, amplifies the high frequency component, compresses the low frequency component, and synthesizes the components.
  • the image processing apparatus can perform tone correction without impairing the contrast of the image before correction.
  • the luminance of the image synthesized with the high frequency component may exceed the maximum luminance of the display device, or may be less than the minimum luminance of the display device. is there.
  • the luminance of the image exceeds the maximum luminance of the display device, it is called overshoot, and when it becomes less than the minimum luminance, it is called undershoot.
  • overshoot a phenomenon that gradation is lost in a bright part (so-called whiteout) occurs.
  • This technology has been created in view of such a situation, and aims to suppress deterioration in image quality in tone correction.
  • the present technology has been made to solve the above-described problems, and a first aspect thereof is a component separation unit that separates each of the three frequency components in an image including three frequency components different from each other.
  • the strength of either the compression unit that compresses the low frequency component having the lowest spatial frequency among the three frequency components, or the two frequency components other than the low frequency component among the three frequency components is within the limited range.
  • An image processing apparatus including an combining unit that combines two frequency components, an image processing method, and a program for causing a computer to execute the method. As a result, the two frequency components whose one intensity is limited within the limit range are amplified, and the compressed low frequency component and the two amplified frequency components are combined.
  • the limiting unit may limit the intensity of the frequency component having a lower spatial frequency among the two frequency components within the limit range. This brings about the effect that the intensity of the frequency component having the lower spatial frequency of the two frequency components is limited within the limit range.
  • the component separation unit separates each of the three frequency components and further includes any one of two frequency components other than the low frequency component among the three frequency components.
  • the limiting unit may limit each of the plurality of separated frequency components by different limiting ranges. This brings about the effect
  • the first aspect further includes an adding unit that adds a difference between the intensity before restriction and the intensity after restriction of the one frequency component to the low frequency component, and the compression part includes The low frequency component added with the difference may be compressed. As a result, the difference between the intensity before the restriction of one frequency component and the intensity after the restriction is added to the low frequency component.
  • the limiting unit includes a setting unit that sets a wide range as the limiting range as the intensity of the low frequency component is high, and a limiting range in which one of the two frequency components is set. And a frequency component limiting unit for limiting the frequency component to the inside. This brings about the effect that a wider range is set as the limit range as the intensity of the low frequency component is higher.
  • the compression unit may compress the low frequency component based on a higher compression ratio as the difference between the strength of the low frequency component and a predetermined value is larger.
  • the second aspect of the present technology provides an image sensor that generates an image including three different frequency components, a component separation unit that separates each of the three frequency components in the image, and the three frequency components.
  • the compression unit that compresses the low frequency component having the lowest spatial frequency and the intensity of one of the two frequency components other than the low frequency component among the three frequency components within the limit range.
  • a limiting unit that supplies two frequency components with limited intensity, an amplification unit that amplifies the two supplied frequency components, and the compressed low frequency component and the two amplified frequency components are combined
  • An image pickup apparatus including a combining unit. As a result, the two frequency components whose one intensity is limited within the limit range are amplified, and the compressed low frequency component and the two amplified frequency components are combined.
  • FIG. 4 is a flowchart illustrating an example of image processing executed by an image processing unit according to the first embodiment. It is a figure which shows an example of the image after the gradation compression in 1st Embodiment. It is a block diagram which shows one structural example of the restriction
  • First embodiment an example in which an imaging device restricts medium frequency components
  • Second embodiment example in which information processing device limits medium frequency component
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing system according to an embodiment of the present technology.
  • This image processing system includes an imaging device 100 and a display device 400.
  • the imaging apparatus 100 is an apparatus that captures an image, and includes an imaging lens 110, an imaging element 120, a camera control unit 130, an image processing unit 200, and a recording unit 140.
  • the imaging lens 110 is a lens that forms an image to be imaged on the image sensor 120.
  • the imaging lens 110 includes a lens such as a focus lens and a zoom lens.
  • the image sensor 120 generates image data from the light from the imaging lens 110. Specifically, the image sensor 120 photoelectrically converts light from the imaging lens 110 to generate an analog electrical signal, A / D (Analog-to-Digital) converts the electrical signal, and performs image processing as image data. The signal is supplied to the unit 200 via the signal line 129.
  • the imaging device 120 can be realized by a CCD (Charge-Coupled Device), a CMOS (Complementary Metal-Oxide Semiconductor) sensor, or the like.
  • the image data generated by the image sensor 120 includes a plurality of pixels arranged in a two-dimensional grid. Each pixel in the image data has only single color information.
  • image data is generally called RAW image data.
  • colors of complementary colors such as Cy (Cyan), Mg (Magenta), Ye (Yellow), and G (Green) are used.
  • a configuration using primary colors of R (Red), G (Green), and B (Blue) may be used.
  • the image sensor 120 can generate image data having a dynamic range wider than the ratio between the maximum luminance and the minimum luminance that can be displayed by the display device 400 (in other words, the dynamic range).
  • a wide dynamic range is realized by the image sensor 120 performing pixel addition processing or the like.
  • the pixel addition process is a process for increasing the sensitivity by adding output signals of a plurality of pixels adjacent in the horizontal direction or the vertical direction.
  • an A / D conversion unit may be further provided, and the A / D conversion unit may perform A / D conversion instead of the image sensor 120.
  • the camera control unit 130 controls the entire imaging apparatus 100.
  • the camera control unit 130 controls the image sensor 120 to generate image data.
  • the camera control unit 130 controls the image processing unit 200 to execute image processing such as gradation correction processing.
  • the camera control unit 130 When executing the gradation correction processing, the camera control unit 130 acquires the dynamic ranges of the display device 400 and the image sensor 120 and controls the image processing unit 200 based on these dynamic ranges. It is assumed that the dynamic range of the display device 400 is recorded in advance in a memory (not shown) in the imaging device 100, for example. Note that the display device 400 may output control information indicating its own dynamic range to the imaging device 100. Further, the user may set the degree of gradation compression by operating a button or the like so as to be within the dynamic range of the display device 400, and the camera control unit 130 may control the image processing unit 200 according to the setting.
  • the image processing unit 200 performs predetermined image processing on the image data. As image processing, gradation correction processing, demosaic processing, and the like are executed.
  • the image processing unit 200 outputs the image data subjected to the image processing to the recording unit 140 via the signal line 209.
  • the recording unit 140 records image data that has been subjected to image processing by the image processing unit 200.
  • the display device 400 reads out the image data from the recording unit 140 and displays it.
  • a liquid crystal monitor, a CRT (Cathode Ray Ray Tube) or the like is used as the display device 400.
  • FIG. 2 is a block diagram illustrating a configuration example of the image processing unit 200 according to the first embodiment.
  • the image processing unit 200 includes a noise removal unit 210, a color balance acquisition unit 220, a gradation correction processing unit 300, and a demosaic processing unit 230.
  • the noise removing unit 210 removes noise from the image data.
  • the noise removing unit 210 removes noise using a digital filter such as an infinite impulse response (IIR) filter.
  • the noise removing unit 210 supplies the image data from which noise has been removed to the gradation correction processing unit 300.
  • the color balance acquisition unit 220 acquires an integral value of brightness for each color (in other words, color balance) in the image data.
  • the color balance acquisition unit 220 notifies the camera control unit 130 of these integrated values.
  • the camera control unit 130 controls the image sensor 120 and the like based on those integral values. For example, the camera control unit 130 performs control to increase the sensitivity of the missing color based on the color balance.
  • the gradation correction processing unit 300 performs gradation correction processing on the image data.
  • the gradation correction processing unit 300 receives various setting values related to gradation correction from the camera control unit 130, and corrects the gradation based on the setting values. Details of these set values will be described later.
  • the gradation correction processing unit 300 supplies the image data after gradation correction to the demosaic processing unit 230.
  • the demosaic processing unit 230 performs demosaic processing on the RAW image data. Specifically, the demosaic processing unit 230 collects and interpolates missing color information from the surrounding pixels for each pixel, and generates full-color image data. The demosaic processing unit 230 outputs the image data after the demosaic processing to the recording unit 140.
  • FIG. 3 is a block diagram illustrating a configuration example of the gradation correction processing unit 300 according to the first embodiment.
  • the gradation correction processing unit 300 includes a luminance generation unit 310, a data conversion unit 311, an adder 312, a compression unit 313, a component separation unit 320, a restriction unit 350, an amplification unit 360, and a synthesis unit 380.
  • the luminance generation unit 310 generates luminance for each pixel from the RAW image data.
  • the luminance generation unit 310 receives the image data from the noise removal unit 210 as input RAW image data inRAW.
  • the luminance generation unit 310 generates a luminance value for each pixel from the input RAW image data inRAW using, for example, the following equation.
  • Y (m, n) X (m-1, n) x 1/4 + X (m, n) x 1/2 + X (m + 1, n) ⁇ 1/4 Equation 1
  • Y (m, n) is the luminance value of the pixel at coordinates (m, n).
  • m is the pixel coordinate in the horizontal direction
  • n is the pixel coordinate in the vertical direction.
  • X (m, n) is the pixel value of the pixel at the coordinate (m, n) in the input RAW image data inRAW.
  • N luminance values are generated based on Equation 1.
  • the luminance generation unit 310 supplies an image including these luminance values to the component separation unit 320, the amplification unit 360, and the data conversion unit 311 as input luminance image data inY.
  • the component separation unit 320 separates each of three frequency components having different spatial frequencies in the input luminance image data inY.
  • the frequency component having the highest spatial frequency is hereinafter referred to as “high frequency component”.
  • the frequency component having the second highest spatial frequency is referred to as “medium frequency component”
  • the frequency component having the lowest spatial frequency is referred to as “low frequency component”.
  • the component separation unit 320 supplies the separated high frequency component HF_B and intermediate frequency component MF_B to the restriction unit 350. Further, the component separation unit 320 supplies the separated low frequency component LF to the limiting unit 350 and the adder 312.
  • the restriction unit 350 restricts the medium frequency component MF_B within the restriction range. First, the restriction unit 350 sets a wider restriction range as the intensity of the low frequency component LF_B is higher. Then, the restriction unit 350 restricts the intensity of the medium frequency component MF_B within the restriction range. The restriction unit 350 supplies the restricted medium frequency component MF_L and the unrestricted high frequency component HF_B to the amplification unit 360. In addition, the limiting unit 350 supplies the adder 312 with the difference dg between the intensity before limiting and the intensity after limiting of the medium frequency component MF_B.
  • the amplification unit 360 amplifies the medium frequency component MF_L and the high frequency component HF_B.
  • the amplification unit 360 includes a high frequency component amplification unit 370 and a medium frequency component amplification unit 375.
  • the high frequency component amplifying unit 370 amplifies the high frequency component HF_B.
  • the high frequency component amplifying unit 370 sets an amplification factor based on the luminance value of the input luminance image data inY, and amplifies the high frequency component HF_B based on the amplification factor.
  • the high frequency component amplification unit 370 supplies the amplified high frequency component HF_A to the synthesis unit 380.
  • the middle frequency component amplifying unit 375 amplifies the restricted middle frequency component MF_L.
  • the medium frequency component amplifying unit 375 amplifies the medium frequency component MF_L with a constant amplification factor. This amplification factor is set by the camera control unit 130, for example.
  • the intermediate frequency component amplifying unit 375 supplies the amplified intermediate frequency component MF_A to the synthesizing unit 380.
  • the adder 312 adds a plurality of input values.
  • the adder 312 receives the low frequency component LF_B and the difference dg.
  • the adder 312 adds the difference dg to the low frequency component LF_B, and supplies the low frequency component LF ′ _B after the addition to the compression unit 313.
  • the adder 312 is an example of an adding unit described in the claims.
  • the amount (dg) limited in the intermediate frequency component MF_B by the adder 312 is added to the low frequency component LF_B, so that the limited amount is not lost in the synthesized image. Note that the adder 312 may not be provided if the image quality is not significantly affected even if the limited amount is omitted.
  • the compression unit 313 compresses the low frequency component LF ′ _B.
  • the compression unit 313 compresses the low frequency component LF ′ _B with a higher compression ratio as the difference between the intensity of the low frequency component LF ′ _B and the intermediate value YM of the dynamic range is larger.
  • the compression unit 313 supplies the low frequency component LF′_C after compression to the synthesis unit 380.
  • the compression unit 313 compresses the low-frequency component LF ′ with a certain compression rate, although the compression unit 313 compresses the compression with the compression rate according to the difference between the intensity of the low-frequency component LF ′ _B and the intermediate value YM. .
  • the synthesizing unit 380 synthesizes the high frequency component HF_A and the intermediate frequency component MF_A after amplification and the low frequency component LF′_C after compression.
  • the synthesis unit 380 includes a high frequency component synthesis unit 381 and an intermediate frequency component synthesis unit 382.
  • the middle frequency component synthesis unit 382 synthesizes the middle frequency component MF_A and the low frequency component LF′_C.
  • the medium frequency component synthesizing unit 382 adds the strengths of these components for each pixel, and supplies the resultant to the high frequency component synthesizing unit 381 as the medium / low frequency component MLF ′.
  • the high frequency component synthesis unit 381 synthesizes the high frequency component HF_A and the medium / low frequency component MLF ′.
  • the high frequency component synthesis unit 381 adds the strengths of these components for each pixel, and supplies the resultant to the data conversion unit 311 as output luminance image data outY.
  • the data conversion unit 311 converts luminance image data composed of luminance values into RAW image data.
  • the data conversion unit 311 generates output RAW image data outRAW from the input RAW image data inRAW, the input luminance image data inY, and the output luminance image data outY using, for example, the following equation. This calculation is executed for each pixel in the image.
  • outRAW inRAW ⁇ outY / inY Equation 2
  • the notation indicating the coordinates of the pixel is omitted.
  • the data conversion unit 311 outputs the generated output RAW image data outRAW to the demosaic processing unit 230.
  • the gradation correction processing unit 300 corrects the gradation of the RAW image data before demosaicing, but may be configured to correct the gradation of the image data after demosaicing.
  • FIG. 4 is a diagram illustrating an example of an average filter according to the first embodiment.
  • a indicates an average filter represented by Equation 1.
  • the central pixel is a pixel of interest, and the numerical value described in each pixel indicates a coefficient for the pixel value.
  • the luminance generation unit 310 can also use an average filter of 3 ⁇ 3 pixels illustrated in b of FIG. 4 instead of the average filter illustrated in a of FIG.
  • the central pixel is the target pixel, and the numerical value described in each pixel indicates a coefficient for the pixel value.
  • FIG. 5 is a block diagram illustrating a configuration example of the component separation unit 320 according to the first embodiment.
  • the component separation unit 320 includes a high frequency component separation unit 330 and a medium frequency component separation unit 345.
  • the high frequency component separation unit 330 separates the high frequency component HF_B from the input luminance image data inY.
  • the high frequency component separation unit 330 separates the high frequency component HF_B and the middle / low frequency component MLF.
  • the middle / low frequency component MLF is a component including the middle frequency component MF_B and the low frequency component LF_B.
  • the high frequency component separation unit 330 supplies the separated high frequency component HF_B to the restriction unit 350 and supplies the medium / low frequency component MLF to the medium frequency component separation unit 345.
  • the medium frequency component separation unit 345 separates the medium frequency component MF_B and the low frequency component LF_B from the medium low frequency component MLF.
  • the medium frequency component separation unit 345 supplies the separated medium frequency component MF_B and low frequency component LF_B to the restriction unit 350.
  • FIG. 6 is a block diagram illustrating a configuration example of the high-frequency component separation unit 330 according to the first embodiment.
  • the high frequency component separating unit 330 includes a data buffer 331, a region of interest reading unit 332, a vertical direction difference average value calculating unit 333, a horizontal direction difference average value calculating unit 334, a left diagonal direction difference average value calculating unit 335, and a right diagonal direction.
  • a difference average value calculation unit 336 and a threshold value calculation unit 337 are provided.
  • the high frequency component separation unit 330 includes a direction selection unit 338, an average value calculation unit 339, and a subtracter 340.
  • the data buffer 331 holds the input luminance image data inY.
  • the attention area reading unit 332 pays attention to each of the pixels in the input luminance image data inY in order, and each time attention is paid to the pixel, the attention area reading unit 332 extracts pixels in a certain range including the attention pixel (hereinafter referred to as “attention area”).
  • the luminance value is read from the data buffer 331.
  • the attention area is, for example, a 3 ⁇ 3 pixel area centered on the attention pixel.
  • the coordinate of the pixel of interest is (m, n), Y (m-1, n-1), Y (m, n-1), Y (m + 1, n-1), Y (m-1, n) ), Y (m, n), Y (m + 1, n), Y (m-1, n + 1), Y (m, n + 1) and Y (m + 1, n + 1) luminance values are read out.
  • the shape and size of the attention area are not limited to 3 ⁇ 3 pixels.
  • the attention area may be a cross-shaped area composed of the attention pixel and the upper, lower, left, and right pixels of the attention pixel.
  • the attention area reading unit 332 supplies Y (m, n ⁇ 1), Y (m, n), and Y (m, n + 1) among the luminance values in the attention area to the vertical direction difference average value calculation unit 333. .
  • the attention area reading unit 332 supplies Y (m ⁇ 1, n), Y (m, n), and Y (m + 1, n) to the horizontal direction difference average value calculation unit 334.
  • the attention area reading unit 332 supplies Y (m ⁇ 1, n ⁇ 1), Y (m, n), and Y (m + 1, n + 1) to the left oblique direction difference average value calculation unit 335. Further, the attention area reading unit 332 supplies Y (m + 1, n ⁇ 1), Y (m, n), and Y (m ⁇ 1, n + 1) to the right oblique direction difference average value calculation unit 336.
  • the attention area reading unit 332 supplies Y (m, n) to the threshold value calculation unit 337 and the subtracter 340, and supplies all luminance values in the attention area to the average value calculation unit 339.
  • the vertical direction difference average value calculation unit 333 calculates an average value of absolute differences between the luminance of the target pixel and the luminance of two pixels adjacent to the target pixel in the vertical direction. For example, the average value AVG_V (m, n) of the absolute difference is calculated by the following equation.
  • the vertical direction difference average value calculation unit 333 supplies the calculated average value AVG_V (m, n) to the direction selection unit 338.
  • AVG_V (m, n) ⁇
  • the horizontal direction difference average value calculation unit 334 calculates an average value of absolute differences between the luminance of the target pixel and the luminance of two pixels adjacent to the target pixel in the horizontal direction. For example, the average value AVG_H (m, n) of the absolute difference is calculated by the following equation.
  • the horizontal direction difference average value calculation unit 334 supplies the calculated average value AVG_H (m, n) to the direction selection unit 338.
  • AVG_H (m, n) ⁇
  • the left diagonal direction difference average value calculation unit 335 calculates an average value of absolute differences between the luminance of the target pixel and the luminances of two pixels adjacent to the target pixel in the left diagonal direction. For example, the average absolute value AVG_L (m, n) is calculated by the following equation.
  • the left diagonal direction difference average value calculation unit 335 supplies the calculated average value AVG_L (m, n) to the direction selection unit 338.
  • AVG_L (m, n) ⁇
  • the right diagonal direction difference average value calculation unit 336 calculates an average value of absolute differences between the luminance of the target pixel and the luminances of two pixels adjacent to the target pixel in the right diagonal direction. For example, the average value AVG_R (m, n) of the absolute difference value is calculated by the following equation.
  • the right diagonal direction difference average value calculation unit 336 supplies the calculated average value AVG_R (m, n) to the direction selection unit 338.
  • AVG_R (m, n) ⁇
  • the threshold calculation unit 337 calculates a direction threshold Th_d for selecting a direction.
  • the threshold calculation unit 337 calculates the direction threshold Th_d using, for example, the following equation.
  • the threshold calculation unit 337 supplies the calculated direction threshold Th_d to the direction selection unit 338.
  • Th_d (m, n) Y (m, n) ⁇ f Equation 7
  • f is a real coefficient, and the higher the f, the higher the frequency components with higher spatial frequencies are separated.
  • the value of f is set by the camera control unit 130, for example.
  • the direction selection unit 338 selects a direction in which the average difference absolute value is equal to or less than the direction threshold Th_d among the vertical direction, the horizontal direction, the left diagonal direction, and the right diagonal direction, and the selected direction is input to the average value calculation unit 339. It is a notification. When there are a plurality of directions in which the average difference absolute value is equal to or less than the direction threshold Th_d, all of them are selected.
  • the average value calculation unit 339 calculates an average value of luminance values of the pixel adjacent to the target pixel and the target pixel in the selected direction. For example, when only the horizontal direction is selected, the average value of Y (m ⁇ 1, n), Y (m, n) and Y (m + 1, n) is calculated.
  • the average value calculation unit 339 supplies the calculated average value to the medium frequency component separation unit 345 and the subtractor 340 as the intensity of the coordinates (m, n) in the medium to low frequency component MLF.
  • the subtracter 340 subtracts the other from one of the two input values.
  • the subtracter 340 receives MLF (m, n) and Y (m, n).
  • the subtractor 340 supplies the value obtained by subtracting MLF (m, n) from Y (m, n) to the limiting unit 350 as the intensity of the coordinates (m, n) in the high frequency component HF_B.
  • the configuration of the medium frequency component separation unit 345 is the same as that of the high frequency component separation unit 330.
  • the average value from the configuration corresponding to the average value calculation unit 339 is output as the intermediate frequency component MF_B, and the difference from the subtractor corresponding to the subtractor 340 is output as the low frequency component LF_B. .
  • the high frequency component HF_B and the medium frequency component MF are the differences between the frequency components obtained by the subtractor 340 or the like, the intensity of these components has a positive or negative sign.
  • the high frequency component separation unit 330 separates the high frequency component by obtaining the difference between the average value in the selected direction and the target pixel, but is not limited to this configuration.
  • the high frequency component separation unit 330 may separate the high frequency components by performing a Fourier transform on the luminance distribution of the image data.
  • FIG. 7 is a block diagram illustrating a configuration example of the high-frequency component amplification unit 370 in the first embodiment.
  • the high frequency component amplification unit 370 includes a suppression gain generation unit 371 and multipliers 372 and 373.
  • the suppression gain generation unit 371 generates the suppression gain Ga from the luminance of the entire input luminance image data inY.
  • the image quality is deteriorated such as noise enhancement or generation of a false edge.
  • the false edge is an edge generated by enhancement at a place where no edge exists before enhancement.
  • a suppression gain Ga is set.
  • the suppression gain Ga is generated by the following equation, for example.
  • inY ′ is a statistic (for example, an average value) of the luminance of each pixel in the input luminance image data inY.
  • Th_H is an upper limit value of luminance.
  • a, b, c and d are positive real numbers.
  • Th_L is a lower limit value of luminance, and a value lower than Th_H is set.
  • the suppression gain generation unit 371 supplies the generated suppression gain Ga to the multiplier 372.
  • the multiplier 372 multiplies the reference gain Gs and the suppression gain Ga.
  • the multiplier 372 supplies the multiplication result to the multiplier 373.
  • the reference gain Gs is a value indicating the degree of amplification of the high frequency component HF_B, and is a real number larger than 1, for example.
  • the reference gain Gs is set by the camera control unit 130.
  • the multiplier 373 multiplies the multiplication result of the multiplier 372 and the high frequency component HF_B.
  • the multiplier 373 supplies the multiplication result to the synthesis unit 380 as the amplified high frequency component HF_A.
  • the high frequency component amplification unit 370 suppresses the amplification factor (Ga ⁇ Gs) in the bright part and the dark part. However, when the image quality of the original image is sufficiently high, the image quality of the bright part and the dark part is deteriorated. If allowed, amplification may be performed with a constant amplification factor.
  • FIG. 8 is a graph showing an example of the suppression gain Ga set according to the luminance value in the first embodiment.
  • the vertical axis represents the suppression gain Ga
  • the horizontal axis represents the luminance value inY ′ of the entire input luminance image data inY.
  • the gain for the high frequency component HF_B is suppressed by the suppression gain Ga in the bright part where the luminance value inY ′ is higher than the upper limit value Th_H and in the dark part where the luminance value inY ′ is lower than the lower limit value Th_L.
  • FIG. 9 is a block diagram illustrating a configuration example of the restriction unit 350 according to the first embodiment.
  • the restriction unit 350 includes a component selection unit 351, a sign determination unit 352, an absolute value acquisition unit 353, a positive / negative conversion unit 354, a frequency component restriction unit 355, a restriction value calculation unit 356, and a subtracter 357.
  • the component selection unit 351 selects a component to be restricted.
  • the component selection unit 351 selects the medium frequency component MF as a restriction target from among the medium frequency component MF and the high frequency component HF_B, and supplies the selected component to the sign determination unit 352, the absolute value acquisition unit 353, and the subtractor 357.
  • the component selection unit 351 supplies the high frequency component HF_B that has not been selected as the restriction target to the high frequency component amplification unit 370.
  • the sign determination unit 352 determines whether the sign of the medium frequency component MF is positive or negative.
  • the sign determination unit 352 supplies the sign of the medium frequency component MF to the positive / negative conversion unit 354.
  • the absolute value acquisition unit 353 acquires the absolute value of the intensity of the medium frequency component MF.
  • the absolute value acquisition unit 353 supplies the absolute value to the frequency component restriction unit 355.
  • the limit value calculation unit 356 calculates a limit value La that limits the absolute value of the frequency component.
  • the limit value calculation unit 356 calculates the limit value La using, for example, the following equation. This calculation is executed for each pixel in the medium frequency component.
  • La LF_B ⁇ R Equation 10
  • R is a real coefficient, and is set by the camera control unit 130, for example.
  • the notation indicating the coordinates of the pixel is omitted.
  • a wider limit range is set as the intensity of the low frequency component is higher.
  • the limit value calculation unit 356 is an example of a setting unit described in the claims.
  • the frequency component limiter 355 limits the absolute value of the frequency component. When the absolute value is larger than the limit value La, the frequency component limiting unit 355 supplies the absolute value to the positive / negative converting unit 354 as a limited value, and otherwise, the absolute value is directly used as the limited value. This is supplied to the positive / negative unit 354.
  • the sign unit 354 adds the sign from the sign determination unit 352 to the value restricted by the frequency component restriction unit 355.
  • the plus / minus unit 354 supplies the value with the sign added to the subtractor 357 and the medium frequency component amplifying unit 375 as the limited medium frequency component MF_L.
  • the subtracter 357 subtracts the other from one of the two input values.
  • the subtractor 357 receives the intermediate frequency component MF_B before the restriction and the intermediate frequency component MF_L after the restriction.
  • the subtracter 357 subtracts the post-restriction middle frequency component MF_L from the pre-restriction middle frequency component MF_B, and supplies the subtraction result to the adder 312 as a difference dg.
  • the limiter 350 may obtain the limit value La using an expression other than Expression 10 if the limit range becomes wider as the intensity of the low frequency component LF_B is higher.
  • limiting part 350 is calculating the restriction value, it is not limited to this structure.
  • the limiter 350 holds a table in which the limit value La obtained in advance using Equation 10 or the like is associated with the intensity of the low frequency component LF_B, and corresponds to the intensity of the low frequency component LF_B from the table.
  • the limit value La may be read.
  • the restriction unit 350 restricts the medium frequency component MF_B within a wider restriction range as the intensity of the low frequency component LF_B is higher, but the medium frequency is within a certain restriction range regardless of the intensity of the low frequency component LF_B.
  • the component MF_B may be limited.
  • FIG. 10 is a diagram illustrating an example of a tone curve used for compression in the first embodiment.
  • the horizontal axis in the figure is the intensity of the low frequency component LF ′ _B before compression, which is input to the compression unit 313.
  • the vertical axis represents the strength of the compressed low frequency component LF ′ _B output from the compression unit 313.
  • the curve is a plot of the combination of strength before and after compression.
  • the low frequency component LF′_B is compressed at a higher compression ratio as the difference between the strength and the intermediate value YM of the dynamic range is larger.
  • FIG. 11 is a diagram showing an example of the luminance distribution of the input luminance image data, the intensity distribution of the high frequency component, and the intensity distribution of the medium / low frequency component in the first embodiment.
  • a in the same figure is a figure which shows an example of the luminance distribution of the input luminance image data inY.
  • the vertical axis of a in the figure is the luminance value, and the horizontal axis is the coordinate.
  • a solid line indicates input luminance image data, and a dotted line indicates a medium / low frequency component MLF included in the input RAW image data inRAW.
  • the high frequency component separation unit 330 separates the difference between the input luminance image data inY and the medium / low frequency component MLF as the high frequency component HF_B.
  • B in FIG. 11 is a diagram showing the intensity distribution of the separated high frequency component HF_B.
  • the vertical axis of b in the figure is intensity, and the horizontal axis is coordinates.
  • This high frequency component HF_B is amplified without limitation.
  • C in FIG. 11 is a diagram showing the intensity distribution of the separated medium and low frequency components MLF.
  • the vertical axis of c in the figure is intensity, and the horizontal axis is coordinates.
  • the medium low frequency component MLF is further separated into a medium frequency component MF_B and a low frequency component LF_B.
  • FIG. 12 is a diagram illustrating an example of an intensity distribution of the medium-low frequency component MLF, the medium-frequency component MF_B, and the low-frequency component LF_B in the first embodiment.
  • the vertical axis represents intensity
  • the horizontal axis represents coordinates.
  • a is a figure which shows intensity distribution of middle low frequency component MLF.
  • the dotted line indicates the middle / low frequency component MLF
  • the two-dot chain line indicates the low frequency component LF_B included in the middle / low frequency component MLF.
  • the medium frequency component separation unit 345 separates a difference between the medium and low frequency components MLF and LF_B as a medium frequency component MF_B.
  • B in FIG. 12 is a diagram showing the intensity distribution of the separated medium frequency component MF_B.
  • the medium frequency component MF_B is amplified after being limited.
  • C in FIG. 12 is a diagram illustrating an intensity distribution of the separated low frequency component LF_B.
  • FIG. 13 is a diagram illustrating an example of the intensity distribution of the medium frequency component MF_B and the low frequency component LF_B in the first embodiment.
  • the vertical axis represents intensity
  • the horizontal axis represents coordinates.
  • a in the same figure is a figure which shows an example of the middle frequency component MF_B before a restriction
  • the alternate long and short dash line indicates the intermediate frequency component MF_B before the restriction
  • the restriction unit 350 outputs the difference dg between the medium frequency component MF_B and the medium frequency component MF_L.
  • FIG. 13 is a diagram illustrating an example of the low frequency component LF_B before addition of the difference dg and the low frequency component LF′_B after addition.
  • the two-dot chain line indicates the low frequency component LF_B before addition
  • the dotted line indicates the low frequency component LF′_B after addition.
  • the amount (dg) of limiting the intermediate frequency component MF_B is returned to the low frequency component LF_B, so that there is no possibility that the component (dg) is lost in terms of spatial frequency.
  • FIG. 14 is a diagram showing an example of the intensity distribution of the low frequency component and the luminance distribution of the output luminance image data after the gradation compression in the first embodiment.
  • a in the same figure is a figure which shows intensity distribution of the low frequency component LF'_B before compression, and the low frequency component LF'_C after compression.
  • the vertical axis of a in the figure is intensity
  • the horizontal axis is coordinates.
  • a dotted line shows the low frequency component LF'_B before compression
  • a dashed-two dotted line shows the low frequency component LF'_C after compression.
  • the low frequency component LF′_B is compressed at a higher compression ratio as the difference between the strength and the intermediate value YM increases. For this reason, the intensity of the low frequency component LF′_C after compression becomes low at coordinates close to the maximum luminance within the dynamic range of the display device 400 before compression, and the occurrence of overshoot is suppressed. Further, at the coordinates close to the minimum luminance within the dynamic range of the display device 400 before compression, the intensity of the low frequency component LF′_C after compression is increased, and the occurrence of undershoot is suppressed.
  • FIG. 14 is a diagram showing an example of the luminance distribution of the output luminance image data.
  • the vertical axis of b in the figure is the luminance value, and the horizontal axis is the coordinate.
  • the two-dot chain line in FIG. 5b shows the low frequency component LF′_C after compression.
  • the solid line b in FIG. 6 shows the output luminance image data outY obtained by synthesizing the amplified medium frequency component MF_L and high frequency component HF_B with the low frequency component LF′_C.
  • the intensity of the medium frequency component MF_L is limited, the luminance does not exceed the maximum luminance within the dynamic range or less than the minimum luminance in the output luminance image data. As a result, whiteout and blackout do not occur, and deterioration in image quality is suppressed.
  • FIG. 15 is a flowchart illustrating image processing executed by the image processing unit 200 according to the first embodiment. This image processing is started, for example, when input RAW image data is input to the image processing unit 200. In the figure, processes other than the tone correction process such as the noise removal process are omitted.
  • the image processing unit 200 separates high frequency components in the image (step S901), and separates medium frequency components and low frequency components (step S902). Then, the image processing unit 200 limits the intensity of the medium frequency component within the limit range (step S903).
  • the image processing unit 200 amplifies the high frequency component (step S904) and amplifies the limited medium frequency component (step S905).
  • the image processing unit 200 adds the limited component to the low frequency component (step S906), and compresses the low frequency component after the addition (step S907). Then, the image processing unit 200 synthesizes the compressed low frequency component with the amplified medium frequency component and high frequency component (step S908). After step S908, the image processing unit 200 ends the image processing.
  • FIG. 16 is a diagram illustrating an example of an image after gradation compression in the first embodiment.
  • a in the same figure is an example of the image after demosaicing when it amplifies without restrict
  • B in the figure is an example of an image after demosaicing when the medium frequency component MF_B is limited and then amplified.
  • the upper right doll's face portion is not crushed black, and the gradation is appropriately expressed. Yes. This is because the luminance is within the dynamic range of the display device 400 due to the limitation of the intermediate frequency component MF_B. Further, in this image, the high frequency component is amplified by bypassing the frequency component limiter 355, so that the fine texture (texture) of the original image is not lost.
  • the imaging device 100 is separated into three of a high frequency component, a medium frequency component, and a low frequency component
  • the medium frequency component may be further separated into a plurality of frequency components.
  • the restriction unit 350 restricts each frequency component separated from the medium frequency component by a different restriction range.
  • the limiter 350 sets a smaller limit value La (that is, a narrow limit range) as the spatial frequency is lower, and limits the frequency component within the limit range.
  • the imaging device 100 restricts and amplifies the medium frequency component, amplifies the high frequency component, and compresses the low frequency component, Therefore, the luminance can be set to a value within the dynamic range. As a result, it is possible to suppress deterioration in image quality.
  • the image processing unit 200 restricts the medium frequency component MF_B to suppress the occurrence of overshoot and undershoot.
  • the high frequency component HF_B may be more likely to cause overshooting than the medium frequency component MF_B.
  • the modification is different from the first embodiment in that the high frequency component HF_B is limited instead of the medium frequency component MF_B.
  • FIG. 17 is a block diagram illustrating a configuration example of the restriction unit 350 in a modification of the modification.
  • the restriction unit 350 according to the modification is different from the first embodiment in that the component selection unit 351 selects the high frequency component HF_B as the restriction target instead of the frequency component MF_B.
  • the component selection unit 351 may compare the amplitude of the high frequency component HF_B with the amplitude of the medium frequency component MF_B, and select the larger amplitude as the restriction target.
  • the imaging apparatus 100 may further separate the high frequency component into a plurality of frequency components.
  • the restriction unit 350 restricts each frequency component separated from the high frequency component by a different restriction range.
  • the limiter 350 sets a smaller limit value La (that is, a narrow limit range) as the spatial frequency is lower, and limits the frequency component within the limit range.
  • the image processing unit 200 limits the high frequency component, and thus can suppress the occurrence of overshoot and undershoot due to amplification of the high frequency component. As a result, it is possible to suppress deterioration in image quality.
  • Second Embodiment> [Image processing system configuration example]
  • the imaging apparatus 100 performs gradation correction.
  • an apparatus other than the imaging apparatus 100 such as an information processing apparatus may perform gradation correction.
  • the image processing system according to the second embodiment is different from the first embodiment in that the information processing apparatus performs gradation correction.
  • FIG. 18 is a block diagram illustrating a configuration example of the image processing system according to the second embodiment. This image processing system is different from the first embodiment in that an information processing apparatus 500 is provided instead of the imaging apparatus 100.
  • the information processing apparatus 500 executes information processing such as image processing.
  • a personal computer or a smartphone is used as the information processing apparatus 500.
  • the information processing apparatus 500 includes an input buffer 510, an image processing unit 200, and an output buffer 520.
  • the input buffer 510 holds image data input to the information processing apparatus 500.
  • the input buffer 510 holds image data captured by an imaging device such as a digital camera, and the image data is read by the image processing unit 200.
  • the configuration of the image processing unit 200 of the second embodiment is the same as that of the first embodiment.
  • the output buffer 520 holds image data after image processing.
  • FIG. 19 is a flowchart illustrating an example of the operation of the information processing apparatus 500 according to the second embodiment. This operation starts when image data is input to the information processing apparatus 500, for example.
  • the information processing apparatus 500 holds the input image data in the input buffer 510 (step S910).
  • the information processing apparatus 500 performs predetermined image processing on the image data, and stores the image data after the image processing in the output buffer 520 (step S920).
  • image processing similar to that in the first embodiment illustrated in FIG. 15 is executed.
  • the information processing apparatus 500 outputs the image data held in the output buffer 520 to the display apparatus 400 (step S920). After step S920, the information processing apparatus 500 ends the operation.
  • the imaging apparatus 100 since the information processing apparatus 500 performs gradation correction instead of the imaging apparatus 100, the imaging apparatus 100 does not perform gradation correction. , Deterioration of image quality can be suppressed.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a component separation unit that separates each of the three frequency components in an image including three different frequency components;
  • a compression unit that compresses a low frequency component having the lowest spatial frequency among the three frequency components;
  • a limiting unit that supplies two frequency components in which the intensity of either one of the three frequency components other than the low frequency component is limited within a limited range and the one of the frequency components is limited;
  • An amplifying unit for amplifying the supplied two frequency components;
  • An image processing apparatus comprising: a combining unit that combines the compressed low frequency component and the two amplified frequency components.
  • the component separation unit separates each of the three frequency components and further separates one of two frequency components other than the low frequency component among the three frequency components into a plurality of frequency components.
  • the limiting unit sets a wider range as the limiting range as the intensity of the low frequency component is higher, and The image processing apparatus according to any one of (1) to (4), further including a frequency component limiting unit that limits one of the two frequency components within the set limit range.
  • the compression unit compresses the low frequency component based on a higher compression ratio as the difference between the strength of the low frequency component and a predetermined value is larger.
  • an image sensor that generates an image including three different frequency components;
  • a component separation unit that separates each of the three frequency components in the image;
  • a compression unit that compresses a low frequency component having the lowest spatial frequency among the three frequency components;
  • a limiting unit configured to limit the intensity of any one of the two frequency components other than the low frequency component among the three frequency components within a limit range and supply the two frequency components limited to the one intensity;
  • An amplifying unit for amplifying the supplied two frequency components;
  • An imaging apparatus comprising: a combining unit that combines the compressed low frequency component and the two amplified frequency components.
  • a component separation procedure in which the component separation unit separates each of the three frequency components in an image including three different frequency components;
  • a compression unit compressing a low frequency component having the lowest spatial frequency among the three frequency components;
  • the restriction unit restricts the intensity of any one of the two frequency components other than the low frequency component from the three frequency components within a restriction range and supplies the two frequency components that restrict the one of the two frequency components.
  • Procedure and An amplification unit amplifying the supplied two frequency components; and An image processing method, comprising: a combining unit configured to combine the compressed low frequency component and the two amplified frequency components.
  • (9) a component separation procedure in which the component separation unit separates each of the three frequency components in an image including three different frequency components;
  • a compression unit compressing a low frequency component having the lowest spatial frequency among the three frequency components;
  • the restriction unit restricts the intensity of any one of the two frequency components other than the low frequency component from the three frequency components within a restriction range and supplies the two frequency components that restrict the one of the two frequency components.
  • Procedure and An amplifying unit amplifying the supplied two frequency components; A program for causing a synthesizing unit to execute a synthesizing procedure for synthesizing the compressed low frequency component and the two amplified frequency components.
  • DESCRIPTION OF SYMBOLS 100 Imaging device 110 Imaging lens 120 Imaging element 130 Camera control part 140 Recording part 200 Image processing part 210 Noise removal part 220 Color balance acquisition part 230 Demosaic processing part 300 Gradation correction processing part 310 Brightness generation part 311 Data conversion part 312 Adder 313 Compression unit 320 Component separation unit 330 High frequency component separation unit 331 Data buffer 332 Region of interest reading unit 333 Vertical difference average value calculation unit 334 Horizontal direction difference average value calculation unit 335 Left diagonal direction difference average value calculation unit 336 Right diagonal direction Difference average value calculation unit 337 Threshold value calculation unit 338 Direction selection unit 339 Average value calculation unit 340, 357 Subtractor 345 Medium frequency component separation unit 350 Limiting unit 351 Component selection unit 352 Sign determination unit 353 Absolute value acquisition unit 354 Positive / negative conversion unit 355 Frequency generation Limiting unit 356 Limiting value calculating unit 360 Amplifying unit 370 High frequency component amplifying unit 371 Suppression gain generating unit 372, 373 Multiplier 375 Medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　階調補正において画像の画質の低下を抑制する。　成分分離部が、互いに異なる３つの周波数成分を含む画像において３つの周波数成分の各々を分離する。圧縮部が、３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する。制限部が、３つの周波数成分のうち低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して一方の強度を制限した２つの周波数成分を供給する。増幅部が、供給された２つの周波数成分を増幅する。合成部が、圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する。

Description

画像処理装置、撮像装置、画像処理方法およびプログラム
　本技術は、画像処理装置、撮像装置、画像処理方法および当該方法をコンピュータに実行させるプログラムに関する。詳しくは、階調を補正する画像処理装置、撮像装置、画像処理方法および当該方法をコンピュータに実行させるプログラムに関する。
　従来より、逆光の状態において高い画質で撮像するなどの目的で、通常よりも広いダイナミックレンジの画像が撮像装置により撮像されることがある。このような画像のダイナミックレンジは、表示装置が対応するダイナミックレンジよりも広くなることが多い。このため、ダイナミックレンジが狭い表示装置に画像を表示させる際に、その画像に対して、ダイナミックレンジを狭くするための階調補正が行われる。
　階調補正を行う場合には、補正前の画像のコントラスト感を損なわないように処理することが望ましい。例えば、空間周波数が比較的高い高周波数成分と比較的低い低周波数成分とを画像において分離し、高周波数成分を増幅する一方で低周波数成分を圧縮して、それらの成分を合成する画像処理装置が提案されている（例えば、特許文献１参照。）。高周波数成分を増幅することにより、画像処理装置は、補正前の画像のコントラスト感を損なわずに階調補正を行うことができる。
特開２０００－２７８５２９号公報
　しかしながら、上述の従来技術では、画質が低下するおそれがある。例えば、高周波数成分の増幅においてゲインが高すぎると、その高周波数成分を合成した画像の輝度が、表示装置の最大輝度を超えてしまうおそれや、表示装置の最小輝度未満になってしまうおそれがある。画像の輝度が、表示装置の最大輝度を超えることはオーバーシュートと呼ばれ、最小輝度未満となることはアンダーシュートと呼ばれる。オーバーシュートの場合、明るい部分で階調が失われる現象（いわゆる、白飛び）が生じてしまう。また、アンダーシュートの場合、暗い部分で階調が失われる現象（いわゆる、黒つぶれ）が生じてしまう。この結果、画像の画質が低下してしまう。一方、高周波数成分に対するゲインを低くすると、オーバーシュート等が生じにくくなるものの、補正前の画像のコントラスト感が失われて補正後の画像の画質が損なわれる。したがって、階調補正において画質の低下を抑制することが困難である。
　本技術はこのような状況に鑑みて生み出されたものであり、階調補正において画像の画質の低下を抑制することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、互いに異なる３つの周波数成分を含む画像において上記３つの周波数成分の各々を分離する成分分離部と、上記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮部と、上記３つの周波数成分のうち上記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して上記一方の強度を制限した２つの周波数成分を供給する制限部と、上記供給された２つの周波数成分を増幅する増幅部と、上記圧縮された低周波数成分と上記増幅された２つの周波数成分とを合成する合成部とを具備する画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムである。これにより、一方の強度が制限範囲内に制限された２つの周波数成分が増幅されて、圧縮された低周波数成分と増幅された２つの周波数成分とが合成されるという作用をもたらす。
　また、この第１の側面において、上記制限部は、上記２つの周波数成分のうち空間周波数が低い方の周波数成分の強度を上記制限範囲内に制限してもよい。これにより、２つの周波数成分のうち空間周波数が低い方の周波数成分の強度が制限範囲内に制限されるという作用をもたらす。
　また、この第１の側面において、上記成分分離部は、上記３つの周波数成分の各々を分離するとともに上記３つの周波数成分のうち上記低周波数成分以外の２つの周波数成分のいずれか一方をさらに複数の周波数成分に分離し、上記制限部は、上記分離された複数の周波数成分の各々を異なる制限範囲により制限してもよい。これにより、複数の周波数成分の各々が異なる制限範囲により制限されるという作用をもたらす。
　また、この第１の側面において、上記一方の周波数成分の制限前の強度と制限後の強度との間の差分を上記低周波数成分に加算する加算部をさらに具備し、上記圧縮部は、上記差分が加算された上記低周波数成分を圧縮してもよい。これにより、一方の周波数成分の制限前の強度と制限後の強度との間の差分が低周波数成分に加算されるという作用をもたらす。
　また、この第１の側面において、上記制限部は、上記低周波数成分の強度が高いほど広い範囲を上記制限範囲として設定する設定部と、上記２つの周波数成分の一方を上記設定された制限範囲内に制限する周波数成分制限部とをさらに備えてもよい。これにより、低周波数成分の強度が高いほど広い範囲が制限範囲として設定されるという作用をもたらす。
　また、この第１の側面において、上記圧縮部は、上記低周波数成分の強度と所定値との間の差分が大きいほど高い圧縮率に基づいて上記低周波数成分を圧縮してもよい。これにより、低周波数成分の強度と所定値との間の差分が大きいほど高い圧縮率に基づいて低周波数成分が圧縮されるという作用をもたらす。
　また、本技術の第２の側面は、互いに異なる３つの周波数成分を含む画像を生成する撮像素子と、上記画像において上記３つの周波数成分の各々を分離する成分分離部と、上記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮部と、上記３つの周波数成分のうち上記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して上記一方の強度を制限した２つの周波数成分を供給する制限部と、上記供給された２つの周波数成分を増幅する増幅部と、上記圧縮された低周波数成分と上記増幅された２つの周波数成分とを合成する合成部とを具備する撮像装置である。これにより、一方の強度が制限範囲内に制限された２つの周波数成分が増幅されて、圧縮された低周波数成分と増幅された２つの周波数成分とが合成されるという作用をもたらす。
　本技術によれば、階調補正において画像の画質の低下を抑制することができるという優れた効果を奏し得る。
第１の実施の形態における画像処理システムの一構成例を示すブロック図である。 第１の実施の形態における画像処理部の一構成例を示すブロック図である。 第１の実施の形態における階調補正処理部の一構成例を示すブロック図である。 第１の実施の形態における平均フィルタの一例を示す図である。 第１の実施の形態における成分分離部の一構成例を示すブロック図である。 第１の実施の形態における高周波数成分分離部の一構成例を示すブロック図である。 第１の実施の形態における高周波数成分増幅部の一構成例を示すブロック図である。 第１の実施の形態における輝度値に応じて設定される抑制ゲインの一例を示すグラフである。 第１の実施の形態における制限部の一構成例を示すブロック図である。 第１の実施の形態における圧縮の際に用いられるトーンカーブの一例を示すグラフである。 第１の実施の形態における入力輝度画像データの輝度分布、高周波数成分の強度分布および中低周波数成分の強度分布の一例を示す図である。 第１の実施の形態における中低周波数成分、中周波数成分および低周波数成分の強度分布の一例を示す図である。 第１の実施の形態における中周波数成分および低周波数成分の強度分布の一例を示す図である。 第１の実施の形態における階調圧縮後の低周波数成分の強度分布および出力輝度画像データの輝度分布の一例を示す図である。 第１の実施の形態における画像処理部が実行する画像処理の一例を示すフローチャートである。 第１の実施の形態における階調圧縮後の画像の一例を示す図である。 変形例における制限部の一構成例を示すブロック図である。 第２の実施の形態における画像処理システムの一構成例を示すブロック図である。 第２の実施の形態における情報処理装置の動作の一例を示すフローチャートである。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（撮像装置が中周波数成分を制限する例）
　２．第２の実施の形態（情報処理装置が中周波数成分を制限する例）
　＜１．第１の実施の形態＞
　［画像処理システムの構成例］
　図１は、本技術の実施の形態における画像処理システムの一構成例を示すブロック図である。この画像処理システムは、撮像装置１００および表示装置４００を備える。撮像装置１００は、画像を撮像する装置であり、撮像レンズ１１０、撮像素子１２０、カメラ制御部１３０、画像処理部２００および記録部１４０を備える。
　撮像レンズ１１０は、撮像対象の像を撮像素子１２０に結像するレンズである。この撮像レンズ１１０は、フォーカスレンズやズームレンズなどのレンズを含む。
　撮像素子１２０は、撮像レンズ１１０からの光から画像データを生成するものである。具体的には、撮像素子１２０は、撮像レンズ１１０からの光を光電変換してアナログの電気信号を生成し、その電気信号をＡ／Ｄ（Analog to Digital）変換して、画像データとして画像処理部２００へ信号線１２９を介して供給する。この撮像素子１２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどにより、実現することができる。
　ここで、撮像素子１２０が生成した画像データは、２次元格子状に配列された複数の画素を含む。この画像データ内のそれぞれの画素は、単色の色情報しか持たない。このような画像データは、一般にＲＡＷ画像データと呼ばれる。また、色情報においては、例えば、Ｃｙ（Cyan）、Ｍg（Magenta）、Ｙｅ（Yellow）およびＧ（Green）の補色系の色が用いられる。なお、Ｒ（Red）、Ｇ（Green）およびＢ（Blue）の原色系の色を用いる構成であってもよい。
　また、撮像素子１２０は、表示装置４００が表示することができる最大輝度と最小輝度との比（言い換えれば、ダイナミックレンジ）よりも広いダイナミックレンジの画像データを生成することができるものとする。このような広いダイナミックレンジは、撮像素子１２０が、画素加算処理などを行うことにより実現される。画素加算処理は、水平方向や垂直方向において隣接する複数の画素の出力信号を加算することにより、感度を高くする処理である。
　ダイナミックレンジが表示装置４００より広い画像データを、表示装置４００に適切に表示させる際は、ダイナミックレンジを狭くする階調補正、すなわち階調圧縮を画像データに対して行う必要がある。例えば、画像のダイナミックレンジが１００００：１であり、表示装置４００のダイナミックレンジが１０００：１である場合、画像のダイナミックレンジは１０００：１に圧縮される。
　なお、撮像素子１２０がＡ／Ｄ変換を行う構成としているが、Ａ／Ｄ変換部をさらに備え、撮像素子１２０の代わりにＡ／Ｄ変換部がＡ／Ｄ変換を行う構成としてもよい。
　カメラ制御部１３０は、撮像装置１００全体を制御するものである。このカメラ制御部１３０は、シャッターボタンの押下などにより画像の撮像が指示されると、撮像素子１２０を制御して画像データを生成させる。また、カメラ制御部１３０は、画像処理部２００を制御して、階調補正処理などの画像処理を実行させる。
　階調補正処理を実行させる際に、カメラ制御部１３０は、表示装置４００および撮像素子１２０のそれぞれのダイナミックレンジを取得し、それらのダイナミックレンジに基づいて画像処理部２００を制御する。表示装置４００のダイナミックレンジは、例えば、撮像装置１００内のメモリ（不図示）などに予め記録されているものとする。なお、表示装置４００が、自身のダイナミックレンジを示す制御情報を撮像装置１００に出力する構成としてもよい。また、表示装置４００のダイナミックレンジに収まるように、ユーザがボタン等の操作により階調圧縮の度合いを設定し、その設定に従ってカメラ制御部１３０が画像処理部２００を制御する構成としてもよい。
　画像処理部２００は、画像データに対して所定の画像処理を実行するものである。画像処理として、階調補正処理やデモザイク処理などが実行される。画像処理部２００は、画像処理を行った画像データを記録部１４０に信号線２０９を介して出力する。記録部１４０は、画像処理部２００により画像処理が行われた画像データを記録するものである。
　表示装置４００は、記録部１４０から画像データを読み出して表示するものである。例えば、液晶モニタやＣＲＴ（Cathode Ray Tube）などが表示装置４００として用いられる。
　［画像処理部の構成例］
　図２は、第１の実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、ノイズ除去部２１０、カラーバランス取得部２２０、階調補正処理部３００およびデモザイク処理部２３０を備える。
　ノイズ除去部２１０は、画像データからノイズを除去するものである。このノイズ除去部２１０は、無限インパルス応答（ＩＩＲ：Infinite Impulse response）フィルタなどのデジタルフィルタを使用して、ノイズを除去する。ノイズ除去部２１０は、ノイズを除去した画像データを階調補正処理部３００に供給する。
　カラーバランス取得部２２０は、画像データにおいて色ごとの輝度の積分値（言い換えれば、カラーバランス）を取得するものである。カラーバランス取得部２２０は、それらの積分値をカメラ制御部１３０に通知する。カメラ制御部１３０は、それらの積分値に基づいて、撮像素子１２０等を制御する。例えば、カメラ制御部１３０は、カラーバランスに基づいて、不足している色の感度を高くする制御を行う。
　階調補正処理部３００は、画像データに対して、階調補正処理を実行するものである。階調補正処理部３００は、カメラ制御部１３０から、階調補正に関する各種の設定値を受け取り、その設定値に基づいて階調を補正する。これらの設定値についての詳細は後述する。階調補正処理部３００は、階調補正後の画像データをデモザイク処理部２３０に供給する。
　デモザイク処理部２３０は、ＲＡＷ画像データに対してデモザイク処理を行うものである。具体的には、デモザイク処理部２３０は、画素毎に、その周辺の画素から足りない色情報を集めて補間し、フルカラーの画像データを生成する。デモザイク処理部２３０は、デモザイク処理後の画像データを記録部１４０に出力する。
　［階調補正処理部の構成例］
　図３は、第１の実施の形態における階調補正処理部３００の一構成例を示すブロック図である。この階調補正処理部３００は、輝度生成部３１０、データ変換部３１１、加算器３１２、圧縮部３１３、成分分離部３２０、制限部３５０、増幅部３６０および合成部３８０を備える。
　輝度生成部３１０は、ＲＡＷ画像データから画素ごとに輝度を生成するものである。輝度生成部３１０は、ノイズ除去部２１０からの画像データを入力ＲＡＷ画像データｉｎＲＡＷとして受け取る。輝度生成部３１０は、入力ＲＡＷ画像データｉｎＲＡＷから、例えば、次式を使用して画素の各々について輝度値を生成する。
　　Ｙ（ｍ，ｎ）＝Ｘ（ｍ－１，ｎ）×１／４＋Ｘ（ｍ，ｎ）×１／２
　　　　　　　　　＋Ｘ（ｍ＋１，ｎ）×１／４　　　　　　　　　　　　・・・式１
　上式においてＹ（ｍ，ｎ）は、座標（ｍ，ｎ）の画素の輝度値である。ｍは、水平方向における画素の座標であり、ｎは垂直方向における画素の座標である。Ｘ（ｍ，ｎ）は、入力ＲＡＷ画像データｉｎＲＡＷにおける座標（ｍ，ｎ）の画素の画素値である。
　入力ＲＡＷ画像データｉｎＲＡＷの画素数がＮ個である場合、式１に基づいて、Ｎ個の輝度値が生成される。輝度生成部３１０は、それらの輝度値からなる画像を入力輝度画像データｉｎＹとして成分分離部３２０、増幅部３６０、および、データ変換部３１１に供給する。
　成分分離部３２０は、入力輝度画像データｉｎＹにおいて、空間周波数が異なる３つの周波数成分のそれぞれを分離するものである。これらの周波数成分のうち、最も空間周波数が高い周波数成分を以下、「高周波数成分」と称する。また、以下、２番目に空間周波数が高い周波数成分を「中周波数成分」と称し、最も空間周波数が低い周波数成分を「低周波数成分」と称する。
　成分分離部３２０は、分離した高周波数成分ＨＦ_Ｂおよび中周波数成分ＭＦ_Ｂを制限部３５０に供給する。また、成分分離部３２０は、分離した低周波数成分ＬＦを制限部３５０および加算器３１２に供給する。
　制限部３５０は、中周波数成分ＭＦ_Ｂを制限範囲内に制限するものである。この制限部３５０は、まず、低周波数成分ＬＦ_Ｂの強度が高いほど広い制限範囲を設定する。そして、制限部３５０は、中周波数成分ＭＦ_Ｂの強度を、その制限範囲内に制限する。制限部３５０は、制限した中周波数成分ＭＦ_Ｌと、制限していない高周波数成分ＨＦ_Ｂとを増幅部３６０に供給する。また、制限部３５０は、中周波数成分ＭＦ_Ｂの制限前の強度と制限後の強度との間の差分ｄｇを加算器３１２に供給する。
　増幅部３６０は、中周波数成分ＭＦ_Ｌおよび高周波数成分ＨＦ_Ｂを増幅するものである。この増幅部３６０は、高周波数成分増幅部３７０および中周波数成分増幅部３７５を備える。
　高周波数成分増幅部３７０は、高周波数成分ＨＦ_Ｂを増幅するものである。この高周波数成分増幅部３７０は、入力輝度画像データｉｎＹの輝度値に基づいて増幅率を設定し、その増幅率により高周波数成分ＨＦ_Ｂを増幅する。高周波数成分増幅部３７０は、増幅後の高周波数成分ＨＦ_Ａを合成部３８０に供給する。
　中周波数成分増幅部３７５は、制限後の中周波数成分ＭＦ_Ｌを増幅するものである。中周波数成分増幅部３７５は、一定の増幅率により中周波数成分ＭＦ_Ｌを増幅する。この増幅率は、例えば、カメラ制御部１３０により設定される。中周波数成分増幅部３７５は、増幅後の中周波数成分ＭＦ_Ａを合成部３８０に供給する。
　加算器３１２は、複数の入力値を加算するものである。この加算器３１２には、低周波数成分ＬＦ_Ｂと差分ｄｇとが入力される。加算器３１２は、低周波数成分ＬＦ_Ｂに差分ｄｇを加算し、加算後の低周波数成分ＬＦ' _Ｂを圧縮部３１３に供給する。なお、加算器３１２は、特許請求の範囲に記載の加算部の一例である。
　この加算器３１２により中周波数成分ＭＦ_Ｂにおいて制限された分（ｄｇ）が、低周波数成分ＬＦ_Ｂに加算されるため、合成後の画像において、制限された分が抜けてしまうことがなくなる。なお、制限された分が抜けても画質にあまり影響がないのであれば、加算器３１２を設けない構成としてもよい。
　圧縮部３１３は、低周波数成分ＬＦ' _Ｂを圧縮するものである。この圧縮部３１３は、低周波数成分ＬＦ' _Ｂの強度と、ダイナミックレンジの中間値ＹＭとの間の差分が大きいほど高い圧縮率により、低周波数成分ＬＦ' _Ｂを圧縮する。これにより、圧縮後の低周波数成分の強度と、圧縮後のダイナミックレンジ内の最大輝度または最小輝度との間の差分が、圧縮率を一定とする場合よりも大きくなる。したがって、オーバーシュートやアンダーシュートの発生が抑制される。圧縮部３１３は、圧縮後の低周波数成分ＬＦ'_Ｃを合成部３８０に供給する。なお、圧縮部３１３は、低周波数成分ＬＦ' _Ｂの強度と中間値ＹＭとの差分に応じた圧縮率で圧縮しているが、一定の圧縮率により低周波数成分ＬＦ'を圧縮してもよい。
　合成部３８０は、増幅後の高周波数成分ＨＦ_Ａおよび中周波数成分ＭＦ_Ａと、圧縮後の低周波数成分ＬＦ'_Ｃとを合成するものである。この合成部３８０は、高周波数成分合成部３８１および中周波数成分合成部３８２を備える。
　中周波数成分合成部３８２は、中周波数成分ＭＦ_Ａおよび低周波数成分ＬＦ'_Ｃを合成するものである。この中周波数成分合成部３８２は、これらの成分の強度を画素毎に加算し、中低周波数成分ＭＬＦ'として高周波数成分合成部３８１に供給する。
　高周波数成分合成部３８１は、高周波数成分ＨＦ_Ａおよび中低周波数成分ＭＬＦ'を合成するものである。この高周波数成分合成部３８１は、これらの成分の強度を画素毎に加算し、出力輝度画像データｏｕｔＹとしてデータ変換部３１１に供給する。
　データ変換部３１１は、輝度値からなる輝度画像データを、ＲＡＷ画像データに変換するものである。このデータ変換部３１１は、入力ＲＡＷ画像データｉｎＲＡＷと、入力輝度画像データｉｎＹと、出力輝度画像データｏｕｔＹとから、例えば、次式を使用して出力ＲＡＷ画像データｏｕｔＲＡＷを生成する。この演算は、画像内の画素ごとに実行される。
　　ｏｕｔＲＡＷ＝ｉｎＲＡＷ×ｏｕｔＹ／ｉｎＹ　　　　　　　　　　　・・・式２
上式において、画素の座標を示す表記は省略されている。
　データ変換部３１１は、生成した出力ＲＡＷ画像データｏｕｔＲＡＷをデモザイク処理部２３０に出力する。
　なお、階調補正処理部３００は、デモザイク前のＲＡＷ画像データの階調を補正しているが、デモザイク後の画像データの階調を補正する構成であってもよい。
　図４は、第１の実施の形態における平均フィルタの一例を示す図である。同図におけるａは、式１により表される平均フィルタを示す。同図のａにおいて、中央の画素は注目画素であり、それぞれの画素内に記載された数値は、その画素値に対する係数を示す。
　輝度生成部３１０は、図４におけるａに例示した平均フィルタの代わりに、同図のｂに例示する３×３画素の平均フィルタを使用することもできる。同図のｂにおいて、中央の画素は注目画素であり、それぞれの画素内に記載された数値は、その画素値に対する係数を示す。
　［成分分離部の構成例］
　図５は、第１の実施の形態における成分分離部３２０の一構成例を示すブロック図である。この成分分離部３２０は、高周波数成分分離部３３０および中周波数成分分離部３４５を備える。
　高周波数成分分離部３３０は、入力輝度画像データｉｎＹにおいて、高周波数成分ＨＦ_Ｂを分離するものである。高周波数成分分離部３３０は、高周波数成分ＨＦ_Ｂと中低周波数成分ＭＬＦとを分離する。ここで、中低周波数成分ＭＬＦは、中周波数成分ＭＦ_Ｂおよび低周波数成分ＬＦ_Ｂを含む成分である。高周波数成分分離部３３０は、分離した高周波数成分ＨＦ_Ｂを制限部３５０に供給し、中低周波数成分ＭＬＦを中周波数成分分離部３４５に供給する。
　中周波数成分分離部３４５は、中低周波数成分ＭＬＦから中周波数成分ＭＦ_Ｂおよび低周波数成分ＬＦ_Ｂを分離するものである。中周波数成分分離部３４５は、分離した中周波数成分ＭＦ_Ｂおよび低周波数成分ＬＦ_Ｂを制限部３５０に供給する。
　［高周波数成分分離部の構成例］
　図６は、第１の実施の形態における高周波数成分分離部３３０の一構成例を示すブロック図である。この高周波数成分分離部３３０は、データバッファ３３１、注目領域読出部３３２、垂直方向差分平均値算出部３３３、水平方向差分平均値算出部３３４、左斜め方向差分平均値算出部３３５、右斜め方向差分平均値算出部３３６および閾値算出部３３７を備える。また、高周波数成分分離部３３０は、方向選択部３３８、平均値算出部３３９および減算器３４０を備える。
　データバッファ３３１は、入力輝度画像データｉｎＹを保持するものである。注目領域読出部３３２は、入力輝度画像データｉｎＹ内の画素のそれぞれに順に注目し、画素に注目するたびに、その注目画素を含む一定範囲（以下、「注目領域」と称する）内の画素の輝度値をデータバッファ３３１から読み出すものである。注目領域は、例えば、注目画素を中心とした３×３画素の領域とする。注目画素の座標を（ｍ，ｎ）とした場合、Ｙ（ｍ－１，ｎ－１）、Ｙ（ｍ，ｎ－１）、Ｙ（ｍ＋１，ｎ－１）、Ｙ（ｍ－１，ｎ）、Ｙ（ｍ，ｎ）、Ｙ（ｍ＋１，ｎ）、Ｙ（ｍ－１，ｎ＋１）、Ｙ（ｍ，ｎ＋１）およびＹ（ｍ＋１，ｎ＋１）の輝度値が読み出される。なお、注目領域の形状やサイズは３×３画素に限定されない。例えば、注目領域は、注目画素と、その注目画素の上下左右の画素とからなる十字型の領域であってもよい。
　注目領域読出部３３２は、注目領域内の輝度値のうち、Ｙ（ｍ，ｎ－１）、Ｙ（ｍ，ｎ）およびＹ（ｍ，ｎ＋１）を垂直方向差分平均値算出部３３３へ供給する。また、注目領域読出部３３２は、Ｙ（ｍ－１，ｎ）、Ｙ（ｍ，ｎ）およびＹ（ｍ＋１，ｎ）を水平方向差分平均値算出部３３４へ供給する。
　注目領域読出部３３２は、Ｙ（ｍ－１，ｎ－１）、Ｙ（ｍ，ｎ）およびＹ（ｍ＋１，ｎ＋１）を左斜め方向差分平均値算出部３３５へ供給する。また、注目領域読出部３３２は、Ｙ（ｍ＋１，ｎ－１）、Ｙ（ｍ，ｎ）およびＹ（ｍ―１，ｎ＋１）を右斜め方向差分平均値算出部３３６へ供給する。
　注目領域読出部３３２は、Ｙ（ｍ，ｎ）を閾値算出部３３７および減算器３４０に供給し、注目領域内の全ての輝度値を平均値算出部３３９に供給する。
　垂直方向差分平均値算出部３３３は、注目画素の輝度と、垂直方向において注目画素に隣接する２つの画素の輝度とのそれぞれの差分絶対値の平均値を算出するものである。例えば、次式により、差分絶対値の平均値ＡＶＧ_Ｖ（ｍ，ｎ）が算出される。垂直方向差分平均値算出部３３３は、算出した平均値ＡＶＧ_Ｖ（ｍ，ｎ）を方向選択部３３８に供給する。
　　ＡＶＧ_Ｖ（ｍ，ｎ）＝｛｜Ｙ（ｍ，ｎ－１）－Ｙ（ｍ，ｎ）｜
　　　　　　　　　　　　＋｜Ｙ（ｍ，ｎ＋１）－Ｙ（ｍ，ｎ）｜｝×１／２　…式３
　水平方向差分平均値算出部３３４は、注目画素の輝度と、水平方向において注目画素に隣接する２つの画素の輝度とのそれぞれの差分絶対値の平均値を算出するものである。例えば、次式により、差分絶対値の平均値ＡＶＧ_Ｈ（ｍ，ｎ）が算出される。水平方向差分平均値算出部３３４は、算出した平均値ＡＶＧ_Ｈ（ｍ，ｎ）を方向選択部３３８に供給する。
　　ＡＶＧ_Ｈ（ｍ，ｎ）＝｛｜Ｙ（ｍ－１，ｎ）－Ｙ（ｍ，ｎ）｜
　　　　　　　　　　　　＋｜Ｙ（ｍ＋１，ｎ）－Ｙ（ｍ，ｎ）｜｝×１／２　…式４
　左斜め方向差分平均値算出部３３５は、注目画素の輝度と、左斜め方向において注目画素に隣接する２つの画素の輝度とのそれぞれの差分絶対値の平均値を算出するものである。例えば、次式により、差分絶対値の平均値ＡＶＧ_Ｌ（ｍ，ｎ）が算出される。左斜め方向差分平均値算出部３３５は、算出した平均値ＡＶＧ_Ｌ（ｍ，ｎ）を方向選択部３３８に供給する。
　　ＡＶＧ_Ｌ（ｍ，ｎ）＝｛｜Ｙ（ｍ－１，ｎ－１）－Ｙ（ｍ，ｎ）｜
　　　　　　　　　　　　＋｜Ｙ（ｍ＋１，ｎ＋１）－Ｙ（ｍ，ｎ）｜｝×１／２…式５
　右斜め方向差分平均値算出部３３６は、注目画素の輝度と、右斜め方向において注目画素に隣接する２つの画素の輝度とのそれぞれの差分絶対値の平均値を算出するものである。例えば、次式により、差分絶対値の平均値ＡＶＧ_Ｒ（ｍ，ｎ）が算出される。右斜め方向差分平均値算出部３３６は、算出した平均値ＡＶＧ_Ｒ（ｍ，ｎ）を方向選択部３３８に供給する。
　　ＡＶＧ_Ｒ（ｍ，ｎ）＝｛｜Ｙ（ｍ＋１，ｎ－１）－Ｙ（ｍ，ｎ）｜
　　　　　　　　　　　　＋｜Ｙ（ｍ－１，ｎ＋１）－Ｙ（ｍ，ｎ）｜｝×１／２…式６
　閾値算出部３３７は、方向を選択するための方向閾値Ｔｈ_ｄを算出するものである。この閾値算出部３３７は、例えば、次式を使用して、方向閾値Ｔｈ_ｄを算出する。閾値算出部３３７は、算出した方向閾値Ｔｈ_ｄを方向選択部３３８に供給する。
　　Ｔｈ_ｄ（ｍ，ｎ）＝Ｙ（ｍ，ｎ）×ｆ　　　　　　　　　　　　　　　・・・式７
　上式において、ｆは実数の係数であり、ｆが大きいほど高い空間周波数の高周波数成分が分離される。ｆの値は、例えば、カメラ制御部１３０により設定される。
　方向選択部３３８は、垂直方向、水平方向、左斜め方向および右斜め方向のうち、差分絶対値の平均値が方向閾値Ｔｈ_ｄ以下となる方向を選択し、選択した方向を平均値算出部３３９に通知するものである。差分絶対値の平均値が方向閾値Ｔｈ_ｄ以下となる方向が複数ある場合には、それらの全てが選択される。
　平均値算出部３３９は、選択された方向において注目画素に隣接する画素と、注目画素との輝度値の平均値を算出するものである。例えば、水平方向のみが選択された場合、Ｙ（ｍ－１，ｎ）、Ｙ（ｍ，ｎ）およびＹ（ｍ＋１，ｎ）の平均値が算出される。平均値算出部３３９は、算出した平均値を、中低周波数成分ＭＬＦにおける座標（ｍ，ｎ）の強度として中周波数成分分離部３４５および減算器３４０に供給する。
　減算器３４０は、２つの入力値の一方から他方を減算するものである。この減算器３４０には、ＭＬＦ（ｍ，ｎ）およびＹ（ｍ，ｎ）が入力される。減算器３４０は、Ｙ（ｍ，ｎ）からＭＬＦ（ｍ，ｎ）を減算した値を、高周波数成分ＨＦ_Ｂにおける座標（ｍ，ｎ）の強度として制限部３５０へ供給する。
　ここで、中周波数成分分離部３４５の構成は、高周波数成分分離部３３０と同様の構成である。中周波数成分分離部３４５において、平均値算出部３３９に相当する構成からの平均値が中周波数成分ＭＦ_Ｂとして出力され、減算器３４０に相当する減算器からの差分が低周波数成分ＬＦ_Ｂとして出力される。
　このように、高周波数成分ＨＦ_Ｂおよび中周波数成分ＭＦは減算器３４０等により求められた周波数成分の差分であるため、これらの成分の強度は、正または負の符号を有する。
　なお、高周波数成分分離部３３０は、選択した方向の平均値と注目画素との差分を求めることにより高周波数成分を分離しているが、この構成に限定されない。例えば、高周波数成分分離部３３０は、画像データの輝度分布をフーリエ変換して高周波数成分を分離してもよい。
　図７は、第１の実施の形態における高周波数成分増幅部３７０の一構成例を示すブロック図である。高周波数成分増幅部３７０は、抑制ゲイン生成部３７１と、乗算器３７２および３７３とを備える。
　抑制ゲイン生成部３７１は、入力輝度画像データｉｎＹ全体の輝度から、抑制ゲインＧａを生成するものである。一般に画像内の明るい部分や暗い部分の高周波数成分ＨＦ_Ｂを強調すると、ノイズの強調や偽エッジの発生といった画質の低下が生じる。ここで、偽エッジは、強調前にはエッジが存在しない個所において強調により生じたエッジである。このような画質の低下を抑制するために、抑制ゲインＧａが設定される。抑制ゲインＧａは、例えば、次式により生成される。
Figure JPOXMLDOC01-appb-M000001
　上式において、ｉｎＹ'は、入力輝度画像データｉｎＹにおける各画素の輝度の統計量（例えば、平均値）である。また、Ｔｈ_Ｈは、輝度の上限値である。ａ、ｂ、ｃおよびｄは、正の実数である。Ｔｈ_Ｌは、輝度の下限値であり、Ｔｈ_Ｈより低い値が設定される。抑制ゲイン生成部３７１は、生成した抑制ゲインＧａを乗算器３７２に供給する。
　乗算器３７２は、基準ゲインＧｓと抑制ゲインＧａとを乗算するものである。この乗算器３７２は、乗算結果を乗算器３７３に供給する。基準ゲインＧｓは、高周波数成分ＨＦ_Ｂの増幅の度合いを示す値であり、例えば、１より大きな実数である。基準ゲインＧｓは、カメラ制御部１３０により設定される。
　乗算器３７３は、乗算器３７２の乗算結果と、高周波数成分ＨＦ_Ｂとを乗算するものである。乗算器３７３は、乗算結果を、増幅後の高周波数成分ＨＦ_Ａとして合成部３８０に供給する。
　これらの乗算器３７２および３７３において実行される演算は、次式により表される。この演算は、高周波数成分において画素ごとに実行される。
　　ＨＦ_Ａ＝ＨＦ_Ｂ×Ｇａ×Ｇｓ　　　　　　　　　　　　　　　　　　・・・式９
上式において、画素の座標を示す表記は省略されている。
　なお、高周波数成分増幅部３７０は、明部および暗部において増幅率（Ｇａ×Ｇｓ）を抑制しているが、元の画像の画質が十分に高い場合や、明部および暗部の画質の低下が許容される場合などには、一定の増幅率により増幅を行ってもよい。
　図８は、第１の実施の形態における輝度値に応じて設定される抑制ゲインＧａの一例を示すグラフである。同図における縦軸は、抑制ゲインＧａであり、横軸は入力輝度画像データｉｎＹ全体の輝度値ｉｎＹ'である。同図に示すように、抑制ゲインＧａにより輝度値ｉｎＹ'が上限値Ｔｈ_Ｈより高い明部と、下限値Ｔｈ_Ｌより低い暗部とにおいて、高周波数成分ＨＦ_Ｂに対するゲインが抑制される。これにより、明部や暗部において、ノイズの増大等により画質が低下するおそれがなくなる。
　図９は、第１の実施の形態における制限部３５０の一構成例を示すブロック図である。この制限部３５０は、成分選択部３５１、符号判定部３５２、絶対値取得部３５３、正負化部３５４、周波数成分制限部３５５、制限値算出部３５６および減算器３５７を備える。
　成分選択部３５１は、制限対象の成分を選択するものである。この成分選択部３５１は、中周波数成分ＭＦおよび高周波数成分ＨＦ_Ｂのうち、中周波数成分ＭＦを制限対象として選択し、符号判定部３５２、絶対値取得部３５３および減算器３５７へ供給する。また、成分選択部３５１は、制限対象として選択しなかった方の高周波数成分ＨＦ_Ｂを高周波数成分増幅部３７０に供給する。
　符号判定部３５２は、中周波数成分ＭＦの符号が正負のいずれであるかを判定するものである。この符号判定部３５２は、中周波数成分ＭＦの符号を正負化部３５４に供給する。
　絶対値取得部３５３は、中周波数成分ＭＦの強度の絶対値を取得するものである。絶対値取得部３５３は、その絶対値を周波数成分制限部３５５に供給する。
　制限値算出部３５６は、周波数成分の絶対値を制限する制限値Ｌａを算出するものである。この制限値算出部３５６は、例えば、次式を使用して制限値Ｌａを算出する。この演算は、中周波数成分において画素ごとに実行される。
　　Ｌａ＝ＬＦ_Ｂ×Ｒ　　　　　　　　　　　　　　　　　　　　　　　・・・式１０
　上式において、Ｒは、実数の係数であり、例えば、カメラ制御部１３０により設定される。また、上式において、画素の座標を示す表記は省略されている。上式により、低周波数成分の強度が高いほど、広い制限範囲が設定される。なお、制限値算出部３５６は、特許請求の範囲に記載の設定部の一例である。
　周波数成分制限部３５５は、周波数成分の絶対値を制限するものである。この周波数成分制限部３５５は、絶対値が制限値Ｌａより大きい場合には、絶対値を制限後の値として正負化部３５４に供給し、そうでない場合には絶対値をそのまま制限後の値として正負化部３５４に供給する。
　正負化部３５４は、周波数成分制限部３５５により制限された値に、符号判定部３５２からの符号を付加するものである。正負化部３５４は、符号を付加した値を、制限後の中周波数成分ＭＦ_Ｌとして減算器３５７および中周波数成分増幅部３７５に供給する。
　減算器３５７は、２つの入力値の一方から他方を減算するものである。この減算器３５７には、制限前の中周波数成分ＭＦ_Ｂと、制限後の中周波数成分ＭＦ_Ｌとが入力される。減算器３５７は、制限前の中周波数成分ＭＦ_Ｂから、制限後の中周波数成分ＭＦ_Ｌを減算して、減算結果を差分ｄｇとして加算器３１２に供給する。
　なお、制限部３５０は、低周波数成分ＬＦ_Ｂの強度が高いほど制限範囲が広くなるのであれば、式１０以外の式により制限値Ｌａを求めてもよい。また、制限部３５０は、制限値を算出しているが、この構成に限定されない。例えば、予め式１０等を使用して求めておいた制限値Ｌａと低周波数成分ＬＦ_Ｂの強度とを対応付けたテーブルを制限部３５０が保持し、そのテーブルから低周波数成分ＬＦ_Ｂの強度に対応する制限値Ｌａを読み出す構成であってもよい。また、制限部３５０は、低周波数成分ＬＦ_Ｂの強度が高いほど広い制限範囲内に中周波数成分ＭＦ_Ｂを制限しているが、低周波数成分ＬＦ_Ｂの強度に関わらず、一定の制限範囲内に中周波数成分ＭＦ_Ｂを制限してもよい。
　図１０は、第１の実施の形態における圧縮の際に用いられるトーンカーブの一例を示す図である。同図の横軸は、圧縮部３１３に入力される、圧縮前の低周波数成分ＬＦ' _Ｂの強度である。縦軸は、圧縮部３１３から出力される、圧縮後の低周波数成分ＬＦ' _Ｂの強度である。また、曲線は、圧縮前後の強度の組合せをプロットしたものである。
　図１０に示すように、低周波数成分ＬＦ'_Ｂは、その強度と、ダイナミックレンジの中間値ＹＭとの差分が大きいほど高い圧縮率により、圧縮される。
　図１１は、第１の実施の形態における入力輝度画像データの輝度分布、高周波数成分の強度分布および中低周波数成分の強度分布の一例を示す図である。同図におけるａは、入力輝度画像データｉｎＹの輝度分布の一例を示す図である。同図のａの縦軸は、輝度値であり、横軸は座標である。また、実線は入力輝度画像データを示し、点線は、その入力ＲＡＷ画像データｉｎＲＡＷに含まれる中低周波数成分ＭＬＦを示す。高周波数成分分離部３３０は、これらの入力輝度画像データｉｎＹと中低周波数成分ＭＬＦとの差分を、高周波数成分ＨＦ_Ｂとして分離する。
　図１１のａに例示した入力輝度画像データｉｎＹの輝度分布においては、輝度差が鋭敏に変化する部分、すなわちエッジが存在している。このようなエッジ付近では、一般に大きな高周波数成分や中周波数成分が発生する。ここで、画像においては、空間周波数が低くなるほど振幅が大きくなる傾向がよく見られる。このため、中周波数成分の強度の変動は、高周波数成分よりも大きいことが多い。したがって、この中周波数成分をそのまま増幅すると、エッジ付近でオーバーシュートやアンダーシュートが生じるおそれがある。
　図１１におけるｂは、分離された高周波数成分ＨＦ_Ｂの強度分布を示す図である。同図におけるｂの縦軸は、強度であり、横軸は座標である。この高周波数成分ＨＦ_Ｂは、制限されずに増幅される。図１１におけるｃは、分離された中低周波数成分ＭＬＦの強度分布を示す図である。同図におけるｃの縦軸は、強度であり、横軸は座標である。この中低周波数成分ＭＬＦは、さらに、中周波数成分ＭＦ_Ｂと低周波数成分ＬＦ_Ｂとに分離される。
　図１２は、第１の実施の形態における中低周波数成分ＭＬＦ、中周波数成分ＭＦ_Ｂおよび低周波数成分ＬＦ_Ｂの強度分布の一例を示す図である。同図の縦軸は強度であり、横軸は座標である。同図におけるａは、中低周波数成分ＭＬＦの強度分布を示す図である。同図のａにおいて、点線は、中低周波数成分ＭＬＦを示し、二点鎖線は、その中低周波数成分ＭＬＦに含まれる低周波数成分ＬＦ_Ｂを示す。中周波数成分分離部３４５は、これらの中低周波数成分ＭＬＦと低周波数成分ＬＦ_Ｂとの差分を中周波数成分ＭＦ_Ｂとして分離する。
　図１２におけるｂは、分離された中周波数成分ＭＦ_Ｂの強度分布を示す図である。この中周波数成分ＭＦ_Ｂは、制限されてから増幅される。図１２におけるｃは、分離された低周波数成分ＬＦ_Ｂの強度分布を示す図である。
　図１３は、第１の実施の形態における中周波数成分ＭＦ_Ｂおよび低周波数成分ＬＦ_Ｂの強度分布の一例を示す図である。同図の縦軸は強度であり、横軸は座標である。同図におけるａは、制限前の中周波数成分ＭＦ_Ｂと、制限後の中周波数成分ＭＦ_Ｌの一例を示す図である。同図のａにおいて、一点鎖線は、制限前の中周波数成分ＭＦ_Ｂを示し、点線は、制限後の中周波数成分ＭＦ_Ｌを示す。制限部３５０は、中周波数成分ＭＦ_Ｂおよび中周波数成分ＭＦ_Ｌの差分ｄｇを出力する。
　前述したように、中周波数成分ＭＦ_Ｂをそのまま増幅するとオーバーシュートやアンダーシュートが生じるおそれがある。しかし、同図のａに例示したように、中周波数成分ＭＦ_Ｂを制限してから増幅することにより、オーバーシュート等の発生が抑制される。
　図１３におけるｂは、差分ｄｇの加算前の低周波数成分ＬＦ_Ｂと、加算後の低周波数成分ＬＦ'_Ｂとの一例を示す図である。同図のｂにおいて、二点鎖線は、加算前の低周波数成分ＬＦ_Ｂを示し、点線は、加算後の低周波数成分ＬＦ'_Ｂを示す。同図のｂに例示したように、中周波数成分ＭＦ_Ｂを制限した分（ｄｇ）は、低周波数成分ＬＦ_Ｂに戻されるため、空間周波数的に成分（ｄｇ）が抜けてしまうおそれがなくなる。
　図１４は、第１の実施の形態における階調圧縮後の低周波数成分の強度分布および出力輝度画像データの輝度分布の一例を示す図である。同図におけるａは、圧縮前の低周波数成分ＬＦ'_Ｂと圧縮後の低周波数成分ＬＦ'_Ｃとの強度分布を示す図である。同図のａの縦軸は強度であり、横軸は座標である。また、同図のａにおいて、点線は、圧縮前の低周波数成分ＬＦ'_Ｂを示し、二点鎖線は、圧縮後の低周波数成分ＬＦ'_Ｃを示す。同図のａに例示するように、低周波数成分ＬＦ'_Ｂは、その強度と中間値ＹＭとの差分が大きいほど高い圧縮率により、圧縮される。このため、圧縮前において表示装置４００のダイナミックレンジ内の最大輝度に近かった座標で、圧縮後の低周波数成分ＬＦ'_Ｃの強度が低くなり、オーバーシュートの発生が抑制される。また、圧縮前において表示装置４００のダイナミックレンジ内の最小輝度に近かった座標で、圧縮後の低周波数成分ＬＦ'_Ｃの強度が高くなり、アンダーシュートの発生が抑制される。
　図１４におけるｂは、出力輝度画像データの輝度分布の一例を示す図である。同図のｂの縦軸は輝度値であり、横軸は座標である。同図のｂの二点鎖線は、圧縮後の低周波数成分ＬＦ'_Ｃを示す。また、同図のｂの実線は、その低周波数成分ＬＦ'_Ｃに、増幅された中周波数成分ＭＦ_Ｌおよび高周波数成分ＨＦ_Ｂを合成して得られた出力輝度画像データｏｕｔＹを示す。同図のｂに例示するように、中周波数成分ＭＦ_Ｌの強度が制限されているため、出力輝度画像データにおいて、輝度がダイナミックレンジ内の最大輝度を超えることや、最小輝度を下回ることがなくなる。これにより、白飛びや黒つぶれが生じなくなり、画質の低下が抑制される。
　図１５は、第１の実施の形態における画像処理部２００が実行する画像処理を示すフローチャートである。この画像処理は、例えば、画像処理部２００に入力ＲＡＷ画像データが入力されたときに開始される。なお、同図において、ノイズ除去処理などの階調補正処理以外の処理は、省略されている。
　画像処理部２００は、画像において高周波数成分を分離し（ステップＳ９０１）、中周波数成分および低周波数成分を分離する（ステップＳ９０２）。そして、画像処理部２００は、中周波数成分の強度を制限範囲内に制限する（ステップＳ９０３）。
　画像処理部２００は、高周波数成分を増幅し（ステップＳ９０４）、制限後の中周波数成分を増幅する（ステップＳ９０５）。また、画像処理部２００は、制限した成分を低周波数成分に加算し（ステップＳ９０６）、加算後の低周波数成分を圧縮する（ステップＳ９０７）。そして、画像処理部２００は、圧縮した低周波数成分と、増幅した中周波数成分および高周波数成分とを合成する（ステップＳ９０８）。ステップＳ９０８の後、画像処理部２００は、画像処理を終了する。
　図１６は、第１の実施の形態における階調圧縮後の画像の一例を示す図である。同図におけるａは、中周波数成分ＭＦ_Ｂを制限しないで増幅した場合のデモザイク後の画像の一例である。同図におけるｂは、中周波数成分ＭＦ_Ｂを制限してから増幅した場合のデモザイク後の画像の一例である。
　図１６ａに例示するように、中周波数成分ＭＦ_Ｂを制限しない場合の画像において、点線で囲んだ、右上の人形の顔の部分が黒くつぶれる現象が生じている。これは、中周波数成分ＭＦ_Ｂを制限しないで増幅した結果、階調補正後の輝度が、表示装置４００のダイナミックレンジ内の最小輝度を下回っためである。
　これに対して、同図のｂに例示するように、中周波数成分ＭＦ_Ｂを制限した場合の画像においては、右上の人形の顔の部分が黒くつぶれることがなく、階調が適切に表現されている。これは、中周波数成分ＭＦ_Ｂの制限により、輝度が表示装置４００のダイナミックレンジ内に収まっているためである。また、この画像では、周波数成分制限部３５５をバイパスさせて高周波数成分を増幅しているため、元の画像の微細な質感（テクスチャ）が失われていない。
　なお、撮像装置１００は、高周波数成分、中周波数成分および低周波数成分の３つに分離しているが、中周波数成分をさらに複数の周波数成分に分離してもよい。この場合、制限部３５０は、中周波数成分から分離された周波数成分の各々を異なる制限範囲により制限する。例えば、制限部３５０は、空間周波数が低いほど小さな制限値Ｌａ（すなわち、狭い制限範囲）を設定して、その制限範囲内に周波数成分を制限する。
　このように、本技術の第１の実施の形態によれば、撮像装置１００は、中周波数成分を制限してから増幅し、高周波数成分を増幅する一方で低周波数成分を圧縮して、それらを合成するため、輝度をダイナミックレンジ内の値にすることができる。これにより、画質の低下を抑制することができる。
　［変形例］
　第１の実施の形態において、画像処理部２００は、中周波数成分ＭＦ_Ｂを制限してオーバーシュートやアンダーシュートの発生を抑制していた。しかし、画像の性質によっては中周波数成分ＭＦ_Ｂよりも、高周波数成分ＨＦ_Ｂの方がオーバーシュート等の原因となりやすい場合がある。変形例は、中周波数成分ＭＦ_Ｂの代わりに高周波数成分ＨＦ_Ｂを制限する点において第１の実施の形態と異なる。
　［制限部の構成例］
　図１７は、変形例の変形例における制限部３５０の一構成例を示すブロック図である。変形例の制限部３５０は、成分選択部３５１が、周波数成分ＭＦ_Ｂの代わりに高周波数成分ＨＦ_Ｂを制限対象として選択する点において第１の実施の形態と異なる。
　なお、成分選択部３５１は、高周波数成分ＨＦ_Ｂの振幅と、中周波数成分ＭＦ_Ｂの振幅とを比較して、振幅が大きい方を制限対象として選択してもよい。
　また、撮像装置１００は、高周波数成分をさらに複数の周波数成分に分離してもよい。この場合、制限部３５０は、高周波数成分から分離された周波数成分の各々を異なる制限範囲により制限する。例えば、制限部３５０は、空間周波数が低いほど小さな制限値Ｌａ（すなわち、狭い制限範囲）を設定して、その制限範囲内に周波数成分を制限する。
　このように、変形例によれば、画像処理部２００は、高周波数成分を制限するため、高周波数成分の増幅によるオーバーシュートやアンダーシュートの発生を抑制することができる。これにより、画質の低下を抑制することができる。
　＜２．第２の実施の形態＞
　［画像処理システムの構成例］
　第１の実施の形態では、撮像装置１００が階調補正を行っていたが、情報処理装置などの撮像装置１００以外の装置が階調補正を行ってもよい。第２の実施の形態の画像処理システムは、情報処理装置が階調補正を行う点において第１の実施の形態と異なる。
　図１８は、第２の実施の形態の画像処理システムの一構成例を示すブロック図である。この画像処理システムは、撮像装置１００の代わりに情報処理装置５００を備える点において第１の実施の形態と異なる。
　情報処理装置５００は、画像処理などの情報処理を実行するものである。例えば、パーソナルコンピュータやスマートフォンが、情報処理装置５００として用いられる。この情報処理装置５００は、入力バッファ５１０、画像処理部２００および出力バッファ５２０を備える。
　入力バッファ５１０は、情報処理装置５００に入力された画像データを保持するものである。この入力バッファ５１０には、デジタルカメラ等の撮像装置により撮像された画像データが保持され、その画像データは画像処理部２００により読み出される。第２の実施の形態の画像処理部２００の構成は、第１の実施の形態と同様である。出力バッファ５２０は、画像処理後の画像データを保持するものである。
　図１９は、第２の実施の形態における情報処理装置５００の動作の一例を示すフローチャートである。この動作は、例えば、画像データが情報処理装置５００に入力されたときに開始する。
　情報処理装置５００は、入力された画像データを入力バッファ５１０に保持させる（ステップＳ９１０）。情報処理装置５００は、その画像データに対して、所定の画像処理を実行し、画像処理後の画像データを出力バッファ５２０に保持させる（ステップＳ９２０）。ステップＳ９２０において、図１５に例示した第１の実施の形態と同様の画像処理が実行される。情報処理装置５００は、出力バッファ５２０に保持された画像データを表示装置４００へ出力する（ステップＳ９２０）。ステップＳ９２０の後、情報処理装置５００は、動作を終了する。
　このように、本技術の第２の実施の形態によれば、撮像装置１００の代わりに情報処理装置５００が階調補正を行うため、撮像装置１００が階調補正を行わない構成であっても、画質の低下を抑制することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本技術は以下のような構成もとることができる。
（１）互いに異なる３つの周波数成分を含む画像において前記３つの周波数成分の各々を分離する成分分離部と、
　前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮部と、
　前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限部と、
　前記供給された２つの周波数成分を増幅する増幅部と、
　前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成部と
を具備する画像処理装置。
（２）前記制限部は、前記２つの周波数成分のうち空間周波数が低い方の周波数成分の強度を前記制限範囲内に制限する前記（１）記載の画像処理装置。
（３）前記成分分離部は、前記３つの周波数成分の各々を分離するとともに前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方をさらに複数の周波数成分に分離し、
　前記制限部は、前記分離された複数の周波数成分の各々を異なる制限範囲により制限する前記（１）記載の画像処理装置。
（４）前記一方の周波数成分の制限前の強度と制限後の強度との間の差分を前記低周波数成分に加算する加算部をさらに具備し、
　前記圧縮部は、前記差分が加算された前記低周波数成分を圧縮する前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記制限部は、前記低周波数成分の強度が高いほど広い範囲を前記制限範囲として設定する設定部と、
　前記２つの周波数成分の一方を前記設定された制限範囲内に制限する周波数成分制限部とをさらに備える前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記圧縮部は、前記低周波数成分の強度と所定値との間の差分が大きいほど高い圧縮率に基づいて前記低周波数成分を圧縮する前記（１）から（５）のいずれかに記載の画像処理装置。
（７）互いに異なる３つの周波数成分を含む画像を生成する撮像素子と、
　前記画像において前記３つの周波数成分の各々を分離する成分分離部と、
　前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮部と、
　前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限部と、
　前記供給された２つの周波数成分を増幅する増幅部と、
　前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成部と
を具備する撮像装置。
（８）成分分離部が、互いに異なる３つの周波数成分を含む画像において前記３つの周波数成分の各々を分離する成分分離手順と、
　圧縮部が、前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮手順と、
　制限部が、前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限手順と、
　増幅部が、前記供給された２つの周波数成分を増幅する増幅手順と、
　合成部が、前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成手順と
を具備する画像処理方法。
（９）成分分離部が、互いに異なる３つの周波数成分を含む画像において前記３つの周波数成分の各々を分離する成分分離手順と、
　圧縮部が、前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮手順と、
　制限部が、前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限手順と、
　増幅部が、前記供給された２つの周波数成分を増幅する増幅手順と、
　合成部が、前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成手順と
をコンピュータに実行させるためのプログラム。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　撮像素子
　１３０　カメラ制御部
　１４０　記録部
　２００　画像処理部
　２１０　ノイズ除去部
　２２０　カラーバランス取得部
　２３０　デモザイク処理部
　３００　階調補正処理部
　３１０　輝度生成部
　３１１　データ変換部
　３１２　加算器
　３１３　圧縮部
　３２０　成分分離部
　３３０　高周波数成分分離部
　３３１　データバッファ
　３３２　注目領域読出部
　３３３　垂直方向差分平均値算出部
　３３４　水平方向差分平均値算出部
　３３５　左斜め方向差分平均値算出部
　３３６　右斜め方向差分平均値算出部
　３３７　閾値算出部
　３３８　方向選択部
　３３９　平均値算出部
　３４０、３５７　減算器
　３４５　中周波数成分分離部
　３５０　制限部
　３５１　成分選択部
　３５２　符号判定部
　３５３　絶対値取得部
　３５４　正負化部
　３５５　周波数成分制限部
　３５６　制限値算出部
　３６０　増幅部
　３７０　高周波数成分増幅部
　３７１　抑制ゲイン生成部
　３７２、３７３　乗算器
　３７５　中周波数成分増幅部
　３８０　合成部
　３８１　高周波数成分合成部
　３８２　中周波数成分合成部
　４００　表示装置
　５００　情報処理装置
　５１０　入力バッファ
　５２０　出力バッファ

Claims (9)

  1. 　互いに異なる３つの周波数成分を含む画像において前記３つの周波数成分の各々を分離する成分分離部と、
    　前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮部と、
    　前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限部と、
    　前記供給された２つの周波数成分を増幅する増幅部と、
    　前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成部と
    を具備する画像処理装置。
  2. 　前記制限部は、前記２つの周波数成分のうち空間周波数が低い方の周波数成分の強度を前記制限範囲内に制限する請求項１記載の画像処理装置。
  3. 　前記成分分離部は、前記３つの周波数成分の各々を分離するとともに前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方をさらに複数の周波数成分に分離し、
    　前記制限部は、前記分離された複数の周波数成分の各々を異なる制限範囲により制限する請求項１記載の画像処理装置。
  4. 　前記一方の周波数成分の制限前の強度と制限後の強度との間の差分を前記低周波数成分に加算する加算部をさらに具備し、
    　前記圧縮部は、前記差分が加算された前記低周波数成分を圧縮する請求項１記載の画像処理装置。
  5. 　前記制限部は、前記低周波数成分の強度が高いほど広い範囲を前記制限範囲として設定する設定部と、
    　前記２つの周波数成分の一方を前記設定された制限範囲内に制限する周波数成分制限部とをさらに備える請求項１記載の画像処理装置。
  6. 　前記圧縮部は、前記低周波数成分の強度と所定値との間の差分が大きいほど高い圧縮率に基づいて前記低周波数成分を圧縮する請求項１記載の画像処理装置。
  7. 　互いに異なる３つの周波数成分を含む画像を生成する撮像素子と、
    　前記画像において前記３つの周波数成分の各々を分離する成分分離部と、
    　前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮部と、
    　前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限部と、
    　前記供給された２つの周波数成分を増幅する増幅部と、
    　前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成部と
    を具備する撮像装置。
  8. 　成分分離部が、互いに異なる３つの周波数成分を含む画像において前記３つの周波数成分の各々を分離する成分分離手順と、
    　圧縮部が、前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮手順と、
    　制限部が、前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限手順と、
    　増幅部が、前記供給された２つの周波数成分を増幅する増幅手順と、
    　合成部が、前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成手順と
    を具備する画像処理方法。
  9. 　成分分離部が、互いに異なる３つの周波数成分を含む画像において前記３つの周波数成分の各々を分離する成分分離手順と、
    　圧縮部が、前記３つの周波数成分のうち空間周波数が最も低い低周波数成分を圧縮する圧縮手順と、
    　制限部が、前記３つの周波数成分のうち前記低周波数成分以外の２つの周波数成分のいずれか一方の強度を制限範囲内に制限して前記一方の強度を制限した２つの周波数成分を供給する制限手順と、
    　増幅部が、前記供給された２つの周波数成分を増幅する増幅手順と、
    　合成部が、前記圧縮された低周波数成分と前記増幅された２つの周波数成分とを合成する合成手順と
    をコンピュータに実行させるためのプログラム。
PCT/JP2014/059924 2013-05-28 2014-04-04 画像処理装置、撮像装置、画像処理方法およびプログラム WO2014192412A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013111719 2013-05-28
JP2013-111719 2013-05-28

Publications (1)

Publication Number Publication Date
WO2014192412A1 true WO2014192412A1 (ja) 2014-12-04

Family

ID=51988452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/059924 WO2014192412A1 (ja) 2013-05-28 2014-04-04 画像処理装置、撮像装置、画像処理方法およびプログラム

Country Status (2)

Country Link
TW (1) TWI609351B (ja)
WO (1) WO2014192412A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005117549A (ja) * 2003-10-10 2005-04-28 Fuji Photo Film Co Ltd 画像処理方法および装置ならびに画像処理プログラム
JP2005204195A (ja) * 2004-01-19 2005-07-28 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005334677A (ja) * 2005-08-15 2005-12-08 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2006246200A (ja) * 2005-03-04 2006-09-14 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4683294B2 (ja) * 2006-03-16 2011-05-18 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
US7826680B2 (en) * 2006-06-26 2010-11-02 Genesis Microchip Inc. Integrated histogram auto adaptive contrast control (ACC)
TWI464706B (zh) * 2009-03-13 2014-12-11 Micro Star Int Co Ltd 以單張影像模擬高動態範圍之暗部曝光補償方法及其應用該方法的影像處理裝置
TWM403069U (en) * 2010-06-24 2011-05-01 Univ Lunghwa Sci & Technology A noise-insensitive contrast enhancement system for the display of high-dynamic-range images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005117549A (ja) * 2003-10-10 2005-04-28 Fuji Photo Film Co Ltd 画像処理方法および装置ならびに画像処理プログラム
JP2005204195A (ja) * 2004-01-19 2005-07-28 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2006246200A (ja) * 2005-03-04 2006-09-14 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法
JP2005334677A (ja) * 2005-08-15 2005-12-08 Fuji Photo Film Co Ltd 画像処理方法および装置

Also Published As

Publication number Publication date
TW201506847A (zh) 2015-02-16
TWI609351B (zh) 2017-12-21

Similar Documents

Publication Publication Date Title
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4288623B2 (ja) 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP6019964B2 (ja) 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
JP2007041834A (ja) 画像処理装置
JP5474586B2 (ja) 画像処理装置
US20100098334A1 (en) Color-interpolation device and image processing system
JP5291788B2 (ja) 撮像装置
JP2009284009A (ja) 画像処理装置、撮像装置及び画像処理方法
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JPWO2017216903A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2005142832A (ja) 輪郭補正回路及び撮像装置
JP2007043312A (ja) 撮影装置
JP2007266956A (ja) 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム
JP5451056B2 (ja) 画像処理装置及び撮像装置
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5213604B2 (ja) 撮像装置
JP4888037B2 (ja) 信号処理方法、信号処理回路及び撮像装置
WO2014192412A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2009027537A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5454820B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP5935649B2 (ja) 画像処理装置及び画像処理方法
WO2016051911A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14804908

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14804908

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP