WO2019244691A1 - 色補正装置 - Google Patents

色補正装置 Download PDF

Info

Publication number
WO2019244691A1
WO2019244691A1 PCT/JP2019/022907 JP2019022907W WO2019244691A1 WO 2019244691 A1 WO2019244691 A1 WO 2019244691A1 JP 2019022907 W JP2019022907 W JP 2019022907W WO 2019244691 A1 WO2019244691 A1 WO 2019244691A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
correction
coefficient
color
saturation
Prior art date
Application number
PCT/JP2019/022907
Other languages
English (en)
French (fr)
Inventor
敏秀 小林
悦郎 今出
昌和 立石
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to CN201980024943.9A priority Critical patent/CN111955004B/zh
Priority to EP19823217.5A priority patent/EP3809699B1/en
Publication of WO2019244691A1 publication Critical patent/WO2019244691A1/ja
Priority to US17/081,398 priority patent/US11368655B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present disclosure relates to a color correction device used for an imaging device.
  • a color correction device used in an imaging device corrects the color of an imaging signal so that the imaging device takes a natural color when capturing an image of a subject under a light source having a wide band wavelength such as the sun or a halogen lamp. Is common.
  • LED light sources have become widespread as light sources having a narrow band wavelength. For example, light emitted from a blue LED light source does not include a green component. If the imaging device is set to image a subject under a blue LED light source, and the color correction device is set to correct the color of the imaging signal so as to have a natural color under a light source having a broadband wavelength, the imaging device The natural color of the subject cannot be imaged.
  • the conventional color correction apparatus includes a color correction mode used when capturing an image under a light source having a broadband wavelength and a color correction mode used when capturing an image under an LED light source having a narrowband wavelength.
  • the user selects an appropriate mode according to the light source at the time of imaging.
  • a natural color of the subject can be captured regardless of the type of the light source.
  • the embodiment has an object to provide a color correction device that can automatically correct the color of an image pickup signal so as to have a natural color according to the type of a light source.
  • a color correction device used in an imaging device, wherein the first R signal, the first G signal, and the first B signal generated by the imaging device imaging an object.
  • a 3 ⁇ 3 correction coefficient consisting of first to third correction coefficients, fourth to sixth correction coefficients, and seventh to ninth correction coefficients is subjected to a matrix operation to obtain a second R signal, A second matrix signal that generates a second G signal and a second B signal; and a first difference value obtained by subtracting the first G signal from the first B signal exceeds a first threshold value.
  • the first correction coefficient to be multiplied by the first R signal is made closer to 1, and the second G signal and the first B signal to be multiplied are each multiplied by one.
  • an R coefficient correction unit that corrects the third correction coefficient so as to approach 0. It is subjected.
  • the color correction device of the embodiment it is possible to automatically correct the color of the imaging signal so as to have a natural color according to the type of the light source.
  • FIG. 1 is a block diagram illustrating an imaging device including a color correction device according to an embodiment.
  • FIG. 2 is a block diagram illustrating an imaging device including a color correction device having a basic configuration.
  • FIG. 3 is a diagram showing an area of the color space when the color difference matrix circuit 7 in FIGS. 1 and 2 corrects the R signal, the G signal, and the B signal.
  • FIG. 4 is a characteristic diagram showing characteristics obtained by converting RGB spectral characteristics close to human appearance into the color space of REC709 of the ITU standard.
  • FIG. 5 is a characteristic diagram showing a correction coefficient k13 for correcting the magnitudes of the correction coefficients kRR, kRG, and kRB for the R signal in the R coefficient correction unit 13 in FIGS.
  • the lens 1 includes a plurality of lenses.
  • the prism 2 separates the incident light into red (R), green (G), and blue (B) wavelength bands.
  • the R, G, and B image sensors 3r, 3g, and 3b generate and output an R signal R3, a G signal G3, and a B signal B3, respectively.
  • the imaging elements 3r, 3g, and 3b are, for example, CMOS sensors, and output R signals R3, G signals G3, and B signals B3 of digital signals.
  • a single-plate image sensor having a color filter represented by a Bayer array may be used.
  • the video signal of each frame of the R signal, G signal, and B signal is converted based on the imaging signal in which the R signal, G signal, and B signal output from the single-chip image sensor are mixed in one frame.
  • a demosaic processing circuit for generating is provided. Note that the prism 2 is unnecessary.
  • the black adjuster 4 adjusts the black levels of the R signal R3, the G signal G3, and the B signal B3, and outputs the R signal R4, the G signal G4, and the B signal B4.
  • the white balance adjustment unit 5 adjusts a gain by which the R signal R4, the G signal G4, and the B signal B4 are multiplied, and outputs an R signal R5, a G signal G5, and a B signal B5 whose white balance has been adjusted.
  • the linear matrix circuit 6 corrects the R signal R5, the G signal G5, and the B signal B5 and outputs the R signal R6, the G signal G6, and the B signal B6.
  • the linear matrix circuit 6 includes the correction coefficients kRR, kRG, and kRB for the R signal generated by the correction coefficient generator 10, the correction coefficients kGR, kGG, kGB for the G signal, and the B signal.
  • the correction coefficients kBR, kBG, and kBB are input.
  • the linear matrix circuit 6 performs a matrix operation on the R signal R5, the G signal G5, the B signal B5, and the correction coefficient of 3 rows ⁇ 3 columns by the determinant shown in the equation (1) to obtain the R signal R5, the G signal
  • the G5 and B signals B5 are converted into an R signal R6, a G signal G6, and a B signal B6.
  • the correction coefficients kRR, kRG, kRB, kGR, kGG, kGB, kBR, kBG, and kBB allow the subject to be scanned under a light source having a broadband wavelength including all the R, G, and B color components, such as the sun or a halogen lamp.
  • the value is set so that a natural color is obtained when an image is captured.
  • a light source having a broadband wavelength including all the R, G, and B color components is referred to as a first light source.
  • the correction coefficient generator 10 can be configured by a central processing unit (CPU) of a microcomputer. Of course, the correction coefficient generator 10 may be configured by a device other than the CPU.
  • CPU central processing unit
  • the correction coefficient generator 10 may be configured by a device other than the CPU.
  • the correction coefficient kRR is a value significantly larger than the correction coefficients kRG and kRB
  • the correction coefficient kGG is a value significantly larger than the correction coefficients kGR and kGB
  • the correction coefficient kBB is This is a value significantly larger than the correction coefficients kBR and kBG.
  • the color difference matrix circuit 7 corrects the color saturation of the R signal R6, the G signal G6, and the B signal B6 and outputs the R signal R7, the G signal G7, and the B signal B7.
  • the specific operation of the color difference matrix circuit 7 is as follows.
  • the color difference matrix circuit 7 receives the correction coefficients kR01 and kR02, kG01 and kG02, kB01 and kB02, kY01 and kY02, kM01 and kM02, kM01, kC01 and kC02 generated by the correction coefficient generator 10.
  • Correction coefficients kR01 and kR02, kG01 and kG02, kB01 and kB02 are correction coefficients for correcting the saturation of R, G and B, respectively.
  • the correction coefficients kY01 and kY02, kM01 and kM02, kC01 and kC02 are correction coefficients for correcting the saturation of yellow (Ye), magenta (Mg), and cyan (Cy), respectively.
  • FIG. 3 shows the color space in a plan view, in which the circumferential direction of the circle indicates the hue and the radial direction indicates the saturation.
  • the six regions are Ar1 to Ar6.
  • the color difference matrix circuit 7 corrects the R signal R6, the G signal G6, and the B signal B6 for each pixel depending on where each pixel is located in the regions Ar1 to Ar6 shown in FIG.
  • the position of each pixel in the regions Ar1 to Ar6 is determined by the positive or negative of the difference values (G6-B6), (B6-R6), and (R6-G6) of the R signal R6, G signal G6, and B signal B6. Determined by the sign.
  • the color difference matrix circuit 7 When the pixels are located in the regions Ar1 to Ar6, the color difference matrix circuit 7 generates the R signal R7 based on the equations (2) to (7), respectively, and based on the equations (8) to (13).
  • the G signal G7 is generated, and the B signal B7 is generated based on the equations (14) to (19).
  • Region Ar2: R7 R6 + ⁇ kM01 (R6-G6) -kB01 (B6-R6) ⁇ (3)
  • Region Ar3: R7 R6 + ⁇ -kB01 (B6-G6) -kC01 (G6-R6) ⁇ (4)
  • Region Ar4: R7 R6 + ⁇ -kG01 (G6-B6) -kC01 (B6-R6) ⁇ (5)
  • Region Ar5: R7 R6 + ⁇ kY01 (R6-B6) -kG01 (G6-R6) ⁇ (6)
  • Area Ar6: R7 R6 + ⁇ kR01 (R6-G6) + kY01 (G6-B6) ⁇ (7)
  • Area Ar3: G7 G6 + ⁇ kC02 (G6-R6) -kB01 (B6-G6) ⁇ (10)
  • Area Ar4: G7 G6 + ⁇ kG02 (G6-B6) + kC02 (B6-R6) ⁇ (11)
  • Area Ar5: G7 G6 + ⁇ kG02 (G6-R6) + kY01 (R6-B6) ⁇ (12)
  • Area Ar6: G7 G6 + ⁇ kY01 (G6-B6) -kR02 (R6-G6) ⁇ (13)
  • Area Ar2: B7 B6 + ⁇ kB02 (B6-R6) + kM01 (R6-G6) ⁇ (15)
  • Area Ar3: B7 B6 + ⁇ kB02 (B6-G6) + kC02 (G6-R6) ⁇ (16)
  • Area Ar4: B7 B6 + ⁇ kC02 (B6-R6) -kG01 (G6-B6) ⁇ (17)
  • Region Ar5: B7 B6 + ⁇ -kG01 (G6-R6) -kY02 (R6-B6) ⁇ (18)
  • Region Ar6: B7 B6 + ⁇ -kR02 (R6-G6) -kY02 (G6-B6) ⁇ (19)
  • the value added to the R signal R6 is the first saturation correction value
  • the value added to the G signal G6 is the second saturation correction value
  • the value added to the B signal B6 is referred to as a third saturation correction value.
  • the correction coefficients kR01 and kR02, kG01 and kG02, kB01 and kB02, kY01 and kY02, kM01 and kM02, kC01 and kC02 are positive or negative values. It is said.
  • the correction coefficients kR01 and kR02, kG01 and kG02, kB01 and kB02, kY01 and kY02, kM01 and kM02, kC01 and kC02 are set to values such that a natural color is obtained when the subject is imaged under the first light source. ing.
  • the gamma correction unit 8 performs gamma correction on the R signal R7, the G signal G7, and the B signal B7, and outputs an R signal R8, a G signal G8, and a B signal B8.
  • the luminance / color difference converter 9 converts the R signal R8, the G signal G8, and the B signal B8 into a luminance signal Y and color difference signals Cb and Cr using a known conversion formula, and outputs the signals.
  • the video signals (R signal R3, G signal G3, and B signal B3) output from the imaging elements 3r, 3g, and 3b are not ideal spectral characteristics corresponding to human eyes. This is because the characteristics of the optical system such as the prism 2 and the spectral sensitivity characteristics of the imaging elements 3r, 3g, and 3b are different from the characteristics of human eyes. If the color is not corrected, the luminance signal Y and the color difference signals Cb and Cr are displayed on a monitor (not shown), and the actual color of the subject differs from the actual color of the subject when viewed by a human.
  • FIG. 4 shows the characteristics converted into the color space of REC709 of the ITU (International Telecommunication Union) standard.
  • the horizontal axis represents the wavelength
  • the vertical axis represents the tristimulus value
  • the solid line represents the characteristic of the R signal
  • the dashed line represents the characteristic of the G signal
  • the broken line represents the characteristic of the B signal.
  • the luminance / color difference converter 9 generates the luminance signal Y based on Expression (20).
  • the luminance signal Y is generated based on Expression (20) even if the overall RGB characteristics are approximated to FIG. 4 by the linear matrix circuit 6 and the color difference matrix circuit 7. Can be. This is because the light emitted to the subject under the first light source has a broadband wavelength including all the R, G, and B color components.
  • the subject may be imaged under a light source having a narrow band wavelength including only the B color component, such as a blue LED light source.
  • the subject may be irradiated with light of only the B color component, or light of the B color component and light having slight other color components from other light sources may be mixed. is there.
  • imaging under the second light source Such imaging in a state where the B color component is dominant is referred to as imaging under the second light source.
  • the luminance signal Y cannot be appropriately generated even if the linear RGB circuit 6 and the color-difference matrix circuit 7 try to make the overall RGB characteristics close to FIG. This is for the following reason.
  • Most of the wavelength range of the light irradiated to the subject is the B wavelength range, and the difference between the B signal, the R signal, and the G signal is very large.
  • the R signal and the G signal are corrected in the negative direction and clipped to 0, and the value of the luminance signal Y becomes extremely small or the value of the luminance signal Y becomes 0. And the luminance signal Y is not generated.
  • the correction coefficient kRR in the determinant shown in Expression (1) is positive and the correction coefficient kRG is negative.
  • the correction coefficient kRB may be positive or negative depending on the optical characteristics of the preceding stage.
  • the correction coefficient kGG is a positive value, and the correction coefficients kGR and kGB are negative values.
  • the correction coefficient used in the linear matrix circuit 6 includes a negative value, under the second light source, the R signal R5 or the G signal G5 is corrected in the negative direction and is clipped to 0, and the luminance is reduced. The signal Y is not generated properly.
  • the problem that occurs under the LED light source described above is not limited to under the blue LED light source, but under the third light source having a narrow band wavelength mainly including the R color component like the red LED light source, or the blue LED. The same applies to the case where both the light source and the red LED light source are present and the subject is irradiated with magenta light.
  • FIG. 1 the configuration and operation of a color correction device according to an embodiment that operates the linear matrix circuit 6 and the color difference matrix circuit 7 so as to eliminate the problem occurring under the LED light source will be described. 1, the same parts as those of FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted.
  • a subtractor 11 subtracts a G signal G5 from a B signal B5 output from a white balance adjustment unit 5 for each pixel to generate a difference value (B5-G5), and an R coefficient correction unit 13 To supply.
  • the subtracter 12 subtracts the G signal G5 from the R signal R5 output from the white balance adjustment unit 5 for each pixel to generate a difference value (R5-G5), and supplies the difference value to the G coefficient correction unit 14.
  • the R coefficient correction unit 13 corrects the magnitudes of the R signal correction coefficients kRR, kRG, and kRB according to the magnitude of the difference value (B5-G5).
  • the G coefficient correction unit 14 corrects the magnitude of the G signal correction coefficients kGR, kGG, and kGB according to the magnitude of the difference value (R5-G5).
  • the R coefficient correction unit 13 attenuates the magnitude of the correction coefficient for correcting the magnitude of the correction coefficients kRR, kRG, and kRB. Attenuate at the rate of the coefficient slope_BG.
  • a case where the precision of attenuation is 10 bits is taken as an example.
  • the value of (B5-G5) -th is A
  • (B5-G5) ⁇ th or when B5 ⁇ G5, A 0.
  • Slope_BG ⁇ A / 1024 is defined as slope.
  • the attenuation coefficient is a correction coefficient generated by the R coefficient correction unit 13, the G coefficient correction unit 14, and the R saturation coefficient correction unit 18, the B saturation coefficient correction unit 19, and the Mg saturation coefficient correction unit 20, which will be described later. Shows the inclination of the inclined portion.
  • FIG. 5 shows the correction coefficient k13.
  • the R coefficient correction unit 13 corrects the correction coefficients kRR, kRG, and kRB as in the equations (21) to (23), and generates correction coefficients kRR ′, kRG ′, and kRB ′.
  • kRR ′ (kRR ⁇ 1) ⁇ k13 / 1024 + 1
  • kRG ′ kRG ⁇ k13 / 1024
  • kRB ′ kRB ⁇ k13 / 1024 (23)
  • the R coefficient correction unit 13 sets the difference value (B5-G5). ) Is larger, the correction coefficients kRG and kRB are closer to 0, and the correction coefficient kRR is closer to 1.
  • the R coefficient correction unit 13 supplies the correction coefficients kRR ', kRG', and kRB 'thus generated to the linear matrix circuit 6.
  • the correction coefficient k14 has the same characteristics as the correction coefficient k13 shown in FIG.
  • the threshold th and the attenuation coefficient slope_RG in the correction coefficient k14 are not necessarily the same as the threshold th and the attenuation coefficient slope_BG in the correction coefficient k13.
  • the threshold th and the attenuation coefficient slope_RG are set corresponding to the correction coefficient k14.
  • the G coefficient correction unit 14 corrects the correction coefficients kGR, kGG, and kGB as in Equations (24) to (26), and generates correction coefficients kGR ′, kGG ′, and kGB ′.
  • kGR ′ kGR ⁇ k14 / 1024
  • kGG ′ (kGG ⁇ 1) ⁇ k14 / 1024 + 1
  • kGB ′ kGB ⁇ k14 / 1024
  • the G coefficient correction unit 14 sets the correction coefficient as the difference value (R5 ⁇ G5) increases. kGR and kGB are brought closer to 0, and the correction coefficient kGG is brought closer to 1.
  • the G coefficient correction unit 14 supplies the correction coefficients kGR ', kGG', and kGB 'thus generated to the linear matrix circuit 6.
  • the linear matrix circuit 6 uses the determinant shown in Expression (1) to generate an R signal using the correction coefficients kRR ′, kRG ′, and kRB ′ supplied from the R coefficient correction unit 13 instead of the correction coefficients kRR, kRG, and kRB.
  • R5 is converted into an R signal R6.
  • the linear matrix circuit 6 uses the determinant shown in Expression (1) to generate the G signal using the correction coefficients kGR ′, kGG ′, and kGB ′ supplied from the G coefficient correction unit 14 instead of the correction coefficients kGR, kGG, and kGB.
  • G5 is converted into a G signal G6.
  • the linear matrix circuit 6 converts the B signal B5 into a B signal B6 by using the correction coefficients kBR, kBG, and kBB supplied from the correction coefficient generator 10 as it is, using the determinant shown in Expression (1).
  • a subtractor 15 subtracts the G signal G6 from the R signal R6 output from the linear matrix circuit 6 for each pixel to generate a difference value (R6-G6), and performs R saturation coefficient correction.
  • the subtractor 16 subtracts the G signal G6 from the B signal B6 output from the linear matrix circuit 6 for each pixel to generate a difference value (B6-G6), and supplies the difference value (B6-G6) to the B saturation coefficient correction unit 19. .
  • the subtractor 16 subtracts the G signal G6 from the larger signal RBmax of the R signal R6 and the B signal B6 for each pixel to generate a difference value (RBmax-G6), and corrects the Mg saturation coefficient.
  • RBmax-G6 difference value
  • the R saturation coefficient correction unit corrects the magnitude of the correction coefficient kR02 according to the magnitude of the difference value (R6-G6).
  • the B saturation coefficient correction unit 19 corrects the magnitude of the correction coefficient kB01 according to the magnitude of the difference value (B6-G6).
  • the Mg saturation coefficient correction unit 20 corrects the magnitude of the correction coefficient kM02 according to the magnitude of the difference value (RBmax-G6).
  • the R saturation coefficient correction unit 18 corrects the correction coefficient kR02 as in Expression (27) or (28) to generate a correction coefficient kR02 '.
  • the correction coefficient k18 has the same characteristics as those in FIG. 5, but the threshold th and the attenuation coefficient slope_RG of the correction coefficient k18 are the same as the threshold th and the attenuation coefficient slope_BG of the correction coefficient k13 or the threshold th and the attenuation coefficient slope_RG of the correction coefficient k14. Not necessarily a value.
  • the threshold th and the attenuation coefficient slope_RG are set corresponding to the correction coefficient k18.
  • the R saturation coefficient correction unit 18 sets the correction coefficient kR02 closer to 0 as the difference value (R6-G6) increases. If the correction coefficient kR02 is a negative value, the value remains unchanged regardless of the magnitude of the difference value (R6-G6).
  • the R saturation coefficient correction unit 18 supplies the correction coefficient kR01 and the correction coefficient kR02 'corrected as described above to the color difference matrix circuit 7.
  • the B saturation coefficient correction unit 19 attenuates the correction coefficient for correcting the magnitude of the correction coefficient kB01 at the rate of the attenuation coefficient slope_BG. .
  • A 0 when (B6-G6) ⁇ th or when B6 ⁇ G6.
  • Slope_BG ⁇ A / 1024 is defined as slope.
  • the B saturation coefficient correction unit 19 corrects the correction coefficient kB01 as in Expression (29) or (30) to generate a correction coefficient kB01 '.
  • the correction coefficient k19 has the same characteristics as in FIG. 5, but the threshold value th and the attenuation coefficient slope_BG of the correction coefficient k19 are not necessarily the same as the threshold value th and the attenuation coefficient slope_RG of the correction coefficient k18.
  • the threshold th and the attenuation coefficient slope_BG are set corresponding to the correction coefficient k19.
  • the B saturation coefficient correction unit 19 sets the correction coefficient kB01 closer to 0 as the difference value (B6-G6) increases. If the correction coefficient kB01 is a negative value, the value remains unchanged regardless of the magnitude of the difference value (B6-G6).
  • the B saturation coefficient correction unit 19 supplies the correction coefficient kB01 'and the correction coefficient kB02 corrected as described above to the color difference matrix circuit 7.
  • the Mg saturation coefficient correction unit 20 corrects the correction coefficient kM02 as in Expression (31) or (32) to generate a correction coefficient kM02 '.
  • the correction coefficient k20 has the same characteristic as that of FIG. 5, but the threshold th and the attenuation coefficient slope_RBmax of the correction coefficient k20 are the same as the threshold th and the attenuation coefficient slope_RG of the correction coefficient k18, and the threshold th and the attenuation coefficient slope_BG of the correction coefficient k19 are the same. Not necessarily a value.
  • the threshold th and the attenuation coefficient slope_RBmax are set corresponding to the correction coefficient k20.
  • the Mg saturation coefficient correction unit 20 sets the correction coefficient kM02 closer to 0 as the difference value (RBmax-G6) increases. If the correction coefficient kM02 is a negative value, the value remains unchanged regardless of the magnitude of the difference value (RBmax-G6).
  • the Mg saturation coefficient correction unit 20 supplies the correction coefficient kM01 and the correction coefficient kM02 'corrected as described above to the color difference matrix circuit 7.
  • the color difference matrix circuit 7 uses the correction coefficients kR01 and kR02 ′, kG01 and kG02, kB01 ′ and kB02, kY01 and kY02, kM01 and kM02 ′, kC01 and kC02 according to the equations (2) to (19) to calculate the R signal.
  • R7, G signal G7, and B signal B7 are generated.
  • the correction coefficients kR02, kB01, and kM02 are positive values
  • the correction coefficients kR02, kB01, and kM02 are the G signals that are the main components of the luminance signal Y. It acts to reduce G7 and reduce the luminance signal Y.
  • the correction coefficients kR02, kB01, and kM02 are negative values
  • the correction coefficients kR02, kB01, and kM02 act to increase the G signal G7 and increase the luminance signal Y.
  • correction coefficients kR02, kB01, and kM02 are set to positive values in order to bring the RGB overall characteristics closer to FIG. 4 during imaging under the first light source.
  • the linear matrix circuit 6 converts the R signal R5, the G signal G5, and the B signal B5 into the R signal R6, the G signal G6, and the B signal B6 so that a natural color is obtained when the subject is imaged under the first light source. Convert to
  • the color difference matrix circuit 7 adds or subtracts a color difference component set for each of the regions Ar1 to Ar6 to the R signal R6, the G signal G6, and the B signal B6 based on the equations (2) to (19).
  • the second saturation correction value added to the G signal G6 (particularly, the second saturation correction value in the regions Ar1 and Ar2) ) Is a negative value. Therefore, the color difference matrix circuit 7 corrects the color so as to attenuate the G signal G7 so as to have a more natural color under the first light source.
  • the linear matrix circuit 6 calculates the correction coefficient including the R signal R5, the G signal G5, the B signal B5, and the correction coefficients kRR ′, kRG ′, kRB ′, kGR ′, kGG ′, kGB ′, kBR, kBG, and kBB. And a matrix operation.
  • the linear matrix circuit 6 generates an R signal R6, a G signal G6, and a B signal B6 suitable for capturing an image of a subject under the second light source.
  • the difference value (B5-G5) exceeds the threshold th, so only the B signal B6 has a large value, and the R signal R6 and the G signal G6 have small values. Therefore, the difference values (B6-G6) and (RBmax-G6) are large values.
  • the B saturation coefficient correction unit 19 If the correction coefficient kB01 is positive, the B saturation coefficient correction unit 19 generates a correction coefficient kB01 'that sets the correction coefficient kB01 to a small value or 0. If the correction coefficient kM02 is positive, the Mg saturation coefficient correction unit 20 generates a correction coefficient kM02 'that sets the correction coefficient kM02 to a small value or 0.
  • the correction coefficient kB01 ’ is used when the R signal R7 is generated using the equation (3) in the area Ar2, and when the R signal R7 is generated using the equation (4) in the area Ar3.
  • the difference value (B6-R6) in equation (3) and the difference value (B6-G6) in equation (4) are large values, but the correction coefficient kB01 'is corrected to a small value or 0.
  • the term of -kB01 (B6-R6) in the equation (3) and the term of -kB01 (B6-G6) in the equation (4) become a small value or 0.
  • the R signal R7 in the regions Ar2 and Ar3 has substantially the same value as the R signal R6, and is not corrected in the negative direction.
  • the correction coefficients kB01 ′ and kM02 ′ are used when the G signal G7 is generated using the equation (9) in the area Ar2.
  • the difference value (B6-R6) is a large value, since the correction coefficient kB01 'is corrected to a small value or 0, the term of -kB01 (B6-R6) becomes a small value or 0.
  • the G signal G7 in the area Ar2 has substantially the same value as the G signal G6, and is not corrected in the negative direction.
  • the luminance / color difference converter 9 outputs a large value.
  • the luminance signal Y can be generated by the B signal B8 based on the B signal B7.
  • the imaging device can generate the luminance signal Y, and can obtain a natural image with gradation.
  • the difference value (R5-G5) exceeds the threshold th, so that only the R signal R6 has a large value, and the G signal G6 and the B signal B6 have small values. Therefore, the difference values (R6-G6) and (RBmax-G6) are large. If the correction coefficient kR02 is positive, the R saturation coefficient correction unit 18 generates a correction coefficient kR02 'that sets the correction coefficient kR02 to a small value or 0. The operation of the Mg saturation coefficient correction unit 20 is the same as that under the second light source.
  • the correction coefficient kR02 ’ is used when the G signal G7 is generated using the equations (8) and (13) in the regions Ar1 and Ar6.
  • the difference value (R6-B6) is a large value, but the correction coefficient kR02 ′ is corrected to a small value or 0, so that the term of ⁇ kR02 (R6-B6) is a small value or 0.
  • the term of -kM02 (B6-G6) also becomes a small value or 0.
  • the difference value (R6-G6) is a large value, but the correction coefficient kR02 'is corrected to a small value or 0, so that the term of -kR02 (R6-G6) is also a small value or 0. And the term kY01 (G6-B6) is also a small value or 0.
  • the G signal G7 in the regions Ar1 and Ar6 has substantially the same value as the G signal G6, and is not corrected in the negative direction.
  • the luminance / color difference converter 9 can generate the luminance signal Y by the B signal B8 based on the B signal B7 having a large value. Therefore, the imaging device including the color correction device configured as described above can obtain a natural image having gradation even under the third light source.
  • the luminance / color difference conversion unit 9 can generate the luminance signal Y. You can get a toned natural image.
  • both the second light source, the third light source, the blue LED light source, and the red LED light source are present, and magenta Regardless of the case where light is emitted, the values of the correction coefficients kR02, kB01, and kM02, which are negative values, are maintained as they are. Therefore, the R signal R7 and the G signal G7 are not corrected in the negative direction, and the luminance / color difference converter 9 can generate the luminance signal Y.
  • the threshold values th and the attenuation coefficient of the correction coefficients k13, k14, and k18 to k20 can be individually set by the CPU.
  • the correction coefficient generator 10 may set the threshold th and the attenuation coefficient according to the color temperature of the light from the light source.
  • the present invention is not limited to the embodiments described above, and can be variously modified without departing from the gist of the present invention.
  • the characteristics of the correction coefficients k13, k14, and k18 to k20 are not limited to the characteristics in which the coefficient value decreases linearly when the threshold value th is exceeded as shown in FIG.
  • the characteristic may be such that the coefficient value gradually decreases in a curved shape.
  • portions other than the lens 1, the prism 2, and the imaging elements 3r, 3g, and 3b may be configured by a circuit by hardware, may be configured by software, or may be configured by mixing both. It may be.
  • the G coefficient correction unit 14 and the R The saturation coefficient correction unit 18 may be omitted.
  • the R coefficient correction unit 13 may be used.
  • the B saturation coefficient correction unit 19 may be omitted.
  • the embodiment described above has a configuration including the linear matrix circuit 6 and the color difference matrix circuit 7, but may have a configuration in which the color difference matrix circuit 7 is omitted.
  • the subtractors 15 to 17, the R saturation coefficient correction unit 18, the B saturation coefficient correction unit 19, and the Mg saturation coefficient correction unit 20 are also omitted.
  • the color difference matrix circuit 7 corrects the saturation of the colors of the R signal R6, the G signal G6, and the B signal B6 output from the linear matrix circuit 6, so that only the linear matrix circuit 6 is provided. Correcting only the signal R5, the G signal G5, and the B signal B5 is sufficiently effective.
  • the configuration and operation of the color correction device of the embodiment described above are summarized as follows.
  • the color correction device includes a linear matrix circuit 6.
  • the R signal R5, the G signal G5, and the B signal B5 are a first R signal, a first G signal, and a first B signal, respectively.
  • the R signal R6, the G signal G6, and the B signal B6 are a second R signal, a second G signal, and a second B signal.
  • the correction coefficients kRR, kRG, and kRB are respectively referred to as first to third correction coefficients, and the correction coefficients kGR, kGG, and kGB are referred to as fourth to sixth correction coefficients, respectively.
  • the correction coefficients and the correction coefficients kBR, kBG, and kBB are set as seventh to ninth correction coefficients, respectively.
  • the linear matrix circuit 6 performs a matrix operation on the first R signal, the first G signal, and the first B signal with a correction coefficient of 3 rows ⁇ 3 columns to obtain a second R signal and a second G signal. , And a second B signal.
  • the R coefficient correction unit 13 sets the first R signal as the first difference value increases.
  • the first correction coefficient to be multiplied is made closer to 1, and the second and third correction coefficients multiplied by the first G signal and the first B signal are corrected so as to be closer to zero.
  • the imaging device captures an image of the subject under the second light source, the first difference value exceeds the first threshold.
  • the color correction device sets the fifth correction coefficient by which the first G signal is multiplied to one. It is preferable to further include a G coefficient correction unit 14 that corrects the fourth and sixth correction coefficients, which are respectively multiplied by the first R signal and the first B signal, to approach zero.
  • the imaging device images the subject under the third light source, the second difference value exceeds the second threshold.
  • the color correction device further includes a color difference matrix circuit 7 that corrects the color saturation of the second R signal, the second G signal, and the second B signal.
  • a plurality of correction coefficients used in equations (2) to (7) are a tenth correction coefficient
  • a plurality of correction coefficients used in equations (8) to (13) are an eleventh correction coefficient
  • equations (14) to (14) are set as a twelfth correction coefficient.
  • the R signal R7, the G signal G7, and the B signal B7 are referred to as a third R signal, a third G signal, and a third B signal.
  • the color difference matrix circuit 7 multiplies the difference value of any two combinations of the second R signal, the second G signal, and the second B signal by the tenth correction coefficient.
  • the third R signal is generated by adding the first saturation correction values obtained as described above.
  • the color difference matrix circuit 7 generates a third G signal by adding the second G signal to a second saturation correction value obtained by multiplying the difference value by an eleventh correction coefficient. I do.
  • the color difference matrix circuit 7 adds a third chroma correction value obtained by multiplying the above difference value by a twelfth correction coefficient to the second B signal to generate a third B signal. I do.
  • the second saturation correction value is a negative value to attenuate the third G signal.
  • the color correction device further includes a saturation coefficient correction unit.
  • the saturation coefficient correction unit includes an R saturation coefficient correction unit 18, a B saturation coefficient correction unit 19, and a Mg saturation coefficient correction unit 20.
  • the saturation coefficient correction unit is not limited to a configuration including a plurality of saturation coefficient correction units.
  • the saturation coefficient correction unit determines whether the third G signal is corrected in the negative direction by the second saturation correction value. Correction is performed so that some correction coefficients approach 0.
  • the saturation coefficient correction unit is configured to adjust the third R signal so that the third R signal is not corrected in the negative direction by the first saturation correction value when the imaging apparatus captures an image of the subject under the second light source. It is preferable to perform correction so that some correction coefficients approach 0. In addition, it is preferable that when the imaging device captures an image of the subject under the third light source, the saturation coefficient correction unit corrects some other correction coefficients of the eleventh correction coefficient to approach zero.
  • the color difference matrix circuit 7 divides the color space into a plurality of regions, corrects the second R signal, the second G signal, and the second B signal for each region, and obtains a third R signal for each region. , A third G signal, and a third B signal.
  • the tenth to twelfth correction coefficients may be set as a combination of the correction coefficients multiplied by the difference value for each region.
  • the saturation coefficient correction unit corrects at least a part of the correction coefficient set in the first specific area of the plurality of areas to be close to 0 when the imaging apparatus images the subject under the second light source. do it.
  • the regions Ar1 to Ar3 are the first specific regions.
  • the saturation coefficient correction unit corrects at least a part of the correction coefficient set in the second specific area of the plurality of areas so as to approach zero. do it.
  • the regions Ar1 and Ar6 are the second specific regions. The first specific region and the second specific region may partially overlap.
  • the color correction device of the embodiment can automatically correct the color of the imaging signal so that the color becomes a natural color according to the type of the light source.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

リニアマトリクス回路(6)は、撮像装置が被写体を撮像することによって生成される第1のR信号、第1のG信号、第1のB信号に、第1~第3の補正係数、第4~第6の補正係数、第7~第9の補正係数よりなる3行×3列の補正係数をマトリクス演算して、第2のR信号、第2のG信号、第2のB信号を生成する。R係数補正部(13)は、第1のB信号から第1のG信号を減算した第1の差分値が第1の閾値を超えたら、第1の差分値が大きくなるほど、第1のR信号に乗算される第1の補正係数を1に近付け、第1のG信号及び第1のB信号にそれぞれ乗算される第2及び第3の補正係数を0に近付けるように補正する。

Description

色補正装置
 本開示は、撮像装置に用いられる色補正装置に関する。
 撮像装置に用いられる色補正装置は、撮像装置が、太陽またはハロゲンランプのような広帯域の波長を有する光源下で被写体を撮像したときに自然な色となるように撮像信号の色を補正するのが一般的である。
 近年、狭帯域の波長を有する光源としてLED光源が広く普及している。例えば青色LED光源が発する光は緑色の成分を含まない。撮像装置が青色LED光源下で被写体を撮像し、色補正装置が広帯域の波長を有する光源下で自然な色となるように撮像信号の色を補正するように設定されていると、撮像装置は被写体の自然な色を撮像することができない。
 そこで、従来の色補正装置は、広帯域の波長を有する光源下での撮像時に用いる色補正のモードと、狭帯域の波長を有するLED光源下での撮像時に用いる色補正のモードとを備える。ユーザは、撮像時の光源に応じて適切なモードを選択する。これにより、光源の種類にかかわらず、被写体の自然な色を撮像することができる。
特開2010-171844号公報 特開2001-359114号公報
 ところが、適切な色補正のモードを選択し忘れたり、誤選択したりした場合には、被写体の自然な色を撮像することができない。また、光源の種類に応じて色補正のモードを選択することは煩雑である。そこで、光源の種類に応じて自然な色となるように撮像信号の色を自動的に補正することができる色補正装置の登場が望まれる。
 実施形態は、光源の種類に応じて自然な色となるように撮像信号の色を自動的に補正することができる色補正装置を提供することを目的とする。
 実施形態の一態様によれば、撮像装置に用いられる色補正装置であり、前記撮像装置が被写体を撮像することによって生成される第1のR信号、第1のG信号、第1のB信号に、第1~第3の補正係数、第4~第6の補正係数、第7~第9の補正係数よりなる3行×3列の補正係数をマトリクス演算して、第2のR信号、第2のG信号、第2のB信号を生成するリニアマトリクス回路と、前記第1のB信号から前記第1のG信号を減算した第1の差分値が第1の閾値を超えたら、前記第1の差分値が大きくなるほど、前記第1のR信号に乗算される前記第1の補正係数を1に近付け、前記第1のG信号及び第1のB信号にそれぞれ乗算される前記第2及び第3の補正係数を0に近付けるように補正するR係数補正部とを備える色補正装置が提供される。
 実施形態の色補正装置によれば、光源の種類に応じて自然な色となるように撮像信号の色を自動的に補正することができる。
図1は、一実施形態の色補正装置を備える撮像装置を示すブロック図である。 図2は、基本的な構成の色補正装置を備える撮像装置を示すブロック図である。 図3は、図1及び図2における色差マトリクス回路7がR信号、G信号、B信号を補正するときの色空間の領域を示す図である。 図4は、人間の見た目に近いRGBの分光特性をITU規格のREC709の色空間に変換した特性を示す特性図である。 図5は、図1及び図2におけるR係数補正部13でR信号用の補正係数kRR、kRG、kRBの大きさを補正する補正係数k13を示す特性図である。
 以下、一実施形態の色補正装置について、添付図面を参照して説明する。図1に示す一実施形態の色補正装置の構成及び動作を説明する前に、図2を用いて、基本的な構成の色補正装置を備える撮像装置の構成及び動作を説明する。
 図2において、被写体からの光はレンズ1を介してプリズム2に入射される。レンズ1は複数枚のレンズを含む。プリズム2は、入射した光を赤色(R)、緑色(G)、青色(B)の波長帯に分離する。R用、G用、B用の撮像素子3r、3g、3bは、それぞれ、R信号R3、G信号G3、B信号B3を生成して出力する。撮像素子3r、3g、3bは例えばCMOSセンサであり、デジタル信号のR信号R3、G信号G3、B信号B3を出力する。
 撮像素子3r、3g、3bの代わりに、ベイヤ配列に代表されるカラーフィルタを備える単板の撮像素子が用いられてもよい。この場合には、単板の撮像素子より出力されたR信号、G信号、B信号が1フレーム内に混在する撮像信に基づいて、R信号、G信号、B信号それぞれのフレームの映像信号を生成するデモザイク処理回路が設けられる。なお、プリズム2は不要である。
 黒調整部4は、R信号R3、G信号G3、B信号B3の黒レベルを調整して、R信号R4、G信号G4、B信号B4を出力する。ホワイトバランス調整部5は、R信号R4、G信号G4、B信号B4に乗算するゲインを調整し、ホワイトバランスを調整したR信号R5、G信号G5、B信号B5を出力する。
 リニアマトリクス回路6は、R信号R5、G信号G5、B信号B5を補正してR信号R6、G信号G6、B信号B6を出力する。
 具体的には、リニアマトリクス回路6には、補正係数発生部10が発生したR信号用の補正係数kRR、kRG、kRBと、G信号用の補正係数kGR、kGG、kGBと、B信号用の補正係数kBR、kBG、kBBが入力される。リニアマトリクス回路6は、式(1)に示す行列式によって、R信号R5、G信号G5、B信号B5と、3行×3列の補正係数とをマトリクス演算して、R信号R5、G信号G5、B信号B5をR信号R6、G信号G6、B信号B6に変換する。
Figure JPOXMLDOC01-appb-M000001
 補正係数kRR、kRG、kRB、kGR、kGG、kGB、kBR、kBG、kBBは、太陽またはハロゲンランプのようなR、G、Bの全ての色成分を含む広帯域の波長を有する光源下で被写体を撮像したときに自然な色となるような値に設定されている。R、G、Bの全ての色成分を含む広帯域の波長を有する光源を第1の光源と称することとする。
 補正係数発生部10は、マイクロコンピュータの中央処理装置(CPU)によって構成することができる。勿論、補正係数発生部10がCPU以外によって構成されていてもよい。
 なお、3行×3列の補正係数において、補正係数kRRは補正係数kRG及びkRBより格段に大きい値であり、補正係数kGGは補正係数kGR及びkGBより格段に大きい値であり、補正係数kBBは補正係数kBR及びkBGより格段に大きい値である。
 色差マトリクス回路7は、R信号R6、G信号G6、B信号B6の色の彩度を補正してR信号R7、G信号G7、B信号B7を出力する。色差マトリクス回路7の具体的な動作は次のとおりである。
 色差マトリクス回路7には、補正係数発生部10が発生した補正係数kR01及びkR02、kG01及びkG02、kB01及びkB02、kY01及びkY02、kM01及びkM02、kC01及びkC02が入力される。
 補正係数kR01及びkR02、kG01及びkG02、kB01及びkB02は、それぞれ、R、G、Bの彩度を補正するための補正係数である。補正係数kY01及びkY02、kM01及びkM02、kC01及びkC02は、それぞれ、イエロ(Ye)、マゼンタ(Mg)、シアン(Cy)の彩度を補正するための補正係数である。
 図3は、色空間を平面的に示しており、円の周方向が色相を示し、径方向が彩度を示す。色空間はG-B=0、B-R=0、R-G=0を示す直線で6分割されている。6つの領域をAr1~Ar6とする。領域Ar1~Ar6には、それぞれ、Mg、B、Cy、G、Ye、Rの各色が存在している。
 色差マトリクス回路7は、各画素が図3に示す領域Ar1~Ar6のどこに位置しているかによって、画素単位でR信号R6、G信号G6、B信号B6を補正する。各画素が領域Ar1~Ar6のどこに位置しているかは、R信号R6、G信号G6、B信号B6の各差分値(G6-B6)、(B6-R6)、(R6-G6)の正負の符号によって決まる。
 色差マトリクス回路7は、画素が領域Ar1~Ar6に位置しているとき、それぞれ、式(2)~(7)に基づいてR信号R7を生成し、式(8)~(13)に基づいてG信号G7を生成し、式(14)~(19)に基づいてB信号B7を生成する。
 領域Ar1:R7=R6+{kR01(R6-B6)+kM01(B6-G6)} …(2)
 領域Ar2:R7=R6+{kM01(R6-G6)-kB01(B6-R6)} …(3)
 領域Ar3:R7=R6+{-kB01(B6-G6)-kC01(G6-R6)} …(4)
 領域Ar4:R7=R6+{-kG01(G6-B6)-kC01(B6-R6)} …(5)
 領域Ar5:R7=R6+{kY01(R6-B6)-kG01(G6-R6)} …(6)
 領域Ar6:R7=R6+{kR01(R6-G6)+kY01(G6-B6)} …(7)
 領域Ar1:G7=G6+{-kR02(R6-B6)-kM02(B6-G6)} …(8)
 領域Ar2:G7=G6+{-kB01(B6-R6)-kM02(R6-G6)} …(9)
 領域Ar3:G7=G6+{kC02(G6-R6)-kB01(B6-G6)} …(10)
 領域Ar4:G7=G6+{kG02(G6-B6)+kC02(B6-R6)} …(11)
 領域Ar5:G7=G6+{kG02(G6-R6)+kY01(R6-B6)} …(12)
 領域Ar6:G7=G6+{kY01(G6-B6)-kR02(R6-G6)} …(13)
 領域Ar1:B7=B6+{kM01(B6-G6)-kR02(R6-B6)} …(14)
 領域Ar2:B7=B6+{kB02(B6-R6)+kM01(R6-G6)} …(15)
 領域Ar3:B7=B6+{kB02(B6-G6)+kC02(G6-R6)} …(16)
 領域Ar4:B7=B6+{kC02(B6-R6)-kG01(G6-B6)} …(17)
 領域Ar5:B7=B6+{-kG01(G6-R6)-kY02(R6-B6)} …(18)
 領域Ar6:B7=B6+{-kR02(R6-G6)-kY02(G6-B6)} …(19)
 式(2)~(7)において、R信号R6に加算される値を第1の彩度補正値、式(8)~(13)において、G信号G6に加算される値を第2の彩度補正値、式(14)~(19)において、B信号B6に加算される値を第3の彩度補正値と称することとする。
 各色の彩度を高くしたり、低くしたりするために、補正係数kR01及びkR02、kG01及びkG02、kB01及びkB02、kY01及びkY02、kM01及びkM02、kC01及びkC02は、正の値または負の値とされる。補正係数kR01及びkR02、kG01及びkG02、kB01及びkB02、kY01及びkY02、kM01及びkM02、kC01及びkC02は、第1の光源下で被写体を撮像したときに自然な色となるような値に設定されている。
 ガンマ補正部8は、R信号R7、G信号G7、B信号B7をガンマ補正して、R信号R8、G信号G8、B信号B8を出力する。輝度色差変換部9は、公知の変換式を用いて、R信号R8、G信号G8、B信号B8を輝度信号Yと色差信号Cb及びCrに変換して出力する。
 図2において、撮像素子3r、3g、3bより出力される映像信号(R信号R3、G信号G3、B信号B3)は、人間の目に対応する理想の分光特性ではない。これは、プリズム2等の光学系の特性、撮像素子3r、3g、3bの分光感度特性が人間の目の特性とは異なるからである。色を補正しないと、輝度信号Yと色差信号Cb及びCrを図示していないモニタに表示させて人間が見たときの被写体の色と被写体の実際の色とが異なってしまう。
 そこで、リニアマトリクス回路6及び色差マトリクス回路7によって、モニタの色空間に合うように色を補正することによって、モニタに表示された被写体を人間が見たときの色と被写体の実際の色とを近付けることができる。
 一般的に、人間の見た目に近いRGBの分光特性は、CIE (1931) 2-deg color matching functionsで知られている特性である。図4は、その特性をITU(国際電気通信連合)規格のREC709の色空間に変換した特性である。図4の横軸は波長、縦軸は三刺激値であり、実線はR信号の特性、一点鎖線はG信号の特性、破線はB信号の特性を示している。
 撮像装置のRGBの総合特性を、リニアマトリクス回路6及び色差マトリクス回路7によって図4に近付ければ、人間が見たときの色と被写体の実際の色とを近付けることができる。但し、撮像装置では、R信号、G信号、B信号を負に補正したとしても負の波長領域では0にクリップされる。
 ITU709では、輝度色差変換部9は、式(20)に基づいて輝度信号Yを生成することが規格化されている。式(20)におけるR、G、Bの値は、図2においてはガンマ補正部8より出力されたR信号R8、G信号G8、B信号B8の値である。
 Y=0.2126R+0.7152G+0.0722B …(20)
 第1の光源下で被写体を撮像する場合には、RGBの総合特性をリニアマトリクス回路6及び色差マトリクス回路7によって図4に近付けたとしても、式(20)に基づき輝度信号Yを生成することができる。これは、第1の光源下で被写体に照射される光は、R、G、Bの全ての色成分を含む広帯域の波長を有するからである。
 しかしながら、青色LED光源のようなBの色成分のみを含む狭帯域の波長を有する光源下で被写体が撮像される場合がある。この場合、被写体にはBの色成分のみの光が照射されることもあるし、Bの色成分の光と、他の光源からのわずかな他の色成分を有する光とが混在することもある。このようなBの色成分が主である状態での撮像を第2の光源下での撮像と称することとする。
 第2の光源下で被写体を撮像する場合には、RGBの総合特性をリニアマトリクス回路6及び色差マトリクス回路7によって図4に近付けようとしても、輝度信号Yを適切に生成することができない。これは次の理由による。被写体に照射される光の波長域の大部分はBの波長域であり、B信号とR信号及びG信号との差が非常に大きい。RGBの総合特性を図4に近付けようとすると、R信号及びG信号が負方向に補正されて0にクリップされて、輝度信号Yの値が極めて小さくなるか、輝度信号Yの値が0になって輝度信号Yが生成されない。
 リニアマトリクス回路6によってRGBの総合特性を図4に近付けるために、式(1)に示す行列式における補正係数kRRは正、補正係数kRGは負の値とされる。補正係数kRBは前段の光学特性等に応じて正の場合も負の場合もあり得る。また、補正係数kGGは正、補正係数kGR及びkGBは負の値とされる。このようにリニアマトリクス回路6で用いられる補正係数は負の値を含むので、第2の光源下においてはR信号R5またはG信号G5が負の方向に補正されて0にクリップされてしまい、輝度信号Yが適切に生成されない。
 よって、第2の光源下では、青色で輝度の階調のない不自然な映像となってしまう。以上説明したLED光源下で発生する不具合は、青色LED光源下に限らず、赤色LED光源のようなRの色成分を主とする狭帯域の波長を有する第3の光源下、または、青色LED光源と赤色LED光源との双方が存在して被写体にマゼンタの光が照射される場合にも同様に発生する。
 次に、図1を用いて、LED光源下で発生する不具合を解消するようにリニアマトリクス回路6及び色差マトリクス回路7を動作させる一実施形態の色補正装置の構成及び動作を説明する。図1において、図2と同一部分には同一符号を付し、その説明を省略する。
 図1において、減算器11は、画素ごとに、ホワイトバランス調整部5より出力されたB信号B5からG信号G5を減算して差分値(B5-G5)を生成して、R係数補正部13に供給する。減算器12は、画素ごとに、ホワイトバランス調整部5より出力されたR信号R5からG信号G5を減算して差分値(R5-G5)を生成して、G係数補正部14に供給する。
 R係数補正部13は、差分値(B5-G5)の大きさに応じて、R信号用の補正係数kRR、kRG、kRBの大きさを補正する。G係数補正部14は、差分値(R5-G5)の大きさに応じて、G信号用の補正係数kGR、kGG、kGBの大きさを補正する。
 具体的には、R係数補正部13は、差分値(B5-G5)が所定の閾値thを超えたら、補正係数kRR、kRG、kRBの大きさを補正するための補正係数の大きさを減衰係数slope_BGの割合で減衰させる。ここでは減衰の精度が10ビットである場合を例とする。(B5-G5)-thの値をAとすると、(B5-G5)<thであるとき、またはB5<G5であるとき、A=0である。slope_BG×A/1024の値をslopeとする。
 なお、減衰係数は、R係数補正部13、G係数補正部14、及び、後述するR彩度係数補正部18、B彩度係数補正部19、Mg彩度係数補正部20が生成する補正係数の傾斜部分の傾きを示す。
 R信号用の補正係数kRR、kRG、kRBの大きさを補正する補正係数をk13とすると、R係数補正部13は、k13=1024-slope、slope≧1024のときk13=0と正規化する。図5は、補正係数k13を示す。
 R係数補正部13は、式(21)~(23)のように補正係数kRR、kRG、kRBを補正して、補正係数kRR’、kRG’、kRB’を生成する。
 kRR’=(kRR-1)×k13/1024+1 …(21)
 kRG’=kRG×k13/1024 …(22)
 kRB’=kRB×k13/1024 …(23)
 図5に示す補正係数k13の特性及び式(21)~(23)より分かるように、R係数補正部13は、差分値(B5-G5)が閾値thを超えたら、差分値(B5-G5)が大きくなるほど補正係数kRG及びkRBを0に近付け、補正係数kRRを1に近付ける。R係数補正部13は、このように生成した補正係数kRR’、kRG’、kRB’をリニアマトリクス回路6に供給する。
 同様に、G係数補正部14は、差分値(R5-G5)が所定の閾値thを超えたら、補正係数kGR、kGG、kGBの大きさを補正するための補正係数を減衰係数slope_RGの割合で減衰させる。(R5-G5)-thの値をAとすると、(R5-G5)<thであるとき、またはR5<G5であるとき、A=0である。slope_RG×A/1024の値をslopeとする。
 G信号用の補正係数kGR、kGG、kGBの大きさを補正する補正係数をk14とすると、G係数補正部14は、k14=1024-slope、slope≧1024のときk14=0と正規化する。補正係数k14は図5に示す補正係数k13と同様の特性である。但し、補正係数k14における閾値thと減衰係数slope_RGは、補正係数k13における閾値thと減衰係数slope_BGとは同じ値とは限らない。閾値thと減衰係数slope_RGは補正係数k14に対応して設定される。
 G係数補正部14は、式(24)~(26)のように補正係数kGR、kGG、kGBを補正して、補正係数kGR’、kGG’、kGB’を生成する。
 kGR’=kGR×k14/1024 …(24)
 kGG’=(kGG-1)×k14/1024+1 …(25)
 kGB’=kGB×k14/1024 …(26)
 補正係数k14及び式(24)~(26)より分かるように、G係数補正部14は、差分値(R5-G5)が閾値thを超えたら、差分値(R5-G5)が大きくなるほど補正係数kGR及びkGBを0に近付け、補正係数kGGを1に近付ける。G係数補正部14は、このように生成した補正係数kGR’、kGG’、kGB’をリニアマトリクス回路6に供給する。
 リニアマトリクス回路6は、式(1)に示す行列式によって、補正係数kRR、kRG、kRBの代わりにR係数補正部13より供給された補正係数kRR’、kRG’、kRB’を用いてR信号R5をR信号R6に変換する。リニアマトリクス回路6は、式(1)に示す行列式によって、補正係数kGR、kGG、kGBの代わりにG係数補正部14より供給された補正係数kGR’、kGG’、kGB’を用いてG信号G5をG信号G6に変換する。
 リニアマトリクス回路6は、式(1)に示す行列式によって、補正係数発生部10より供給された補正係数kBR、kBG、kBBをそのまま用いてB信号B5をB信号B6に変換する。
 さらに図1において、減算器15は、画素ごとに、リニアマトリクス回路6より出力されたR信号R6からG信号G6を減算して差分値(R6-G6)を生成して、R彩度係数補正部18に供給する。減算器16は、画素ごとに、リニアマトリクス回路6より出力されたB信号B6からG信号G6を減算して差分値(B6-G6)を生成して、B彩度係数補正部19に供給する。減算器16は、画素ごとに、R信号R6とB信号B6とのうちの大きい方の信号RBmaxからG信号G6を減算して差分値(RBmax-G6)を生成して、Mg彩度係数補正部20に供給する。
 R彩度係数補正部18は、差分値(R6-G6)の大きさに応じて、補正係数kR02の大きさを補正する。B彩度係数補正部19は、差分値(B6-G6)の大きさに応じて、補正係数kB01の大きさを補正する。Mg彩度係数補正部20は、差分値(RBmax-G6)の大きさに応じて、補正係数kM02の大きさを補正する。
 具体的には、R彩度係数補正部18は、差分値(R6-G6)が所定の閾値thを超えたら、補正係数kR02の大きさを補正するための補正係数を減衰係数slope_RGの割合で減衰させる。(R6-G6)-thの値をAとすると、(R6-G6)<thであるとき、またはR6<G6であるとき、A=0である。slope_RG×A/1024の値をslopeとする。
 R信号の彩度を補正するための補正係数kR02の大きさを補正する補正係数をk18とすると、R彩度係数補正部18は、k18=1024-slope、slope≧1024のときk18=0と正規化する。R彩度係数補正部18は、式(27)または(28)のように補正係数kR02を補正して、補正係数kR02’を生成する。
 kR02’=kR02×k18/1024 (kR02>0であるとき) …(27)
 kR02’=kR02 (kR02>0以外であるとき) …(28)
 補正係数k18は図5と同様の特性であるが、補正係数k18における閾値thと減衰係数slope_RGは、補正係数k13における閾値thと減衰係数slope_BGまたは補正係数k14における閾値thと減衰係数slope_RGとは同じ値とは限らない。閾値th及び減衰係数slope_RGは補正係数k18に対応して設定される。
 式(27)及び(28)より分かるように、R彩度係数補正部18は、補正係数kR02が正の値であれば、差分値(R6-G6)が大きくなるほど補正係数kR02を0に近付け、補正係数kR02が負の値であれば、差分値(R6-G6)の大きさにかかわらず、そのままの値とする。R彩度係数補正部18は、補正係数kR01と、以上のように補正した補正係数kR02’とを色差マトリクス回路7に供給する。
 同様に、B彩度係数補正部19は、差分値(B6-G6)が所定の閾値thを超えたら、補正係数kB01の大きさを補正するための補正係数を減衰係数slope_BGの割合で減衰させる。(B6-G6)-thの値をAとすると、(B6-G6)<thであるとき、またはB6<G6であるとき、A=0である。slope_BG×A/1024の値をslopeとする。
 B信号の彩度を補正するための補正係数kB01の大きさを補正する補正係数をk19とすると、B彩度係数補正部19は、k19=1024-slope、slope≧1024のときk19=0と正規化する。B彩度係数補正部19は、式(29)または(30)のように補正係数kB01を補正して、補正係数kB01’を生成する。
 kB01’=kB01×k19/1024 (kB01>0であるとき) …(29)
 kB01’=kB01 (kB01>0以外であるとき) …(30)
 補正係数k19は図5と同様の特性であるが、補正係数k19における閾値thと減衰係数slope_BGは、補正係数k18における閾値thと減衰係数slope_RGとは同じ値とは限らない。閾値thと減衰係数slope_BGは補正係数k19に対応して設定される。
 式(29)及び(30)より分かるように、B彩度係数補正部19は、補正係数kB01が正の値であれば、差分値(B6-G6)が大きくなるほど補正係数kB01を0に近付け、補正係数kB01が負の値であれば、差分値(B6-G6)の大きさにかかわらず、そのままの値とする。B彩度係数補正部19は、以上のように補正した補正係数kB01’と、補正係数kB02とを色差マトリクス回路7に供給する。
 Mg彩度係数補正部20は、差分値(RBmax-G6)が所定の閾値thを超えたら、補正係数kM02の大きさを補正するための補正係数を減衰係数slope_RBmaxの割合で減衰させる。(RBmax-G6)-thの値をAとすると、(RBmax-G6)<thであるとき、またはRBmax<G6であるとき、A=0である。slope_RBmax×A/1024の値をslopeとする。
 Mg信号の彩度を補正するための補正係数kM02の大きさを補正する補正係数をk20とすると、Mg彩度係数補正部20は、k20=1024-slope、slope≧1024のときk20=0と正規化する。Mg彩度係数補正部20は、式(31)または(32)のように補正係数kM02を補正して、補正係数kM02’を生成する。
 kM02’=kM2×k20/1024 (kM02>0であるとき) …(31)
 kM02’=kM02 (kM02>0以外であるとき) …(32)
 補正係数k20は図5と同様の特性であるが、補正係数k20における閾値thと減衰係数slope_RBmaxは、補正係数k18における閾値thと減衰係数slope_RG、補正係数k19における閾値thと減衰係数slope_BGとは同じ値とは限らない。閾値thと減衰係数slope_RBmaxは補正係数k20に対応して設定される。
 式(31)及び(32)より分かるように、Mg彩度係数補正部20は、補正係数kM02が正の値であれば、差分値(RBmax-G6)が大きくなるほど補正係数kM02を0に近付け、補正係数kM02が負の値であれば、差分値(RBmax-G6)の大きさにかかわらず、そのままの値とする。Mg彩度係数補正部20は、補正係数kM01と、以上のように補正した補正係数kM02’とを色差マトリクス回路7に供給する。
 色差マトリクス回路7は、式(2)~(19)によって、補正係数kR01及びkR02’、kG01及びkG02、kB01’及びkB02、kY01及びkY02、kM01及びkM02’、kC01及びkC02を用いて、R信号R7、G信号G7、B信号B7を生成する。
 式(8)~(10)及び(13)より分かるように、補正係数kR02、kB01、kM02が正の値であれば、補正係数kR02、kB01、kM02は輝度信号Yの主成分であるG信号G7を減少させ輝度信号Yを低減させるように作用する。一方、補正係数kR02、kB01、kM02が負の値であれば、補正係数kR02、kB01、kM02はG信号G7を増加させ輝度信号Yを増大させるように作用する。
 なお、通常、第1の光源下での撮像時にRGBの総合特性を図4に近付けようとするために、補正係数kR02、kB01、kM02は正の値とされる。
 以上のように構成される色補正装置を備える撮像装置において、第1の光源下で通常の被写体を撮像するときには、差分値(B5-G5)及び差分値(R5-G5)は閾値thを超えない。よって、リニアマトリクス回路6は、第1の光源下で被写体を撮像したときに自然な色となるようにR信号R5、G信号G5、B信号B5をR信号R6、G信号G6、B信号B6に変換する。
 さらに、色差マトリクス回路7は、式(2)~(19)に基づき、R信号R6、G信号G6、B信号B6に、領域Ar1~Ar6ごとに設定された色差の成分を加算または減算する。第1の光源下で補正係数kR02、kB01、kM02が正の値であるとき、G信号G6に加算される第2の彩度補正値(特に、領域Ar1及びAr2における第2の彩度補正値)は負の値である。よって、色差マトリクス回路7は、第1の光源下でさらに自然な色となるようにG信号G7を減衰するように色を補正する。
 第2の光源下では、差分値(B5-G5)及び差分値(R5-G5)は閾値thを超える。よって、リニアマトリクス回路6は、R信号R5、G信号G5、B信号B5と、補正係数kRR’、kRG’、kRB’、kGR’、kGG’、kGB’、kBR、kBG、kBBよりなる補正係数とをマトリクス演算する。これにより、リニアマトリクス回路6は、第2の光源下で被写体を撮像したときに適したR信号R6、G信号G6、B信号B6を生成する。
 第2の光源下では差分値(B5-G5)は閾値thを超えるのでB信号B6のみが大きな値となり、R信号R6及びG信号G6は小さな値となる。よって、差分値(B6-G6)及び(RBmax-G6)は大きな値となる。B彩度係数補正部19は、補正係数kB01が正であれば、補正係数kB01を小さな値または0とする補正係数kB01’を生成する。Mg彩度係数補正部20は、補正係数kM02が正であれば、補正係数kM02を小さな値または0とする補正係数kM02’を生成する。
 補正係数kB01’は、領域Ar2において式(3)を用いてR信号R7を生成するとき、及び、領域Ar3において式(4)を用いてR信号R7を生成するときに用いられる。このとき、式(3)の差分値(B6-R6)及び式(4)の差分値(B6-G6)は大きな値であるが、補正係数kB01’は小さな値または0に補正されているから、式(3)の-kB01(B6-R6)及び式(4)の-kB01(B6-G6)の項は小さな値または0となる。
 差分値(R6-G6)及び(G6-R6)の値は小さな値であるから、式(3)のkM01(R6-G6)及び式(4)の-kC01(G6-R6)の項は小さな値または0となる。
 従って、領域Ar2及びAr3におけるR信号R7はR信号R6とほぼ同じ値となり、負方向に補正されない。
 また、補正係数kB01’及びkM02’は、領域Ar2において式(9)を用いてG信号G7を生成するときに用いられる。このとき、補正係数kM02’は小さな値または0に補正されており、差分値(R6-G6)の値は小さな値であるから、-kM02(R6-G6)の項は小さな値または0となる。差分値(B6-R6)は大きな値であるが、補正係数kB01’は小さな値または0に補正されているため、-kB01(B6-R6)の項は小さな値または0となる。
 従って、領域Ar2におけるG信号G7はG信号G6とほぼ同じ値となり、負方向に補正されない。
 式(20)より分かるように、G信号G7が負の値とならなれなければ、好ましくはR信号R7及びG信号G7が負の値とならなれなければ、輝度色差変換部9は、大きな値であるB信号B7に基づくB信号B8によって輝度信号Yを生成することができる。
 以上のように構成される色補正装置によれば、第2の光源下で、G信号G7がG信号G6に加算される第2の彩度補正値によって負方向に補正されず、R信号R7もR信号R6に加算される第1の彩度補正値によって負方向に補正されない。よって、撮像装置は、輝度信号Yを生成することができ、階調がある自然な映像を得ることができる。
 また、第3の光源下では差分値(R5-G5)は閾値thを超えるのでR信号R6のみが大きな値となり、G信号G6及びB信号B6は小さな値となる。よって、差分値(R6-G6)及び(RBmax-G6)は大きな値となる。R彩度係数補正部18は、補正係数kR02が正であれば、補正係数kR02を小さな値または0とする補正係数kR02’を生成する。Mg彩度係数補正部20の動作は第2の光源下の場合と同様である。
 補正係数kR02’は、領域Ar1及びAr6において式(8)及び(13)を用いてG信号G7を生成するときに用いられる。式(8)において、差分値(R6-B6)は大きな値であるが、補正係数kR02’は小さな値または0に補正されているため、-kR02(R6-B6)の項は小さな値または0となり、-kM02(B6-G6)の項も小さな値または0となる。
 式(13)において、差分値(R6-G6)は大きな値であるが、補正係数kR02’は小さな値または0に補正されているため、-kR02(R6-G6)の項も小さな値または0となり、kY01(G6-B6)の項も小さな値または0となる。
 従って、領域Ar1及びAr6におけるG信号G7はG信号G6とほぼ同じ値となり、負方向に補正されない。同様に、輝度色差変換部9は、大きな値であるB信号B7に基づくB信号B8によって輝度信号Yを生成することができる。よって、以上のように構成される色補正装置を備える撮像装置は、第3の光源下においても階調がある自然な映像を得ることができる。
 青色LED光源と赤色LED光源との双方が存在して被写体にマゼンタの光が照射される場合も同様に、輝度色差変換部9は輝度信号Yを生成することができるので、撮像装置は、階調がある自然な映像を得ることができる。
 なお、補正係数kR02、kB01、kM02が負の値とされる場合には、第2の光源下、第3の光源下、青色LED光源及び赤色LED光源との双方が存在して被写体にマゼンタの光が照射される場合のいずれであっても、負の値である補正係数kR02、kB01、kM02の値がそのまま維持される。従って、R信号R7及びG信号G7が負方向に補正されることはなく、輝度色差変換部9は輝度信号Yを生成することができる。
 図1において、補正係数発生部10がCPUによって構成される場合、補正係数k13、k14、k18~k20の各閾値th及び減衰係数は、CPUによって個別に設定することができる。補正係数発生部10は、光源からの光の色温度に応じて閾値th及び減衰係数を設定してもよい。
 本発明は、以上説明した実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。補正係数k13、k14、k18~k20の特性は、図5に示すような閾値thを超えたら、係数値が線形的に漸減する特性に限定されない。係数値が曲線状に漸減する特性であってもよい。
 図1に示す撮像装置または色補正装置を構成する際、ハードウェアとソフトウェア(コンピュータプログラム)との使い分けは任意である。図1において、レンズ1、プリズム2、撮像素子3r、3g、3b以外の部分はハードウェアによる回路で構成されていてもよいし、ソフトウェアで構成されていてもよいし、両者が混在して構成されていてもよい。
 図1に示す撮像装置が第3の光源下で使用されることがなく、第1及び第2の光源下で使用されることのみを考慮すれば十分であるときには、G係数補正部14及びR彩度係数補正部18を省略してもよい。また、図1に示す撮像装置が第2の光源下で使用されることがなく、第1及び第3の光源下で使用されることのみを考慮すれば十分であるときには、R係数補正部13及びB彩度係数補正部19を省略してもよい。
 以上説明した実施形態は、リニアマトリクス回路6及び色差マトリクス回路7を備える構成であるが、色差マトリクス回路7を省略した構成とすることができる。この場合、減算器15~17、R彩度係数補正部18、B彩度係数補正部19、Mg彩度係数補正部20も省略される。上記のように色差マトリクス回路7はリニアマトリクス回路6より出力されたR信号R6、G信号G6、B信号B6の色の彩度を補正するものであるから、リニアマトリクス回路6のみを備えてR信号R5、G信号G5、B信号B5を補正するだけでも十分に効果的である。
 以上説明した実施形態の色補正装置の構成及び動作をまとめると次のとおりである。色補正装置はリニアマトリクス回路6を備える。R信号R5、G信号G5、B信号B5をそれぞれ第1のR信号、第1のG信号、第1のB信号とする。R信号R6、G信号G6、B信号B6を第2のR信号、第2のG信号、第2のB信号とする。
 リニアマトリクス回路6で用いられる3行×3列の補正係数において、補正係数kRR、kRG、kRBをそれぞれ第1~第3の補正係数、補正係数kGR、kGG、kGBをそれぞれ第4~第6の補正係数、補正係数kBR、kBG、kBBをそれぞれ第7~第9の補正係数とする。リニアマトリクス回路6は、第1のR信号、第1のG信号、及び第1のB信号に3行×3列の補正係数をマトリクス演算して、第2のR信号、第2のG信号、第2のB信号を生成する。
 R係数補正部13は、第1のB信号から第1のG信号を減算した第1の差分値が第1の閾値を超えたら、第1の差分値が大きくなるほど、第1のR信号に乗算される第1の補正係数を1に近付け、第1のG信号及び第1のB信号にそれぞれ乗算される第2及び第3の補正係数を0に近付けるように補正する。撮像装置が第2の光源下で被写体を撮像するとき、第1の差分値は第1の閾値を超える。
 以上の構成及び動作によって、撮像装置が第2の光源下で被写体を撮像する場合であっても、階調がある自然な映像を得ることができる。
 色補正装置は、第1のR信号から第1のG信号を減算した第2の差分値が第2の閾値を超えたら、第1のG信号に乗算される第5の補正係数を1に近付け、第1のR信号及び第1のB信号にそれぞれ乗算される第4及び第6の補正係数を0に近付けるように補正するG係数補正部14をさらに備えることが好ましい。撮像装置が第3の光源下で被写体を撮像するとき、第2の差分値は第2の閾値を超える。
 色補正装置は、第2のR信号、第2のG信号、第2のB信号の色の彩度を補正する色差マトリクス回路7をさらに備えることが好ましい。
 式(2)~(7)において用いられる複数の補正係数を第10の補正係数、式(8)~(13)において用いられる複数の補正係数を第11の補正係数、式(14)~(19)において用いられる複数の補正係数を第12の補正係数とする。R信号R7、G信号G7、B信号B7を第3のR信号、第3のG信号、第3のB信号とする。
 色差マトリクス回路7は、第2のR信号に、第2のR信号、第2のG信号、第2のB信号のうちの任意の2つの組み合わせの差分値に第10の補正係数を乗算することによって得られた第1の彩度補正値を加算して、第3のR信号を生成する。
 色差マトリクス回路7は、第2のG信号に、上記の差分値に第11の補正係数を乗算することによって得られた第2の彩度補正値を加算して、第3のG信号を生成する。色差マトリクス回路7は、第2のB信号に、上記の差分値に第12の補正係数を乗算することによって得られた第3の彩度補正値を加算して、第3のB信号を生成する。
 ここで、撮像装置が第1の光源下で被写体を撮像するとき、第2の彩度補正値は、第3のG信号を減衰させるために負の値とされているとする。
 色補正装置は彩度係数補正部をさらに備える。彩度係数補正部は、R彩度係数補正部18、B彩度係数補正部19、Mg彩度係数補正部20によって構成されている。但し、彩度係数補正部が複数の彩度係数補正部によって構成されることに限定されない。
 撮像装置が第2の光源下で被写体を撮像するとき、彩度係数補正部は、第3のG信号が第2の彩度補正値によって負方向に補正されないように、第11の補正係数における一部の補正係数を0に近付けるよう補正する。
 色差マトリクス回路7及び彩度係数補正部を備えることによって、撮像装置が第2の光源下で被写体を撮像する場合であっても、階調があって、さらに自然な映像を得ることができる。
 彩度係数補正部は、撮像装置が第2の光源下で被写体を撮像するとき、第3のR信号が第1の彩度補正値によって負方向に補正されないように、第10の補正係数における一部の補正係数を0に近付けるよう補正することが好ましい。また、彩度係数補正部は、撮像装置が第3の光源下で被写体を撮像するとき、第11の補正係数における他の一部の補正係数を0に近付けるよう補正することが好ましい。
 色差マトリクス回路7は、色空間を複数の領域に分割して、第2のR信号、第2のG信号、第2のB信号を領域ごとに補正して、領域ごとに第3のR信号、第3のG信号、第3のB信号を生成することが好ましい。色空間の領域の分割数は6に限定されないが、図3に示すように、G-B=0、B-R=0、R-G=0を示す直線で6分割するのがよい。
 色空間が複数の領域に分割されている場合、第10~第12の補正係数は、領域ごとに上記の差分値に乗算される補正係数の組み合わせとして設定されていればよい。彩度係数補正部は、撮像装置が第2の光源下で被写体を撮像するとき、複数の領域のうちの第1の特定の領域において設定された補正係数の少なくとも一部を0に近付けるよう補正すればよい。一例として、領域Ar1~Ar3が第1の特定の領域である。
 彩度係数補正部は、撮像装置が第3の光源下で被写体を撮像するとき、複数の領域のうちの第2の特定の領域において設定された補正係数の少なくとも一部を0に近付けるよう補正すればよい。一例として、領域Ar1及びAr6が第2の特定の領域である。第1の特定の領域と第2の特定の領域とは一部が重複していてもよい。
 以上の構成及び動作により、実施形態の色補正装置は、光源の種類に応じて自然な色となるように撮像信号の色を自動的に補正することができる。
 本願の開示は、2018年6月18日に出願された特願2018-115318号に記載の主題と関連しており、それらの全ての開示内容は引用によりここに援用される。

Claims (8)

  1.  撮像装置に用いられる色補正装置であり、
     前記撮像装置が被写体を撮像することによって生成される第1のR信号、第1のG信号、第1のB信号に、第1~第3の補正係数、第4~第6の補正係数、第7~第9の補正係数よりなる3行×3列の補正係数をマトリクス演算して、第2のR信号、第2のG信号、第2のB信号を生成するリニアマトリクス回路と、
     前記第1のB信号から前記第1のG信号を減算した第1の差分値が第1の閾値を超えたら、前記第1の差分値が大きくなるほど、前記第1のR信号に乗算される前記第1の補正係数を1に近付け、前記第1のG信号及び第1のB信号にそれぞれ乗算される前記第2及び第3の補正係数を0に近付けるように補正するR係数補正部と、
     を備える色補正装置。
  2.  前記第1のR信号から前記第1のG信号を減算した第2の差分値が第2の閾値を超えたら、前記第1のG信号に乗算される前記第5の補正係数を1に近付け、前記第1のR信号及び第1のB信号にそれぞれ乗算される前記第4及び第6の補正係数を0に近付けるように補正するG係数補正部をさらに備える請求項1に記載の色補正装置。
  3.  前記第2のR信号に、前記第2のR信号、第2のG信号、第2のB信号のうちの任意の2つの組み合わせの差分値に複数の補正係数よりなる第10の補正係数を乗算することによって得られた第1の彩度補正値を加算し、前記第2のG信号に、前記差分値に複数の補正係数よりなる第11の補正係数を乗算することによって得られた第2の彩度補正値を加算し、前記第2のB信号に、前記差分値に複数の補正係数よりなる第12の補正係数を乗算することによって得られた第3の彩度補正値を加算して、第3のR信号、第3のG信号、第3のB信号を生成する色差マトリクス回路を備え、
     前記第2の彩度補正値は、前記撮像装置がR、G、Bの全ての色成分を含む広帯域の波長を有する第1の光源下で被写体を撮像するときに前記第3のG信号を減衰させるように負の値とされており、
     前記撮像装置がBの色成分を主とする狭帯域の波長を有する第2の光源下で被写体を撮像するとき、前記第3のG信号が前記第2の彩度補正値によって負方向に補正されないように、前記第11の補正係数における一部の補正係数を0に近付けるよう補正する彩度係数補正部をさらに備える
     請求項1または2に記載の色補正装置。
  4.  前記彩度係数補正部は、前記撮像装置が前記第2の光源下で被写体を撮像するとき、前記第3のR信号が前記第1の彩度補正値によって負方向に補正されないように、前記第10の補正係数における一部の補正係数を0に近付けるよう補正する請求項3に記載の色補正装置。
  5.  前記撮像装置がRの色成分を主とする含む狭帯域の波長を有する第3の光源下で被写体を撮像するとき、前記彩度係数補正部は、前記第11の補正係数における他の一部の補正係数を0に近付けるよう補正する請求項3または4に記載の色補正装置。
  6.  前記色差マトリクス回路は、色空間を複数の領域に分割して前記第2のR信号、第2のG信号、第2のB信号を前記領域ごとに補正して、前記領域ごとに前記第3のR信号、第3のG信号、第3のB信号を生成し、
     前記第10~第12の補正係数は、前記領域ごとに前記差分値に乗算される補正係数の組み合わせとして設定されており、
     前記彩度係数補正部は、前記撮像装置が前記第2の光源下で被写体を撮像するとき、前記複数の領域のうちの第1の特定の領域において設定された補正係数の少なくとも一部を0に近付けるよう補正する
     請求項5に記載の色補正装置。
  7.  前記彩度係数補正部は、前記撮像装置が前記第3の光源下で被写体を撮像するとき、第2の特定の領域において設定された補正係数の少なくとも一部を0に近付けるよう補正する請求項6に記載の色補正装置。
  8.  前記色差マトリクス回路は、色空間を、G-B=0、B-R=0、R-G=0を示す直線によって6つの領域に分割し、前記6つの領域ごとに、前記第2のR信号、第2のG信号、第2のB信号を補正して前記第3のR信号、第3のG信号、第3のB信号を生成する請求項6または7に記載の色補正装置。
PCT/JP2019/022907 2018-06-18 2019-06-10 色補正装置 WO2019244691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980024943.9A CN111955004B (zh) 2018-06-18 2019-06-10 颜色校正装置
EP19823217.5A EP3809699B1 (en) 2018-06-18 2019-06-10 Color correction device
US17/081,398 US11368655B2 (en) 2018-06-18 2020-10-27 Color correction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018115318A JP6879268B2 (ja) 2018-06-18 2018-06-18 色補正装置
JP2018-115318 2018-06-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/081,398 Continuation US11368655B2 (en) 2018-06-18 2020-10-27 Color correction device

Publications (1)

Publication Number Publication Date
WO2019244691A1 true WO2019244691A1 (ja) 2019-12-26

Family

ID=68984019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022907 WO2019244691A1 (ja) 2018-06-18 2019-06-10 色補正装置

Country Status (5)

Country Link
US (1) US11368655B2 (ja)
EP (1) EP3809699B1 (ja)
JP (1) JP6879268B2 (ja)
CN (1) CN111955004B (ja)
WO (1) WO2019244691A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4071542A4 (en) 2019-12-05 2023-01-25 Koito Manufacturing Co., Ltd. IMAGE DISPLAY DEVICE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143512A (ja) * 1993-11-12 1995-06-02 Sony Corp ビデオカメラ装置
JP2000022977A (ja) * 1998-07-03 2000-01-21 Hitachi Denshi Ltd 色補正回路およびその方法
JP2001359114A (ja) 2000-06-09 2001-12-26 Fuji Photo Film Co Ltd 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
JP2010171844A (ja) 2009-01-26 2010-08-05 Panasonic Corp 色補正装置
JP2018115318A (ja) 2017-01-18 2018-07-26 三洋化成工業株式会社 活性エネルギー線硬化型樹脂組成物

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10242037A1 (de) * 2002-09-11 2004-03-25 Bts Media Solutions Gmbh Anordnung zur Korrektur von Farbvideosignalen
US7162078B2 (en) * 2002-12-20 2007-01-09 Fast Link Communication Corp. Automatic white balance correction method for image capturing apparatus
JP4058420B2 (ja) * 2004-02-19 2008-03-12 キヤノン株式会社 映像信号補正方法及び映像信号補正装置
US7583303B2 (en) * 2005-01-31 2009-09-01 Sony Corporation Imaging device element
JP4293174B2 (ja) * 2005-09-28 2009-07-08 ソニー株式会社 撮像装置および画像処理装置
JP4424292B2 (ja) * 2005-09-28 2010-03-03 ソニー株式会社 撮像装置、露出制御方法およびプログラム
CN101543084A (zh) * 2006-11-30 2009-09-23 Nxp股份有限公司 处理彩色图像数据的装置和方法
JP4924677B2 (ja) * 2009-08-21 2012-04-25 カシオ計算機株式会社 光源装置、投影装置及び投影方法
KR101068653B1 (ko) * 2009-11-17 2011-09-28 연세대학교 산학협력단 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP5932309B2 (ja) * 2010-12-13 2016-06-08 キヤノン株式会社 色処理装置、色処理方法、及びプログラム
CN102572206B (zh) * 2010-12-31 2015-05-13 比亚迪股份有限公司 一种色彩校正方法
JP5782324B2 (ja) * 2011-07-25 2015-09-24 日本放送協会 色補正装置および色補正処理方法
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
CN102752604B (zh) * 2012-06-18 2015-04-29 深圳创维-Rgb电子有限公司 一种图像显示方法及智能设备
EP2796086A4 (en) * 2012-09-18 2015-09-09 Olympus Medical Systems Corp LIGHT SOURCE DEVICE AND METHOD FOR LIGHT CONTROL OF A LIGHT SOURCE DEVICE
CN103227928B (zh) * 2013-03-29 2015-04-29 华为技术有限公司 白平衡的调整方法及装置
JP5901667B2 (ja) * 2014-02-10 2016-04-13 オリンパス株式会社 画像処理装置及び方法、画像処理プログラム、撮像装置
KR102239160B1 (ko) * 2014-11-10 2021-04-13 삼성디스플레이 주식회사 표시장치 및 그 구동 방법
TWI543631B (zh) * 2014-11-21 2016-07-21 恆景科技股份有限公司 適用於雙模式影像裝置的影像處理系統
JP6633273B2 (ja) * 2014-12-05 2020-01-22 株式会社メガチップス 色信号処理装置及び色信号処理方法
CN105336307B (zh) * 2015-11-18 2018-02-23 深圳创维-Rgb电子有限公司 一种基于色温的显示器gamma曲线校正方法及系统
CN106454305B (zh) * 2016-11-14 2018-09-18 浙江宇视科技有限公司 白平衡校正方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143512A (ja) * 1993-11-12 1995-06-02 Sony Corp ビデオカメラ装置
JP2000022977A (ja) * 1998-07-03 2000-01-21 Hitachi Denshi Ltd 色補正回路およびその方法
JP2001359114A (ja) 2000-06-09 2001-12-26 Fuji Photo Film Co Ltd 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
JP2010171844A (ja) 2009-01-26 2010-08-05 Panasonic Corp 色補正装置
JP2018115318A (ja) 2017-01-18 2018-07-26 三洋化成工業株式会社 活性エネルギー線硬化型樹脂組成物

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3809699A4

Also Published As

Publication number Publication date
EP3809699B1 (en) 2022-07-06
EP3809699A1 (en) 2021-04-21
CN111955004A (zh) 2020-11-17
EP3809699A4 (en) 2021-06-09
CN111955004B (zh) 2022-02-25
JP2019220785A (ja) 2019-12-26
US11368655B2 (en) 2022-06-21
US20210044784A1 (en) 2021-02-11
JP6879268B2 (ja) 2021-06-02

Similar Documents

Publication Publication Date Title
US9992469B2 (en) Imaging processing device and imaging processing method
KR100993047B1 (ko) 디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치
US10165242B2 (en) Image-capturing method and image-capturing device
US6995791B2 (en) Automatic white balance for digital imaging
US7773136B2 (en) Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
WO2010053029A1 (ja) 画像入力装置
WO2010116923A1 (ja) 画像入力装置
JP4892909B2 (ja) 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP6534824B2 (ja) 撮像装置、および撮像装置の制御方法
US8384799B2 (en) Image processing apparatus and image processing method
WO2019244691A1 (ja) 色補正装置
JP3921499B2 (ja) カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
KR20100082452A (ko) 이미지 신호 처리 장치 및 방법
TWI543631B (zh) 適用於雙模式影像裝置的影像處理系統
JP3966866B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP7299762B2 (ja) 画像処理装置および方法、撮像装置、プログラム
JP3966868B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP2003070009A (ja) 撮像装置
WO2018061615A1 (ja) 撮像装置
JP4240257B2 (ja) 電子カメラ
JP4397724B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP3880276B2 (ja) 撮像装置
JP2010161452A (ja) 赤外線照射式撮像装置
KR20050006424A (ko) 색신호 처리방법 및 그 방법을 사용하는 촬상장치
KR20100079479A (ko) 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19823217

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019823217

Country of ref document: EP

Effective date: 20210118