WO2015111197A1 - 撮像装置及び車載撮像システム - Google Patents

撮像装置及び車載撮像システム Download PDF

Info

Publication number
WO2015111197A1
WO2015111197A1 PCT/JP2014/051557 JP2014051557W WO2015111197A1 WO 2015111197 A1 WO2015111197 A1 WO 2015111197A1 JP 2014051557 W JP2014051557 W JP 2014051557W WO 2015111197 A1 WO2015111197 A1 WO 2015111197A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
imaging
coefficient
pixel
Prior art date
Application number
PCT/JP2014/051557
Other languages
English (en)
French (fr)
Inventor
吉田　大輔
雄一 野中
朋和 石原
塩川　淳司
西澤　明仁
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to PCT/JP2014/051557 priority Critical patent/WO2015111197A1/ja
Publication of WO2015111197A1 publication Critical patent/WO2015111197A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present invention relates to an imaging device and an in-vehicle imaging system using the imaging device.
  • Patent Document 1 As a background art of this technical field, the following Patent Document 1 is already known, and in the gazette, in particular, Claim 1 of the claim includes “an imaging unit that images an object and generates an image”
  • a color temperature information calculation unit for calculating color temperature information of the subject, and a plurality of color reproduction matrices for each of a natural light source and at least one type of artificial light source, the type of light source and position coordinates in a predetermined color space
  • the color reproduction matrix associated with the position coordinate close to the position coordinate corresponding to the color temperature information in the color space from the recording unit associated with the color reproduction matrix and the color reproduction matrix recorded in the recording unit
  • the two color reproduction matrices associated with the same type of light source and the two or less color reproduction matrices associated with light sources different from the light source Based on the selected plurality of color reproduction matrices, the correction color reproduction matrix is calculated by performing an interpolation process based on the position coordinates of the color reproduction matrix and the position coordinates corresponding to the color temperature information.
  • Patent Document 1 only describes the sensitivity characteristics in the visible light region, and includes an imaging unit including pixels having sensitivity in the visible region and the near infrared region and pixels having sensitivity in the near infrared region. There is still room for improvement in color reproducibility when using this method to capture a color image.
  • luminance signal processing when a color image is captured using an imaging unit including pixels having sensitivity in the visible region and near-infrared region and pixels having sensitivity in the near-infrared region. Such luminance signal processing still has room for improvement.
  • the present invention has been made in view of the above-described problems in the prior art, and more specifically, the object of the present invention is to obtain a luminance that can identify an object even in a dark place with the human naked eye.
  • An imaging apparatus capable of generating a signal and an in-vehicle imaging system using the imaging apparatus are provided.
  • a visible light near infrared region pixel having sensitivity in the visible region and the near infrared region an imaging unit including a near infrared region pixel having sensitivity only in the near infrared region, and the visible light near red region
  • a color difference signal processing unit that synthesizes a color difference signal based on signals from an outer region pixel and the near infrared region pixel, and a luminance that generates a luminance signal based on signals from the visible light near infrared region pixel and the near infrared region pixel
  • a coefficient control for outputting a coefficient for controlling luminance signal synthesis processing based on the signal amount of the visible light near-infrared pixel and the signal amount of the near-infrared region pixel.
  • the coefficient control unit is configured to output a signal synthesis ratio in the color difference signal processing unit from the coefficient control unit in accordance with a signal amount of a visible light region pixel of the luminance signal processing unit.
  • An imaging device controlled based on a coefficient, or Vehicle imaging system utilizing a is provided.
  • an imaging apparatus capable of providing an imaging device capable of generating a luminance signal for obtaining an image that can identify an object even in a dark place with the human naked eye.
  • FIG. 1 is a configuration diagram of an imaging apparatus (Examples 1 to 3) according to the present invention.
  • FIG. It is a figure which shows an example of the arrangement
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus 100 according to the first embodiment of the present invention.
  • the imaging apparatus 100 includes a lens 101, an imaging unit 102, a (red region + near infrared region) (hereinafter, (R + I)) signal demosaicing unit 103, and a (green region + near infrared region) (hereinafter, (G + I)).
  • R + I red region + near infrared region
  • G + I green region + near infrared region
  • Signal demosaicing unit 104 (blue region + near infrared region) (hereinafter, (B + I)) signal demosaicing unit 105, near infrared region (hereinafter, I) signal demosaicing unit 106, color matrix operation unit 107, ( Auto white balance (hereinafter, AWB) gain unit 108, R signal gamma computing unit 109, G signal gamma computing unit 110, B signal gamma computing unit 111, color difference computing unit (1) 112, color difference computing unit (2) 113, luminance Matrix calculation unit 114, high frequency enhancement unit 115, luminance signal gamma calculation unit 116, visible light amount detection unit 117, near infrared light amount detection unit 118, control unit 119, AWB detection Composed of 120.
  • R represents red region (light)
  • G is the green region (light)
  • I is representative of the near-infrared region (light).
  • the lens 101 is a lens that forms an image of light coming from the subject.
  • the imaging unit 102 includes (R + I) pixels, (G + I) pixels, (B + I) pixels that are pixels having sensitivity in both the visible region and the near infrared region, and I pixels that are pixels having sensitivity in the near infrared region. Consists of Each pixel performs photoelectric conversion and A / D conversion on the light imaged by the lens 101, and outputs a signal from each pixel, which is digital data.
  • the (R + I) signal demosaicing unit 103 performs interpolation processing on the signal from the (R + I) pixel output from the imaging unit 102, and corresponds to the positions of the other (G + I) pixel, (B + I) pixel, and I pixel.
  • the (R + I) signal is output.
  • the (G + I) signal demosaicing unit 104 performs an interpolation process on the signal from the (G + I) pixel output from the imaging unit 102 and outputs a (G + I) signal.
  • the (B + I) signal demosaicing unit 105 performs an interpolation process on the signal from the (B + I) pixel output from the imaging unit 102 and outputs a (B + I) signal.
  • the I signal demosaicing unit 106 performs an interpolation process on the signal from the I pixel output from the imaging unit 102 and outputs the I signal.
  • the color matrix calculation unit 107 includes signals output from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106, and a control unit.
  • the R signal, G signal, and B signal which are color signals, are output from the subtraction coefficient and color matrix coefficient output from 120 by calculation.
  • the AWB gain unit 108 adds the AWB gain corresponding to the color temperature of the light source to the color signal output from the color matrix calculation unit 107, and outputs the color signal.
  • the R signal gamma computing unit 109 performs gamma computation on the R signal output from the AWB gain unit 108 and outputs the R signal.
  • the G signal gamma calculation unit 110 performs gamma calculation on the G signal output from the AWB gain unit 108 and outputs the G signal.
  • the B signal gamma computing unit 111 performs gamma computation on the B signal output from the AWB gain unit 108 and outputs the B signal.
  • the color difference calculation unit (1) 112 and the color difference calculation unit (2) 113 are the color difference signal 1 and the color difference from the color signals output from the R signal gamma calculation unit 109, the G signal gamma calculation unit 110, and the B signal gamma calculation unit 111, respectively.
  • Signal 2 is generated.
  • ITU-R International Telecommunication Union-Radiocommunications Sector
  • the color difference is obtained according to 709, and the color difference signal 1 can be Pb which is a color difference signal mainly indicating a difference between blue and luminance, and the color difference signal 2 can be Pr which is a color difference signal mainly indicating a difference between red and luminance.
  • the color difference signal (1) and the color difference signal (2) are output to the outside of the imaging apparatus 100.
  • the luminance matrix calculation unit 114 receives luminance signals from signals output from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106, respectively. Generate.
  • the high-frequency emphasizing unit 115 performs processing for enhancing high spatial frequency components from the luminance signal output from the luminance matrix calculation unit 114, and outputs a luminance signal that sharpens the contour portion (edge) in the image. To do.
  • the luminance signal gamma calculation unit 116 performs gamma correction processing on the luminance signal output from the high frequency emphasizing unit 115 and outputs the luminance signal to the outside of the imaging apparatus 100.
  • the luminance signal, the color difference signal 1 and the color difference signal 2 output to the outside of the imaging device 1200 are color image signal outputs.
  • the visible light amount detection unit 117 receives a pixel of interest from signals output from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106, respectively.
  • the amount of radiated light in the peripheral visible region is detected and output as a signal amount in the visible region.
  • the target pixel means a pixel on which calculation is performed.
  • the near-infrared light amount detection unit 118 is configured to output signals from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106, respectively.
  • the amount of emitted light in the near infrared region around the pixel of interest is detected and output as a signal amount in the visible region.
  • the AWB detection unit 119 includes the color difference signal 1 and the color difference signal 2 output from the color difference calculation unit (1) 112 and the color difference calculation unit (2) 113, the luminance signal output from the luminance signal gamma calculation unit 116, and the control unit 120.
  • a white balance deviation is detected from the output signal indicating the AWB detection range, and a white balance detection signal is output.
  • the control unit 120 optimally subtracts the light amount near the target pixel from the signal amount in the visible region output from the visible light amount detection unit 117 and the signal amount in the near infrared region output from the near infrared light amount detection unit 118.
  • the coefficient and the color matrix coefficient are determined and output to the color matrix calculation unit 107.
  • control unit 120 is optimal for the light source near the target pixel from the signal amount in the visible region output from the visible light amount detection unit 117 and the signal amount in the near infrared region output from the near infrared light amount detection unit 118.
  • a signal indicating a valid AWB detection range is generated and output to the AWB detection unit 119.
  • the imaging device that captures a color image using an imaging unit composed of pixels having sensitivity in the visible region and near infrared region and pixels having sensitivity in the near infrared region, the influence of near infrared light is considered.
  • color matrix processing and subtraction processing By performing color matrix processing and subtraction processing, a color difference signal with good color reproducibility can be obtained.
  • the color matrix calculation unit 107 includes, for example, an I subtraction unit 121, an R signal matrix calculation unit 122, a G signal matrix calculation unit 123, and a B signal matrix calculation unit 124 calculation unit.
  • the I subtraction unit 121 calculates a value obtained by multiplying the I signal output from the I signal demosaicing unit 106 by a coefficient (subtraction coefficient) from the (R + I) signal output from the (R + I) signal demosaicing unit 103. Subtract to generate an R signal. Further, the I subtraction unit 121 subtracts a value obtained by multiplying the I signal output from the I signal demosaicing unit 106 by the subtraction coefficient from the (G + I) signal output from the (G + I) signal demosaicing unit 104. A G signal is generated.
  • the I subtractor 121 subtracts a value obtained by multiplying the I signal output from the I signal demosaicing unit 106 by the subtraction coefficient from the (B + I) signal output from the (B + I) signal demosaicing unit 105, A B signal is generated.
  • a B signal is generated.
  • the R signal matrix calculation unit 122 generates and outputs an R signal with better color reproducibility from the R signal, G signal, and B signal output from the I subtraction unit 121 by matrix calculation.
  • the G signal matrix calculation unit 123 generates and outputs a G signal with better color reproducibility from the R signal, G signal, and B signal output from the I subtraction unit 121 by matrix calculation.
  • the B signal matrix calculation unit 122 generates and outputs a B signal having better color reproducibility from the R signal, G signal, and B signal output from the I subtraction unit 121 by matrix calculation.
  • the color matrix coefficient and the subtraction coefficient can be controlled in accordance with the signal amount in the visible region and the signal amount in the near infrared region.
  • the image pickup apparatus 100 can obtain a color difference signal with good color reproducibility even when a color image is picked up using an image pickup unit including a pixel having high sensitivity and a pixel having sensitivity in the near infrared region. Can be provided.
  • FIG. 2 is a diagram illustrating an example of the arrangement of pixels of the image sensor of the imaging unit 102.
  • the four color pixels of (R + I) pixel 201, (G + I) pixel 202, I pixel 203, and (B + I) pixel 204 form a unit configuration of 2 ⁇ 2 pixels, and the unit configuration is vertical. ⁇ It is repeatedly arranged on each side.
  • each (R + I) pixel 201 has a photodiode 302 formed on a silicon substrate 301, and a G region above each. A filter 304 for cutting light and B region light is formed. The outputs of these photodiodes 302 are output as (R + I) signals via the readout circuit 306.
  • reference numeral 307 denotes a sample and hold circuit constituting the readout circuit
  • 308 denotes a constant current source.
  • Reference numeral 309 denotes a horizontal scanning circuit.
  • the switch 310 is turned on by an output from the circuit, and an (R + I) signal is extracted.
  • Reference numeral 311 denotes a vertical scanning circuit.
  • the switch 312 is turned on by an output from the circuit, and a voltage from the power source 313 is applied to the photodiode described above.
  • each of the (G + I) pixels 202 similarly, as shown in FIGS. 4A and 4B, a photodiode 401 is formed on the silicon substrate 301, and above the G region light, A filter 402 for cutting the B region light is formed.
  • the outputs of these photodiodes 401 are output as (G + I) signals via the readout circuit 306, as described above.
  • Other circuit configurations are the same as described above, and the description thereof is omitted here.
  • a photodiode 303 is formed on a silicon substrate 301. Above the photodiode 303, R region light and G region light are formed. And a filter 305 for cutting the B region light. The outputs of these photodiodes 303 are output as I signals via the readout circuit 306. Other circuit configurations are the same as described above, and the description thereof is omitted here.
  • each (B + I) pixel 204 is similar to the (R + I) pixel 201 and (G + I) pixel 202 described above, that is, as shown in FIGS. 6A and 6B, a photo is formed on the silicon substrate 301.
  • a diode 601 is formed, and a filter 602 for cutting R region light and G region light is formed above the diode 601.
  • the outputs of these photodiodes 601 are connected in series and output as a (B + I) signal via the readout circuit 306.
  • Other circuit configurations are the same as described above, and the description thereof is omitted here.
  • FIG. 7 is a diagram showing an example of wavelength sensitivity characteristics of each pixel included in each pixel of the image sensor shown in FIGS.
  • the imaging unit 102 includes (R + I) pixels that are sensitive to the red region (R) 301 in the visible region and the near-infrared region (I) 302 (see FIG. 7A), and green in the visible region.
  • four types of pixels are included: (B + I) pixels (see FIG. 7D) having sensitivity in the blue region (B) 311 in the visible region and the near infrared region I 312.
  • the purpose of using an imaging device having sensitivity in the near-infrared region as shown in FIG. 7 is to provide sensitivity in the near-infrared region in addition to the visible region, such as sunlight and halogen lamps.
  • the minimum illuminance is improved in an environment under a light source that radiates at both wavelengths in the near-infrared region, and reflection characteristics and light-emitting characteristics peculiar to the near-infrared region of the subject are detected.
  • the component in the near-infrared region (I) becomes an unnecessary wavelength component from the viewpoint of reproducibility of the sensitivity characteristic with respect to the color of the human eye.
  • the sensitivity to the near-infrared region (I) included in each pixel shown in FIG. 7 is substantially the same, for example, if the output signal of the I pixel is subtracted from the output signal of the (R + I) pixel, A signal having sensitivity in the red region (R) can be obtained.
  • the near-infrared region (I) included in each pixel is different, the near-infrared region (I) is adjusted by adjusting a coefficient (subtraction coefficient described later) for subtraction. Can be reduced.
  • a coefficient subtraction coefficient described later
  • the sensitivity characteristics of the near-infrared region (I) vary among the pixels, and each pixel includes unnecessary wavelength components as described later. A specific method for reducing the decrease in color reproducibility due to this variation will be described below, focusing on the operations of the color matrix calculation unit 107 and the AWB gain unit 108.
  • the color matrix calculation unit 107 outputs an R signal, a G signal, and a B signal that are color signals based on the (R + I) signal, (G + I) signal, (B) signal, and (I) signal output from the imaging unit 102. To do.
  • the I subtractor 121 removes signal components in the near-infrared region and outputs color signals R1, G1, and B1 having sensitivity in the visible light amount region.
  • R1 (R + I) ⁇ ki1 ⁇ I
  • G1 (G + I) ⁇ ki2 ⁇ I
  • B1 (B + I) ⁇ ki3 ⁇ I
  • (ki1, ki2, ki3) are subtraction coefficients.
  • R2 R signal
  • G2 G signal
  • B2 B signal
  • R2 krr * R1 + krg * G1 + krb * B1
  • G2 kgr ⁇ R1 + kgg ⁇ G1 + kgb ⁇ B1
  • B2 kbr ⁇ R1 + kbg ⁇ G1 + kbb ⁇ B1
  • (krr, krg, krb, kgr, kgg, kgb, kbr, kbg, kbb) is a color matrix coefficient.
  • the red component (R), green component (G), and blue component (B) have sensitivity to the same wavelength.
  • R2 krr2 * (R + I) + krg2 * (G + I) + Krb2 ⁇ (B + I) + kii2 ⁇ I
  • G2 kgr2 ⁇ (R + I) + kgg2 ⁇ (G + I) + Kgb2 ⁇ (B + I) + kgi2 ⁇ I
  • B2 krr2 * (R + I) + krg2 * (G + I) + Krb2 ⁇ (B + I) + kii2 ⁇ I
  • (krr2, krg2, krb2, kri2, kgr2, kgg2, kgb2, kgi2, kbr2, kbg2, kbb2, kbi2) is a color matrix coefficient.
  • the color matrix calculation unit 107 includes an I subtraction unit 121, an R signal matrix calculation unit 122, a G signal matrix calculation unit 123, and a B signal matrix calculation unit 124. 3 may be realized. In that case, the number of operation stages is reduced, so that the latency when realized by hardware is improved.
  • the AWB gain unit 108 performs the following calculation according to the color temperature of the light source.
  • R3 kr ⁇ R2
  • G3 kg ⁇ G2 (Formula 4)
  • B3 kb ⁇ B2
  • (kr, kg, kb) is a coefficient called AWB gain.
  • the wavelength sensitivity characteristics (302, 306, 309, and 312 in FIGS. 7A to 7D) of the components in the near-infrared region (I) of each pixel vary, and simply Only by subtracting the signal value of the I pixel, the near-infrared region (I) component cannot be optimally reduced.
  • each pixel contains unnecessary wavelength components.
  • the red region (R) 301 and the near infrared region (I) 302 in FIGS. 7A to 7D are effective wavelength components, and FIGS. Reference numerals 303 and 304 in d) are unnecessary wavelength components.
  • These unnecessary wavelength components (303, 304, 307, 308, 310, and 313 in FIGS. 7A to 7D) are desirably zero, but are not zero. Therefore, the signal value of the I pixel is subtracted.
  • unintended wavelength components have positive and negative sensitivities.
  • the light source emits one radiant energy in the red region (R), green region (G), and blue region (B) of the visible light amount region.
  • Other wavelengths, including the near infrared region (I) have very little or no radiation. In such a case, there is almost no influence of variations in the near infrared region (I), but it is affected by unnecessary wavelength components.
  • the light source when a halogen lamp is used as a light source, the light source has higher radiant energy in the near infrared region than in the visible region. In such a case, the influence of variations in the near-infrared region (I) becomes large, while the influence of unnecessary wavelength components becomes relatively small.
  • the light source is a near-infrared projector that emits only the near-infrared region (I), colors cannot be reproduced.
  • the color matrix calculation unit 107 aims to achieve good color reproduction by minimizing these influences and adjusting how the characteristics of each wavelength component overlap. In this way, the visible region included in the light source Depending on the difference in radiant energy in the near-infrared region, the influence of unnecessary wavelength components and variations varies.
  • the matrix coefficient is fixed, or when the color matrix is controlled in the color space as in the method of Patent Document 1, the difference in the radiant energy between the visible region and the near infrared region cannot be considered. There is a problem that good color reproduction cannot be obtained. Therefore, in order to solve this problem, the present invention introduces means for selecting a subtraction coefficient and a color matrix coefficient according to the difference in radiant energy between the visible region and the near infrared region included in the light source. .
  • the means and effects will be described below.
  • the visible light amount detection unit 117, the near infrared light amount detection unit 118, and the control unit 120 shown in FIG. 1 are used to detect the difference in radiant energy between the visible region and the near infrared region included in the light source. .
  • the visible light amount detection unit 117 detects the signal amount Yd in the visible region around the target pixel, for example, by the following calculation.
  • Yd ⁇ (kyd1 ⁇ ((R + I) ⁇ kid1 ⁇ I) + Kyd2 ⁇ ((G + I) ⁇ kid2 ⁇ I) + Kyd3 ⁇ ((B + I) ⁇ kid3 ⁇ I)) (Formula 5)
  • kid1, kid2, kid3, kyd1, kyd2, and kyd3 are coefficients
  • ⁇ is the sum of signal amounts around the pixel of interest.
  • the near-infrared light amount detection unit 118 detects the signal amount Id in the near-infrared region around the target pixel by, for example, the following calculation.
  • Id ⁇ I (Formula 6)
  • ⁇ indicates the total signal amount around the target pixel.
  • the area to be summed is the same as in the case of Equation 5 above.
  • Equations 5 and 6 are performed for each pixel or for each frame or field of a moving image.
  • FIG. 8 is an example of a flowchart of a color matrix coefficient determination method in the control unit 120.
  • control unit 120 reads the visible light amount Yd from the visible light amount detection unit 117, and reads the near infrared light amount signal Id from the near infrared light amount detection unit 118.
  • step 403 the control unit 120 derives the light amount subtraction result D as follows.
  • D Yd ⁇ Id (Expression 7)
  • step 404 and step 405 the control unit 120 determines a subtraction coefficient and color matrix coefficient set Mat (3) based on the light amount subtraction result D (hereinafter referred to as Mat (*) (here, * Is an arbitrary number) represents a combination of a subtraction coefficient and a color matrix coefficient).
  • Mat (*) (here, * Is an arbitrary number) represents a combination of a subtraction coefficient and a color matrix coefficient).
  • D is relatively high under a light source having high radiant energy in the visible region, such as under a fluorescent lamp, and D under a light source having high radiant energy in the near infrared region, such as a halogen lamp.
  • control unit 120 can estimate the type of the light source based on the tendency of the light amount subtraction result D, and a set of color matrix coefficients and subtraction coefficients Mat (3) appropriate for the type of light source. Can be generated.
  • step 406 the control unit 120 outputs the color matrix coefficient and subtraction coefficient set Mat3 to the color matrix calculation unit 107.
  • FIGS. 9A to 9C are diagrams showing a method for deriving the color matrix coefficient and the subtraction coefficient from the light amount subtraction result.
  • the color matrix coefficient and the subtraction coefficient are determined in advance for the skip value of the light amount subtraction result.
  • D is predetermined when D is ⁇ 255, ⁇ 128, 0, 128, and 255.
  • the value of Yd ⁇ Id can take a value from 0 to 255, and values are determined in advance at substantially equal intervals for both ends and three points therebetween.
  • two sets of coefficients close to the value of D are selected.
  • the selected first coefficient set is Mat1 (501 to 504, 514 to 516, 527 to 528), and the selected second coefficient set is Mat2 (505 to 508, 517 to 520, 529).
  • Mat3 a set of coefficients determined by interpolation for each coefficient from the set of two coefficients according to the value of D is defined as Mat3 (509 to 512, 521 to 524, 533 to 536).
  • the color matrix coefficient is set to 0 so as to be optimal for a near-infrared projector.
  • the optimum subtraction coefficient and color matrix coefficient are set for fluorescent lamps (specialized for removing unnecessary wavelength components in the visible region) at 255, and the values between them are appropriately set. It is determined to take an intermediate value of. In this way, the optimum subtraction coefficient and color matrix can be selected for each region in the screen or when the light source changes in time series, thereby improving color reproducibility. The effect that it can be obtained.
  • the ratio in order to obtain the same effect, the ratio can be obtained by dividing Yd and Id, but the circuit scale can be reduced by using subtraction.
  • FIG. 10 is an explanatory diagram showing a method of controlling the AWB detection range in the control unit 120.
  • the color difference signal 1 output from the color difference calculation unit (1) 112 in FIG. 1 is indicated on the horizontal axis 601 in FIG. 10, and the output value of the color difference signal 2 output from the color difference calculation unit (2) 113 is indicated in FIG.
  • the vertical axis 602 of FIG. On the color difference plane, AWB detection ranges 603 and 604 are defined.
  • the AWB detection range indicates a range of a color difference level of a pixel regarded as white in AWB.
  • the AWB detection ranges 603 and 604 are defined by rectangles with a threshold value provided for each axis.
  • the present invention is not limited to this and can be defined by any shape. good.
  • the AWB detection unit 119 (see FIG. 1) is a color difference signal of all pixels in which both the color difference signal 1 (here Pb) and the color difference signal 2 (here Pr) of each pixel are within the AWB detection range 604.
  • the average value Pba of 1Pb and the average value Pba of the color difference signal 2Pr are obtained, and these (Pba, Pra) are output to the control unit 120 (see FIG. 1).
  • kr, kg, kb) are adjusted. For example, when Pba is high, the value of kb is decreased, and when Pba is low, the value of kb is increased. When Pra is high, the value of kr is decreased, and when Pra is low, the value of kr is increased.
  • the control unit 120 records the adjusted AWB gain inside the control unit 120 and outputs it to the AWB gain unit 108.
  • the AWB detection range at a certain color matrix coefficient and subtraction coefficient is indicated by 603 in FIG. Although it has already been shown that the subtraction coefficient and the color matrix are controlled by the flowchart of FIG. 8, as a result, the color difference signal 1 and the color difference signal 2 change due to the change of the subtraction coefficient and the color matrix coefficient. That is, the AWB detection range also changes.
  • the AWB detection range is also corrected according to changes in the subtraction coefficient and the color matrix coefficient. If there is a change in the subtraction coefficient and the color matrix coefficient from the original AWB detection range 603, the above expression 1 to expression 4 and, for example, BT. Based on the color difference calculation formula 709, the axes of the color difference signal 1 and the color difference signal 2 change.
  • a corrected range is determined in advance for the AWB detection range.
  • the AWB detection range 604 is determined based on the value of the light quantity subtraction result D of the above formula 7, the values of kr, kg, kb, and the value of the luminance signal.
  • the optimum subtraction coefficient and color matrix can be selected, and color reproducibility can be improved. The effect of being able to be obtained is obtained.
  • the imaging apparatus according to the second embodiment has the same configuration as that of the first embodiment, and the structure will not be described here. However, the processing contents in the control unit 120 (FIG. 1) are different from those in the first embodiment.
  • FIG. 11 is an example of a flowchart of a processing content in the control unit 120, that is, a color matrix coefficient determination method in the second embodiment.
  • step 701 the control unit 120 reads the visible signal amount Yd from the visible light amount detection unit 117.
  • the control unit 120 determines a set Mat (3) of a subtraction coefficient and a color matrix coefficient from the signal amount in the visible region. For example, under a light source with high radiant energy in the visible region, such as a fluorescent lamp or a halogen lamp, and when the reflectance of the subject is high, Yd becomes high, while the light source is hardly hit or near red Under a light source with high radiant energy in the outer region, Yd tends to be a relatively low value. The control unit 120 can estimate the type of the light source based on the Yd tendency, and generate an appropriate color matrix coefficient and subtraction coefficient set Mat3 according to the type of the light source.
  • a light source with high radiant energy in the visible region such as a fluorescent lamp or a halogen lamp
  • step 704 the control unit 120 outputs the color matrix coefficient and subtraction coefficient set Mat (3) to the color matrix calculation unit 107.
  • Steps 702 and 703 described above will be described in more detail with reference to FIGS. 12 (a) to 12 (c).
  • FIGS. 12A to 12C are diagrams showing a method for deriving the color matrix coefficient and the subtraction coefficient from the signal amount in the visible region.
  • a color matrix coefficient and a subtraction coefficient are determined in advance for the jump value of the signal amount Yd in the visible region.
  • Yd is 0, 64, 128, 192, 255.
  • the value of Yd can take a value from 0 to 255, and the values are determined in advance at substantially equal intervals for both ends and the three points therebetween.
  • two sets of coefficients close to the value of Yd are selected.
  • the selected first coefficient set is Mat1 (801 to 804, 814 to 816, 827 to 828), and the selected second coefficient set is Mat2 (805 to 808, 817 to 820, 829 to 832). ).
  • Mat (3) the set of coefficients determined by interpolation for each coefficient from the set of two coefficients according to the value of Yd is defined as Mat (3) (809 to 812, 821 to 824, 833 to 836).
  • a near-infrared projector for example, a color matrix coefficient is brought close to 0 to make an achromatic color.
  • the optimum subtraction coefficient and color matrix coefficient are set for fluorescent lamps (specialized for removing unnecessary wavelength components in the visible region), and the intermediate values are appropriately set between them. Decide to take it. In this way, the optimum subtraction coefficient and color matrix can be selected for each region in the screen or when the light source changes in time series, thereby improving color reproducibility. The effect that it can be obtained.
  • the signal amount in the near infrared region is not used. Therefore, a configuration in which the near-infrared light amount detection unit 118 is excluded from FIG. In that case, the effect that the circuit scale can be reduced is obtained.
  • FIG. 13 shows an example of a flowchart of a color matrix coefficient determination method in the control unit 120 in the third embodiment.
  • control unit 120 reads the visible light amount Yd from the visible light amount detector 117 and the near infrared light amount signal Id from the near infrared light amount detector 118.
  • the control unit 120 determines a subtraction coefficient and color matrix coefficient set Mat5 from the combination of the signal amount Yd in the visible region and the signal amount Id in the near-infrared region. Since there is a characteristic in the radiant energy characteristic for each wavelength depending on the type of the light source, the type of the light source mainly irradiated in the vicinity of the target pixel can be estimated by the combination of Yd and Id. For example, when both Yd and Id are high, the lamp is a halogen lamp. On the other hand, when Yd is high and Id is low, the lamp is a fluorescent lamp. Further, when Yd is low and Id is high, the near infrared is used. It can be estimated that the projector is a projector. An appropriate color matrix coefficient and subtraction coefficient set Mat (5) is generated according to the estimated type of light source.
  • step 905 the control unit 120 outputs the determined coefficient set Mat (5) to the color matrix calculation unit (107 in FIG. 1) in step 905.
  • Steps 903 and 904 will be described in more detail with reference to FIG.
  • FIG. 14 is a diagram showing a method for deriving a color matrix coefficient and a subtraction coefficient from the signal amount Yd in the visible region and the signal amount Id in the near-infrared region.
  • a color matrix coefficient and a subtraction coefficient are determined in advance for combinations of jump values of Yd and Id. For example, in FIG. 14, when Yd and Id are 0, 64, 128, 192, and 255, respectively, a set of color matrix coefficients and subtraction coefficients is determined.
  • the values of Yd and Id can take values of 0 to 255, and the values are determined in advance at substantially equal intervals for both ends and three points therebetween.
  • each coefficient is defined in a table for a combination of jump values of (Yd, Id).
  • the color matrix and the subtraction coefficient suitable for the light source can be obtained with higher accuracy. Since the color reproducibility can be improved, an effect can be obtained.
  • FIG. 15 is a block diagram illustrating a configuration of an imaging apparatus 1100 according to the fourth embodiment of the present invention. Also in this embodiment, the same components as those described above are denoted by the same reference numerals.
  • the imaging apparatus 1100 includes a lens 101, an imaging unit 102, an (R + I) signal demosaicing unit 103, a (G + I) signal demosaicing unit 104, a (B + I) signal demosaicing unit 105, an I signal demosaicing unit 106, and a color matrix calculation unit.
  • the high frequency enhancement unit 115, the luminance signal gamma calculation unit 116, the visible light amount detection unit 1102, the near infrared light amount detection unit 118, the control unit 119, and the AWB detection unit 120 are configured.
  • the color matrix calculation unit 1107 includes, for example, an I subtraction unit 121, an R signal matrix calculation unit 122, a G signal matrix calculation unit 123, and a B signal matrix calculation unit 124 calculation unit.
  • the configuration of the imaging apparatus 1100 according to the fourth embodiment illustrated in FIG. 15 is different from the configuration of the imaging apparatus 100 according to the first embodiment illustrated in FIG. 1 in the color matrix calculation unit 1101 and the visible light amount detection unit 1102. Other than that, the configuration is the same.
  • the color matrix calculation unit 1101 in FIG. 15 has basically the same configuration as the color matrix calculation unit 107 in FIG. 1, but the output of the I subtraction unit 121, which is an intermediate output thereof, is a visible light detection unit. The configuration differs in that it is output to 1102.
  • the visible light amount detection unit 1102 in FIG. 15 is different from the visible light amount detection unit 117 in FIG. 1 in that the color signals R1, G1, and B1 output from the I subtraction unit 121 are input.
  • the operation of the color matrix calculation unit 1101 will be described. First, as in the case of the first embodiment, the signal components in the near-infrared region are removed, and the color signals R1, G1 having sensitivity in the visible light amount region. , B1 are calculated in the I subtractor 121 in the same manner as in the above equation 1.
  • the visible light amount detection unit 1102 of the fourth embodiment shown in FIG. 15 detects the signal amount Yd in the visible region around the target pixel by the following calculation.
  • Yd ⁇ (kyd1 ⁇ R1 + kyd2 ⁇ G1 + Kyd3 ⁇ B1 (Equation 8)
  • kyd1, kyd2, and kyd3 are coefficients
  • ⁇ is the total signal amount around the pixel of interest.
  • control unit 120 may conform to any of the operations of the first embodiment, the second embodiment, and the third embodiment described above, for example. In each operation, the effects described in the first to third embodiments can be obtained.
  • the configuration is as shown in FIG. 15, so that in the case of the first embodiment shown in FIG. As a result, the circuit scale of the visible light amount detection unit 1102 can be reduced.
  • FIG. 16 is a block diagram illustrating a configuration of an in-vehicle imaging system 1200 according to the fifth embodiment of the present invention.
  • This in-vehicle imaging system 1200 includes a visible light irradiation light source 1201, a near infrared light irradiation light source 1202, a light source switch 1203, an imaging device 1204, an image recognition device 1205, an image composition device 1206, a display device 1207, and a system control device 1208. Composed.
  • the visible light irradiation light source 1201 is a light source that irradiates light including the visible region.
  • a white light-emitting diode hereinafter referred to as LED
  • a halogen lamp for irradiating the light In this embodiment, a case of a halogen lamp will be described as an example.
  • the near-infrared light irradiation light source 1202 is a light source that irradiates light in the near-infrared region.
  • an LED light source that irradiates light with a wavelength of 650 nm to 1200 nm is used.
  • the light source switch 1203 is a switch for turning on / off the irradiation of the visible light irradiation light source 1201 and the near-infrared light irradiation light source 1202, and outputs a lighting signal indicating ON / OFF of each light source to the system control device 1208.
  • the imaging device 1204 images a subject in the visible region and the near-infrared region, and outputs a luminance signal, a color difference signal 1, and a color difference signal 2. More specifically, the imaging device 1204 is described above. It has the same configuration as the imaging device 100 (FIG. 1) or 1100 (FIG. 11) according to the first to fourth embodiments. Further, in this imaging device 1204, a control signal output from the system control device 1208 is input to the control unit 120.
  • the image recognition device 1205 recognizes the subject from the luminance signal, the color difference signal 1 and the color difference signal 2 output from the imaging device 1204, and outputs a recognition result signal corresponding to the recognition result.
  • the image composition device 1206 Based on the recognition result signal output from the image recognition device 1205, the image composition device 1206 includes a luminance signal, color difference, and a luminance signal, color difference signal 1, and color difference signal 2 output from the imaging device 1204. Signal 1 and color difference signal 2 are output.
  • the display device 1207 is a device that displays the luminance signal, the color difference signal 1, and the color difference signal 2 output from the image composition device 1206, and is configured by, for example, a liquid crystal display.
  • the above-described in-vehicle imaging system 1200 is assumed to be a device mounted on a vehicle such as an automobile or a train.
  • the visible light irradiation light source 1201 corresponds to a low beam, and near-infrared.
  • the irradiation light source 1201 corresponds to a low beam.
  • the light source switch 1203 corresponds to a high beam / low beam switching switch operated by a vehicle driver.
  • FIG. 17 is a diagram for explaining a scene by the in-vehicle imaging system 1200 according to the present embodiment, and the effect of the present invention will be explained using this scene.
  • the host vehicle 1302 that is an automobile is traveling on the road 1301.
  • the light from the vehicle 13, that is, the visible light from the visible light irradiation light source 1201 in FIG. 16 is in the visible light irradiation range 1303 in the figure, and the near red light from the near infrared light irradiation light source 1202.
  • External light is radiated to the near infrared light irradiation range 1303 in the figure.
  • a marker 1303 is present in the visible light irradiation range 1303.
  • a pedestrian 1306, a traffic light 1307, a vehicle 1309, and a self-luminous sign 1310 exist in the near infrared light irradiation range 1304.
  • the traffic light 1308 is in operation, that is, there is a lamp 1308 that emits light.
  • one of the red, yellow, and green lamps is Lights up or flashes.
  • FIG. 18 shows an output image (output image of a visible light camera) when, for example, a visible light imaging device is used as the imaging device in the scene of FIG.
  • the visible region imaging device is an imaging device that performs color imaging with light in the visible region, and is a common color camera in recent years.
  • this imaging apparatus only a subject that exists within the visible light irradiation range 1303 or that emits light can be captured in color.
  • the pedestrian 1306 and the vehicle 1309 are not imaged, it is not possible to determine how the pedestrian 1306 and the vehicle 1309 are moving from the image.
  • the traffic light 1307 only the lamp 1308 that is emitting light is captured, but since it is not an overall image, it cannot be determined from the image that it is the traffic light 1307. As described above, as shown in FIG. 18, there is still room for improvement when the visible region imaging device is used.
  • FIG. 19 shows an output image (an output image of a night vision camera) when a near-infrared light imaging device is used as the imaging device in the scene of FIG.
  • the near-infrared light imaging device is a monochrome camera having sensitivity only to light in the near-infrared region or to light in the near-infrared region and visible region, and is also referred to as a night vision imaging device.
  • a subject that is in the visible light irradiation range 1303, in the near-infrared irradiation range 1304, or is self-luminous can be captured in monochrome.
  • FIG. 20 shows an output image (output image of the image pickup apparatus of Example 5) when the image pickup apparatus of the present invention is used as the image pickup apparatus in the scene of FIG.
  • the imaging device of the present invention is the imaging device shown in any of the first to fourth embodiments described above (for example, see 100 in FIG. 1 and 1100 in FIG. 15). That is, FIG. 20 is an output image of the imaging apparatus 1200 (see FIG. 16) when the in-vehicle imaging system 1200 shown in FIG. 16 is mounted on the host vehicle 1302 of FIG.
  • a subject imaged with light in the visible region is colored, and a subject imaged with light in the near-infrared region is monochrome. That is, in FIG. 20, it can be judged from the image where the pedestrian 1306, the traffic light 1307, and the vehicle 1309 are present. In addition, it can be determined from the above image where the marker 1305, the lamp 1308 during light emission of the traffic light, and the self-luminous marker 1310 are present or in what color. Therefore, by outputting the image output from the imaging device 1200 to the display device 1207 through the image composition device 1206 and displaying it, the driver can determine the location and color of the subject from the image. It becomes possible to assist driving.
  • the entire image and color of the traffic light 1307 can be highlighted.
  • the image recognition device 1205 recognizes the traffic light 1307 and is an output image generated by the image composition device 1206 according to the recognition result (an output image of the image composition device).
  • the traffic light 1307 and the light emitting lamp 1308 are highlighted as the highlighted traffic light 1701 and the highlighted light emitting lamp 1702 (compare with FIG. 20).
  • the highlighting means that the visibility of the subject is improved by making the edge of the subject appear thicker, the contrast is increased, or the edge is enlarged by partial scaling.
  • both the color and shape of the subject can be imaged at the same time. 1307, which makes it possible to recognize the color of the lamp 1308 that is emitting light.
  • the output image as shown in FIG. 21 generated in this way is output to the display device 1207 and displayed so that the driver can determine the location and color of the subject from the image with good visibility. As a result, it can be an aid for the driver to drive safely.
  • the in-vehicle imaging system according to the sixth embodiment has the same configuration as the in-vehicle imaging system 1200 according to the fifth embodiment shown in FIG. 16, and the description thereof is omitted here.
  • a template is a pre-prepared pattern as it is, or a pre-prepared pattern, regardless of good visibility such as low image contrast or poor color reproducibility.
  • the image recognition device 1206 recognizes the subject from the output image of the imaging device 1200, and outputs the recognition result to the image composition device 1206.
  • the image composition device 1206 a part of the subject is replaced with a sign template 1801, a pedestrian template 1802, a traffic light template 1803, a vehicle template 1804, and a self-luminous sign template 1805 from the image output from the imaging device 1200.
  • Generated output image The output image generated in this way as shown in FIG. 22 is output to the display device 1207 and displayed, so that the driver can determine the location and color of the subject from the image with good visibility. As such, it can be an aid for the driver to drive safely.
  • FIG. 23 is a block diagram showing another embodiment of the imaging apparatus according to the present invention.
  • the constituent elements 101 to 120 are the same as the constituent elements described in FIG. 1, and the description thereof is omitted here.
  • Reference numeral 1901 denotes a luminance signal processing unit of the imaging apparatus 1900, which is configured by a coefficient processing unit 1906, each multiplication unit of 1902, 1903, 1904, and 1905, and an addition unit 1907.
  • the luminance signal processing unit 1901 includes (R + I) signal demosaicing unit 103, (G + I) signal demosaicing unit 104, (B + I) signal demosaicing unit 105, and I signal demosaicing unit 106. I is entered.
  • the coefficient processing unit 1906 determines and outputs coefficients Kr, Kg, Kb, and Ki described later from the R, G, B, and I levels.
  • the input R, G, B, and I signals are respectively multiplied by coefficients Kr, Kg, Kb, and Ki by multipliers 1902 to 1905, and a predetermined addition process such as (Rp + Gp + Bp) is performed by an adder 1907. ) / 3 + Ip, predetermined addition processing is performed, and luminance signal processing is performed. Therefore, according to the present embodiment, the coefficients Kr, Kg, Kb, and Ki are controlled according to the characteristics of the coefficient processing unit 1906, respectively.
  • FIG. 24 shows an example of input / output characteristics of the coefficient processing unit 1906 of the imaging apparatus shown in FIG.
  • the vertical axis represents the magnitudes of the numerical values of the outputs Kr, Kg, Kb, and Ki of the coefficient processing unit 1906
  • the horizontal axis represents the input values of R, G, B, and I of the coefficient processing unit 1906 (R + G + B ⁇ ). 3I) / 3.
  • (R + G + B-3I) / 3 is selected because the I component is included in each of the R, G, and B signals, so that the signal level of only the visible light component is removed. This is for taking out.
  • Ki is a constant value that matches the spectral characteristics of each R, G, and B of the imaging unit, and Ki is increased as the signal amount of R, G, and B decreases, the visible light region When there is little signal and there is a near-infrared light signal, the contrast of the luminance signal can be increased, and as a result, even in a dark place for human eyes, An image that makes it easy to visually recognize an object can be obtained.
  • FIG. 25 shows a configuration of a luminance signal processing unit 2101 according to still another embodiment different from the embodiment 7.
  • a first luminance generation unit 2105 and a second luminance generation unit 2106 are respectively similar to the luminance generation processing unit 1908 shown in FIG. 23 described above, an element coefficient processing unit 1906 and multiplication units 1902, 1903, 1904. , 1905 and an adder 1907 (see FIG. 23).
  • Reference numeral 2102 denotes a low pass filter (LPF) for filtering low frequency components
  • 2103 denotes a high pass filter (HPF) for filtering high frequency components
  • 2104 denotes an adder.
  • LPF low pass filter
  • HPF high pass filter
  • the first luminance generation unit 2105 and the second luminance generation unit 2106 include the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demodulating unit 105.
  • R, G, B, and I of each output of the mosaicing unit 106 are input.
  • luminance is independently generated from R, G, B, and I signals according to input / output characteristics of a coefficient processing unit described later.
  • the luminance signal generated by the first luminance generation unit 2105 has its low frequency component filtered by the LPF 2102, and the luminance signal generated by the second luminance generation unit 2106 has its low frequency component filtered by the HPF 2103.
  • the output and the HPF 2103 output are added by an adder 2104 and output as a luminance signal processing unit 2101.
  • the first luminance generation unit 2105 performs luminance generation with coefficient characteristics described later so as to determine luminance signal reproduction characteristics.
  • the second luminance generation unit 2106 generates luminance with coefficient characteristics to be described later in order to enhance the high-frequency component, that is, the edge component of the image.
  • FIG. 26A shows an example of input / output characteristics of the coefficient processing unit (same configuration as 1906 in FIG. 23) in the first luminance generation unit 2105
  • FIG. 26B shows the second luminance.
  • An example of input / output characteristics of the coefficient processing unit (the same configuration as 1906 in FIG. 23) in the generation unit 2106 will be described.
  • the vertical axis represents the numerical values of the outputs Kr, Kg, Kb, and Ki of the coefficient processing unit 1906 (FIG. 23)
  • the horizontal axis represents the coefficient processing unit 1906.
  • This represents the value of (R + G + B-3I) / 3 of the input values of R, G, B, and I in FIG.
  • the reason why (R + G + B-3I) / 3 is used is that the R component is included in each of the R, G, and B signals, so that the I component is removed and the signal level of only the visible light component is extracted. It is.
  • Kr, Kg, and Kb are constant values according to the spectral characteristics of R, G, and B of the imaging unit, Ki is increased as the R, G, and B signal amounts decrease, and is negative when R, G, and B signal values are large, and the I component contained in each R, G, and B is removed.
  • Ki is increased as the R, G, and B signal amounts decrease, and is negative when R, G, and B signal values are large, and the I component contained in each R, G, and B is removed.
  • Set the input / output characteristics to By processing in this way, a luminance signal is generated by the visible light R, G, and B components. Therefore, the luminance can be generated by reducing the influence of near-infrared signals in a bright place where there are many visible light components. In a dark place, a luminance signal can be generated using a near-infrared signal, and a luminance signal with good visibility can be generated.
  • the second luminance generation unit 2106 (FIG. 25) generates a luminance signal with constant values of Kr, Kg, Kb, and Ki, in addition to the visible light component, A luminance signal is obtained with components in the near infrared region. Accordingly, the output of the HPF 2103 (FIG. 25) can obtain an edge component of a near infrared component in addition to a visible light component. There are many visible light components obtained by the edge component and the first luminance generation unit 2105, and luminance can be generated by reducing the influence of a near-infrared signal in a bright place.
  • the luminance signal can be generated using the above signal, and the addition processing of the luminance signal having good visibility with the output of the LPF 2102 is performed by the adder 2104 (FIG. 25), in particular, although there are many visible light components, although the contrast cannot be obtained, the visibility of the luminance signal can be further improved, for example, when a subject that reflects in the infrared region and has a contrast is taken.
  • FIG. 1204 a configuration example in which the imaging device using the luminance signal processing unit in the seventh and eighth embodiments is used in the in-vehicle imaging system is illustrated in FIG. It can also be used as device 1204.
  • a luminance signal can be obtained for a subject that reflects near-infrared light even in a place that is dark to the human eye, so that the driver can determine the subject from the image in a highly visible form.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • luminance signal gamma calculation unit 117 ... visible light amount detection unit, 118 ... near infrared light amount detection unit, 119 ... AWB detection unit , 120 ... control unit, 121 ... I subtraction unit, 122 ... R signal matrix calculation unit, 123 ... G signal matrix calculation unit, 124 ... B signal matrix Arithmetic unit, 201 ... (R + I) pixel, 202 ... (G + I) pixel, 203 ... I pixel, 204 ... (B + I) pixel, 1100 ... Imaging device, 1101 ... Color matrix arithmetic unit, 1102 ... Visible light amount detection unit, 1201 ... Visible light irradiation light source, 1202 ...
  • near infrared irradiation light source 1203 ... light source switch, 1204 ... imaging device, 1205 ... image recognition device, 1206 ... image composition device, 1207 ... display device, 1208 ... system control device, 1301 ... road, 1302 ... Own vehicle, 1303 ... Visible light irradiation range, 1304 ... Near infrared light irradiation range, 1305 ... Mark, 1306 ... Pedestrian, 1307 ... Traffic light, 1308 ... Light emitting lamp, 1309 ... Vehicle, 1310 ... Self-light emitting sign , 1601... Highlighted traffic light, 1602... Highlighted highlighting lamp, 1701. 1702 ... pedestrian templates, 1703 ... traffic template, 1704 ... vehicle templates, 1901 ... luminance signal processing section, 2101 ... luminance signal processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　人間の肉眼で暗い場所でも物体を識別できる画像を得る輝度信号を生成可能な撮像装置とそれを利用した車載撮像システムを提供する。　可視領域と近赤外領域に感度を持つ可視光近赤外域画素と、近赤外領域にのみ感度を持つ近赤外域画素を備えた撮像部と、前記画素からの信号に基づいて色差信号を合成する色差信号処理部と、前記画素からの信号に基づいて輝度信号を生成する輝度生成処理部とを具備する撮像装置、又は、それを利用した車載撮像システムは、更に、前記可視光近赤外域画素と近赤外域画素の信号量より、輝度信号合成処理を制御する係数を出力する係数制御部を備え、前記係数制御部は、前記輝度信号処理部の可視光域画素の信号量に応じて、前記色差信号処理部における信号の合成比率を、当該係数制御部から出力される前記係数に基づいて制御する。

Description

撮像装置及び車載撮像システム
　本発明は、撮像装置及びそれを利用した車載撮像システムに関する。
　本技術分野の背景技術として、以下の特許文献１が既に知られており、当該公報、特に、その特許請求の範囲の請求項１には、「被写体を撮像して画像を生成する撮像部と、前記被写体の色温度情報を算出する色温度情報算出部と、自然光源および少なくとも１種類の人工光源のそれぞれについて、複数の色再現マトリックスを、前記光源の種類および所定の色空間での位置座標と対応付けて記録する記録部と、前記記録部に記録された前記色再現マトリックスから、前記色空間において前記色温度情報に対応する位置座標に近い前記位置座標に対応付けられた前記色再現マトリックスであって、同種の光源に対応付けられた２つの前記色再現マトリックスと、前記光源とは異なる光源に対応付けられた２つ以下の前記色再現マトリックスとを選択し、選択した複数の前記色再現マトリックスをもとに、該色再現マトリックスの前記位置座標および前記色温度情報に対応する前記位置座標に基づいて補間処理を行って補正色再現マトリックスを演算する演算部と、前記補正色再現マトリックスを用いて、前記撮像部により生成された前記画像に色再現処理を施す色再現処理部とを備えたことを特徴とする撮像装置。」と記載されている。
特開２００５-０２００４８号公報
　しかしながら、上記の特許文献１では、可視光領域の感度特性についての記載のみであり、可視領域及び近赤外領域に感度を持つ画素と、近赤外領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合の色再現性については未だ改善の余地がある。
　また、可視領域及び近赤外領域に感度を持つ画素と、近赤外領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合の輝度信号処理についても特に記載がなく、そのため、かかる輝度信号処理についても、未だ改善の余地がある。
　本発明は、上述した従来技術における問題点に鑑みてなされたものであり、その目的は、より具体的には、人間の肉眼で暗い場所においても物体を識別できるような画像を得るための輝度信号を生成することができる撮像装置とそれを利用した車載撮像システムを提供することである。
　上記目的を解決するために、特許請求の範囲に記載の構成を採用する。より具体的には、可視領域と近赤外領域に感度を持つ可視光近赤外域画素と、近赤外領域にのみ感度を持つ近赤外域画素を備えた撮像部と、前記可視光近赤外域画素及び前記近赤外域画素からの信号に基づいて色差信号を合成する色差信号処理部と、前記可視光近赤外域画素及び前記近赤外域画素からの信号に基づいて輝度信号を生成する輝度生成処理部とを具備する撮像装置であって、更に、前記可視光近赤外域画素の信号量と、前記近赤外域画素の信号量より、輝度信号合成処理を制御する係数を出力する係数制御部を備えており、前記係数制御部は、前記輝度信号処理部の可視光域画素の信号量に応じて、前記色差信号処理部における信号の合成比率を、当該係数制御部から出力される前記係数に基づいて制御する撮像装置、又は、それを利用した車載撮像システムが提供される。
　本発明によれば、可視領域及び近赤外領域に感度を持つ画素と、近赤外領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、近赤外領域に感度を持つ撮像部の長所を活かし、人間の肉眼で暗い場所においても物体を識別できるような画像を得るための輝度信号を生成することができる撮像装置を提供できるという優れた効果が得られる。
本発明になる撮像装置（実施例１～３）の構成図である。 上記撮像装置の撮像部（実施例１～６）における画素の並びの一例を示す図である。 上記撮像部における（Ｒ＋Ｉ）画素の具体的構成の一例を示す図である。 上記撮像部における（Ｇ＋Ｉ）画素の具体的構成の一例を示す図である。 上記撮像部におけるＩ画素の具体的構成の一例を示す図である。 上記撮像部における（Ｂ＋Ｉ）画素の具体的構成の一例を示す図である。 上記撮像部の各画素の波長感度特性の一例を示す図である。 上記撮像装置を構成する制御部における色マトリクス係数決定方法のフローチャートの一例を示す図である。 上記制御部における色マトリクス係数の補間方法の一例を説明する特性図である。 上記制御部におけるＡＷＢゲインの決定方法の一例を説明する特性図である。 上記制御部における色マトリクス係数決定方法のフローチャートの一例を示す図である。 上記制御部における色マトリクス係数の補間方法の一例を示す図である。 上記制御部における色マトリクス係数決定方法のフローチャートの一例を示す図である。 上記制御部における色マトリクス係数の補間方法の一例を説明する特性図である。 本発明の実施例４になる撮像装置の構成を示すブロック図である。 本発明の実施例５，６になる車載撮像システムの構成を示すブロック図である。 上記車載撮像システムにおけるシーンを説明するための図である。 上記車載撮像システムを構成する可視領域撮像装置の出力画像の一例を示す図である。 上記車載撮像システムを構成する近赤外領域撮像装置の出力画像の一例を示す図である。 上記車載撮像システムを構成する撮像装置の出力画像の一例を示す図である。 上記車載撮像システムを構成する画像合成装置の出力画像の一例を示す図である。 上記車載撮像システムを構成する画像合成装置の出力画像の一例を示す図である。 本発明の実施例７になる撮像装置の構成を示すブロック図である。 上記実施例７になる撮像装置における係数処理部の入出力特性を示す図である。 本発明の実施例８になる撮像装置における輝度信号処理部の構成を示すブロック図である。 上記実施例８になる撮像装置における係数処理部の入出力特性を示す図である。
　以下、本発明の実施形態について、添付の図面を用いて説明する。
　図１は、本発明の実施例１になる撮像装置１００の構成を示すブロック図である。
　撮像装置１００は、レンズ１０１、撮像部１０２、（赤色領域＋近赤外領域）（以下、（Ｒ＋Ｉ））信号デモザイキング部１０３、（緑色領域＋近赤外領域）（以下、（Ｇ＋Ｉ））信号デモザイキング部１０４、（青色領域＋近赤外領域）（以下、（Ｂ＋Ｉ））信号デモザイキング部１０５、近赤外領域（以下、Ｉ）信号デモザイキング部１０６、色マトリクス演算部１０７、（オートホワイトバランス（以下、ＡＷＢ）ゲイン部１０８、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１、色差演算部（１）１１２、色差演算部（２）１１３、輝度マトリクス演算部１１４、高域強調部１１５、輝度信号ガンマ演算部１１６、可視光量検波部１１７、近赤外光量検波部１１８、制御部１１９、ＡＷＢ検波部１２０から構成される。なお、Ｒは赤色領域（光）、Ｇは緑色領域（光）、Ｂは青色領域（光）、そして、Ｉは近赤外領域（光）を表わす。
　レンズ１０１は、被写体から来る光を結像するレンズである。
　撮像部１０２は、可視領域及び近赤外領域の両方に感度を持つ画素である（Ｒ＋Ｉ）画素、（Ｇ＋Ｉ）画素、（Ｂ＋Ｉ）画素及び、近赤外領域に感度を持つ画素であるＩ画素から構成される。各画素は、レンズ１０１により結像される光に光電変換及びＡ／Ｄ変換を施し、デジタルデータである、各画素からの信号を出力する。
　（Ｒ＋Ｉ）信号デモザイキング部１０３は、撮像部１０２から出力される、（Ｒ＋Ｉ）画素からの信号に補間処理を施して、他の（Ｇ＋Ｉ）画素、（Ｂ＋Ｉ）画素、Ｉ画素の位置に相当する（Ｒ＋Ｉ）信号を出力する。
　同様に、（Ｇ＋Ｉ）信号デモザイキング部１０４は、撮像部１０２から出力される、（Ｇ＋Ｉ）画素からの信号に補間処理を施して、（Ｇ＋Ｉ）信号を出力する。
　同様に、（Ｂ＋Ｉ）信号デモザイキング部１０５は、撮像部１０２から出力される、（Ｂ＋Ｉ）画素からの信号に補間処理を施して、（Ｂ＋Ｉ）信号を出力する。
　同様に、Ｉ信号デモザイキング部１０６は、撮像部１０２から出力される、Ｉ画素からの信号に補間処理を施してＩ信号を出力する。
　色マトリクス演算部１０７は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６それぞれから出力される信号と、制御部１２０から出力された減算係数及び色マトリクス係数から、演算により、色信号であるＲ信号、Ｇ信号、Ｂ信号を出力する。
　ＡＷＢゲイン部１０８は、色マトリクス演算部１０７から出力される色信号に、光源の色温度に応じたＡＷＢゲインを積算し、色信号を出力する。
　Ｒ信号ガンマ演算部１０９は、ＡＷＢゲイン部１０８から出力されたＲ信号に、ガンマ演算を行い、Ｒ信号を出力する。
　Ｇ信号ガンマ演算部１１０は、ＡＷＢゲイン部１０８から出力されたＧ信号に、ガンマ演算を行い、Ｇ信号を出力する。
　Ｂ信号ガンマ演算部１１１は、ＡＷＢゲイン部１０８から出力されたＢ信号に、ガンマ演算を行い、Ｂ信号を出力する。
　色差演算部（１）１１２及び色差演算部（２）１１３は、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１から出力された色信号から、色差信号１及び色差信号２を生成する。例えば、ＩＴＵ－Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　ｔｅｌｅｃｏｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ－ＲａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓＳｅｃｔｏｒ）の規格ＢＴ．７０９に従って色差を求め、色差信号１が、主に青色と輝度の差を示す色差信号であるＰｂ、色差信号２が、主に赤色と輝度の差を示す色差信号であるＰｒとすることができる。これら色差信号（１）及び色差信号（２）は、撮像装置１００の外部に出力する。
　輝度マトリクス演算部１１４は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６それぞれから出力される信号から輝度信号を生成する。
　高域強調部１１５は、輝度マトリクス演算部１１４から出力された輝度信号から、高い空間周波数成分を強調する処理をかけて、画像内の輪郭部分（エッジ）を鮮明なものにした輝度信号を出力する。
　輝度信号ガンマ演算部１１６は、高域強調部１１５から出力された輝度信号に、ガンマ補正処理を行い、撮像装置１００の外部に出力する。撮像装置１２００の外部に出力される輝度信号及び、色差信号１及び色差信号２は、カラーの画像信号出力である。
　可視光量検波部１１７は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６それぞれから出力される信号から、注目画素周辺の可視領域の放射光の量を検出して、可視領域の信号量として出力する。ここで、注目画素とは、演算が行われている画素を意味する。
　近赤外光量検波部１１８は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６それぞれから出力される信号から、注目画素周辺の近赤外領域の放射光の量を検出し、可視領域の信号量として出力する。
　ＡＷＢ検波部１１９は、色差演算部（１）１１２及び色差演算部（２）１１３の出力する色差信号１及び色差信号２と、輝度信号ガンマ演算部１１６の出力する輝度信号と、制御部１２０から出力されるＡＷＢ検波範囲を示す信号から、ホワイトバランスのずれを検出して、ホワイトバランス検波信号を出力する。
　制御部１２０は、可視光量検波部１１７から出力された可視領域の信号量及び、近赤外光量検波部１１８から出力された近赤外領域の信号量から、注目画素付近の光源に最適な減算係数および、色マトリクス係数を決定し、色マトリクス演算部１０７に出力する。
　また、制御部１２０は、可視光量検波部１１７から出力された可視領域の信号量及び、近赤外光量検波部１１８から出力された近赤外領域の信号量から、注目画素付近の光源に最適なＡＷＢ検波範囲を示す信号を生成し、ＡＷＢ検波部１１９に出力する。
　よって、可視領域及び近赤外領域に感度を持つ画素と、近赤外領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する撮像装置において、近赤外光の影響を考慮した色マトリックス処理、及び減算処理を行うことにより、色再現性の良い色差信号を得ることができる。
　色マトリクス演算部１０７は、例えば、Ｉ減算部１２１、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４演算部から構成される。
　Ｉ減算部１２１は、（Ｒ＋Ｉ）信号デモザイキング部１０３から出力される（Ｒ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に重みとなる係数（減算係数）をかけた値を減算して、Ｒ信号を生成する。また、Ｉ減算部１２１は、（Ｇ＋Ｉ）信号デモザイキング部１０４から出力される（Ｇ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｇ信号を生成する。また、Ｉ減算部１２１は、（Ｂ＋Ｉ）信号デモザイキング部１０５から出力される（Ｂ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｂ信号を生成する。このように減算によって、近赤外領域の信号成分が除去された、可視領域のみの信号成分を得ることができる。
　Ｒ信号マトリクス演算部１２２は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＲ信号を生成して出力する。
　Ｇ信号マトリクス演算部１２３は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＧ信号を生成して出力する。
　Ｂ信号マトリクス演算部１２２は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＢ信号を生成して出力する。
　上記したように、本実施例によれば、可視領域の信号量及び近赤外領域の信号量に応じて、色マトリクス係数及び減算係数を制御することができるので、可視領域及び近赤外領域に感度を持つ画素と、近赤外領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合であっても、色再現性の良い色差信号を得ることができる撮像装置１００を提供できる。
　次に、本実施例における撮像部１０２について説明する。
　図２は、撮像部１０２の撮像素子の画素の並びの例を示した図である。図２では、（Ｒ＋Ｉ）画素２０１、（Ｇ＋Ｉ）画素２０２、Ｉ画素２０３、（Ｂ＋Ｉ）画素２０４の４色の画素が２×２画素サイズの単位構成を成しており、その単位構成が縦・横それぞれに繰り返し配置されている。
　なお、これら（Ｒ＋Ｉ）画素２０１、（Ｇ＋Ｉ）画素２０２、Ｉ画素２０３、（Ｂ＋Ｉ）画素２０４の具体的な構成の一例が図３～６に示されている。
　即ち、まず、各（Ｒ＋Ｉ）画素２０１は、図３（ａ）及び（ｂ）にも示すように、シリコン基板３０１上にフォトダイオード３０２が形成されており、その上方には、それぞれ、Ｇ領域光、Ｂ領域光をカットするフィルター３０４が形成されている。そして、これらのフォトダイオード３０２の出力は、読出回路３０６を介して（Ｒ＋Ｉ）信号として出力される。なお、図の３０７は読出回路を構成するサンプルホールド回路、３０８は定電流源を示す。また、符号３０９は水平走査回路であり、当該回路からの出力によりスイッチ３１０が導通状態となり、（Ｒ＋Ｉ）信号が取り出される。符号３１１は、垂直走査回路であり、当該回路からの出力によりスイッチ３１２が導通状態となり、電源３１３からの電圧が上述したフォトダイオードに印加される。
　各（Ｇ＋Ｉ）画素２０２も、同様に、即ち、図４（ａ）及び（ｂ）にも示すように、シリコン基板３０１上にフォトダイオード４０１が形成されており、その上方には、Ｇ領域光、Ｂ領域光をカットするフィルター４０２が形成されている。そして、これらのフォトダイオード４０１の出力は、上記と同様、読出回路３０６を介して（Ｇ＋Ｉ）信号として出力される。なお、その他の回路構成は上記と同様であり、ここではその説明を省略する。
　また、各Ｉ画素２０３は、図５（ａ）及び（ｂ）にも示すように、シリコン基板３０１上に、フォトダイオード３０３が形成されており、その上方には、Ｒ領域光、Ｇ領域光及びＢ領域光をカットするフィルター３０５が形成されている。そして、これらのフォトダイオード３０３はの出力は、読出回路３０６を介してＩ信号として出力される。なお、その他の回路構成は上記と同様であり、ここではその説明を省略する。
　更に、各（Ｂ＋Ｉ）画素２０４は、上記の（Ｒ＋Ｉ）画素２０１や（Ｇ＋Ｉ）画素２０２と同様に、即ち、図６（ａ）及び（ｂ）にも示すように、シリコン基板３０１上にフォトダイオード６０１とが形成されており、その上方には、Ｒ領域光、Ｇ領域光をカットするフィルター６０２が形成されている。そして、これらのフォトダイオード６０１の出力は、直列に接続され、読出回路３０６を介して（Ｂ＋Ｉ）信号として出力される。なお、その他の回路構成は上記と同様であり、ここではその説明を省略する。
　図７は、上記図２～図６に示した撮像素子の各画素に含まれる各画素の波長感度特性の例を示した図である。撮像部１０２には、可視領域の赤色領域（Ｒ）３０１と近赤外領域（Ｉ）３０２に感度を持つ画素である（Ｒ＋Ｉ）画素と（図７（ａ）を参照）、可視領域の緑色領域（Ｇ）３０５と近赤外領域（Ｉ）３０６に感度を持つ（Ｇ＋Ｉ）画素と（図７（ｂ）を参照）、近赤外領域（Ｉ）３０９に感度を持つＩ画素と（図７（ｃ）を参照）、可視領域の青色領域（Ｂ）３１１と近赤外領域Ｉ　３１２に感度を持つ（Ｂ＋Ｉ）画素（図７（ｄ）を参照）の４種類の画素が含まれる。
　上記図７のような近赤外領域に感度を持つ撮像素子を用いる目的は、例えば、可視領域に加えて近赤外領域に感度を持たせることで、太陽光やハロゲンランプなど、可視領域と近赤外領域の両方の波長で放射する光源下の環境における、最低被写体照度を向上させること、被写体の近赤外領域特有の反射特性や発光特性を検出することなどである。
　しかし、撮像部１０２の出力する信号から色信号を求める場合には、人間の目の色に対する感度特性の再現性の観点から、近赤外領域（Ｉ）の成分は不要波長成分となる。例えば、上記図７に示す各画素に含まれる近赤外領域（Ｉ）に対する感度はほぼ同じであると仮定すると、例えば、（Ｒ＋Ｉ）画素の出力信号からＩ画素の出力信号を減算すれば、赤色領域（Ｒ）に感度を持つ信号を得ることができる。また、緑色領域（Ｇ）・青色領域（Ｂ）についても同様である。また、たとえ各画素に含まれる近赤外領域（Ｉ）の感度が異なる場合であったとしても、減算する際の係数（後述する減算係数）を調整することで、近赤外領域（Ｉ）の成分を低減することができる。ただし、後述するように、各画素には近赤外領域（Ｉ）の感度特性にはばらつきがあり、また、後述するように各画素には不要な波長成分が含まれる。このばらつきによる色再現性の低下を低減するための具体的な手法について、色マトリクス演算部１０７及びＡＷＢゲイン部１０８の動作を中心に以下に述べる。
　次に、本実施例における色マトリクス演算部１０７の動作について説明する。色マトリクス演算部１０７では、撮像部１０２の出力する（Ｒ＋Ｉ）信号、（Ｇ＋Ｉ）信号、（Ｂ）信号、（Ｉ）信号を元に、色信号であるＲ信号、Ｇ信号、Ｂ信号を出力する。
　まず、Ｉ減算部１２１で、近赤外領域の信号成分を除去して、可視光量域に感度を持つ色信号Ｒ１，Ｇ１，Ｂ１を出力する。
　　Ｒ１＝（Ｒ＋Ｉ）－ｋｉ１×Ｉ
　　Ｇ１＝（Ｇ＋Ｉ）－ｋｉ２×Ｉ　　　　　　・・・（式１）
　　Ｂ１＝（Ｂ＋Ｉ）－ｋｉ３×Ｉ
ここで、（ｋｉ１，ｋｉ２，ｋｉ３）は減算係数である。
　次に、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂマトリクス演算部１２４で、色再現性を向上した色信号であるＲ信号（Ｒ２）、Ｇ信号（Ｇ２）、Ｂ信号（Ｂ２）を出力する。
　　Ｒ２＝ｋｒｒ×Ｒ１＋ｋｒｇ×Ｇ１＋ｋｒｂ×Ｂ１
　　Ｇ２＝ｋｇｒ×Ｒ１＋ｋｇｇ×Ｇ１＋ｋｇｂ×Ｂ１　　・・・（式２）
　　Ｂ２＝ｋｂｒ×Ｒ１＋ｋｂｇ×Ｇ１＋ｋｂｂ×Ｂ１
ここで、（ｋｒｒ，ｋｒｇ，ｋｒｂ，ｋｇｒ，ｋｇｇ，ｋｇｂ，ｋｂｒ，ｋｂｇ，ｋｂｂ）は色マトリクス係数である。
　もし図３の各画素の波長感度特性を重ねてみるとすれば、赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）は、お互いに同じ波長に対して感度を持つ、特性が重なる領域がある。その特性が重なる領域の特性に合わせ、上記の式２の色マトリクス演算によって、特性の重なる領域の大きさ調整し、もって、色再現性を向上させるのが一般的である。
　また、上記式１及び式２を式変形すると、下記のように記述することもできる。
　　Ｒ２＝ｋｒｒ２×（Ｒ＋Ｉ）＋ｋｒｇ２×（Ｇ＋Ｉ）
　　　　＋ｋｒｂ２×（Ｂ＋Ｉ）＋ｋｉｉ２×Ｉ
　　Ｇ２＝ｋｇｒ２×（Ｒ＋Ｉ）＋ｋｇｇ２×（Ｇ＋Ｉ）
　　　　＋ｋｇｂ２×（Ｂ＋Ｉ）＋ｋｇｉ２×Ｉ　　・・・（式３）
　　Ｂ２＝ｋｒｒ２×（Ｒ＋Ｉ）＋ｋｒｇ２×（Ｇ＋Ｉ）
　　　　＋ｋｒｂ２×（Ｂ＋Ｉ）＋ｋｉｉ２×Ｉ
ここで、（ｋｒｒ２，ｋｒｇ２，ｋｒｂ２，ｋｒｉ２，ｋｇｒ２，ｋｇｇ２，ｋｇｂ２，ｋｇｉ２，ｋｂｒ２，ｋｂｇ２，ｋｂｂ２，ｋｂｉ２）は色マトリクス係数である。
　上記式１は、３行１列のマトリクス演算、式２は、３行３列のマトリクス演算に相当する演算を実施しているのを、上記式３のように、３行４列のマトリクス演算で記述することができる。そのため、上記の図１では、色マトリクス演算部１０７がＩ減算部１２１と、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４で構成されているが、上記の式３を実現するような構成にしても良い。その場合には、演算の段数が減るので、ハードウェアで実現する際のレイテンシが改善する。
　次に、本実施例におけるＡＷＢゲイン部１０８の動作について説明する。ＡＷＢゲイン部１０８では、光源の色温度に応じて、次の計算を実施する。
　　Ｒ３＝ｋｒ×Ｒ２
　　Ｇ３＝ｋｇ×Ｇ２　　　　・・・（式４）
　　Ｂ３＝ｋｂ×Ｂ２
ここで、（ｋｒ，ｋｇ，ｋｂ）は、ＡＷＢゲインという係数である
　しかし、実際には、各画素の近赤外領域（Ｉ）の成分の波長感度特性（上記図７（ａ）～（ｄ）の３０２，３０６，３０９，３１２）にはばらつきがあり、単純にＩ画素の信号値を減算しただけでは、近赤外領域（Ｉ）成分を最適に低減することができない。
　また、各画素には不要な波長成分が含まれる。例えば、（Ｒ＋Ｉ）画素であれば、上記図７（ａ）～（ｄ）の赤色領域（Ｒ）３０１及び近赤外領域（Ｉ）３０２が有効な波長成分で、図７（ａ）～（ｄ）の３０３，３０４が不要な波長成分である。（Ｒ＋Ｉ）画素、（Ｇ＋Ｉ）画素、Ｉ画素についても同様である。これら不要な波長成分（図７（ａ）～（ｄ）の３０３，３０４，３０７，３０８，３１０，３１３）はゼロであることが望ましいがゼロではないために、Ｉ画素の信号値を減算した際や、色マトリクス演算後の波長感度特性においては、意図しない波長成分に正や負の感度を持ってしまうことになる。
　これら、近赤外領域（Ｉ）の成分の特性ばらつきや、不要な波長成分の影響度合いは、光源の種類によって異なる。
　例えば、一般的な三波長型蛍光灯を光源にした場合を考えると、光源は可視光量域の赤色領域（Ｒ），緑色領域（Ｇ），青色領域（Ｂ）に１つずつの放射エネルギーのピークを持っており、近赤外領域（Ｉ）を含むそれ以外の波長は放射が非常に少ないかゼロである。そのような場合には、近赤外領域（Ｉ）のばらつきの影響はほとんど無いが、不要な波長成分の影響は受ける。
　また、例えば、ハロゲンランプを光源とした場合を考えると、光源は可視領域に比べて近赤外領域での放射エネルギーが高い。そのような場合には、近赤外領域（Ｉ）のばらつきの影響が大きくなり、一方で不要な波長成分の影響が比較的小さくなる。
　また、例えば、光源を、近赤外領域（Ｉ）のみを放射する近赤外投光器とすると、色が再現できない。
　色マトリクス演算部１０７においては、これらの影響を最小化して、かつ、各波長成分の特性の重なり方を調整することで、良い色再現を目指すが、このように、光源に含まれる可視領域と近赤外領域の放射エネルギーの違いによって、不要な波長成分やばらつきの影響度合いは異なってくる。マトリクス係数が固定の場合や、上記特許文献１の手法のように、色空間上で色マトリクスを制御している場合には、可視領域と近赤外領域の放射エネルギーの違いを考慮できないので、良い色再現を得ることができないという課題がある。そこで、本課題を解決するために、本発明においては、光源に含まれる可視領域と近赤外領域の放射エネルギーの違いに応じて、減算係数や色マトリクス係数を選択する手段を導入している。以下にその手段及び効果について説明する。
　本発明においては、光源に含まれる可視領域と近赤外領域の放射エネルギーの違いを検出するために、上記図１の可視光量検波部１１７と近赤外光量検波部１１８と制御部１２０を用いる。
　可視光量検波部１１７は、例えば、次のような計算により、注目画素周辺の可視領域の信号量Ｙｄを検出する。
　Ｙｄ＝Σ（ｋｙｄ１×（（Ｒ＋Ｉ）－ｋｉｄ１×Ｉ）
　　　　＋ｋｙｄ２×（（Ｇ＋Ｉ）－ｋｉｄ２×Ｉ）
　　　　＋ｋｙｄ３×（（Ｂ＋Ｉ）－ｋｉｄ３×Ｉ））　　・・・（式５）
ここで、ｋｉｄ１，ｋｉｄ２，ｋｉｄ３，ｋｙｄ１，ｋｙｄ２，ｋｙｄ３は係数、Σは注目画素周辺の信号量の総和を示す
　近赤外光量検波部１１８は、例えば、次のような計算により、注目画素周辺の近赤外領域の信号量Ｉｄを検出する。
　Ｉｄ　＝ΣＩ　　　　　　・・・（式６）
ここで、Σは注目画素周辺の信号量の総和を示す。総和する領域は上記式５の場合と同じである。
　上記式５、式６の演算が画素ごと、もしくは、動画像のフレームやフィールドごとに実施される。
　上記図１の制御部１２０は、上記式５，式６の結果に応じて、放射エネルギーを比較する。
　図８は、制御部１２０における色マトリクス係数決定方法のフローチャートの一例である。
　まず、ステップ４０１及び４０２で、制御部１２０は、可視光量検波部１１７から可視領域の信号量Ｙｄを、近赤外光量検波部１１８から近赤外領域の信号量Ｉｄを読み出す。
　次に、ステップ４０３で、制御部１２０は、光量減算結果Ｄを次のように導出する。
　　Ｄ＝Ｙｄ－Ｉｄ　　　　　　　　・・・（式７）
　次に、ステップ４０４及びステップ４０５で、制御部１２０は、光量減算結果Ｄに基づいて、減算係数及び色マトリクス係数の組Ｍａｔ（３）を決定する（以下、Ｍａｔ（＊）（ここで、＊は任意の数字）は、減算係数と色マトリクス係数の組み合わせを表すこととする）。式７から分かるように、例えば蛍光灯下のように、可視領域の放射エネルギーが高い光源下においてはＤが比較的高く、ハロゲンランプのように近赤外領域の放射エネルギーが高い光源下ではＤが比較的低くまたはマイナスに、近赤外投光器のように近赤外のみの放射エネルギーが強い光源下では、絶対値の大きいマイナスになる傾向がある。このＤの傾向から、制御部１２０は、光量減算結果Ｄの傾向に基づいて光源の種類を推定することができ、光源の種類に応じて適切な色マトリクス係数及び減算係数の組Ｍａｔ（３）を生成することができる。
　ステップ４０６では、制御部１２０は、色マトリクス係数及び減算係数の組Ｍａｔ３を、色マトリクス演算部１０７に出力する。
　上記のステップ４０４及び４０５について、図９（ａ）～（ｃ）を用いて、さらに詳細に説明する。
　図９（ａ）～（ｃ）は、光量減算結果から、色マトリクス係数及び減算係数を導出する方法を示した図である。光量減算結果の飛び飛びの値について、予め、色マトリクス係数及び減算係数が決められている。例えば、これらの図では、Ｄが－２５５、－１２８，０，１２８，２５５のときについて予め決められている。本実施例では、Ｙｄ－Ｉｄの値が０から２５５の値をとり得るとしており、両端とそれらの間の３点について、ほぼ等間隔に値が予め決められているとした。注目画素の光量減算結果Ｄが決定されると、そのＤの値に近い係数の組が２つ選択される。例えば、選択された１つ目の係数の組をＭａｔ１（５０１～５０４、５１４～５１６、５２７～５２８）、選択された２つ目の係数の組をＭａｔ２（５０５～５０８、５１７～５２０、５２９～５３２）とする。そこから、Ｄの値に応じて２つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ３（５０９～５１２、５２１～５２４、５３３～５３６）とする。
　例えば、予め決めておく係数の組として、図９（ａ）～（ｃ）の光量減算結果Ｄが－２５５のときに、例えば、近赤外投光器に最適となるように色マトリクス係数を０に近づけて無彩色となるような係数の組を設定して、Ｄが０のときに、例えば、ハロゲンランプに最適となるように、不要な波長成分と近赤外領域のばらつきを両方考慮して調整した調整として、２５５のときに蛍光灯（可視領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、その間の値については、適宜、それらの中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは、時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクスを選択することができ、もって、色再現性を良くすることができるという効果が得られる。
　また、上記式７において、同様の効果を得るために、ＹｄとＩｄの除算によって比率を求めることができるが、減算を用いるほうが回路規模を小さくできるという特徴がある。
　次に、本実施例におけるＡＷＢ制御について説明する。
　図１０は、制御部１２０における、ＡＷＢ検波範囲の制御の方法を示した説明図である。上記図１の色差演算部（１）１１２から出力された色差信号１を当該図１０の横軸６０１に、色差演算部（２）１１３から出力された色差信号２の出力値を、当該図１０の縦軸６０２に、それぞれ、示している。色差平面上で、ＡＷＢ検波範囲６０３，６０４が定義されている。ＡＷＢ検波範囲は、ＡＷＢにおける白色とみなす画素の色差レベルの範囲を示す。例えば、この図１０では、ＡＷＢ検波範囲６０３，６０４を、軸ごとに閾値を設けて矩形で定義しているが、しかしながら、本発明はこれに限定されず、どのような形状で定義しても良い。
　ＡＷＢ検波部１１９（図１参照）は、各画素の色差信号１（ここではＰｂとする）及び色差信号２（ここではＰｒとする）の両方がＡＷＢ検波範囲６０４内にある全画素の色差信号１Ｐｂの平均値Ｐｂａ及び色差信号２Ｐｒの平均値Ｐｂａを求め、それら（Ｐｂａ，Ｐｒａ）を制御部１２０（図１参照）に出力する。
　無彩色は（Ｐｂ，Ｐｒ）＝（０，０）であり、制御部１２０（図１参照）は（Ｐｂａ，Ｐｒａ）が（０，０）に近づくように、ＡＷＢゲイン（先述の式４のｋｒ，ｋｇ，ｋｂ）を調整する。例えば、Ｐｂａが高いときにはｋｂの値を減少させ、低いときにはｋｂの値を増加させる。また、Ｐｒａが高いときにはｋｒの値を減少させ、低いときにはｋｒの値を増加させる。制御部１２０は、調整したＡＷＢゲインを、制御部１２０内部に記録するとともに、ＡＷＢゲイン部１０８に出力する。
　ある色マトリクス係数及び減算係数のときのＡＷＢ検波範囲を、上記図１０の６０３で示す。減算係数及び色マトリクスは、図８のフローチャートにより制御されていることを既に示したが、その結果、減算係数及び色マトリクス係数の変化によって、色差信号１及び色差信号２が変化する。つまり、ＡＷＢ検波範囲も変化する。
　ＡＷＢ検波範囲は、広すぎると画面内の無彩色以外の場所についても無彩色であると検出してしまい、狭すぎると正しくホワイトバランスが補正されない場合がある。そのため、最適な検波範囲を選択する必要がある。そこで、本実施例では、ＡＷＢ検波範囲についても、減算係数及び色マトリクス係数の変化に応じて補正することとする。元のＡＷＢ検波範囲６０３のときから、減算係数及び色マトリクス係数に変化があると、上記式１から上記式４、及び、例えばＢＴ．７０９の色差計算式に基づいて、色差信号１及び色差信号２の軸が、変化する。その色差信号１及び色差信号２の変化に応じて、ＡＷＢ検波範囲についても補正した範囲を予め決めておく。本実施例においては、上記式７の光量減算結果Ｄの値と、ｋｒ，ｋｇ，ｋｂの値と、輝度信号の値に基づいて、ＡＷＢ検波範囲６０４を決定する。
　本実施例のＡＷＢ検波範囲の制御によって、可視光及び非可視光のバランスが変化するような場合においても、最適な減算係数及び色マトリクスを選択することができ、色再現性を良くすることができる、という効果が得られる。
　次に、本発明の第２の実施例について説明する。実施例２になる撮像装置は、実施例１の構成と同じであり、ここでは構造については述べない。但し、制御部１２０（図１）における処理内容が実施例１と異なっている。
　図１１は、実施例２における、制御部１２０における処理内容、すなわち色マトリクス係数決定方法のフローチャートの一例である。
　まず、ステップ７０１では、制御部１２０は、可視光量検波部１１７から可視領域の信号量Ｙｄを読み出す。
　次に、ステップ７０２，７０３で、制御部１２０は、可視領域の信号量から、減算係数及び色マトリクス係数の組Ｍａｔ（３）を決定する。例えば、蛍光灯やハロゲンランプのように、可視領域の放射エネルギーが高い光源下で、かつ、被写体の反射率が高い場合には、Ｙｄが高くなり、他方、光源がほとんどあたっていない又は近赤外領域の放射エネルギーが高い光源下では、Ｙｄは比較的低い値になる傾向がある。制御部１２０は、このＹｄの傾向に基づいて、光源の種類を推定し、光源の種類に応じて適切な色マトリクス係数及び減算係数の組Ｍａｔ３を生成することができる。
　ステップ７０４では、制御部１２０は、色マトリクス係数及び減算係数の組Ｍａｔ（３）を、色マトリクス演算部１０７に出力する。
　上述したステップ７０２及び７０３について、図１２（ａ）～（ｃ）を用いて、さらに詳しく説明する。
　図１２（ａ）～（ｃ）は、可視領域の信号量から、色マトリクス係数及び減算係数を導出する方法を示した図である。可視領域の信号量Ｙｄの飛び飛びの値について、予め、色マトリクス係数及び減算係数が決められている。例えば、この図１２（ａ）～（ｃ）では、Ｙｄが０，６４，１２８，１９２，２５５のときについて予め決められている。本実施例では、Ｙｄの値が０から２５５の値をとり得るとしており、両端とそれらの間の３点について、ほぼ等間隔に値が予め決められているとした。注目画素の可視領域の信号量Ｙｄが読み出されると、そのＹｄの値に近い係数の組が２つ選択される。選択された１つ目の係数の組をＭａｔ１（８０１～８０４、８１４～８１６、８２７～８２８）、選択された２つ目の係数の組をＭａｔ２（８０５～８０８、８１７～８２０、８２９～８３２）とする。そこから、Ｙｄの値に応じて、２つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ（３）（８０９～８１２、８２１～８２４、８３３～８３６）とする。
　例えば、予め決めておく係数の組として、図１２（ａ）～（ｃ）の光量減算結果Ｙｄが０のときに近赤外投光器（例えば、色マトリクス係数を０に近づけて無彩色にする）、２５５のときに蛍光灯（可視領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、その間の値については、適宜、それらの中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは、時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクスを選択することができ、もって、色再現性を良くすることができるという効果が得られる。
　また、実施例２では、上記の実施例１の場合と異なり、近赤外領域の信号量を用いない。そのため、上記図１から、近赤外光量検波部１１８を除外した構成にすることができる。その場合には、回路規模を小さくできるという効果が得られる。
　次に、本発明の第３の実施例を説明する。この実施例３における撮像装置は、実施例１の構成と同じであることから、ここでは、当該構成についての説明は省略する。
　図１３は、実施例３における、制御部１２０における色マトリクス係数決定方法のフローチャートの一例を示す。
　まず、ステップ９０１及び９０２では、制御部１２０は、可視光量検波部１１７から可視領域の信号量Ｙｄ、及び近赤外光量検波部１１８から近赤外領域の信号量Ｉｄを読み出す。
　次に、ステップ９０３及びステップ９０４で、制御部１２０は、可視領域の信号量Ｙｄと近赤外領域の信号量Ｉｄの組み合わせから、減算係数及び色マトリクス係数の組Ｍａｔ５を決定する。光源の種類によって、波長ごとの放射エネルギー特性には特徴があるので、ＹｄとＩｄの組み合わせによって、注目画素付近に主に照射されている光源の種類を推測することができる。例えば、ＹｄとＩｄが共に高い場合には、ハロゲンランプであると、他方、Ｙｄが高くＩｄが低い場合には蛍光灯であると、更には、Ｙｄが低くＩｄが高い場合には近赤外投光器である等と、推測することが可能となる。この推定された光源の種類に応じて、適切な色マトリクス係数及び減算係数の組Ｍａｔ（５）を生成する。
　ステップ９０５では、制御部１２０は、決定された係数の組Ｍａｔ（５）を、ステップ９０５で色マトリクス演算部（上記図１の１０７）に出力する。
　ステップ９０３及び９０４について、図１４を用いながら、さらに詳細に説明する。
　図１４は、可視領域の信号量Ｙｄと近赤外領域の信号量Ｉｄから、色マトリクス係数及び減算係数を導出する方法を示した図である。ＹｄとＩｄの飛び飛びの値の組み合わせについて、予め、色マトリクス係数及び減算係数が決められている。例えば図１４では、Ｙｄ，Ｉｄがそれぞれ０，６４，１２８，１９２，２５５のときについて、色マトリクス係数及び減算係数の組が決められている。本実施例では、Ｙｄ，Ｉｄの値がそれぞれ０から２５５の値をとり得るとしており、両端とそれらの間の３点について、ほぼ等間隔に値が予め決められているとした。例えば、（Ｙｄ，Ｉｄ）の飛び飛びの値の組み合わせについて、各係数がテーブルで定義されている。
　注目画素付近の（Ｙｄ，Ｉｄ）が決定されると、（Ｙｄ，Ｉｄ）に近い係数の組が４つ選択される。選択された１つ目の係数の組をＭａｔ（１）１００１、選択された２つ目の係数の組をＭａｔ（２）１００２、選択された３つ目の係数の組をＭａｔ（３）１００３、選択された２つ目の係数の組をＭａｔ（４）１００４とする。そこから（Ｙｄ，Ｉｄ）の値に応じて、４つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ（５）１００５とする。
　例えば、予め決めておく係数の組として、図１４の（Ｙｄ，Ｉｄ）が（０，０）及び（０，２５５）のときに、近赤外投光器用（例えば、色マトリクス係数を０に近づけて無彩色にする）に最適な、（２５５，２５５）のときに、ハロゲンランプ用（不要な波長成分と近赤外領域のばらつきを両方考慮）に最適な、そして、（２５５，０）のときに、蛍光灯用（可視領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を、それぞれ、設定しておき、それ以外の点については、適宜、それらの中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは、時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクスを選択することができ、もって、色再現性を良くすることができるという効果が得られる。
　また、この実施例３では、近赤外領域の信号量と可視領域の信号量のそれぞれの値の絶対量に応じて光源を推定するので、より高精度に光源に適した色マトリクス及び減算係数を設定できるので、より色再現性が良くすることができるという効果が得られる。
　次に、本発明の第４の実施例について説明する。図１５は、本発明の実施例４になる撮像装置１１００の構成を示すブロック図である。なお、この実施例においても、上述したと同様の構成要素については、同じ参照番号を付して示す。
　撮像装置１１００は、レンズ１０１、撮像部１０２、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６、色マトリクス演算部１１０１、ＡＷＢゲイン部１０８、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１、色差演算部（１）１１２、色差演算部（２）１１３、輝度マトリクス演算部１１４、高域強調部１１５、輝度信号ガンマ演算部１１６、可視光量検波部１１０２、近赤外光量検波部１１８、制御部１１９、ＡＷＢ検波部１２０から構成される。
　色マトリクス演算部１１０７は、例えば、Ｉ減算部１２１、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４演算部から構成される。
　即ち、この図１５に示した実施例４の撮像装置１１００の構成は、上記図１に示した実施例１の撮像装置１００の構成とは、色マトリクス演算部１１０１及び可視光量検波部１１０２が異なり、それ以外の構成は同じである。
　図１５における色マトリクス演算部１１０１は、上記図１の色マトリクス演算部１０７と基本的に同じ構成を有しているが、しかし、その中間出力であるＩ減算部１２１の出力が可視光検波部１１０２に出力される点において異なる構成となっている。
　ま、この図１５の可視光量検波部１１０２は、Ｉ減算部１２１の出力する色信号Ｒ１，Ｇ１，Ｂ１を入力とする点でも、上記図１の可視光量検波部１１７と異なる。
　ここで、色マトリクス演算部１１０１の動作について説明すると、まず、上記実施例１の場合と同様に、近赤外領域の信号成分を除去して、可視光量域に感度を持つ色信号Ｒ１，Ｇ１，Ｂ１は、Ｉ減算部１２１において、上記の式１と同様に計算される。
　一方、図１５に示す本実施例４の可視光量検波部１１０２は、次のような計算により、注目画素周辺の可視領域の信号量Ｙｄを検出する。
　　Ｙｄ＝Σ（ｋｙｄ１×Ｒ１＋ｋｙｄ２×Ｇ１
　　　　　＋ｋｙｄ３×Ｂ１　　　　　　　　・・・（式８）
ここで、ｋｙｄ１，ｋｙｄ２，ｋｙｄ３は係数を、Σは注目画素周辺の信号量の総和を示す。
　この式は、上記の実施例１で説明した式５に対して、下式の条件を追加したものと等しい。
　　ｋｉｄ１＝ｋｄ１
　　ｋｉｄ２＝ｋｄ２　　　　　・・・（式９）
　　ｋｉｄ３＝ｋｄ３
　この式９の条件を追加することで、Ｉ減算部１２１から出力された色信号Ｒ１，Ｇ１，Ｂ１を元に可視領域の信号量Ｙｄを計算しても、その後の制御部１２０における動作を、上記図１の場合と同様に、実施することができる。
　制御部１２０の動作は、例えば、上述した実施例１、実施例２、実施例３のいずれの動作に準じても良い。それぞれの動作において、実施例１から３のそれぞれで説明した効果を得ることができる。
　また、上記式５に比較して、式８のほうが簡素な式となっていることから分かるように、構成を図１５のようにすることで、上記図１に示した実施例１の場合に比較し、可視光量検波部１１０２の回路規模を小さくすることができるという効果を持つ。
　図１６は、本発明の実施例５になる車載撮像システム１２００の構成を示すブロック図である。
　この車載撮像システム１２００は、可視光照射光源１２０１、近赤外光照射光源１２０２、光源スイッチ１２０３、撮像装置１２０４、画像認識装置１２０５、画像合成装置１２０６、表示装置１２０７、そして、システム制御装置１２０８から構成される。
　可視光照射光源１２０１は、可視領域を含む光を照射する光源であり、例えば、可視領域の光を照射する白色Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ（以下、ＬＥＤ）光源や、可視領域と近赤外領域の光を照射するハロゲンランプなどである。本実施例においては、ハロゲンランプの場合を例に説明する。
　近赤外光照射光源１２０２は、近赤外領域の光を照射する光源であり、例えば、６５０ｎｍから１２００ｎｍの波長の光を照射するＬＥＤ光源などが採用される。
　光源スイッチ１２０３は、可視光照射光源１２０１及び近赤外光照射光源１２０２の照射をＯＮ／ＯＦＦするスイッチであり、それぞれの光源のＯＮ／ＯＦＦを示す点灯信号を、システム制御装置１２０８に出力する。
　撮像装置１２０４は、被写体を可視領域及び近赤外領域で撮像して、輝度信号、色差信号１、色差信号２を出力するものであり、より具体的には、この撮像装置１２０４は、上述した実施例１から実施例４になる撮像装置１００（図１）又は１１００（図１１）と同様の構成をもつ。さらに、この撮像装置１２０４では、システム制御装置１２０８から出力される制御信号を、その制御部１２０に入力する。
　画像認識装置１２０５は、撮像装置１２０４から出力された輝度信号、色差信号１、色差信号２から、被写体を認識して認識結果に応じた認識結果信号を出力する。
　画像合成装置１２０６は、画像認識装置１２０５から出力される認識結果信号に基づいて、撮像装置１２０４から出力された輝度信号、色差信号１、色差信号２に、画像認識結果を重畳した輝度信号、色差信号１、色差信号２を出力する。
　表示装置１２０７は、画像合成装置１２０６から出力された輝度信号、色差信号１、色差信号２を表示する装置であり、例えば、液晶ディスプレイなどにより構成される。
　なお、上述した車載撮像システム１２００は、例えば、自動車や電車などの車両に搭載される機器を想定しており、特に、例えば自動車においては、可視光照射光源１２０１はロービームに相当し、近赤外照射光源１２０１はロービームに相当する。また、光源スイッチ１２０３は、車両のドライバーが操作するハイビーム／ロービームの切り替えスイッチに相当する。即ち、本実施例においては、光源スイッチ１２０３をドライバーが”ロー”に合わせると可視光照射光源１２０１のみが点灯し、”ハイ”に合わせると可視光照射光源１２０１と近赤外照射光源１２０２の両方が点灯し、”ＯＦＦ”に合わせると、可視光照射光源１２０１と近赤外照射光源１２０２のどちらも点灯しないという動作となる。
　図１７は、本実施例になる車載撮像システム１２００によるシーンを説明する図であり、このシーンを用いて、本発明の効果を説明する。
　例えば、この図１７のシーンでは、道路１３０１を自動車である自車両１３０２が走行中である。そして、この自車両１３からの光は、即ち、上記図１６の可視光照射光源１２０１からの可視光は、図の可視光照射範囲１３０３に、また、近赤外光照射光源１２０２からの近赤外光は、図の近赤外光照射範囲１３０３に、それぞれ、放射されている。なお、図からも明らかなように、可視光照射範囲１３０３内には、標識１３０３が存在する。また、近赤外光照射範囲１３０４内には、歩行者１３０６、信号機１３０７、車両１３０９、自発光標識１３１０が存在する。また、信号機１３０８は稼動中であり、即ち、発光中のランプ１３０８が存在しており、例えば、日本で一般的に使われている信号機を想定すると、赤色・黄色・緑色のいずれかのランプが点灯もしくは点滅している。
　ここで、上記図１７に示したシーンにおいて、安全に運転するための自車両前方の状況確認を自車両のドライバーが実施するための補助として、後に示すいくつかの撮像装置で撮影した画像を、当該ドライバーが視認することを想定する。即ち、被写体のうち、歩行者１３０６、信号機１３０７、車両１３０９については、どこに存在しているかを当該画像から判断できることが求められる。また、被写体のうち、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、どこに存在しており、どのような色であるかを当該画像から判断できることが求められているとする。
　図１８は、上記図１７のシーンにおいて、撮像装置として、例えば、可視光撮像装置を使用した場合の出力画像（可視光カメラの出力画像）を示している。ここで、可視領域撮像装置とは、可視領域の光でカラー撮影する撮像装置のことであり、近年では一般的なカラーカメラである。この撮像装置では、可視光照射範囲１３０３内に存在する、又は、自発光している被写体のみがカラーで撮像可能となる。この図１８では、歩行者１３０６、車両１３０９については撮像されないので、どのように動いているかを画像から判断することはできない。また、信号機１３０７については、発光中のランプ１３０８のみが撮像されているが、全体像ではないので、信号機１３０７であることを画像から判断できない。以上のように、図１８のように、可視領域撮像装置を使った場合には、未だ改善の余地がある。
　図１９は、上記図１７のシーンにおいて、撮像装置として、近赤外光撮像装置を使用した場合の出力画像（ナイトビジョンカメラの出力画像）を示している。ここで、近赤外光撮像装置とは、近赤外領域の光のみ、若しくは、近赤外領域と可視領域の光に感度を持つモノクロのカメラのことであり、暗視撮像装置ともいわれる。かかる撮像装置では、可視光照射範囲１３０３内に存在するか、近赤外照射範囲１３０４内に存在するか、又は、自発光している被写体が、モノクロで撮像可能となる。この図１９では、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、モノクロで撮像されており、そのため、画像から色を判断することができない。以上のように、図１９のように、近赤外領域撮像装置を使った場合にも、なお改善の余地がある。
　更に、図２０は、上記図１７のシーンにおいて、撮像装置として、本発明の撮像装置を使用した場合の出力画像（実施例５の撮像装置の出力画像）を示している。ここで、本発明の撮像装置とは、上述した実施例１から実施例４のいずれかに示される撮像装置である（例えば、図１の１００、図１５の１１００を参照）。すなわち、図２０は、図１６に示した車載撮像システム１２００が、図１７の自車両１３０２に搭載されている場合における、撮像装置１２００（図１６参照）の出力画像である。
　このような撮像装置を用いることによれば、可視領域の光で撮像した被写体はカラーとなり、近赤外領域の光で撮像した被写体はモノクロになる。即ち、図２０では、歩行者１３０６、信号機１３０７、車両１３０９については、どこに存在しているかを画像から判断できる。また、被写体のうち、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、どこに存在しており、又は、どのような色であるかを、上記の画像から判断できる。そのため、撮像装置１２００の出力する画像を、画像合成装置１２０６を通じて表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色を判断できるようになり、その結果として、安全に運転する補助となることが可能となる。
　さらに、本実施例では、図２１に示すように、信号機１３０７の全体像や色を強調表示することができる。この図２１では、画像認識装置１２０５において、信号機１３０７を認識し、その認識結果に応じて、画像合成装置１２０６において生成した出力画像である（画像合成装置の出力画像）。撮像装置１２００の出力する画像信号のうち信号機１３０７及び発光中のランプ１３０８が、強調表示された信号機１７０１、強調表示された発光中のランプ１７０２となって強調表示されている（図２０と比較）。ここで、強調表示とは、当該被写体のエッジを太く見せたり、コントラストを高くしたり、又は、部分的なスケーリングにより大きく表示したりすることで、視認性を向上させることを意味する。
　即ち、本実施例においては、撮像装置として本発明の撮像装置１２００を用いることで、被写体の色と形の両方を同時に撮像することができるので、画像認識装置１２０５は、被写体が、例えば、信号機１３０７であり、発光中のランプ１３０８の色が何であるかを認識することが可能となる。このようにして生成した図２１に示すような出力画像を、表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色が視認性の良い形で判断できるようになり、結果として、ドライバーが安全に運転するための補助となることができる。
　本発明の実施例６になる車載撮像システムについて、以下に説明する。この実施例６になる車載撮像システムは、上記図１６に示した実施例５の車載撮像システム１２００と同じ構成であり、ここではその説明を省略する。
　なお、本実施例では、図２２に示すように、被写体をテンプレートと呼ばれる画像に変換して表示する（実施例６の撮像装置の出力画像）。ここで、テンプレートとは、認識の元となった画像のコントラストが低かったり、色の再現性が悪かったりという視認性の良さとは無関係に、予め用意した絵柄をそのまま、もしくは、予め用意した絵柄を元に、撮像装置１２００で実際に撮像された出力画像に基づいて、サイズや角度などを修正して出力した画像の部品である。
　画像認識装置１２０６（図１６参照）では、撮像装置１２００の出力画像から、被写体を認識し、その認識結果を、画像合成装置１２０６に出力する。画像合成装置１２０６においては、撮像装置１２００から出力された画像から、被写体の一部をテンプレートである、標識テンプレート１８０１、歩行者テンプレート１８０２、信号機テンプレート１８０３、車両テンプレート１８０４、自発光標識テンプレート１８０５に置き換えた出力画像を生成する。このようにして生成した図２２のような出力画像を、表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色が視認性の良い形で判断できるようになり、結果として、ドライバーが安全に運転するための補助となることができる。
　図２３は、本発明になる撮像装置の他の一実施例を示したブロック図である。同図において１０１から１２０の各構成要素は、上記図１で説明した各構成要素と同じものである、ここでは説明を省略する。１９０１は、撮像装置１９００の輝度信号処理部であり、ここでは、係数処理部１９０６、及び１９０２、１９０３、１９０４、１９０５の各乗算部、及び加算部１９０７より構成される。輝度信号処理部１９０１には（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６の各出力のＲ、Ｇ、Ｂ、Ｉが入力される。係数処理部１９０６は、Ｒ、Ｇ、Ｂ、Ｉのレベルより後述する係数Ｋｒ、Ｋｇ、Ｋｂ、Ｋｉを決定し出力する。入力されたＲ、Ｇ、Ｂ、Ｉの各信号は１９０２から１９０５の各乗算部により、それぞれ、係数Ｋｒ、Ｋｇ、Ｋｂ、Ｋｉと乗算され、加算部１９０７にて所定の加算処理、例えば（Ｒｐ＋Ｇｐ＋Ｂｐ）／３＋Ｉｐで所定の加算処理がなされ、輝度信号処理が行われる。従って、本実施例に拠れば、係数処理部１９０６の特性に応じて、係数Ｋｒ、Ｋｇ、Ｋｂ、Ｋｉが、それぞれ、制御される。
　図２４に、上記図２３に示した撮像装置の係数処理部１９０６の入出力特性の一例を示す。図において、縦軸は、係数処理部１９０６の出力Ｋｒ、Ｋｇ、Ｋｂ、Ｋｉの数値の大きさを表し、横軸は係数処理部１９０６のＲ、Ｇ、Ｂ、Iの入力値の（Ｒ＋Ｇ＋Ｂ－３Ｉ）／３の値を表している。ここで、（Ｒ＋Ｇ＋Ｂ－３Ｉ）／３としたのは、Ｒ、Ｇ，Ｂの各信号にもＩの成分がふくまれているので、そのＩの成分を除去し、可視光成分のみの信号レベルを取り出すためである。また、Ｋｒ、Ｋｇ、Ｋｂに関しては、撮像部の各Ｒ，Ｇ，Ｂの分光特性に合わせた一定値で、ＫｉをＲ、Ｇ、Ｂの信号量が少なくなるに従い大きくとれば、可視光域の信号が少なく、近赤外光の信号がある場合にはより輝度信号のコントラストを大きくすることができ、結果として、人間の目には暗い場所でも、本撮像装置にて撮像した画像においては物体を視認しやすい画像を得ることができる。
　図２５は、上記実施例７とは別の、更に他の一実施例になる輝度信号処理部２１０１の構成を示したものである。同図において、第一輝度生成部２１０５と第二輝度生成部２１０６は、それぞれ、上記図２３に示した輝度生成処理部１９０８と同様に、要素係数処理部１９０６、各乗算部１９０２、１９０３、１９０４、１９０５、及び加算部１９０７より構成される（図２３参照）。また、２１０２は低周波成分を濾波するローパスフィルタ（ＬＰＦ）、２１０３は高周波成分を濾波するハイパスフィルタ（ＨＰＦ）、２１０４は加算器である。
　かかる構成において、第一輝度生成部２１０５と第二輝度生成部２１０６には、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６（図１９参照）の各出力のＲ、Ｇ、Ｂ、Ｉが入力される。第一輝度生成部２１０５、第二輝度生成部２１０６では、それぞれ独立に、後述する係数処理部の入出力特性に従って、Ｒ、Ｇ、Ｂ、Ｉの各信号から輝度生成がなされる。第一輝度生成部２１０５で生成された輝度信号は、低周波成分がＬＰＦ２１０２にて濾波され、第二輝度生成部２１０６で生成された輝度信号は、低周波成分がＨＰＦ２１０３にて濾波され、ＬＰＦ２１０２の出力とＨＰＦ２１０３出力は加算器２１０４にて加算されて輝度信号処理部２１０１として出力される。第一輝度生成部２１０５では、輝度信号再現特性を決定するように後述する係数特性で輝度生成を行う。第二輝度生成部２１０６では、特に、高周波成分、すなわち画像のエッジ成分を強調するために後述する係数特性で輝度生成を行う。
　図２６（ａ）には、上記第一輝度生成部２１０５における係数処理部（図２３の１９０６と同じ構成）の入出力特性の一例を、また、図２６（ｂ）には、上記第二輝度生成部２１０６における係数処理部（図２３の１９０６と同じ構成）の入出力特性の一例を示す。これら図２６（ａ）及び（ｂ）では、共に、縦軸は係数処理部１９０６（図２３）の出力Ｋｒ、Ｋｇ、Ｋｂ、Ｋｉの数値の大きさを表し、横軸は、係数処理部１９０６（図２３）のＲ、Ｇ、Ｂ、Iの入力値の（Ｒ＋Ｇ＋Ｂ－３Ｉ）／３の値を表している。（Ｒ＋Ｇ＋Ｂ－３Ｉ）／３としたのは、Ｒ、Ｇ，Ｂの各信号にもＩの成分がふくまれているので、そのＩの成分を除去し、可視光成分のみの信号レベルを取り出すためである。
　図２６（ａ）に示したように、第一輝度生成部２１０５（図２５）では、Ｋｒ、Ｋｇ、Ｋｂに関しては、撮像部の各Ｒ，Ｇ，Ｂの分光特性に合わせた一定値で、ＫｉをＲ、Ｇ、Ｂの信号量が少なくなるに従い大きく、また、Ｒ、Ｇ、Ｂが大きい信号量の場合にはマイナスとして、各Ｒ、Ｇ，Ｂの中に含まれるＩの成分を除去するように入出力特性を設定する。このように処理すれば、可視光Ｒ，Ｇ，Ｂ成分により輝度信号が生成されるので、可視光成分が多く、明るいところでは近赤外域の信号の影響を少なくして輝度生成ができ、目視で暗いところでは近赤外域の信号を利用して輝度信号を生成でき、視認性の良い輝度信号が生成できる。
　また図２６（ｂ）に示したように、第二輝度生成部２１０６（図２５）では、Ｋｒ、Ｋｇ、Ｋｂ、Ｋｉを一定値で輝度信号を生成することで、可視光成分に加えて、近赤外域の成分で輝度信号が得られる。従って、ＨＰＦ２１０３（図２５）の出力は、可視光成分に加えて近赤外成分のエッジ成分が得られる。このエッジ成分と、上記の第一輝度生成部２１０５で得られた可視光成分が多く、明るいところでは近赤外域の信号の影響を少なくして輝度生成ができ、目視で暗いところでは近赤外域の信号を利用して輝度信号を生成でき、視認性の良い輝度信号のＬＰＦ２１０２の出力との加算処理が加算器２１０４（図２５）で行われるので、特に、可視光成分が多いが可視光によるコントラストが得られないが、赤外域では反射がありコントラストが得られる被写体を写したした場合など、輝度信号の視認性をさらに向上することができる。
　上述した実施例１～８に加え、更に、例えば、上記実施例７及び実施例８における輝度信号処理部を用いた撮像装置を車載撮像システムに用いた構成例を、上記図１６に示した撮像装置１２０４として使用することもできる。なお、この場合、人間の見た目に暗い場所でも近赤外光に反射する被写体であれば、輝度信号を得ることができ、結果としてドライバーが画像から被写体が視認性の良い形で判断できるようになり、結果として安全に運転する補助となる車載撮像システムが提供できる。
　即ち、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１００…撮像装置、１０１…レンズ、１０２…撮像部、１０３…（Ｒ＋Ｉ）信号デモザイキング部、１０４…（Ｇ＋Ｉ）信号デモザイキング部、１０５…（Ｂ＋Ｉ）信号デモザイキング部、１０６…Ｉ信号デモザイキング部、１０７…色マトリクス演算部、１０８…ＡＷＢゲイン部、１０９…Ｒ信号ガンマ演算部、１１０…Ｇ信号ガンマ演算部、１１１…Ｂ信号ガンマ演算部、１１２…色差演算部（１）、１１３…色差演算部（２）、１１４…輝度マトリクス演算部、１１５…高域強調部、１１６…輝度信号ガンマ演算部、１１７…可視光量検波部、１１８…近赤外光量検波部、１１９…ＡＷＢ検波部、１２０…制御部、１２１…Ｉ減算部、１２２…Ｒ信号マトリクス演算部、１２３…Ｇ信号マトリクス演算部、１２４…Ｂ信号マトリクス演算部、２０１…（Ｒ＋Ｉ）画素、２０２…（Ｇ＋Ｉ）画素、２０３…Ｉ画素、２０４…（Ｂ＋Ｉ）画素、１１００…撮像装置、１１０１…色マトリクス演算部、１１０２…可視光量検波部、１２０１…可視光照射光源、１２０２…近赤外照射光源、１２０３…光源スイッチ、１２０４…撮像装置、１２０５…画像認識装置、１２０６…画像合成装置、１２０７…表示装置、１２０８…システム制御装置、１３０１…道路、１３０２…自車両、１３０３…可視光照射範囲、１３０４…近赤外光照射範囲、１３０５…標識、１３０６…歩行者、１３０７…信号機、１３０８…発光中のランプ、１３０９…車両、１３１０…自発光標識、１６０１…強調表示された信号機、１６０２…強調表示された発光中のランプ、１７０１…標識テンプレート、１７０２…歩行者テンプレート、１７０３…信号機テンプレート、１７０４…車両テンプレート、１９０１…輝度信号処理部、２１０１…輝度信号処理部

Claims (6)

  1. 　可視領域と近赤外領域に感度を持つ可視光近赤外域画素と、近赤外領域にのみ感度を持つ近赤外域画素を備えた撮像部と、
    　前記可視光近赤外域画素及び前記近赤外域画素からの信号に基づいて色差信号を合成する色差信号処理部と、
    　前記可視光近赤外域画素及び前記近赤外域画素からの信号に基づいて輝度信号を生成する輝度生成処理部とを具備する撮像装置であって、更に、
    　前記可視光近赤外域画素の信号量と、前記近赤外域画素の信号量より、輝度信号合成処理を制御する係数を出力する係数制御部を備えており、
    　前記係数制御部は、前記輝度信号処理部の可視光域画素の信号量に応じて、前記色差信号処理部における信号の合成比率を、当該係数制御部から出力される前記係数に基づいて制御することを特徴とする撮像装置。
  2. 　前記請求項１に記載した撮像装置において、前記撮像部の可視光近赤外域画素は、赤色領域と近赤外領域に感度を持つ画素と、緑色領域と近赤外領域に感度を持つ画素と、青色領域と領域に感度を持つ画素を複数備えていることを特徴とする撮像装置。
  3. 　前記請求項１に記載した撮像装置において、前記輝度生成処理部は、
    　第一の輝度生成処理部と、
    　該第一の輝度生成処理部の出力の低周波成分を濾波するローパスフィルタと
    　第二の輝度生成処理部と、
    　該第二の輝度生成処理部の出力の高周波成分を濾波するハイパスフィルタと、そして、
    　前記ローパスフィルタ出力とハイパスフィルタ出力を合成する加算部とからなることを特徴とする撮像装置。
  4. 　前記請求項１に記載した撮像装置において、前記輝度生成処理部は、
    　前記係数制御部から出力される前記係数に基づいて、前記撮像部からの前記可視光近赤外域画素及び前記近赤外域画素からの信号に演算処理を行う係数処理部と、処理された信号を合成する加算器とからなることを特徴とする撮像装置。
  5. 　被写体に可視光を照射する可視光照射光源と、
    　前記被写体に近赤外光を照射する近赤外光照射光源と、
    　前記被写体を撮像する撮像装置と、
    　前記撮像装置が出力する画像から物体を認識する画像認識装置と、
    　前記撮像装置の出力する画像と、前記画像認識装置の結果を合成した合成画像を出力する画像合成装置と、
    　前記画像合成装置の出力する合成画像を表示する表示装置とを備えた車載撮像システムであって、
    　前記撮像装置として、前記請求項１～３の何れか１項に記載した撮像装置を備えたことを特徴とする車載撮像システム。
  6. 　前記請求項５に記載した車載撮像システムであって、更に、
    　前記可視光照射光源と前記近赤外光照射光源のＯＮ／ＯＦＦを制御する光源スイッチと、
    　前記光源スイッチからの点灯信号を入力して、少なくとも、前記撮像装置、
    前記前記画像認識装置、前記画像合成装置、前記表示装置の何れかに制御信号を出力するシステム制御装置を備えたことを特徴とする車載撮像システム。
PCT/JP2014/051557 2014-01-24 2014-01-24 撮像装置及び車載撮像システム WO2015111197A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/051557 WO2015111197A1 (ja) 2014-01-24 2014-01-24 撮像装置及び車載撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/051557 WO2015111197A1 (ja) 2014-01-24 2014-01-24 撮像装置及び車載撮像システム

Publications (1)

Publication Number Publication Date
WO2015111197A1 true WO2015111197A1 (ja) 2015-07-30

Family

ID=53681025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/051557 WO2015111197A1 (ja) 2014-01-24 2014-01-24 撮像装置及び車載撮像システム

Country Status (1)

Country Link
WO (1) WO2015111197A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207817A1 (ja) * 2017-05-11 2018-11-15 株式会社ナノルクス 固体撮像装置、撮像システム及び物体識別システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341470A (ja) * 2004-05-31 2005-12-08 Mitsubishi Electric Corp 撮像装置及び信号処理方法
JP2007202108A (ja) * 2005-12-27 2007-08-09 Sanyo Electric Co Ltd 撮像装置
JP2010178111A (ja) * 2009-01-30 2010-08-12 Panasonic Corp 撮像装置およびテレビドアホン装置
JP2011015087A (ja) * 2009-06-30 2011-01-20 Panasonic Corp 撮像装置および撮像方法
JP2013121132A (ja) * 2011-12-08 2013-06-17 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341470A (ja) * 2004-05-31 2005-12-08 Mitsubishi Electric Corp 撮像装置及び信号処理方法
JP2007202108A (ja) * 2005-12-27 2007-08-09 Sanyo Electric Co Ltd 撮像装置
JP2010178111A (ja) * 2009-01-30 2010-08-12 Panasonic Corp 撮像装置およびテレビドアホン装置
JP2011015087A (ja) * 2009-06-30 2011-01-20 Panasonic Corp 撮像装置および撮像方法
JP2013121132A (ja) * 2011-12-08 2013-06-17 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207817A1 (ja) * 2017-05-11 2018-11-15 株式会社ナノルクス 固体撮像装置、撮像システム及び物体識別システム
JPWO2018207817A1 (ja) * 2017-05-11 2019-06-27 株式会社ナノルクス 固体撮像装置、撮像システム及び物体識別システム
US10863116B2 (en) 2017-05-11 2020-12-08 Nanolux Co. Ltd. Solid-state image capture device, image capture system, and object identification system

Similar Documents

Publication Publication Date Title
JP6211614B2 (ja) 撮像装置、撮像方法並びに車載撮像システム
JP6430447B2 (ja) 可視光画像データ及び赤外線画像データの組合せシステム、熱画像カメラ、赤外線画像を強調する方法を実行する命令を記録したコンピュータ読み取り可能な記録媒体
JP6568719B2 (ja) 撮像方法及び撮像装置
US9338371B2 (en) Imaging device
JP5527448B2 (ja) 画像入力装置
US20150062347A1 (en) Image processing methods for visible and infrared imaging
CN109804619B (zh) 图像处理装置、图像处理方法和摄影装置
JP6029954B2 (ja) 撮像装置
WO2012067028A1 (ja) 画像入力装置および画像処理装置
JP6538819B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2010116923A1 (ja) 画像入力装置
US11146760B2 (en) Imaging apparatus, imaging method, and computer readable recording medium
JP6538818B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2020027210A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101680446B1 (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
JP2010063065A (ja) 画像入力装置
WO2015111197A1 (ja) 撮像装置及び車載撮像システム
JP6466809B2 (ja) 撮像装置および撮像方法
JP6550827B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5521927B2 (ja) 撮像装置
JP2012008845A (ja) 画像処理装置
JP2010161455A (ja) 赤外線混合撮像装置
JP2012010141A (ja) 画像処理装置
JP6504892B2 (ja) 撮像装置
JP6360816B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14879541

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 14879541

Country of ref document: EP

Kind code of ref document: A1