WO2015015580A1 - 撮像装置、撮像方法並びに車載撮像システム - Google Patents

撮像装置、撮像方法並びに車載撮像システム Download PDF

Info

Publication number
WO2015015580A1
WO2015015580A1 PCT/JP2013/070685 JP2013070685W WO2015015580A1 WO 2015015580 A1 WO2015015580 A1 WO 2015015580A1 JP 2013070685 W JP2013070685 W JP 2013070685W WO 2015015580 A1 WO2015015580 A1 WO 2015015580A1
Authority
WO
WIPO (PCT)
Prior art keywords
light region
signal
infrared light
visible light
color
Prior art date
Application number
PCT/JP2013/070685
Other languages
English (en)
French (fr)
Inventor
朋和 石原
雄一 野中
西澤　明仁
塩川　淳司
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to US14/908,276 priority Critical patent/US10154208B2/en
Priority to CN201380078602.2A priority patent/CN105453532B/zh
Priority to JP2015529262A priority patent/JP6211614B2/ja
Priority to PCT/JP2013/070685 priority patent/WO2015015580A1/ja
Publication of WO2015015580A1 publication Critical patent/WO2015015580A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to an imaging device, an imaging method, and an in-vehicle imaging system.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-133867 discloses that there are a plurality of imaging units that capture an image of a subject and generate an image, a color temperature information calculation unit that calculates color temperature information of the subject, a natural light source, and at least one kind of artificial light source.
  • the color reproduction matrix is recorded in association with the type of light source and the position coordinates in a predetermined color space, and the color temperature information in the color space is recorded from the color reproduction matrix recorded in the recording unit.
  • the color reproduction matrix associated with the position coordinates close to the position coordinates corresponding to the two color reproduction matrices associated with the same type of light source, and the light source associated with a different light source Two or less of the color reproduction matrices are selected, and based on the selected plurality of the color reproduction matrices, the position coordinates and the previous position of the color reproduction matrix are selected.
  • a calculation unit that calculates a correction color reproduction matrix by performing an interpolation process based on the position coordinates corresponding to the color temperature information, and a color reproduction process for the image generated by the imaging unit using the correction color reproduction matrix An image pickup apparatus including a color reproduction processing unit for performing the above described.
  • Patent Document 1 describes only the sensitivity characteristics in the visible light region, and includes an imaging unit including pixels having sensitivity in the visible light region and the near infrared light region and pixels having sensitivity in the near infrared light region. There is room for improvement in color reproducibility when a color image is picked up using.
  • the present invention for example, in the case where a color image is captured using an imaging unit composed of pixels having sensitivity in the visible light region and near infrared light region and pixels having sensitivity in the near infrared light region.
  • An imaging device, an imaging method, and an in-vehicle imaging system capable of obtaining an output image with good color reproducibility according to the type are provided.
  • An image sensor including a pixel having sensitivity in a visible light region and a near-infrared light region and a pixel having sensitivity in a near-infrared light region, and the output signal of the image sensor is close to the visible light region.
  • Color reproduction processing means for performing color reproduction processing using a signal from a pixel having sensitivity in an infrared light region and a signal from a pixel having sensitivity in the near infrared light region, and an output signal of the image sensor
  • a visible light amount calculating means for calculating a signal amount in the visible light region using the color light, and the color reproduction processing means so that color reproduction processing is performed based on the signal amount in the visible light region calculated by the visible light amount calculating means.
  • a control means for controlling the image pickup apparatus.
  • the imaging apparatus further comprising: a near-infrared light amount calculating unit that calculates a signal amount in a near-infrared light region using an output signal of the image sensor, and the control unit Is an image pickup apparatus that controls the color reproduction processing means so that color reproduction processing is performed according to a difference between a signal amount in the visible light region and a signal amount in the near-infrared light region.
  • An imaging method using an imaging device having an image sensor including a pixel having sensitivity in a visible light region and a near-infrared light region and a pixel having sensitivity in a near-infrared light region, A visible light amount calculating step for calculating a signal amount in the visible light region using an output signal, and a pixel having sensitivity in the visible light region and the near-infrared light region based on the calculated signal amount in the visible light region. And a color reproduction processing step for performing color reproduction processing using a signal from a pixel having sensitivity in the near-infrared light region.
  • An image sensor including a pixel having sensitivity in a visible light region and a near infrared light region and a pixel having sensitivity in a near infrared light region, and the output signal of the image sensor is close to the visible light region.
  • Color reproduction processing means for performing color reproduction processing using a signal from a pixel having sensitivity in an infrared light region and a signal from a pixel having sensitivity in the near infrared light region, and an output signal of the image sensor
  • a visible light amount calculating means for calculating a signal amount in the visible light region using the color light, and the color reproduction processing means so that color reproduction processing is performed based on the signal amount in the visible light region calculated by the visible light amount calculating means.
  • An imaging device comprising: a control means for controlling; a visible light irradiation light source that irradiates a subject with visible light; a near infrared light irradiation light source that irradiates a subject with near infrared light; and an image output from the imaging device
  • Image recognition to recognize objects Apparatus, image synthesizing apparatus that outputs a synthesized image obtained by synthesizing an image output from the imaging apparatus and a recognition result by the image recognizing apparatus, a display apparatus that displays a synthesized image output from the image synthesizing apparatus, and a system And a control device.
  • an imaging apparatus for example, even when a color image is captured using an imaging unit including pixels having sensitivity in the visible light region and near infrared light region and pixels having sensitivity in the near infrared light region, An imaging apparatus, an imaging method, and an in-vehicle imaging system that can obtain an output image with good color reproducibility according to the type of light source can be provided.
  • FIG. 6 is a diagram illustrating an example of a flowchart of a color matrix coefficient and subtraction coefficient determination method in a control unit according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of an interpolation method for color matrix coefficients and subtraction coefficients in a control unit according to the first embodiment. It is a figure which shows an example of the determination method of the AWB gain in a control part.
  • FIG. 10 is a diagram illustrating an example of a flowchart of a color matrix coefficient and subtraction coefficient determination method in a control unit according to the second embodiment.
  • FIG. 10 is a diagram illustrating an example of a color matrix coefficient and subtraction coefficient interpolation method in a control unit according to the second embodiment. It is a figure which shows an example of the flowchart of the color matrix coefficient determination method in a control part. It is a figure which shows an example of the interpolation method of the color matrix coefficient in a control part. It is a figure showing an example of 1 composition of a modification of an imaging device. It is a figure which shows the example of 1 structure of a vehicle-mounted imaging system. It is a figure explaining a certain scene.
  • FIG. 1 is a configuration diagram illustrating an imaging apparatus 100 according to the first embodiment.
  • the imaging apparatus 100 includes a lens 101, an imaging unit 102, a (red region + near infrared light region) (hereinafter, (R + I)) signal demosaicing unit 103, a (green region + near infrared light region) (hereinafter, (G + I )) Signal demosaicing unit 104, (blue region + near infrared light region) (hereinafter (B + I)) signal demosaicing unit 105, near infrared light region (hereinafter, I) signal demosaicing unit 106, color matrix calculation Unit 107, auto white balance (hereinafter, AWB) gain unit 108, R signal gamma computing unit 109, G signal gamma computing unit 110, B signal gamma computing unit 111, first color difference computing unit 112, second color difference computing unit 113, Luminance matrix calculation unit 114, high frequency enhancement unit 115, lumina
  • the lens 101 is a lens or a lens group that forms an image of light coming from a subject.
  • the imaging unit 102 includes (R + I) pixels, (G + I) pixels, (B + I) pixels, and pixels having sensitivity in the near-infrared light region, which are pixels having sensitivity in both the visible light region and the near-infrared light region.
  • a certain I pixel is used as appropriate.
  • Each pixel performs photoelectric conversion and A / D conversion on the light imaged by the lens 101, and outputs a signal from each pixel, which is digital data.
  • the (R + I) signal demosaicing unit 103 performs interpolation processing on the signal from the (R + I) pixel output from the imaging unit 102 and corresponds to the positions of other (G + I) pixel, (B + I) pixel, and I pixel.
  • the (R + I) signal is output.
  • the (G + I) signal demosaicing unit 104 subjects the signal from the (G + I) pixel output from the imaging unit 102 to interpolation processing, and outputs a (G + I) signal.
  • the (B + I) signal demosaicing unit 105 performs interpolation processing on the signal from the (B + I) pixel output from the imaging unit 102 and outputs a (B + I) signal.
  • the I signal demosaicing unit 106 performs interpolation processing on the signal from the I pixel output from the imaging unit 102 and outputs the I signal.
  • the color matrix calculation unit 107 controls the signals output from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106, Using the subtraction coefficients and color matrix coefficients output from the unit 120, color reproduction processing is performed by calculation, and R signals, G signals, and B signals, which are color signals, are output.
  • the AWB gain unit 108 adds the AWB gain corresponding to the color temperature of the light source to each color signal output from the color matrix calculation unit 107, and outputs each color signal after the AWB gain processing.
  • the R signal gamma computing unit 109 performs gamma computation on the R signal output from the AWB gain unit 108 and outputs the R signal.
  • the G signal gamma calculation unit 110 performs gamma calculation on the G signal output from the AWB gain unit 108 and outputs the G signal.
  • the B signal gamma computing unit 111 performs gamma computation on the B signal output from the AWB gain unit 108 and outputs the B signal.
  • the first color difference calculation unit 112 and the second color difference calculation unit 113 are configured to output the first color difference signal and the second color difference signal from the color signals output from the R signal gamma calculation unit 109, the G signal gamma calculation unit 110, and the B signal gamma calculation unit 111.
  • a color difference signal is generated.
  • ITU-R International Telecommunication Union-Radiocommunications Sector
  • the color difference is calculated according to 709, and the first color difference signal is Pb which is a color difference signal mainly indicating a difference between blue and luminance, and the second color difference signal is Pr which is a color difference signal mainly indicating a difference between red and luminance. Can do.
  • the first color difference signal and the second color difference signal are output to the outside of the imaging apparatus 100.
  • the luminance matrix calculation unit 114 uses signals output from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106, respectively. A luminance signal is generated.
  • the high-frequency emphasizing unit 115 performs processing for enhancing high spatial frequency components from the luminance signal output from the luminance matrix calculation unit 114, and outputs a luminance signal that sharpens the contour portion (edge) in the image. To do.
  • the luminance signal gamma calculation unit 116 performs gamma correction processing on the luminance signal output from the high frequency emphasizing unit 115 and outputs the luminance signal to the outside of the imaging apparatus 100.
  • the luminance signal output to the outside of the imaging apparatus 100, and the first color difference signal 1 and the second color difference signal are color image signal outputs.
  • the visible light amount detection unit 117 receives attention from signals output from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106.
  • the amount of radiated light in the visible light region around the pixel is detected and output as a signal amount in the visible light region.
  • the near-infrared light amount detection unit 118 is configured to output signals from the (R + I) signal demosaicing unit 103, the (G + I) signal demosaicing unit 104, the (B + I) signal demosaicing unit 105, and the I signal demosaicing unit 106, respectively.
  • the amount of radiated light in the near infrared light region around the pixel of interest is detected and output as a signal amount in the near infrared light region.
  • the AWB detection unit 119 includes a first color difference signal and a second color difference signal output from the first color difference calculation unit 112 and the second color difference calculation unit 113, a luminance signal output from the luminance signal gamma calculation unit 116, and a control unit 120. Using a signal indicating the output AWB detection range as appropriate, a white balance deviation is detected and a white balance detection signal is output.
  • the control unit 120 uses the signal amount in the visible light region output from the visible light amount detection unit 117 and the signal amount in the near infrared light region output from the near infrared light amount detection unit 118 as a light source near the target pixel.
  • the optimum subtraction coefficient and color matrix coefficient are determined and output to the color matrix calculation unit 107.
  • control unit 120 uses the signal amount in the visible light region output from the visible light amount detection unit 117 and the signal amount in the near infrared light region output from the near infrared light amount detection unit 118, so that A signal indicating the AWB detection range optimum for the light source is generated and output to the AWB detection unit 119.
  • the color matrix calculation unit 107 is configured using, for example, an I subtraction unit 121, an R signal matrix calculation unit 122, a G signal matrix calculation unit 123, and a B signal matrix calculation unit 124 as appropriate.
  • the I subtraction unit 121 calculates a value obtained by multiplying the I signal output from the I signal demosaicing unit 106 by a coefficient (subtraction coefficient) from the (R + I) signal output from the (R + I) signal demosaicing unit 103. Subtract to generate an R signal. Further, the I subtraction unit 121 subtracts a value obtained by multiplying the I signal output from the I signal demosaicing unit 106 by the subtraction coefficient from the (G + I) signal output from the (G + I) signal demosaicing unit 104. A G signal is generated.
  • the I subtractor 121 subtracts a value obtained by multiplying the I signal output from the I signal demosaicing unit 106 by the subtraction coefficient from the (B + I) signal output from the (B + I) signal demosaicing unit 105, A B signal is generated.
  • a B signal is generated.
  • the R signal matrix calculation unit 122 generates and outputs an R signal with better color reproducibility from the R signal, G signal, and B signal output from the I subtraction unit 121 by matrix calculation.
  • the G signal matrix calculation unit 123 generates and outputs a G signal with better color reproducibility from the R signal, G signal, and B signal output from the I subtraction unit 121 by matrix calculation.
  • the B signal matrix calculation unit 122 generates and outputs a B signal having better color reproducibility by matrix calculation from the R signal, G signal, and B signal output from the I subtraction unit 121.
  • the color matrix coefficient and the subtraction coefficient can be controlled according to the signal amount in the visible light region and the signal amount in the near infrared light region. It is possible to obtain a color difference signal with good color reproducibility even when a color image is captured using an imaging unit composed of pixels having sensitivity in the infrared light region and pixels having sensitivity in the near infrared light region.
  • the imaging device 100 that can be provided can be provided.
  • FIG. 2 is a diagram illustrating an example of the arrangement of pixels of the imaging element of the imaging unit 102.
  • the four color pixels of (R + I) pixel 201, (G + I) pixel 202, I pixel 203, and (B + I) pixel 204 form a unit configuration of 2 ⁇ 2 pixels, and the unit configuration is vertical. ⁇ It is repeatedly arranged on each side.
  • FIG. 3 is a diagram showing an example of the wavelength sensitivity characteristic of each pixel included in each pixel of the image sensor shown in FIG.
  • the imaging unit 102 includes (R + I) pixels that are sensitive to the red region (R) 301 and the near-infrared light region (I) 302 in the visible light region, and the green region (G) 305 in the visible light region.
  • the light region (I) 312 includes four types of pixels (B + I) having sensitivity.
  • an imaging device having sensitivity in the near-infrared light region as shown in FIG. 3 for example, by giving sensitivity to the near-infrared light region in addition to the visible light region,
  • a light source that emits in both the visible and near infrared wavelengths
  • the component in the near-infrared light region (I) is an unnecessary wavelength component from the viewpoint of the reproducibility of the sensitivity characteristic with respect to the color of the human eye.
  • the sensitivity to the near-infrared light region (I) included in each pixel in FIG. 3 is substantially the same, for example, if the output signal of the I pixel is subtracted from the output signal of the (R + I) pixel, the red color A signal having sensitivity in the region (R) can be obtained.
  • each pixel has variations in sensitivity characteristics in the near-infrared light region (I), and each pixel includes unnecessary wavelength components as described later. A specific method for reducing the decrease in color reproducibility due to this variation will be described below, focusing on the operations of the color matrix calculation unit 107 and the AWB gain unit 108.
  • the color matrix calculation unit 107 outputs R, G, and B signals that are color signals based on the (R + I) signal, (G + I) signal, (B + I) signal, and (I) signal output from the imaging unit 102. .
  • the I subtraction unit 121 removes signal components in the near-infrared light region and outputs color signals R1, G1, and B1 having sensitivity in the visible light amount region.
  • R1 (R + I) ⁇ ki1 ⁇ I
  • G1 (G + I) ⁇ ki2 ⁇ I
  • B1 (B + I) ⁇ ki3 ⁇ I
  • (ki1, ki2, ki3) are subtraction coefficients.
  • R2 R signal
  • G2 G signal
  • B2 B signal
  • the red component (R), green component (G), and blue component (B) have sensitivity to the same wavelength.
  • the color reproducibility is improved by adjusting the size of the overlapping area by the color matrix calculation of (Expression 4) to (Expression 6) according to the characteristics of the overlapping area.
  • the color matrix calculation unit 107 includes an I subtraction unit 121, an R signal matrix calculation unit 122, a G signal matrix calculation unit 123, and a B signal matrix calculation unit 124.
  • a configuration that realizes (Equation 9) may be used. In that case, since the number of stages of computation is reduced, the latency when realized by hardware can be improved while reducing the decrease in color reproducibility.
  • the AWB gain unit 108 performs the following calculation according to the color temperature of the light source.
  • R3 kr ⁇ R2 (Equation 11)
  • G3 kg ⁇ G2 (Equation 12)
  • B3 kb ⁇ B2
  • (kr, kg, kb) is a coefficient called AWB gain.
  • the wavelength sensitivity characteristics of the components in the near-infrared light region (I) of each pixel (302, 306, 309, FIG. 312) varies, and the near-infrared light region (I) component cannot be optimally reduced by simply subtracting the signal value of the I pixel.
  • each pixel contains unnecessary wavelength components.
  • the red region (R) 301 and near-infrared light region (I) 302 in FIG. 3 are effective wavelength components, and 303 and 304 in FIG. 3 are unnecessary wavelength components.
  • the (G + I) pixel has unnecessary wavelength components 307 and 308, the (I) pixel has unnecessary wavelength component 310, and the (B + I) pixel has unnecessary wavelength component 313.
  • These unnecessary wavelength components (303, 304, 307, 308, 310, and 313 in FIG. 3) are preferably zero, but are not zero. Therefore, when the signal value of the I pixel is subtracted or after the color matrix calculation. In the wavelength sensitivity characteristics, positive and negative sensitivities are given to unintended wavelength components.
  • the variation in the characteristics of the components in the near infrared light region (I) and the degree of influence of unnecessary wavelength components vary depending on the type of light source. For example, considering a case where a general three-wavelength fluorescent lamp is used as a light source, the light source emits one radiant energy in the red region (R), green region (G), and blue region (B) of the visible light amount region. Other wavelengths including the near-infrared light region (I) have very little or no radiation. In such a case, there is almost no influence of variations in the near-infrared light region (I), but it is affected by unnecessary wavelength components.
  • the light source has higher radiation energy in the near-infrared light region than in the visible light region.
  • the influence of variations in the near-infrared light region (I) becomes large, while the influence of unnecessary wavelength components becomes relatively small.
  • the light source is a near-infrared projector that emits only the near-infrared light region (I)
  • colors cannot be reproduced.
  • the color matrix calculation unit 107 aims to achieve good color reproduction by minimizing these influences and adjusting the overlapping of the characteristics of the wavelength components. In this way, the visible light region included in the light source and It is necessary to consider that the degree of influence of unnecessary wavelength components and variations varies depending on the difference in radiant energy in the near-infrared light region. However, when the matrix coefficient is fixed or when the color matrix is controlled in the color space as in the method of Patent Document 1, the difference in the radiant energy between the visible light region and the near infrared light region is taken into consideration. Since this is not possible, there is a problem that good color reproduction cannot be obtained.
  • this embodiment introduces means for selecting a subtraction coefficient and a color matrix coefficient according to the difference in radiant energy between the visible light region and the near infrared light region included in the light source. is doing. The means and effects will be described below.
  • the visible light amount detection unit 117 detects the signal amount Yd of the visible light region around the target pixel by, for example, the following calculation.
  • Yd ⁇ (kyd1 ⁇ ((R + I) ⁇ kid1 ⁇ I) + Kid2 ⁇ ((G + I) ⁇ kid2 ⁇ I) + Kid3 ⁇ ((B + I) ⁇ kid3 ⁇ I)) (Kid1, kid2, kid3, kyd1, kyd2, and kyd3 are coefficients, and ⁇ is the sum of signal amounts around the pixel of interest)
  • the near-infrared light amount detection unit 118 detects the signal amount Id in the near-infrared light region around the target pixel by, for example, the following calculation.
  • FIG. 4 is an example of a flowchart of a method for determining a color matrix coefficient and a subtraction coefficient in the control unit 120.
  • the control unit 120 reads the visible light region signal amount Yd from the visible light amount detection unit 117 and the near infrared light amount detection unit 118 reads the near infrared light region signal amount Id.
  • the reading of the signal amount Yd in the visible light region or the reading of the signal amount Id in the near-infrared light region may be performed first, or may be performed simultaneously.
  • step 403 the control unit 120 derives the light amount subtraction result D as follows.
  • D Yd ⁇ Id
  • the control unit 120 determines a subtraction coefficient and color matrix coefficient set Mat3 based on the light amount subtraction result D (hereinafter, Mat * (* is an arbitrary number) is subtraction. Represents a combination of coefficients and color matrix coefficients).
  • Mat * (* is an arbitrary number) is subtraction. Represents a combination of coefficients and color matrix coefficients).
  • D is relatively high under a light source with high radiant energy in the visible light region, such as under a fluorescent lamp, and radiant energy in the near infrared light region is high as in a halogen lamp.
  • the control unit 120 can estimate the type of the light source based on the tendency of the light amount subtraction result D, and can generate an appropriate color matrix coefficient and subtraction coefficient set Mat3 according to the type of the light source. In step 406, the control unit 120 outputs the color matrix coefficient / subtraction coefficient set Mat 3 to the color matrix calculation unit 107.
  • FIG. 5 is a diagram showing a method of deriving color matrix coefficients (krr, krg, krb, kgr, kgg, kgb, kbr, kbg, kbb) and subtraction coefficients (ki1, ki2, ki3) from the light quantity subtraction result D. It is.
  • the color matrix coefficient and the subtraction coefficient are determined in advance. For example, in FIG. 5, it is predetermined when D is ⁇ 255, ⁇ 128, 0, 128, 255.
  • the value of Yd ⁇ Id can take a value from 0 to 255, and values are determined in advance at substantially equal intervals for both ends and three points therebetween.
  • the selected first coefficient set is Mat1 (501 to 504, 513 to 516, 525 to 528), and the selected second coefficient set is Mat2 (505 to 508, 517 to 520, 529 to 532). ).
  • Mat3 a set of coefficients determined by interpolation for each coefficient from the set of two coefficients according to the value of D is defined as Mat3 (509 to 512, 521 to 524, 533 to 536).
  • the color matrix coefficient is brought close to 0 so as to be optimal for, for example, a near-infrared projector, and an achromatic color is obtained.
  • the coefficient set is set and the adjustment is made in consideration of both unnecessary wavelength components and variations in the near-infrared light region so as to be optimal for, for example, a halogen lamp when D is 0,
  • the optimum subtraction coefficient and color matrix coefficient are set for fluorescent lamps (specialized for removing unnecessary wavelength components in the visible light region), and values between them are determined to take intermediate values as appropriate. .
  • FIG. 6 is an explanatory diagram showing a method of controlling the AWB detection range in the control unit 120.
  • the first color difference signal output from the first color difference calculation unit 112 in FIG. 1 is on the horizontal axis 601 in FIG. 6, and the output value of the second color difference signal output from the second color difference calculation unit 113 is on the vertical axis 602 in FIG. It shows.
  • AWB detection ranges 603 and 604 are defined.
  • the AWB detection range indicates a range of a color difference level of a pixel regarded as white in AWB.
  • the AWB detection ranges 603 and 604 are defined by rectangles with a threshold value provided for each axis, but the present invention is not limited to this and may be defined by any shape.
  • the AWB detection unit 119 includes a first color difference signal Pb of all pixels in which both the first color difference signal (here, Pb) and the second color difference signal (here, Pr) of each pixel are within the AWB detection range 604.
  • the average value Pba of the second color difference signal Pr and the average value Pba of the second color difference signal Pr are obtained, and these (Pba, Pra) are output to the control unit 120.
  • the control unit 120 records the adjusted AWB gain inside the control unit 120 and outputs it to the AWB gain unit 108.
  • the AWB detection range at a certain color matrix coefficient and subtraction coefficient is shown at 603 in FIG. Although it has already been shown that the subtraction coefficient and the color matrix coefficient are controlled by the flowchart of FIG. 4, as a result, the first color difference signal and the second color difference signal change due to the change of the subtraction coefficient and the color matrix coefficient. That is, the AWB detection range also changes.
  • the AWB detection range is also corrected according to changes in the subtraction coefficient and the color matrix coefficient. If there is a change in the subtraction coefficient and the color matrix coefficient since the original AWB detection range 603, for example, BT. Based on the color difference calculation formula 709, the axes of the first color difference signal and the second color difference signal change. A corrected range for the AWB detection range is determined in advance in accordance with changes in the first color difference signal and the second color difference signal. In the present embodiment, the AWB detection range 604 is determined based on the value of the light quantity subtraction result D of (Equation 15), the values of kr, kg, kb, and the value of the luminance signal.
  • the image pickup apparatus has the same configuration as that of the first embodiment, and the processing content in the control unit 120 is different from that of the first embodiment.
  • the same parts as those of the first embodiment are omitted as appropriate, and the different parts will be mainly described.
  • FIG. 7 is an example of a flowchart of processing contents in the control unit 120 according to the second embodiment, that is, a method for determining a color matrix coefficient and a subtraction coefficient.
  • the control unit 120 reads the signal amount Yd in the visible light region from the visible light amount detection unit 117.
  • the control unit 120 determines a set Mat3 of a subtraction coefficient and a color matrix coefficient from the signal amount Yd in the visible light region.
  • control unit 120 can estimate the type of the light source based on the tendency of the signal amount Yd in the visible light region, and can generate an appropriate color matrix coefficient and subtraction coefficient set Mat3 according to the type of the light source. In step 704, the control unit 120 outputs the color matrix coefficient / subtraction coefficient set Mat 3 to the color matrix calculation unit 107.
  • FIG. 8 shows a method of deriving color matrix coefficients (krr, krg, krb, kgr, kgg, kgb, kbr, kbb, kbb) and subtraction coefficients (ki1, ki2, ki3) from the signal amount in the visible light region. It is a figure.
  • a color matrix coefficient and a subtraction coefficient are determined in advance for the jump value of the signal amount Yd in the visible light region. For example, in FIG. 8, it is determined in advance when Yd is 0, 64, 128, 192, 255.
  • the value of Yd can take a value from 0 to 255, and the values are determined in advance at substantially equal intervals for both ends and three points therebetween.
  • the selected first coefficient set is Mat1 (801 to 804, 813 to 816, 825 to 828), and the selected second coefficient set is Mat2 (805 to 808, 817 to 820, 829 to 832).
  • Mat3 a set of coefficients determined by interpolation for each coefficient from the set of two coefficients according to the value of Yd is defined as Mat3 (809 to 812, 821 to 824, 833 to 836).
  • a near-infrared projector for example, a color matrix coefficient is brought close to 0 to make an achromatic color
  • a fluorescent lamp a near-infrared projector
  • the optimum subtraction coefficient and color matrix coefficient are set for (specifically removing unnecessary wavelength components in the visible light region), and values between them are determined so as to take intermediate values as appropriate. In this way, even when the light source changes for each region in the screen or in time series, the optimum subtraction coefficient and color matrix coefficient can be selected, and color reproducibility can be improved. The effect of being able to be obtained is obtained.
  • the signal amount in the near infrared light region is not used. Therefore, it is possible to adopt a configuration in which the near-infrared light quantity detection unit 118 is excluded from FIG. In that case, the circuit scale can be reduced.
  • the imaging apparatus according to the third embodiment has the same configuration as that of the first embodiment.
  • the image pickup apparatus has the same configuration as that of the first embodiment, and the processing content and the like in the control unit 120 are different from those of the first embodiment.
  • the same parts as those of the first embodiment are omitted as appropriate, and the different parts will be mainly described.
  • FIG. 9 is an example of a flowchart of a processing content in the control unit 120 according to the third embodiment, that is, a method for determining a color matrix coefficient and a subtraction coefficient.
  • the control unit 120 reads the signal amount Yd in the visible light region from the visible light amount detection unit 117 and the signal amount Id in the near infrared light region from the near infrared light amount detection unit 118.
  • the reading of the signal amount Yd in the visible light region or the reading of the signal amount Id in the near-infrared light region may be performed first, or may be performed simultaneously.
  • step 903 and step 904 the control unit 120 determines a subtraction coefficient and color matrix coefficient set Mat5 from the combination of the signal amount Yd in the visible light region and the signal amount Id in the near-infrared light region. Since there is a characteristic in the radiant energy characteristic for each wavelength depending on the type of the light source, the type of the light source mainly irradiated in the vicinity of the target pixel can be estimated by the combination of Yd and Id. For example, it can be estimated that when both Yd and Id are high, a halogen lamp, a fluorescent lamp when Yd is high and Id is low, a near-infrared projector when Yd is low and Id is high, and the like. An appropriate color matrix coefficient and subtraction coefficient set Mat5 is generated according to the estimated type of light source. In step 905, the control unit 120 outputs the determined coefficient set Mat 5 to the color matrix calculation unit 107.
  • FIG. 10 is a diagram illustrating a method for deriving a color matrix coefficient and a subtraction coefficient from the signal amount Yd in the visible light region and the signal amount Id in the near-infrared light region.
  • a color matrix coefficient and a subtraction coefficient are determined in advance for combinations of jump values of Yd and Id. For example, in FIG. 10, when Yd and Id are 0, 64, 128, 192, and 255, respectively, a set of color matrix coefficients and subtraction coefficients is determined.
  • each coefficient is defined in a table for a combination of jump values of (Yd, Id).
  • a set of predetermined coefficients when (Yd, Id) in FIG. 10 is (0, 0) and (0, 255), it is for a near-infrared projector (for example, the color matrix coefficient is set close to 0).
  • Achromatic for halogen lamps (both taking into account variations in unwanted wavelength components and near-infrared light region), (255, 0) for fluorescent lamps (visible light region)
  • the subtraction coefficients and color matrix coefficients that are optimal for the removal of unnecessary wavelength components are set, and other points are determined so as to take intermediate values as appropriate.
  • the optimum subtraction coefficient and color matrix coefficient can be selected, and color reproducibility can be improved.
  • one coefficient set determined by interpolation is determined for each coefficient from the four coefficient sets, but the initially selected coefficient set is not limited to four and can be changed as appropriate. is there.
  • the color matrix and the subtraction coefficient suitable for the light source can be obtained with higher accuracy. Therefore, the color reproducibility can be improved.
  • FIG. 11 is a configuration diagram illustrating an imaging apparatus 1100 according to the fourth embodiment.
  • the imaging apparatus 1100 includes a lens 101, an imaging unit 102, an (R + I) signal demosaicing unit 103, a (G + I) signal demosaicing unit 104, a (B + I) signal demosaicing unit 105, an I signal demosaicing unit 106, and a color matrix calculation unit.
  • the color matrix calculation unit 1101 is configured by appropriately using, for example, an I subtraction unit 121, an R signal matrix calculation unit 122, a G signal matrix calculation unit 123, and a B signal matrix calculation unit 124.
  • the configuration of the imaging apparatus 1100 in FIG. 11 according to the fourth embodiment is the same as the configuration other than the color matrix calculation unit 1101 and the visible light amount detection unit 1102 as compared with the configuration of the imaging apparatus 100 in FIG. Therefore, the same configuration is omitted as appropriate for the description, and different portions will be mainly described below.
  • the color matrix calculation unit 1101 in FIG. 11 has basically the same configuration as the color matrix calculation unit 107 in FIG. 1 and outputs the output of the I subtraction unit 121 in FIG. 11 that is an intermediate output to the visible light detection unit 1102. It has a configuration with dots added.
  • the visible light amount detection unit 1102 in FIG. 11 is different from the visible light amount detection unit 117 in FIG. 1 in that the color signals R1, G1, and B1 output from the I subtraction unit 121 are input.
  • the signal components in the near-infrared light region are removed, and the color signals R1, G1, and B1 having sensitivity in the visible light amount region are converted into It is calculated as 1) to (Equation 3).
  • the visible light amount detection unit 1102 in FIG. 11 detects the signal amount Yd in the visible light region around the target pixel by the following calculation.
  • Equation 16 is equal to the equation (Equation 13) described in Embodiment 1 with the following equation added.
  • control unit 120 may be in accordance with, for example, any of the operations of the first embodiment, the second embodiment, and the third embodiment, and can be appropriately applied to the modifications described in the respective embodiments. In each operation, the effects described in the first to third embodiments can be obtained.
  • FIG. 12 is a configuration diagram illustrating an in-vehicle imaging system 1200 according to the fifth embodiment.
  • the in-vehicle imaging system 1200 uses a visible light irradiation light source 1201, a near infrared light irradiation light source 1202, a light source switch 1203, an imaging device 1204, an image recognition device 1205, an image composition device 1206, a display device 1207, and a system control device 1208 as appropriate. Composed.
  • the visible light irradiation light source 1201 is a light source that emits light including a visible light region.
  • a white light-emitting diode (hereinafter referred to as LED) light source that emits light in the visible light region, a visible light region and near-infrared light.
  • a halogen lamp that irradiates light in a region.
  • the near infrared light irradiation light source 1202 is a light source that irradiates light in a near infrared light region.
  • an LED light source that emits light having a wavelength of 650 nm to 1200 nm.
  • the light source switch 1203 is a switch for turning on / off the irradiation of the visible light irradiation light source 1201 and the near-infrared light irradiation light source 1202, and outputs a lighting signal indicating ON / OFF of each light source to the system control device 1208.
  • the imaging device 1204 images a subject in the visible light region and the near-infrared light region, and outputs a luminance signal, a first color difference signal, and a second color difference signal.
  • the imaging device 1204 has the same configuration as the imaging devices of the first to fourth embodiments. Further, the imaging device 1204 inputs a control signal output from the system control device 1208 to the control unit 120.
  • the image recognition device 1205 recognizes the subject using the luminance signal, the first color difference signal, and the second color difference signal output from the imaging device 1204, and outputs a recognition result signal corresponding to the recognition result.
  • the image composition device 1206 is a luminance signal obtained by superimposing the image recognition result on the luminance signal, the first color difference signal, and the second color difference signal output from the imaging device 1204.
  • the first color difference signal and the second color difference signal are output.
  • the display device 1207 is a device that displays the luminance signal, the first color difference signal, and the second color difference signal output from the image composition device 1206, and is, for example, a liquid crystal display.
  • the in-vehicle imaging system 1200 is assumed to be a device mounted on a vehicle such as an automobile or a train.
  • the visible light irradiation light source 1201 corresponds to a low beam
  • the near infrared irradiation light source 1201 corresponds to a high beam.
  • the light source switch 1203 corresponds to a high beam / low beam switching switch operated by a vehicle driver.
  • FIG. 13 is a diagram for explaining a scene of this embodiment. The following describes one effect of the in-vehicle imaging system according to the present embodiment, using, for example, one night scene of FIG.
  • the host vehicle 1302 is traveling on the road 1301.
  • Light is emitted from the own vehicle from the visible light irradiation light source 1201 in FIG. 12 to the visible light irradiation range 1303 in FIG. 13 and from the near infrared light irradiation light source 1202 to the near infrared light irradiation range 1304 in FIG. Yes.
  • a marker 1305 is present in the visible light irradiation range 1303.
  • a pedestrian 1306, a traffic light 1307, a vehicle 1309, and a self-luminous sign 1310 exist in the near infrared light irradiation range 1304.
  • the traffic light 1308 is in operation and there is a lamp 1308 that is emitting light. For example, assuming a traffic light commonly used in Japan, one of the red, yellow, and green lamps is lit or blinking.
  • the driver visually recognizes images taken by several imaging devices described later.
  • the pedestrian 1306, the traffic light 1307, and the vehicle 1309 can be determined from the image where they exist.
  • the sign 1305, the lamp 1308 during light emission of the traffic light, and the self-light emitting sign 1310 are required to be able to be determined from the image where they exist and in what color.
  • FIG. 14 shows an output image when, for example, a visible light imaging device is used as the imaging device in the scene of FIG.
  • the visible light region imaging device is an imaging device that captures a color image with light in the visible light region, and is a common color camera in recent years.
  • this imaging apparatus only a subject that exists within the visible light irradiation range 1303 or that emits light can be captured in color.
  • the pedestrian 1306 and the vehicle 1309 are not imaged, it cannot be determined from the image how the pedestrian 1306 and the vehicle 1309 are moving.
  • the traffic light 1307 only the lamp 1308 that is emitting light is captured, but since it is not an overall image, it cannot be determined from the image that it is the traffic light 1307.
  • FIG. 15 shows an output image when a near-infrared light imaging device is used as the imaging device in the scene of FIG.
  • the near-infrared light imaging device is a monochrome camera having sensitivity only to light in the near-infrared light region or to light in the near-infrared light region and visible light region. Is called.
  • a subject that is in the visible light irradiation range 1303, in the near-infrared irradiation range 1304, or is self-luminous can be captured in monochrome.
  • the sign 1305, the lamp 1308 during light emission of the traffic light, and the self-light emitting sign 1310 are captured in monochrome, and the color cannot be determined from the image. As described above, there is room for improvement even when the near-infrared light imaging device is used as shown in FIG.
  • FIG. 16 shows an output image when the imaging device described in each embodiment according to the present invention is used as the imaging device in the scene of FIG. That is, FIG. 16 is an output image displayed on the display device 1207 when the in-vehicle imaging system 1200 of FIG. 12 is mounted on the host vehicle 1302 of FIG.
  • a subject imaged with light in the visible light region will be colored, and a subject imaged with light in the near-infrared light region will be monochrome.
  • FIG. 16 it can be determined from the image where the pedestrian 1306, the traffic light 1307, and the vehicle 1309 are present.
  • the sign 1305, the lamp 1308 during light emission of the traffic light, and the self-light emitting sign 1310 can be determined from the image where they exist and in what color. Therefore, by outputting the image output from the imaging device 1200 to the display device 1207 through the image composition device 1206 and displaying it, the driver can determine the location and color of the subject from the image, and as a result, driving more safely. Can be auxiliary.
  • FIG. 17 shows an output image generated by the image synthesizing device 1206 by recognizing the traffic light 1307 in the image recognition device 1205 and according to the recognition result.
  • the traffic light 1307 and the light emitting lamp 1308 are highlighted as the highlighted traffic light 1701 and the highlighted light emitting lamp 1702.
  • the highlighting means that the visibility of the subject is improved by making the edge of the subject appear thicker, the contrast is increased, or the image is enlarged by partial scaling.
  • the image recognition device 1205 since both the color and shape of the subject can be captured simultaneously by using the imaging device 1204, the image recognition device 1205 has the subject, for example, the traffic light 1307, and the lamp 1308 that is emitting light. It becomes possible to recognize what the color is.
  • the output image shown in FIG. 17 generated in this manner is output to the display device 1207 and displayed, so that the driver can determine the location and color of the subject from the image in a form with good visibility. As an aid to driving more safely.
  • Example 6 is an in-vehicle imaging system that outputs different output images with the same configuration as the in-vehicle imaging system 1200 described above.
  • the subject is converted into an image called a template and displayed as shown in FIG.
  • the template is an image pickup device based on a pre-prepared picture or a pre-prepared picture regardless of good visibility such as low image contrast or poor color reproducibility. This is a part of an image output by correcting the size and angle based on the output image actually captured in 1200.
  • the image recognition device 1206 recognizes the subject from the output image of the imaging device 1200 as shown in FIG. 16 and outputs the recognition result to the image composition device 1206.
  • the image composition device 1206 a part of the subject is replaced with a sign template 1801, a pedestrian template 1802, a traffic light template 1803, a vehicle template 1804, and a self-luminous sign template 1805 from the image output from the imaging device 1200.
  • Generated output image The output image generated in this way as shown in FIG. 18 is output to the display device 1207 and displayed, so that the driver can determine the location and color of the subject from the image in a form with good visibility. As an aid to driving more safely.
  • the present invention is not limited to this, and only a part of objects may be replaced with a template. For example, it is possible to replace only those with a visibility lower than a predetermined threshold value and those with poor visibility with a template. Also, while outputting the image of FIG. 17, the template is applied to each object at regular time intervals. Alternatively, they may be displayed in a superimposed manner.
  • the invention disclosed in the present application is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

　可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることができる撮像装置を提供することを目的とする。 可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備えることを特徴とする撮像装置である。

Description

撮像装置、撮像方法並びに車載撮像システム
　本発明は、撮像装置、撮像方法並びに車載撮像システムに関する。
　本技術分野の背景技術として、特許文献１がある。特許文献１には、「被写体を撮像して画像を生成する撮像部と、前記被写体の色温度情報を算出する色温度情報算出部と、自然光源および少なくとも１種類の人工光源のそれぞれについて、複数の色再現マトリックスを、前記光源の種類および所定の色空間での位置座標と対応付けて記録する記録部と、前記記録部に記録された前記色再現マトリックスから、前記色空間において前記色温度情報に対応する位置座標に近い前記位置座標に対応付けられた前記色再現マトリックスであって、同種の光源に対応付けられた２つの前記色再現マトリックスと、前記光源とは異なる光源に対応付けられた２つ以下の前記色再現マトリックスとを選択し、選択した複数の前記色再現マトリックスをもとに、該色再現マトリックスの前記位置座標および前記色温度情報に対応する前記位置座標に基づいて補間処理を行って補正色再現マトリックスを演算する演算部と、前記補正色再現マトリックスを用いて、前記撮像部により生成された前記画像に色再現処理を施す色再現処理部とを備えたことを特徴とする撮像装置」について記載されている。
特許第４２５１３１７号公報
　しかしながら、特許文献１では、可視光領域の感度特性についてのみ記載されており、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合の色再現性については改善の余地がある。
　本発明は、例えば、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることが可能な撮像装置、撮像方法並びに車載撮像システムを提供するものである。
　本願において開示された発明のうち代表的なものの概要を簡単に説明すれば、次の通りである。
（１）可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備えることを特徴とする撮像装置である。
（２）（１）記載の撮像装置であって、さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置である。
（３）可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサを有する撮像装置を用いた撮像方法であって、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出ステップと、前記算出された可視光領域の信号量に基づいて、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理ステップと、を有することを特徴とする撮像方法である。
（４）可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備える撮像装置と、被写体に可視光を照射する可視光照射光源と、被写体に近赤外光を照射する近赤外光照射光源と、前記撮像装置の出力する画像から物体を認識する画像認識装置と、前記撮像装置の出力する画像と、前記画像認識装置による認識結果とを合成した合成画像を出力する画像合成装置と、前記画像合成装置の出力する合成画像を表示する表示装置と、システム制御装置と、を備えた車載撮像システムである。
　本発明によれば、例えば、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることが可能な撮像装置、撮像方法及び車載撮像システムを提供することができる。
撮像装置の一構成例を示す図である。 撮像部の画素の並びの一例を示す図である。 撮像部の画素の波長感度特性の一例を示す図である。 実施例１に係る、制御部における色マトリクス係数及び減算係数決定方法のフローチャートの例を示す図である。 実施例１に係る、制御部における色マトリクス係数及び減算係数の補間方法の例を示す図である。 制御部におけるＡＷＢゲインの決定方法の一例を示す図である。 実施例２に係る、制御部における色マトリクス係数及び減算係数決定方法のフローチャートの例を示す図である。 実施例２に係る、制御部における色マトリクス係数及び減算係数の補間方法の例を示す図である。 制御部における色マトリクス係数決定方法のフローチャートの一例を示す図である。 制御部における色マトリクス係数の補間方法の一例を示す図である。 撮像装置の変形例の一構成例を示す図である。 車載撮像システムの一構成例を示す図である。 ある一シーンを説明する図である。 可視光領域撮像装置の出力画像の一例を示す図である。 近赤外光領域撮像装置の出力画像の一例を示す図である。 撮像装置の出力画像の一例を示す図である。 画像合成装置の出力画像の一例を示す図である。 画像合成装置の出力画像の他の一例を示す図である。
　以下、本発明の実施形態の例を図面を用いて説明する。
　図１は、実施例１における撮像装置１００を示す構成図である。
  撮像装置１００は、レンズ１０１、撮像部１０２、（赤色領域＋近赤外光領域）（以下、（Ｒ＋Ｉ））信号デモザイキング部１０３、（緑色領域＋近赤外光領域）（以下、（Ｇ＋Ｉ））信号デモザイキング部１０４、（青色領域＋近赤外光領域）（以下、（Ｂ＋Ｉ））信号デモザイキング部１０５、近赤外光領域（以下、Ｉ）信号デモザイキング部１０６、色マトリクス演算部１０７、オートホワイトバランス（以下、ＡＷＢ）ゲイン部１０８、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１、第一色差演算部１１２、第二色差演算部１１３、輝度マトリクス演算部１１４、高域強調部１１５、輝度信号ガンマ演算部１１６、可視光量検波部１１７、近赤外光量検波部１１８、ＡＷＢ検波部１１９、制御部１２０を適宜用いて構成される。
　レンズ１０１は、被写体から来る光を結像するレンズ又はレンズ群である。
  撮像部１０２は、可視光領域及び近赤外光領域の両方に感度を持つ画素である（Ｒ＋Ｉ）画素、（Ｇ＋Ｉ）画素、（Ｂ＋Ｉ）画素及び、近赤外光領域に感度を持つ画素であるＩ画素を適宜用いて構成される。各画素は、レンズ１０１により結像される光に光電変換及びＡ／Ｄ変換を施し、デジタルデータである、各画素からの信号を出力する。
　（Ｒ＋Ｉ）信号デモザイキング部１０３は、撮像部１０２から出力される、（Ｒ＋Ｉ）画素からの信号に補間処理を施して他の（Ｇ＋Ｉ）画素、（Ｂ＋Ｉ）画素、Ｉ画素の位置に相当する（Ｒ＋Ｉ）信号を出力する。同様に、（Ｇ＋Ｉ）信号デモザイキング部１０４は、撮像部１０２から出力される、（Ｇ＋Ｉ）画素からの信号に補間処理を施して（Ｇ＋Ｉ）信号を出力する。同様に、（Ｂ＋Ｉ）信号デモザイキング部１０５は、撮像部１０２から出力される、（Ｂ＋Ｉ）画素からの信号に補間処理を施して（Ｂ＋Ｉ）信号を出力する。同様に、Ｉ信号デモザイキング部１０６は、撮像部１０２から出力される、Ｉ画素からの信号に補間処理を施してＩ信号を出力する。
　色マトリクス演算部１０７は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６のそれぞれから出力される信号と、制御部１２０から出力された減算係数及び色マトリクス係数とを用いて、演算により、色再現処理を行い、色信号であるＲ信号、Ｇ信号、Ｂ信号を出力する。
　ＡＷＢゲイン部１０８は、色マトリクス演算部１０７から出力される各色信号に、光源の色温度に応じたＡＷＢゲインを積算し、ＡＷＢゲイン処理後の各色信号を出力する。
  Ｒ信号ガンマ演算部１０９は、ＡＷＢゲイン部１０８から出力されたＲ信号に、ガンマ演算を行い、Ｒ信号を出力する。同様に、Ｇ信号ガンマ演算部１１０は、ＡＷＢゲイン部１０８から出力されたＧ信号に、ガンマ演算を行い、Ｇ信号を出力する。同様に、Ｂ信号ガンマ演算部１１１は、ＡＷＢゲイン部１０８から出力されたＢ信号に、ガンマ演算を行い、Ｂ信号を出力する。
　第一色差演算部１１２及び第二色差演算部１１３は、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１から出力された色信号から、第一色差信号及び第二色差信号を生成する。例えば、ＩＴＵ－Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　ｔｅｌｅｃｏｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ－ＲａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓＳｅｃｔｏｒ）の規格ＢＴ．７０９に従って色差を求め、第一色差信号が、主に青色と輝度の差を示す色差信号であるＰｂ、第二色差信号が、主に赤色と輝度の差を示す色差信号であるＰｒとすることができる。第一色差信号及び第二色差信号は、撮像装置１００の外部に出力される。
　輝度マトリクス演算部１１４は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６のそれぞれから出力される信号を用いて輝度信号を生成する。
　高域強調部１１５は、輝度マトリクス演算部１１４から出力された輝度信号から、高い空間周波数成分を強調する処理をかけて、画像内の輪郭部分（エッジ）を鮮明なものにした輝度信号を出力する。
　輝度信号ガンマ演算部１１６は、高域強調部１１５から出力された輝度信号に、ガンマ補正処理を行い、撮像装置１００の外部に出力する。撮像装置１００の外部に出力される輝度信号、並びに、第一色差信号１及び第二色差信号は、カラーの画像信号出力である。
　可視光量検波部１１７は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６のそれぞれから出力される信号から、注目画素周辺の可視光領域の放射光の量を検出して、可視光領域の信号量として出力する。
　近赤外光量検波部１１８は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６それぞれから出力される信号から、注目画素周辺の近赤外光領域の放射光の量を検出して、近赤外光領域の信号量として出力する。
　ＡＷＢ検波部１１９は、第一色差演算部１１２及び第二色差演算部１１３の出力する第一色差信号及び第二色差信号と、輝度信号ガンマ演算部１１６の出力する輝度信号と、制御部１２０から出力されるＡＷＢ検波範囲を示す信号を適宜用いて、ホワイトバランスのずれを検出して、ホワイトバランス検波信号を出力する。
　制御部１２０は、可視光量検波部１１７から出力された可視光領域の信号量及び近赤外光量検波部１１８から出力された近赤外光領域の信号量を用いて、注目画素付近の光源に最適な減算係数及び色マトリクス係数を決定し、色マトリクス演算部１０７に出力する。
　また、制御部１２０は、可視光量検波部１１７から出力された可視光領域の信号量及び近赤外光量検波部１１８から出力された近赤外光領域の信号量を用いて、注目画素付近の光源に最適なＡＷＢ検波範囲を示す信号を生成し、ＡＷＢ検波部１１９に出力する。
　よって、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素をもつ撮像部を用いてカラー画像を撮像する撮像装置において、近赤外光の影響を考慮した色マトリックス処理、及び減算処理を行うことにより、色再現性の良い色差信号を得ることができる。
　色マトリクス演算部１０７は、例えば、Ｉ減算部１２１、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４演算部を適宜用いて構成される。
　Ｉ減算部１２１は、（Ｒ＋Ｉ）信号デモザイキング部１０３から出力される（Ｒ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に重みとなる係数（減算係数）をかけた値を減算して、Ｒ信号を生成する。また、Ｉ減算部１２１は、（Ｇ＋Ｉ）信号デモザイキング部１０４から出力される（Ｇ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｇ信号を生成する。また、Ｉ減算部１２１は、（Ｂ＋Ｉ）信号デモザイキング部１０５から出力される（Ｂ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｂ信号を生成する。このように減算によって、近赤外光領域の信号成分が除去された、可視光領域のみの信号成分を得ることができる。
　Ｒ信号マトリクス演算部１２２は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＲ信号を生成して出力する。動揺に、Ｇ信号マトリクス演算部１２３は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＧ信号を生成して出力する。同様に、Ｂ信号マトリクス演算部１２２は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＢ信号を生成して出力する。
　上記したように、本実施例によれば、可視光領域の信号量及び近赤外光領域の信号量に応じて、色マトリクス係数及び減算係数を制御することができるので、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合であっても、色再現性の良い色差信号を得ることができる撮像装置１００を提供できる。
　次に、本実施例における撮像部１０２について説明する。
  図２は、撮像部１０２の撮像素子の画素の並びの例を示した図である。図２では、（Ｒ＋Ｉ）画素２０１、（Ｇ＋Ｉ）画素２０２、Ｉ画素２０３、（Ｂ＋Ｉ）画素２０４の４色の画素が２×２画素サイズの単位構成を成しており、その単位構成が縦・横それぞれに繰り返し配置されている。
　図３は、図２に示した撮像素子の各画素に含まれる各画素の波長感度特性の例を示した図である。撮像部１０２には、可視光領域の赤色領域（Ｒ）３０１と近赤外光領域（Ｉ）３０２に感度を持つ画素である（Ｒ＋Ｉ）画素と、可視光領域の緑色領域（Ｇ）３０５と近赤外光領域（Ｉ）３０６に感度を持つ（Ｇ＋Ｉ）画素と、近赤外光領域（Ｉ）３０９に感度を持つＩ画素と、可視光領域の青色領域（Ｂ）３１１と近赤外光領域（Ｉ）３１２に感度を持つ（Ｂ＋Ｉ）画素の４種類の画素が含まれる。
　図３のような近赤外光領域に感度を持つ撮像素子を用いる目的としては、例えば、可視光領域に加えて近赤外光領域に感度を持たせることで、太陽光やハロゲンランプなど、可視光領域と近赤外光領域の両方の波長で放射する光源下の環境における、最低被写体照度を向上させるという目的や、被写体の近赤外光領域特有の反射特性や発光特性を検出するなどの目的がある。
　しかし、撮像部１０２の出力する信号から色信号を求める場合には、人間の目の色に対する感度特性の再現性の観点から、近赤外光領域（Ｉ）の成分は不要波長成分となる。例えば、図３の各画素に含まれる近赤外光領域（Ｉ）に対する感度はほぼ同じであると仮定すると、例えば、（Ｒ＋Ｉ）画素の出力信号からＩ画素の出力信号を減算すれば、赤色領域（Ｒ）に感度を持つ信号を得ることができる。緑色領域（Ｇ）・青色領域（Ｂ）についても同様である。また、もし各画素に含まれる近赤外光領域（Ｉ）の感度が異なる場合であったとしても、減算する際の係数（後述する減算係数）を調整することで、近赤外光領域（Ｉ）の成分を低減することができる。ただし、後述するように、各画素には近赤外光領域（Ｉ）の感度特性にばらつきがあり、また、後述するように各画素には不要な波長成分が含まれる。このばらつきによる色再現性の低下を低減するための具体的な手法について、色マトリクス演算部１０７及びＡＷＢゲイン部１０８の動作を中心に以下に述べる。
　次に、本実施例における色マトリクス演算部１０７の動作について説明する。色マトリクス演算部では、撮像部１０２の出力する（Ｒ＋Ｉ）信号、（Ｇ＋Ｉ）信号、（Ｂ＋Ｉ）信号、（Ｉ）信号を元に、色信号であるＲ信号、Ｇ信号、Ｂ信号を出力する。
　まず、Ｉ減算部１２１で、近赤外光領域の信号成分を除去して、可視光量域に感度を持つ色信号Ｒ１，Ｇ１，Ｂ１を出力する。
（数１）Ｒ１＝（Ｒ＋Ｉ）　－　ｋｉ１×Ｉ
（数２）Ｇ１＝（Ｇ＋Ｉ）　－　ｋｉ２×Ｉ
（数３）Ｂ１＝（Ｂ＋Ｉ）　－　ｋｉ３×Ｉ
ここで、（ｋｉ１，ｋｉ２，ｋｉ３）は減算係数である。
　次に、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂマトリクス演算部１２４で、色再現性を向上した色信号であるＲ信号（Ｒ２）、Ｇ信号（Ｇ２）、Ｂ信号（Ｂ２）を出力する。
（数４）Ｒ２　＝　ｋｒｒ×Ｒ１　＋　ｋｒｇ×Ｇ１　＋　ｋｒｂ×Ｂ１
（数５）Ｇ２　＝　ｋｇｒ×Ｒ１　＋　ｋｇｇ×Ｇ１　＋　ｋｇｂ×Ｂ１
（数６）Ｂ２　＝　ｋｂｒ×Ｒ１　＋　ｋｂｇ×Ｇ１　＋　ｋｂｂ×Ｂ１
ここで、（ｋｒｒ，ｋｒｇ，ｋｒｂ，ｋｇｒ，ｋｇｇ，ｋｇｂ，ｋｂｒ，ｋｂｇ，ｋｂｂ）は色マトリクス係数である。
　もし図３の各画素の波長感度特性を重ねてみるとすれば、赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）は、お互いに同じ波長に対して感度を持つ、特性が重なる領域がある。その特性が重なる領域の特性に合わせて（数４）乃至（数６）の色マトリクス演算によって、特性の重なる領域の大きさ調整して、色再現性を向上させるのが一般的である。
　また、上記（数１）乃至（数３）、並びに（数４）乃至（数６）を式変形すると、下記のように記述することもできる。
（数７）Ｒ２　＝　　　ｋｒｒ２×（Ｒ＋Ｉ）　＋　ｋｒｇ２×（Ｇ＋Ｉ）
　　　　　　　　　＋　ｋｒｂ２×（Ｂ＋Ｉ）　＋　ｋｉｉ２×Ｉ
（数８）Ｇ２　＝　　　ｋｇｒ２×（Ｒ＋Ｉ）　＋　ｋｇｇ２×（Ｇ＋Ｉ）
　　　　　　　　　＋　ｋｇｂ２×（Ｂ＋Ｉ）　＋　ｋｇｉ２×Ｉ
（数９）Ｂ２　＝　　　ｋｒｒ２×（Ｒ＋Ｉ）　＋　ｋｒｇ２×（Ｇ＋Ｉ）
　　　　　　　　　＋　ｋｒｂ２×（Ｂ＋Ｉ）　＋　ｋｉｉ２×Ｉ
ここで、（ｋｒｒ２，ｋｒｇ２，ｋｒｂ２，ｋｒｉ２，ｋｇｒ２，ｋｇｇ２，ｋｇｂ２，ｋｇｉ２，ｋｂｒ２，ｋｂｇ２，ｋｂｂ２，ｋｂｉ２）は色マトリクス係数である。
　（数１）乃至（数３）は３行１列のマトリクス演算、（数４）乃至（数６）は３行３列のマトリクス演算に相当する演算を実施しているのを、（数７）乃至（数９）のように、３行４列のマトリクス演算で記述することができる。そのため、図１では、色マトリクス演算部１０７がＩ減算部１２１と、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４で構成されているが、（数７）乃至（数９）を実現するような構成にしても良い。その場合には、演算の段数が減るので、色再現性の低下を低減しつつ、ハードウェアで実現する際のレイテンシが改善することができる。
　次に、本実施例におけるＡＷＢゲイン部１０８の動作について説明する。ＡＷＢゲイン部１０８では、光源の色温度に応じて、次の計算を実施する。
（数１０）Ｒ３　＝　ｋｒ×Ｒ２
（数１１）Ｇ３　＝　ｋｇ×Ｇ２
（数１２）Ｂ３　＝　ｋｂ×Ｂ２
ここで、（ｋｒ，ｋｇ，ｋｂ）は、ＡＷＢゲインという係数である
　しかし、実際には各画素の近赤外光領域（Ｉ）の成分の波長感度特性（図３の３０２，３０６，３０９，３１２）にはばらつきがあり、単純にＩ画素の信号値を減算しただけでは、近赤外光領域（Ｉ）成分を最適に低減することができない。
　また、各画素には不要な波長成分が含まれる。例えば、（Ｒ＋Ｉ）画素であれば図３の赤色領域（Ｒ）３０１及び近赤外光領域（Ｉ）３０２が有効な波長成分で、図３の３０３，３０４が不要な波長成分である。他の画素についても同様であり、（Ｇ＋Ｉ）画素には不要な波長成分３０７，３０８があり、（Ｉ）画素には不要な波長成分３１０があり、（Ｂ＋Ｉ）画素には不要な波長成分３１３がある。これら不要な波長成分（図３の３０３，３０４，３０７，３０８，３１０，３１３）はゼロであることが望ましいがゼロではないために、Ｉ画素の信号値を減算した際や、色マトリクス演算後の波長感度特性においては、意図しない波長成分に正や負の感度を持ってしまうことになる。
　これら、近赤外光領域（Ｉ）の成分の特性ばらつきや、不要な波長成分の影響度合いは、光源の種類によって異なる。
  例えば、一般的な三波長型蛍光灯を光源にした場合を考えると、光源は可視光量域の赤色領域（Ｒ），緑色領域（Ｇ），青色領域（Ｂ）に１つずつの放射エネルギーのピークを持っており、近赤外光領域（Ｉ）を含むそれ以外の波長は放射が非常に少ないかゼロである。そのような場合には、近赤外光領域（Ｉ）のばらつきの影響はほとんど無いが、不要な波長成分の影響は受ける。また、例えば、ハロゲンランプを光源とした場合を考えると、光源は可視光領域に比べて近赤外光領域での放射エネルギーが高い。そのような場合には、近赤外光領域（Ｉ）のばらつきの影響が大きくなり、一方で不要な波長成分の影響が比較的小さくなる。また、例えば、光源を、近赤外光領域（Ｉ）のみを放射する近赤外投光器とすると、色が再現できない。
　色マトリクス演算部１０７においては、これらの影響を最小化して、かつ各波長成分の特性の重なり方を調整することで、良い色再現を目指すが、このように、光源に含まれる可視光領域と近赤外光領域の放射エネルギーの違いによって、不要な波長成分やばらつきの影響度合いは異なってくる点を考慮する必要がある。しかしながら、マトリクス係数が固定の場合や、特許文献１の手法のように、色空間上で色マトリクスを制御している場合には、可視光領域と近赤外光領域の放射エネルギーの違いを考慮できないので、良い色再現を得ることができないという課題がある。そこで、本課題を解決するために、本実施例においては、光源に含まれる可視光領域と近赤外光領域の放射エネルギーの違いに応じて、減算係数や色マトリクス係数を選択する手段を導入している。以下にその手段及び効果について説明する。
　本実施例においては、光源に含まれる可視光領域と近赤外光領域の放射エネルギーの違いを検出するために、図１の可視光量検波部１１７と近赤外光量検波部１１８と制御部１２０を用いる。
　可視光量検波部１１７は、例えば、次のような計算により、注目画素周辺の可視光領域の信号量Ｙｄを検出する。
（数１３）Ｙｄ ＝Σ（　　 ｋｙｄ１×（（Ｒ＋Ｉ） － ｋｉｄ１×Ｉ）
　　　　　　　　　　　 ＋ ｋｙｄ２×（（Ｇ＋Ｉ） － ｋｉｄ２×Ｉ）
　　　　　　　　　　　 ＋ ｋｙｄ３×（（Ｂ＋Ｉ） － ｋｉｄ３×Ｉ） ）
（ｋｉｄ１，ｋｉｄ２，ｋｉｄ３，ｋｙｄ１，ｋｙｄ２，ｋｙｄ３は係数、Σは注目画素周辺の信号量の総和を示す）
　近赤外光量検波部１１８は、例えば、次のような計算により、注目画素周辺の近赤外光領域の信号量Ｉｄを検出する。
（数１４）Ｉｄ　＝ΣＩ
（Σは注目画素周辺の信号量の総和を示す。総和する領域は式５の場合と同じ）
（数１３）、（数１４）の演算が画素ごと、もしくは動画像のフレームやフィールドごとに実施される。
　図１の制御部１２０は、（数１３），（数１４）の結果に応じて、放射エネルギーを比較する。
  図４は、制御部１２０における色マトリクス係数及び減算係数の決定方法のフローチャートの例である。
  まず、ステップ４０１及び４０２で、制御部１２０は、可視光量検波部１１７から可視光領域の信号量Ｙｄを、近赤外光量検波部１１８から近赤外光領域の信号量Ｉｄを読み出す。ここで、可視光領域の信号量Ｙｄの読み出しと、近赤外光領域の信号量Ｉｄの読み出しとはどちらが先に実行されていてもよく、同時に実施しても構わない。
  次に、ステップ４０３で、制御部１２０は、光量減算結果Ｄを次のように導出する。
（数１５）Ｄ　＝　Ｙｄ－Ｉｄ
　次に、ステップ４０４及びステップ４０５で、制御部１２０は、光量減算結果Ｄに基づいて、減算係数及び色マトリクス係数の組Ｍａｔ３を決定する（以下、Ｍａｔ＊（＊は任意の数字）は、減算係数と色マトリクス係数の組み合わせを表すこととする）。（数１５）から分かるように、例えば蛍光灯下のように、可視光領域の放射エネルギーが高い光源下においてはＤが比較的高く、ハロゲンランプのように近赤外光領域の放射エネルギーが高い光源下ではＤが比較的低くまたはマイナスに、近赤外投光器のように近赤外のみの放射エネルギーが強い光源下では、絶対値の大きいマイナスになる傾向がある。制御部１２０は、この光量減算結果Ｄの傾向に基づいて光源の種類を推定することができ、光源の種類に応じて適切な色マトリクス係数及び減算係数の組Ｍａｔ３を生成することができる。
  ステップ４０６では、制御部１２０は、色マトリクス係数及び減算係数の組Ｍａｔ３を、色マトリクス演算部１０７に出力する。
　ステップ４０４及び４０５について、図５を用いてさらに詳細に説明する。
  図５は、光量減算結果Ｄから、色マトリクス係数（ｋｒｒ，ｋｒｇ，ｋｒｂ，ｋｇｒ，ｋｇｇ，ｋｇｂ，ｋｂｒ，ｋｂｇ，ｋｂｂ）及び減算係数（ｋｉ１，ｋｉ２，ｋｉ３）を導出する方法を示した図である。光量減算結果Ｄの飛び飛びの値について、予め、色マトリクス係数及び減算係数が決められている。例えば、図５では、Ｄが－２５５、－１２８，０，１２８，２５５のときについて予め決められている。本実施例では、Ｙｄ－Ｉｄの値が０から２５５の値をとり得るとしており、両端とそれらの間３点について、ほぼ等間隔に値が予め決められているとした。注目画素の光量減算結果Ｄが決定されると、そのＤの値に近い係数の組が２つ選択される。選択された１つ目の係数の組をＭａｔ１（５０１～５０４、５１３～５１６、５２５～５２８）、選択された２つ目の係数の組をＭａｔ２（５０５～５０８、５１７～５２０、５２９～５３２）とする。そこから、Ｄの値に応じて２つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ３（５０９～５１２、５２１～５２４、５３３～５３６）とする。
　例えば、予め決めておく係数の組として、図５の光量減算結果Ｄが－２５５のときに、例えば近赤外投光器に最適となるように色マトリクス係数を０に近づけて無彩色となるような係数の組を設定して、Ｄが０のときに例えばハロゲンランプに最適となるように不要な波長成分と近赤外光領域のばらつきを両方考慮して調整した調整とて、２５５のときに蛍光灯（可視光領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、その間の値については、適宜中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクス係数を選択することができ、色再現性を良くすることができる、という効果が得られる。
  また、（数１５）において、同様の効果を得るために、ＹｄとＩｄの除算によって比率を求めるようにしても構わないが、減算を用いるほうが回路規模を小さくできるという特徴がある。
　次に、本実施例におけるＡＷＢ制御について説明する。
  図６は、制御部１２０における、ＡＷＢ検波範囲の制御の方法を示した説明図である。図１の第一色差演算部１１２から出力された第一色差信号を図６の横軸６０１に、第二色差演算部１１３から出力された第二色差信号の出力値を図６の縦軸６０２に示している。色差平面上で、ＡＷＢ検波範囲６０３，６０４が定義されている。ＡＷＢ検波範囲は、ＡＷＢにおける白色とみなす画素の色差レベルの範囲を示す。例えば、図６ではＡＷＢ検波範囲６０３，６０４を、軸ごとに閾値を設けて矩形で定義しているが、これに限られず、どのような形状で定義しても良い。
　ＡＷＢ検波部１１９は、各画素の第一色差信号（ここではＰｂとする）及び第二色差信号（ここではＰｒとする）の両方がＡＷＢ検波範囲６０４内にある全画素の第一色差信号Ｐｂの平均値Ｐｂａ及び第二色差信号Ｐｒの平均値Ｐｂａを求め、それら（Ｐｂａ，Ｐｒａ）を制御部１２０に出力する。
　無彩色は（Ｐｂ，Ｐｒ）＝（０，０）であり、制御部１２０は（Ｐｂａ，Ｐｒａ）が（０，０）に近づくように、ＡＷＢゲイン（先述の（数１０）乃至（数１２）のｋｒ，ｋｇ，ｋｂ）を調整する。例えば、Ｐｂａが高いときにはｋｂの値を減少させ、低いときにはｋｂの値を増加させる。また、Ｐｒａが高いときにはｋｒの値を減少させ、低いときにはｋｒの値を増加させる。制御部１２０は、調整したＡＷＢゲインを、制御部１２０内部に記録するとともに、ＡＷＢゲイン部１０８に出力する。
　ある色マトリクス係数及び減算係数のときのＡＷＢ検波範囲を図６の６０３に示す。減算係数及び色マトリクス係数は、図４のフローチャートにより制御されていることを既に示したが、その結果、減算係数及び色マトリクス係数の変化によって、第一色差信号及び第二色差信号が変化する。つまり、ＡＷＢ検波範囲も変化する。
　ＡＷＢ検波範囲は、広すぎると画面内の無彩色以外の場所についても無彩色であると検出してしまい、狭すぎると正しくホワイトバランスが補正されない場合がある。そのため、最適な検波範囲を選択する必要がある。そこで、本実施例では、ＡＷＢ検波範囲についても、減算係数及び色マトリクス係数の変化に応じて補正することとする。元のＡＷＢ検波範囲６０３のときから、減算係数及び色マトリクス係数に変化があると、（数１）乃至（数１２）、並びに、例えばＢＴ．７０９の色差計算式に基づいて、第一色差信号及び第二色差信号の軸が、変化する。その第一色差信号及び第二色差信号の変化に応じて、ＡＷＢ検波範囲についても補正した範囲を予め決めておく。本実施例においては、（数１５）の光量減算結果Ｄの値と、ｋｒ，ｋｇ，ｋｂの値と、輝度信号の値に基づいて、ＡＷＢ検波範囲６０４を決定する。
　本実施例に係る撮像装置では、このＡＷＢ検波範囲の制御によって、可視光及び非可視光のバランスが変化するような場合においても、さらに最適な減算係数及び色マトリクスを選択することができ、色再現性を良くすることができる、という効果が得られる。
　次に、第２の実施例を説明する。実施例２における撮像装置は、実施例１の構成と同様であり、制御部１２０における処理内容等が実施例１と異なっている。以下、実施例１と同様の箇所については適宜説明を援用するものとして省略し、異なる箇所を主として説明する。
　図７は、実施例２における、制御部１２０における処理内容、すなわち色マトリクス係数及び減算係数の決定方法のフローチャートの例である。
  まず、ステップ７０１で、制御部１２０は、可視光量検波部１１７から可視光領域の信号量Ｙｄを読み出す。
  次に、ステップ７０２，７０３で、制御部１２０は、可視光領域の信号量Ｙｄから、減算係数及び色マトリクス係数の組Ｍａｔ３を決定する。例えば蛍光灯やハロゲンランプのように、可視光領域の放射エネルギーが高い光源下で、かつ被写体の反射率が高い場合にはＹｄが高なり、光源がほとんどあたっていないか近赤外光領域の放射エネルギーが高い光源下では、Ｙｄは比較的低い値になる傾向がある。制御部１２０は可視光領域の信号量Ｙｄの傾向に基づいて光源の種類を推定し、光源の種類に応じて適切な色マトリクス係数及び減算係数の組Ｍａｔ３を生成することができる。
  ステップ７０４で、制御部１２０は、色マトリクス係数及び減算係数の組Ｍａｔ３を、色マトリクス演算部１０７に出力する。
　ステップ７０２及び７０３について、図８を用いてさらに詳しく説明する。
  図８は、可視光領域の信号量から、色マトリクス係数（ｋｒｒ，ｋｒｇ，ｋｒｂ，ｋｇｒ，ｋｇｇ，ｋｇｂ，ｋｂｒ，ｋｂｇ，ｋｂｂ）及び減算係数（ｋｉ１，ｋｉ２，ｋｉ３）を導出する方法を示した図である。可視光領域の信号量Ｙｄの飛び飛びの値について、予め、色マトリクス係数及び減算係数が決められている。例えば図８では、Ｙｄが０，６４，１２８，１９２，２５５のときについて予め決められている。本実施例では、Ｙｄの値が０から２５５の値をとり得るとしており、両端とそれらの間３点について、ほぼ等間隔に値が予め決められているとした。注目画素の可視光領域の信号量Ｙｄが読み出されると、そのＹｄの値に近い係数の組が２つ選択される。選択された１つ目の係数の組をＭａｔ１（８０１～８０４、８１３～８１６、８２５～８２８）、選択された２つ目の係数の組をＭａｔ２（８０５～８０８、８１７～８２０、８２９～８３２）とする。そこから、Ｙｄの値に応じて２つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ３（８０９～８１２、８２１～８２４、８３３～８３６）とする。
　例えば、予め決めておく係数の組として、図８の光量減算結果Ｙｄが０のときに近赤外投光器（例えば、色マトリクス係数を０に近づけて無彩色にする）、２５５のときに蛍光灯（可視光領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、その間の値については、適宜中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクス係数を選択することができ、色再現性を良くすることができる、という効果が得られる。
　また、実施例２では、実施例１の場合と異なり、近赤外光領域の信号量を用いない。そのため、図１から近赤外光量検波部１１８を除外した構成にすることができる。その場合には、回路規模を小さくできるという特徴がある。
　次に、第３の実施例を説明する。実施例３における撮像装置は、実施例１の構成と同じである。
　次に、第３の実施例を説明する。実施例３における撮像装置は、実施例１の構成と同様であり、制御部１２０における処理内容等が実施例１と異なっている。以下、実施例１と同様の箇所については適宜説明を援用するものとして省略し、異なる箇所を主として説明する。
　図９は、実施例３における、制御部１２０における処理内容、すなわち色マトリクス係数及び減算係数の決定方法のフローチャートの例である。
  まず、ステップ９０１及び９０２で、制御部１２０は、可視光量検波部１１７から可視光領域の信号量Ｙｄ、及び近赤外光量検波部１１８から近赤外光領域の信号量Ｉｄを読み出す。ここで、可視光領域の信号量Ｙｄの読み出しと、近赤外光領域の信号量Ｉｄの読み出しとはどちらが先に実行されていてもよく、同時に実施しても構わない。
  次に、ステップ９０３及びステップ９０４で、制御部１２０は、可視光領域の信号量Ｙｄと近赤外光領域の信号量Ｉｄの組み合わせから、減算係数及び色マトリクス係数の組Ｍａｔ５を決定する。光源の種類によって、波長ごとの放射エネルギー特性には特徴があるので、ＹｄとＩｄの組み合わせによって、注目画素付近に主に照射されている光源の種類を推測することができる。例えば、ＹｄとＩｄが共に高い場合にはハロゲンランプ、Ｙｄが高くＩｄが低い場合には蛍光灯、Ｙｄが低くＩｄが高い場合には近赤外投光器、などと推測することができる。この推定された光源の種類に応じて適切な、色マトリクス係数及び減算係数の組Ｍａｔ５を生成する。
  ステップ９０５で、制御部１２０は、決定された係数の組Ｍａｔ５を、色マトリクス演算部１０７に出力する。
　ステップ９０３及び９０４について、図１０を用いてさらに詳細に説明する。
  図１０は、可視光領域の信号量Ｙｄと近赤外光領域の信号量Ｉｄから、色マトリクス係数及び減算係数を導出する方法を示した図である。ＹｄとＩｄの飛び飛びの値の組み合わせについて、予め、色マトリクス係数及び減算係数が決められている。例えば図１０では、Ｙｄ，Ｉｄがそれぞれ０，６４，１２８，１９２，２５５のときについて、色マトリクス係数及び減算係数の組が決められている。本実施例では、Ｙｄ，Ｉｄの値がそれぞれ０から２５５の値をとり得るとしており、両端とそれらの間３点について、ほぼ等間隔に値が予め決められているとした。例えば、（Ｙｄ，Ｉｄ）の飛び飛びの値の組み合わせについて、各係数がテーブルで定義されている。
　注目画素付近の（Ｙｄ，Ｉｄ）が決定されると、（Ｙｄ，Ｉｄ）に近い係数の組が４つ選択される。選択された１つ目の係数の組をＭａｔ１・１００１、選択された２つ目の係数の組をＭａｔ２・１００２、選択された３つ目の係数の組をＭａｔ３・１００３、選択された２つ目の係数の組をＭａｔ４・１００４とする。そこから（Ｙｄ，Ｉｄ）の値に応じて４つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ５・１００５とする。
　例えば、予め決めておく係数の組として、図１０の（Ｙｄ，Ｉｄ）が（０，０）及び（０，２５５）のときに近赤外投光器用（例えば、色マトリクス係数を０に近づけて無彩色にする）、（２５５，２５５）のときにハロゲンランプ用（不要な波長成分と近赤外光領域のばらつきを両方考慮）、（２５５，０）のときに蛍光灯用（可視光領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、それ以外の点については、適宜中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクス係数を選択することができ、色再現性を良くすることができる、という効果が得られる。なお、本実施例では、４つの係数の組から係数ごとに内挿補間によって決定した係数の組を１つ決定したが、当初選択される係数の組は４つに限られず、適宜変更可能である。
　また、実施例３では近赤外光領域の信号量と可視光領域の信号量のそれぞれの値の絶対量に応じて光源を推定するので、より高精度に光源に適した色マトリクス及び減算係数を設定できるので、より色再現性が良くすることができる特徴がある。
　次に、第４の実施例を説明する。図１１は、実施例４における撮像装置１１００を示す構成図である。
　撮像装置１１００は、レンズ１０１、撮像部１０２、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６、色マトリクス演算部１１０１、ＡＷＢゲイン部１０８、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１、第一色差演算部１１２、第二色差演算部１１３、輝度マトリクス演算部１１４、高域強調部１１５、輝度信号ガンマ演算部１１６、可視光量検波部１１０２、近赤外光量検波部１１８、ＡＷＢ検波部１１９、制御部１２０を適宜用いて構成される。さらに、色マトリクス演算部１１０１は、例えばＩ減算部１２１、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４を適宜用いて構成される。
　ここで、実施例４の図１１の撮像装置１１００の構成は、実施例１の図１の撮像装置１００の構成と比較すると、色マトリクス演算部１１０１及び可視光量検波部１１０２以外の構成については同様であるため、同様の構成については適宜説明を援用するものとして省略し、異なる箇所を主として以下説明する。
　図１１の色マトリクス演算部１１０１は、図１の色マトリクス演算部１０７と基本的に同じ構成を有し、中間出力である図１１のＩ減算部１２１の出力を可視光検波部１１０２に出力する点が追加された構成となっている。
　図１１の可視光量検波部１１０２は、Ｉ減算部１２１の出力する色信号Ｒ１，Ｇ１，Ｂ１を入力とする点で、図１の可視光量検波部１１７と異なる。
　まず、実施例１の場合と同様に、近赤外光領域の信号成分を除去して、可視光量域に感度を持つ色信号Ｒ１，Ｇ１，Ｂ１は、Ｉ減算部１２１において、前述の（数１）乃至（数３）のように計算される。
　本実施例４の図１１の可視光量検波部１１０２では、次のような計算により、注目画素周辺の可視光領域の信号量Ｙｄを検出する。
（数１６）Ｙｄ　＝Σ（　　　ｋｙｄ１×Ｒ１
　　　　　　　　　　　　＋　ｋｙｄ２×Ｇ１
　　　　　　　　　　　　＋　ｋｙｄ３×Ｂ１
（ｋｙｄ１，ｋｙｄ２，ｋｙｄ３は係数、Σは注目画素周辺の信号量の総和を示す）
この（数１６）の式は、実施例１で説明した（数１３）に対して、下式の条件を追加したものと等しい。
（数１７）ｋｉｄ１＝ｋｄ１
（数１８）ｋｉｄ２＝ｋｄ２
（数１９）ｋｉｄ３＝ｋｄ３
　この（数１７）乃至（数１９）の式の条件を追加することで、Ｉ減算部１２１から出力された色信号Ｒ１，Ｇ１，Ｂ１をもとに可視光領域の信号量Ｙｄを計算しても、その後の制御部１２０における動作を図１の場合と同様に実施することができる。
　制御部１２０の動作は、例えば、実施例１、実施例２、実施例３のいずれの動作に準じても良く、各実施例で記載した変形等について適宜適用可能である。それぞれの動作において、実施例１から３それぞれで説明した効果を得ることができる。
　また、（数１３）よりも（数１６）のほうが、簡素な式となっていることから分かるように、構成を図１１のようにすることで、実施例１の図１の場合よりも、可視光量検波部１１０２の回路規模を小さくすることができるという特徴を持つ。
　図１２は、実施例５における車載撮像システム１２００を示す構成図である。
  車載撮像システム１２００は、可視光照射光源１２０１、近赤外光照射光源１２０２、光源スイッチ１２０３、撮像装置１２０４、画像認識装置１２０５、画像合成装置１２０６、表示装置１２０７、システム制御装置１２０８を適宜用いて構成される。
　可視光照射光源１２０１は、可視光領域を含む光を照射する光源で、例えば、可視光領域の光を照射する白色Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ（以下、ＬＥＤ）光源や、可視光領域と近赤外光領域の光を照射するハロゲンランプなどである。本実施例においては、ハロゲンランプの場合を例に説明する。
  近赤外光照射光源１２０２は、近赤外光領域の光を照射する光源である。例えば、６５０ｎｍから１２００ｎｍの波長の光を照射するＬＥＤ光源などである。
  光源スイッチ１２０３は、可視光照射光源１２０１及び近赤外光照射光源１２０２の照射をＯＮ／ＯＦＦするスイッチで、それぞれの光源のＯＮ／ＯＦＦを示す点灯信号をシステム制御装置１２０８に出力する。
　撮像装置１２０４は、被写体を可視光領域及び近赤外光領域で撮像して、輝度信号、第一色差信号、第二色差信号を出力する。撮像装置１２０４は、実施例１から実施例４の撮像装置と同様の構成をもつ。さらに、撮像装置１２０４は、システム制御装置１２０８の出力する制御信号を制御部１２０に入力する。
　画像認識装置１２０５は、撮像装置１２０４から出力された輝度信号、第一色差信号、第二色差信号を用いて、被写体を認識して認識結果に応じた認識結果信号を出力する。
  画像合成装置１２０６は、画像認識装置１２０５から出力される認識結果信号に基づいて、撮像装置１２０４から出力された輝度信号、第一色差信号、第二色差信号に、画像認識結果を重畳した輝度信号、第一色差信号、第二色差信号を出力する。
  表示装置１２０７は、画像合成装置１２０６から出力された輝度信号、第一色差信号、第二色差信号を表示する装置で、例えば、液晶ディスプレイなどである。
　車載撮像システム１２００は、自動車や電車などの車両に搭載された機器を想定している。例えば自動車においては、可視光照射光源１２０１はロービームに相当し、近赤外照射光源１２０１はハイビームに相当する。光源スイッチ１２０３は、車両のドライバーが操作するハイビーム／ロービームの切り替えスイッチに相当する。本実施例においては、光源スイッチ１２０３をドライバーが”ロー”に合わせると可視光照射光源１２０１のみが点灯し、”ハイ”に合わせると可視光照射光源１２０１と近赤外照射光源１２０２の両方が点灯し、”ＯＦＦ”に合わせると、可視光照射光源１２０１と近赤外照射光源１２０２のどちらも点灯しない動作となる。
　図１３は、本実施例のシーンを説明する図である。以下は、例えば、図１３の夜間の一シーンを用いて、本実施例に係る車載撮像システムの一効果を説明する。図１３では、道路１３０１を自車両１３０２が走行中である。自車両からは、図１２の可視光照射光源１２０１から図１３の可視光照射範囲１３０３に、近赤外光照射光源１２０２から図１３の近赤外光照射範囲１３０４に、それぞれ光が放射されている。可視光照射範囲１３０３内には、標識１３０５が存在する。また、近赤外光照射範囲１３０４内には、歩行者１３０６、信号機１３０７、車両１３０９、自発光標識１３１０が存在する。また、信号機１３０８は稼動中で、発光中のランプ１３０８が存在する。例えば日本で一般的に使われている信号機を想定すると、赤色・黄色・緑色のいずれかのランプが点灯もしくは点滅している。
　このような図１３のシーンにおいて、安全に運転するための自車両前方の状況確認を自車両のドライバーが実施する補助として、後に示すいくつかの撮像装置で撮影した画像をドライバーが視認することを想定する。被写体のうち、歩行者１３０６、信号機１３０７、車両１３０９については、どこに存在しているかを画像から判断できることが求められる。また、被写体のうち、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、どこに存在しており、どのような色であるかを画像から判断できることが求められているとする。
　図１４は、図１３のシーンにおいて、撮像装置として、例えば可視光撮像装置を使用した場合の出力画像を示している。ここで、可視光領域撮像装置とは、可視光領域の光でカラーで撮影する撮像装置のことであり、近年では一般的なカラーカメラである。この撮像装置では、可視光照射範囲１３０３内に存在するか、自発光している被写体のみがカラーで撮像可能となる。図１４では、歩行者１３０６、車両１３０９については撮像されないので、どのように動いているかを画像から判断できない。また、信号機１３０７については、発光中のランプ１３０８のみが撮像されているが、全体像ではないので、信号機１３０７であることを画像から判断できない。以上のように、図１４のように可視光領域撮像装置を使った場合には、改善の余地がある。
　図１５は、図１３のシーンにおいて、撮像装置として、近赤外光撮像装置を使用した場合の出力画像を示している。ここで、近赤外光撮像装置とは、近赤外光領域の光のみ、もしくは近赤外光領域と可視光領域の光に感度を持つモノクロのカメラのことであり、暗視撮像装置ともいわれる。この撮像装置では、可視光照射範囲１３０３内に存在するか、近赤外照射範囲１３０４内に存在するか、自発光している被写体がモノクロで撮像可能となる。図１５では、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、モノクロで撮像されており、画像から色を判断することができない。以上のように、図１５のように近赤外光領域撮像装置を使った場合でも、改善の余地がある。
　図１６は、図１３のシーンにおいて、撮像装置として、本発明に係る各実施例で説明した撮像装置を使用した場合の出力画像を示している。すなわち、図１６は、図１２の車載撮像システム１２００が図１３の自車両１３０２に搭載されている場合に、表示装置１２０７にて表示される出力画像である。
　この撮像装置を用いれば、可視光領域の光で撮像した被写体はカラーになり、近赤外光領域の光で撮像した被写体はモノクロになる。図１６では、歩行者１３０６、信号機１３０７、車両１３０９については、どこに存在しているかを画像から判断できる。また、被写体のうち、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、どこに存在しており、どのような色であるかを画像から判断できる。そのため、撮像装置１２００の出力する画像を画像合成装置１２０６を通じて表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色を判断できるようになり、結果としてより安全に運転する補助となることができる。
　さらに、本実施例では、図１７のように、信号機１３０７の全体像や色を強調表示することができる。図１７は、画像認識装置１２０５において、信号機１３０７を認識して、その認識結果に応じて、画像合成装置１２０６において生成した出力画像である。撮像装置１２００の出力する図１６の画像信号のうち、信号機１３０７及び発光中のランプ１３０８が、強調表示された信号機１７０１、強調表示された発光中のランプ１７０２となって強調表示されている。ここで、強調表示とは、当該被写体のエッジを太く見せたり、コントラストを高くしたり、部分的なスケーリングにより大きく表示したりすることで、視認性を向上させることを意味する。
　本実施例においては、撮像装置１２０４を用いることで、被写体の色と形の両方を同時に撮像することができるので、画像認識装置１２０５は、被写体が例えば信号機１３０７であり、発光中のランプ１３０８の色が何であるかを認識することが可能となる。このようにして生成した図１７のような出力画像を、表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色が視認性の良い形で判断できるようになり、結果としてより安全に運転する補助となることができる。
　次に、第６の実施例を説明する。実施例６は、前述の車載撮像システム１２００と同様の構成にて異なる出力画像を出力する車載撮像システムである。
　本実施例では、図１８のように、被写体をテンプレートと呼ばれる画像に変換して表示する。テンプレートは、認識の元となった画像のコントラストが低かったり、色の再現性が悪かったりという視認性の良さとは無関係に、予め用意した絵柄そのまま、もしくは予め用意した絵柄を元に、撮像装置１２００で実際に撮像された出力画像に基づいて、サイズや角度などを修正して出力した画像の部品である。
　画像認識装置１２０６では、図１６のような撮像装置１２００の出力画像から、被写体を認識し、その認識結果を画像合成装置１２０６に出力する。画像合成装置１２０６においては、撮像装置１２００から出力された画像から、被写体の一部をテンプレートである、標識テンプレート１８０１、歩行者テンプレート１８０２、信号機テンプレート１８０３、車両テンプレート１８０４、自発光標識テンプレート１８０５に置き換えた出力画像を生成する。このようにして生成した図１８のような出力画像を、表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色が視認性の良い形で判断できるようになり、結果としてより安全に運転する補助となることができる。なお、ここではすべての対象をテンプレートに置き換えて出力する例を示したが、これに限られるものではなく、一部の対象物のみテンプレートに置き換えるようにしても構わない。たとえば、視認性が所定のしきい値以下となり、視認性が悪いもののみテンプレートに置き換えるようにしてもよく、また、図１７の画像を出力しつつ、テンプレートを一定時間間隔毎に各対象物に対して重畳表示させたりしても構わない。
　なお、本願で開示した発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１００　撮像装置
１０１　レンズ
１０２　撮像部
１０３　（Ｒ＋Ｉ）信号デモザイキング部
１０４　（Ｇ＋Ｉ）信号デモザイキング部
１０５　（Ｂ＋Ｉ）信号デモザイキング部
１０６　Ｉ信号デモザイキング部
１０７　色マトリクス演算部
１０８　ＡＷＢゲイン部
１０９　Ｒ信号ガンマ演算部
１１０　Ｇ信号ガンマ演算部
１１１　Ｂ信号ガンマ演算部
１１２　色差演算部１
１１３　色差演算部２
１１４　輝度マトリクス演算部
１１５　高域強調部
１１６　輝度信号ガンマ演算部
１１７　可視光量検波部
１１８　近赤外光量検波部
１１９　ＡＷＢ検波部
１２０　制御部
１２１　Ｉ減算部
１２２　Ｒ信号マトリクス演算部
１２３　Ｇ信号マトリクス演算部
１２４　Ｂ信号マトリクス演算部
２０１　（Ｒ＋Ｉ）画素
２０２　（Ｇ＋Ｉ）画素
２０３　Ｉ画素
２０４　（Ｂ＋Ｉ）画素
３０１　赤色領域（Ｒ）成分
３０２　近赤外光領域（Ｉ）成分
３０３　不要波長成分
３０４　不要波長成分
３０５　緑色領域（Ｇ）成分
３０６　近赤外光領域（Ｉ）成分
３０７　不要波長成分
３０８　不要波長成分
３０９　近赤外光領域（Ｉ）成分
３１０　不要波長成分
３１１　赤色領域（Ｂ）成分
３１２　近赤外光領域（Ｉ）成分
３１３　不要波長成分
４０１　ステップ１
４０２　ステップ２
４０３　ステップ３
４０４　ステップ４
４０５　ステップ５
４０６　ステップ６
５０１　Ｍａｔ１のｋｒｒ（色マトリクス係数）
５０２　Ｍａｔ１のｋｒｇ（色マトリクス係数）
５０３　Ｍａｔ１のｋｒｂ（色マトリクス係数）
５０４　Ｍａｔ１のｋｉ１（減算係数）
５０５　Ｍａｔ２のｋｒｒ（色マトリクス係数）
５０６　Ｍａｔ２のｋｒｇ（色マトリクス係数）
５０７　Ｍａｔ２のｋｒｂ（色マトリクス係数）
５０８　Ｍａｔ２のｋｉ１（減算係数）
５０９　Ｍａｔ３のｋｒｒ（色マトリクス係数）
５１０　Ｍａｔ３のｋｒｇ（色マトリクス係数）
５１１　Ｍａｔ３のｋｒｂ（色マトリクス係数）
５１２　Ｍａｔ３のｋｉ１（減算係数）
５１３　Ｍａｔ１のｋｇｒ（色マトリクス係数）
５１４　Ｍａｔ１のｋｇｇ（色マトリクス係数）
５１５　Ｍａｔ１のｋｇｂ（色マトリクス係数）
５１６　Ｍａｔ１のｋｉ２（減算係数）
５１７　Ｍａｔ２のｋｇｒ（色マトリクス係数）
５１８　Ｍａｔ２のｋｇｇ（色マトリクス係数）
５１９　Ｍａｔ２のｋｇｂ（色マトリクス係数）
５２０　Ｍａｔ２のｋｉ２（減算係数）
５２１　Ｍａｔ３のｋｇｒ（色マトリクス係数）
５２２　Ｍａｔ３のｋｇｇ（色マトリクス係数）
５２３　Ｍａｔ３のｋｇｂ（色マトリクス係数）
５２４　Ｍａｔ３のｋｉ２（減算係数）
５２５　Ｍａｔ１のｋｂｒ（色マトリクス係数）
５２６　Ｍａｔ１のｋｂｇ（色マトリクス係数）
５２７　Ｍａｔ１のｋｂｂ（色マトリクス係数）
５２８　Ｍａｔ１のｋｉ３（減算係数）
５２９　Ｍａｔ２のｋｂｒ（色マトリクス係数）
５３０　Ｍａｔ２のｋｂｇ（色マトリクス係数）
５３１　Ｍａｔ２のｋｂｂ（色マトリクス係数）
５３２　Ｍａｔ２のｋｉ３（減算係数）
５３３　Ｍａｔ３のｋｂｒ（色マトリクス係数）
５３４　Ｍａｔ３のｋｂｇ（色マトリクス係数）
５３５　Ｍａｔ３のｋｂｂ（色マトリクス係数）
５３６　Ｍａｔ３のｋｉ３（減算係数）
６０１　色差信号１　Ｐｂ
６０２　色差信号２　Ｐｒ
６０３　元のＡＷＢ検波範囲
６０４　修正後のＡＷＢ検波範囲
７０１　ステップ１
７０２　ステップ２
７０３　ステップ３
７０４　ステップ４
８０１　Ｍａｔ１のｋｒｒ（色マトリクス係数）
８０２　Ｍａｔ１のｋｒｇ（色マトリクス係数）
８０３　Ｍａｔ１のｋｒｂ（色マトリクス係数）
８０４　Ｍａｔ１のｋｉ１（減算係数）
８０５　Ｍａｔ２のｋｒｒ（色マトリクス係数）
８０６　Ｍａｔ２のｋｒｇ（色マトリクス係数）
８０７　Ｍａｔ２のｋｒｂ（色マトリクス係数）
８０８　Ｍａｔ２のｋｉ１（減算係数）
８０９　Ｍａｔ３のｋｒｒ（色マトリクス係数）
８１０　Ｍａｔ３のｋｒｇ（色マトリクス係数）
８１１　Ｍａｔ３のｋｒｂ（色マトリクス係数）
８１２　Ｍａｔ３のｋｉ１（減算係数）
８１３　Ｍａｔ１のｋｇｒ（色マトリクス係数）
８１４　Ｍａｔ１のｋｇｇ（色マトリクス係数）
８１５　Ｍａｔ１のｋｇｂ（色マトリクス係数）
８１６　Ｍａｔ１のｋｉ２（減算係数）
８１７　Ｍａｔ２のｋｇｒ（色マトリクス係数）
８１８　Ｍａｔ２のｋｇｇ（色マトリクス係数）
８１９　Ｍａｔ２のｋｇｂ（色マトリクス係数）
８２０　Ｍａｔ２のｋｉ２（減算係数）
８２１　Ｍａｔ３のｋｇｒ（色マトリクス係数）
８２２　Ｍａｔ３のｋｇｇ（色マトリクス係数）
８２３　Ｍａｔ３のｋｇｂ（色マトリクス係数）
８２４　Ｍａｔ３のｋｉ２（減算係数）
８２５　Ｍａｔ１のｋｂｒ（色マトリクス係数）
８２６　Ｍａｔ１のｋｂｇ（色マトリクス係数）
８２７　Ｍａｔ１のｋｂｂ（色マトリクス係数）
８２８　Ｍａｔ１のｋｉ３（減算係数）
８２９　Ｍａｔ２のｋｂｒ（色マトリクス係数）
８３０　Ｍａｔ２のｋｂｇ（色マトリクス係数）
８３１　Ｍａｔ２のｋｂｂ（色マトリクス係数）
８３２　Ｍａｔ２のｋｉ３（減算係数）
８３３　Ｍａｔ３のｋｂｒ（色マトリクス係数）
８３４　Ｍａｔ３のｋｂｇ（色マトリクス係数）
８３５　Ｍａｔ３のｋｂｂ（色マトリクス係数）
８３６　Ｍａｔ３のｋｉ３（減算係数）
９０１　ステップ１
９０２　ステップ２
９０３　ステップ３
９０４　ステップ４
９０５　ステップ５
１００１　Ｍａｔ１（色マトリクス係数及び減算係数）
１００２　Ｍａｔ２（色マトリクス係数及び減算係数）
１００３　Ｍａｔ３（色マトリクス係数及び減算係数）
１００４　Ｍａｔ４（色マトリクス係数及び減算係数）
１００５　Ｍａｔ５（色マトリクス係数及び減算係数）
１１００　撮像装置
１１０１　色マトリクス演算部
１１０２　可視光量検波部
１２０１　可視光照射光源
１２０２　近赤外照射光源
１２０３　光源スイッチ
１２０４　撮像装置
１２０５　画像認識装置
１２０６　画像合成装置
１２０７　表示装置
１２０８　システム制御装置
１３０１　道路
１３０２　自車両
１３０３　可視光照射範囲
１３０４　近赤外光照射範囲
１３０５　標識
１３０６　歩行者
１３０７　信号機
１３０８　発光中のランプ
１３０９　車両
１３１０　自発光標識
１６０１　強調表示された信号機
１６０２　強調表示された発光中のランプ
１７０１　標識テンプレート
１７０２　歩行者テンプレート
１７０３　信号機テンプレート
１７０４　車両テンプレート

Claims (15)

  1. 可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、
    前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、
    前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、
    前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、
    を備えることを特徴とする撮像装置。
  2. 請求項１記載の撮像装置であって、
    さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
    前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置。
  3. 請求項２記載の撮像装置であって、
    前記制御部は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて色マトリックス係数を設定し、前記設定されたマトリックス係数に応じた色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置。
  4. 請求項３記載の撮像装置であって、
    前記色再現手段は、前記可視光領域と近赤外光領域に感度を有する画素からの信号に対して、前記近赤外光領域に感度を有する画素からの信号を用いた減算処理を行う減算部を備え、
    前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて設定された減算係数に応じて前記減算部での減算処理がなされるように制御することを特徴とする撮像装置。
  5. 請求項３又は４記載の撮像装置であって、
    前記色マトリックス係数は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて選択された複数の色マトリックス係数を補間処理して得たものであることを特徴とする撮像装置。
  6. 請求項１記載の撮像装置であって、
    さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
    前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量とを入力とする参照テーブルに基づいて設定された所定の係数に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置。
  7. 可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサを有する撮像装置を用いた撮像方法であって、
    前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出ステップと、
    前記算出された可視光領域の信号量に基づいて、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理ステップと、
    を有することを特徴とする撮像方法。
  8. 請求項７記載の撮像方法であって、
    さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出ステップを有し、
    前記色再現処理ステップは、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて前記色再現処理を行うことを特徴とする撮像方法。
  9. 請求項８記載の撮像方法であって、
    前記色再現処理ステップは、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて設定された色マトリックス係数に応じて色再現処理を行うことを特徴とする撮像方法。
  10. 請求項７記載の撮像方法であって、
    さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出ステップを有し、
    前記色再現処理ステップは、前記可視光領域の信号量と前記近赤外光領域の信号量とを入力とする参照テーブルに基づいて設定された所定の係数に応じて色再現処理を行うことを特徴とする撮像方法。
  11. 可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、
    前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、
    前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、
    前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、
    を備える撮像装置と、
    被写体に可視光を照射する可視光照射光源と、
    被写体に近赤外光を照射する近赤外光照射光源と、
    前記撮像装置の出力する画像から物体を認識する画像認識装置と、
    前記撮像装置の出力する画像と、前記画像認識装置による認識結果とを合成した合成画像を出力する画像合成装置と、
    前記画像合成装置の出力する合成画像を表示する表示装置と、
    システム制御装置と、
    を備えた車載撮像システム。
  12. 請求項１１に記載の車載撮像システムであって、
    前記画像認識装置は被写体に含まれる信号機を認識し、該信号機を強調して表示することを特徴とする車載撮像システム。
  13. 請求項１１に記載の車載撮像システムであって、
    前記画像認識装置は、認識した物体をテンプレート画像に置き換えることを特徴とする車載撮像システム。
  14. 請求項１１乃至１３のいずれかに記載の車載撮像システムであって、
    前記撮像装置は、さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
    前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする車載撮像システム。
  15. 請求項１１乃至１３のいずれかに記載の車載撮像システムであって、
    前記撮像装置は、さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
    前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量とを入力とする参照テーブルに基づいて設定された所定の係数に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする車載撮像システム。
PCT/JP2013/070685 2013-07-31 2013-07-31 撮像装置、撮像方法並びに車載撮像システム WO2015015580A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/908,276 US10154208B2 (en) 2013-07-31 2013-07-31 Imaging device, imaging method, and on-board imaging system
CN201380078602.2A CN105453532B (zh) 2013-07-31 2013-07-31 摄像装置、摄像方法和车载摄像系统
JP2015529262A JP6211614B2 (ja) 2013-07-31 2013-07-31 撮像装置、撮像方法並びに車載撮像システム
PCT/JP2013/070685 WO2015015580A1 (ja) 2013-07-31 2013-07-31 撮像装置、撮像方法並びに車載撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/070685 WO2015015580A1 (ja) 2013-07-31 2013-07-31 撮像装置、撮像方法並びに車載撮像システム

Publications (1)

Publication Number Publication Date
WO2015015580A1 true WO2015015580A1 (ja) 2015-02-05

Family

ID=52431160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/070685 WO2015015580A1 (ja) 2013-07-31 2013-07-31 撮像装置、撮像方法並びに車載撮像システム

Country Status (4)

Country Link
US (1) US10154208B2 (ja)
JP (1) JP6211614B2 (ja)
CN (1) CN105453532B (ja)
WO (1) WO2015015580A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412531A (zh) * 2015-08-12 2017-02-15 杭州海康威视数字技术股份有限公司 像素阵列构件、图像处理装置及摄像机
JP2017204824A (ja) * 2016-05-13 2017-11-16 クラリオン株式会社 撮像装置
JP2018050164A (ja) * 2016-09-21 2018-03-29 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP2019168423A (ja) * 2018-03-26 2019-10-03 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
WO2019187446A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび移動体
JP2019205018A (ja) * 2018-05-22 2019-11-28 クラリオン株式会社 撮像装置及び撮像方法
US20210259545A1 (en) * 2018-06-14 2021-08-26 Nanolux Co. Ltd. Ophthalmic photography apparatus and ophthalmic photography system
WO2021166601A1 (ja) * 2020-02-17 2021-08-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および撮像方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016143851A (ja) * 2015-02-05 2016-08-08 ソニー株式会社 固体撮像素子、および電子装置
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
US10218926B2 (en) * 2016-07-21 2019-02-26 Christie Digital Systems Usa, Inc. Device, system and method for cross-talk reduction in visual sensor systems
CN108389870A (zh) * 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置
CN110830675B (zh) * 2018-08-10 2022-05-03 株式会社理光 读取装置、图像形成装置及读取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012067028A1 (ja) * 2010-11-16 2012-05-24 コニカミノルタオプト株式会社 画像入力装置および画像処理装置
JP2012142832A (ja) * 2011-01-05 2012-07-26 Seiko Epson Corp 撮像装置
JP2013121132A (ja) * 2011-12-08 2013-06-17 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4251317B2 (ja) 2003-06-23 2009-04-08 株式会社ニコン 撮像装置および画像処理プログラム
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
JPWO2007083741A1 (ja) * 2006-01-20 2009-06-11 住友電気工業株式会社 赤外線撮影システム
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012067028A1 (ja) * 2010-11-16 2012-05-24 コニカミノルタオプト株式会社 画像入力装置および画像処理装置
JP2012142832A (ja) * 2011-01-05 2012-07-26 Seiko Epson Corp 撮像装置
JP2013121132A (ja) * 2011-12-08 2013-06-17 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412531A (zh) * 2015-08-12 2017-02-15 杭州海康威视数字技术股份有限公司 像素阵列构件、图像处理装置及摄像机
CN106412531B (zh) * 2015-08-12 2019-04-12 杭州海康威视数字技术股份有限公司 像素阵列构件、图像处理装置及摄像机
JP2017204824A (ja) * 2016-05-13 2017-11-16 クラリオン株式会社 撮像装置
JP2018050164A (ja) * 2016-09-21 2018-03-29 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP2019168423A (ja) * 2018-03-26 2019-10-03 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
WO2019187446A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび移動体
US11410337B2 (en) 2018-03-30 2022-08-09 Sony Corporation Image processing device, image processing method and mobile body
JP2019205018A (ja) * 2018-05-22 2019-11-28 クラリオン株式会社 撮像装置及び撮像方法
JP7121538B2 (ja) 2018-05-22 2022-08-18 フォルシアクラリオン・エレクトロニクス株式会社 撮像装置及び撮像方法
US20210259545A1 (en) * 2018-06-14 2021-08-26 Nanolux Co. Ltd. Ophthalmic photography apparatus and ophthalmic photography system
WO2021166601A1 (ja) * 2020-02-17 2021-08-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および撮像方法

Also Published As

Publication number Publication date
CN105453532A (zh) 2016-03-30
US10154208B2 (en) 2018-12-11
JP6211614B2 (ja) 2017-10-11
JPWO2015015580A1 (ja) 2017-03-02
CN105453532B (zh) 2019-03-01
US20160173790A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
JP6211614B2 (ja) 撮像装置、撮像方法並びに車載撮像システム
US11244209B2 (en) Image processing device, imaging device, and image processing method
US9542608B2 (en) Image processing apparatus
US9338371B2 (en) Imaging device
JP5454572B2 (ja) 画像入力装置
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
US9906766B2 (en) Imaging device
JP5783279B2 (ja) 画像処理装置
WO2012067028A1 (ja) 画像入力装置および画像処理装置
JP6029954B2 (ja) 撮像装置
JP5860663B2 (ja) ステレオ撮像装置
WO2015141050A1 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
US20150195500A1 (en) In-Vehicle Imaging Device
WO2020027210A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2010063065A (ja) 画像入力装置
JP2012008845A (ja) 画像処理装置
JP2012010141A (ja) 画像処理装置
WO2015111197A1 (ja) 撮像装置及び車載撮像システム
JP5904825B2 (ja) 画像処理装置
JP2013187572A (ja) 画像処理装置
WO2023026407A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2010154266A (ja) 赤外線照射式撮像装置
JP2023094991A (ja) 画像処理装置及び画像処理方法
JP2013187573A (ja) 車両周辺監視装置
JP2020162034A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380078602.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13890810

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015529262

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14908276

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13890810

Country of ref document: EP

Kind code of ref document: A1