WO2021166601A1 - 撮像装置、および撮像方法 - Google Patents

撮像装置、および撮像方法 Download PDF

Info

Publication number
WO2021166601A1
WO2021166601A1 PCT/JP2021/003340 JP2021003340W WO2021166601A1 WO 2021166601 A1 WO2021166601 A1 WO 2021166601A1 JP 2021003340 W JP2021003340 W JP 2021003340W WO 2021166601 A1 WO2021166601 A1 WO 2021166601A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
processing unit
light
light component
component
Prior art date
Application number
PCT/JP2021/003340
Other languages
English (en)
French (fr)
Inventor
誠治 茅島
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2021166601A1 publication Critical patent/WO2021166601A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present disclosure relates to an imaging device and an imaging method.
  • the image sensor is sensitive not only to visible light but also to infrared light.
  • the infrared light component acquired by such an image sensor improves visibility at night.
  • color reproduction is impaired due to the influence of infrared light. Therefore, for example, in the daytime body, a process for reducing the infrared light component may be performed.
  • the image quality may be reduced.
  • One aspect of the present disclosure provides an imaging device and an imaging method capable of suppressing a decrease in image quality even for image data captured under a light source having no infrared component.
  • an imaging unit that converts incident light from an imaging target into a first pixel signal including an infrared light component and a visible light component and outputs the signal is used.
  • the light source that irradiates the image pickup target with light is a predetermined light source
  • a predetermined process is performed using the first pixel signal
  • the red color is obtained from the first pixel signal.
  • An image pickup apparatus includes a color processing unit that performs predetermined processing using a second pixel signal with a reduced external light component.
  • a determination processing unit for determining a light source that irradiates the image pickup target with light based on the information on the infrared light component is provided. Based on the determination information of the determination processing unit, the color processing unit changes the processing when the light source that irradiates the imaging target with light is a predetermined light source and the processing when the light source is not a predetermined light source. You may.
  • the determination processing unit may determine that the infrared light component is the predetermined light source when it is determined that the infrared light component is less than a predetermined value.
  • the color processing unit may convert it into a Bayer array using the first pixel signal.
  • the color processing unit may convert it into a Bayer array using the second pixel signal.
  • a separation processing unit that separates the first pixel signal into the infrared light component and the visible light component is further provided.
  • the determination processing unit may determine the light source by using the infrared light component separated by the separation processing unit.
  • the determination processing unit may determine a light source that irradiates the image pickup target with light by using the visible light component.
  • the determination processing unit may calculate the color temperature using the visible light component and determine the light source based on the color temperature.
  • the visible light component is a color component of each of red light, blue light, and green light
  • the determination processing unit determines the light source based on the ratio of each color component of red light, blue light, and green light. You may.
  • the determination processing unit may determine the light source using the information regarding the infrared light component and the color temperature.
  • the determination processing unit may determine that the light source is a predetermined light source when the color temperature is in a predetermined range and the infrared light component is less than a predetermined value.
  • an imaging unit that converts incident light from an imaging target into a first pixel signal including an infrared light component and a visible light component and outputs the signal is used.
  • a determination processing unit that determines whether or not to perform color processing for reducing the infrared light component from the first pixel signal based on the visible light component.
  • a color processing unit that performs color processing for reducing the infrared light component from the first pixel signal when it is determined to perform color processing for reducing the infrared light component.
  • the determination processing unit may perform the determination based on the color temperature calculated using the visible light component.
  • the visible light component is a color component of each of red light, blue light, and green light
  • the determination processing unit performs the determination based on the ratio of each color component of red light, blue light, and green light. May be good.
  • the determination processing unit may make the determination using the information regarding the infrared light component and the color temperature.
  • the determination processing unit does not perform color processing for reducing the infrared light component from the first pixel signal when the color temperature is in a predetermined range and the infrared light component is less than a predetermined value. May be determined.
  • an imaging unit that converts incident light from an optical imaging target into a first pixel signal including an infrared light component and a visible light component and outputs the light image.
  • a color that reduces the infrared light component from the first pixel signal based on at least one of information about sunrise time and sunset time, position information of a light source that irradiates the imaging target with light, and information about illuminance of a headlight.
  • a judgment processing unit that determines whether or not to perform processing, A color processing unit that performs color processing for reducing the infrared light component from the first pixel signal when it is determined to perform color processing for reducing the infrared light component.
  • the judgment processing unit When it is determined that the tunnel is inside the tunnel based on the position information, it is determined that the color processing for reducing the infrared light component from the first pixel signal is not performed. Or If it is determined to be outside the tunnel based on the position information and the current time is after the sunrise time and before the sunset time, it is determined that the color processing for reducing the infrared light component is performed, or When the illuminance of the headlight is equal to or higher than a predetermined threshold value, it may be determined that the color processing for reducing the infrared light component from the first pixel signal is performed.
  • an imaging step of converting incident light from an imaging target into a first pixel signal including an infrared light component and a visible light component and outputting the signal is described.
  • the light source that irradiates the image pickup target with light is a predetermined light source
  • a predetermined process is performed using the first pixel signal
  • the light source is not a predetermined light source, the red from the first pixel signal.
  • a color processing step in which a predetermined process is performed using a second pixel signal with a reduced external light component, and An imaging method is provided.
  • the figure which shows the example of the light transmittance of each wavelength of the optical filter of FIG. The figure explaining the pixel arrangement of an image sensor.
  • the figure which shows the example of the separation processing of an infrared light component IR The figure which shows the 2nd pixel signal in the right figure of FIG. 6 as an image in a * b * color space.
  • the flowchart which shows the processing example which concerns on 4th Embodiment The block diagram which shows the structural example of the signal processing part which concerns on 4th Embodiment.
  • the imaging device and the imaging method will be described with reference to the drawings.
  • the main components of the imaging device and the imaging method will be mainly described, but the imaging device and the imaging method may have components and functions not shown or described.
  • the following description does not exclude components or functions not shown or described.
  • FIG. 1 is a diagram showing an example of the configuration of the image pickup apparatus according to the present embodiment.
  • the image pickup device 10 is, for example, a device capable of capturing an image corresponding to infrared light and visible light from the incident light reflected by the image pickup target, and is a lens 21, an optical filter 22, an image sensor 23, a storage unit 24, and a signal.
  • the processing unit 25 is provided.
  • the imaging target includes, for example, a landscape, a car, a person, or an object that reflects light, an object that emits light, or the like.
  • the storage unit 24 is configured in the image pickup device 10, but the present invention is not limited to this.
  • the storage unit 24 may be configured outside the image pickup device 10.
  • the lens 21 collects the incident light on the image sensor 23 via the optical filter 22.
  • the optical filter 22 transmits infrared light and visible light among the incident light.
  • FIG. 2 is a diagram showing an example of light transmittance of each wavelength of the optical filter 22 of FIG.
  • the horizontal axis represents the wavelength (nm) of light passing through the optical filter 22, and the vertical axis represents the transmittance (%) of the light.
  • the transmittance of visible light having a wavelength of about 390 nm to 660 nm and the transmittance of infrared light having a wavelength of about 820 nm to 1080 nm are larger than 0%.
  • visible light having a wavelength of about 390 nm to 660 nm and infrared light having a wavelength of about 820 nm to 1080 nm pass through.
  • the wavelengths of 820 nm to 1080 nm are examples, and are not limited thereto.
  • the infrared light may include the entire band of the near infrared light, or may include the entire band of the far infrared light.
  • the image sensor 23 is a CMOS (Complementary Metal-Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and has pixels in an RGBW pixel array.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge Coupled Device
  • FIG. 3 is a diagram for explaining the pixel arrangement of the image sensor 23.
  • the pixel array of the captured image output from the image sensor 23 is an RGBW pixel array.
  • the first pixel signal of each pixel includes an infrared light (IR) component.
  • the image sensor 23 according to this embodiment corresponds to the imaging unit.
  • the image sensor 23 uses the incident infrared light and visible light for each pixel, and the colors corresponding to the pixels (red (R), green (G), blue (B), white (W)).
  • first pixel signals W + IR , R + IR , G + IR , and B + IR By receiving the light of the above and generating electric signals corresponding to the amount of received light as first pixel signals W + IR , R + IR , G + IR , and B + IR , imaging is performed on a frame-by-frame basis. Therefore, the first pixel signal of each pixel obtained as a result of imaging includes an infrared light component IR and a visible light component as invisible light components. That is, the visible light component is, for example, any one of a red light component (R), a green light component (G), and a blue light component (B).
  • the image sensor 23 AD-converts the first pixel signals W + IR , R + IR , G + IR , and B +
  • the storage unit 24 is realized by, for example, a RAM (Random Access Memory), a semiconductor memory element such as a flash memory, or the like.
  • the storage unit 24 stores captured image data.
  • the signal processing unit 25 performs color processing for reducing the infrared light component from the first pixel signals W + IR , R + IR , G + IR , and B + IR. More specifically, when the light source that irradiates the image pickup target with light is a predetermined light source, the signal processing unit 25 uses the first pixel signals W + IR , R + IR , G + IR , and B + IR to determine the predetermined light source. When processing is performed and the light source is not a predetermined light source, the second pixel signals R, G, and B obtained by reducing the infrared light component IR from the first pixel signals W + IR , R + IR , G + IR , and B + IR are used. Perform a predetermined process.
  • the signal processing unit 25 performs a Bayerization process (remosaic process) on the captured image of the non-Bayer array supplied from the image sensor 23 to generate an RGB image of the Bayer array (RGB pixel array).
  • a Bayerization process mosaic process
  • the signal processing unit 25 can perform signal processing such as white balance processing and YCbCr conversion processing as development processing using RGB images. For example, the signal processing unit 25 outputs a YCbCr image obtained as a result of performing white balance processing and YCbCr conversion processing on the RGB image.
  • FIG. 4 is a block diagram showing a configuration example of the signal processing unit 25.
  • the signal processing unit 25 includes a separation processing unit 100, a determination processing unit 102, and a color processing unit 104.
  • the separation processing unit 100 uses the following equation (1) to obtain the first pixel signals W + IR , R + IR. , G + IR , and B + IR , respectively, the infrared light component IR and the visible light component second pixel signals R, G, and B are separated. In this way, the separation processing unit 100 separates the first pixel signals W + IR , R + IR , G + IR , and B + IR into the infrared light component IR and the second pixel signals R, G, and B.
  • IR is an infrared light component contained in each of the first pixel signals W + IR , R + IR , G + IR , and B + IR.
  • the second pixel signals R, G, and B are visible light components of the first pixel signals W + IR , R + IR , G + IR , and B + IR as described above.
  • the determination processing unit 102 determines the light source that irradiates the imaging target with light based on the information regarding the infrared light component IR. That is, the determination processing unit 102 has an infrared light component acquisition unit 200 and a determination unit 202.
  • the infrared light component acquisition unit 200 acquires the infrared light component IR from the separation processing unit 100.
  • the infrared light component acquisition unit 200 may acquire information on the infrared light component IR from an external device.
  • the determination unit 202 estimates the light source that irradiates the imaging target with light based on the information regarding the infrared light component.
  • the determination unit 202 determines whether or not the infrared light component IR is smaller than the predetermined value, and if it is smaller than the predetermined value, determines that the light source is a predetermined light source. For example, when the maximum value of the infrared light component IR is 4028, for example, 0 to 200, which is a value of 0 to 5% of the maximum value, is set as a predetermined value.
  • the color processing unit 104 multiplies each of the first pixel signals W + IR , R + IR , G + IR , and B + IR by the white balance gain when the determination unit 202 determines that the light source is a predetermined light source. .. As a result, the ratio (white balance) of the first pixel signals R + IR, G + IR, and B + IR is corrected. Subsequently, the color processing unit 104 performs bayerization processing. In this case, since the infrared light component IR is a value smaller than the predetermined value without reducing the infrared light component IR, the first pixel signals W + IR , R + IR , G + IR , and B + IR are the second pixels. It has values similar to the signals R, G, and B. Note that the white balance gain multiplication process, bayerization process, and the like are examples of predetermined processes.
  • the color processing unit 104 reduces the infrared light component IR from the first pixel signals W + IR , R + IR , G + IR , and B + IR.
  • the white balance gain is multiplied for each of the two pixel signals R, G, and B.
  • the ratio (white balance) of the second pixel signals R, G, and B is corrected.
  • the color processing unit 104 performs bayerization processing.
  • FIG. 5 is a diagram showing a pixel arrangement of an image after bayerization processing by the color processing unit 104. As shown in FIG. 5, the color processing unit 104 generates an image of an RGB pixel array as an image after the baying process by performing the baying process on the image before the baying process. ..
  • the color processing unit 104 uses the following equation (2) to set the second pixel signals R, G, and B as a luminance signal Y as an example of the predetermined processing. And the color difference signals Cb and Cr.
  • the color processing unit 104 replaces the second pixel signals R, G, and B with the first pixel signals W + IR , R + IR , and G. + using IR, and B + IR, calculates the equation (2).
  • FIG. 6 is a diagram showing an example of separation processing of the infrared light component IR.
  • the upper figure on the left side shows the characteristics of the high-pressure sodium lamp, and the middle figure shows the spectral characteristics of the first pixel signals W + IR , R + IR , G + IR , and B + IR imaged under the high-pressure sodium lamp light source.
  • the figure below is a diagram showing the spectral characteristics of the first pixel signals W + IR , R + IR , G + IR , and B + IR when the infrared light component IR is not separated.
  • the figure on the right shows the second pixel signals R, G, and B in which the infrared light component IR is separated from the first pixel signals W + IR , R + IR , G + IR , and B + IR.
  • the horizontal axis of each figure indicates the wavelength, and the vertical axis indicates the signal strength in an arbitrary unit.
  • the first pixel signals W + IR , R + IR , G + IR , and B + IR when the infrared light component IR is not separated include the infrared light component IR. No. Therefore, the infrared light component IR calculated by the separation processing unit 100 according to the equation (1) becomes almost 0. As a result, the determination unit 202 determines that the light source is a predetermined light source, for example, a high-voltage halogen lamp.
  • the bayering process which is an example of the predetermined processing, uses the first pixel signals W + IR , R + IR , G + IR , and B + IR. I do.
  • FIG. 7A is a diagram showing the second pixel signals R, G, and B in the right figure of FIG. 6 as images in the a * b * color space.
  • An ideal color reproduction example is also shown in FIG. 7A.
  • the infrared light component IR separation process of the formula (1) is performed on the first pixel signals W + IR , R + IR , G + IR , and B + IR whose infrared light component IR is equal to or less than a predetermined value. When this is done, the amount of deviation from the ideal color reproduction example increases.
  • FIG. 7B is a diagram showing the first pixel signals W + IR , R + IR , G + IR , and B + IR in the lower left figure of FIG. 6 as images in the a * b * color space.
  • An ideal color reproduction example is also shown in FIG. 6B.
  • the infrared light component IR separation process of the formula (1) is performed on the first pixel signals W + IR , R + IR , G + IR , and B + IR whose infrared light component IR is equal to or less than a predetermined value. If this is not done, the amount of deviation from the ideal color reproduction example will decrease.
  • FIG. 8 is a diagram showing an example of separation processing of spectral characteristics in the first pixel signals W + IR , R + IR , G + IR , and B + IR imaged under a light source that shakes the infrared light component IR.
  • the figure on the left shows the spectral characteristics of the first pixel signals W + IR , R + IR , G + IR , and B + IR before the IR separation process
  • the figure on the right shows the second pixel signals R, G, and B after the IR separation process.
  • the spectral characteristics of are shown.
  • the horizontal axis of each figure indicates the wavelength, and the vertical axis indicates the signal strength in an arbitrary unit.
  • the infrared light component IR is reduced to almost 0, and the influence of infrared light is eliminated.
  • FIG. 9 is a flowchart showing a processing example according to the first embodiment. Here, the processing after the first pixel signals W + IR , R + IR , G + IR , and B + IR are imaged by the image sensor 23 will be described.
  • the separation processing unit 100 calculates the infrared light component IR according to the equation (1) based on the first pixel signals W + IR , R + IR , G + IR , and B + IR stored in the storage unit 24 (step). S100).
  • the determination unit 202 determines whether or not the light source is a predetermined light source based on the infrared light component IR (step S102). When it is determined that the light source is a predetermined light source (No in step S102), the IR separation process of the formula (1) is not performed (step S104).
  • step S106 when it is determined that the light source is not a predetermined light source (Yes in step S102), the IR separation process of the formula (1) is performed (step S106).
  • the color processing unit 104 performs a bayerization process based on the first pixel signals W + IR , R + IR , G + IR , and B + IR, and is not a predetermined light source. In the case of determining that, the color processing unit 104 performs the baying process based on the second pixel signals R, G, and B that have undergone the IR separation process of the equation (1) (step S108).
  • the determination unit 202 determines whether or not there is a predetermined light source based on the infrared light component IR, and when it is determined that the predetermined light source is, for example, a high-pressure sodium lamp, the color processing unit 104 determines.
  • the first pixel signal W + IR , R + IR , G + IR , and B + IR are used to perform a bayering process, which is a predetermined process.
  • the image quality of the infrared light component IR may be reduced. Since the reduction process is not performed, the reduction in image quality is suppressed.
  • the color processing unit 104 performs a predetermined process based on the second pixel signals R, G, and B in which the infrared light component IR is reduced by the equation (1).
  • the bayerization process is performed. As a result, it is possible to prevent the color reproducibility from being impaired by the influence of infrared light.
  • the image pickup apparatus 10 In the image pickup apparatus 10 according to the first embodiment, it is determined whether or not the light source is a predetermined light source based on the infrared light component IR, but in the image pickup apparatus 10 according to the second embodiment, the information regarding the color temperature is used. Based on this, it differs in that it is determined whether or not color processing for reducing the infrared light component IR is performed.
  • the differences from the image pickup apparatus 10 according to the first embodiment will be described.
  • FIG. 10 is a block diagram showing a configuration example of the signal processing unit 25 according to the second embodiment.
  • the determination processing unit 102 of the signal processing unit 25 according to the second embodiment includes a determination unit 202 and a color temperature calculation unit 204.
  • the color temperature calculation unit 204 converts the second pixel signals R, G and B calculated by the separation processing unit 100 into the chromaticities x and y, and formulates the formula. Based on (5), the color temperature is converted to C.
  • a, b, and c are coefficients.
  • the color temperature calculation unit 204 calculates the color temperature C using the second pixel signals R, G, and B calculated by the separation processing unit 100.
  • the color temperature of a high-pressure sodium lamp is 2000K to 2100K.
  • the candle flame is 1800K
  • the incandescent light bulb is 3200K
  • the sunlight on a sunny day is 5000-6000K
  • the cloudy weather is 7000K
  • the shade on a sunny day is 7500K.
  • the determination unit 202 determines whether or not to perform color processing for reducing the infrared light component from the first pixel signals R + IR, G + IR, and B + IR based on the color temperature C calculated by the color temperature calculation unit 204. Further, the determination unit 202 determines whether or not the light source is a predetermined light source based on the color temperature C calculated by the color temperature calculation unit 204.
  • the determination unit 202 determines that the color processing for reducing the infrared light component from the first pixel signals W + IR , R + IR , G + IR , and B + IR is not performed. That is, the determination unit 202 determines that the light source is a predetermined light source when the color temperature is 2000K to 2100K. In this way, the determination unit 202 can also determine whether or not the light source is a predetermined light source by using the second pixel signals R, G, and B separated by the separation processing unit 100.
  • the determination unit 202 determines the light source based on the color temperature C calculated by the color temperature calculation unit 204.
  • the determination unit 202 has, for example, information indicating the name of the light source for each color temperature as a table. As a result, the determination unit 202 determines that the high-pressure sodium lamp is a predetermined light source if the color temperature is, for example, 2000K to 2100K.
  • the color temperature is 1800K, it is determined that it is a "candle flame” that is not a predetermined light source, and if the color temperature is 3200K, it is determined that it is an "incandescent light bulb” that is not a predetermined light source, and the color temperature is If it is 5000 to 6000K, it is determined that it is "sunlight” that is not a predetermined light source.
  • the color processing unit 104 uses the first pixel signals W + IR , R + IR , G + IR , and B + IR to form a bayer array. Convert. In this case, the first pixel signals R + IR, G + IR, and B + IR, which contain only the infrared light component IR smaller than the predetermined value, are not subjected to the infrared light component IR reduction processing that may reduce the image quality. , The reduction of image quality is suppressed.
  • the determination unit 202 determines that the light source is not a predetermined light source. That is, the determination unit 202 determines that color processing for reducing the infrared light component from the first pixel signals W + IR , R + IR , G + IR , and B + IR is performed. As a result, the color processing unit 104 converts, for example, into a Bayer array using the second pixel signals R, G, and B when the color temperature is 1800K, 3200K, 5000 to 7500K.
  • the first pixel signals W + IR , R + IR , G + IR , and B + IR contain a red light component IR of a predetermined value or more, the second pixel signal IR is separated.
  • the pixel signals R, G and B it is possible to suppress the deterioration of color reproducibility due to the influence of infrared light.
  • the determination unit 202 determines the light source based on the ratio of the second pixel signals R, G, and B, which are the color components of the red light, the blue light, and the green light, which are the information corresponding to the color temperature. good.
  • the determination unit 202 has, for example, information indicating the light source names for each ratio of the second pixel signals R, G, and B as a table.
  • the determination unit 202 determines that the high-pressure sodium lamp is a predetermined light source if, for example, the ratio of the two pixel signals R, G, and B is a predetermined value.
  • FIG. 11 is a flowchart showing a processing example according to the second embodiment. Here, the processing after the first pixel signals W + IR , R + IR , G + IR , and B + IR are imaged by the image sensor 23 will be described.
  • the color temperature calculation unit 204 calculates the color temperature C using the second pixel signals R, G, and B calculated by the separation processing unit 100 (step S200).
  • the determination unit 202 determines the light source based on the color temperature C calculated by the color temperature calculation unit 204. (Step S202). When it is determined that the light source is a predetermined light source (Yes in step S204), the IR separation process of the formula (1) is not performed (step S104).
  • step S106 when it is determined that the light source is not a predetermined light source (No in step S204), the IR separation process of the formula (1) is performed (step S106).
  • the determination unit 202 determines the light source based on the information regarding the color temperature C.
  • the color processing unit 104 performs a bayerizing process, which is a predetermined process, using the first pixel signals W + IR , R + IR , G + IR , and B + IR.
  • the image quality of the infrared light component IR may be reduced. Since the reduction process is not performed, the reduction in image quality is suppressed.
  • the color processing unit 104 performs a predetermined process based on the second pixel signals R, G, and B in which the infrared light component IR is reduced by the equation (1).
  • the bayerization process is performed. As a result, it is possible to prevent the color reproducibility from being impaired by the influence of infrared light.
  • the determination unit 202 of the image pickup apparatus 10 according to the third embodiment is different from the determination unit 202 according to the third embodiment in that the light source is estimated by using the infrared light component IR in addition to the information regarding the color temperature C. do.
  • the differences from the image pickup apparatus 10 according to the second embodiment will be described.
  • FIG. 12 is a block diagram showing a configuration example of the signal processing unit 25 according to the third embodiment.
  • the determination processing unit 102 of the signal processing unit 25 according to the third embodiment further includes an infrared light component acquisition unit 200.
  • the determination unit 202 estimates the light source by also using the infrared light component IR acquired by the infrared light component acquisition unit 200. That is, the determination unit 202 determines the light source using the infrared light component and the information regarding the color temperature. For example, the determination unit 202 determines that the light source is a predetermined light source when the color temperature C is in a predetermined range and the infrared light component IR is less than a predetermined value.
  • the determination unit 202 determines whether or not the light source is a predetermined light source by also using the infrared light component IR. For example, the determination unit 202 determines whether or not the light source is a high-pressure sodium lamp by using the infrared light component IR when the color temperature is 2000K to 2100K. As a result, it is possible to prevent the sunset or sunrise from being mistaken for a high-pressure sodium lamp. For example, the setting sun and the morning sun are about 2000K, and there is a possibility that the setting sun and the morning sun cannot be distinguished from the high-pressure sodium lamp by the judgment based only on the color temperature.
  • the infrared light component IR is equal to or higher than a predetermined value. Therefore, when the color temperature is 2000K to 2100K, if the infrared light component IR is equal to or higher than a predetermined value, the determination unit 202 determines that it is a sunset or the sunrise, and the infrared light component IR is less than the predetermined value. If there is, it is determined that the lamp is a high-pressure sodium lamp.
  • the determination accuracy of the light source is further improved. Further, when the color temperature is other than the predetermined color temperature, the information of the infrared light component IR is not used, so that the decrease in the processing speed of the determination unit 202 is suppressed.
  • FIG. 13 is a flowchart showing a processing example according to the fourth embodiment. Here, the processing after the first pixel signals W + IR , R + IR , G + IR , and B + IR are imaged by the image sensor 23 will be described.
  • the determination unit 202 determines whether or not the color temperature C calculated by the color temperature calculation unit 204 is a predetermined temperature (step S300). When it is determined that the temperature is a predetermined temperature (Yes in step S300), the information of the infrared light component IR is acquired (step S100), and the light source is estimated (step S302). On the other hand, when it is determined that the temperature is not a predetermined temperature (No in step S300), the light source is estimated without acquiring the information of the infrared light component IR (step S302).
  • the determination unit 202 when the color temperature C is a predetermined temperature of 2000K to 2100K, the determination unit 202 also uses the infrared light component IR to determine whether the light source is a predetermined light source. Judge whether or not. As a result, when different light sources (high-pressure sodium lamp, sunset or sunrise) exist even if the color temperature is the same 2000K to 2100K, the type of light source is high-pressure sodium lamp or sunset depending on the value of the infrared light component IR. Or it becomes possible to estimate whether it is the Asahi. Further, when the color temperature is other than the predetermined color temperature, the information of the infrared light component IR is not used, so that the decrease in the processing speed of the determination unit 202 is suppressed.
  • the infrared light component IR when different light sources (high-pressure sodium lamp, sunset or sunrise) exist even if the color temperature is the same 2000K to 2100K, the type of light source is high-pressure sodium lamp or sunset depending on the value of the infrare
  • the image pickup apparatus 10 Based on the information about the environment, the image pickup apparatus 10 according to the fourth embodiment determines whether or not to perform color processing for reducing the infrared light component IR from the first pixel signals W + IR , R + IR , G + IR , and B + IR. It differs from the imaging device 10 according to the first embodiment in that it determines. Hereinafter, the differences from the image pickup apparatus 10 according to the first embodiment will be described.
  • FIG. 14 is a block diagram showing a configuration example of the signal processing unit 25 according to the fourth embodiment.
  • the signal processing unit 25 according to the fourth embodiment includes an information acquisition unit 106, a position determination unit 210, a sunshine time determination unit 212, and a headlight information determination unit 214.
  • the information acquisition unit 106 acquires position information from GPS (Global Positioning System). In addition, the information acquisition unit 106 acquires information on the sunrise time and sunset time at that position from weather information and the like. Furthermore, the information acquisition unit 106 acquires information on the amount of light from the headlights of the vehicle on which the image pickup device 10 is mounted.
  • GPS Global Positioning System
  • the position determination unit 210 determines whether or not the imaging device 10 is the position where the high-pressure sodium lamp is turned on, based on the position information acquired by the information acquisition unit 106. For example, the position determination unit 210 determines that the image pickup device 10 is at a position where the high-pressure sodium lamp is turned on if it is in a tunnel. In this case, when the position determination unit 210 determines that the high-pressure sodium lamp is lit, the determination unit 202 emits infrared light from the first pixel signals W + IR , R + IR , G + IR , and B + IR. It is determined that the color treatment for reducing the component IR is not performed.
  • the high-pressure sodium lamp is normally lit, but since it is lit, it can be determined with higher accuracy that the high-pressure sodium lamp is lit.
  • the color processing unit 104 converts it into a Bayer array using the first pixel signals W + IR , R + IR , G + IR , and B + IR.
  • the sunshine time determination unit 212 determines whether or not the position of the image pickup apparatus 10 is outside the tunnel and the current time is in the daytime time zone based on the information of the sunrise time and the sunset time acquired by the information acquisition unit 106. .. That is, the sunshine time determination unit 212 determines whether or not "sunrise time” ⁇ "current time” ⁇ "sunset time". Even if "sunrise time” ⁇ "current time” ⁇ "sunset time", it is determined that the time zone is midday.
  • the determination unit 202 determines that it is in the daytime time zone, it determines that the color processing for reducing the infrared light component IR from the first pixel signals W + IR , R + IR , G + IR , and B + IR is performed.
  • the color processing unit 104 converts the second pixel signals R, G, and B into a Bayer array.
  • the color processing unit 104 converts the first pixel signals W + IR , R + IR , G + IR , and B + IR into a bayer array.
  • the headlight information determination unit 214 determines whether the position of the image pickup apparatus 10 is outside the tunnel and the light amount of the headlight is equal to or more than a predetermined threshold value based on the position information and the information of the light amount of the headlight acquired by the information acquisition unit 106. Judge whether or not. In this case, when the headlight information determination unit 214 determines that the amount of light of the headlight is equal to or greater than a predetermined threshold value, the determination unit 202 obtains the first pixel signals W + IR , R + IR , G + IR , and B + IR. It is determined that color processing for reducing the infrared light component IR is performed. The amount of light of the headlight is automatically adjusted according to the information of the external illuminance.
  • the amount of light of the headlight is automatically controlled to be less than a predetermined threshold value.
  • the illuminance does not correspond to the high-pressure sodium lamp and is equal to or less than a predetermined illuminance, the amount of light of the headlight is automatically controlled to be equal to or higher than a predetermined threshold value.
  • the color processing unit 104 converts the headlights into a bayer array using the second pixel signals R, G, and B. As described above, if the amount of light of the headlight is less than a predetermined threshold value, it can be determined with higher accuracy that the image is illuminated by the high-pressure sodium lamp. Further, the headlight information determination unit 214 may change the threshold value based on the time information. This makes it possible to consider the effects of sunlight at dawn / dusk.
  • FIG. 15 is a flowchart showing a processing example according to the fourth embodiment. Here, the processing after the first pixel signals W + IR , R + IR , G + IR , and B + IR are imaged by the image sensor 23 will be described.
  • the position determination unit 210 determines whether or not the image pickup apparatus 10 is in the tunnel based on the position information acquired by the information acquisition unit 106 (step S400). When determining that the tunnel is inside (Yes in step S300), the determination unit 202 determines that IR separation is not performed (step S104). On the other hand, when determining that the vehicle is outside the tunnel (No in step S400), the sunshine time determination unit 212 determines whether or not the current time is in the daytime zone based on the information of the sunrise time and the sunset time. (Step S402). When it is determined that the time zone is not midday (No in step S402), the determination unit 202 determines whether or not the illuminance corresponds to the high-pressure sodium lamp (step S404). When the determination unit 202 determines that the amount of light of the headlight is equal to or greater than a predetermined threshold value, the headlight information determination unit 214 determines that the illuminance does not correspond to the high-pressure sodium lamp (No in step S404).
  • the determination unit 202 determines that the illuminance corresponding to the high-pressure sodium lamp is illuminance when the headlight information determination unit 214 determines that the amount of light of the headlight is less than a predetermined threshold value (Yes in step S404). ). In this way, it is possible to determine whether or not the position is illuminated by the high-pressure sodium lamp even outside the tunnel. For example, the vicinity of an interchange on a highway may be illuminated by a high-pressure sodium lamp even though it is outside the tunnel.
  • step S106 determines that IR separation is performed (step S106).
  • the determination unit 202 determines the first pixel signal based on at least one of the information regarding the sunrise time and the sunset time, the position information, and the information regarding the illuminance of the headlight. It is determined whether or not color processing for reducing the infrared light component IR from W + IR , R + IR , G + IR , and B + IR is performed. Infrared light from the first pixel signals W + IR , R + IR , G + IR , and B + IR during the daytime time zone because the daytime time zone is determined more accurately based on the information about the sunrise time and sunset time.
  • the determination can be made with higher accuracy. Further, based on the position information, it is determined whether or not the tunnel is inside. As a result, it can be determined that the high-pressure sodium lamp is lit in the tunnel, so that the infrared light component IR is reduced from the first pixel signals W + IR , R + IR , G + IR , and B + IR. It can be determined with higher accuracy that the color processing is not performed.
  • the illuminance of the headlight if the illuminance of the headlight is less than a predetermined threshold value, it is determined that the position is illuminated by the high-pressure sodium lamp outside the tunnel, and the first pixel signal W + IR , It can be determined with higher accuracy that the color processing for reducing the infrared light component IR from R + IR , G + IR , and B + IR is not performed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 16 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the vehicle interior information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 17 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as imaging units 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 17 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup device having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the imaging device 10 can be applied to the imaging unit 12031.
  • Imaging Unit 12031 By applying the technique according to the present disclosure, it is possible to obtain a photographed image that is easier to see even when illuminated by a specific light source, so that driver fatigue can be reduced.
  • An imaging unit that converts incident light from an imaging target into a first pixel signal containing an infrared light component and a visible light component and outputs the signal.
  • the light source that irradiates the image pickup target with light is a predetermined light source
  • a predetermined process is performed using the first pixel signal
  • the light source is not a predetermined light source, the red from the first pixel signal.
  • An imaging device including a color processing unit that performs predetermined processing using a second pixel signal with a reduced external light component.
  • a determination processing unit for determining a light source that irradiates the image pickup target with light based on the information on the infrared light component is further provided. Based on the determination information of the determination processing unit, the color processing unit changes the processing when the light source that irradiates the image pickup target with light is a predetermined light source and the processing when the light source is not a predetermined light source. , (1).
  • a separation processing unit that separates the first pixel signal into the infrared light component and the visible light component.
  • the imaging apparatus according to any one of (2) to (5), wherein the determination processing unit determines the light source by using the infrared light component separated by the separation processing unit.
  • the visible light component is a color component of each of red light, blue light, and green light
  • the determination processing unit is the light source based on the ratio of each color component of red light, blue light, and green light.
  • the determination processing unit determines the light source based on at least one of information regarding the sunrise time and the sunset time, the position information of the light source that irradiates the imaging target with light, and the information regarding the illuminance of the headlight.
  • the imaging device according to (2) determines the light source based on at least one of information regarding the sunrise time and the sunset time, the position information of the light source that irradiates the imaging target with light, and the information regarding the illuminance of the headlight.
  • An imaging unit that converts incident light from an imaging target into a first pixel signal containing an infrared light component and a visible light component and outputs the signal.
  • a determination processing unit that determines whether or not to perform color processing for reducing the infrared light component from the first pixel signal based on the visible light component.
  • a color processing unit that performs color processing for reducing the infrared light component from the first pixel signal when it is determined to perform color processing for reducing the infrared light component.
  • An imaging device comprising.
  • the visible light component is a color component of each of red light, blue light, and green light
  • the determination processing unit makes the determination based on the ratio of each color component of red light, blue light, and green light.
  • the determination processing unit performs color processing for reducing the infrared light component from the first pixel signal when the color temperature is in a predetermined range and the infrared light component is less than a predetermined value.
  • An imaging unit that converts incident light from an imaging target into a first pixel signal containing an infrared light component and a visible light component and outputs the signal.
  • a color that reduces the infrared light component from the first pixel signal based on at least one of information about sunrise time and sunset time, position information of a light source that irradiates the imaging target with light, and information about illuminance of a headlight.
  • a judgment processing unit that determines whether or not to perform processing, A color processing unit that performs color processing for reducing the infrared light component from the first pixel signal when it is determined to perform color processing for reducing the infrared light component.
  • An imaging device comprising.
  • the judgment processing unit When it is determined that the tunnel is inside the tunnel based on the position information, it is determined that the color processing for reducing the infrared light component from the first pixel signal is not performed. Or If it is determined to be outside the tunnel based on the position information and the current time is after the sunrise time and before the sunset time, it is determined that the color processing for reducing the infrared light component is performed, or The imaging apparatus according to (18), wherein when the illuminance of the headlight is equal to or higher than a predetermined threshold value, it is determined that color processing for reducing the infrared light component is performed from the first pixel signal.
  • An imaging process in which incident light from an imaging target is converted into a first pixel signal containing an infrared light component and a visible light component and output.
  • the light source that irradiates the image pickup target with light is a predetermined light source
  • a predetermined process is performed using the first pixel signal
  • the light source is not a predetermined light source, the red from the first pixel signal.
  • a color processing step in which a predetermined process is performed using a second pixel signal with a reduced external light component, and An imaging method.
  • Imaging device Imaging device
  • 23 Image sensor
  • Judgment processing unit Judgment processing unit
  • 104 Color processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］赤外成分を有さない光源下で撮像された画像データに対しても画質の低減を抑制可能な撮像装置、および撮像方法を提供する。 ［解決手段］撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、撮像対象に光を照射する光源が所定の光源である場合に、第１画素信号を用いて所定の処理を行い、光源が所定の光源でない場合に、第１画素信号から赤外光成分を低減した第２画素信号を用いて所定の処理を行う色処理部と、を備える、撮像装置。

Description

撮像装置、および撮像方法
　本開示は、撮像装置、および撮像方法に関する。
　イメージセンサは、可視光だけでなく、赤外光に対しても感度を有する。このようなイメージセンサで取得された赤外光成分により夜間の視認性が向上する。一方で、このイメージセンサを用いて赤外光が多い光源下で撮影が行われる場合、赤外光の影響により色再現が損なわれる。このため、例えば白昼の時間体では、赤外光成分を低減する処理が行わる場合がある。
　ところが、赤外成分を有さない光源下で撮像された撮像画像データに赤外光成分を低減する処理をおこなうと、画質が低減する恐れがある。
特開２００６－２３７７３８号公報 特開２０１９－２０５０１８号公報
　本開示の一態様は、赤外成分を有さない光源下で撮像された画像データに対しても画質の低減を抑制可能な撮像装置、および撮像方法を提供する。
　上記の課題を解決するために、本開示では、撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
　前記撮像対象に光を照射する光源が所定の光源である場合に、前記第１画素信号を用いて所定の処理を行い、前記光源が所定の光源でない場合に、前記第１画素信号から前記赤外光成分を低減した第２画素信号を用いて所定の処理を行う色処理部と、を備える、撮像装置が提供される。
　前記赤外光成分に関する情報に基づき、前記撮像対象に光を照射する光源を判定する判定処理部を、更に備え、
　前記色処理部は、判定処理部の判定情報に基づき、前記撮像対象に光を照射する前記光源が所定の光源である場合の処理と、前記光源が所定の光源でない場合の処理とを変更してもよい。
　前記判定処理部は、前記赤外光成分が所定値未満であると判定される場合に、前記所定の光源であると判定してもよい。
　前記色処理部は、前記光源が所定の光源である場合に、前記第１画素信号を用いてベイヤ配列に変換してもよい。
　前記色処理部は、前記光源が所定の光源でない場合に、前記第２画素信号を用いてベイヤ配列に変換してもよい。
　前記第１画素信号を前記赤外光成分と前記可視光成分とに分離する分離処理部を更に備え、
　前記判定処理部は、前記分離処理部により分離された前記赤外光成分を用いて、前記光源を判定してもよい。
　前記判定処理部は、前記可視光成分を用いて、前記撮像対象に光を照射する光源を判定してもよい。
　前記判定処理部は、前記可視光成分を用いて、色温度を演算し、色温度に基づき前記光源を判定してもよい。
　前記可視光成分は、赤色光、青色光、及び緑色光それぞれの色成分であり、前記判定処理部は、赤色光、青色光、及び緑色光それぞれの色成分の比率に基づき前記光源を判定してもよい。
　前記判定処理部は、前記赤外光成分及び前記色温度に関する情報を用いて光源を判定してもよい。
　前記判定処理部は、前記色温度が所定の範囲であり、且つ前記赤外光成分が所定値未満である場合に、所定の光源であると判定してもよい。
　上記の課題を解決するために、本開示では、撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
　前記可視光成分に基づき、前記第１画素信号から前記赤外光成分を低減する色処理を行うか否かを判定する判定処理部と、
　前記赤外光成分を低減する色処理を行うと判定された場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行う色処理部と、
　を備える撮像装置が提供される。
　前記判定処理部は、前記可視光成分を用いて演算した色温度に基づき、前記判定を行ってもよい。
　前記可視光成分は、赤色光、青色光、及び緑色光それぞれの色成分であり、前記判定処理部は、赤色光、青色光、及び緑色光それぞれの色成分の比率に基づき前記判定を行ってもよい。
　前記判定処理部は、前記赤外光成分及び前記色温度に関する情報を用いて前記判定を行ってもよい。
　前記判定処理部は、前記色温度が所定の範囲であり、且つ前記赤外光成分が所定値未満である場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行わないと判定を行ってもよい。
　上記の課題を解決するために、本開示では、光撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
　日の出時刻及び日の入り時刻に関する情報、前記撮像対象に光を照射する光源の位置情報、及びヘッドライトの照度に関する情報の少なくともいずれかに基づき、前記第１画素信号から前記赤外光成分を低減する色処理を行うか否かを判定する判定処理部と、
　前記赤外光成分を低減する色処理を行うと判定された場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行う色処理部と、
　を備える撮像装置が提供される。
　判定処理部は、
　前記位置情報に基づきトンネル内であると判定した場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行なわないと判定し、
　又は、
　前記位置情報に基づきトンネル外であると判定し、且つ現在時刻が日の出時刻より後で、且つ日の入り時刻より前であれば、前記赤外光成分を低減する色処理を行うと判定し、　又は、
　ヘッドライトの照度が所定の閾値以上である場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行うと判定してもよい。
　上記の課題を解決するために、本開示では、撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像工程と、
　前記撮像対象に光を照射する光源が所定の光源である場合に、前記第１画素信号を用いて所定の処理を行い、前記光源が所定の光源でない場合に、前記第１画素信号から前記赤外光成分を低減した第２画素信号を用いて所定の処理を行う色処理工程と、
　を備える、撮像方法が提供される。
実施形態に係る撮像装置の構成の一例を示す図。 図１の光学フィルタの各波長の光の透過率の例を示す図。 イメージセンサの画素配列を説明する図。 信号処理部の構成例を示すブロック図。 信号処理部によるベイヤ化処理の後の画像の画素配列を示す図。 赤外光成分ＩＲの分離処理の例を示す図。 図６の右図における第２画素信号をａ＊ｂ＊色空間内に画像として示す図。 図６の左下図における第２画素信号をａ＊ｂ＊色空間内に画像として示す図。 第１画素信号における分光特性の分離処理例を示す図。 第１実施形態に係る処理例を示すフローチャート。 第２実施形態に係る信号処理部の構成例を示すブロック図。 第２実施形態に係る処理例を示すフローチャート。 第３実施形態に係る信号処理部の構成例を示すブロック図。 第４実施形態に係る処理例を示すフローチャート。 第４実施形態に係る信号処理部の構成例を示すブロック図。 第４実施形態に係る処理例を示すフローチャート。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置、および撮像方法の実施形態について説明する。以下では、撮像装置、および撮像方法の主要な構成部品分を中心に説明するが、撮像装置、および撮像方法には、図示又は説明されていない構成部品分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部品分や機能を除外するものではない。
　（第１実施形態）
　図１を参照して、本実施形態に係る撮像装置の構成について説明する。図１は、本実施形態に係る撮像装置の構成の一例を示す図である。撮像装置１０は、例えば撮像対象によって反射された入射光を赤外光と可視光に対応する画像が撮像可能な装置であり、レンズ２１、光学フィルタ２２、イメージセンサ２３、記憶部２４、および信号処理部２５を備える。なお、撮像対象には、例えば風景、車、人など、光を反射する物体、及び光を放射する物体などが含まれる。なお、本実施形態に係る撮像装置１０では、記憶部２４を撮像装置１０内に構成しているが、これに限定されない。例えば、記憶部２４を撮像装置１０外に構成してもよい。
　レンズ２１には、被写体からの光が入射される。レンズ２１は、入射された光を、光学フィルタ２２を介してイメージセンサ２３に集光させる。光学フィルタ２２は、入射された光のうちの赤外光と可視光を透過させる。
　図２は、図１の光学フィルタ２２の各波長の光の透過率の例を示す図である。図２のグラフにおいて、横軸は、光学フィルタ２２を通過する光の波長（ｎｍ）を表し、縦軸は、その光の透過率（％）を表す。図２に示すように、光学フィルタ２２では、例えば、波長が約３９０ｎｍ～６６０ｎｍである可視光の透過率と、波長が約８２０ｎｍ～１０８０ｎｍである赤外光の透過率が０％より大きい。従って、光学フィルタ２２では、波長が約３９０ｎｍ～６６０ｎｍである可視光と波長が約８２０ｎｍ～～１０８０ｎｍである赤外光が通過する。なお、波長８２０ｎｍ～～１０８０ｎｍは、一例であり、これに限定されない。例えば、赤外光には、近赤外光の全ての帯域が含まれてもよいし、或いは、遠赤外光の全ての帯域が含まれてもよい。
　イメージセンサ２３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサまたはＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサであり、ＲＧＢＷ画素配列の画素を有する。なお、本実施形態に係るイメージセンサ２３が撮像部に対応する。
　図３は、イメージセンサ２３の画素配列を説明する図である。図３に示すように、イメージセンサ２３から出力される撮像画像の画素配列は、ＲＧＢＷ画素配列である。また、各画素の第１画素信号には赤外光（ＩＲ）成分が含まれる。なお、本実施形態に係るイメージセンサ２３が撮像部に対応する。
　イメージセンサ２３は、画素ごとに、入射された赤外光と、可視光のうちの、その画素に対応する色（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）、白色（Ｗ））の光とを受光し、受光量に応じた電気信号を第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲとして生成することにより、フレーム単位で撮像を行う。従って、撮像の結果得られる各画素の第１画素信号には、不可視光成分としての赤外光成分ＩＲと可視光成分とが含まれる。すなわち、可視光成分は、例えば赤色光成分（Ｒ）、緑色光成分（Ｇ）、および青色光成分（Ｂ）のいずれかである。このイメージセンサ２３は、撮像の結果得られる各画素の第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを、ＡＤ変換し、撮像画像データとして記憶部２４に記憶する。
　記憶部２４は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子等により実現される。この記憶部２４は、撮像画像データを記憶する。
　信号処理部２５は、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分を低減する色処理を行う。より具体的には、信号処理部２５は、撮像対象に光を照射する光源が所定の光源である場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いて所定の処理を行い、光源が所定の光源でない場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減した第２画素信号Ｒ、Ｇ、Ｂを用いて所定の処理を行う。
　また、信号処理部２５は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理（リモザイク処理）を行い、ベイヤ配列（ＲＧＢ画素配列）のＲＧＢ画像を生成する。
　また、信号処理部２５は、ＲＧＢ画像を用いて、ホワイトバランス処理、ＹＣｂＣｒ変換処理などの信号処理を現像処理として行うことが可能である。例えば、信号処理部２５は、ＲＧＢ画像に対してホワイトバランス処理およびＹＣｂＣｒ変換処理を行った結果得られるＹＣｂＣｒ画像を出力する。
　図４は、信号処理部２５の構成例を示すブロック図である。図４に示すように、信号処理部２５は、分離処理部１００と、判定処理部１０２と、色処理部１０４とを有する。
　分離処理部１００は、記憶部２４に記憶される第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに基づいて、以下の式（１）により、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲのそれぞれに含まれる赤外光成分ＩＲと可視光成分である第２画素信号Ｒ、Ｇ、Ｂを分離する。このように、分離処理部１００は、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを赤外光成分ＩＲと第２画素信号Ｒ、Ｇ、Ｂとに分離する。
Figure JPOXMLDOC01-appb-M000001
　なお、上述のようにＩＲは、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲのそれぞれに含まれる赤外光成分である。また、第２画素信号Ｒ、Ｇ、Ｂは、上述のように第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲの可視光成分である。
　判定処理部１０２は、赤外光成分ＩＲに関する情報に基づき、撮像対象に光を照射する光源を判定する。すなわち、この判定処理部１０２は、赤外光成分取得部２００と、判定部２０２とを有する。
　赤外光成分取得部２００は、分離処理部１００から赤外光成分ＩＲを取得する。なお、赤外光成分取得部２００は、赤外光成分ＩＲに関する情報を外部装置から取得しても良い。
　判定部２０２は、赤外光成分に関する情報に基づき、撮像対象に光を照射する光源を推定する。この判定部２０２は、赤外光成分ＩＲが所定値より小さいか否かを判定し、所定値より小さい場合に所定の光源と判定する。例えば、赤外光成分ＩＲの最大値が４０２８である場合、例えばその０～５％の値である０～２００を所定値とする。
　色処理部１０４は、判定部２０２により所定の光源であると判定される場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲのそれぞれに対して、ホワイトバランスゲインを乗算する。これにより、第１画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲの比率（ホワイトバランス）が補正される。続けて、色処理部１０４は、ベイヤ化処理を行う。この場合、赤外光成分ＩＲを低減せずとも、赤外光成分ＩＲが所定値より小さな値であるので、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲは、第２画素信号Ｒ、Ｇ、およびＢと近似する値を有する。なお、ホワイトバランスゲインの乗算処理、ベイヤ化処理などが所定処理の一例である。
　一方で、色処理部１０４は、判定部２０２により所定の光源でないと判定される場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減した第２画素信号Ｒ、Ｇ、およびＢそれぞれに対して、ホワイトバランスゲインを乗算する。これにより、第２画素信号Ｒ、Ｇ、およびＢの比率（ホワイトバランス）が補正される。続けて、色処理部１０４は、ベイヤ化処理を行う。
　図５は、色処理部１０４によるベイヤ化処理の後の画像の画素配列を示す図である。図５に示すように、色処理部１０４は、このようなベイヤ化処理前の画像に対して、ベイヤ化処理を行うことにより、ＲＧＢ画素配列の画像を、ベイヤ化処理後の画像として生成する。
　色処理部１０４は、判定部２０２により所定の光源でないと判定される場合に、以下の式（２）により、所定処理の一例として、第２画素信号Ｒ、Ｇ、およびＢを、輝度信号Ｙと色差信号ＣｂおよびＣｒとに変換する。この場合、色処理部１０４は、判定部２０２により所定の光源であると判定される場合に、第２画素信号Ｒ、Ｇ、およびＢの替わりに、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いて、式（２）を演算する。
Figure JPOXMLDOC01-appb-M000002
　図６は、赤外光成分ＩＲの分離処理の例を示す図である。左側の上図は、高圧ナトリウムランプの特性を示す図であり、中図は、高圧ナトリウムランプ光源下で撮像した第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲの分光特性を示す図であり、下図は、赤外光成分ＩＲの分離処理を行わない場合の第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲの分光特性を示す図である。右側の図は、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを分離した第２画素信号Ｒ、Ｇ、およびＢを示す図である。それぞれの図の横軸は波長を示し、縦軸は任意単位の信号強度を示す。
　左側の中図で示すように、赤外光成分ＩＲの分離処理を行わない場合の第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲには、赤外光成分ＩＲが含まれていない。このため、分離処理部１００が（１）式に従い演算した赤外光成分ＩＲは、ほぼ０となる。これにより、判定部２０２は、所定の光源、例えば高圧ハロゲンランプと判定する。そして、色処理部１０４は、判定部２０２により所定の光源と判定されたので、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いて、所定処理の一例であるベイヤ化処理を行う。
　図７Ａは、図６の右図における第２画素信号Ｒ、Ｇ、およびＢをａ＊ｂ＊色空間内に画像として示す図である。図７Ａ内には、理想とする色再現例も図示している。図７Ａに示すように、赤外光成分ＩＲが所定値以下である第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに対して式（１）の赤外光成分ＩＲ分離処理を行うと、理想とする色再現例からのずれ量が増加する。
　図７Ｂは、図６の左下図における第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲをａ＊ｂ＊色空間内に画像として示す図である。図６Ｂ内には、理想とする色再現例も図示している。図７Ｂに示すように、赤外光成分ＩＲが所定値以下である第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに対して式（１）の赤外光成分ＩＲ分離処理を行なわない方が、理想とする色再現例からのずれ量が低下する。
　図８は、赤外光成分ＩＲを揺する光源下で撮像された第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲにおける分光特性の分離処理例を示す図である。左側の図がＩＲ分離処理前の第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲの分光特性を示し、右側の図がＩＲ分離処理後の第２画素信号Ｒ、Ｇ、およびＢの分光特性を示す。それぞれの図の横軸は波長を示し、縦軸は任意単位の信号強度を示す。右側の図に示すように、分離処理後の第２画素信号Ｒ、Ｇ、およびＢの分光特性では、赤外光成分ＩＲがほぼ０まで低減され、赤外光の影響が除去されている。
　図９は、第１実施形態に係る処理例を示すフローチャートである。ここでは、イメージセンサ２３で第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲが撮像された後の処理を説明する。
　まず、分離処理部１００は、記憶部２４に記憶され第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに基づいて、式（１）により、赤外光成分ＩＲを演算する（ステップＳ１００）。
　次に、判定部２０２は、赤外光成分ＩＲに基づき、所定の光源か否かを判定する（ステップＳ１０２）。所定の光源と判定する場合（ステップＳ１０２のＮｏ）に、（１）式のＩＲ分離処理を行わない（ステップＳ１０４）。
　一方で、所定の光源ないと判定する場合（ステップＳ１０２のＹｅｓ）に、（１）式のＩＲ分離処理を行う（ステップＳ１０６）。これにより、所定の光源あると判定する場合には、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに基づいて、色処理部１０４は、ベイヤ化処理を行い、所定の光源でないと判定する場合には、（１）式のＩＲ分離処理を行った第２画素信号Ｒ、Ｇ、およびＢ基づいて、色処理部１０４は、ベイヤ化処理を行う（ステップＳ１０８）。
　以上説明したように、判定部２０２は、赤外光成分ＩＲに基づき、所定の光源あるか否かを判定し、所定の光源、例えば高圧ナトリウムランプと判定される場合に、色処理部１０４は、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いて所定の処理であるベイヤ化処理を行う。これにより、所定値より小さい赤外光成分ＩＲしか含まれない第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに対しては、画質が低減するおそれのある赤外光成分ＩＲの低減処理を行わないので、画質が低減することが抑制される。
　一方で、所定の光源ないと判定される場合に、色処理部１０４は、（１）式により赤外光成分ＩＲを低減した第２画素信号Ｒ、Ｇ、およびＢに基づいて、所定の処理であるベイヤ化処理を行う。これにより、赤外光の影響による色再現性が損なわれることが抑制される。
（第２実施形態）
　第１実施形態に係る撮像装置１０では、赤外光成分ＩＲに基づき、所定の光源であるか否かを判定していたが、第２実施形態に係る撮像装置１０では、色温度に関する情報に基づき、赤外光成分ＩＲを低減する色処理を行うか否かを判定する点で相違する。以下では、第１実施形態に係る撮像装置１０と相違する点を説明する。
　図１０は、第２実施形態に係る信号処理部２５の構成例を示すブロック図である。図１０に示すように、第２実施形態に係る信号処理部２５の判定処理部１０２は、判定部２０２と、色温度演算部２０４とを有する。
　色温度演算部２０４は、例えば、式（３）、（４）で示すように、分離処理部１００により演算された第２画素信号Ｒ、ＧおよびＢを色度ｘ、ｙに変換し、式（５）に基づき、色温度Ｃに変換する。ここで、ａ、ｂ、ｃは係数である。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　このように、色温度演算部２０４は、分離処理部１００により演算された第２画素信号Ｒ、ＧおよびＢを用いて色温度Ｃを演算する。例えば、高圧ナトリウムランプの色温度は、２０００Ｋ～２１００Ｋである。また、ろうそくの炎が１８００Ｋであり、白熱電球が３２００Ｋであり、晴れた日の太陽光が５０００～６０００Ｋであり、曇天が７０００Ｋであり、晴天の日陰が７５００Ｋである。
　判定部２０２は、色温度演算部２０４により演算された色温度Ｃに基づき、第１画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分を低減する色処理を行うか否かを判定する。また、判定部２０２は、色温度演算部２０４により演算された色温度Ｃに基づき、所定の光源であるか否かを判定する。
　判定部２０２は、色温度が２０００Ｋ～２１００Ｋである場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分を低減する色処理を行なわないと判定する。すなわち、判定部２０２は、色温度が２０００Ｋ～２１００Ｋである場合に、所定の光源であると判定する。このように、判定部２０２は、分離処理部１００により分離された第２画素信号Ｒ、ＧおよびＢを用いて、所定の光源であるか否かを判定することも可能である。
　より詳細には、判定部２０２は、色温度演算部２０４により演算された色温度Ｃに基づき、光源を判定する。判定部２０２は、例えば、色温度別の光源名を示す情報をテーブルとして有している。これにより、判定部２０２は、例えば色温度が２０００Ｋ～２１００Ｋであれば所定の光源である高圧ナトリウムランプであると判定する。
　一方で、色温度が１８００Ｋであれば、所定の光源でない「ろうそくの炎」であると判定し、色温度が３２００Ｋであれば所定の光源でない「白熱電球」であると判定し、色温度が５０００～６０００Ｋであれば所定の光源でない「太陽光」であると判定する。
　これにより、色処理部１０４は、色温度が２０００Ｋ～２１００Ｋである場合、すなわち高圧ナトリウムランプである場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いてベイヤ配列に変換する。この場合、所定値より小さい赤外光成分ＩＲしか含まれない第１画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに対しては、画質が低減するおそれのある赤外光成分ＩＲの低減処理を行わないので、画質が低減することが抑制される。
　一方で、判定部２０２は、色温度が例えば１８００Ｋ、３２００Ｋ、５０００～７５００Ｋである場合に、所定の光源でないと判定する。すなわち、判定部２０２は、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分を低減する色処理を行うと判定する。これにより、色処理部１０４は、例えば色温度が１８００Ｋ、３２００Ｋ、５０００～７５００Ｋである場合に、第２画素信号Ｒ、ＧおよびＢを用いてベイヤ配列に変換する。このような色温度である場合には、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに所定値以上の赤色光成分ＩＲが含まれるので、赤色光成分ＩＲを分離した第２画素信号Ｒ、ＧおよびＢを用いることにより、赤外光の影響により色再現性が損なわれることが抑制される。
　なお、判定部２０２は、色温度に対応する情報である、赤色光、青色光、及び緑色光それぞれの色成分である第２画素信号Ｒ、ＧおよびＢの比率に基づき光源を判定してもよい。この場合、判定部２０２は、例えば、第２画素信号Ｒ、ＧおよびＢの比率別の光源名を示す情報をテーブルとして有している。これにより、判定部２０２は、例えば２画素信号Ｒ、ＧおよびＢの比率が所定値であれば所定の光源である、高圧ナトリウムランプであると判定する。
　図１１は、第２実施形態に係る処理例を示すフローチャートである。ここでは、イメージセンサ２３で第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲが撮像された後の処理を説明する。
　まず、色温度演算部２０４は、分離処理部１００により演算された第２画素信号Ｒ、ＧおよびＢを用いて色温度Ｃを演算する（ステップＳ２００）。
　　次に、判定部２０２は、色温度演算部２０４により演算された色温度Ｃに基づき、光源を判定する。（ステップＳ２０２）。所定の光源であると判定する場合（ステップＳ２０４のＹｅｓ）に、（１）式のＩＲ分離処理を行わない（ステップＳ１０４）。
　一方で、所定の光源でないと判定する場合（ステップＳ２０４のＮｏ）に、（１）式のＩＲ分離処理を行う（ステップＳ１０６）。
　以上説明したように、判定部２０２は、色温度Ｃに関する情報に基づき、光源を判定する。所定の光源である場合に、色処理部１０４は、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いて所定の処理であるベイヤ化処理を行う。これにより、所定値より小さい赤外光成分ＩＲしか含まれない第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲに対しては、画質が低減するおそれのある赤外光成分ＩＲの低減処理を行わないので、画質が低減することが抑制される。
　一方で、所定の光源ないと判定される場合に、色処理部１０４は、（１）式により赤外光成分ＩＲを低減した第２画素信号Ｒ、Ｇ、およびＢに基づいて、所定の処理であるベイヤ化処理を行う。これにより、赤外光の影響により色再現性が損なわれることが抑制される。
（第３実施形態）
　第３実施形態に係る撮像装置１０の判定部２０２は、色温度Ｃに関する情報に加えて、赤外光成分ＩＲも用いて、光源を推定する点で第３実施形態に係る判定部２０２と相違する。以下では、第２実施形態に係る撮像装置１０と相違する点を説明する。
　図１２は、第３実施形態に係る信号処理部２５の構成例を示すブロック図である。図１２に示すように、第３実施形態に係る信号処理部２５の判定処理部１０２は、赤外光成分取得部２００を更に有する。
　判定部２０２は、赤外光成分取得部２００が取得した赤外光成分ＩＲも用いて光源を推定する。すなわち、この判定部２０２は、赤外光成分及び前記色温度に関する情報を用いて光源を判定する。例えば、判定部２０２は、色温度Ｃが所定の範囲であり、且つ赤外光成分ＩＲが所定値未満である場合に、所定の光源であると判定する。
　より詳細には、判定部２０２は、色温度が所定の温度である場合に、赤外光成分ＩＲも用いて光源が所定の光源か否かを判定する。例えば、判定部２０２は、色温度が２０００Ｋ～２１００Ｋである場合に、赤外光成分ＩＲも用いて光源が高圧ナトリウムランプか否かを判定する。これにより、夕日や朝日と高圧ナトリウムランプとを間違えることが抑制される。例えば、夕日や朝日は、およそ２０００Ｋであり、色温度だけでの判定では、夕日や朝日と高圧ナトリウムランプとが識別できないおそれがある。一方で、夕日や朝日の場合には、赤外光成分ＩＲが所定以上である。このため、判定部２０２は、色温度が２０００Ｋ～２１００Ｋである場合に、赤外光成分ＩＲが所定値以上であれば、夕日や朝日であると判定し、赤外光成分ＩＲが所定未満であれば、高圧ナトリウムランプであると判定する。
　このように、赤外光成分ＩＲの情報を用いることで、光源の判定精度がより向上する。また、所定の色温度以外の場合には、赤外光成分ＩＲの情報を用いないので、判定部２０２の処理速度の低下が抑制される。
　図１３は、第４実施形態に係る処理例を示すフローチャートである。ここでは、イメージセンサ２３で第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲが撮像された後の処理を説明する。
　判定部２０２は、色温度演算部２０４により演算された色温度Ｃが所定の温度であるか否かを判定する（ステップＳ３００）。所定の温度であると判定する場合（ステップＳ３００のＹｅｓ）に、赤外光成分ＩＲの情報を取得し（ステップＳ１００）、光源を推定する（ステップＳ３０２）。一方で、所定の温度でないと判定する場合（ステップＳ３００のＮｏ）に、赤外光成分ＩＲの情報を取得せずに光源を推定する（ステップＳ３０２）。
　以上説明したように、本実施形態に係る撮像装置１０は、判定部２０２は、色温度Ｃが所定の温度２０００Ｋ～２１００Ｋである場合に、赤外光成分ＩＲも用いて光源が所定の光源か否かを判定する。これにより、同等の色温度２０００Ｋ～２１００Ｋであっても異なる光源（高圧ナトリウムランプか、夕日又は朝日）が存在する場合に、赤外光成分ＩＲの値により光源の種類が高圧ナトリウムランプか、夕日又は朝日であるかを推定可能となる。また、所定の色温度以外の場合には、赤外光成分ＩＲの情報を用いないので、判定部２０２の処理速度の低下が抑制される。
（第４実施形態）
　第４実施形態に係る撮像装置１０は、環境に関する情報に基づき、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行うか否かを判定する点で第１実施形態に係る撮像装置１０と相違する。以下では、第１実施形態に係る撮像装置１０と相違する点を説明する。
　図１４は、第４実施形態に係る信号処理部２５の構成例を示すブロック図である。図１４に示すように、第４実施形態に係る信号処理部２５は、情報取得部１０６と、位置判定部２１０と、日照時刻判定部２１２と、ヘッドライト情報判定部２１４と、有する。
　情報取得部１０６は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から位置情報を取得する。また、情報取得部１０６は、その位置における日の出時刻及び日の入り時刻の情報を気象情報などから取得する。さらにまた、情報取得部１０６は、撮像装置１０が搭載された車両のヘッドライトの光量の情報を取得する。
　位置判定部２１０は、情報取得部１０６が取得した位置情報に基づき、撮像装置１０が、高圧ナトリウムランプが点灯される位置であるかを判定する。例えば、位置判定部２１０は、撮像装置１０が、トンネル内であれば、高圧ナトリウムランプが点灯される位置であると判定する。この場合、判定部２０２は、位置判定部２１０が、高圧ナトリウムランプが点灯される位置であると判定した場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行なわないと判定する。このように、トンネル内であれば、通常は高圧ナトリウムランプが点灯されるが点灯されるので、より高精度に、高圧ナトリウムランプが点灯されていることを判定できる。色処理部１０４は、トンネル内であると判定された場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いてベイヤ配列に変換する。
　日照時刻判定部２１２は、情報取得部１０６が取得した日の出時刻及び日の入り時刻の情報に基づき、撮像装置１０の位置がトンネル外であり、現在時刻が白昼の時間帯であるか否かを判定する。すなわち、日照時刻判定部２１２は、「日の出時刻」＜「現在時刻」＜「日の入り時刻」であれるか否かを判定する。「日の出時刻」＜「現在時刻」＜「日の入り時刻」であれが、白昼の時間帯であると判定する。
　判定部２０２は、白昼の時間帯であると判定した場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行なうと判定する。一方で、白昼の時間帯でないと判定した場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行なわないと判定する。これにより、色処理部１０４は、白昼の時間帯であると判定された場合に、第２画素信号Ｒ、ＧおよびＢを用いて、ベイヤ配列に変換する。一方で、色処理部１０４は、白昼の時間帯でないと判定された場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲを用いて、ベイヤ配列に変換する。
　ヘッドライト情報判定部２１４は、位置情報及び情報取得部１０６が取得したヘッドライトの光量の情報に基づき、撮像装置１０の位置がトンネル外であり、ヘッドライトの光量が所定の閾値以上であるか否かを判定する。この場合、判定部２０２は、ヘッドライト情報判定部２１４が、ヘッドライトの光量が所定の閾値以上であると判定した場合に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行なうと判定する。なお、ヘッドライトの光量は外部の照度の情報により光量が自動調整される。これより、高圧ナトリウムランプに対応する照度であれば、ヘッドライトの光量は所定の閾値未満に自動制御される。一方で、高圧ナトリウムランプに対応する照度でなく、且つ所定の照度以下であれば、ヘッドライトの光量は所定の閾値以上に自動制御される。
　これにより、色処理部１０４は、ヘッドライトの光量が所定の閾値以上であると判定された場合に、第２画素信号Ｒ、ＧおよびＢを用いて、ベイヤ配列に変換する。このように、ヘッドライトの光量が所定の閾値未満であれば、高圧ナトリウムランプにより照らされた画像であることをより高精度に判定できる。また、ヘッドライト情報判定部２１４は、時間情報に基づき、閾値を変更してもよい。これにより、夜明け／夕暮れ時の太陽光の影響を考慮することが可能となる。
　図１５は、第４実施形態に係る処理例を示すフローチャートである。ここでは、イメージセンサ２３で第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲが撮像された後の処理を説明する。
　位置判定部２１０は、情報取得部１０６が取得した位置情報に基づき、撮像装置１０が、トンネル内であるか否かを判定する（ステップＳ４００）。トンネル内であると判定する場合（ステップＳ３００のＹｅｓ）に、判定部２０２は、ＩＲ分離を行わない（ステップＳ１０４）と判定する。一方で、トンネル外であると判定する場合（ステップＳ４００のＮｏ）に、日照時刻判定部２１２は、日の出時刻及び日の入り時刻の情報に基づき、現在時刻が白昼の時間帯であるか否かを判定する（ステップＳ４０２）。白昼の時間帯でないと判定する場合（ステップＳ４０２のＮｏ）に、判定部２０２は、高圧ナトリウムランプに対応する照度か否かを判定する（ステップＳ４０４）。判定部２０２は、ヘッドライト情報判定部２１４は、ヘッドライトの光量が所定の閾値以上であると判定した場合に、高圧ナトリウムランプに対応する照度でないと判定する（ステップＳ４０４のＮｏ）。
　一方で、判定部２０２は、ヘッドライト情報判定部２１４は、ヘッドライトの光量が所定の閾値未満であると判定した場合に、高圧ナトリウムランプに対応する照度であると判定する（ステップＳ４０４のＹｅｓ）。このように、トンネル外においても高圧ナトリウムランプに照らされている位置か否かが判定可能となる。例えば、高速道路のインター付近などは、トンネル外であるが高圧ナトリウムランプに照らされている場合がある。
　一方で、白昼の時間帯であると判定する場合（ステップＳ４０２のＹｅｓ）に、判定部２０２は、ＩＲ分離を行う（ステップＳ１０６）と判定する。
　以上説明したように、本実施形態に係る撮像装置１０は、判定部２０２が、日の出時刻及び日の入り時刻に関する情報、位置情報、及びヘッドライトの照度に関する情報の少なくともいずれかに基づき、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行うか否かを判定する。日の出時刻及び日の入り時刻に関する情報に基づき、白昼の時間帯がより高精度に判定されるので、白昼の時間帯に、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行うとより高精度に判定できる。また、位置情報に基づき、トンネル内であるか否かが判定される。これにより、トンネル内であれば、高圧ナトリウムランプが点灯される位置であると判定可能であるので、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行なわないことがより高精度に判定できる。さらにまた、ヘッドライトの照度に関する情報にもとづき、ヘッドライトの照度が所定の閾値未満であれば、トンネル外において高圧ナトリウムランプに照らされている位置であると判定され、第１画素信号Ｗ＋ＩＲ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、およびＢ＋ＩＲから赤外光成分ＩＲを低減する色処理を行なわないことがより高精度に判定できる。
（第５実施形態）
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１７は、撮像部１２０３１の設置位置の例を示す図である。
　図１７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、撮像装置１０は、撮像部１２０３１に適用することができる。撮像部１２０３１本開示に係る技術を適用することにより、特定の光源により照明される場合にも、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　なお、本技術は以下のような構成を取ることができる。
　（１）撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
　前記撮像対象に光を照射する光源が所定の光源である場合に、前記第１画素信号を用いて所定の処理を行い、前記光源が所定の光源でない場合に、前記第１画素信号から前記赤外光成分を低減した第２画素信号を用いて所定の処理を行う色処理部と、を備える、撮像装置。
　（２）前記赤外光成分に関する情報に基づき、前記撮像対象に光を照射する光源を判定する判定処理部を、更に備え、
　前記色処理部は、判定処理部の判定情報に基づき、前記撮像対象に光を照射する前記光源が所定の光源である場合の処理と、前記光源が所定の光源でない場合の処理とを変更する、（１）に記載の撮像装置。
　（３）前記判定処理部は、前記赤外光成分が所定値未満であると判定される場合に、前記所定の光源であると判定する、（２）に記載の撮像装置。
　（４）前記色処理部は、前記光源が所定の光源である場合に、前記第１画素信号を用いてベイヤ配列に変換する、（１）乃至（３）のいずれか一項に記載の撮像装置。
　（５）前記色処理部は、前記光源が所定の光源でない場合に、前記第２画素信号を用いてベイヤ配列に変換する、（１）乃至（４）のいずれか一項に記載の撮像装置。
　（６）前記第１画素信号を前記赤外光成分と前記可視光成分とに分離する分離処理部を更に備え、
　前記判定処理部は、前記分離処理部により分離された前記赤外光成分を用いて、前記光源を判定する、（２）乃至（５）のいずれか一項に記載の撮像装置。
　（７）前記判定処理部は、前記可視光成分を用いて、前記撮像対象に光を照射する光源を判定する、（２）に記載の撮像装置。
　（８）前記判定処理部は、前記可視光成分を用いて、色温度を演算し、色温度に基づき前記光源を判定する、（２）に記載の撮像装置。
　（９）前記可視光成分は、赤色光、青色光、及び緑色光それぞれの色成分であり、前記判定処理部は、赤色光、青色光、及び緑色光それぞれの色成分の比率に基づき前記光源を判定する、（７）又は（８）に記載の撮像装置。
　（１０）前記判定処理部は、前記赤外光成分及び前記色温度に関する情報を用いて光源を判定する、（８）又は（９）に記載の撮像装置。
　（１１）前記判定処理部は、前記色温度が所定の範囲であり、且つ前記赤外光成分が所定値未満である場合に、所定の光源であると判定する、（１０）に記載の撮像装置。
　（１２）前記判定処理部は、日の出時刻及び日の入り時刻に関する情報、前記撮像対象に光を照射する光源の位置情報、及びヘッドライトの照度に関する情報の少なくともいずれかに基づき、前記光源を判定する、（２）に記載の撮像装置。
　（１３）撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
　前記可視光成分に基づき、前記第１画素信号から前記赤外光成分を低減する色処理を行うか否かを判定する判定処理部と、
　前記赤外光成分を低減する色処理を行うと判定された場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行う色処理部と、
　を備える撮像装置。
　（１４）前記判定処理部は、前記可視光成分を用いて演算した色温度に基づき、前記判定を行う、（１３）に記載の撮像装置。
　（１５）前記可視光成分は、赤色光、青色光、及び緑色光それぞれの色成分であり、前記判定処理部は、赤色光、青色光、及び緑色光それぞれの色成分の比率に基づき前記判定を行う、（１３）又は（１４）に記載の撮像装置。
　（１６）前記判定処理部は、前記赤外光成分及び前記色温度に関する情報を用いて前記判定を行う、（１４）又は（１５）に記載の撮像装置。
　（１７）前記判定処理部は、前記色温度が所定の範囲であり、且つ前記赤外光成分が所定値未満である場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行わないと判定する、（１６）に記載の撮像装置。
　（１８）撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
　日の出時刻及び日の入り時刻に関する情報、前記撮像対象に光を照射する光源の位置情報、及びヘッドライトの照度に関する情報の少なくともいずれかに基づき、前記第１画素信号から前記赤外光成分を低減する色処理を行うか否かを判定する判定処理部と、
　前記赤外光成分を低減する色処理を行うと判定された場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行う色処理部と、
　を備える撮像装置。
　（１９）判定処理部は、
　前記位置情報に基づきトンネル内であると判定した場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行なわないと判定し、
　又は、
　前記位置情報に基づきトンネル外であると判定し、且つ現在時刻が日の出時刻より後で、且つ日の入り時刻より前であれば、前記赤外光成分を低減する色処理を行うと判定し、　又は、
　ヘッドライトの照度が所定の閾値以上である場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行うと判定する、（１８）に記載の撮像装置。
　（２０）撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像工程と、
　前記撮像対象に光を照射する光源が所定の光源である場合に、前記第１画素信号を用いて所定の処理を行い、前記光源が所定の光源でない場合に、前記第１画素信号から前記赤外光成分を低減した第２画素信号を用いて所定の処理を行う色処理工程と、
　を備える、撮像方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１０：撮像装置、２３：イメージセンサ、１０２：判定処理部、１０４：色処理部。

Claims (20)

  1. 　撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
    　前記撮像対象に光を照射する光源が所定の光源である場合に、前記第１画素信号を用いて所定の処理を行い、前記光源が所定の光源でない場合に、前記第１画素信号から前記赤外光成分を低減した第２画素信号を用いて所定の処理を行う色処理部と、
    　を備える、撮像装置。
  2. 　前記赤外光成分に関する情報に基づき、前記撮像対象に光を照射する光源を判定する判定処理部を、更に備え、
    　前記色処理部は、判定処理部の判定情報に基づき、前記撮像対象に光を照射する前記光源が所定の光源である場合の処理と、前記光源が所定の光源でない場合の処理とを変更する、請求項１に記載の撮像装置。
  3. 　前記判定処理部は、前記赤外光成分が所定値未満であると判定される場合に、前記所定の光源であると判定する、請求項２に記載の撮像装置。
  4. 　前記色処理部は、前記光源が所定の光源である場合に、前記第１画素信号を用いてベイヤ配列に変換する、請求項１に記載の撮像装置。
  5. 　前記色処理部は、前記光源が所定の光源でない場合に、前記第２画素信号を用いてベイヤ配列に変換する、請求項１に記載の撮像装置。
  6. 　前記第１画素信号を前記赤外光成分と前記可視光成分とに分離する分離処理部を更に備え、
    　前記判定処理部は、前記分離処理部により分離された前記赤外光成分を用いて、前記光源を判定する、請求項２に記載の撮像装置。
  7. 　前記判定処理部は、前記可視光成分を用いて、前記撮像対象に光を照射する光源を判定する、請求項２に記載の撮像装置。
  8. 　前記判定処理部は、前記可視光成分を用いて、色温度を演算し、色温度に基づき前記光源を判定する、請求項２に記載の撮像装置。
  9. 　前記可視光成分は、赤色光、青色光、及び緑色光それぞれの色成分であり、前記判定処理部は、赤色光、青色光、及び緑色光それぞれの色成分の比率に基づき前記光源を判定する、請求項７に記載の撮像装置。
  10. 　前記判定処理部は、前記赤外光成分及び前記色温度に関する情報を用いて光源を判定する、請求項８に記載の撮像装置。
  11. 　前記判定処理部は、前記色温度が所定の範囲であり、且つ前記赤外光成分が所定値未満である場合に、所定の光源であると判定する、請求項１０に記載の撮像装置。
  12. 　前記判定処理部は、日の出時刻及び日の入り時刻に関する情報、前記撮像対象に光を照射する光源の位置情報、及びヘッドライトの照度に関する情報の少なくともいずれかに基づき、前記光源を判定する、請求項２に記載の撮像装置。
  13. 　撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
    　前記可視光成分に基づき、前記第１画素信号から前記赤外光成分を低減する色処理を行うか否かを判定する判定処理部と、
    　前記赤外光成分を低減する色処理を行うと判定された場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行う色処理部と、
    　を備える撮像装置。
  14. 　前記判定処理部は、前記可視光成分を用いて演算した色温度に基づき、前記判定を行う、請求項１３に記載の撮像装置。
  15. 　前記可視光成分は、赤色光、青色光、及び緑色光それぞれの色成分であり、前記判定処理部は、赤色光、青色光、及び緑色光それぞれの色成分の比率に基づき前記判定を行う、請求項１３に記載の撮像装置。
  16. 　前記判定処理部は、前記赤外光成分及び前記色温度に関する情報を用いて前記判定を行う、請求項１４に記載の撮像装置。
  17. 　前記判定処理部は、前記色温度が所定の範囲であり、且つ前記赤外光成分が所定値未満である場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行わないと判定する、請求項１６に記載の撮像装置。
  18. 　撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像部と、
    　日の出時刻及び日の入り時刻に関する情報、前記撮像対象に光を照射する光源の位置情報、及びヘッドライトの照度に関する情報の少なくともいずれかに基づき、前記第１画素信号から前記赤外光成分を低減する色処理を行うか否かを判定する判定処理部と、
    　前記赤外光成分を低減する色処理を行うと判定された場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行う色処理部と、
    　を備える撮像装置。
  19. 　判定処理部は、
    　前記位置情報に基づきトンネル内であると判定した場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行なわないと判定し、
    　又は、
    　前記位置情報に基づきトンネル外であると判定し、且つ現在時刻が日の出時刻より後で、且つ日の入り時刻より前であれば、前記赤外光成分を低減する色処理を行うと判定し、　又は、
    　ヘッドライトの照度が所定の閾値以上である場合に、前記第１画素信号から前記赤外光成分を低減する色処理を行うと判定する、請求項１８に記載の撮像装置。
  20. 　撮像対象からの入射光を赤外光成分と可視光成分を含む第１画素信号に変換して出力する撮像工程と、
    　前記撮像対象に光を照射する光源が所定の光源である場合に、前記第１画素信号を用いて所定の処理を行い、前記光源が所定の光源でない場合に、前記第１画素信号から前記赤外光成分を低減した第２画素信号を用いて所定の処理を行う色処理工程と、
    　を備える、撮像方法。
PCT/JP2021/003340 2020-02-17 2021-01-29 撮像装置、および撮像方法 WO2021166601A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020024603A JP2021129275A (ja) 2020-02-17 2020-02-17 撮像装置、および撮像方法
JP2020-024603 2020-02-17

Publications (1)

Publication Number Publication Date
WO2021166601A1 true WO2021166601A1 (ja) 2021-08-26

Family

ID=77390949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003340 WO2021166601A1 (ja) 2020-02-17 2021-01-29 撮像装置、および撮像方法

Country Status (2)

Country Link
JP (1) JP2021129275A (ja)
WO (1) WO2021166601A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065360A (ja) * 2007-09-05 2009-03-26 Denso Corp 画像処理装置、車載用画像処理装置、車載用画像表示装置及び車両制御装置
JP2014049918A (ja) * 2012-08-31 2014-03-17 Clarion Co Ltd 車載撮像装置
WO2015015580A1 (ja) * 2013-07-31 2015-02-05 日立マクセル株式会社 撮像装置、撮像方法並びに車載撮像システム
WO2016136501A1 (ja) * 2015-02-26 2016-09-01 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2017005484A (ja) * 2015-06-10 2017-01-05 株式会社 日立産業制御ソリューションズ 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065360A (ja) * 2007-09-05 2009-03-26 Denso Corp 画像処理装置、車載用画像処理装置、車載用画像表示装置及び車両制御装置
JP2014049918A (ja) * 2012-08-31 2014-03-17 Clarion Co Ltd 車載撮像装置
WO2015015580A1 (ja) * 2013-07-31 2015-02-05 日立マクセル株式会社 撮像装置、撮像方法並びに車載撮像システム
WO2016136501A1 (ja) * 2015-02-26 2016-09-01 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2017005484A (ja) * 2015-06-10 2017-01-05 株式会社 日立産業制御ソリューションズ 撮像装置

Also Published As

Publication number Publication date
JP2021129275A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
AU2022203095B2 (en) Real-time HDR video for vehicle control
US10432847B2 (en) Signal processing apparatus and imaging apparatus
CN109076163B (zh) 成像控制装置、成像控制方法以及成像装置
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
WO2020230636A1 (ja) 画像認識装置および画像認識方法
WO2020230660A1 (ja) 画像認識装置、固体撮像装置、および画像認識方法
US20200112666A1 (en) Image processing device, imaging device, image processing method, and program
US20220201183A1 (en) Image recognition device and image recognition method
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
US20190208132A1 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
WO2017195459A1 (ja) 撮像装置、および撮像方法
CN110915204A (zh) 图像处理装置、图像处理方法、程序和成像装置
WO2020246186A1 (ja) 撮像システム
WO2021166601A1 (ja) 撮像装置、および撮像方法
JP5716944B2 (ja) 車載カメラ装置
WO2020230635A1 (ja) 撮像装置および撮像方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2018012317A1 (ja) 信号処理装置、撮影装置、及び、信号処理方法
WO2023181662A1 (ja) 測距装置および測距方法
US20240187741A1 (en) Real-time hdr video for vehicle control
WO2018135208A1 (ja) 撮像装置と撮像システム
JP2024000625A (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757571

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21757571

Country of ref document: EP

Kind code of ref document: A1