WO2021192459A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2021192459A1
WO2021192459A1 PCT/JP2020/047637 JP2020047637W WO2021192459A1 WO 2021192459 A1 WO2021192459 A1 WO 2021192459A1 JP 2020047637 W JP2020047637 W JP 2020047637W WO 2021192459 A1 WO2021192459 A1 WO 2021192459A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
unit
light
invisible light
Prior art date
Application number
PCT/JP2020/047637
Other languages
English (en)
French (fr)
Inventor
寿伸 杉山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2021192459A1 publication Critical patent/WO2021192459A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • This technology relates to an imaging device. More specifically, the present invention relates to an imaging device that removes flicker.
  • This technology was created in view of such a situation, and aims to improve robustness in an imaging device that performs image recognition.
  • the present technology has been made to solve the above-mentioned problems, and the first aspect thereof is to expose pixels in order over a plurality of exposure periods having the same length to sequentially expose a plurality of pixel signals.
  • This is an imaging device including a control unit for generating a flicker component and a flicker component extraction unit for extracting a flicker component that blinks at a cycle corresponding to the length from the plurality of pixel signals. This has the effect of improving the robustness of image recognition.
  • the floating diffusion layer may be shared between the pixel and the adjacent pixel adjacent to the pixel. This has the effect of reducing the circuit scale.
  • control unit may expose the adjacent pixels over an exposure period different from the plurality of exposure periods. This has the effect that exposure is performed in parallel on a plurality of pixels.
  • the pixels are arranged in each of the two adjacent lines, and the control unit performs one of the two lines over a specific exposure period among the plurality of exposure periods. It may be exposed and the other of the two lines may be exposed over an exposure period different from the specific exposure period among the plurality of exposure periods. This has the effect that exposures are performed in parallel on multiple lines.
  • the plurality of exposure periods include two pixel signals whose phases of the corresponding exposure periods are different by 180 degrees, and the flicker component extraction unit is based on the difference between the two pixel signals.
  • the flicker component may be extracted. This has the effect of removing the background light component.
  • control unit may sequentially expose the pixels over each of the four exposure periods having the same length to generate four pixel signals. This has the effect of improving the detection accuracy of the flicker component.
  • the remaining three phases may differ from any of the phases of the above four exposure periods by 90 degrees, 180 degrees, and 270 degrees, respectively. This has the effect of improving the detection accuracy of the flicker component.
  • control unit may further expose the pixels over an exposure period having a length different from that of the four exposure periods to generate a new pixel signal. This has the effect of generating a normal image.
  • an image synthesizing unit that generates a composite image by synthesizing a normal image in which the new image signals are arranged and the flicker component may be further provided. This has the effect of generating an image from which flicker has been removed.
  • a blinking subject recognition unit that performs image recognition on a blinking subject in which the flicker component is arranged may be further provided. This has the effect of detecting a blinking subject.
  • an image recognition unit that performs image recognition on the composite image may be further provided. This has the effect of detecting a predetermined subject.
  • control unit stops the flicker component extraction unit and the blinking subject recognition unit, and when a predetermined subject is detected by the image recognition, the flicker component extraction unit and the flicker component extraction unit and the blinking subject recognition unit are stopped.
  • the blinking subject recognition unit may be operated. This has the effect of reducing power consumption.
  • control unit stops the flicker component extraction unit and the blinking subject recognition unit, and when a predetermined subject is detected by the image recognition, the image composition unit and the image synthesis unit and the above.
  • the flicker component extraction unit and the blinking subject recognition unit may be operated while the image recognition unit is stopped. This has the effect of reducing power consumption.
  • the second aspect of the present technology is from the first and second light sources that irradiate invisible light, the first image obtained by photoelectrically converting the invisible light from the first light source, and the second light source.
  • This is an imaging device including a signal processing unit that calculates a difference from the second image obtained by photoelectrically converting the invisible light of the above. This has the effect of improving the image quality of the image.
  • a first invisible light pixel that photoelectrically converts the invisible light from the first light source and a second invisible light pixel that photoelectrically converts the invisible light from the second light source may be further provided. This has the effect of generating two infrared light images.
  • visible light pixels for photoelectric conversion of visible light may be further arranged in the pixel array unit. This has the effect of generating a color image.
  • a first invisible light blocking filter that blocks the invisible light from the first light source and a second invisible light blocking filter that blocks the invisible light from the second light source.
  • the first invisible light pixel receives the invisible light through the second invisible light blocking filter
  • the second invisible light pixel receives the invisible light through the second invisible light blocking filter
  • the second invisible light pixel is the first invisible light blocking filter.
  • the invisible light is received via the above, and the respective wavelengths of the invisible light from the first light source and the invisible light from the second light source may be different. This has the effect of improving the contrast of the image.
  • the first and second polarizing filters that transmit invisible light having different polarization directions and the first invisible light that transmits the polarization component of the invisible light from the first light source are transmitted.
  • a first wire grid filter leading to an optical pixel and a second wire grid filter that transmits a polarization component of the invisible light from the second light source and guides the invisible light pixel to the second invisible light pixel are further provided.
  • the invisible light from the first light source may be emitted through the first polarizing filter, and the invisible light from the second light source may be emitted through the second polarizing filter. This has the effect of improving the contrast of the image.
  • the solid-state image sensor that generates the first and second images is further provided, the first and second light sources are turned on at different timings, and the solid-state image sensor is The invisible light is photoelectrically converted to generate the first image during the period when the first light source is lit, and the invisible light is photoelectrically converted during the period when the second light source is lit to generate the first image.
  • An image may be generated. This has the effect of eliminating the need for an infrared blocking filter.
  • This is an example of an external view of an image pickup apparatus according to a second embodiment of the present technology.
  • It is a graph which shows an example of the characteristic of the dual bandpass filter in the 2nd Embodiment of this technique.
  • It is a top view which shows one structural example of the pixel array part in the 2nd Embodiment of this technique.
  • This is an example of a cross-sectional view of a solid-state image sensor according to a second embodiment of the present technology.
  • It is a graph which shows an example of the characteristic of the infrared light blocking filter in the 2nd Embodiment of this technique.
  • FIG. 1 is a block diagram showing a configuration example of the image pickup apparatus 100 according to the first embodiment of the present technology.
  • the image pickup device 100 is a device for capturing image data, and includes an image pickup lens 110, a solid-state image sensor 200, and a signal processing unit 300.
  • As the image pickup device 100 for example, in addition to a digital camera such as a digital still camera, a smartphone having an image pickup function, a personal computer, an in-vehicle camera, or the like is assumed.
  • the image pickup lens 110 collects the incident light and guides it to the solid-state image sensor 200.
  • the solid-state image sensor 200 captures image data.
  • the solid-state image sensor 200 receives a control signal from the signal processing unit 300 via the signal line 208, and images image data according to the control signal. Further, the solid-state image sensor 200 outputs the captured image data to the signal processing unit 300 via the signal line 209.
  • the signal processing unit 300 performs signal processing such as flicker removal and image recognition on the image data.
  • a DSP Digital Signal Processing
  • the signal processing unit 300 outputs the processed data as output data to the outside.
  • a mode signal MODE instructing the state of the image pickup apparatus 100 is input to the signal processing unit 300.
  • the signal processing unit 300 changes the content of the signal processing to be executed and the control method of the solid-state image sensor 200 according to the mode signal MODE.
  • the image pickup apparatus 100 may be further provided with a recording unit for recording image data and a communication unit for communicating with the outside.
  • FIG. 2 is a block diagram showing a configuration example of the solid-state image sensor 200 according to the first embodiment of the present technology.
  • the solid-state image sensor 200 includes a V decoder 211, a pixel array unit 212, a timing control circuit 213, a column signal processing circuit 214, and an H decoder 215.
  • a plurality of pixels 220 are arranged in a two-dimensional grid pattern in the pixel array unit 212.
  • the set of pixels 220 arranged in a predetermined horizontal direction is referred to as a "row” or “line”, and the set of pixels 220 arranged in a direction perpendicular to the row is referred to as a "column”.
  • the V decoder 211 decodes the signal from the timing control circuit 213 and drives the lines (that is, the lines) in order.
  • Pixel 220 generates an analog pixel signal by photoelectric conversion.
  • the pixel 220 supplies the generated pixel signal to the column signal processing circuit 214.
  • the column signal processing circuit 214 performs signal processing such as AD (Analog to Digital) conversion processing and CDS (Correlated Double Sampling) processing on the pixel signal for each column.
  • the column signal processing circuit 214 sequentially supplies each of the line data in the processed image data to the signal processing unit 300 under the control of the H decoder 215.
  • the line data includes the digital pixel signals of each of the pixels in the line.
  • the H decoder 215 decodes the signal from the timing control circuit 213 and drives the column signal processing circuit 214.
  • the timing control circuit 213 controls the operation timings of the V decoder 211, the column signal processing circuit 214, and the H decoder 215 according to the control signal from the signal processing unit 300.
  • control signal from the signal processing unit 300 includes a vertical synchronization signal indicating the imaging timing and a signal indicating the start and end timing of the exposure.
  • the signal processing unit 300 can control the timing of the exposure start and the exposure end of the pixel 220 by the control signal.
  • FIG. 3 is a circuit diagram showing a configuration example of the pixel 220 according to the first embodiment of the present technology.
  • the pixel 220 includes a photoelectric conversion element 221, a transfer transistor 222, a floating diffusion layer 223, a reset transistor 224, an amplification transistor 225, and a selection transistor 226.
  • the reset signal RST_n, the transfer signal TRT_n, and the selection signal SEL_n from the V decoder 211 are supplied to the n (n is an integer) th line.
  • the photoelectric conversion element 221 generates an electric charge by photoelectric conversion.
  • the transfer transistor 222 transfers an electric charge from the photoelectric conversion element 221 to the floating diffusion layer 223 according to the transfer signal TRT_n.
  • the floating diffusion layer 223 accumulates electric charges and generates a voltage according to the amount of electric charges.
  • the reset transistor 224 initializes the charge amount of the floating diffusion layer 223 according to the reset signal RST_n.
  • the amplification transistor 225 amplifies the voltage of the floating diffusion layer 223.
  • the selection transistor 226 supplies a signal of the amplified voltage as a pixel signal to the column signal processing circuit 214 according to the selection signal SEL_n.
  • the circuit configuration of the pixel 220 is not limited to that illustrated in the figure.
  • an OFG transistor that discharges electric charge from the photoelectric conversion element 221 can be added.
  • FIG. 4 is a block diagram showing a configuration example of the signal processing unit 300 according to the first embodiment of the present technology.
  • the signal processing unit 300 includes a line buffer 310, a flicker component extraction unit 311, a camera control unit 312, an image composition unit 313, an image processing unit 314, an image recognition unit 315, and a blinking subject recognition unit 316.
  • the camera control unit 312 controls each of the solid-state image sensor 200 and the circuits in the signal processing unit 300.
  • the camera control unit 312 causes the solid-state image sensor 200 to image image data using a control signal.
  • five exposure periods are set within the period of the vertical synchronization signal.
  • Four of the five exposure periods are the same length and the remaining one is arbitrary.
  • the camera control unit 312 exposes each of the pixels 220 in order over the five exposure periods, and generates five pixel signals for each pixel.
  • the pixel signal corresponding to the first exposure period is I 1 and the pixel signal corresponding to the second exposure period is I 2 . Also, among those four exposure periods, a pixel signal corresponding to the third exposure period and I 3, the pixel signals corresponding to the fourth exposure period and I 4. The fifth pixel signal corresponding to the exposure period and I 5.
  • Pixel signals I 1 , I 2 , I 3 and I 4 are used to extract the signal component of a blinking flashing light source as a flicker component.
  • the remaining pixel signal I 5 is used to generate an image to be output.
  • the line buffer 310 holds a predetermined number of line data from the solid-state image sensor 200. Assuming that the number of pixels in the line is M (M is an integer), each line data includes M ⁇ 5 pixel signals.
  • the flicker component extraction unit 311 extracts a signal component from a blinking light source as a flicker component from a pixel signal for each pixel.
  • the pixel signal includes a flicker component and a signal component other than the flicker component.
  • the length of each of the four exposure periods described above is set to a value corresponding to the blinking cycle of the flicker component to be extracted (for example, a half cycle of the blinking cycle).
  • the flicker component extraction unit 311 reads the pixel signals I 1 , I 2 , I 3 , and I 4 from the line buffer 310 for each pixel, and extracts the flicker component I 0 by an operation on them. The calculation method will be described later.
  • the flicker component extraction unit 311 supplies the extracted flicker component I 0 to the image synthesis unit 313 and the blinking subject recognition unit 316.
  • the image synthesizing unit 313 uses an image in which the pixel signals I 5 are arranged as a normal image, and synthesizes a flicker component I 0 with the image. For example, the pixel signal I 5 and the flicker component I 0 are combined for each pixel at the same composition ratio.
  • the image synthesizing unit 313 determines whether or not to synthesize the pixel signal I 5 and the flicker component I 0 at a synthesizing ratio according to the respective signal strengths, and whether or not to perform the flicker component I 0 based on the signal strength. You can also. This compositing process removes flicker in the image.
  • the image composition unit 313 supplies a composite image in which the combined signals are arranged to the image processing unit 314.
  • the image synthesizing unit 313 generates a composite image from the pixel signal I 5 and the flicker component I 0, but the composition is not limited to this.
  • the image synthesizing unit 313 further reads the pixel signals I 1 , I 2 , I 3 , and I 4 from the line buffer 310, and sets an image in which their statistics (additional value and average value) are arranged as a normal image.
  • the normal image and the flicker component I 0 can also be combined. In this case, the generation of the pixel signal I 5 becomes unnecessary.
  • the image synthesizing unit 313 uses an image in which the statistics of the pixel signals I 1 , I 2 , I 3 and I 4 and the composite value of the pixel signal I 5 are arranged as a normal image, and the normal image and the flicker component I It is also possible to synthesize with 0.
  • the image processing unit 314 performs various image processing such as white balance correction processing and demosaic processing on the composite image.
  • the image processing unit 314 supplies the processed composite image to the image recognition unit 315.
  • the image recognition unit 315 performs image recognition processing on the composite image.
  • the image recognition unit 315 recognizes a predetermined subject such as a traffic light or a tail lamp by image recognition, and analyzes the state of the subject (color of the traffic light, etc.). Then, the image recognition unit 315 supplies the recognition result R1 to the blinking subject recognition unit 316 and the camera control unit 312. Further, the image recognition unit 315 outputs the output image to the outside.
  • the blinking subject recognition unit 316 performs image recognition processing on the subject of the blinking light source in which the flicker component I 0 is arranged.
  • the blinking subject recognition unit 316 recognizes a predetermined subject such as a traffic light or a tail lamp by image recognition, and supplies the recognition result R2 to the image recognition unit 315. Further, the blinking subject recognition unit 316 outputs the recognition result to the outside as needed.
  • the camera control unit 312 generates an enable signal according to the mode signal MODE, and operates each of the flicker component extraction unit 311, the image composition unit 313, the image processing unit 314, the image recognition unit 315, and the blinking subject recognition unit 316.
  • an enable signal For example, four enable signals EN_A, EN_B, EN_C and EN_D are generated.
  • the enable signal EN_A is supplied to the image synthesis unit 313 and the image processing unit 314, and the enable signal EN_B is supplied to the image recognition unit 315.
  • the enable signal EN_C is supplied to the flicker component extraction unit 311, and the enable signal EN_D is supplied to the blinking subject recognition unit 316.
  • FIG. 5 is a diagram for explaining mode control in the first embodiment of the present technology. It is assumed that one of modes 1 to 5 is set by the mode signal MODE, for example.
  • the enable signals EN_A and EN_C are set to the on state, and the enable signals EN_B and EN_D are set to the off state.
  • the operations of the flicker component extraction unit 311, the image composition unit 313, and the image processing unit 314 are enabled, and the composite image from which the flicker has been removed is generated.
  • the image recognition unit 315 and the blinking subject recognition unit 316 are disabled. At this time, the image recognition unit 315 does not perform image recognition, and outputs the composite image from the image processing unit 314 as an output image through.
  • the signal processing unit 300 outputs only the output image from which the flicker has been removed.
  • the enable signals EN_A and EN_B are set to the off state, and the enable signals EN_C and EN_D are set to the on state.
  • the image composition unit 313, the image processing unit 314, and the image recognition unit 315 are disabled, and the flicker component extraction unit 311 and the blinking subject recognition unit 316 are enabled.
  • the blinking subject recognition unit 316 outputs the recognition result of the blinking blinking subject.
  • the signal processing unit 300 outputs only the recognition result of the blinking subject.
  • the image recognition unit 315 and the blinking subject recognition unit 316 mutually utilize the recognition results of each other.
  • the image recognition unit 315 uses the recognition result R2 of the blinking subject to recognize only the periphery of the blinking subject in the composite image to improve the processing speed.
  • the image recognition unit 315 and the blinking subject recognition unit 316 can improve the processing speed and reliability by recognizing the subject by using both the recognition results R1 and R2.
  • the blinking subject recognition unit 316 recognizes the presence of the traffic light, while the image recognition unit 315 recognizes the color of the traffic light. It can be used for recognizing the position.
  • the signal processing unit 300 outputs the output image from which the flicker is removed and the recognition result of the blinking subject.
  • the enable signals EN_A and EN_B are first set to the on state, and the enable signals EN_C and EN_D are set to the off state.
  • the image composition unit 313, the image processing unit 314, and the image recognition unit 315 are enabled, and the flicker component extraction unit 311 and the blinking subject recognition unit 316 are disabled.
  • the image synthesizing unit 313 supplies the normal image to the image processing unit 314 without synthesizing.
  • the image recognition unit 315 performs image recognition processing on the normal image from which the flicker has not been removed.
  • the camera control unit 312 sets the enable signals EN_C and EN_D to the ON state. ..
  • the flicker component extraction unit 311 and the blinking subject recognition unit 316 are enabled.
  • the signal processing unit 300 outputs the output image from which the flicker is removed and the recognition result of the blinking subject.
  • the enable signals EN_A and EN_B are first set to the on state, and the enable signals EN_C and EN_D are set to the off state as in the mode 4.
  • the camera control unit 312 sets the enable signals EN_A and EN_B to the off state and turns the enable signals EN_C and EN_D on. Set to.
  • the image composition unit 313, the image processing unit 314, and the image recognition unit 315 are disabled, and the flicker component extraction unit 311 and the blinking subject recognition unit 316 are enabled.
  • the camera control unit 312 controls the solid-state image sensor 200 by the control signal to image a part of the region including the detected subject as an ROI (Region of Interest).
  • the blinking subject recognition unit 316 performs image recognition processing on the ROI and outputs the recognition result.
  • controls of modes 1 to 5 illustrated in the figure are examples, and the camera control unit 312 can also perform controls other than these.
  • FIG. 6 is a timing chart showing an example of the imaging operation according to the first embodiment of the present technology.
  • the frequency at which the blinking light source blinks is set to, for example, 100 hertz (Hz).
  • the blinking cycle is 10 milliseconds (ms).
  • the clock signal CLK illustrated in the figure corresponds to a clock signal that drives a blinking light source.
  • the camera control unit 312 supplies the vertical synchronization signal VSYNC to the solid-state image sensor 200.
  • the frequency of this vertical synchronization signal VSYNC is set to, for example, 30 hertz (Hz).
  • the period of the vertical synchronization signal VSYNC is 1/30 second (s). 1/30 second (s) is about 33 milliseconds (ms).
  • the solid-state image sensor 200 exposes the lines in order over the period of the exposure periods EXP1 to EXP5.
  • the length of each exposure period of the exposure periods EXP1 to EXP4 is set to 5 milliseconds, which is a half cycle of the blinking cycle.
  • the phase difference between the start timing of the exposure period EXP1 and the start timing of the exposure period EXP2 is set to 180 degrees with 100 hertz (Hz) as one cycle.
  • the phase difference between the start timing of the exposure period EXP1 and the start timing of the exposure period EXP3 is set to 90 degrees.
  • the phase difference between the start timing of the exposure period EXP1 and the start timing of the exposure period EXP4 is set to 270 degrees.
  • the period from the timing T1 to the timing T11 5 milliseconds later is set as the exposure period EXP1 of the first line.
  • the period from the timing T11 to the timing T12 5 milliseconds later is set as the exposure period EXP2 of the first line.
  • the next exposure period EXP3 is started at the timing T13 2.5 milliseconds after the timing T12.
  • the period from the timing T13 to the timing T14 5 milliseconds later is set as the exposure period EXP3 of the first line.
  • the period from the timing T14 to the timing T15 5 milliseconds later is set as the exposure period EXP4 of the first line.
  • the exposure period EXP5 is started for the first line at the timing T16, for example, 2.5 milliseconds after the timing T15.
  • the exposure period EXP5 of the first line ends. Since the exposure periods EXP1 to EXP4 are all 5 milliseconds, the remaining 13 milliseconds of the 33 milliseconds can be allocated to the exposure period EXP5.
  • the exposure periods EXP1 to EXP5 of the n (n is an integer of 1 to N) lines are defined as EXP1 n to EXP5 n .
  • the exposure of the n + 1th line is started after the exposure of the nth line.
  • the timing T21 to T23 is set as the exposure period EXP1 n of n-th line
  • from the timing T23 to T25 is set as the exposure period EXP2 n of n-th line.
  • Timings T26 to T28 are set as the nth line exposure period EXP3 n
  • timings T28 to T30 are set as the nth line exposure period EXP4 n .
  • from the timing T31 to T32 is set as the exposure period Exp5 n of n-th line.
  • a control method in which exposure is sequentially performed in line units is generally called a rolling shutter method.
  • the exposure period EXP5 is not limited to 13 milliseconds, and can be set to any time by adjusting the start and end timings, and can be set to less than 13 milliseconds. For example, in the figure, the exposure period EXP5 is set to 8 milliseconds.
  • the solid-state image sensor 200 is exposed by the rolling shutter method, it is also possible to use the global shutter method in which exposure is started and ended at the same time on all lines.
  • FIG. 7 is a timing chart showing an example of exposure control according to the first embodiment of the present technology.
  • the phase difference between the rising edge of the clock signal CLK of the blinking light source and the start timing T21 of the exposure period EXP1n on the nth line is set to ⁇ milliseconds.
  • the n-th line pixel receives the light from the blinking light source over the period from the timing T27 to the timing T28 after ⁇ millisecond of the timing T26.
  • the n-th line pixel receives the light from the blinking light source for a period from the timing T28 to the timing T29 after ⁇ millisecond.
  • the shaded area indicates the period during which the light from the blinking light source is received.
  • the nth line pixel may receive light from a blinking light source of 100 Hz (Hz), light from a blinking light source having a frequency other than 100 Hz (Hz), or light from a natural light source that does not blink. ..
  • Exposure period EXP m (m is an integer of 1 to 4) in the pixel signal I m corresponding to the corresponding signal component to the flashing light source 100 hertz (Hz) and L m, corresponding to the other of the background light
  • Bg be the signal component. It is assumed that the signal component Bg is uniform within each exposure period.
  • phase difference ⁇ arctan ⁇ (I 3- I 4 ) / (I 1- I 2 ) ⁇
  • arctan () represents the inverse function of the tangent function.
  • Equation 3 the signal component Bg of the background light is canceled by the differential calculation, and only the flicker component of the assumed blinking light source of 100 Hz (Hz) is extracted. For pixels that do not receive light from the blinking light source, the calculation result of Equation 3 is "0".
  • the robustness and processing speed of image recognition may decrease due to the influence of background light other than the blinking light source to be recognized.
  • the influence of the background light can be suppressed by canceling the signal component Bg of the background light, and the robustness of image recognition and the processing speed can be improved.
  • the exposure period of the image is fixed to the blinking cycle and cannot be shorter than that, there is a possibility that moving object blurring may occur when imaging a subject moving at high speed.
  • the exposure period EXP5 of the normal image does not need to be fixed to the blinking cycle (10 milliseconds or the like), and can be shorter than the blinking cycle. Thereby, the moving body bra can be suppressed.
  • the blinking cycle of the extraction target is set to 100 hertz (Hz)
  • a flicker component having a blinking cycle other than 100 hertz (Hz) can also be extracted.
  • the blinking cycle of the flicker component to be extracted is P hertz (Hz)
  • the length of each of the exposure periods EXP1 to EXP4 may be set to 1 / (2P) seconds.
  • the exposure period of four phases is used for extracting the signal component of the blinking light source, a plurality of phases other than the four phases (two phases, five or more phases, etc.) can also be used.
  • FIG. 8 is a timing chart showing an example of the reading operation according to the first embodiment of the present technology.
  • the column signal processing circuit 214 in the solid-state image sensor 200 sequentially reads out the corresponding pixel signals at the end of each of the five exposure periods in synchronization with the horizontal synchronization signal.
  • the column signal processing circuit 214 first reads out the pixel signal of the exposure period EXP5 on the Ath row. Subsequently, the column signal processing circuit 214 includes a pixel signal of the exposure period EXP1 on the Bth row, a pixel signal of the exposure period EXP2 on the Cth row, a pixel signal of the exposure period EXP3 on the Dth row, and the Eth row. The pixel signals of the exposure period EXP4 are read out in order. Subsequently, the column signal processing circuit 214 reads out the pixel signal of the exposure period EXP5 on the A + 1th line in the period after T42.
  • the column signal processing circuit 214 includes a pixel signal of the exposure period EXP1 on the B + 1 line, a pixel signal of the exposure period EXP2 on the C + 1 line, a pixel signal of the exposure period EXP3 on the D + 1 line, and the E + 1 line.
  • the pixel signals of the exposure period EXP4 are read out in order.
  • FIG. 9 is a timing chart showing an example of transistor control at the time of reading according to the first embodiment of the present technology. It is assumed that the column signal processing circuit 214 reads the nth line at the timings T51 to T53, and reads the n + 1th line at the timings T53 to T55.
  • the V decoder 211 supplies a high-level selection signal SEL_n to the nth line over the timings T51 to T53. Further, the V decoder 211 supplies a high-level reset signal RST_n to the nth line from the timing T51 over a predetermined pulse period. Then, within the period of timings T51 to T52, the P phase, which is the signal level at the time of initialization of the floating diffusion layer 223, is read out. Subsequently, the V decoder 211 supplies the high-level transfer signal TRT_n to the nth line from the timing T52 for a predetermined pulse period. Then, within the period of timings T52 to T53, the D phase, which is the signal level at the time of transferring the signal charge, is read out.
  • the V decoder 211 supplies a high-level selection signal SEL_n + 1 to the n + 1th line over the timings T53 to T55. Further, the V decoder 211 supplies a high-level reset signal RST_n + 1 to the n + 1th line from the timing T53 over a predetermined pulse period. Subsequently, the V decoder 211 supplies the high-level transfer signal TRT_n + 1 to the n + 1th line from the timing T54 over a predetermined pulse period.
  • the n + 2nd and subsequent lines are read out in order.
  • FIG. 10 is a flowchart showing an example of the operation of mode 1 in the first embodiment of the present technology. This operation is started, for example, when mode 1 is set.
  • the signal processing unit 300 sets the enable signals EN_A and EN_C to the on state, and sets the enable signals EN_B and EN_D to the off state (step S901). Further, the solid-state image sensor 200 reads out a 5-phase pixel signal (step S902). Then, the signal processing unit 300 generates and outputs an image from which flicker has been removed (step S903). After step S903, the imaging device 100 ends the mode 1 operation.
  • FIG. 11 is a flowchart showing an example of the operation of mode 2 in the first embodiment of the present technology. This operation is started, for example, when mode 2 is set.
  • the signal processing unit 300 sets the enable signals EN_C and EN_D to the on state, and sets the enable signals EN_A and EN_B to the off state (step S911). Further, the solid-state image sensor 200 reads out the four-phase pixel signals of the exposure periods EXP1 to EXP4 (step S912). Then, the signal processing unit 300 recognizes the image of the blinking subject and outputs the recognition result (step S913). After step S913, the image pickup apparatus 100 ends the mode 2 operation.
  • FIG. 12 is a flowchart showing an example of the operation of the mode 3 in the first embodiment of the present technology. This operation is started, for example, when mode 3 is set.
  • the signal processing unit 300 sets the enable signals EN_A, EN_B, EN_C, and EN_D to the ON state (step S921). Further, the solid-state image sensor 200 reads out a 5-phase pixel signal (step S922). Then, the signal processing unit 300 generates and outputs an image from which flicker has been removed (step S923), recognizes the image of the blinking subject, and outputs the recognition result (step S924). After step S924, the imaging device 100 ends the mode 3 operation.
  • FIG. 13 is a flowchart showing an example of the operation of the mode 4 in the first embodiment of the present technology. This operation is started, for example, when mode 4 is set.
  • the signal processing unit 300 sets the enable signals EN_A and EN_B to the on state, and sets the enable signals EN_C and EN_D to the off state (step S931). Further, the solid-state image sensor 200 reads out only the one-phase pixel signal of the exposure period EXP5 (step S932). Then, the signal processing unit 300 performs image recognition on the normal image and determines whether or not a predetermined subject (traffic light or the like) has been detected (step S933).
  • a predetermined subject traffic light or the like
  • the signal processing unit 300 sets the enable signals EN_A, EN_B, EN_C and EN_D to the ON state (step S934). Further, the solid-state image sensor 200 reads out a 5-phase pixel signal (step S935). The signal processing unit 300 determines whether or not a predetermined blinking subject has been detected (step S936).
  • step S933: No When the predetermined subject is not detected (step S933: No) or the blinking subject is not detected (step S936: No), the image pickup apparatus 100 repeats step S931 and subsequent steps.
  • step S936 When a blinking subject is detected (step S936: Yes), the signal processing unit 300 generates and outputs an image from which flicker has been removed (step S937), recognizes the image of the blinking subject, and outputs the recognition result. (Step S938). After step S938, the imaging device 100 ends the mode 4 operation.
  • FIG. 14 is a flowchart showing an example of the operation of the mode 5 in the first embodiment of the present technology. This operation is started, for example, when mode 5 is set.
  • the signal processing unit 300 sets the enable signals EN_A and EN_B to the on state, and sets the enable signals EN_C and EN_D to the off state (step S941). Further, the solid-state image sensor 200 reads out only the one-phase pixel signal of the exposure period EXP5 (step S942). Then, the signal processing unit 300 performs image recognition on the normal image and determines whether or not a predetermined subject (traffic light or the like) has been detected (step S943).
  • a predetermined subject traffic light or the like
  • the signal processing unit 300 sets the enable signals EN_A and EN_B to the off state and sets the enable signals EN_C and EN_D to the on state (step S944). ). Further, the solid-state image sensor 200 reads out a four-phase pixel signal for the ROI (step S945). The signal processing unit 300 determines whether or not a predetermined blinking subject has been detected (step S946).
  • step S943: No When the predetermined subject is not detected (step S943: No) or the blinking subject is not detected (step S946: No), the image pickup apparatus 100 repeats step S941 and subsequent steps.
  • step S946 When a blinking subject is detected (step S946: Yes), the signal processing unit 300 recognizes the image of the blinking subject and outputs the recognition result (step S947). After step S947, the imaging device 100 ends the mode 5 operation.
  • the camera control unit 312 exposes the pixels in order over each of the four exposure periods, and the flicker blinks at a cycle corresponding to the length of the exposure periods.
  • the component is extracted by the flicker component extraction unit 311. Therefore, the image recognition unit 315 can perform image recognition based only on the flicker component. Thereby, the robustness can be improved as compared with the case where the image recognition is performed based on the pixel signal including the disturbance other than the flicker component.
  • the floating diffusion layer 223 is arranged for each pixel, but as the number of pixels increases, the circuit scale of the pixel array unit 212 increases.
  • the first modification of this first embodiment is different from the first embodiment in that the floating diffusion layer 223 is shared by a plurality of pixels.
  • FIG. 15 is a block diagram showing a configuration example of the FD shared block 230 in the first modification of the first embodiment of the present technology.
  • a plurality of FD shared blocks 230 are arranged in the pixel array unit 212.
  • the FD shared block 230 includes a photoelectric conversion element 221, a transfer transistor 222, a floating diffusion layer 223, a reset transistor 224, an amplification transistor 225, and a selection transistor 226. Further, a photoelectric conversion element 227 and a transfer transistor 228 are further arranged in the FD shared block 230. The sensitivity of the photoelectric conversion element 227 is the same as that of the photoelectric conversion element 221.
  • connection configuration of the photoelectric conversion element 221 and the transfer transistor 222, the floating diffusion layer 223, the reset transistor 224, the amplification transistor 225, and the selection transistor 226 is the same as that of the first embodiment.
  • the transfer transistor 222 transfers an electric charge from the photoelectric conversion element 221 to the floating diffusion layer 223 according to the transfer signal TRTa_n. Further, the transfer transistor 228 transfers the electric charge from the photoelectric conversion element 227 to the floating diffusion layer 223 according to the transfer signal TRTb_n.
  • the floating diffusion layer 223 is shared by two pixels.
  • the photoelectric conversion element 221, the transfer transistor 222, the floating diffusion layer 223, the reset transistor 224, the amplification transistor 225, and the selection transistor 226 function as one of the two pixels.
  • the photoelectric conversion element 227, the transfer transistor 228, the floating diffusion layer 223, the reset transistor 224, the amplification transistor 225 and the selection transistor 226 function as the other of the two pixels.
  • One of the two pixels in the FD shared block 230 is an example of the adjacent pixels described in the claims.
  • the number of elements per pixel can be reduced and the circuit scale of the pixel array unit 212 can be reduced as compared with the first embodiment in which the two pixels do not share. Further, different exposure periods can be set for each pixel by the two transfer transistors 222 and 228.
  • the number of pixels sharing the floating diffusion layer 223 is 2, it is also possible to share the floating diffusion layer 223 with 3 or more pixels.
  • FIG. 16 is a timing chart showing an example of the imaging operation in the first modification of the first embodiment of the present technology.
  • each of the lines L1 to LN represents the line of the FD shared block 230, unlike the first embodiment.
  • two pixels sharing the floating diffusion layer 223 are arranged in the FD sharing block 230.
  • the exposure periods EXP1, EXP2 and EXP5 are set on one of the two pixels, and the exposure periods EXP3, EXP4 and EXP6 are set on the other.
  • the exposure period EXP6 is shorter than the exposure period EXP5 and is usually used for image generation. Further, the exposure period EXP3 is started within the exposure period EXP1, and the exposure period EXP4 is started within the exposure period EXP2.
  • the exposure period EXP1 n is set from the timing T61 to the timing T63 10 milliseconds (ms) later. From T62 after 5 milliseconds (ms) of the timing T61, until the timing T64 after the 10 milliseconds (ms) is set in the exposure period EXP3 n. From the timing T63, until the timing T65 after 10 milliseconds (ms) is set in the exposure period EXP2 n. From the timing T64, until the timing T66 after the 10 milliseconds (ms) is set in the exposure period exp4 n.
  • the exposure period EXP5 n is set from the timing T66 to the timing T68 about 20.5 milliseconds (ms) later.
  • the exposure period EXP6 n is set from the timing T67 2.5 milliseconds (ms) after the timing T66 to the timing T68 about 18 milliseconds (ms) later.
  • the two pixels sharing the floating diffusion layer 223 perform the exposures of the exposure periods EXP1 to EXP4 in parallel, thereby comparing with the first embodiment in which the exposures are performed by one pixel. Therefore, the exposure period EXP5 of the normal image can be lengthened.
  • a signal obtained by adding the pixel signal I 5 of the exposure period EXP 5 and the pixel signal I 6 of the exposure period EXP 6 is read out.
  • the column signal processing circuit 214 can also read out only one of the pixel signal I 5 and the pixel signal I 6 at the timing T68.
  • the column signal processing circuit 214 can read both the pixel signal I 5 and the pixel signal I 6 at different timings.
  • the dynamic range can be expanded by the signal processing unit 300 synthesizing them in HDR (High-Dynamic-Range). Further, the method of reading the pixel signals I 5 and I 6 can be changed according to the scene.
  • the sensitivities of the photoelectric conversion elements 221 and 227 are the same, their sensitivities may be different.
  • the pixel signals I 1 to I 4 for extracting the flicker component are corrected according to the sensitivity difference, and then the equation 2 is executed.
  • FIG. 17 is a timing chart showing an example of transistor control at the time of reading in the first modification of the first embodiment of the present technology.
  • the column signal processing circuit 214 reads the nth line at the timings T71 to T73 and the timings T75 to T77, and reads the n + 1th line at the timings T73 to T75 and the timing T77 and thereafter in parallel.
  • the V decoder 211 supplies a high-level selection signal SEL_n to the nth line over the timings T71 to T73. Further, the V decoder 211 supplies a high-level reset signal RST_n to the nth line from the timing T71 over a predetermined pulse period. Subsequently, the V decoder 211 supplies a high-level transfer signal TRTa_n to the nth line from the timing T72 over a predetermined pulse period.
  • the V decoder 211 supplies a high-level selection signal SEL_n + 1 to the n + 1th line from the timing T73 for a certain period of time. Further, the V decoder 211 supplies a high-level reset signal RST_n + 1 to the n + 1th line from the timing T73 over a predetermined pulse period. Subsequently, the V decoder 211 supplies the high-level transfer signal TRTa_n + 1 to the n + 1th line from the timing T74 over a predetermined pulse period.
  • the V decoder 211 supplies the high-level selection signal SEL_n to the nth line over the timings T75 to T77. Further, the V decoder 211 supplies a high-level reset signal RST_n to the nth line from the timing T75 over a predetermined pulse period. Subsequently, the V decoder 211 supplies a high-level transfer signal TRTb_n to the nth line from the timing T76 over a predetermined pulse period.
  • the V decoder 211 supplies a high-level selection signal SEL_n + 1 to the n + 1th line from the timing T77 for a certain period of time. Further, the V decoder 211 supplies a high-level reset signal RST_n + 1 to the n + 1th line from the timing T77 over a predetermined pulse period. Subsequently, the V decoder 211 supplies the high-level transfer signal TRTb_n + 1 to the n + 1th line from the timing T78 over a predetermined pulse period.
  • the pixels are compared with the first embodiment in which the floating diffusion layer 223 is not shared.
  • the number of hit elements can be reduced.
  • the two pixels sharing the floating diffusion layer 223 perform the exposures of the exposure periods EXP1 to EXP4 in parallel, so that the exposure of the normal image is compared with the first embodiment in which the exposure is performed by one pixel.
  • the exposure period EXP5 can be lengthened.
  • the exposure is performed in the exposure periods EXP1 to EXP4 for each row, but in this configuration, the exposure cannot be performed in parallel for those exposure periods.
  • the image pickup apparatus 100 of the second modification of the first embodiment is different from the first embodiment in that the even-numbered rows and the odd-numbered rows are exposed in parallel.
  • FIG. 18 is a timing chart showing an example of the imaging operation in the second modification of the first embodiment of the present technology.
  • the exposure periods EXP1, EXP2, and EXP5 are set for odd-numbered rows (Ln, etc.), and the exposure periods EXP3, EXP4, and EXP6 are set for even-numbered rows (Ln + 1, etc.).
  • the exposure period EXP1 n is set from the timing T61 to the timing T63 10 milliseconds (ms) later. From T62 after 5 milliseconds (ms) of the timing T61, until the timing T64 after the 10 milliseconds (ms) is set in the exposure period EXP2 n. Further, in the n + 1th line, the exposure period EXP3 n + 1 is set from the timing T63 to the timing T65 after 10 milliseconds (ms). The exposure period EXP4 n + 1 is set from the timing T64 to the timing T66 10 milliseconds (ms) later.
  • the exposure period EXP5 n is set from the timing T66 to the timing T68 about 20.5 milliseconds (ms) later.
  • the exposure period EXP6 n + 1 is set from the timing T67 2.5 milliseconds (ms) after the timing T66 to the timing T68 about 18 milliseconds (ms) later.
  • the two adjacent lines perform the exposures of the exposure periods EXP1 to EXP4 in parallel, so that the exposure is performed in one line, as compared with the first embodiment, which is a normal image.
  • the exposure period EXP5 can be lengthened.
  • the respective lengths of the exposure periods EXP1 to EXP4 are set to half the blinking cycle, but the present invention is not limited to this configuration.
  • the exposure periods EXP1 to EXP4 can be made shorter than the half cycle of the blinking cycle. In this case, the error in the calculation for extracting the flicker component becomes large, but the saturation signal level can be increased.
  • the extraction of the flicker component and the imaging of the normal image are performed using the same pixels, but the configuration is not limited to this.
  • the pixels on the pixel array unit 212 can be divided into normal pixels, which are pixels for normal images, and extraction pixels, which are pixels for extracting flicker components.
  • two extraction pixels sharing the floating diffusion layer 223 are arranged for each normal pixel in order to extract the flicker component.
  • odd-numbered lines and even-numbered lines in which the extracted pixels are arranged are provided for each line of the normal pixels.
  • the signal processing unit 300 extracts the flicker component for each pixel or every two pixels, but the configuration is limited to this configuration. Not done.
  • the signal processing unit 300 can also extract the flicker component based on the pixel signal of the pixel of interest and the pixel signal of a nearby pixel in the vicinity of the pixel of interest. ..
  • the signal processing unit 300 has extracted the flicker component from one image data (that is, a frame). Not limited.
  • the signal processing unit 300 can also extract a flicker component from a plurality of consecutive frames in order to improve reliability.
  • the blinking frequency of the detection target can be switched for each frame. More specifically, when recognizing a traffic light, an odd-numbered frame of 100 hertz (Hz) is targeted for recognition, and an odd-numbered frame of 120 hertz (Hz) is targeted for recognition. Then, when at least one of the recognition results of each frame is recognized as a traffic light, the signal processing unit 300 outputs the recognition result as the final result.
  • Hz hertz
  • Hz hertz
  • the signal processing unit 300 sets the blinking frequency of the traffic infrastructure (traffic light, road indicator, etc.) as a subject unique to each. It can also be assigned to each (for example, by color of traffic light). As a result, the signal processing unit 300 can also recognize the subject and the state of the blinking light source.
  • the traffic infrastructure traffic light, road indicator, etc.
  • the two adjacent lines perform the exposures of the exposure periods EXP1 to EXP4 in parallel, so that the exposures are performed in one line.
  • the exposure period EXP5 of the normal image can be lengthened as compared with the case where the exposure period is performed.
  • Second Embodiment> In the above-described first embodiment, shooting at night is not assumed, but the image pickup apparatus can also irradiate infrared light and generate an infrared image from the reflected light.
  • the image pickup apparatus of the second embodiment is different from the first embodiment in that it irradiates two infrared lights having different wavelengths and generates an infrared image from the reflected light.
  • FIG. 19 is a block diagram showing a configuration example of the image pickup apparatus 101 according to the second embodiment of the present technology.
  • the image pickup apparatus 101 of the second embodiment is different from the first embodiment in that the infrared light sources 121 and 122, the drivers 131 and 132, and the dual bandpass filter 140 are further provided.
  • the infrared light sources 121 and 122 irradiate infrared light having different wavelengths from each other.
  • these infrared light sources 121 and 122 for example, LEDs (light emission diodes) are used.
  • the infrared light source 121 irradiates, for example, 940 nanometers (nm) of infrared light
  • the infrared light source 121 irradiates, for example, 850 nanometers (nm) of infrared light.
  • the drivers 131 and 132 drive the infrared light sources 121 and 122 according to the control signal from the signal processing unit 300.
  • the control signal from the signal processing unit 300 includes, for example, an intensity of infrared light and a signal instructing on / off.
  • the dual bandpass filter 140 is arranged between the image pickup lens 110 and the solid-state image sensor 200.
  • the dual bandpass filter 140 transmits a visible light band and an infrared light band.
  • the band of infrared light includes wavelengths of infrared light from each of the infrared light sources 121 and 122.
  • the solid-state image sensor 200 generates a signal processing unit that generates an image obtained by photoelectrically converting infrared light from the infrared light source 121 and an image obtained by photoelectrically converting infrared light from the infrared light source 122. Supply to 300.
  • the signal processing unit 300 performs a differential calculation of two images from the solid-state image sensor 200 and synthesizes them.
  • the image pickup device 101 irradiates infrared light, it can also irradiate invisible light (ultraviolet light or the like) other than infrared light.
  • the infrared light sources 121 and 122 are examples of the first and second light sources described in the claims.
  • FIG. 20 is an example of an external view of the image pickup apparatus 101 according to the second embodiment of the present technology.
  • the infrared light source 121 and the infrared light source 122 are arranged on a predetermined plane of the image pickup apparatus 101 at regular intervals.
  • the image pickup lens 110 is arranged in the middle of the line segment connecting the light sources.
  • a solid-state image sensor 200 (not shown) is arranged on the back surface of the image pickup lens 110.
  • the infrared light sources 121 and 122 are arranged at positions symmetrical with respect to the solid-state image sensor 200.
  • substantially point-symmetrical means that the position is completely point-symmetrical, or that the deviation from the point-symmetrical position is within a predetermined allowable range.
  • FIG. 21 is a graph showing an example of the characteristics of the dual bandpass filter 140 according to the second embodiment of the present technology.
  • the vertical axis indicates the transmittance of the dual bandpass filter 140
  • the horizontal axis indicates the wavelength.
  • the dual bandpass filter 140 transmits a visible light band of 400 to 700 nanometers (nm) and an infrared light band of 800 to 100 nanometers (nm).
  • FIG. 22 is a plan view showing a configuration example of the pixel array unit 212 according to the second embodiment of the present technology. Visible light pixels 241 to 243 and infrared light pixels 244 and 245 are arranged in the pixel array unit 212 of the second embodiment.
  • the visible light pixel 241 is a pixel that receives R (Red) visible light.
  • the visible light pixel 242 is a pixel that receives G (Green) visible light.
  • the visible light pixel 243 is a pixel that receives B (Blue) visible light.
  • the infrared light pixel 244 is a pixel that receives 850 nanometers (nm) of infrared light through a filter that selectively blocks 940 nanometers (nm) of infrared light.
  • the infrared light pixel 245 is a pixel that receives 940 nanometers (nm) of infrared light through a filter that selectively blocks 850 nanometers (nm) of infrared light.
  • the infrared light pixels 244 and 245 are examples of the first and second invisible light pixels described in the claims.
  • the visible light pixels 241 to 243 are arranged in a Bayer array in which only one G pixel is separated for every four pixels in 2 rows ⁇ 2 columns.
  • Infrared light pixels 244 and 245 are arranged in the vacant pixels.
  • FIG. 23 is an example of a cross-sectional view of the solid-state image sensor 200 according to the second embodiment of the present technology.
  • the figure shows a cross-sectional view when the solid-state image sensor 200 is cut by a predetermined plane parallel to the optical axis.
  • microrelenses 411 to 415 are arranged below the filter.
  • a color filter 423 that transmits blue is formed in the lower part of the microlens 411.
  • a color filter 422 that transmits green is formed in the lower part of the microlens 412.
  • a color filter 421 that transmits red is formed below the microlenses 413 to 415.
  • an infrared light blocking filter 424 that selectively blocks infrared light of 850 nanometers (nm) is provided. It is formed.
  • a color filter 425 that transmits blue is formed in the lower part of the color filter 421 corresponding to the microlenses 414 and 415.
  • the lower part of the infrared light blocking filter 424 and the lower part of the color filter 425 corresponding to the microlens 414 are the infrared light blocking filter 426 that selectively blocks infrared light of 940 nanometers (nm). Is formed.
  • An infrared light blocking filter 427 that selectively blocks infrared light of 850 nanometers (nm) is formed in the lower part of the color filter 425 corresponding to the microlens 415.
  • a visible light pixel 243 that receives blue light is formed at the lower part of the infrared light blocking filter 426 corresponding to the microlens 411.
  • a visible light pixel 242 that receives green light is formed in the lower part of the infrared light blocking filter 426 corresponding to the microlens 412.
  • a visible light pixel 241 that receives red light is formed in the lower part of the infrared light blocking filter 426 corresponding to the microlens 413.
  • an infrared light pixel 244 that receives infrared light of 850 nanometers (nm) is formed in the lower part of the infrared light blocking filter 426 corresponding to the microlens 414.
  • Infrared light pixels 245 that receive infrared light of 940 nanometers (nm) are formed below the infrared light blocking filter 427.
  • the blue visible light that has passed through the color filter 423 is input to the visible light pixel 243 after the infrared light is removed by the infrared light blocking filters 424 and 426.
  • the green visible light transmitted through the color filter 422 is input to the visible light pixel 242 after the infrared light is removed by the infrared light blocking filters 424 and 426.
  • the red visible light transmitted through the color filter 421 is input to the visible light pixel 241 after the infrared light is removed by the infrared light blocking filters 424 and 426.
  • the infrared light transmitted through the color filters 421 and 425 the infrared light of 940 nanometers (nm) is removed by the infrared light blocking filter 426, and the remaining infrared light of 850 nanometers (nm) is removed. It is input to the infrared light pixel 244.
  • the infrared light blocking filter 427 removes the infrared light of 850 nanometers (nm), and the remaining infrared light of 940 nanometers (nm) is infrared. It is input to the optical pixel 245.
  • FIG. 24 is a graph showing an example of the characteristics of the infrared light blocking filter according to the second embodiment of the present technology.
  • a is a graph showing an example of the characteristics of the infrared light blocking filter 424.
  • b is a graph showing an example of the characteristics of the infrared light blocking filter 426.
  • the vertical axis of a and b shows the transmittance of each filter, and the horizontal axis shows the wavelength.
  • infrared light of 850 nanometers (nm) is selectively blocked by the infrared light blocking filter 424.
  • infrared light of 940 nanometers (nm) is selectively blocked by the infrared light blocking filter 426.
  • the infrared light blocking filters 424 and 426 are examples of the first and second invisible light blocking filters described in the claims.
  • FIG. 25 is a block diagram showing a configuration example of the signal processing unit 300 according to the second embodiment of the present technology.
  • the signal processing unit 300 of the second embodiment includes a camera control unit 321, an interpolation processing unit 322, an interpolation processing unit 323, a color signal processing unit 324, a difference processing unit 325, a synthesis unit 326, and a luminance synthesis unit 327. ..
  • the camera control unit 321 controls the solid-state image sensor 200 and the drivers 131 and 132.
  • the interpolation processing unit 322 receives the pixel signals of R, G, and B from the visible light pixels 241 to 243 of the solid-state image sensor 200 as color signals.
  • the interpolation processing unit 322 interpolates the color signals at the coordinates of the infrared light pixels 244 and 245 using the color signals in the vicinity thereof.
  • the interpolation processing unit 322 supplies the color signal after interpolation to the color signal processing unit 324.
  • the color signal processing unit 324 performs various signal processing such as white balance correction processing on the color signal after the interpolation processing.
  • the color signal processing unit 324 supplies a color image in which the color signals after signal processing are arranged to the synthesis unit 326.
  • the interpolation processing unit 323 receives the pixel signals from the infrared light pixels 244 and 245 of the solid-state image sensor 200 as infrared light signals.
  • the interpolation processing unit 323 interpolates, for example, an infrared light signal having coordinates other than the infrared light pixel 244 based on the infrared light signal of the infrared light pixel 244. Further, the interpolation processing unit 323 interpolates, for example, an infrared light signal having coordinates other than the infrared light pixel 245 based on the infrared light signal of the infrared light pixel 245.
  • the interpolation processing unit 323 can interpolate the infrared light signals of the coordinates of all the pixels other than those coordinates for each of the infrared light pixels 244 and 245. Further, the interpolation processing unit 323 interpolates only the infrared light signal at the coordinates of the infrared light pixel 245 for the infrared light pixel 244, and the infrared light at the coordinates of the infrared light pixel 244 for the infrared light pixel 245. It is also possible to interpolate only the optical signal. By these interpolation processes, two infrared light images in which infrared light signals are arranged are generated. The interpolation processing unit 323 supplies these two infrared light images to the difference processing unit 325 and the luminance synthesis unit 327.
  • the difference processing unit 325 calculates the difference between the infrared light signals for each pixel of the two infrared light images after the interpolation processing.
  • the difference processing unit 325 supplies a difference image in which the absolute values of the differences are arranged to the luminance synthesis unit 327.
  • the luminance synthesizing unit 327 synthesizes the two infrared light images after the interpolation processing and the difference image.
  • the brightness synthesis unit 327 supplies the combined infrared light image to the synthesis unit 326 and outputs it to the outside.
  • the compositing unit 326 synthesizes the color image from the color signal processing unit 324 and the infrared light image from the luminance compositing unit 327. For example, the compositing unit 326 YC-separates the R, G, and B color signals in the color image into a luminance signal and a Cb and Cr color signal for each pixel. Then, the compositing unit 326 replaces the separated luminance signal with the infrared light signal of the infrared light image. The compositing unit 326 outputs an image in which the replaced luminance signal and the color signal are arranged as a color image to the outside. Alternatively, the synthesizer 326 converts the signals into R, G, and B signals again and then outputs the signals.
  • FIG. 26 is a diagram showing an example of the infrared light image 500 in the comparative example. For example, assume that a cylindrical subject is imaged. When the reflectance of each infrared light between the background of the subject and the subject is about the same, the contrast of the subject becomes unclear as illustrated in the figure.
  • FIG. 27 is a diagram showing an example of images before and after composition in the second embodiment of the present technology.
  • a shows an example of an infrared light image 501 of 850 nanometers (nm).
  • b shows an example of an image 502 of infrared light of 940 nanometers (nm).
  • c shows the difference image 503, and d in the figure shows the output image 504 from the luminance synthesizing unit 327.
  • the difference processing unit 325 When 850 nanometers (nm) infrared light is emitted from the left side and 940 nanometers (nm) infrared light is emitted from the right side, symmetrical images as illustrated in a and b in the figure. 501 and 502 are generated. As illustrated in c in the figure, the difference processing unit 325 generates the difference image 503 of these images 501 and 502. Then, as illustrated in d in the figure, the luminance synthesizing unit 327 combines the luminances of the images 501 and 502 with the difference image 503 to generate the output image 504. In this output image 504, the shadow of the subject is clearly shown, and the contrast is clearer than in the comparative example. In other words, the contrast is improved.
  • FIG. 28 is a diagram showing another infrared light image 510 in the comparative example. For example, it is assumed that minute irregularities on the wall are imaged. When the reflectance of each infrared light between the unevenness and the background wall is about the same, the unevenness becomes unclear as illustrated in the figure.
  • FIG. 29 is a diagram showing another example of images before and after composition in the second embodiment of the present technology.
  • a shows an example of an image 511 of infrared light of 850 nanometers (nm).
  • b shows an example of an image 512 of infrared light of 940 nanometers (nm).
  • c shows the difference image 513, and d in the figure shows the output image 504 from the luminance synthesizing unit 327.
  • symmetrical images 511 and 512 are generated.
  • the difference processing unit 325 generates a difference image 513, and as illustrated in d in the figure, the luminance synthesis unit 327 generates an output image 514.
  • the shadows of the unevenness are clearly shown, and the contrast is clearer than in the comparative example.
  • FIG. 30 is a diagram showing an example of a mounting position of the image pickup device 100 on the side surface of the vehicle body according to the second embodiment of the present technology.
  • FIG. A in the figure is a diagram showing a position when the image pickup apparatus 100 is attached near the door mirror.
  • b is a diagram showing the positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are separately attached.
  • the solid-state image sensor 200 is arranged between the front and rear doors, the infrared light source 121 is located at the end of the front door, and the infrared light source 122 is located at the rear door. Placed at the end of the door. In this way, by attaching the infrared light sources 121 and 122 and the solid-state image sensor 200 independently of the signal processing unit 300, the distance between the infrared light sources 121 and 122 can be increased. As a result, the shadow can be made clearer and the image quality can be improved.
  • FIG. 31 is a diagram showing another example of the mounting position of the image pickup device 100 on the side surface of the vehicle body in the second embodiment of the present technology.
  • a is a diagram showing positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are attached to the upper part of the door.
  • FIG. B in the figure is a diagram showing positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are vertically mounted between the front and rear doors.
  • FIG. 32 is a diagram showing an example of the mounting position of the image pickup device 100 on the front portion of the vehicle body according to the second embodiment of the present technology.
  • FIG. A in the figure is a diagram showing an example of mounting positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are arranged on the upper part of the vehicle outer surface of the windshield.
  • b is a diagram showing an example of mounting positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are arranged in the vicinity of the headlight.
  • FIG. 33 is a diagram showing an example of the mounting position of the image pickup device 100 on the rear portion of the vehicle body according to the second embodiment of the present technology.
  • a is a diagram showing an example of mounting positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are arranged on the upper part of the rear glass.
  • b is a diagram showing an example of mounting positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are arranged in the vicinity of the rear light.
  • FIG. 34 is a diagram showing an example of the mounting position of the image pickup device 100 inside the vehicle body according to the second embodiment of the present technology.
  • FIG. A in the figure is a diagram showing an example of mounting positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are arranged on the upper part of the vehicle inner surface of the windshield.
  • b is a diagram showing an example of mounting positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are arranged on the dashboard.
  • FIG. 35 is a diagram showing another example of the mounting position of the image pickup device 100 inside the vehicle body according to the second embodiment of the present technology.
  • a is a diagram showing an example of mounting positions when the infrared light sources 121 and 122 and the solid-state image sensor 200 are arranged on the ceiling in the vehicle.
  • FIG. B in the figure is a diagram showing an example of the mounting position when the imaging device 100 is arranged on the ceiling at the front of the driver's seat.
  • wavelengths of the infrared light sources 121 and 122 are set to 850 nanometers (nm) and preferably 940 nanometers (nm), wavelengths other than these can be set.
  • the solid-state image sensor 200 generates infrared light images IMG1, IMG2 and IMG3, and generates and synthesizes the difference image of IMG1 and IMG2, the difference image of IMG2 and IMG3, and the difference image of IMG1 and IMG3. ..
  • solid-state image sensors 200 may receive the infrared light from the infrared light source 121 and the other may receive the infrared light from the infrared light source 122.
  • the signal processing unit 300 includes an infrared light image corresponding to the infrared light source 121 and an infrared light image corresponding to the infrared light source 122. Since the difference between the two is obtained, the contrast can be improved as compared with only one of them.
  • the solid-state image sensor 200 receives both visible light and infrared light, but in this configuration, the infrared light pixel 244 is located between the visible light pixels 241 to 243. And 245 need to be arranged, and there is a possibility that the number of pixels of the infrared light pixel is insufficient.
  • the solid-state image sensor 200 of the first modification of the second embodiment is different from the second embodiment in that it receives only infrared light.
  • FIG. 36 is a plan view showing a configuration example of the pixel array unit 212 in the first modification of the second embodiment of the present technology.
  • the pixel array portion 212 of the first modification of the second embodiment is different from the second embodiment in that only infrared light pixels 244 and 245 are arranged. As illustrated in the figure, it is not necessary to arrange the visible light pixels 241 to 243, so that the number of pixels of the infrared light pixels can be increased accordingly.
  • FIG. 37 is a block diagram showing a configuration example of the signal processing unit 300 in the first modification of the second embodiment of the present technology.
  • the signal processing unit 300 of the first modification of the second embodiment includes a camera control unit 321, an interpolation processing unit 323, a difference processing unit 325, and a luminance synthesis unit 327.
  • the interpolation processing unit 323 of the first modification of the second embodiment interpolates only the infrared light signal at the coordinates of the infrared light pixel 245 with respect to the infrared light pixel 244, and with respect to the infrared light pixel 245. , Interpolates only the infrared light signal at the coordinates of the infrared light pixel 244.
  • the functions of the camera control unit 321 and the difference processing unit 325 and the luminance synthesis unit 327 are the same as those in the second embodiment.
  • a bandpass filter that transmits only infrared light can be provided instead of the dual bandpass filter 140.
  • the solid-state image sensor 200 receives only infrared light, visible light pixels are not required, and infrared light is correspondingly increased.
  • the number of pixels can be increased.
  • the image pickup device 101 irradiates and receives two infrared lights having different wavelengths, but in this configuration, the solid-state image pickup device 200 contains infrared light. It is necessary to form a light blocking filter.
  • the imaging device 101 of the second modification of the second embodiment is different from the first modification of the second embodiment in that it irradiates two infrared lights having different polarization directions.
  • FIG. 38 is a block diagram showing a configuration example of the image pickup apparatus 101 in the second modification of the second embodiment of the present technology.
  • the imaging device 101 of the second modification of the second embodiment is different from the first modification of the second embodiment in that the polarizing filters 151 and 152 are further provided.
  • the polarizing filters 151 and 152 transmit infrared light having different polarization directions.
  • the polarization direction corresponding to the polarizing filter 151 is 90 degrees different from the polarization direction corresponding to the polarizing filter 152.
  • the polarizing filters 151 and 152 are examples of the first and second polarizing filters described in the claims.
  • the infrared light light source 121 irradiates infrared light through the polarizing filter 151, and the infrared light light source 122 irradiates infrared light through the polarizing filter 152.
  • the wavelengths of the infrared light of the infrared light sources 121 and 122 of the second modification of the second embodiment are the same. Therefore, it is not necessary to form the infrared light blocking filter 424 or 426.
  • FIG. 39 is a plan view showing an arrangement example of the wire grid filter in the second modification of the second embodiment of the present technology.
  • An on-chip wire grid filter 431 is arranged above the infrared light pixel 244 (not shown) of the pixel array unit 212. Further, an on-chip wire grid filter 432 is arranged above the infrared light pixel 2445 (not shown).
  • the wire grid filter 431 transmits the reflected light of the infrared light irradiated through the polarizing filter 151, and the wire grid filter 432 transmits the reflected light of the infrared light irradiated through the polarizing filter 152.
  • the wire grid filters 431 and 432 are examples of the first and second wire grid filters described in the claims.
  • the signal processing unit 300 of the second modification of the second embodiment obtains the difference between two infrared light images having different polarization directions and synthesizes them. As a result, the contrast can be improved as compared with the case where only one infrared light image is used.
  • the image pickup apparatus 100 irradiates and receives two infrared lights having different polarization directions, the two infrared lights having different wavelengths are received. It is not necessary to receive light, and it is not necessary to arrange an infrared light blocking filter.
  • the image pickup device 101 irradiates and receives two infrared lights having different wavelengths, but in this configuration, the solid-state image pickup device 200 contains infrared light. It is necessary to form a light blocking filter.
  • the imaging device 101 of the third modification of the second embodiment is different from the first modification of the second embodiment in that the infrared light sources 121 and 122 are turned on at different timings.
  • FIG. 40 is a plan view showing a configuration example of the pixel array unit 212 in the third modification of the second embodiment of the present technology.
  • the pixel array unit 212 in the third modification of the second embodiment is different from the first modification of the second embodiment in that the infrared light pixels 251 and 252 are arranged.
  • FIG. 41 is a timing chart showing an example of the imaging operation in the third modification of the second embodiment of the present technology.
  • the infrared light sources 121 and 122 irradiate infrared light of the same wavelength at different timings. Since the wavelengths of infrared light are the same, it is not necessary to form infrared light blocking filters 424 and 426.
  • the vertical synchronization signal VSYNC is supplied to the timings T71, T73, T75 and the like. For example, in the period of timing T71 to T73, only the infrared light source 121 within the period of timing T72 to T73 is turned on. Then, in the period of the next timings T73 to T75, only the infrared light source 122 is turned on within the period of the timings T74 to T75.
  • the infrared light sources 121 and 122 are alternately turned on in synchronization with the vertical synchronization signal VSYNC.
  • the solid-state image sensor 200 exposes the infrared light pixel 251 while the infrared light source 121 is lit, and exposes the infrared light pixel 252 while the infrared light source 122 is lit.
  • the infrared light pixel 251 of the first line is exposed in the exposure period EXPa at the timings T71 to T73.
  • the second and subsequent lines are exposed in order, and the infrared light pixel 251 of the last line is exposed during the exposure period EXPa of the timings T72 to T74.
  • the infrared light pixel 252 of the first line is exposed in the exposure period EXPb at the timings T73 to T75.
  • the second and subsequent lines are exposed in order, and the infrared light pixel 252 of the last line is exposed in the exposure period EXPb at the timings T74 to T76.
  • the processing content of the signal processing unit 300 is the same as that of the first modification of the second embodiment.
  • the image pickup apparatus 100 uses the rolling shutter method in the second embodiment and the first, second, and third modifications thereof, a global shutter method can also be used.
  • the pixels are divided into infrared light pixels 251 and infrared light pixels 252, and are exposed in parallel during the exposure periods EXPa and EXPb, but the configuration is not limited to this. It is also possible to arrange only the infrared light pixels 251 and expose them in order with the exposure periods EXPa and EXPb. However, in this case, since the exposure period EXPb cannot be started within the exposure period EXPa, the frame rate is lowered.
  • the infrared light sources 121 and 122 irradiate infrared light of the same wavelength at different timings, so that two reds having different wavelengths are emitted. It is not necessary to receive external light, and it is not necessary to arrange an infrared light blocking filter.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 42 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver can control the vehicle. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 43 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 43 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is used via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the imaging device 100 of FIG. 1 can be applied to the imaging unit 12031.
  • the processing procedure described in the above-described embodiment may be regarded as a method having these series of procedures, or as a program for causing a computer to execute these series of procedures or as a recording medium for storing the program. You may catch it.
  • this recording medium for example, a CD (Compact Disc), MD (MiniDisc), DVD (Digital Versatile Disc), memory card, Blu-ray Disc (Blu-ray (registered trademark) Disc) and the like can be used.
  • the present technology can have the following configurations.
  • a control unit that sequentially exposes pixels over a plurality of exposure periods having the same length to generate a plurality of pixel signals.
  • An imaging device including a flicker component extraction unit that extracts a flicker component that blinks at a cycle corresponding to the length from the plurality of pixel signals.
  • the control unit exposes the adjacent pixels over an exposure period different from the plurality of exposure periods.
  • the pixels are arranged on each of two adjacent lines.
  • the control unit exposes one of the two lines over a specific exposure period among the plurality of exposure periods, and over an exposure period different from the specific exposure period among the plurality of exposure periods.
  • the imaging apparatus according to (1) above which exposes the other of one line.
  • the plurality of exposure periods include two pixel signals whose phases of the corresponding exposure periods are different by 180 degrees.
  • the control unit according to any one of (1) to (5) above, wherein the control unit sequentially exposes the pixels over four exposure periods having the same length to generate four pixel signals. Imaging device.
  • the imaging apparatus according to (6) above wherein the remaining three phases differ from any of the phases of the four exposure periods by 90 degrees, 180 degrees, and 270 degrees, respectively.
  • the control unit further exposes the pixels over an exposure period having a length different from that of the four exposure periods to generate a new pixel signal. ..
  • the image pickup apparatus further comprising an image recognition unit that recognizes an image of the composite image.
  • the control unit stops the flicker component extraction unit and the blinking subject recognition unit, and when a predetermined subject is detected by the image recognition, the flicker component extraction unit and the blinking subject recognition unit are stopped.
  • the imaging device which is operated.
  • the control unit stops the flicker component extraction unit and the blinking subject recognition unit, and when a predetermined subject is detected by the image recognition, stops the image synthesis unit and the image recognition unit.
  • the image pickup apparatus according to (11), which operates the flicker component extraction unit and the blinking subject recognition unit.
  • the first and second light sources that irradiate invisible light It includes a signal processing unit that calculates the difference between the first image obtained by photoelectrically converting the invisible light from the first light source and the second image obtained by photoelectrically converting the invisible light from the second light source.
  • Imaging device (15) A pixel array in which a first invisible light pixel that photoelectrically converts the invisible light from the first light source and a second invisible light pixel that photoelectrically converts the invisible light from the second light source are arranged.
  • a first invisible light blocking filter that blocks the invisible light from the first light source and a second invisible light blocking filter that blocks the invisible light from the second light source are further provided.
  • the first invisible light pixel receives the invisible light through the second invisible light blocking filter, and the second invisible light pixel receives the invisible light through the first invisible light blocking filter.
  • First and second polarizing filters that transmit invisible light with different polarization directions, The first wire grid filter that transmits the polarization component of the invisible light from the first light source and guides it to the first invisible light pixel and the polarization component of the invisible light from the second light source are transmitted.
  • a solid-state image sensor that generates the first and second images is further provided.
  • the first and second light sources are turned on at different timings.
  • the solid-state image sensor photoelectrically converts the invisible light during the period when the first light source is lit to generate the first image, and photoelectrically converts the invisible light during the period when the second light source is lit.
  • the image pickup device according to (14) above, which converts and generates the image of 2.

Abstract

画像認識を行う撮像装置において、ロバスト性を向上させる。　撮像装置は、制御部およびフリッカ成分抽出部を具備する。制御部およびフリッカ成分抽出部を具備する撮像装置において、制御部は、長さが同一の複数の露光期間のそれぞれに亘って画素を順に露光させて複数の画素信号を生成させる。また、制御部およびフリッカ成分抽出部を具備する撮像装置において、フリッカ成分抽出部は、長さに応じた周期で点滅するフリッカ成分を複数の画素信号から抽出する。

Description

撮像装置
　本技術は、撮像装置に関する。詳しくは、フリッカを除去する撮像装置に関する。
　従来より、自動運転や安全運転の支援などを行う車載システムにおいて、固体撮像素子がよく用いられている。車載の固体撮像素子では、信号機などの点滅光源の点滅周期と撮像周期との間のずれにより、画像内で点滅光源がちらつく現象が生じ、この現象はフリッカと呼ばれる。このフリッカを抑制するために、例えば、短時間の露光で画素に蓄積される電荷を複数回に分けて読み出す固体撮像素子が提案されている（例えば、非特許文献１参照。）。
Chris Silsby, et al., A 1.2MP 1/3" CMOS Image Sensor with Light Flicker Mitigation, Proc. International Image Sensor Workshop, pp.405-408 (2015).
　上述の従来技術では、短時間の露光で画素に蓄積される電荷を複数回に分けて読み出すことにより光源の点灯タイミングと露光期間が重なる領域が必ず得られるようにしてフリッカを除去している。しかしながら、上述の従来技術では、点滅光源を画像認識する際にロバスト性が低下することがある。例えば、一般的な撮像環境下では、認識対象（信号機など）以外の様々な光源（テールランプやネオンサインなど）が存在し、それらの外乱の影響により、画像認識のロバスト性が低下するおそれがある。ここで、ロバスト性は、外乱の影響により処理結果がどの程度左右されるかを示し、外乱の影響を受けにくい装置ほど、ロバスト性が高いと評価される。
　本技術はこのような状況に鑑みて生み出されたものであり、画像認識を行う撮像装置において、ロバスト性を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、長さが同一の複数の露光期間のそれぞれに亘って画素を順に露光させて複数の画素信号を生成させる制御部と、上記長さに応じた周期で点滅するフリッカ成分を上記複数の画素信号から抽出するフリッカ成分抽出部とを具備する撮像装置である。これにより、画像認識のロバスト性が向上するという作用をもたらす。
　また、この第１の側面において、上記画素と上記画素に隣接する隣接画素とは、浮遊拡散層を共有してもよい。これにより、回路規模が削減されるという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記複数の露光期間と異なる露光期間に亘って上記隣接画素を露光させてもよい。これにより、複数の画素で露光が並列に実行されるという作用をもたらす。
　また、この第１の側面において、上記画素は、隣接する２つのラインのそれぞれに配置され、上記制御部は、上記複数の露光期間のうち特定の露光期間に亘って上記２つのラインの一方を露光させ、上記複数の露光期間のうち上記特定の露光期間と異なる露光期間に亘って上記２つのラインの他方を露光させてもよい。これにより、複数のラインで露光が並列に実行されるという作用をもたらす。
　また、この第１の側面において、上記複数の露光期間は、対応する露光期間の位相が１８０度異なる２つの画素信号を含み、上記フリッカ成分抽出部は、上記２つの画素信号の差分に基づいて上記フリッカ成分を抽出してもよい。これにより、背景光の成分が除去されるという作用をもたらす。
　また、この第１の側面において、上記制御部は、長さが同一の４つの露光期間のそれぞれに亘って上記画素を順に露光させて４つの画素信号を生成させてもよい。これにより、フリッカ成分の検出精度が向上するという作用をもたらす。
　また、この第１の側面において、上記４つの露光期間のいずれかの位相に対して残りの３つの位相は、それぞれ９０度、１８０度、および、２７０度異なっていてもよい。これにより、フリッカ成分の検出精度が向上するという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記４つの露光期間と長さが異なる露光期間に亘って上記画素をさらに露光させて新たな画素信号を生成させてもよい。これにより、通常画像が生成されるという作用をもたらす。
　また、この第１の側面において、上記新たな画像信号を配列した通常画像と上記フリッカ成分とを合成して合成画像を生成する画像合成部をさらに具備してもよい。これにより、フリッカが除去された画像が生成されるという作用をもたらす。
　また、この第１の側面において、上記フリッカ成分を配列した点滅被写体に対して画像認識を行う点滅被写体認識部をさらに具備してもよい。これにより、点滅する被写体が検出されるという作用をもたらす。
　また、この第１の側面において、上記合成画像に対して画像認識を行う画像認識部をさらに具備してもよい。これにより、所定の被写体が検出されるという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記フリッカ成分抽出部および上記点滅被写体認識部を停止させ、上記画像認識により所定の被写体が検出された場合には、上記フリッカ成分抽出部および上記点滅被写体認識部を動作させてもよい。これにより、消費電力が削減されるという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記フリッカ成分抽出部および上記点滅被写体認識部を停止させ、上記画像認識により所定の被写体が検出された場合には、上記画像合成部および上記画像認識部を停止させつつ上記フリッカ成分抽出部および上記点滅被写体認識部を動作させてもよい。これにより、消費電力が削減されるという作用をもたらす。
　また、本技術の第２の側面は、不可視光を照射する第１および第２の光源と、上記第１の光源からの上記不可視光を光電変換した第１の画像と上記第２の光源からの上記不可視光を光電変換した第２の画像との差分を演算する信号処理部とを具備する撮像装置である。これにより、画像の画質が向上するという作用をもたらす。
　また、この第２の側面において、上記第１の光源からの上記不可視光を光電変換する第１の不可視光画素と上記第２の光源からの上記不可視光を光電変換する第２の不可視光画素とを配列した画素アレイ部をさらに具備してもよい。これにより、２枚の赤外光画像が生成されるという作用をもたらす。
　また、この第２の側面において、上記画素アレイ部には、可視光を光電変換する可視光画素がさらに配列されてもよい。これにより、カラー画像が生成されるという作用をもたらす。
　また、この第２の側面において、上記第１の光源からの上記不可視光を遮断する第１の不可視光遮断フィルタと上記第２の光源からの上記不可視光を遮断する第２の不可視光遮断フィルタとをさらに具備し、上記第１の不可視光画素は、上記第２の不可視光遮断フィルタを介して上記不可視光を受光し、上記第２の不可視光画素は、上記第１の不可視光遮断フィルタを介して上記不可視光を受光し、上記第１の光源からの上記不可視光と上記第２の光源からの上記不可視光とのそれぞれの波長は異なってもよい。これにより、画像のコントラストが向上するという作用をもたらす。
　また、この第２の側面において、偏光方向の異なる不可視光を透過する第１および第２の偏光フィルタと、上記第１の光源からの上記不可視光の偏光成分を透過して上記第１の不可視光画素に導く第１のワイヤーグリッドフィルタと上記第２の光源からの上記不可視光の偏光成分を透過して上記第２の不可視光画素に導く第２のワイヤーグリッドフィルタとをさらに具備し、上記第１の光源からの上記不可視光は、上記第１の偏光フィルタを介して照射され、上記第２の光源からの上記不可視光は、上記第２の偏光フィルタを介して照射されてもよい。これにより、画像のコントラストが向上するという作用をもたらす。
　また、この第２の側面において、上記第１および第２の画像を生成する固体撮像素子をさらに具備し、上記第１および第２の光源は、異なるタイミングで点灯し、上記固体撮像素子は、上記第１の光源が点灯する期間内に上記不可視光を光電変換して上記第１の画像を生成し、上記第２の光源が点灯する期間内に上記不可視光を光電変換して上記２の画像を生成してもよい。これにより、赤外線遮断フィルタが不要になるという作用をもたらす。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示す回路図である。 本技術の第１の実施の形態における信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるモード制御を説明するための図である。 本技術の第１の実施の形態における撮像動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における露光制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態における読出し動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における読出しの際のトランジスタの制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるモード１の動作の一例を示すフローチャートである。 本技術の第１の実施の形態におけるモード２の動作の一例を示すフローチャートである。 本技術の第１の実施の形態におけるモード３の動作の一例を示すフローチャートである。 本技術の第１の実施の形態におけるモード４の動作の一例を示すフローチャートである。 本技術の第１の実施の形態におけるモード５の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例におけるＦＤ（Floating Diffusion）共有ブロックの一構成例を示すブロック図である。 本技術の第１の実施の形態の第１の変形例における撮像動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態の第１の変形例における読出しの際のトランジスタの制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態の第２の変形例における撮像動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第２の実施の形態における撮像装置の外観図の一例である。 本技術の第２の実施の形態におけるデュアルバンドパスフィルタの特性の一例を示すグラフである。 本技術の第２の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第２の実施の形態における固体撮像素子の断面図の一例である。 本技術の第２の実施の形態における赤外光遮断フィルタの特性の一例を示すグラフである。 本技術の第２の実施の形態における信号処理部の一構成例を示すブロック図である。 比較例における赤外光画像の一例を示す図である。 本技術の第２の実施の形態における合成前後の画像の一例を示す図である。 比較例における赤外光画像の別の例を示す図である。 本技術の第２の実施の形態における合成前後の画像の別の例を示す図である。 本技術の第２の実施の形態における車体側面への撮像装置の取り付け位置の一例を示す図である。 本技術の第２の実施の形態における車体側面への撮像装置の取り付け位置の別の例を示す図である。 本技術の第２の実施の形態における車体前部への撮像装置の取り付け位置の一例を示す図である。 本技術の第２の実施の形態における車体後部への撮像装置の取り付け位置の一例を示す図である。 本技術の第２の実施の形態における車体内部への撮像装置の取り付け位置の一例を示す図である。 本技術の第２の実施の形態における車体内部への撮像装置の取り付け位置の別の例を示す図である。 本技術の第２の実施の形態の第１の変形例における画素アレイ部の一構成例を示す平面図である。 本技術の第２の実施の形態の第１の変形例における信号処理部の一構成例を示すブロック図である。 本技術の第２の実施の形態の第２の変形例における撮像装置の一構成例を示すブロック図である。 本技術の第２の実施の形態の第２の変形例におけるワイヤーグリッドフィルタの配置例を示す平面図である。 本技術の第２の実施の形態の第３の変形例における画素アレイ部の一構成例を示す平面図である。 本技術の第２の実施の形態の第３の変形例における撮像動作の一例を示すタイミングチャートである。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（４相の画素信号からフリッカ成分を抽出する例）
　２．第２の実施の形態（波長の異なる２つの赤外光画像の差分を求める例）
　３．第３の実施の形態（移動体への応用例）
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、撮像レンズ１１０、固体撮像素子２００および信号処理部３００を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
　撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、画像データを撮像するものである。この固体撮像素子２００は、信号線２０８を介して信号処理部３００からの制御信号を受け取り、その制御信号に従って画像データを撮像する。また、固体撮像素子２００は、撮像した画像データを信号線２０９を介して信号処理部３００へ出力する。
　信号処理部３００は、画像データに対して、フリッカの除去や画像認識などの信号処理を行うものである。例えば、ＤＳＰ（Digital Signal Processing）回路が信号処理部３００として用いられる。この信号処理部３００は、処理後のデータを出力データとして外部に出力する。
　また、信号処理部３００には、撮像装置１００の状態を指示するモード信号ＭＯＤＥが入力される。信号処理部３００は、モード信号ＭＯＤＥに従って、実行する信号処理の内容や、固体撮像素子２００の制御方法を変更する。
　なお、撮像装置１００内に、画像データを記録する記録部や、外部との間で通信を行う通信部をさらに設けることもできる。
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、Ｖデコーダ２１１、画素アレイ部２１２、タイミング制御回路２１３、カラム信号処理回路２１４、および、Ｈデコーダ２１５を備える。画素アレイ部２１２には、二次元格子状に複数の画素２２０が配列される。
　以下、所定の水平方向に配列された画素２２０の集合を「行」または「ライン」と称し、行に垂直な方向に配列された画素２２０の集合を「列」と称する。
　Ｖデコーダ２１１は、タイミング制御回路２１３からの信号をデコードして、行（すなわち、ライン）を順に駆動するものである。
　画素２２０は、光電変換により、アナログの画素信号を生成するものである。この画素２２０は、生成した画素信号をカラム信号処理回路２１４へ供給する。
　カラム信号処理回路２１４は、列ごとに、画素信号に対してＡＤ（Analog to Digital）変換処理や、ＣＤＳ（Correlated Double Sampling）処理などの信号処理を行うものである。このカラム信号処理回路２１４は、Ｈデコーダ２１５の制御に従って、処理後の画像データ内のラインデータのそれぞれを信号処理部３００へ順に供給する。ラインデータは、ライン内の画素のそれぞれのデジタルの画素信号を含む。
　Ｈデコーダ２１５は、タイミング制御回路２１３からの信号をデコードして、カラム信号処理回路２１４を駆動するものである。
　タイミング制御回路２１３は、信号処理部３００からの制御信号に従って、Ｖデコーダ２１１、カラム信号処理回路２１４、および、Ｈデコーダ２１５の動作タイミングを制御するものである。
　ここで、信号処理部３００からの制御信号には、撮像タイミングを示す垂直同期信号と、露光の開始や終了のタイミングを示す信号とが含まれる。信号処理部３００は、制御信号により、画素２２０の露光開始や露光終了のタイミングを制御することができる。
　［画素の構成例］
　図３は、本技術の第１の実施の形態における画素２２０の一構成例を示す回路図である。この画素２２０は、光電変換素子２２１、転送トランジスタ２２２、浮遊拡散層２２３、リセットトランジスタ２２４、増幅トランジスタ２２５および選択トランジスタ２２６を備える。ｎ（ｎは、整数）番目のラインには、Ｖデコーダ２１１からのリセット信号ＲＳＴ＿ｎ、転送信号ＴＲＴ＿ｎ、および、選択信号ＳＥＬ＿ｎが供給される。
　光電変換素子２２１は、光電変換により電荷を生成するものである。転送トランジスタ２２２は、転送信号ＴＲＴ＿ｎに従って、光電変換素子２２１から浮遊拡散層２２３へ電荷を転送するものである。浮遊拡散層２２３は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。
　リセットトランジスタ２２４は、リセット信号ＲＳＴ＿ｎに従って、浮遊拡散層２２３の電荷量を初期化するものである。増幅トランジスタ２２５は、浮遊拡散層２２３の電圧を増幅するものである。選択トランジスタ２２６は、選択信号ＳＥＬ＿ｎに従って、増幅された電圧の信号を画素信号としてカラム信号処理回路２１４へ供給するものである。
　なお、画素２２０の回路構成は、同図に例示したものに限定されない。例えば、光電変換素子２２１から電荷を排出するＯＦＧトランジスタを追加することもできる。
　［信号処理部の構成例］
　図４は、本技術の第１の実施の形態における信号処理部３００の一構成例を示すブロック図である。この信号処理部３００は、ラインバッファ３１０、フリッカ成分抽出部３１１、カメラ制御部３１２、画像合成部３１３、画像処理部３１４、画像認識部３１５、および、点滅被写体認識部３１６を備える。
　カメラ制御部３１２は、固体撮像素子２００と、信号処理部３００内の回路のそれぞれとを制御するものである。このカメラ制御部３１２は、制御信号により固体撮像素子２００に画像データを撮像させる。このとき、垂直同期信号の周期内において５つの露光期間が設定される。５つの露光期間のうち４つは長さが同一であり、残りの１つの長さは任意である。カメラ制御部３１２は、５つの露光期間に亘って順に画素２２０のそれぞれを露光させ、画素ごとに５つの画素信号を生成させる。
　長さが同一の４つの露光期間のうち、１番目の露光期間に対応する画素信号をＩ１とし、２番目の露光期間に対応する画素信号をＩ２とする。また、それらの４つの露光期間のうち、３番目の露光期間に対応する画素信号をＩ３とし、４番目の露光期間に対応する画素信号をＩ４とする。５番目の露光期間に対応する画素信号をＩ５とする。
　画素信号Ｉ１、Ｉ２、Ｉ３、およびＩ４は、点滅する点滅光源の信号成分をフリッカ成分として抽出するために用いられる。残りの画素信号Ｉ５は、出力する画像を生成するために用いられる。
　ラインバッファ３１０は、固体撮像素子２００からの所定数のラインデータを保持するものである。ライン内の画素数をＭ（Ｍは、整数）とすると、ラインデータのそれぞれには、Ｍ×５個の画素信号が含まれる。
　フリッカ成分抽出部３１１は、画素ごとに、点滅光源からの信号成分をフリッカ成分として、画素信号から抽出するものである。ここで、画素信号は、フリッカ成分と、フリッカ成分以外の信号成分とを含む。前述の４つの露光期間のそれぞれの長さは、抽出対象のフリッカ成分の点滅周期に応じた値（例えば、点滅周期の半周期）に設定される。フリッカ成分抽出部３１１は、画素ごとに画素信号Ｉ１、Ｉ２、Ｉ３、およびＩ４をラインバッファ３１０から読み出し、それらに対する演算により、フリッカ成分Ｉ０を抽出する。演算方法については後述する。フリッカ成分抽出部３１１は、抽出したフリッカ成分Ｉ０を画像合成部３１３および点滅被写体認識部３１６へ供給する。
　画像合成部３１３は、画素信号Ｉ５を配列した画像を通常画像として、その画像にフリッカ成分Ｉ０を合成するものである。例えば、画素信号Ｉ５とフリッカ成分Ｉ０とは、同一の合成比率で画素ごとに合成される。なお、画像合成部３１３は、画素信号Ｉ５とフリッカ成分Ｉ０とを、それぞれの信号強度に応じた合成比率で合成することや、信号強度に基づいて合成を行うか否かを判断することもできる。この合成処理により、画像内のフリッカが除去される。画像合成部３１３は、合成後の信号を配列した合成画像を画像処理部３１４に供給する。
　なお、画像合成部３１３は、画素信号Ｉ５およびフリッカ成分Ｉ０から合成画像を生成しているが、この構成に限定されない。例えば、画像合成部３１３は、画素信号Ｉ１、Ｉ２、Ｉ３、およびＩ４をさらにラインバッファ３１０から読み出し、それらの統計量（加算値や平均値）を配列した画像を通常画像として、その通常画像とフリッカ成分Ｉ０とを合成することもできる。この場合には、画素信号Ｉ５の生成は、不要となる。また、画像合成部３１３は、画素信号Ｉ１、Ｉ２、Ｉ３、およびＩ４の統計量と画素信号Ｉ５との合成値を配列した画像を通常画像として、その通常画像とフリッカ成分Ｉ０とを合成することもできる。
　画像処理部３１４は、合成画像に対して、ホワイトバランス補正処理やデモザイク処理などの様々な画像処理を行うものである。この画像処理部３１４は、処理後の合成画像を画像認識部３１５へ供給する。
　画像認識部３１５は、合成画像に対して画像認識処理を行うものである。この画像認識部３１５は、画像認識により信号機やテールランプなどの所定の被写体を認識し、その被写体の状態（信号機の色など）を解析する。そして、画像認識部３１５は、認識結果Ｒ１を点滅被写体認識部３１６およびカメラ制御部３１２に供給する。また、画像認識部３１５は、出力画像を外部に出力する。
　点滅被写体認識部３１６は、フリッカ成分Ｉ０を配列した点滅光源の被写体について、画像認識処理を行うものである。この点滅被写体認識部３１６は、画像認識により信号機やテールランプなどの所定の被写体を認識し、認識結果Ｒ２を画像認識部３１５に供給する。また、点滅被写体認識部３１６は、認識結果を必要に応じて外部に出力する。
　また、カメラ制御部３１２は、モード信号ＭＯＤＥに従ってイネーブル信号を生成し、フリッカ成分抽出部３１１、画像合成部３１３、画像処理部３１４、画像認識部３１５、および、点滅被写体認識部３１６のそれぞれの動作を制御する。例えば、イネーブル信号ＥＮ＿Ａ、ＥＮ＿Ｂ、ＥＮ＿ＣおよびＥＮ＿Ｄの４つが生成される。イネーブル信号ＥＮ＿Ａは、画像合成部３１３および画像処理部３１４に供給され、イネーブル信号ＥＮ＿Ｂは、画像認識部３１５に供給される。イネーブル信号ＥＮ＿Ｃは、フリッカ成分抽出部３１１に供給され、イネーブル信号ＥＮ＿Ｄは、点滅被写体認識部３１６に供給される。
　なお、信号処理部３００の処理の一部または全てを固体撮像素子２００内で実行することもできる。
　図５は、本技術の第１の実施の形態におけるモード制御を説明するための図である。モード信号ＭＯＤＥにより、例えば、モード１乃至５のいずれかが設定されるものとする。
　モード１において、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｃがオン状態に設定され、イネーブル信号ＥＮ＿ＢおよびＥＮ＿Ｄがオフ状態に設定される。これにより、フリッカ成分抽出部３１１、画像合成部３１３および画像処理部３１４の動作がイネーブルとなり、フリッカの除去された合成画像が生成される。一方、画像認識部３１５および点滅被写体認識部３１６はディセーブルとなる。このとき、画像認識部３１５は、画像認識を行わず、画像処理部３１４からの合成画像を出力画像としてスルー出力する。このように、モード１において、信号処理部３００は、フリッカの除去された出力画像のみを出力する。
　また、モード２において、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂがオフ状態に設定され、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄがオン状態に設定される。これにより、画像合成部３１３、画像処理部３１４および画像認識部３１５がディセーブルとなり、フリッカ成分抽出部３１１および点滅被写体認識部３１６がイネーブルとなる。このとき、点滅被写体認識部３１６は、点滅する点滅被写体の認識結果を出力する。このように、モード２において、信号処理部３００は、点滅被写体の認識結果のみを出力する。
　また、モード３において、イネーブル信号ＥＮ＿Ａ、ＥＮ＿Ｂ、ＥＮ＿ＣおよびＥＮ＿Ｄが全てイネーブルに設定される。このとき、画像認識部３１５および点滅被写体認識部３１６は、互いの認識結果を相互に利用する。例えば、画像認識部３１５は、点滅被写体の認識結果Ｒ２を用いて、合成画像において点滅被写体の周辺のみを認識して処理速度を向上させる。また、画像認識部３１５および点滅被写体認識部３１６は、認識結果Ｒ１およびＲ２の両方を用いて、被写体の認識を行うことより、処理速度や信頼性を向上させることもできる。例えば、信号機の状態（赤、青、黄のいずれで点灯しているかなど）を認識する際に、点滅被写体認識部３１６が信号機の存在を認識する一方で、画像認識部３１５が信号機の色や位置を認識するなどの利用方法が考えられる。このように、モード３において、信号処理部３００は、フリッカを除去した出力画像と点滅被写体の認識結果とを出力する。
　また、モード４においては、最初にイネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂがオン状態に設定され、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄがオフ状態に設定される。これにより、画像合成部３１３、画像処理部３１４および画像認識部３１５がイネーブルとなり、フリッカ成分抽出部３１１および点滅被写体認識部３１６がディセーブルとなる。このとき、合成対象のフリッカ成分が入力されないため、画像合成部３１３は合成せずに通常画像を画像処理部３１４に供給する。そして、画像認識部３１５は、フリッカが除去されていない通常画像に対して画像認識処理を行う。
　そして、モード４において画像認識部３１５の認識認識により、点滅光源と推定される所定の被写体（信号機など）が検出された場合、カメラ制御部３１２は、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄをオン状態に設定する。これにより、フリッカ成分抽出部３１１および点滅被写体認識部３１６がイネーブルとなる。このとき、モード３と同様に、信号処理部３００は、フリッカを除去した出力画像と点滅被写体の認識結果とを出力する。
　また、モード５においては、モード４と同様に最初にイネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂがオン状態に設定され、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄがオフ状態に設定される。
　そして、モード５において点滅光源と推定される所定の被写体（信号機など）が検出された場合、カメラ制御部３１２は、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂをオフ状態に設定し、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄをオン状態に設定する。これにより、画像合成部３１３、画像処理部３１４および画像認識部３１５がディセーブルとなり、フリッカ成分抽出部３１１および点滅被写体認識部３１６がイネーブルとなる。さらに、カメラ制御部３１２は、制御信号により固体撮像素子２００を制御して、検出された被写体を含む一部の領域をＲＯＩ（Region of Interest）として撮像させる。点滅被写体認識部３１６は、ＲＯＩに対して画像認識処理を行い、認識結果を出力する。
　このように、モード４および５では、点滅被写体が未検出の際に、通常画像の撮像のみが行われるため、消費電力を低減することができる。また、モード５では、フリッカ成分抽出部３１１および点滅被写体認識部３１６がＲＯＩのみを処理することにより、処理速度を向上させることができる。
　なお、同図に例示したモード１乃至５の制御は、一例であり、カメラ制御部３１２は、これら以外の制御を行うこともできる。
　［撮像装置の動作例］
　図６は、本技術の第１の実施の形態における撮像動作の一例を示すタイミングチャートである。
　ここで、点滅光源が点滅する際の周波数を、例えば１００ヘルツ（Ｈｚ）とする。この場合、点滅周期は、１０ミリ秒（ｍｓ）となる。同図に例示するクロック信号ＣＬＫは、点滅光源を駆動するクロック信号に該当する。
　また、カメラ制御部３１２は、垂直同期信号ＶＳＹＮＣを固体撮像素子２００に供給する。この垂直同期信号ＶＳＹＮＣの周波数を、例えば３０ヘルツ（Ｈｚ）とする。この場合、垂直同期信号ＶＳＹＮＣの周期は、１／３０秒（ｓ）となる。１／３０秒（ｓ）は約３３ミリ秒（ｍｓ）である。
　また、固体撮像素子２００は、露光期間ＥＸＰ１乃至ＥＸＰ５の期間に亘って、ラインを順に露光する。露光期間ＥＸＰ１乃至ＥＸＰ４のそれぞれの露光期間の長さは、点滅周期の半周期である５ミリ秒に設定される。また、１００ヘルツ（Ｈｚ）を１周期として、露光期間ＥＸＰ１の開始タイミングと露光期間ＥＸＰ２の開始タイミングとの位相差は１８０度に設定される。また、露光期間ＥＸＰ１の開始タイミングと露光期間ＥＸＰ３の開始タイミングとの位相差は９０度に設定される。露光期間ＥＸＰ１の開始タイミングと露光期間ＥＸＰ４の開始タイミングとの位相差は２７０度に設定される。
　例えば、タイミングＴ１から、５ミリ秒後のタイミングＴ１１までが１ライン目の露光期間ＥＸＰ１として設定される。タイミングＴ１１から、５ミリ秒後のタイミングＴ１２までが１ライン目の露光期間ＥＸＰ２として設定される。タイミングＴ１２から２．５ミリ秒後のタイミングＴ１３に次の露光期間ＥＸＰ３が開始される。そして、タイミングＴ１３から、５ミリ秒後のタイミングＴ１４までが１ライン目の露光期間ＥＸＰ３として設定される。タイミングＴ１４から、５ミリ秒後のタイミングＴ１５までが１ライン目の露光期間ＥＸＰ４として設定される。
　また、タイミングＴ１５から例えば２．５ミリ秒後のタイミングＴ１６に１ライン目について露光期間ＥＸＰ５が開始される。タイミングＴ１から１／３０秒（言い換えれば、約３３ミリ秒）後のタイミングＴ２において、１ライン目の露光期間ＥＸＰ５が終了する。露光期間ＥＸＰ１乃至ＥＸＰ４が全て５ミリ秒であるため、３３ミリ秒のうち、残りの１３ミリ秒を露光期間ＥＸＰ５に割り当てることができる。以下、ｎ（ｎは、１乃至Ｎの整数）ライン目の露光期間ＥＸＰ１乃至ＥＸＰ５をＥＸＰ１ｎ乃至ＥＸＰ５ｎとする。
　そして、２ライン目以降において、ｎライン目の露光の次に、ｎ＋１ライン目の露光が開始される。例えば、タイミングＴ２１からＴ２３までがｎライン目の露光期間ＥＸＰ１ｎとして設定され、タイミングＴ２３からＴ２５までがｎライン目の露光期間ＥＸＰ２ｎとして設定される。タイミングＴ２６からＴ２８までがｎライン目の露光期間ＥＸＰ３ｎとして設定され、タイミングＴ２８からＴ３０までがｎライン目の露光期間ＥＸＰ４ｎとして設定される。また、タイミングＴ３１からＴ３２までがｎライン目の露光期間ＥＸＰ５ｎとして設定される。同図に例示したように、ライン単位で順に露光を行う制御方法は、一般にローリングシャッター方式と呼ばれる。
　なお、露光期間ＥＸＰ５は、１３ミリ秒に限定されず、開始や終了のタイミングを調整することによって任意の時間に設定することが可能であり、１３ミリ秒未満にすることもできる。例えば、同図では、露光期間ＥＸＰ５を８ミリ秒としている。
　なお、固体撮像素子２００は、ローリングシャッター方式で露光を行っているが、全てのラインで同時に露光を開始し、終了するグローバルシャッター方式を用いることもできる。
　図７は、本技術の第１の実施の形態における露光制御の一例を示すタイミングチャートである。ここで、点滅光源のクロック信号ＣＬＫの立上りと、ｎライン目の露光期間ＥＸＰ１ｎの開始のタイミングＴ２１との位相差をΦミリ秒とする。
　この場合、ｎライン目の画素は、露光期間ＥＸＰ１ｎにおいて、タイミングＴ２１から、１０－Φミリ秒後のタイミングＴ２２までの期間に亘って、点滅光源からの光を受光する。また、ｎライン目の画素は、露光期間ＥＸＰ２ｎにおいて、タイミングＴ２３の１０－Φミリ秒後のタイミングＴ２４からタイミングＴ２５までの期間に亘って、点滅光源からの光を受光する。
　そして、ｎライン目の画素は、露光期間ＥＸＰ３ｎにおいては、タイミングＴ２６のΦミリ秒後のタイミングＴ２７からタイミングＴ２８までの期間に亘って、点滅光源からの光を受光する。ｎライン目の画素は、露光期間ＥＸＰ４ｎにおいては、タイミングＴ２８から、Φミリ秒後のタイミングＴ２９までの期間に亘って、点滅光源からの光を受光する。同図において、斜線の部分は、点滅光源からの光を受光する期間を示す。
　ｎライン目の画素は、１００ヘルツ（Ｈｚ）の点滅光源からの光の他、１００ヘルツ（Ｈｚ）以外の周波数の点滅光源からの光や、点滅しない自然光源からの光も受光することがある。露光期間ＥＸＰｍ（ｍは、１乃至４の整数）に対応する画素信号Ｉｍのうち、１００ヘルツ（Ｈｚ）の点滅光源に対応する信号成分をＬｍとし、それ以外の背景光に対応する信号成分をＢｇとする。信号成分Ｂｇは、それぞれの露光期間内において一様であるものとする。このとき、画素信号Ｉｍは、次の式により表される。
　　Ｉｍ＝Ｌｍ＋Ｂｇ　　　　　　　　　　　　　　　　　　　・・・式１
　同図に例示したように、４つの露光期間のそれぞれにおいて、点滅光源からの光の受光量は、その光と露光期間との位相差Φにより決定される。この位相差Φは、次の式により表される。
　　Φ＝ａｒｃｔａｎ｛（Ｉ３－Ｉ４）／（Ｉ１－Ｉ２）｝
上式において、ａｒｃｔａｎ（）は、正接関数の逆関数を表す。
　また、１００ヘルツ（Ｈｚ）の点滅光源からの光に対応するフリッカ成分Ｉ０は、次の式により抽出される。
　　Ｉ０＝｛（Ｉ１－Ｉ２）２＋（Ｉ３－Ｉ４）２｝１／２　　　　・・・式２
　式２に式１を代入することにより、次の式が得られる。
　　Ｉ０＝｛（Ｌ１－Ｌ２）２＋（Ｌ３－Ｌ４）２｝１／２　　　　・・・式３
　式３より、差分演算によって背景光の信号成分Ｂｇがキャンセルされ、想定する１００ヘルツ（Ｈｚ）の点滅光源のフリッカ成分のみが抽出される。なお、その点滅光源からの光を受光しない画素では、式３の計算結果が「０」となる。
　ここで、比較例として、点滅周期と同じ露光期間により撮像して画像認識を行う装置を想定する。この比較例では、認識対象の点滅光源以外の背景光の影響により、画像認識のロバスト性や処理速度が低下するおそれがある。これに対して、式３を用いる撮像装置１００では、背景光の信号成分Ｂｇのキャンセルにより、背景光の影響を抑制して、画像認識のロバスト性や処理速度を向上させることができる。
　さらに比較例では、画像の露光期間が点滅周期に固定され、それより短くすることができないため、高速で動く被写体を撮像する際に動体ブラが生じるおそれがある。これに対して、撮像装置１００では、通常画像の露光期間ＥＸＰ５は、点滅周期（１０ミリ秒など）に固定する必要がなく、その点滅周期よりも短くすることができる。これにより、動体ブラを抑制することができる。
　なお、抽出対象の点滅周期を１００ヘルツ（Ｈｚ）としているが、１００ヘルツ（Ｈｚ）以外の点滅周期のフリッカ成分を抽出対象とすることもできる。抽出対象のフリッカ成分の点滅周期をＰヘルツ（Ｈｚ）とする場合、露光期間ＥＸＰ１乃至ＥＸＰ４のそれぞれの長さを、１／（２Ｐ）秒にすればよい。
　また、点滅光源の信号成分の抽出のために、４相の露光期間を用いているが、４相以外の複数の相（２相や５相以上など）を用いることもできる。
　図８は、本技術の第１の実施の形態における読出し動作の一例を示すタイミングチャートである。固体撮像素子２００内のカラム信号処理回路２１４は、水平同期信号に同期して、５つの露光期間のそれぞれの終了時に、対応する画素信号を順に読み出す。
　例えば、タイミングＴ４１からＴ４２までの期間内に、カラム信号処理回路２１４は、最初にＡ行目の露光期間ＥＸＰ５の画素信号を読み出す。続いて、カラム信号処理回路２１４は、Ｂ行目の露光期間ＥＸＰ１の画素信号と、Ｃ行目の露光期間ＥＸＰ２の画素信号と、Ｄ行目の露光期間ＥＸＰ３の画素信号と、Ｅ行目の露光期間ＥＸＰ４の画素信号とを順に読み出す。引き続き、カラム信号処理回路２１４は、Ｔ４２以降の期間に、Ａ＋１行目の露光期間ＥＸＰ５の画素信号を読み出す。続いて、カラム信号処理回路２１４は、Ｂ＋１行目の露光期間ＥＸＰ１の画素信号と、Ｃ＋１行目の露光期間ＥＸＰ２の画素信号と、Ｄ＋１行目の露光期間ＥＸＰ３の画素信号と、Ｅ＋１行目の露光期間ＥＸＰ４の画素信号とを順に読み出す。
　図９は、本技術の第１の実施の形態における読出しの際のトランジスタの制御の一例を示すタイミングチャートである。タイミングＴ５１乃至Ｔ５３においてカラム信号処理回路２１４はｎライン目を読み出し、タイミングＴ５３乃至Ｔ５５において、ｎ＋１ライン目を読み出すものとする。
　Ｖデコーダ２１１は、タイミングＴ５１乃至Ｔ５３に亘ってハイレベルの選択信号ＳＥＬ＿ｎをｎライン目へ供給する。また、Ｖデコーダ２１１は、タイミングＴ５１から所定のパルス期間に亘って、ハイレベルのリセット信号ＲＳＴ＿ｎをｎライン目へ供給する。そして、タイミングＴ５１乃至Ｔ５２の期間内に、浮遊拡散層２２３の初期化時の信号レベルであるＰ相が読み出される。続いてＶデコーダ２１１は、タイミングＴ５２から所定のパルス期間に亘って、ハイレベルの転送信号ＴＲＴ＿ｎをｎライン目へ供給する。そして、タイミングＴ５２乃至Ｔ５３の期間内に、信号電荷の転送時の信号レベルであるＤ相が読み出される。
　また、Ｖデコーダ２１１は、タイミングＴ５３乃至Ｔ５５に亘ってハイレベルの選択信号ＳＥＬ＿ｎ＋１をｎ＋１ライン目へ供給する。また、Ｖデコーダ２１１は、タイミングＴ５３から所定のパルス期間に亘って、ハイレベルのリセット信号ＲＳＴ＿ｎ＋１をｎ＋１ライン目へ供給する。続いてＶデコーダ２１１は、タイミングＴ５４から所定のパルス期間に亘って、ハイレベルの転送信号ＴＲＴ＿ｎ＋１をｎ＋１ライン目へ供給する。以下、同様の制御により、ｎ＋２ライン目以降が順に読み出される。
　図１０は、本技術の第１の実施の形態におけるモード１の動作の一例を示すフローチャートである。この動作は、例えば、モード１が設定された際に開始される。信号処理部３００は、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｃがをオン状態に設定し、イネーブル信号ＥＮ＿ＢおよびＥＮ＿Ｄをオフ状態に設定する（ステップＳ９０１）。また、固体撮像素子２００は、５相の画素信号を読み出す（ステップＳ９０２）。そして、信号処理部３００は、フリッカを除去した画像を生成して出力する（ステップＳ９０３）。ステップＳ９０３の後に撮像装置１００は、モード１の動作を終了する。
　図１１は、本技術の第１の実施の形態におけるモード２の動作の一例を示すフローチャートである。この動作は、例えば、モード２が設定された際に開始される。信号処理部３００は、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄをオン状態に設定し、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂをオフ状態に設定する（ステップＳ９１１）。また、固体撮像素子２００は、露光期間ＥＸＰ１乃至ＥＸＰ４の４相の画素信号を読み出す（ステップＳ９１２）。そして、信号処理部３００は、点滅被写体の画像認識を行って、その認識結果を出力する（ステップＳ９１３）。ステップＳ９１３の後に撮像装置１００は、モード２の動作を終了する。
　図１２は、本技術の第１の実施の形態におけるモード３の動作の一例を示すフローチャートである。この動作は、例えば、モード３が設定された際に開始される。信号処理部３００は、イネーブル信号ＥＮ＿Ａ、ＥＮ＿Ｂ、ＥＮ＿ＣおよびＥＮ＿Ｄをオン状態に設定する（ステップＳ９２１）。また、固体撮像素子２００は、５相の画素信号を読み出す（ステップＳ９２２）。そして、信号処理部３００は、フリッカを除去した画像を生成して出力するとともに（ステップＳ９２３）、点滅被写体の画像認識を行って、その認識結果を出力する（ステップＳ９２４）。ステップＳ９２４の後に撮像装置１００は、モード３の動作を終了する。
　図１３は、本技術の第１の実施の形態におけるモード４の動作の一例を示すフローチャートである。この動作は、例えば、モード４が設定された際に開始される。信号処理部３００は、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂをオン状態に設定し、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄをオフ状態に設定する（ステップＳ９３１）。また、固体撮像素子２００は、露光期間ＥＸＰ５の１相の画素信号のみを読み出す（ステップＳ９３２）。そして、信号処理部３００は、通常画像に対する画像認識を行い、所定の被写体（信号機など）を検出したか否かを判断する（ステップＳ９３３）。
　所定の被写体（信号機など）を検出した場合（ステップＳ９３３：Ｙｅｓ）、信号処理部３００は、イネーブル信号ＥＮ＿Ａ、ＥＮ＿Ｂ、ＥＮ＿ＣおよびＥＮ＿Ｄをオン状態に設定する（ステップＳ９３４）。また、固体撮像素子２００は、５相の画素信号を読み出す（ステップＳ９３５）。信号処理部３００は、所定の点滅被写体を検出したか否かを判断する（ステップＳ９３６）。
　所定の被写体を検出していない場合（ステップＳ９３３：Ｎｏ）、または、点滅被写体を検出していない場合（ステップＳ９３６：Ｎｏ）、撮像装置１００は、ステップＳ９３１以降を繰り返す。
　点滅被写体を検出した場合（ステップＳ９３６：Ｙｅｓ）、信号処理部３００は、フリッカを除去した画像を生成して出力するとともに（ステップＳ９３７）、点滅被写体の画像認識を行って、その認識結果を出力する（ステップＳ９３８）。ステップＳ９３８の後に撮像装置１００は、モード４の動作を終了する。
　図１４は、本技術の第１の実施の形態におけるモード５の動作の一例を示すフローチャートである。この動作は、例えば、モード５が設定された際に開始される。信号処理部３００は、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂをオン状態に設定し、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄをオフ状態に設定する（ステップＳ９４１）。また、固体撮像素子２００は、露光期間ＥＸＰ５の１相の画素信号のみを読み出す（ステップＳ９４２）。そして、信号処理部３００は、通常画像に対する画像認識を行い、所定の被写体（信号機など）を検出したか否かを判断する（ステップＳ９４３）。
　所定の被写体（信号機など）を検出した場合（ステップＳ９４３：Ｙｅｓ）、信号処理部３００は、イネーブル信号ＥＮ＿ＡおよびＥＮ＿Ｂをオフ状態に設定し、イネーブル信号ＥＮ＿ＣおよびＥＮ＿Ｄをオン状態に設定する（ステップＳ９４４）。また、固体撮像素子２００は、ＲＯＩについて４相の画素信号を読み出す（ステップＳ９４５）。信号処理部３００は、所定の点滅被写体を検出したか否かを判断する（ステップＳ９４６）。
　所定の被写体を検出していない場合（ステップＳ９４３：Ｎｏ）、または、点滅被写体を検出していない場合（ステップＳ９４６：Ｎｏ）、撮像装置１００は、ステップＳ９４１以降を繰り返す。
　点滅被写体を検出した場合（ステップＳ９４６：Ｙｅｓ）、信号処理部３００は、点滅被写体の画像認識を行って、その認識結果を出力する（ステップＳ９４７）。ステップＳ９４７の後に撮像装置１００は、モード５の動作を終了する。
　このように、本技術の第１の実施の形態では、カメラ制御部３１２が４つの露光期間のそれぞれに亘って画素を順に露光させ、それらの露光期間の長さに応じた周期で点滅するフリッカ成分をフリッカ成分抽出部３１１が抽出する。このため、画像認識部３１５は、そのフリッカ成分のみに基づいて画像認識を行うことができる。これにより、フリッカ成分以外の外乱を含む画素信号に基づいて画像認識を行う場合と比較して、ロバスト性を向上させることができる。
　［第１の変形例］
　上述の第１の実施の形態では、画素ごとに浮遊拡散層２２３を配置していたが、画素数が多くなるほど、画素アレイ部２１２の回路規模が増大してしまう。この第１の実施の形態の第１の変形例は、浮遊拡散層２２３を複数の画素で共有する点において第１の実施の形態と異なる。
　図１５は、本技術の第１の実施の形態の第１の変形例におけるＦＤ共有ブロック２３０の一構成例を示すブロック図である。この第１の実施の形態の第１の変形例では、画素アレイ部２１２において、複数のＦＤ共有ブロック２３０が配列される。
　ＦＤ共有ブロック２３０には、光電変換素子２２１、転送トランジスタ２２２、浮遊拡散層２２３、リセットトランジスタ２２４、増幅トランジスタ２２５および選択トランジスタ２２６を備える。また、ＦＤ共有ブロック２３０には、光電変換素子２２７および転送トランジスタ２２８がさらに配置される。光電変換素子２２７の感度は、光電変換素子２２１と同じとする。
　光電変換素子２２１、転送トランジスタ２２２、浮遊拡散層２２３、リセットトランジスタ２２４、増幅トランジスタ２２５および選択トランジスタ２２６の接続構成は、第1の実施の形態と同様である。
　転送トランジスタ２２２は、転送信号ＴＲＴａ＿ｎに従って、光電変換素子２２１から浮遊拡散層２２３へ電荷を転送する。また、転送トランジスタ２２８は、転送信号ＴＲＴｂ＿ｎに従って、光電変換素子２２７から浮遊拡散層２２３へ電荷を転送する。
　同図に例示したように、浮遊拡散層２２３は、２画素により共有される。光電変換素子２２１、転送トランジスタ２２２、浮遊拡散層２２３、リセットトランジスタ２２４、増幅トランジスタ２２５および選択トランジスタ２２６は、２画素のうち一方として機能する。また、光電変換素子２２７、転送トランジスタ２２８、浮遊拡散層２２３、リセットトランジスタ２２４、増幅トランジスタ２２５および選択トランジスタ２２６は、２画素のうち他方として機能する。なお、ＦＤ共有ブロック２３０内の２画素の一方は、特許請求の範囲に記載の隣接画素の一例である。
　２画素が浮遊拡散層２２３を共有するため、共有しない第１の実施の形態と比較して、画素当たりの素子数を少なくし、画素アレイ部２１２の回路規模を削減することができる。また、転送トランジスタ２２２および２２８の２つにより、画素ごとに異なる露光期間を設定することができる。
　なお、浮遊拡散層２２３を共有する画素数を２画素としているが、３画素以上の画素で浮遊拡散層２２３を共有することもできる。
　図１６は、本技術の第１の実施の形態の第１の変形例における撮像動作の一例を示すタイミングチャートである。
　同図において、ラインＬ１乃至ＬＮのそれぞれは、第１の実施の形態と異なり、ＦＤ共有ブロック２３０のラインを表す。前述したようにＦＤ共有ブロック２３０内には浮遊拡散層２２３を共有する２画素が配置されている。それらの２画素の一方に露光期間ＥＸＰ１、ＥＸＰ２およびＥＸＰ５が設定され、他方に露光期間ＥＸＰ３、ＥＸＰ４およびＥＸＰ６が設定される。露光期間ＥＸＰ６は、露光期間ＥＸＰ５よりも短く、通常画像の生成に用いられる。また、露光期間ＥＸＰ３は、露光期間ＥＸＰ１内に開始され、露光期間ＥＸＰ４は、露光期間ＥＸＰ２内に開始される。
　例えば、ｎライン目において、タイミングＴ６１から、１０ミリ秒（ｍｓ）後のタイミングＴ６３までが露光期間ＥＸＰ１ｎに設定される。タイミングＴ６１の５ミリ秒（ｍｓ）後のＴ６２から、その１０ミリ秒（ｍｓ）後のタイミングＴ６４までが露光期間ＥＸＰ３ｎに設定される。タイミングＴ６３から、１０ミリ秒（ｍｓ）後のタイミングＴ６５までが露光期間ＥＸＰ２ｎに設定される。タイミングＴ６４から、その１０ミリ秒（ｍｓ）後のタイミングＴ６６までが露光期間ＥＸＰ４ｎに設定される。
　また、タイミングＴ６６から約２０．５ミリ秒（ｍｓ）後のタイミングＴ６８までが露光期間ＥＸＰ５ｎに設定される。タイミングＴ６６の２．５ミリ秒（ｍｓ）後のタイミングＴ６７から約１８ミリ秒（ｍｓ）後のタイミングＴ６８までが露光期間ＥＸＰ６ｎに設定される。
　同図に例示するように、浮遊拡散層２２３を共有する２画素が、露光期間ＥＸＰ１乃至ＥＸＰ４の露光を平行して行うことにより、それらの露光を１画素で行う第１の実施の形態と比較して、通常画像の露光期間ＥＸＰ５を長くすることができる。
　また、タイミングＴ６８で、露光期間ＥＸＰ５の画素信号Ｉ５と、露光期間ＥＸＰ６の画素信号Ｉ６とを加算した信号が読み出される。なお、カラム信号処理回路２１４は、タイミングＴ６８で、画素信号Ｉ５と画素信号Ｉ６との一方のみを読み出すこともできる。あるいは、カラム信号処理回路２１４は、画素信号Ｉ５と、画素信号Ｉ６との両方を異なるタイミングで読み出すこともできる。画素信号Ｉ５およびＩ６の両方を読み出す場合、それらを信号処理部３００がＨＤＲ（High-Dynamic-Range）合成することにより、ダイナミックレンジを拡大することができる。また、シーンに応じて、画素信号Ｉ５およびＩ６の読出し方法を変更することもできる。
　また、光電変換素子２２１および２２７の感度を同一としているが、これらの感度は異なっていてもよい。光電変換素子２２１および２２７の感度が異なる場合には、フリッカ成分の抽出のための画素信号Ｉ１乃至Ｉ４については、感度差に応じて、それらを補正してから式２が実行される。
　図１７は、本技術の第１の実施の形態の第１の変形例における読出しの際のトランジスタの制御の一例を示すタイミングチャートである。カラム信号処理回路２１４はタイミングＴ７１乃至Ｔ７３とタイミングＴ７５乃至Ｔ７７とにおいてｎライン目を読み出し、並行して、タイミングＴ７３乃至Ｔ７５とタイミングＴ７７以降とにおいて、ｎ＋１ライン目を読み出すものとする。
　Ｖデコーダ２１１は、タイミングＴ７１乃至Ｔ７３に亘ってハイレベルの選択信号ＳＥＬ＿ｎをｎライン目へ供給する。また、Ｖデコーダ２１１は、タイミングＴ７１から所定のパルス期間に亘って、ハイレベルのリセット信号ＲＳＴ＿ｎをｎライン目へ供給する。続いてＶデコーダ２１１は、タイミングＴ７２から所定のパルス期間に亘って、ハイレベルの転送信号ＴＲＴａ＿ｎをｎライン目へ供給する。
　また、Ｖデコーダ２１１は、タイミングＴ７３から一定期間に亘ってハイレベルの選択信号ＳＥＬ＿ｎ＋１をｎ＋１ライン目へ供給する。また、Ｖデコーダ２１１は、タイミングＴ７３から所定のパルス期間に亘って、ハイレベルのリセット信号ＲＳＴ＿ｎ＋１をｎ＋１ライン目へ供給する。続いてＶデコーダ２１１は、タイミングＴ７４から所定のパルス期間に亘って、ハイレベルの転送信号ＴＲＴａ＿ｎ＋１をｎ＋１ライン目へ供給する。
　続いて、Ｖデコーダ２１１は、タイミングＴ７５乃至Ｔ７７に亘ってハイレベルの選択信号ＳＥＬ＿ｎをｎライン目へ供給する。また、Ｖデコーダ２１１は、タイミングＴ７５から所定のパルス期間に亘って、ハイレベルのリセット信号ＲＳＴ＿ｎをｎライン目へ供給する。続いてＶデコーダ２１１は、タイミングＴ７６から所定のパルス期間に亘って、ハイレベルの転送信号ＴＲＴｂ＿ｎをｎライン目へ供給する。
　また、Ｖデコーダ２１１は、タイミングＴ７７から一定期間に亘ってハイレベルの選択信号ＳＥＬ＿ｎ＋１をｎ＋１ライン目へ供給する。また、Ｖデコーダ２１１は、タイミングＴ７７から所定のパルス期間に亘って、ハイレベルのリセット信号ＲＳＴ＿ｎ＋１をｎ＋１ライン目へ供給する。続いてＶデコーダ２１１は、タイミングＴ７８から所定のパルス期間に亘って、ハイレベルの転送信号ＴＲＴｂ＿ｎ＋１をｎ＋１ライン目へ供給する。
　このように、本技術の第１の実施の形態の第１の変形例によれば、複数の画素が浮遊拡散層２２３を共有するため、共有しない第１の実施の形態と比較して、画素当たりの素子数を削減することができる。また、浮遊拡散層２２３を共有する２画素が、露光期間ＥＸＰ１乃至ＥＸＰ４の露光を平行して行うことにより、それらの露光を１画素で行う第１の実施の形態と比較して、通常画像の露光期間ＥＸＰ５を長くすることができる。
　［第２の変形例］
　上述の第１の実施の形態では、行ごとに、露光期間ＥＸＰ１乃至ＥＸＰ４で露光を行っていたが、この構成では、それらの露光期間について、並行して露光を行うことができない。この第１の実施の形態の第２の変形例の撮像装置１００は、偶数行と奇数行とで並行して露光を行う点において第１の実施の形態と異なる。
　図１８は、本技術の第１の実施の形態の第２の変形例における撮像動作の一例を示すタイミングチャートである。奇数行（Ｌｎなど）について、露光期間ＥＸＰ１、ＥＸＰ２およびＥＸＰ５が設定され、偶数行（Ｌｎ＋１など）について、露光期間ＥＸＰ３、ＥＸＰ４およびＥＸＰ６が設定される。
　例えば、ｎライン目において、タイミングＴ６１から、１０ミリ秒（ｍｓ）後のタイミングＴ６３までが露光期間ＥＸＰ１ｎに設定される。タイミングＴ６１の５ミリ秒（ｍｓ）後のＴ６２から、その１０ミリ秒（ｍｓ）後のタイミングＴ６４までが露光期間ＥＸＰ２ｎに設定される。また、ｎ＋１ライン目において、タイミングＴ６３から、１０ミリ秒（ｍｓ）後のタイミングＴ６５までが露光期間ＥＸＰ３ｎ＋１に設定される。タイミングＴ６４から、その１０ミリ秒（ｍｓ）後のタイミングＴ６６までが露光期間ＥＸＰ４ｎ＋１に設定される。
　また、ｎライン目において、タイミングＴ６６から約２０．５ミリ秒（ｍｓ）後のタイミングＴ６８までが露光期間ＥＸＰ５ｎに設定される。ｎ＋１ライン目において、タイミングＴ６６の２．５ミリ秒（ｍｓ）後のタイミングＴ６７から約１８ミリ秒（ｍｓ）後のタイミングＴ６８までが露光期間ＥＸＰ６ｎ＋１に設定される。
　同図に例示するように、隣接する２ラインが、露光期間ＥＸＰ１乃至ＥＸＰ４の露光を平行して行うことにより、それらの露光を１ラインで行う第１の実施の形態と比較して、通常画像の露光期間ＥＸＰ５を長くすることができる。
　なお、第１の実施の形態と、その第１および第２の変形例とにおいて、露光期間ＥＸＰ１乃至ＥＸＰ４のそれぞれの長さを点滅周期の半周期としているが、この構成に限定されない。露光期間ＥＸＰ１乃至ＥＸＰ４を点滅周期の半周期より短くすることもできる。この場合は、フリッカ成分を抽出する演算の誤差が大きくなるが、飽和信号レベルを上昇させることができる。
　また、第１の実施の形態と、その第１および第２の変形例とにおいて、フリッカ成分の抽出と通常画像の撮像とを同じ画素を用いて行っているが、この構成に限定されない。例えば、第１の実施の形態において、画素アレイ部２１２上の画素を、通常画像のための画素である通常画素と、フリッカ成分を抽出するための画素である抽出画素とに分けることもできる。ただし、第１の変形例では、通常画素ごとに、フリッカ成分を抽出するために、浮遊拡散層２２３を共有する２つの抽出画素が配置される。同様に第２の実施の形態にいても、通常画素のラインごとに、抽出画素を配列した奇数ラインおよび偶数ラインが設けられる。
　また、第１の実施の形態と、その第１および第２の変形例とにおいて、画素ごと、あるいは、２画素ごとに、信号処理部３００がフリッカ成分を抽出していたが、この構成に限定されない。信号処理部３００は、ある画素に着目して、フリッカ成分を抽出する場合、その着目画素の画素信号と、着目画素の近傍の近傍画素の画素信号とに基づいてフリッカ成分を抽出することもできる。
　また、第１の実施の形態と、その第１および第２の変形例とにおいて信号処理部３００は、１枚の画像データ（すなわち、フレーム）からフリッカ成分を抽出していたが、この構成に限定されない。信号処理部３００は、信頼性を向上させるために、連続する複数枚のフレームからフリッカ成分を抽出することもできる。例えば、フレームごとに、検出対象の点滅周波数を切り替えることができる。より具体的には、信号機を認識する場合、奇数フレームで１００ヘルツ（Ｈｚ）のものを認識対象とし、奇数フレームで１２０ヘルツ（Ｈｚ）のものを認識対象とする。そして、信号処理部３００は、それぞれのフレームの認識結果の少なくとも一方で信号機と認識した際に、その認識結果を最終的な結果として出力する。
　また、第１の実施の形態と、その第１および第２の変形例とにおいて信号処理部３００は、被写体となる交通インフラ（信号機や道路表示器など）の点滅周波数を、それぞれに固有のもの（信号機の色ごとなど）に割り振ることもできる。これにより、信号処理部３００は、点滅光源の被写体認識や状態認識を行うこともできる。
　このように、本技術の第１の実施の形態の第２の変形例によれば、隣接する２ラインが、露光期間ＥＸＰ１乃至ＥＸＰ４の露光を平行して行うため、それらの露光を１ラインで行う場合と比較して、通常画像の露光期間ＥＸＰ５を長くすることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、夜間での撮影を想定していなかったが、撮像装置は、赤外光を照射し、その反射光から赤外線画像を生成することもできる。この第２の実施の形態の撮像装置は、波長の異なる２つの赤外光を照射して、それらの反射光から赤外線画像を生成する点において第１の実施の形態と異なる。
　図１９は、本技術の第２の実施の形態における撮像装置１０１の一構成例を示すブロック図である。この第２の実施の形態の撮像装置１０１では、赤外光光源１２１および１２２と、ドライバ１３１および１３２と、デュアルバンドパスフィルタ１４０とをさらに備える点において第１の実施の形態と異なる。
　赤外光光源１２１および１２２は、互いに異なる波長の赤外光を照射するものである。これらの赤外光光源１２１および１２２として、例えば、ＬＥＤ（light emitting diode）が用いられる。また、赤外光光源１２１は、例えば、９４０ナノメートル（ｎｍ）の赤外光を照射し、赤外光光源１２１は、例えば、８５０ナノメートル（ｎｍ）の赤外光を照射する。
　ドライバ１３１および１３２は、信号処理部３００からの制御信号に従って、赤外光光源１２１および１２２を駆動するものである。信号処理部３００からの制御信号は、例えば、赤外光の強度や、オンオフを指示する信号を含む。
　デュアルバンドパスフィルタ１４０は、撮像レンズ１１０と固体撮像素子２００との間に配置される。このデュアルバンドパスフィルタ１４０は、可視光の帯域と、赤外光の帯域とを透過する。赤外光の帯域内には、赤外光光源１２１および１２２のそれぞれからの赤外光の波長が含まれる。
　また、固体撮像素子２００は、赤外光光源１２１からの赤外光を光電変換した画像と、赤外光光源１２２からの赤外光を光電変換した画像とのそれぞれを生成して信号処理部３００に供給する。
　信号処理部３００は、固体撮像素子２００からの２つの画像の差分演算を行い、それらを合成する。
　なお、撮像装置１０１は、赤外光を照射しているが、赤外光以外の不可視光（紫外光など）を照射することもできる。赤外光光源１２１および１２２は、特許請求の範囲に記載の第１および第２の光源の一例である。
　図２０は、本技術の第２の実施の形態における撮像装置１０１の外観図の一例である。同図に例示するように、撮像装置１０１の所定の平面上に、一定の間隔を空けて赤外光光源１２１と赤外光光源１２２とが配置される。そして、それらの光源を結ぶ線分の中間に、撮像レンズ１１０が配置される。この撮像レンズ１１０の背面に、固体撮像素子２００（不図示）が配置される。言い換えれば、赤外光光源１２１および１２２は、固体撮像素子２００を挟んで略点対称な位置に配置される。ここで、「略点対称」とは、完全に点対称な位置に配置されていること、あるいは、点対称な位置からのズレが所定の許容範囲内であることを意味する。
　図２１は、本技術の第２の実施の形態におけるデュアルバンドパスフィルタ１４０の特性の一例を示すグラフである。同図における縦軸は、デュアルバンドパスフィルタ１４０の透過率を示し、横軸は波長を示す。同図に例示するように、デュアルバンドパスフィルタ１４０は、４００乃至７００ナノメートル（ｎｍ）の可視光の帯域と、８００乃至１００ナノメートル（ｎｍ）の赤外光の帯域とを透過する。
　図２２は、本技術の第２の実施の形態における画素アレイ部２１２の一構成例を示す平面図である。この第２の実施の形態の画素アレイ部２１２には、可視光画素２４１乃至２４３と、赤外光画素２４４および２４５とが配列される。
　可視光画素２４１は、Ｒ（Red）の可視光を受光する画素である。可視光画素２４２は、Ｇ(Green)の可視光を受光する画素である。可視光画素２４３は、Ｂ(Blue)の可視光を受光する画素である。また、赤外光画素２４４は、９４０ナノメートル（ｎｍ）の赤外光を選択的に遮断するフィルタを介して、８５０ナノメートル（ｎｍ）の赤外光を受光する画素である。赤外光画素２４５は、８５０ナノメートル（ｎｍ）の赤外光を選択的に遮断するフィルタを介して、９４０ナノメートル（ｎｍ）の赤外光を受光する画素である。
　なお、赤外光画素２４４および２４５は、特許請求の範囲に記載の第１および第２の不可視光画素の一例である。
　例えば、可視光画素２４１乃至２４３は、２行×２列の４画素ごとにＧの画素を１画素だけ空けたベイヤー配列により配列される。空いた画素には、赤外光画素２４４や２４５が配列される。
　図２３は、本技術の第２の実施の形態における固体撮像素子２００の断面図の一例である。同図は、光軸に平行な所定の平面により固体撮像素子２００を切断した際の断面図を示す。デュアルバンドパスフィルタ１４０を上側として、そのフィルタの下部には、マイクロレレンズ４１１乃至４１５が配置される。
　マイクロレンズ４１１の下部には、青色を透過するカラーフィルタ４２３が形成される。マイクロレンズ４１２の下部には、緑色を透過するカラーフィルタ４２２が形成される。マイクロレンズ４１３乃至４１５の下部には、赤色を透過するカラーフィルタ４２１が形成される。
　カラーフィルタ４２３および４２２の下部と、カラーフィルタ４２１のうちマイクロレンズ４１３に対応する箇所の下部とには、８５０ナノメートル（ｎｍ）の赤外光を選択的に遮断する赤外光遮断フィルタ４２４が形成される。カラーフィルタ４２１のうちマイクロレンズ４１４および４１５に対応する箇所の下部には、青色を透過するカラーフィルタ４２５が形成される。
　赤外光遮断フィルタ４２４の下部と、カラーフィルタ４２５のうちマイクロレンズ４１４に対応する箇所の下部とには、９４０ナノメートル（ｎｍ）の赤外光を選択的に遮断する赤外光遮断フィルタ４２６が形成される。カラーフィルタ４２５のうちマイクロレンズ４１５に対応する箇所の下部には、８５０ナノメートル（ｎｍ）の赤外光を選択的に遮断する赤外光遮断フィルタ４２７が形成される。
　そして、赤外光遮断フィルタ４２６のうちマイクロレンズ４１１に対応する箇所の下部には、青色を受光する可視光画素２４３が形成される。赤外光遮断フィルタ４２６のうちマイクロレンズ４１２に対応する箇所の下部には、緑色を受光する可視光画素２４２が形成される。赤外光遮断フィルタ４２６のうちマイクロレンズ４１３に対応する箇所の下部には、赤色を受光する可視光画素２４１が形成される。
　また、赤外光遮断フィルタ４２６のうちマイクロレンズ４１４に対応する箇所の下部には、８５０ナノメートル（ｎｍ）の赤外光を受光する赤外光画素２４４が形成される。赤外光遮断フィルタ４２７の下部には、９４０ナノメートル（ｎｍ）の赤外光を受光する赤外光画素２４５が形成される。
　同図に例示するように、カラーフィルタ４２３を透過した青色の可視光は、赤外光遮断フィルタ４２４および４２６により赤外光が除去されて可視光画素２４３に入力される。カラーフィルタ４２２を透過した緑色の可視光は、赤外光遮断フィルタ４２４および４２６により赤外光が除去されて可視光画素２４２に入力される。カラーフィルタ４２１を透過した赤色の可視光は、赤外光遮断フィルタ４２４および４２６により赤外光が除去されて可視光画素２４１に入力される。
　また、カラーフィルタ４２１および４２５を透過した赤外光は、赤外光遮断フィルタ４２６により、９４０ナノメートル（ｎｍ）の赤外光が除去され、残りの８５０ナノメートル（ｎｍ）の赤外光が赤外光画素２４４に入力される。カラーフィルタ４２１および４２５を透過した赤外光は、赤外光遮断フィルタ４２７により、８５０ナノメートル（ｎｍ）の赤外光が除去され、残りの９４０ナノメートル（ｎｍ）の赤外光が赤外光画素２４５に入力される。
　図２４は、本技術の第２の実施の形態における赤外光遮断フィルタの特性の一例を示すグラフである。同図におけるａは、赤外光遮断フィルタ４２４の特性の一例を示すグラフである。同図におけるｂは、赤外光遮断フィルタ４２６の特性の一例を示すグラフである。同図におけるａおよびｂの縦軸は、それぞれのフィルタの透過率を示し、横軸は波長を示す。
　同図におけるａに例示するように赤外光遮断フィルタ４２４によって８５０ナノメートル（ｎｍ）の赤外光が選択的に遮断される。また、同図におけるｂに例示するように、赤外光遮断フィルタ４２６によって９４０ナノメートル（ｎｍ）の赤外光が選択的に遮断される。なお、赤外光遮断フィルタ４２４および４２６は、特許請求の範囲に記載の第１および第２の不可視光遮断フィルタの一例である。
　図２５は、本技術の第２の実施の形態における信号処理部３００の一構成例を示すブロック図である。この第２の実施の形態の信号処理部３００は、カメラ制御部３２１、補間処理部３２２、補間処理部３２３、色信号処理部３２４、差分処理部３２５、合成部３２６および輝度合成部３２７を備える。
　カメラ制御部３２１は、固体撮像素子２００とドライバ１３１および１３２とを制御するものである。
　補間処理部３２２は、固体撮像素子２００の可視光画素２４１乃至２４３からのＲ、ＧおよびＢの画素信号を色信号として受け取る。この補間処理部３２２は、赤外光画素２４４および２４５の座標の色信号を、その近傍の色信号を用いて補間する。補間処理部３２２は、補間後の色信号を色信号処理部３２４に供給する。
　色信号処理部３２４は、補間処理後の色信号に対して、ホワイトバランス補正処理などの様々な信号処理を行うものである。この色信号処理部３２４は、信号処理後の色信号を配列したカラー画像を合成部３２６に供給する。
　補間処理部３２３は、固体撮像素子２００の赤外光画素２４４および２４５からの画素信号を赤外光信号として受け取る。この補間処理部３２３は、赤外光画素２４４の赤外光信号に基づいて、例えば、赤外光画素２４４以外の座標の赤外光信号を補間する。また、補間処理部３２３は、赤外光画素２４５の赤外光信号に基づいて、例えば、赤外光画素２４５以外の座標の赤外光信号を補間する。
　ここで、補間処理部３２３は、赤外光画素２４４および２４５のそれぞれについて、それらの座標以外の全画素の座標の赤外光信号を補間することができる。また、補間処理部３２３は、赤外光画素２４４について、赤外光画素２４５の座標の赤外光信号のみを補間するとともに、赤外光画素２４５について、赤外光画素２４４の座標の赤外光信号のみを補間することもできる。これらの補間処理により、赤外光信号を配列した２枚の赤外光画像が生成される。補間処理部３２３は、これらの２枚の赤外光画像を差分処理部３２５および輝度合成部３２７に供給する。
　差分処理部３２５は、補間処理後の２枚の赤外光画像について、画素ごとに、赤外光信号の差分を演算するものである。この差分処理部３２５は、差分の絶対値を配列した差分画像を輝度合成部３２７に供給する。
　輝度合成部３２７は、補間処理後の２枚の赤外光画像と、差分画像とを合成するものである。この輝度合成部３２７は、合成後の赤外光画像を合成部３２６に供給しつつ、外部に出力する。
　合成部３２６は、色信号処理部３２４からのカラー画像と輝度合成部３２７からの赤外光画像とを合成するものである。この合成部３２６は、例えば、カラー画像におけるＲ、ＧおよびＢの色信号を、画素ごとに、輝度信号とＣｂおよびＣｒの色信号とにＹＣ分離する。そして、合成部３２６は、赤外光画像の赤外光信号により、分離後の輝度信号を置き換える。合成部３２６は、置き換え後の輝度信号と色信号とを配列した画像をカラー画像として外部に出力する。あるいは、合成部３２６は、Ｒ、ＧおよびＢの信号に再度変換してから出力する。
　ここで、赤外光光源１２１および１２２の一方のみを固体撮像素子２００の近傍に配置し、その光源からの赤外光に対する反射光から赤外光画像を生成する装置を比較例として想定する。
　図２６は、比較例における赤外光画像５００の一例を示す図である。例えば、円筒の被写体が撮像されたものとする。この被写体の背景と、被写体とのそれぞれの赤外光の反射率が同程度である場合、同図に例示するように被写体のコントラストが不明瞭となってしまう。
　図２７は、本技術の第２の実施の形態における合成前後の画像の一例を示す図である。同図におけるａは、８５０ナノメートル（ｎｍ）の赤外光の画像５０１の一例を示す。同図におけるｂは、９４０ナノメートル（ｎｍ）の赤外光の画像５０２の一例を示す。同図におけるｃは、差分画像５０３を示し、同図におけるｄは、輝度合成部３２７からの出力画像５０４を示す。
　８５０ナノメートル（ｎｍ）の赤外光が左側から照射され、９４０ナノメートル（ｎｍ）の赤外光が右側から照射された場合、同図におけるａおよびｂに例示するように、左右対称な画像５０１および５０２が生成される。同図におけるｃに例示するように差分処理部３２５は、これらの画像５０１および５０２の差分画像５０３を生成する。そして、同図におけるｄに例示するように輝度合成部３２７は、画像５０１およ５０２の輝度と、差分画像５０３とを合成して出力画像５０４を生成する。この出力画像５０４では、被写体の陰影がはっきりと表れており、比較例よりもコントラストが明瞭となる。言い換えれば、コントラストが向上する。
　図２８は、比較例における別の赤外光画像５１０を示す図である。例えば、壁の微小な凹凸が撮像されたものとする。凹凸と、背景の壁とのそれぞれの赤外光の反射率が同程度である場合、同図に例示するように凹凸が不明瞭となってしまう。
　図２９は、本技術の第２の実施の形態における合成前後の画像の別の例を示す図である。同図におけるａは、８５０ナノメートル（ｎｍ）の赤外光の画像５１１の一例を示す。同図におけるｂは、９４０ナノメートル（ｎｍ）の赤外光の画像５１２の一例を示す。同図におけるｃは、差分画像５１３を示し、同図におけるｄは、輝度合成部３２７からの出力画像５０４を示す。
　同図におけるａおよびｂに例示するように、左右対称な画像５１１および５１２が生成される。同図におけるｃに例示するように差分処理部３２５は、差分画像５１３を生成し、同図におけるｄに例示するように輝度合成部３２７は、出力画像５１４を生成する。この出力画像５１４では、凹凸の陰影がはっきりと表れており、比較例よりもコントラストが明瞭となる。
　次に撮像装置１００を自動車の搭載する際の取り付け個所の例について説明する。
　図３０は、本技術の第２の実施の形態における車体側面への撮像装置１００の取り付け位置の一例を示す図である。同図におけるａは、撮像装置１００をドアミラー付近に取り付ける場合の位置を示す図である。同図におけるｂは、赤外光光源１２１および１２２と固体撮像素子２００とを別々に取り付ける場合の位置を示す図である。
　同図におけるｂに例示するように、例えば、固体撮像素子２００は前後のドアの中間に配置され、赤外光光源１２１は前側のドアの端部に、赤外光光源１２２は後ろ側のドアの端部に配置される。このように、赤外光光源１２１および１２２と固体撮像素子２００とを信号処理部３００と独立して取り付けることにより、赤外光光源１２１および１２２の間隔を大きくとることができる。これにより、陰影をさらに明瞭にし、画質を向上させることができる。
　図３１は、本技術の第２の実施の形態における車体側面への撮像装置１００の取り付け位置の別の例を示す図である。同図におけるａは、赤外光光源１２１および１２２と固体撮像素子２００とをドアの上部に取り付ける際の位置を示す図である。同図におけるｂは、赤外光光源１２１および１２２と固体撮像素子２００とを前後のドアの中間に縦方向に取り付ける際の位置を示す図である。
　図３２は、本技術の第２の実施の形態における車体前部への撮像装置１００の取り付け位置の一例を示す図である。同図におけるａは、赤外光光源１２１および１２２と固体撮像素子２００とをフロントガラスの車外側の面の上部に配置した場合の取り付け位置の一例を示す図である。同図におけるｂは、赤外光光源１２１および１２２と固体撮像素子２００とをヘッドライトの近傍に配置した場合の取り付け位置の一例を示す図である。
　図３３は、本技術の第２の実施の形態における車体後部への撮像装置１００の取り付け位置の一例を示す図である。同図におけるａは、赤外光光源１２１および１２２と固体撮像素子２００とをリアガラスの上部に配置した場合の取り付け位置の一例を示す図である。同図におけるｂは、赤外光光源１２１および１２２と固体撮像素子２００とをリアライトの近傍に配置した場合の取り付け位置の一例を示す図である。
　図３４は、本技術の第２の実施の形態における車体内部への撮像装置１００の取り付け位置の一例を示す図である。同図におけるａは、赤外光光源１２１および１２２と固体撮像素子２００とをフロントガラスの車内側の面の上部に配置した場合の取り付け位置の一例を示す図である。同図におけるｂは、赤外光光源１２１および１２２と固体撮像素子２００とをダッシュボード上に配置した場合の取り付け位置の一例を示す図である。
　図３５は、本技術の第２の実施の形態における車体内部への撮像装置１００の取り付け位置の別の例を示す図である。同図におけるａは、赤外光光源１２１および１２２と固体撮像素子２００とを車内の天井に配置した場合の取り付け位置の一例を示す図である。同図におけるｂは、撮像装置１００を運転席の前部の天井に配置した場合の取り付け位置の一例を示す図である。
　なお、赤外光光源１２１および１２２のそれぞれの波長を８５０ナノメートル（ｎｍ）およい９４０ナノメートル（ｎｍ）としているが、これら以外の波長を設定することもできる。
　また、２つの赤外光光源を配置しているが、照射する赤外光の波長の異なる３つ以上の赤外光光源を配置することもできる。３つの赤外光光源を配置する場合には、固体撮像素子２００に３種類の赤外光画素が配置され、それらの画素は互いに異なる波長の赤外光を受光する。そして、固体撮像素子２００は、赤外光画像ＩＭＧ１、ＩＭＧ２およびＩＭＧ３を生成し、ＩＭＧ１およびＩＭＧ２の差分画像と、ＩＭＧ２およびＩＭＧ３の差分画像と、ＩＭＧ１およびＩＭＧ３の差分画像とを生成して合成する。
　また、複数の固体撮像素子２００を配置することもできる。２つの固体撮像素子２００を配置する場合、それらの一方が赤外光光源１２１からの赤外光を受光し、他方が赤外光光源１２２からの赤外光を受光すればよい。
　このように、本技術の第２の実施の形態によれば、信号処理部３００は、赤外光光源１２１に対応する赤外光画像と、赤外光光源１２２に対応する赤外光画像との差分を求めるため、それらの一方のみと比較してコントラストを向上させるすることができる。
　［第１の変形例］
　上述の第２の実施の形態では、固体撮像素子２００は、可視光と赤外光との両方を受光していたが、この構成では、可視光画素２４１乃至２４３の間に赤外光画素２４４および２４５を配置する必要があり、赤外光画素の画素数が不足するおそれがある。この第２の実施の形態の第１の変形例の固体撮像素子２００は、赤外光のみを受光する点において第２の実施の形態と異なる。
　図３６は、本技術の第２の実施の形態の第１の変形例における画素アレイ部２１２の一構成例を示す平面図である。この第２の実施の形態の第１の変形例の画素アレイ部２１２は、赤外光画素２４４および２４５のみが配列される点において第２の実施の形態と異なる。同図に例示するように、可視光画素２４１乃至２４３を配置する必要がなくなるため、その分、赤外光画素の画素数を多くすることができる。
　図３７は、本技術の第２の実施の形態の第１の変形例における信号処理部３００の一構成例を示すブロック図である。この第２の実施の形態の第１の変形例の信号処理部３００は、カメラ制御部３２１、補間処理部３２３、差分処理部３２５および輝度合成部３２７を備える。
　第２の実施の形態の第１の変形例の補間処理部３２３は、赤外光画素２４４について、赤外光画素２４５の座標の赤外光信号のみを補間するとともに、赤外光画素２４５について、赤外光画素２４４の座標の赤外光信号のみを補間する。カメラ制御部３２１、差分処理部３２５および輝度合成部３２７の機能は、第２の実施の形態と同様である。
　なお、可視光の受光が不要となるため、デュアルバンドパスフィルタ１４０の代わりに、赤外光のみを透過するバンドパスフィルタを設けることもできる。
　このように、本技術の第２の実施の形態の第１の変形例によれば、固体撮像素子２００が赤外光のみを受光するため、可視光画素が不要となり、その分だけ赤外光画素の画素数を多くすることができる。
　［第２の変形例］
　上述の第２の実施の形態の第１の変形例では、撮像装置１０１が波長の異なる２つの赤外光を照射して受光していたが、この構成では、固体撮像素子２００内に赤外光遮断フィルタを形成する必要がある。この第２の実施の形態の第２の変形例の撮像装置１０１は、偏光方向の異なる２つの赤外光を照射する点において第２の実施の形態の第１の変形例と異なる。
　図３８は、本技術の第２の実施の形態の第２の変形例における撮像装置１０１の一構成例を示すブロック図である。この第２の実施の形態の第２の変形例の撮像装置１０１は、偏光フィルタ１５１および１５２をさらに備える点において第２の実施の形態の第１の変形例と異なる。
　偏光フィルタ１５１および１５２は、偏光方向が互いに異なる赤外光を透過するものである。例えば、偏光フィルタ１５１に対応する偏光方向は、偏光フィルタ１５２に対応する偏光方向と９０度異なる。なお、偏光フィルタ１５１および１５２は、特許請求の範囲に記載の第１および第２の偏光フィルタの一例である。
　赤外光光源１２１は、偏光フィルタ１５１を介して赤外光を照射し、赤外光光源１２２は、偏光フィルタ１５２を介して赤外光を照射する。なお、第２の実施の形態の第２の変形例の赤外光光源１２１および１２２のそれぞれの赤外光の波長は、同一である。このため、赤外光遮断フィルタ４２４や４２６を形成する必要がなくなる。
　図３９は、本技術の第２の実施の形態の第２の変形例におけるワイヤーグリッドフィルタの配置例を示す平面図である。画素アレイ部２１２の赤外光画素２４４（不図示）の上部にオンチップのワイヤーグリッドフィルタ４３１が配置される。また、赤外光画素２４４５（不図示）の上部にオンチップのワイヤーグリッドフィルタ４３２が配置される。
　ワイヤーグリッドフィルタ４３１は、偏光フィルタ１５１を介して照射された赤外光の反射光を透過し、ワイヤーグリッドフィルタ４３２は、偏光フィルタ１５２を介して照射された赤外光の反射光を透過する。なお、ワイヤーグリッドフィルタ４３１および４３２は、特許請求の範囲に記載の第１および第２のワイヤーグリッドフィルタの一例である。
　また、第２の実施の形態の第２の変形例の信号処理部３００は、偏光方向の異なる２枚の赤外光画像の差分を求めて、それらを合成する。これにより、１枚の赤外光画像のみを用いる場合と比較して、コントラストを向上させることができる。
　このように、本技術の第２の実施の形態の第２の変形例では、撮像装置１００が偏光方向の異なる２つの赤外光を照射して受光するため、波長の異なる２つの赤外光を受光する必要がなくなり、赤外光遮断フィルタの配置が不要となる。
　［第３の変形例］
　上述の第２の実施の形態の第１の変形例では、撮像装置１０１が波長の異なる２つの赤外光を照射して受光していたが、この構成では、固体撮像素子２００内に赤外光遮断フィルタを形成する必要がある。この第２の実施の形態の第３の変形例の撮像装置１０１は、赤外光光源１２１および１２２が異なるタイミングで点灯する点において第２の実施の形態の第１の変形例と異なる。
　図４０は、本技術の第２の実施の形態の第３の変形例における画素アレイ部２１２の一構成例を示す平面図である。この第２の実施の形態の第３の変形例における画素アレイ部２１２は、赤外光画素２５１および２５２が配列される点において第２の実施の形態の第１の変形例と異なる。
　図４１は、本技術の第２の実施の形態の第３の変形例における撮像動作の一例を示すタイミングチャートである。赤外光光源１２１および１２２は、同じ波長の赤外光を異なるタイミングで照射する。赤外光の波長が同一であるため、赤外光遮断フィルタ４２４や４２６を形成する必要がなくなる。
　垂直同期信号ＶＳＹＮＣは、タイミングＴ７１、Ｔ７３、Ｔ７５などに供給される。例えば、タイミングＴ７１乃至Ｔ７３の期間のうちタイミングＴ７２からＴ７３の期間内の赤外光光源１２１のみが点灯する。そして、次のタイミングＴ７３乃至Ｔ７５の期間のうちタイミングＴ７４からＴ７５の期間内に赤外光光源１２２のみが点灯する。以下、同様に、赤外光光源１２１および１２２は、垂直同期信号ＶＳＹＮＣに同期して交互に点灯する。
　固体撮像素子２００は、赤外光光源１２１の点灯中に赤外光画素２５１を露光し、赤外光光源１２２の点灯中に赤外光画素２５２を露光する。例えば、タイミングＴ７１乃至Ｔ７３の露光期間ＥＸＰａにおいて最初のラインの赤外光画素２５１が露光される。２ライン目以降は、順に露光され、タイミングＴ７２乃至Ｔ７４の露光期間ＥＸＰａにおいて最後のラインの赤外光画素２５１が露光される。
　また、例えば、タイミングＴ７３乃至Ｔ７５の露光期間ＥＸＰｂにおいて最初のラインの赤外光画素２５２が露光される。２ライン目以降は、順に露光され、タイミングＴ７４乃至Ｔ７６の露光期間ＥＸＰｂにおいて最後のラインの赤外光画素２５２が露光される。
　信号処理部３００の処理内容は、第２の実施の形態の第１の変形例と同様である。
　なお、第２の実施の形態と、その第１、第２および第３の変形例とでは、撮像装置１００は、ローリングシャッター方式を用いているが、グローバルシャッター方式を用いることもできる。
　また、画素を赤外光画素２５１と赤外光画素２５２とに分けて、露光期間ＥＸＰａおよびＥＸＰｂで並列に露光しているが、この構成に限定されない。赤外光画素２５１のみを配列し、露光期間ＥＸＰａおよびＥＸＰｂで順に露光させることもできる。ただし、この場合には、露光期間ＥＸＰａ内に、露光期間ＥＸＰｂを開始することができないため、フレームレートが低下してしまう。
　このように、本技術の第２の実施の形態の第３の変形例では、赤外光光源１２１および１２２は、同じ波長の赤外光を異なるタイミングで照射するため、波長の異なる２つの赤外光を受光する必要がなくなり、赤外光遮断フィルタの配置が不要となる。
　＜３．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４３は、撮像部１２０３１の設置位置の例を示す図である。
　図４３では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、例えば、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、フリッカを除去してより見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）長さが同一の複数の露光期間のそれぞれに亘って画素を順に露光させて複数の画素信号を生成させる制御部と、
　前記長さに応じた周期で点滅するフリッカ成分を前記複数の画素信号から抽出するフリッカ成分抽出部と
を具備する撮像装置。
（２）前記画素と前記画素に隣接する隣接画素とは、浮遊拡散層を共有する
前記（１）記載の撮像装置。
（３）前記制御部は、前記複数の露光期間と異なる露光期間に亘って前記隣接画素を露光させる
前記（２）記載の撮像装置。
（４）前記画素は、隣接する２つのラインのそれぞれに配置され、
　前記制御部は、前記複数の露光期間のうち特定の露光期間に亘って前記２つのラインの一方を露光させ、前記複数の露光期間のうち前記特定の露光期間と異なる露光期間に亘って前記２つのラインの他方を露光させる
前記（１）記載の撮像装置。
（５）前記複数の露光期間は、対応する露光期間の位相が１８０度異なる２つの画素信号を含み、
　前記フリッカ成分抽出部は、前記２つの画素信号の差分に基づいて前記フリッカ成分を抽出する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記制御部は、長さが同一の４つの露光期間のそれぞれに亘って前記画素を順に露光させて４つの画素信号を生成させる
前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記４つの露光期間のいずれかの位相に対して残りの３つの位相は、それぞれ９０度、１８０度、および、２７０度異なる
前記（６）記載の撮像装置。
（８）前記制御部は、前記４つの露光期間と長さが異なる露光期間に亘って前記画素をさらに露光させて新たな画素信号を生成させる
前記（６）または（７）に記載の撮像装置。
（９）前記新たな画像信号を配列した通常画像と前記フリッカ成分とを合成して合成画像を生成する画像合成部をさらに具備する
前記（８）記載の撮像装置。
（１０）前記フリッカ成分を配列した点滅被写体に対して画像認識を行う点滅被写体認識部をさらに具備する
前記（９）記載の撮像装置。
（１１）前記合成画像に対して画像認識を行う画像認識部をさらに具備する
前記（１０）記載の撮像装置。
（１２）前記制御部は、前記フリッカ成分抽出部および前記点滅被写体認識部を停止させ、前記画像認識により所定の被写体が検出された場合には、前記フリッカ成分抽出部および前記点滅被写体認識部を動作させる
前記（１１）記載の撮像装置。
（１３）前記制御部は、前記フリッカ成分抽出部および前記点滅被写体認識部を停止させ、前記画像認識により所定の被写体が検出された場合には、前記画像合成部および前記画像認識部を停止させつつ前記フリッカ成分抽出部および前記点滅被写体認識部を動作させる
前記（１１）記載の撮像装置。
（１４）不可視光を照射する第１および第２の光源と、
　前記第１の光源からの前記不可視光を光電変換した第１の画像と前記第２の光源からの前記不可視光を光電変換した第２の画像との差分を演算する信号処理部と
を具備する撮像装置。
（１５）前記第１の光源からの前記不可視光を光電変換する第１の不可視光画素と前記第２の光源からの前記不可視光を光電変換する第２の不可視光画素とを配列した画素アレイ部をさらに具備する
前記（１４）記載の撮像装置。
（１６）前記画素アレイ部には、可視光を光電変換する可視光画素がさらに配列される
前記（１５）記載の撮像装置。
（１７）前記第１の光源からの前記不可視光を遮断する第１の不可視光遮断フィルタと前記第２の光源からの前記不可視光を遮断する第２の不可視光遮断フィルタとをさらに具備し、
　前記第１の不可視光画素は、前記第２の不可視光遮断フィルタを介して前記不可視光を受光し、前記第２の不可視光画素は、前記第１の不可視光遮断フィルタを介して前記不可視光を受光し、
　前記第１の光源からの前記不可視光と前記第２の光源からの前記不可視光とのそれぞれの波長は異なる
前記（１５）または（１６）に記載の撮像装置。
（１８）偏光方向の異なる不可視光を透過する第１および第２の偏光フィルタと、
　前記第１の光源からの前記不可視光の偏光成分を透過して前記第１の不可視光画素に導く第１のワイヤーグリッドフィルタと前記第２の光源からの前記不可視光の偏光成分を透過して前記第２の不可視光画素に導く第２のワイヤーグリッドフィルタとをさらに具備し、
　前記第１の光源からの前記不可視光は、前記第１の偏光フィルタを介して照射され、前記第２の光源からの前記不可視光は、前記第２の偏光フィルタを介して照射される
前記（１４）記載の撮像装置。
（１９）前記第１および第２の画像を生成する固体撮像素子をさらに具備し、
　前記第１および第２の光源は、異なるタイミングで点灯し、
　前記固体撮像素子は、前記第１の光源が点灯する期間内に前記不可視光を光電変換して前記第１の画像を生成し、前記第２の光源が点灯する期間内に前記不可視光を光電変換して前記２の画像を生成する
前記（１４）記載の撮像装置。
　１００、１０１　撮像装置
　１１０　撮像レンズ
　１２１、１２２　赤外光光源
　１３１、１３２　ドライバ
　１４０　デュアルバンドパスフィルタ
　１５１、１５２　偏光フィルタ
　２００　固体撮像素子
　２１１　Ｖデコーダ
　２１２　画素アレイ部
　２１３　タイミング制御回路
　２１４　カラム信号処理回路
　２１５　Ｈデコーダ
　２２０　画素
　２２１、２２７　光電変換素子
　２２２、２２８　転送トランジスタ
　２２３　浮遊拡散層
　２２４　リセットトランジスタ
　２２５　増幅トランジスタ
　２２６　選択トランジスタ
　２３０　ＦＤ共有ブロック
　２４１～２４３　可視光画素
　２４４、２４５、２５１、２５２　赤外光画素
　３００　信号処理部
　３１０　ラインバッファ
　３１１　フリッカ成分抽出部
　３１２、３２１　カメラ制御部
　３１３　画像合成部
　３１４　画像処理部
　３１５　画像認識部
　３１６　点滅被写体認識部
　３２２、３２３　補間処理部
　３２４　色信号処理部
　３２５　差分処理部
　３２６　合成部
　３２７　輝度合成部
　４１１～４１５　マイクロレンズ
　４２１～４２３、４２５　カラーフィルタ
　４２４、４２６、４２７　赤外光遮断フィルタ
　４３１、４３２　ワイヤーグリッドフィルタ
　１２０３１　撮像部

Claims (19)

  1. 　長さが同一の複数の露光期間のそれぞれに亘って画素を順に露光させて複数の画素信号を生成させる制御部と、
    　前記長さに応じた周期で点滅するフリッカ成分を前記複数の画素信号から抽出するフリッカ成分抽出部と
    を具備する撮像装置。
  2. 　前記画素と前記画素に隣接する隣接画素とは、浮遊拡散層を共有する
    請求項１記載の撮像装置。
  3. 　前記制御部は、前記複数の露光期間と異なる露光期間に亘って前記隣接画素を露光させる
    請求項２記載の撮像装置。
  4. 　前記画素は、隣接する２つのラインのそれぞれに配置され、
    　前記制御部は、前記複数の露光期間のうち特定の露光期間に亘って前記２つのラインの一方を露光させ、前記複数の露光期間のうち前記特定の露光期間と異なる露光期間に亘って前記２つのラインの他方を露光させる
    請求項１記載の撮像装置。
  5. 　前記複数の露光期間は、対応する露光期間の位相が１８０度異なる２つの画素信号を含み、
    　前記フリッカ成分抽出部は、前記２つの画素信号の差分に基づいて前記フリッカ成分を抽出する
    請求項１記載の撮像装置。
  6. 　前記制御部は、長さが同一の４つの露光期間のそれぞれに亘って前記画素を順に露光させて４つの画素信号を生成させる
    請求項１記載の撮像装置。
  7. 　前記４つの露光期間のいずれかの位相に対して残りの３つの位相は、それぞれ９０度、１８０度、および、２７０度異なる
    請求項６記載の撮像装置。
  8. 　前記制御部は、前記４つの露光期間と長さが異なる露光期間に亘って前記画素をさらに露光させて新たな画素信号を生成させる
    請求項６記載の撮像装置。
  9. 　前記新たな画像信号を配列した通常画像と前記フリッカ成分とを合成して合成画像を生成する画像合成部をさらに具備する
    請求項８記載の撮像装置。
  10. 　前記フリッカ成分を配列した点滅被写体に対して画像認識を行う点滅被写体認識部をさらに具備する
    請求項９記載の撮像装置。
  11. 　前記合成画像に対して画像認識を行う画像認識部をさらに具備する
    請求項１０記載の撮像装置。
  12. 　前記制御部は、前記フリッカ成分抽出部および前記点滅被写体認識部を停止させ、前記画像認識により所定の被写体が検出された場合には、前記フリッカ成分抽出部および前記点滅被写体認識部を動作させる
    請求項１１記載の撮像装置。
  13. 　前記制御部は、前記フリッカ成分抽出部および前記点滅被写体認識部を停止させ、前記画像認識により所定の被写体が検出された場合には、前記画像合成部および前記画像認識部を停止させつつ前記フリッカ成分抽出部および前記点滅被写体認識部を動作させる
    請求項１１記載の撮像装置。
  14. 　不可視光を照射する第１および第２の光源と、
    　前記第１の光源からの前記不可視光を光電変換した第１の画像と前記第２の光源からの前記不可視光を光電変換した第２の画像との差分を演算する信号処理部と
    を具備する撮像装置。
  15. 　前記第１の光源からの前記不可視光を光電変換する第１の不可視光画素と前記第２の光源からの前記不可視光を光電変換する第２の不可視光画素とを配列した画素アレイ部をさらに具備する
    請求項１４記載の撮像装置。
  16. 　前記画素アレイ部には、可視光を光電変換する可視光画素がさらに配列される
    請求項１５記載の撮像装置。
  17. 　前記第１の光源からの前記不可視光を遮断する第１の不可視光遮断フィルタと前記第２の光源からの前記不可視光を遮断する第２の不可視光遮断フィルタとをさらに具備し、
    　前記第１の不可視光画素は、前記第２の不可視光遮断フィルタを介して前記不可視光を受光し、前記第２の不可視光画素は、前記第１の不可視光遮断フィルタを介して前記不可視光を受光し、
    　前記第１の光源からの前記不可視光と前記第２の光源からの前記不可視光とのそれぞれの波長は異なる
    請求項１５記載の撮像装置。
  18. 　偏光方向の異なる不可視光を透過する第１および第２の偏光フィルタと、
    　前記第１の光源からの前記不可視光の偏光成分を透過して前記第１の不可視光画素に導く第１のワイヤーグリッドフィルタと前記第２の光源からの前記不可視光の偏光成分を透過して前記第２の不可視光画素に導く第２のワイヤーグリッドフィルタとをさらに具備し、
    　前記第１の光源からの前記不可視光は、前記第１の偏光フィルタを介して照射され、前記第２の光源からの前記不可視光は、前記第２の偏光フィルタを介して照射される
    請求項１４記載の撮像装置。
  19. 　前記第１および第２の画像を生成する固体撮像素子をさらに具備し、
    　前記第１および第２の光源は、異なるタイミングで点灯し、
    　前記固体撮像素子は、前記第１の光源が点灯する期間内に前記不可視光を光電変換して前記第１の画像を生成し、前記第２の光源が点灯する期間内に前記不可視光を光電変換して前記２の画像を生成する
    請求項１３記載の撮像装置。
PCT/JP2020/047637 2020-03-23 2020-12-21 撮像装置 WO2021192459A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-050458 2020-03-23
JP2020050458A JP2021150877A (ja) 2020-03-23 2020-03-23 撮像装置

Publications (1)

Publication Number Publication Date
WO2021192459A1 true WO2021192459A1 (ja) 2021-09-30

Family

ID=77849558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047637 WO2021192459A1 (ja) 2020-03-23 2020-12-21 撮像装置

Country Status (2)

Country Link
JP (1) JP2021150877A (ja)
WO (1) WO2021192459A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148690A (ja) * 2004-11-22 2006-06-08 Toyota Central Res & Dev Lab Inc 撮像装置
JP2008011226A (ja) * 2006-06-29 2008-01-17 Kyocera Corp 撮像装置のフリッカ検出方法と装置
JP2008145386A (ja) * 2006-12-13 2008-06-26 Fujifilm Corp 距離画像取得装置及び方法
JP2008252357A (ja) * 2007-03-29 2008-10-16 Matsushita Electric Ind Co Ltd 暗視撮像装置及びヘッドライトモジュール
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2013031053A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP2015180864A (ja) * 2014-03-04 2015-10-15 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
JP2016127454A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2016167021A1 (ja) * 2015-04-13 2016-10-20 ソニー株式会社 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2019003675A1 (ja) * 2017-06-30 2019-01-03 ソニー株式会社 撮像装置とフリッカー補正方法およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148690A (ja) * 2004-11-22 2006-06-08 Toyota Central Res & Dev Lab Inc 撮像装置
JP2008011226A (ja) * 2006-06-29 2008-01-17 Kyocera Corp 撮像装置のフリッカ検出方法と装置
JP2008145386A (ja) * 2006-12-13 2008-06-26 Fujifilm Corp 距離画像取得装置及び方法
JP2008252357A (ja) * 2007-03-29 2008-10-16 Matsushita Electric Ind Co Ltd 暗視撮像装置及びヘッドライトモジュール
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2013031053A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP2015180864A (ja) * 2014-03-04 2015-10-15 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
JP2016127454A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2016167021A1 (ja) * 2015-04-13 2016-10-20 ソニー株式会社 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2019003675A1 (ja) * 2017-06-30 2019-01-03 ソニー株式会社 撮像装置とフリッカー補正方法およびプログラム

Also Published As

Publication number Publication date
JP2021150877A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
WO2020230660A1 (ja) 画像認識装置、固体撮像装置、および画像認識方法
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
WO2020230636A1 (ja) 画像認識装置および画像認識方法
WO2018012051A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7044107B2 (ja) 光センサ、及び、電子機器
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
JP7074136B2 (ja) 撮像装置とフリッカー補正方法およびプログラム
WO2020241336A1 (ja) 画像認識装置および画像認識方法
WO2021054198A1 (ja) 撮像デバイス、撮像システム及び撮像方法
WO2021060118A1 (ja) 撮像装置
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2021192459A1 (ja) 撮像装置
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
WO2020230635A1 (ja) 撮像装置および撮像方法
JPWO2020149094A1 (ja) 撮像装置、撮像システムおよび故障検出方法
WO2021002071A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022004441A1 (ja) 測距装置および測距方法
US11201997B2 (en) Solid-state imaging device, driving method, and electronic apparatus
WO2024004519A1 (ja) 情報処理装置及び情報処理方法
JP2022060730A (ja) 半導体装置、光学構造物

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927580

Country of ref document: EP

Kind code of ref document: A1