WO2021256095A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2021256095A1
WO2021256095A1 PCT/JP2021/016707 JP2021016707W WO2021256095A1 WO 2021256095 A1 WO2021256095 A1 WO 2021256095A1 JP 2021016707 W JP2021016707 W JP 2021016707W WO 2021256095 A1 WO2021256095 A1 WO 2021256095A1
Authority
WO
WIPO (PCT)
Prior art keywords
dvs
signal
unit
pixels
voltage
Prior art date
Application number
PCT/JP2021/016707
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/001,144 priority Critical patent/US20230217127A1/en
Publication of WO2021256095A1 publication Critical patent/WO2021256095A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617—Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • This disclosure relates to an imaging device and an imaging method.
  • Synchronous solid-state image sensors that image image data (frames) in synchronization with a synchronization signal such as a vertical synchronization signal are used in image pickup devices and the like.
  • image data can be acquired only every synchronization signal cycle (for example, 1/60 second), so faster processing can be performed in fields related to transportation and robots. It becomes difficult to respond when requested. Therefore, an asynchronous solid-state image sensor has been proposed in which a detection circuit for detecting in real time as an address event that the amount of light of the pixel exceeds a threshold value is provided for each pixel address.
  • Such a solid-state image sensor that detects an address event for each pixel is called a DVS (Dynamic Vision Sensor). Data can be generated and output much faster than a synchronous solid-state image sensor. Therefore, for example, in the field of transportation, it is possible to perform high-speed image recognition processing for people and obstacles to improve safety.
  • the power supply voltage fluctuates between the imaging period of the DVS image and the blank period of the DVS image. It may affect the AD characteristics used when acquiring the tuned image.
  • the present disclosure provides an image pickup device and an image pickup method capable of suppressing fluctuations in the power supply voltage.
  • a plurality of DVS pixels that output an output signal according to the amount of light and the corresponding DVS pixels corresponding to each of the plurality of DVS pixels.
  • a pixel array unit having a plurality of first circuits that output a detection signal indicating the occurrence of an address event when the output signal exceeds a predetermined threshold value.
  • a second circuit unit capable of consuming power corresponding to the plurality of DVS pixels and the plurality of first circuits according to a control signal, and a second circuit unit.
  • a control circuit having a first control period for driving the plurality of first circuits and a second control period for not driving, and controlling the second circuit unit to be driven during the second control period using the control signal.
  • an imaging device is provided.
  • the second circuit section is It may have a plurality of pixels that output an output signal according to the control signal.
  • Each of the plurality of pixels may output an output signal according to the applied voltage.
  • the second circuit section is Further, there may be a plurality of second circuits that output a detection signal indicating the occurrence of an address event when the output signal of the corresponding pixel exceeds a predetermined threshold value.
  • the power consumption of the second circuit unit can be adjusted according to the applied voltage.
  • a first voltage source for applying a voltage may be further provided in the second circuit unit according to the control signal.
  • the power consumption of the second circuit unit differs between the first potential to be applied and the second potential higher than the first potential.
  • the first voltage source may be capable of outputting a pulsed voltage that repeats a period of a first potential and a second potential higher than the first potential in response to the control signal.
  • Each of the plurality of second circuits may not exceed the predetermined threshold value at the first potential and may exceed the predetermined threshold value at the second potential.
  • the control unit can output a plurality of pulsed voltages, and changes the pulsed voltage pattern according to the power consumption of the plurality of DVS pixels and the plurality of first circuits. May be good.
  • the control unit may change the pulsed voltage pattern according to the number of address events detected by the plurality of first circuits at a predetermined time interval.
  • the control unit may change the pulsed voltage pattern according to the number of address events detected by the plurality of first circuits having a read order of several lines from the end.
  • the power consumption of the second circuit unit can be adjusted according to the applied voltage.
  • a first voltage source for applying a voltage to the second circuit unit according to the control signal and a second voltage source having a lower potential than the first voltage source are further provided.
  • the power consumption of the second circuit unit may differ depending on the potential difference between the potential of the first voltage source and the potential difference of the second voltage source.
  • Each of the plurality of pixels is connected between the first voltage source and the second voltage source, and the predetermined threshold value is determined according to the potentials of the first voltage source and the second voltage source.
  • the number of the plurality of pixels exceeding the above may be controllable.
  • the pixel array unit further includes a plurality of gradation pixels for gradation.
  • a DVS image based on the output signals of the plurality of DVS pixels and It may be possible to generate a gradation image based on the output signals of the plurality of gradation pixels.
  • the plurality of DVS pixels may be arranged in a matrix in the pixel array unit, and an output signal may be read out according to the row order of the pixel array unit.
  • the second control period may correspond to a vertical blank period of the plurality of DVS pixels.
  • the second control period may correspond to the horizontal blank period of the plurality of DVS pixels.
  • An imaging method is provided in which a plurality of DVS pixels and a second circuit unit capable of consuming power corresponding to the plurality of first circuits are driven during the second control period.
  • the block diagram which shows an example of the structure of the image apparatus to which the technique which concerns on this disclosure is applied.
  • the figure which shows an example of the laminated structure of a solid-state image sensor.
  • the block diagram which shows the structural example of the solid-state image sensor.
  • the figure which shows typically the pixel block and the adjustment pixel block arranged in a matrix.
  • the block diagram which shows the structural example of the AD conversion part.
  • the block diagram which shows the structural example of the DVS read circuit.
  • the figure which shows the composition example of the gradation pixel The figure which shows the structural example of the pixel for DVS.
  • the block diagram which shows the 1st configuration example of AFE for DVS.
  • Circuit diagram showing an example of the configuration of a subtractor and a quantizer The block diagram which shows the 2nd configuration example of AFE for DVS.
  • FIG. 3 is a diagram showing a configuration example of a pixel for DVS according to Modification 3 of the first embodiment.
  • the figure which shows the structural example of the image pickup element which concerns on 2nd Embodiment The block diagram which shows the schematic configuration example of the vehicle control system which is an example of the mobile body control system to which the technique which concerns on this disclosure can be applied.
  • FIG. 1 is a block diagram showing a configuration example of an image pickup apparatus 100 according to an embodiment of the present technology.
  • the image pickup device 100 includes an image pickup lens 110, a solid-state image pickup element 200, a recording unit 120, and a control unit 130.
  • As the image pickup apparatus 100 a camera mounted on a wearable device, an in-vehicle camera, or the like is assumed.
  • the image pickup lens 110 collects the incident light and guides it to the solid-state image pickup element 200.
  • the solid-state image sensor 200 has a DVS pixel and a gradation pixel. Further, the solid-state image sensor 200 can detect as an address event that the absolute value of the amount of change in luminance in the DVS pixel exceeds the threshold value. This address event includes, for example, an on event indicating that the amount of increase in luminance exceeds the upper limit threshold value and an off event indicating that the amount of decrease in luminance is below the lower limit threshold value less than the upper limit threshold value. Then, the solid-state image sensor 200 generates a detection signal indicating the detection result of the address event for each pixel for DVS.
  • Each detection signal includes an on-event detection signal VCH indicating the presence or absence of an on-event and an off-event detection signal VCL indicating the presence or absence of an off-event.
  • the solid-state image sensor 200 detects the presence / absence of both on-event and off-event, but it is also possible to detect only one of them.
  • the DVS pixel according to the present embodiment can output a DVS luminance signal in addition to the detection signal. As a result, a first DVS image based on the detection signal of the DVS pixel and a second DVS image based on the luminance signal of the DVS pixel are configured.
  • the gradation pixel outputs a gradation luminance signal.
  • a gradation image is configured based on the gradation luminance signal output by the gradation pixels.
  • the image based on the detection signal of the DVS pixel is referred to as the first DVS image
  • the image based on the brightness signal of the DVS pixel is referred to as the second DVS image
  • the gradation brightness output by the gradation pixel is referred to.
  • An image based on a signal is called a gradation image.
  • the solid-state image sensor 200 executes predetermined signal processing such as image recognition processing on the first DVS image, the second DVS image, and the gradation image, and the data after the processing is transmitted to the recording unit 120 via the signal line 209. And output.
  • predetermined signal processing such as image recognition processing on the first DVS image, the second DVS image, and the gradation image
  • the recording unit 120 records data from the solid-state image sensor 200.
  • the control unit 130 controls the solid-state image sensor 200 to capture image data.
  • FIG. 2 is a diagram showing an example of a laminated structure of the solid-state image pickup device 200 according to the embodiment of the present technology.
  • the solid-state image sensor 200 includes a detection chip 202 and a light receiving chip 201 laminated on the detection chip 202. These boards are electrically connected via a connection such as a via. In addition to vias, it can also be connected by Cu-Cu bonding or bumps.
  • FIG. 3 is a block diagram showing a configuration example of the solid-state image sensor 200.
  • the solid-state image sensor 200 according to the present disclosure is a device capable of performing asynchronous type imaging called DVS and synchronous type imaging for gradation images in parallel.
  • the solid-state image sensor 200 includes a pixel array unit 30, a first access control circuit 211a, a second access control circuit 211b, an AD converter 212a, a DVS read circuit 212b, a first signal processing unit 213, and a first signal processing unit 213. It has two signal processing units 214, a time stamp generation circuit 215, a timing control circuit 216, and output interfaces 217 and 218.
  • FIG. 4 is a diagram schematically showing a pixel block 30a and an adjustment pixel block 30b arranged in a matrix in the pixel array unit 30.
  • a plurality of pixel blocks 30a and a plurality of adjustment pixel blocks 30b are two-dimensionally arranged in a matrix (array shape).
  • FIG. 5 is a diagram schematically showing the configuration of the pixel block 30a.
  • the pixel block 30a has a plurality of gradation pixels 308a, a DVS pixel 308b, and a DVS AFE (analog front end: Analog Front End) 314.
  • a plurality of gradation pixels 308a and DVS pixels 308b are arranged in a matrix.
  • a vertical signal line VSL1 which will be described later, is wired to each pixel array of the gradation pixels 308a with respect to this pixel array.
  • a vertical signal line VSL2 independent of the vertical signal line VSL1 is wired for each pixel row of the DVS pixel 308b.
  • Each of the plurality of gradation pixels 308a generates an analog signal having a voltage corresponding to the optical current as a gradation luminance signal, and outputs the analog signal to the AD converter 212a (see FIG. 3).
  • the DVS AFE314 corresponds to the first circuit.
  • the DVS pixel 308b outputs an analog signal having a voltage corresponding to the photocurrent to the DVS AFE314. Further, the DVS pixel 308b generates an analog signal having a voltage corresponding to the optical current as a DVS luminance signal, and outputs the analog signal to the DVS read circuit 212b (see FIG. 3) when an address event occurs.
  • the DVS AFE (Analog Front End) 314 generates a detection signal from a voltage signal based on the output of the DVS pixel 308b, and outputs the detection signal to the second signal processing unit 214 (see FIG. 3). More specifically, the DVS AFE314 detects the presence or absence of an address event depending on whether or not the amount of change in the photocurrent in the DVS pixel 308b exceeds a predetermined threshold value. Then, the DVS AFE314 outputs the detection signal to the second signal processing unit 214.
  • the AFE314 for DVS uses the detected active pixel address information (X, Y), time stamp information T, and address event information VCH, VCL, for example, event information (X, Y, T, VCH, VCL). Is output to the second signal processing unit 214.
  • the AFE314 for DVS is configured in the detection chip 202. These plurality of gradation pixels 308a, the DVS pixels 308b, and the DVS AFE314 can be operated in parallel by an independent control system. The detailed configurations of the gradation pixel 308a, the DVS pixel 308b, and the DVS AFE314 will be described later.
  • FIG. 6 is a diagram schematically showing the configuration of the adjustment pixel block 30b.
  • the adjustment pixel block 30b is a pixel block capable of controlling a voltage drop such as a power supply voltage VDD2 in the pixel array unit 30.
  • the adjustment pixel block 30b has a plurality of gradation pixels 308a, a dummy DVS pixel 308c, and a dummy DVS AFE316. That is, the adjustment pixel block 30b is configured with a dummy DVS pixel 308c instead of the DVS pixel 308b.
  • the dummy DVS pixel 308c is a pixel whose output signal can be controlled by a control signal without depending on the amount of received light.
  • the number of configurations of the dummy DVS pixel 308c and the dummy DVS AFE316 is set to one for each adjustment pixel block 30b, but the present invention is not limited to this.
  • the adjustment pixel block 30b may include a plurality of dummy DVS pixels 308c and a plurality of dummy DVS AFE316s.
  • the plurality of adjustment pixel blocks 30b according to the present embodiment correspond to the second circuit unit, and the dummy DVS pixels 308c correspond to the pixels.
  • the dummy DVS AFE316 detects the presence or absence of an address event depending on whether or not the amount of change in the voltage signal based on the output of the dummy DVS pixel 308c exceeds a predetermined threshold value.
  • the detection signal of the dummy DVS AFE316 of the adjustment pixel block 30b is controlled by the control signal for the dummy DVS pixel 308c. Further, the dummy DVS AFE316 is configured on the detection chip 202. The detailed configuration of the dummy DVS pixel 308c and the dummy DVS AFE316 will also be described later.
  • the first access control circuit 211a controls a plurality of gradation pixels 308a.
  • the first access control circuit 211a controls resetting of the stored charge of each of the plurality of gradation pixels 308a, generation of a gradation luminance signal according to the accumulated amount of photoelectric conversion current, output of the gradation luminance signal, and the like.
  • the first access control circuit 211a causes the AD converter 212a to output the photoelectric conversion currents accumulated in each of the plurality of gradation pixels 308a as gradation luminance signals in order for each row. The details of the control operation of the gradation pixel 308a will be described later.
  • the second access control circuit 211b controls a plurality of DVS AFE314, a plurality of dummy DVS pixels 308c, and a plurality of dummy DVS AFE316s.
  • the second access control circuit 211b causes a plurality of DVS AFE314s to detect address events in order for each row, and outputs a detection signal to the second signal processing unit 214 in order for each row. Further, the second access control circuit 211b causes the DVS read circuit 212b to sequentially output the luminance signal of the DVS pixel 308b in which the address event is detected line by line.
  • the second access control circuit 211b controls a plurality of dummy DVS AFE314s and adjusts a voltage drop such as a power supply voltage VDD.
  • the details of the control operation of the DVS AFE314, the dummy DVS pixel 308c, and the dummy DVS AFE316 will be described later.
  • the second access control circuit 211b according to the present embodiment corresponds to the control circuit.
  • FIG. 7 is a block diagram showing a configuration example of the AD converter 212a.
  • the AD converter 212a includes an ADC 230 for each row of gradation pixels 308a arranged for each of the pixel blocks 30a and 30b.
  • the ADC 230 converts the analog luminance signal SIG supplied via the vertical signal line VSL1 into a digital signal. This digital signal is converted into a digital pixel signal having a larger number of bits than the luminance signal SIG1 for gradation. For example, assuming that the luminance signal SIG1 for gradation is 2 bits, the pixel signal is converted into a digital signal having 3 bits or more (16 bits or the like).
  • the ADC 230 supplies the generated digital signal to the first signal processing unit 213.
  • FIG. 8 is a block diagram showing a configuration example of the DVS read circuit 212b.
  • the DVS reading circuit 212b includes an ADC 230 for each row of DVS pixels 308b arranged for each of the pixel blocks 30a and 30b.
  • the ADC 230 converts the analog luminance signal SIG2 for DVS supplied via the vertical signal line VSL2 into a digital signal. This digital signal is converted into a digital pixel signal having a larger number of bits than the DVS luminance signal SIG2. For example, assuming that the luminance signal SIG2 for DVS is 2 bits, the pixel signal is converted into a digital signal having 3 bits or more (16 bits or the like).
  • the ADC 230 supplies the generated digital signal to the second signal processing unit 214.
  • the first signal processing unit 213 executes predetermined signal processing such as CDS (Correlated Double Sampleting) processing and image recognition processing on the digital signal from the AD converter 212a. ..
  • the signal processing unit 212 supplies the data indicating the processing result and the detection signal to the recording unit 120 via the signal line 209.
  • the second signal processing unit 214 executes predetermined signal processing for the detection signals from the plurality of DVS AFE314s.
  • the second signal processing unit 214 for example, arranges the detected signals as pixel signals in a two-dimensional grid pattern to generate an image for the first DVS. Further, the second signal processing unit 214 generates a second DVS image based on the digital signal supplied from the DVS read circuit 212b. Then, the second signal processing unit 214 executes image processing such as image recognition processing on the first DVS image and the second DVS image.
  • the time stamp generation circuit 215 generates the time stamp information T and supplies it to each configuration of the solid-state image sensor 200. For example, the time stamp generation circuit 215 supplies the time stamp information T to a plurality of DVS AFE314s and a plurality of dummy DVS AFE316s.
  • the timing control circuit 216 controls the timing of each configuration of the solid-state image sensor 200. For example, the timing control circuit 216 controls the timing of the first access control circuit 211a and the second access control circuit 211b.
  • the output interface 217 outputs image data and the like supplied from the first signal processing unit 213 to the recording unit 120.
  • the output interface 218 outputs the image data and the like supplied from the second signal processing unit 214 to the recording unit 120.
  • FIG. 9 is a diagram showing a configuration example of the gradation pixel 308a.
  • the gradation pixel 308a includes a reset transistor 321, an amplification transistor 322, a selection transistor 323, a floating diffusion layer 324, and a light receiving unit 330.
  • the selection transistor 323 and the transfer transistor 3310 for example, an N-type MOS (Metal-Oxide-Semiconductor) transistor is used.
  • the photoelectric conversion element 311 is arranged on the light receiving chip 201. All of the elements other than the photoelectric conversion element 311 are arranged on the detection chip 202.
  • the photoelectric conversion element 311 photoelectrically converts the incident light to generate an electric charge.
  • the electric charge converted photoelectric by the photoelectric conversion element 311 is supplied to the floating diffusion layer 324 by the transfer transistor 3310 from the photoelectric conversion element 311.
  • the electric charge supplied from the photoelectric conversion element 311 is accumulated in the floating diffusion layer 324.
  • the floating diffusion layer 324 generates a voltage signal having a voltage value according to the amount of accumulated charge.
  • the amplification transistor 322 is connected in series with the selection transistor 323 between the power supply line of the power supply voltage VDD and the vertical signal line VSL1.
  • the amplification transistor 322 amplifies the charge-voltage-converted voltage signal in the stray diffusion layer 324.
  • a selection signal SEL is supplied to the gate electrode of the selection transistor 323 from the first access control circuit 211a.
  • the selection transistor 323 outputs the voltage signal amplified by the amplification transistor 322 as a pixel signal SIG to the AD converter 212a (see FIG. 3) via the vertical signal line VSL1.
  • FIG. 10 is a diagram showing a configuration example of the DVS pixel 308b.
  • Each of the plurality of DVS pixels 308b has a light receiving unit 31, a pixel signal generation unit 32, and a DVS AFE314.
  • the light receiving unit 31 has a light receiving element (photoelectric conversion element) 311, a transfer transistor 312, and an OFG (Over Flow Gate) transistor 313.
  • a light receiving element photoelectric conversion element
  • a transfer transistor 312 As the transfer transistor 312 and the OFG transistor 313, for example, an N-type MOS (Metal Oxide Semiconductor) transistor is used.
  • the transfer transistor 312 and the OFG transistor 313 are connected in series with each other.
  • the light receiving element 311 is connected between the common connection node N1 of the transfer transistor 312 and the OFG transistor 313 and the ground, and photoelectrically converts the incident light to generate a charge amount corresponding to the light amount of the incident light. ..
  • the transfer signal TRG is supplied to the gate electrode of the transfer transistor 312 from the second access control circuit 211b shown in FIG.
  • the transfer transistor 312 supplies the charge photoelectrically converted by the light receiving element 311 to the pixel signal generation unit 32 in response to the transfer signal TRG.
  • a control signal OFG is supplied from the second access control circuit 211b to the gate electrode of the OFG transistor 313.
  • the OFG transistor 313 supplies the electric signal generated by the light receiving element 311 to the DVS AFE 314 in response to the control signal OFG.
  • the electrical signal supplied to the DVS AFE314 is a photocurrent consisting of electric charges.
  • the pixel signal generation unit 32 has a reset transistor 321, an amplification transistor 322, a selection transistor 323, and a stray diffusion layer 324.
  • a reset transistor 321, an amplification transistor 322, a selection transistor 323, and a stray diffusion layer 324 As the reset transistor 321 and the amplification transistor 322 and the selection transistor 323, for example, an N-type MOS transistor is used.
  • the pixel signal generation unit 32 is supplied with the electric charge converted photoelectric by the light receiving element 311 by the transfer transistor 312 from the light receiving unit 31.
  • the electric charge supplied from the light receiving unit 31 is accumulated in the floating diffusion layer 324.
  • the floating diffusion layer 324 generates a voltage signal having a voltage value according to the amount of accumulated charge. That is, the floating diffusion layer 324 converts the electric charge into a voltage.
  • the reset transistor 321 is connected between the power supply line of the power supply voltage VDD and the stray diffusion layer 324.
  • a reset signal RST is supplied from the second access control circuit 211b to the gate electrode of the reset transistor 321.
  • the reset transistor 321 initializes (reset) the charge amount of the floating diffusion layer 324 in response to the reset signal RST.
  • the amplification transistor 322 is connected in series with the selection transistor 323 between the power supply line of the power supply voltage VDD and the vertical signal line VSL.
  • the amplification transistor 322 amplifies the charge-voltage-converted voltage signal in the stray diffusion layer 324.
  • a selection signal SEL is supplied to the gate electrode of the selection transistor 323 from the second access control circuit 211b.
  • the selection transistor 323 outputs the voltage signal amplified by the amplification transistor 322 as a pixel signal SIG to the DVS read circuit 212b (see FIG. 2) via the vertical signal line VSL.
  • the second access control circuit 211b is instructed by the control unit 13 shown in FIG. 1 to start detecting an address event. Then, by supplying the control signal OFG to the OFG transistor 313 of the light receiving unit 31, the OFG transistor 313 is driven to supply the optical current to the DVS AFE314.
  • the second access control circuit 211b turns off the OFG transistor 313 of the DVS pixel 308b and stops the supply of the photocurrent to the DVS AFE314. ..
  • the second access control circuit 211b drives the transfer transistor 312 by supplying the transfer signal TRG to the transfer transistor 312, and transfers the charge photoelectrically converted by the light receiving element 311 to the floating diffusion layer 324.
  • the image pickup apparatus 100 having the pixel array unit 30 in which the DVS pixels 308b having the above configuration are two-dimensionally arranged reads only the pixel signal of the DVS pixels 308b in which the address event is detected in the DVS readout circuit 212b. Output to.
  • the power consumption of the image pickup apparatus 100 and the processing amount of image processing can be reduced as compared with the case where the pixel signals of all the pixels are output regardless of the presence or absence of the address event.
  • the configuration of the DVS pixel 308b exemplified here is an example, and is not limited to this configuration example.
  • the OFG transistor 313 may be omitted in the light receiving unit 31, and the transfer transistor 312 may have the function of the OFG transistor 313.
  • FIG. 11 is a block diagram showing a first configuration example of AFE314 for DVS.
  • the DVS AFE314 according to this configuration example has a current / voltage conversion unit 331, a buffer 332, a subtractor 333, a quantizer 334, and a transfer unit 335.
  • the current / voltage conversion unit 331 converts the photocurrent from the light receiving unit 31 of the gradation pixel 308a into a logarithmic voltage signal.
  • the current-voltage conversion unit 331 supplies the converted voltage signal to the buffer 332.
  • the buffer 332 buffers the voltage signal supplied from the current-voltage conversion unit 331 and supplies it to the subtractor 333.
  • a row drive signal is supplied to the subtractor 333 from the second access control circuit 211b.
  • the subtractor 333 lowers the level of the voltage signal supplied from the buffer 332 according to the row drive signal. Then, the subtractor 333 supplies the voltage signal after the level drop to the quantizer 334.
  • the quantizer 334 quantizes the voltage signal supplied from the subtractor 333 into a digital signal and outputs it to the transfer unit 335 as an address event detection signal.
  • the transfer unit 335 transfers the detection signal of the address event supplied from the quantizer 334 to the second signal processing unit 214 or the like. When the address event is detected, the transfer unit 335 supplies the detection signal of the address event to the second signal processing unit 214 and the second access control circuit 211b.
  • FIG. 12 is a circuit diagram showing an example of the configuration of the current-voltage conversion unit 331 in the DVS AFE314.
  • the current-voltage conversion unit 331 according to this example has a circuit configuration including an N-type transistor 3311, a P-type transistor 3312, and an N-type transistor 3313.
  • transistors 3311 to 3313 for example, MOS transistors are used.
  • the N-type transistor 3311 is connected between the power supply line of the power supply voltage VDD and the signal input line 3314.
  • the P-type transistor 3312 and the N-type transistor 3313 are connected in series between the power supply line of the power supply voltage VDD and the ground.
  • the gate electrode of the N-type transistor 3311 and the input terminal of the buffer 332 shown in FIG. 11 are connected to the common connection node N2 of the P-type transistor 3312 and the N-type transistor 3313.
  • a predetermined bias voltage Vbias is applied to the gate electrode of the P-type transistor 3312.
  • the P-type transistor 3312 supplies a constant current to the N-type transistor 3313.
  • Photocurrent is input from the light receiving unit 31 to the gate electrode of the N-type transistor 3313 through the signal input line 3314.
  • the drain electrodes of the N-type transistor 3311 and the N-type transistor 3313 are connected to the power supply side, and such a circuit is called a source follower.
  • the photocurrent from the light receiving unit 31 is converted into a logarithmic voltage signal by these two source followers connected in a loop.
  • FIG. 13 is a circuit diagram showing an example of the configuration of the subtractor 333 and the quantizer 334 in the AFE314 for DVS.
  • the subtractor 333 has a configuration including a capacitance element 3331, an inverter circuit 3332, a capacitance element 3333, and a switch element 3334.
  • the capacitive element 3331 is connected to the output terminal of the buffer 332 shown in FIG. 11, and the other end is connected to the input terminal of the inverter circuit 3332.
  • the capacitive element 3333 is connected in parallel to the inverter circuit 3332.
  • the switch element 3334 is connected between both ends of the capacitive element 3333.
  • a row drive signal is supplied to the switch element 3334 from the second access control circuit 211b as an open / close control signal.
  • the switch element 3334 opens and closes a path connecting both ends of the capacitive element 3333 according to the row drive signal.
  • the inverter circuit 3332 inverts the polarity of the voltage signal input via the capacitive element 3331.
  • the voltage signal Vinit is input to the terminal on the buffer 332 side of the capacitive element 3331, and the terminal on the opposite side is the virtual ground terminal. Become. The potential of this virtual ground terminal is set to zero for convenience.
  • the charge Qinit stored in the capacitance element 3331 is expressed by the following equation (1), where the capacitance value of the capacitance element 3331 is C1.
  • the accumulated charge becomes zero.
  • Qinit C1 x Vinit ... (1)
  • the charge Q2 stored in the capacitance element 3333 is expressed by the following equation (3), where the capacitance value of the capacitance element 3333 is C2 and the output voltage is Vout.
  • Q2 -C2 x Vout ... (3)
  • Equation (5) represents the subtraction operation of the voltage signal, and the gain of the subtraction result is C1 / C2. Since it is usually desired to maximize the gain, it is preferable to design C1 to be large and C2 to be small. On the other hand, if C2 is too small, kTC noise may increase and noise characteristics may deteriorate. Therefore, the capacity reduction of C2 is limited to the range in which noise can be tolerated. Further, since the DVS AFE314 including the subtractor 333 is mounted on each DVS pixel 308b, the capacitive element 3331 and the capacitive element 3333 have an area limitation. In consideration of these, the capacitance values C1 and C2 of the capacitance elements 3331 and 3333 are determined.
  • the quantizer 334 is configured to have a comparator 3341.
  • the comparator 3341 has an output signal of the inverter circuit 3332, that is, a voltage signal from the subtractor 333 as a non-inverting (+) input, and a predetermined threshold voltage Vth as an inverting ( ⁇ ) input. Then, the comparator 3341 compares the voltage signal from the subtractor 333 with the predetermined threshold voltage Vth, and outputs a signal indicating the comparison result to the transfer unit 335 as an address event detection signal.
  • FIG. 14 is a block diagram showing a second configuration example of the DVS AFE14.
  • the DVS AFE314 according to this configuration example has a storage unit 336 and a control unit in addition to the current-voltage conversion unit 331, the buffer 332, the subtractor 333, the quantizer 334, and the transfer unit 335. It has a configuration having 337.
  • the storage unit 336 is provided between the quantizer 334 and the transfer unit 335, and based on the sample signal supplied from the control unit 337, the output of the quantizer 334, that is, the comparison result of the comparator 3341 is obtained. accumulate.
  • the storage unit 336 may be a sampling circuit such as a switch, plastic, or capacitance, or may be a digital memory circuit such as a latch or flip-flop.
  • the control unit 337 supplies a predetermined threshold voltage Vth to the inverting ( ⁇ ) input terminal of the comparator 3341.
  • the threshold voltage Vth supplied from the control unit 337 to the comparator 3341 may have different voltage values in time division.
  • the control unit 337 corresponds to the threshold voltage Vth1 corresponding to the on-event indicating that the amount of change in the optical current has exceeded the upper limit threshold value, and the off-event indicating that the amount of change has fallen below the lower limit threshold value.
  • the threshold voltage Vth2 By supplying the threshold voltage Vth2 to be performed at different timings, one comparator 3341 can detect a plurality of types of address events.
  • the storage unit 336 is, for example, a comparator using the threshold voltage Vth1 corresponding to the on-event during the period in which the threshold voltage Vth2 corresponding to the off-event is supplied from the control unit 337 to the inverted (-) input terminal of the comparator 3341.
  • the comparison result of 3341 may be accumulated.
  • the storage unit 336 may be inside the DVS pixel 308b or may be outside the DVS pixel 308b. Further, the storage unit 336 is not an essential component of the AFE314 for DVS. That is, the storage unit 336 may be omitted.
  • FIG. 15 is a diagram showing a configuration example of the dummy DVS pixel 308c.
  • the dummy DVS pixel 308c has a voltage-current converter 112.
  • the voltage-current converter 112 is, for example, an operational amplifier, one end of which is connected to the node N1 and the other end of which is connected to the first voltage source 115.
  • the voltage-current converter 112 converts the voltage supplied from the first voltage source 115 into a current, and supplies the voltage to the dummy DVS AFE316 via the OFG transistor 313.
  • the dummy DVS pixel 308c can directly supply the current corresponding to the control signal to the dummy DVS AFE316 using the voltage supplied from the first voltage source 1150 as the control signal.
  • the dummy DVS AFE316 has the same configuration as the DVS AFE314, and is different in that the address event is detected by the current supplied from the dummy DVS pixel 308c. With such a configuration, the dummy DVS AFE316 can be driven in the same manner as the DVS AFE314 by the voltage supplied from the first voltage source 1150.
  • FIG. 16 is a diagram showing a configuration example of a dummy DVS AFE316 connected to the first voltage source 1150.
  • each dummy DVS AFE316 is connected to the first voltage source 115.
  • each dummy DVS AFE316 is driven in the same manner as the DVS AFE314. This makes it possible for each dummy DVS AFE316 to reproduce the decrease in the power supply voltage VDD2 caused by driving the DVS AFE314.
  • the description of other configurations of the solid-state image sensor 200 is omitted.
  • FIG. 17 is a diagram showing an example of image pickup control by the timing control circuit 216.
  • the horizontal axis shows the time.
  • the times t1 to t5 indicate read start times t1 to t5 of each frame f1 to f5 of the pixel data for DVS.
  • an example of timing control by the timing control circuit 216 when a plurality of dummy DVS pixels 308c and a plurality of dummy DVS AFE316s are stopped will be described.
  • (A) is a schematic diagram showing the read start time of the pixel row in each frame f1 to f5 of the pixel data for DVS.
  • the vertical axis corresponds to the pixel row of the pixel array unit 30 (see FIG. 3).
  • the line L1 indicates the read start time of the pixel row in the first DVS image and the second DVS image. That is, the second access control circuit 211b causes the DVS AFE314 in the corresponding line to detect the address event according to the time indicated by the line L1 according to the timing control by the timing control circuit 216.
  • the DVS AFE314 in each line detects an address event, it outputs a signal including event information to the second signal processing unit 214.
  • the second signal processing unit 214 uses the detection signal of the DVS pixel 308b where the address event has occurred as an image signal, and generates a first DVS image in which the image signal is sequentially changed.
  • This first DVS image is, for example, a trivalent image.
  • the blank period according to this embodiment corresponds to the vertical blank period of the DVS pixel 308b.
  • the DVS AFE314 of each line detects an address event, it outputs a signal including address information to the second access control circuit 211b.
  • the second access control circuit 211b converts the DVS luminance signal from the DVS pixel 308b in which the address event has occurred into a digital signal via the DVS readout circuit 212b, and sequentially outputs the signal to the second signal processing unit 214. ..
  • the second signal processing unit 214 generates a second DVS image in which the image signal of the DVS pixel 308b where the address event has occurred is sequentially changed.
  • the lines L2 to L4 indicate the read start time of the pixel row of the frames f2 to f4.
  • one image data read from the pixel array unit 30 is referred to as a frame.
  • FIG. (B) shows an example of fluctuation of the power supply voltage VDD2 that drives a plurality of DVS pixels 308b and a plurality of DVS AFE314.
  • the vertical axis shows the voltage.
  • the voltage of the power supply voltage VDD2 drops during the period (DVS reaction period) during which the detection of the DVS AFE314 is performed.
  • FIG. (C) shows the read start time L14 of each pixel row of the plurality of gradation pixels 308a. That is, the first access control circuit 211a reads out the gradation luminance signal from the gradation pixel 308a for each pixel row according to the time indicated by the line L14 according to the timing control by the timing control circuit 216.
  • the Ad conversion period in which each pixel row is read corresponds to the period in which the AD converter 212a performs Ad conversion.
  • the AD converter 212a sequentially converts the luminance signal for gradation into a digital signal and supplies it to the first signal processing unit 213.
  • the first signal processing unit 213 When the gradation luminance signal of the all-gradation pixel 308a is supplied as a digital signal, the first signal processing unit 213 generates a gradation image and performs predetermined signal processing.
  • the voltage fluctuation shown in the figure (b) may be coupled with the AD converter 212a and cause deterioration of image quality such as generation of line-shaped noise in the gradation image.
  • FIG. 18 is a diagram showing an image pickup control example when each dummy DVS AFE316 is driven by the timing control circuit 216. Similar to FIG. 17, the horizontal axis indicates the time. Further, the times t1 to t5 indicate read start times t1 to t5 of each frame f1 to f5 of the pixel data for DVS.
  • the figure shows lines L1 to L5 indicating a pixel row read start time in each frame f1 to f5 of pixel data for DVS, and lines DL1 to DL4 indicating a period during which each dummy DVS AFE316 is driven.
  • the vertical axis corresponds to the pixel row of the pixel array unit 30 (see FIG. 3).
  • the line DL1 indicates a period during which each dummy DVS AFE316 is driven during the blank period of the interval between the line L1 and the line L2.
  • the lines DL2 to DL4 indicate the period during which each dummy DVS AFE316 is driven during each blank period.
  • the increase in the power supply voltage VDD2 can be reduced in the same manner as when each DVS AFE314 is driven. ..
  • FIG. 17 Figure shows an example of fluctuation of the power supply voltage VDD2.
  • the vertical axis shows the voltage.
  • the voltage increase during the blank period is suppressed. This makes it possible to suppress deterioration of the image quality of the gradation image caused by, for example, coupling with the power supply voltage VDD2. In particular, it is possible to suppress deterioration of image quality such as generation of line-shaped noise.
  • FIG. 19 is a diagram showing a voltage supply pattern of the first voltage source 115 during the blank period in FIG. 18A.
  • the horizontal axis indicates time.
  • the line-by-line synchronization signals Lt1 to Lt6 correspond to the line-by-line synchronization signals when acquiring the first DVS image and the second DVS image.
  • the second access control circuit 211b controls the first voltage source 115 in synchronization with the row-by-row synchronization signal.
  • the vertical axis indicates the voltage.
  • This voltage is set to a value detected by the dummy DVS AFE316 as an address event. Therefore, each dummy DVS AFE316 detects that an address event has occurred when the first voltage source 115 has a high potential. As a result, each dummy DVS pixel corresponding to each dummy DVS AFE316 drives the pixel signal generation unit 32 (see FIG. 15). Therefore, during the period when the first voltage source 115 has a high potential, the power consumption of the pixel signal generation unit 32 increases, and the power supply voltage VDD2 decreases.
  • the vertical axis indicates the voltage. This voltage is set to a value detected by the dummy DVS AFE316 as an address event.
  • the period during which the first voltage source 115 has a high potential is two-thirds of the power supply voltage pattern 1. Therefore, the period during which the pixel signal generation unit 32 (see FIG. 15) is driven is two-thirds of the power supply voltage pattern 1.
  • the decrease in the power supply voltage VDD2 becomes less than the power supply voltage pattern 1 on average during the blank period.
  • the image pickup apparatus 100 according to the first modification of the first embodiment consumes power by the dummy DVS pixels 308c and the dummy DVS AFE316 by controlling the potential difference between the first voltage source 115 and the second voltage source 117. It differs from the image pickup apparatus 100 according to the first embodiment in that the amount is controlled. Hereinafter, the differences from the image pickup apparatus 100 according to the first embodiment will be described.
  • FIG. 20 is a diagram schematically showing a control example of the dummy DVS AFE316 according to the first modification of the first embodiment.
  • the first voltage source 115 and the second voltage source 117 are arranged at both ends of the pixel array unit 30 (see FIG. 3).
  • the voltage-current conversion unit 112 (see FIG. 15) is connected between the first voltage source 115 and the second voltage source 117 via each dummy DVS pixel 308c. Therefore, the voltage 315 applied to each voltage / current conversion unit 112 is changed by the potential difference between the first voltage source 115 and the second voltage source 117.
  • the potential of the first voltage source 115 is set to a potential that causes the dummy DVS AFE316 to detect the occurrence of an address event.
  • the potential of the second voltage source 117 is set to a potential that does not cause the dummy DVS AFE316 to detect the occurrence of an address event.
  • the description of other configurations of the solid-state image sensor 200 is omitted.
  • the dummy DVS AFE316 connected to the first voltage source 115 side detects the occurrence of an address event
  • the dummy DVS AFE316 connected to the second voltage source 117 side detects the occurrence of an address event. It is possible to control the voltage so that it does not occur.
  • the number of dummy DVS AFE316s that detect the occurrence of an address event that is, the number of driven pixel signal generation units 32 (see FIG. 15) is controlled by controlling the potentials of the first voltage source 115 and the second voltage source 117.
  • the potentials of the first voltage source 115 and the second voltage source 117 it is possible to control the decrease in the power supply voltage VDD2 during the blank period.
  • the image pickup apparatus 100 according to the first embodiment can be controlled to drive the dummy DVS pixels 308c and the dummy DVS AFE316 even during the horizontal blank period. Is different from. Hereinafter, the differences from the image pickup apparatus 100 according to the first embodiment will be described.
  • FIG. 21 is a diagram schematically showing a control example of the dummy DVS pixel 308c and the dummy DVS AFE316 according to the second embodiment of the first embodiment.
  • the horizontal axis is time.
  • the line L190 includes periods R1 to Rn for driving each DVS pixel 308b and DVS AFE314 corresponding to each row of the pixel array unit 30 in synchronization with the horizontal synchronization signal HS, and dummy DVS pixels 308c and dummy DVS AFE316.
  • the H blank period Hb1 to Hbn to be driven is shown. That is, the H blank period Hb1 to Hbn corresponds to the horizontal blank period of the plurality of DVS pixels 308c.
  • the first voltage source 115 is set to a potential that causes Hb1 to Hbn to detect the occurrence of an address event during the H blank period.
  • the first voltage source 115 is set to a potential that causes Hb1 to Hbn to detect the occurrence of an address event during the H blank period.
  • the image pickup apparatus 100 according to the third modification of the first embodiment is different from the image pickup apparatus 100 according to the first embodiment in that only the image for the first DVS is generated.
  • the differences from the image pickup apparatus 100 according to the first embodiment will be described.
  • FIG. 22 is a block diagram showing a configuration example of the solid-state image sensor 200a according to the third modification of the first embodiment. As shown in FIG. 22, the solid-state image sensor 200a according to the present disclosure is different from the solid-state image sensor 200 according to the first embodiment in that it does not have the DVS readout circuit 212b.
  • FIG. 23 is a diagram showing a configuration example of the DVS pixel 308b according to the third modification of the first embodiment.
  • the DVS pixel 3080b according to the third modification of the first embodiment has a light receiving element 311.
  • it differs from the DVS pixel 308b according to the first embodiment in that it does not have the pixel signal generation unit 32 (see FIG. 10).
  • FIG. 24 is a diagram showing a configuration example of a dummy DVS pixel 3080c according to a modification 3 of the first embodiment.
  • the dummy DVS pixel 3080c has a voltage-current converter 112. Since the DVS pixel 3080c does not have the pixel signal generation unit 32 (see FIG. 15), the power supply voltage VDD2 does not fluctuate due to the drive of the pixel signal generation unit 32 (see FIG. 15). Therefore, it is possible to further reduce the period during which the first voltage source 115 has a high potential (see FIG. 19). As a result, fluctuations in the power supply voltage VDD2 can be suppressed while further suppressing the power consumption of the image pickup apparatus 100.
  • the image pickup apparatus 100 according to the second embodiment is different from the image pickup apparatus 100 according to the first embodiment in that the voltage generation pattern of the first voltage source 115 is changed according to the number of occurrences of address events.
  • the differences from the image pickup apparatus 100 according to the first embodiment will be described.
  • FIG. 25 is a diagram showing an example of fluctuation of the power supply voltage VDD2 when the dummy DVS pixel 308c and the dummy DVS AFE316 are uniformly driven during the blank period. Similar to FIG. 18, the horizontal axis indicates the time. Further, the times t1 to t5 indicate read start times t1 to t5 of each frame f1 to f5 of the pixel data for DVS. As shown in FIG. 25, the maximum value of the power supply voltage VDD2 may fluctuate periodically when the activation rate is high. For example, when the imaging scene is significantly changed. The maximum voltage of the mark M24 has not reached the voltage set value.
  • the ratio obtained by dividing the number of address events detected by each DVS AFE314 by the total number of DVS AFE314s is referred to as an activation rate.
  • the threshold value of AFE314 for DVS changes, resulting in an excessive (or too small) number of DVS reactions.
  • FIG. 26 is a diagram showing a configuration example of the solid-state image sensor 200 according to the second embodiment. As shown in FIG. 26, the solid-state image sensor 200 according to the second embodiment further includes a DVS counter unit 219.
  • the DVS counter unit 219 counts the number of address events detected by each DVS AFE314, and outputs the control voltage of the first voltage source 115 to the second access control circuit 211b. More specifically, the DVS counter unit 219 reduces the number of times the first voltage source 115 becomes high potential (see FIG. 19) as the number of counted address events increases. As a result, as the count of the number of address events increases, the power consumed by the dummy DVS pixel 308c and the dummy DVS AFE316 is reduced, and the power supply voltage VDD2 can stably reach the voltage set value. In this way, as the activation rate of the DVS pixel 308b (see FIG. 3) increases, the number of times that the first voltage source 115 becomes high potential is reduced, and the decrease in the power supply voltage VDD2 during the blank period is suppressed. As a result, the power supply voltage VDD2 can stably reach the voltage set value.
  • the fluctuation of the power supply voltage VDD2 in the time zone from the end of the pixel array unit 30 in the reading order to several lines has the greatest influence on the fluctuation of the power supply voltage VDD2 in the blank period. Therefore, even if the DVS counter unit 21 changes the pulsed voltage pattern according to the number of address events detected by each DVS AFE314 whose read order is several lines from the end of the pixel array unit 30. good.
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure refers to any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural machinery (tractors), and the like. It may be realized as a distance measuring device mounted on the body.
  • FIG. 27 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Control Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ringing, Laser Imaging Detection and Ranking) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 28 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the image pickup units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 28 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle outside information detection unit 7400 receives the detection information from the connected vehicle outside information detection unit 7420.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle outside information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 for detecting the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of a passenger sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-F).
  • GSM Global System of Mobile communications
  • WiMAX Wireless LAN
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-F wireless LAN
  • Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian, or a store, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 is, for example, a WAVE (Wireless Access in Vehicle Environment), which is a combination of the lower layer IEEE802.11p and the upper layer IEEE1609, DSRC (Dedicated Short Range Communication protocol), or a standard such as DSRC (Dedicated Short Range Communication) protocol. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-Pedestrian (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and executes positioning, and performs positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to one of the control units may be connected to the other control unit, and the plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the techniques according to the present disclosure include, for example, image pickup units 7910, 7912, 7914, 7916, 7918, vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930, and driver state detection. It can be applied to the part 7510 and the like. Specifically, the image pickup apparatus 100 of FIG. 1 in the present disclosure can be applied to these image pickup units and detection units.
  • the influence of noise events such as sensor noise can be mitigated, and the occurrence of true events can be detected reliably and quickly, thus realizing safe vehicle driving. It becomes possible to do.
  • a pixel array unit having a plurality of first circuits that output detection signals indicating the occurrence of an event, and A second circuit unit capable of consuming power corresponding to the plurality of DVS pixels and the plurality of first circuits according to a control signal, and a second circuit unit.
  • a control circuit having a first control period for driving the plurality of first circuits and a second control period for not driving, and controlling the second circuit unit to be driven during the second control period using the control signal.
  • an image pickup device having a first control period for driving the plurality of first circuits and a second control period for not driving, and controlling the second circuit unit to be driven during the second control period using the control signal.
  • the second circuit section is It has a plurality of pixels that output an output signal in response to the control signal.
  • each of the plurality of pixels outputs an output signal according to the applied voltage.
  • the second circuit section is A plurality of second circuits that output a detection signal indicating the occurrence of an address event when the output signal of the corresponding pixel exceeds a predetermined threshold value.
  • the power consumption of the second circuit unit can be adjusted according to the applied voltage.
  • the power consumption of the second circuit unit differs between the first potential to be applied and the second potential higher than the first potential.
  • the first voltage source can output a pulsed voltage that repeats a period of a first potential and a second potential higher than the first potential in response to the control signal, according to claim (5).
  • Imaging device can output a pulsed voltage that repeats a period of a first potential and a second potential higher than the first potential in response to the control signal, according to claim (5).
  • each of the plurality of second circuits does not exceed the predetermined threshold value at the first potential and exceeds the predetermined threshold value at the second potential.
  • the control unit can output a plurality of pulse-shaped voltages, and obtains the pulse-shaped voltage pattern according to the power consumption of the plurality of DVS pixels and the plurality of first circuits.
  • the image pickup apparatus according to (7) which is changed.
  • control unit changes the pulsed voltage pattern according to the number of address events detected by the plurality of first circuits at a predetermined time interval.
  • control unit changes the pulsed voltage pattern according to the number of address events detected by the plurality of first circuits having a read order of several lines from the end.
  • the power consumption of the second circuit unit can be adjusted according to the applied voltage.
  • a first voltage source for applying a voltage to the second circuit unit according to the control signal and a second voltage source having a lower potential than the first voltage source are further provided.
  • Each of the plurality of pixels is connected between the first voltage source and the second voltage source, and is described according to the potentials of the first voltage source and the second voltage source. 11. The image pickup apparatus according to (11), wherein the number of the plurality of pixels exceeding a predetermined threshold value can be controlled.
  • the pixel array unit further includes a plurality of gradation pixels for gradation.
  • a DVS image based on the output signals of the plurality of DVS pixels and
  • the image pickup apparatus according to any one of (1) to (12), which can generate a gradation image based on the output signals of the plurality of gradation pixels.
  • 30 Pixel array unit, 30b: Adjustable pixel block, 100: Image pickup device, 200: Solid-state image sensor, 211b: Second access control circuit, 308a: Gradation pixel 308ab: DVS pixel, 308c: Dummy DVS pixel, 314 : DVS AFE, 316: Dummy DVS AFE, 3080c: Dummy DVS pixel, 3080b: DVS pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

［課題］無駄なイベントを発生させるおそれがない。 ［解決手段］撮像装置は、光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、前記複数の光電変換素子のうちの所定領域のノイズレベルに応じて閾値を設定する設定部と、前記複数の光電変換素子で生成された前記電気信号の変化量が前記閾値を超えた場合に検出信号を検出する第１検出部と、を備える。

Description

撮像装置及び撮像方法
　本開示は、撮像装置及び撮像方法に関する。
　垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている。このように、画素毎にアドレスイベントを検出する固体撮像素子は、ＤＶＳ（Ｄｙｎａｍｉｃ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ）と呼ばれる。同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。
ＷＯ２０１９／０８７４７１号公報
　一方で、ＤＶＳ用画素で生成した検出信号に基づくＤＶＳ用画像より、より高精細な画像の表示も求められる場合がある。ところが、ＤＶＳ用画像とより高精細な階調用画像を同時に取得すると、ＤＶＳ用画像の撮像期間とＤＶＳ用画像のブランク期間とで電源電圧が変動し、この電源電圧の変動とのカップリングにより階調用画像を取得する際に用いるＡＤ特性に影響を与える恐れがある。
　そこで、本開示では、電源電圧の変動を抑制可能な撮像装置及び撮像方法を提供するものである。
　上記の課題を解決するために、本開示によれば、光量に応じた出力信号を出力する複数のＤＶＳ用画素と、前記複数のＤＶＳ用画素のそれぞれに対応し、対応する前記ＤＶＳ用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第１回路と、を有する画素アレイ部と、
　制御信号に応じて、前記複数のＤＶＳ用画素及び前記複数の第１回路に対応する電力消費を行うことが可能な第２回路部と、
　前記複数の第１回路を駆動する第１制御期間と、駆動しない第２制御期間を有し、前記制御信号を用いて前記第２制御期間に前記第２回路部を駆動する制御を行う制御回路と、　を備える、撮像装置が提供される。
　前前記第２回路部は、
　前記制御信号に応じて出力信号を出力する複数の画素を有してもよい。
　前記複数の画素のそれぞれは、印可される電圧に応じた出力信号を出力してもよい。
　前記第２回路部は、
　前記対応するの前記画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第２回路を、更に有してもよい。
　前記第２回路部は、印可される電圧に応じて消費電力を調整可能であり、
　前記制御信号に応じて、前記第２回路部に電圧を印可する第１電圧源を更に備えてもよい。
　前記第２回路部は、印可される第１電位と、前記第１電位よりも高い第２電位とで消費電力が異なり、
　前記第１電圧源は、前記制御信号に応じて、第１電位と、前記第１電位よりも高い第２電位の期間を繰り返すパルス状の電圧を出力可能であってもよい。
　複数の第２回路のそれぞれは、前記第１電位では、前記所定の閾値を超えず、前記第２電位では、前記所定の閾値を超えてもよい。
　前記制御部は、複数のパルス状の電圧を出力させることが可能であり、前記複数のＤＶＳ用画素及び前記複数の第１回路の消費電力に応じて前記パルス状の電圧のパターンを変更してもよい。
　前記制御部は、所定の時間間隔において前記複数の第１回路が検出するアドレスイベントの数に応じて、前記パルス状の電圧のパターンを変更してもよい。
　前記制御部は、読み出し順が最後から数行分の前記複数の第１回路が検出するアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更してもよい。
　前記第２回路部は、印可される電圧に応じて消費電力を調整可能であり、
　前記制御信号に応じて、前記第２回路部に電圧を印可する第１電圧源と、前記第１電圧源よりも電位の低い第２電圧源とを、更に備え、
　前記第２回路部は、前記第１電圧源の電位と、前記第２電圧源の電位差に応じて消費電力が異なってもよい。
　前記複数の画素のそれぞれは、前記第１電圧源と、前記第２電圧源との間に接続され、前記第１電圧源と、前記第２電圧源との電位に応じて、前記所定の閾値を超える前記複数の画素の数が制御可能であってもよい。
　前記画素アレイ部は、階調用の複数の階調用画素を更に備え、
　前記複数のＤＶＳ用画素の出力信号に基づくＤＶＳ用画像と、
　前記複数の階調用画素の出力信号に基づく階調用画像と、の生成が可能であってもよい。
　前記複数のＤＶＳ用画素は、前記画素アレイ部に行列状に配置され、前記画素アレイ部の行順に応じて、出力信号が読み出されてもよい。
　前記第２制御期間は、前記複数のＤＶＳ用画素の垂直ブランク期間に対応してもよい。
　前記第２制御期間は、前記複数のＤＶＳ用画素の水平ブランク期間に対応してもよい。
　本開示によれば、光量に応じた出力信号を出力する複数のＤＶＳ用画素と、前記複数のＤＶＳ用画素のそれぞれに対応し、対応するの前記ＤＶＳ用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第１回路と、を有する画素アレイ部の撮像方法であって、
　前記複数の第１回路を駆動する第１制御期間と、駆動しない第２制御期間を有し、
　前記複数のＤＶＳ用画素及び前記複数の第１回路に対応する電力消費を行うことが可能な第２回路部を、前記第２制御期間に駆動させる、撮像方法が提供される。
本開示に係る技術が適用される像装置の構成の一例を示すブロック図。 固体撮像素子の積層構造の一例を示す図。 固体撮像素子の構成例を示すブロック図。 行列状に配置される画素ブロック及び調整画素ブロックを模式的に示す図。 画素ブロックの構成を模式的に示す図。 調整画素ブロックの構成を模式的に示す図。 ＡＤ変換部の構成例を示すブロック図。 ＤＶＳ読み出し回路の構成例を示すブロック図。 階調用画素の構成例を示す図。 ＤＶＳ用画素の構成例を示す図。 ＤＶＳ用ＡＦＥの第１構成例を示すブロック図。 電流電圧変換部の構成の一例を示す回路図。 減算器及び量子化器の構成の一例を示す回路図 ＤＶＳ用ＡＦＥの第２構成例を示すブロック図。 ダミーＤＶＳ用画素の構成例を示す図。 第１電圧源に接続されるダミーＤＶＳ用ＡＦＥの構成例を示す図。 タイミング制御回路による撮像制御例を示す図。 各ダミーＤＶＳ用ＡＦＥを駆動させる場合の撮像制御例を示す図。 図１７で示す処理を３周期行った処理例を示す図。 ダミーＤＶＳ用ＡＦＥの制御例を模式的に示す図。 第１実施形態の変形例２に係るダミーＤＶＳ用画素及びダミーＤＶＳ用ＡＦＥの制御例を模式的に示す図。 第１実施形態の変形例３に係る固体撮像素子の構成例を示すブロック図。 第１実施形態の変形例３係るＤＶＳ用画素の構成例を示す図。 第２実施形態に係るダミーＤＶＳ用画素の構成例を示す図。 ダミーＤＶＳ用画素及びダミーＤＶＳ用ＡＦＥをブランク期間に一律に駆動した場合の電源電圧の変動例を示す図。 第２実施形態に係る撮像素子の構成例を示す図。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部及び車外情報検出部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置及び撮像方法の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
（第１実施形態）
［撮像装置の構成例］
　図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０および制御部１３０を備える。撮像装置１００としては、ウェアラブルデバイスに搭載されるカメラや、車載カメラなどが想定される。
　撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、ＤＶＳ用画素と階調用画素を有する。また、固体撮像素子２００は、ＤＶＳ用画素における輝度の変化量の絶対値が閾値を超えた旨をアドレスイベントとして検出することが可能である。このアドレスイベントは、例えば、輝度の上昇量が上限閾値を超えた旨を示すオンイベントと、輝度の低下量が上限閾値未満の下限閾値を下回った旨を示すオフイベントとを含む。そして、固体撮像素子２００は、アドレスイベントの検出結果を示す検出信号をＤＶＳ用の画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号ＶＣＨと、オフイベントの有無を示すオフイベント検出信号ＶＣＬとを含む。なお、固体撮像素子２００は、オンイベントおよびオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。また、本実施形態に係るＤＶＳ用画素は、検知信号の他に、ＤＶＳ輝度信号を出力することも可能である。これにより、ＤＶＳ用画素の検出信号に基づく第１ＤＶＳ用画像と、ＤＶＳ用画素の輝度信号に基づく第２ＤＶＳ用画像とが構成される。
　一方で、階調用画素は階調用輝度信号を出力する。階調用画素が出力する階調用輝度信号に基づき、階調用画像が構成される。なお、本実施形態では、ＤＶＳ用画素の検出信号に基づく画像を第１ＤＶＳ用画像と称し、ＤＶＳ用画素の輝度信号に基づく画像を第２ＤＶＳ用画像と称し、階調用画素が出力する階調用輝度信号に基づく画像を階調用画像と称する。
　固体撮像素子２００は、第１ＤＶＳ画、第２ＤＶＳ用画像、及び階調用画像に対し、画像認識処理などの所定の信号処理を実行し、その処理後のデータを記録部１２０に信号線２０９を介して出力する。
　記録部１２０は、固体撮像素子２００からのデータを記録するものである。制御部１３０は、固体撮像素子２００を制御して画像データを撮像させるものである。
［固体撮像素子の構成例］
　図２は、本技術の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、検出チップ２０２と、その検出チップ２０２に積層された受光チップ２０１とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。
　図３は、固体撮像素子２００の構成例を示すブロック図である。図３に示すように、本開示に係る固体撮像素子２００は、ＤＶＳと呼ばれる非同期型の撮像と、階調用画像用の同期型の撮像とが並行して可能な装置である。この固体撮像素子２００は、画素アレイ部３０と、第１アクセス制御回路２１１ａと、第２アクセス制御回路２１１ｂと、ＡＤ変換器２１２ａと、ＤＶＳ読み出し回路２１２ｂと、第１信号処理部２１３と、第２信号処理部２１４と、タイムスタンプ生成回路２１５と、タイミング制御回路２１６と、出力インターフェース２１７、２１８とを有する。
　ここで、図４乃至図６の基づき、画素アレイ部３０の構成を説明する。図４は、画素アレイ部３０に行列状に配置される画素ブロック３０ａ及び調整画素ブロック３０ｂを模式的に示す図である。図４に示すように、画素アレイ部３０には、複数の画素ブロック３０ａと、複数の調整画素ブロック３０ｂとが行列状（アレイ状）に２次元配列されている。
　まず、図５に基づき、画素ブロック３０ａの構成を説明する。図５は、画素ブロック３０ａの構成を模式的に示す図である。図５に示すように、画素ブロック３０ａは、複数の階調用画素３０８ａと、ＤＶＳ用画素３０８ｂと、ＤＶＳ用ＡＦＥ（アナログ・フロント・エンド：Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）３１４とを有する。この画素ブロック３０ａには、複数の階調用画素３０８ａとＤＶＳ用画素３０８ｂとが行列状に配置される。この画素配列に対して、階調用画素３０８ａの画素列毎に、後述する垂直信号線ＶＳＬ１が配線される。また、垂直信号線ＶＳＬ１とは独立した垂直信号線ＶＳＬ２が、ＤＶＳ用画素３０８ｂの画素列毎に配線される。複数の複数の階調用画素３０８ａのそれぞれは、光電流に応じた電圧のアナログ信号を階調用輝度信号として生成し、ＡＤ変換器２１２ａ（図３参照）に出力する。なお、本実施形態に係るＤＶＳ用ＡＦＥ３１４が第１回路に対応する。
　一方で、ＤＶＳ用画素３０８ｂは、光電流に応じた電圧のアナログ信号をＤＶＳ用ＡＦＥ３１４に出力する。また、ＤＶＳ用画素３０８ｂは、光電流に応じた電圧のアナログ信号をＤＶＳ用輝度信号として生成し、アドレスイベントが生じた場合にＤＶＳ読み出し回路２１２ｂ（図３参照）に出力する。
　ＤＶＳ用ＡＦＥ（アナログ・フロント・エンド：Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）３１４は、ＤＶＳ用画素３０８ｂの出力に基づく電圧信号から検出信号を生成し、第２信号処理部２１４（図３参照）に出力する。より詳細には、ＤＶＳ用ＡＦＥ３１４は、ＤＶＳ用画素３０８ｂにおける光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、ＤＶＳ用ＡＦＥ３１４は、検出信号を第２信号処理部２１４に出力する。例えば、ＤＶＳ用ＡＦＥ３１４は、検出した活性画素のアドレス情報（Ｘ、Ｙ）、タイムスタンプ情報Ｔ、及びアドレスイベント情報ＶＣＨ、ＶＣＬを、例えば、イベント情報（Ｘ、Ｙ、Ｔ、ＶＣＨ、ＶＣＬ））として、第２信号処理部２１４に出力する。また、ＤＶＳ用ＡＦＥ３１４は、検出チップ２０２に構成される。これらの複数の階調用画素３０８ａと、ＤＶＳ用画素３０８ｂ及びＤＶＳ用ＡＦＥ３１４とは、独立した制御系により、並列動作が可能である。なお、階調用画素３０８ａ、ＤＶＳ用画素３０８ｂ、及びＤＶＳ用ＡＦＥ３１４の詳細な構成は、後述する。
　次に、図６に基づき、調整画素ブロック３０ｂの構成を説明する。図６は、調整画素ブロック３０ｂの構成を模式的に示す図である。図６に示すように、調整画素ブロック３０ｂは、画素アレイ部３０における電源電圧ＶＤＤ２等の電圧降下を制御可能な画素ブロックである。この調整画素ブロック３０ｂは、複数の階調用画素３０８ａと、ダミーＤＶＳ用画素３０８ｃと、ダミーＤＶＳ用ＡＦＥ３１６とを有する。すなわち、調整画素ブロック３０ｂには、ＤＶＳ用画素３０８ｂの替わりにダミーＤＶＳ用画素３０８ｃが構成される。ダミーＤＶＳ用画素３０８ｃは、受光量に依存せずに、制御信号により出力信号を制御可能な画素である。なお、本実施形態では、ダミーＤＶＳ用画素３０８ｃとダミーＤＶＳ用ＡＦＥ３１６との構成数を調整画素ブロック３０ｂごとに一つとしているが、これに限定されない。例えば、調整画素ブロック３０ｂは、複数のダミーＤＶＳ用画素３０８ｃと、複数のダミーＤＶＳ用ＡＦＥ３１６とを備えてもよい。また、本実施形態に係る複数の調整画素ブロック３０ｂが第２回路部に対応し、ダミーＤＶＳ用画素３０８ｃが画素に対応する。
　ダミーＤＶＳ用ＡＦＥ３１６は、ダミーＤＶＳ用画素３０８ｃの出力に基づく電圧信号の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。
　このように、調整画素ブロック３０ｂのダミーＤＶＳ用ＡＦＥ３１６の検出信号は、ダミーＤＶＳ用画素３０８ｃに対する制御信号により制御される。また、ダミーＤＶＳ用ＡＦＥ３１６は、検出チップ２０２に構成される。なお、ダミーＤＶＳ用画素３０８ｃ、及びダミーＤＶＳ用ＡＦＥ３１６の詳細な構成も後述する。
　再び図３に戻り、第１アクセス制御回路２１１ａは、複数の階調用画素３０８ａを制御する。第１アクセス制御回路２１１ａは、複数の階調用画素３０８ａそれぞれの蓄積電荷のリセット、光電変換電流の蓄積量に応じた階調用輝度信号の生成、階調用輝度信号の出力などを制御する。例えば、第１アクセス制御回路２１１ａは、複数の階調用画素３０８ａそれぞれに蓄積された光電変換電流を、行毎に順に階調用輝度信号としてＡＤ変換器２１２ａに出力させる。なお、階調用画素３０８ａの制御動作の詳細は後述する。
　第２アクセス制御回路２１１ｂは、複数のＤＶＳ用ＡＦＥ３１４と、複数のダミーＤＶＳ用画素３０８ｃと、複数のダミーＤＶＳ用ＡＦＥ３１６とを制御する。本実施形態に係る第２アクセス制御回路２１１ｂは、複数のＤＶＳ用ＡＦＥ３１４に対して行毎にアドレスイベントを順に検出させ、検出信号を第２信号処理部２１４に対して行毎に順に出力させる。また、第２アクセス制御回路２１１ｂは、アドレスイベントが検出されたＤＶＳ用画素３０８ｂの輝度信号をＤＶＳ読み出し回路２１２ｂに対して行毎に順に出力させる。さらにまた、第２アクセス制御回路２１１ｂは、複数のダミーＤＶＳ用ＡＦＥ３１４を制御し、電源電圧ＶＤＤ等の電圧降下を調整する。なお、ＤＶＳ用ＡＦＥ３１４、ダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６の制御動作の詳細は後述する。なお、本実施形態に係る第２アクセス制御回路２１１ｂが制御回路に対応する。
　図７に基づき、ＡＤ変換器２１２ａの構成例を説明する。図７は、ＡＤ変換器２１２ａの構成例を示すブロック図である。このＡＤ変換器２１２ａは、画素ブロック３０ａ、３０ｂ毎に配置される階調用画素３０８ａの列ごとにＡＤＣ２３０を備える。ＡＤＣ２３０は、垂直信号線ＶＳＬ１を介して供給されたアナログの階調用輝度信号ＳＩＧをデジタル信号に変換する。このデジタル信号は、階調用輝度信号ＳＩＧ１よりもビット数の多いデジタルの画素信号に変換される。例えば、階調用輝度信号ＳＩＧ１を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。ＡＤＣ２３０は、生成したデジタル信号を第１信号処理部２１３に供給する。
　図８に基づき、ＤＶＳ読み出し回路２１２ｂの構成例を説明する。図８は、ＤＶＳ読み出し回路２１２ｂの構成例を示すブロック図である。このＤＶＳ読み出し回路２１２ｂは、画素ブロック３０ａ、３０ｂ毎に配置されるＤＶＳ用画素３０８ｂの列ごとにＡＤＣ２３０を備える。ＡＤＣ２３０は、垂直信号線ＶＳＬ２を介して供給されたアナログのＤＶＳ用輝度信号ＳＩＧ２をデジタル信号に変換する。このデジタル信号は、ＤＶＳ用輝度信号ＳＩＧ２よりもビット数の多いデジタルの画素信号に変換される。例えば、ＤＶＳ用輝度信号ＳＩＧ２を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。ＡＤＣ２３０は、生成したデジタル信号を第２信号処理部２１４に供給する。
　再び図３に示すように、第１信号処理部２１３は、ＡＤ変換器２１２ａからのデジタル信号に対し、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理や画像認識処理などの所定の信号処理を実行するものである。この信号処理部２１２は、処理結果を示すデータと検出信号とを信号線２０９を介して記録部１２０に供給する。
　第２信号処理部２１４は、複数のＤＶＳ用ＡＦＥ３１４からの検出信号に対して所定の信号処理を実行する。第２信号処理部２１４は、例えば検出信号を画素信号として二次元格子状に配列し、第１ＤＶＳ用画像を生成する。また、第２信号処理部２１４は、ＤＶＳ読み出し回路２１２ｂから供給されたデジタル信号に基づき第２ＤＶＳ用画像を生成する。そして、第２信号処理部２１４は、第１ＤＶＳ用画像、及び第２ＤＶＳ用画像に画像認識処理などの画像処理を実行する。
　タイムスタンプ生成回路２１５は、タイムスタンプ情報Ｔを生成し、固体撮像素子２００の各構成に供給する。例えば、タイムスタンプ生成回路２１５は、タイムスタンプ情報Ｔを複数のＤＶＳ用ＡＦＥ３１４、及び複数のダミーＤＶＳ用ＡＦＥ３１６に供給する。
　タイミング制御回路２１６は、固体撮像素子２００の各構成のタイミングを制御する。例えば、タイミング制御回路２１６は、第１アクセス制御回路２１１ａ、及び第２アクセス制御回路２１１ｂのタイミングを制御する。
　出力インターフェース２１７は、第１信号処理部２１３から供給される画像データなどを記録部１２０に出力する。同様に、出力インターフェース２１８は、第２信号処理部２１４から供給される画像データなどを記録部１２０に出力する。
　ここで、図９に基づき、階調用画素３０８ａの詳細な構成例及び制御動作例を説明する。図９は、階調用画素３０８ａの構成例を示す図である。図９に示すように、階調用画素３０８ａは、リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３および浮遊拡散層３２４、受光部３３０を有する。
　リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３および転送トランジスタ３３１０として、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジタが用いられる。また、光電変換素子３１１は、受光チップ２０１に配置される。光電変換素子３１１以外の素子の全ては、検出チップ２０２に配置される。
　光電変換素子３１１は、入射光を光電変換して電荷を生成する。
　光電変換素子３１１から転送トランジスタ３３１０によって、光電変換素子３１１で光電変換された電荷が浮遊拡散層３２４に供給される。光電変換素子３１１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。
　増幅トランジスタ３２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬ１との間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。
　選択トランジスタ３２３のゲート電極には、第１アクセス制御回路２１１ａから選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を画素信号ＳＩＧとして垂直信号線ＶＳＬ１を介してＡＤ変換器２１２ａ（図３参照）へ出力する。
［ＤＶＳ用画素の回路構成例］
　ここで、図１０に基づき、ＤＶＳ用画素３０８ｂの詳細な構成例を説明する。図１０は、ＤＶＳ用画素３０８ｂの構成例を示す図である。複数のＤＶＳ用画素３０８ｂのそれぞれは、受光部３１、画素信号生成部３２、及び、ＤＶＳ用ＡＦＥ３１４を有する構成となっている。
　上記の構成のＤＶＳ用画素３０８ｂにおいて、受光部３１は、受光素子（光電変換素子）３１１、転送トランジスタ３１２、及び、ＯＦＧ（Ｏｖｅｒ　Ｆｌｏｗ　Ｇａｔｅ）トランジスタ３１３を有する構成となっている。転送トランジスタ３１２及びＯＦＧトランジスタ３１３としては、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタが用いられる。転送トランジスタ３１２及びＯＦＧトランジスタ３１３は、互いに直列に接続されている。
　受光素子３１１は、転送トランジスタ３１２とＯＦＧトランジスタ３１３との共通接続ノードＮ１とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
　転送トランジスタ３１２のゲート電極には、図２に示す第２アクセス制御回路２１１ｂから転送信号ＴＲＧが供給される。転送トランジスタ３１２は、転送信号ＴＲＧに応答して、受光素子３１１で光電変換された電荷を画素信号生成部３２に供給する。
　ＯＦＧトランジスタ３１３のゲート電極には、第２アクセス制御回路２１１ｂから制御信号ＯＦＧが供給される。ＯＦＧトランジスタ３１３は、制御信号ＯＦＧに応答して、受光素子３１１で生成された電気信号をＤＶＳ用ＡＦＥ３１４に供給する。ＤＶＳ用ＡＦＥ３１４に供給される電気信号は、電荷からなる光電流である。
　画素信号生成部３２は、リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３、及び、浮遊拡散層３２４を有する構成となっている。リセットトランジスタ３２１、増幅トランジスタ３２２、及び、選択トランジスタ３２３としては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。
　画素信号生成部３２には、受光部３１から転送トランジスタ３１２によって、受光素子３１１で光電変換された電荷が供給される。受光部３１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層３２４は、電荷を電圧に変換する。
　リセットトランジスタ３２１は、電源電圧ＶＤＤの電源ラインと浮遊拡散層３２４との間に接続されている。リセットトランジスタ３２１のゲート電極には、第２アクセス制御回路２１１ｂからリセット信号ＲＳＴが供給される。リセットトランジスタ３２１は、リセット信号ＲＳＴに応答して、浮遊拡散層３２４の電荷量を初期化（リセット）する。
　増幅トランジスタ３２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。
　選択トランジスタ３２３のゲート電極には、第２アクセス制御回路２１１ｂから選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を画素信号ＳＩＧとして垂直信号線ＶＳＬを介してＤＶＳ読み出し回路２１２ｂ（図２参照）へ出力する。
　上記の構成のＤＶＳ用画素３０８ｂが２次元配置されて成る画素アレイ部３０を有する撮像装置１００において、第２アクセス制御回路２１１ｂは、図１に示す制御部１３によりアドレスイベントの検出開始が指示されると、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを供給することによって当該ＯＦＧトランジスタ３１３を駆動してＤＶＳ用ＡＦＥ３１４に光電流を供給させる。
　そして、あるＤＶＳ用画素３０８ｂにおいてアドレスイベントが検出されると、第２アクセス制御回路２１１ｂは、そのＤＶＳ用画素３０８ｂのＯＦＧトランジスタ３１３をオフ状態にしてＤＶＳ用ＡＦＥ３１４への光電流の供給を停止させる。次いで、第２アクセス制御回路２１１ｂは、転送トランジスタ３１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ３１２を駆動して、受光素子３１１で光電変換された電荷を浮遊拡散層３２４に転送させる。
　このようにして、上記の構成のＤＶＳ用画素３０８ｂが２次元配置されて成る画素アレイ部３０を有する撮像装置１００は、アドレスイベントが検出されたＤＶＳ用画素３０８ｂの画素信号のみをＤＶＳ読み出し回路２１２ｂに出力する。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、撮像装置１００の消費電力や、画像処理の処理量を低減することができる。
　なお、ここで例示したＤＶＳ用画素３０８ｂの構成は一例であって、この構成例に限定されるものではない。例えば、画素信号生成部３２を備えない画素構成とすることもできる。この画素構成の場合は、受光部３１において、ＯＦＧトランジスタ３１３を省略し、当該ＯＦＧトランジスタ３１３の機能を転送トランジスタ３１２に持たせるようにすればよい。
［ＤＶＳ用ＡＦＥの第１構成例］
　図１１は、ＤＶＳ用ＡＦＥ３１４の第１構成例を示すブロック図である。図１１に示すように、本構成例に係るＤＶＳ用ＡＦＥ３１４は、電流電圧変換部３３１、バッファ３３２、減算器３３３、量子化器３３４、及び、転送部３３５を有する構成となっている。
　電流電圧変換部３３１は、階調用画素３０８ａの受光部３１からの光電流を、その対数の電圧信号に変換する。電流電圧変換部３３１は、変換した電圧信号をバッファ３３２に供給する。バッファ３３２は、電流電圧変換部３３１から供給される電圧信号をバッファリングし、減算器３３３に供給する。
　減算器３３３には、第２アクセス制御回路２１１ｂから行駆動信号が供給される。減算器３３３は、行駆動信号に従って、バッファ３３２から供給される電圧信号のレベルを低下させる。そして、減算器３３３は、レベル低下後の電圧信号を量子化器３３４に供給する。量子化器３３４は、減算器３３３から供給される電圧信号をデジタル信号に量子化してアドレスイベントの検出信号として転送部３３５に出力する。
　転送部３３５は、量子化器３３４から供給されるアドレスイベントの検出信号を第２信号処理部２１４等に転送する。この転送部３３５は、アドレスイベントが検出された際に、アドレスイベントの検出信号を第２信号処理部２１４及び第２アクセス制御回路２１１ｂに供給する。
　続いて、ＤＶＳ用ＡＦＥ３１４における電流電圧変換部３３１、減算器３３３、及び、量子化器３３４の構成例について説明する。
（電流電圧変換部の構成例）
　図１２は、ＤＶＳ用ＡＦＥ３１４における電流電圧変換部３３１の構成の一例を示す回路図である。図１１に示すように、本例に係る電流電圧変換部３３１は、Ｎ型トランジスタ３３１１、Ｐ型トランジスタ３３１２、及び、Ｎ型トランジスタ３３１３を有する回路構成となっている。これらのトランジスタ３３１１～３３１３としては、例えば、ＭＯＳトランジスタが用いられる。
　Ｎ型トランジスタ３３１１は、電源電圧ＶＤＤの電源ラインと信号入力線３３１４との間に接続されている。Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３は、電源電圧ＶＤＤの電源ラインとグランドとの間に直列に接続されている。そして、Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３の共通接続ノードＮ２には、Ｎ型トランジスタ３３１１のゲート電極と、図１１に示すバッファ３３２の入力端子とが接続されている。
　Ｐ型トランジスタ３３１２のゲート電極には、所定のバイアス電圧Ｖｂｉａｓが印加される。これにより、Ｐ型トランジスタ３３１２は、一定の電流をＮ型トランジスタ３３１３に供給する。Ｎ型トランジスタ３３１３のゲート電極には、信号入力線３３１４を通して、受光部３１から光電流が入力される。
　Ｎ型トランジスタ３３１１及びＮ型トランジスタ３３１３のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、受光部３１からの光電流は、その対数の電圧信号に変換される。
（減算器及び量子化器の構成例）
　図１３は、ＤＶＳ用ＡＦＥ３１４における減算器３３３及び量子化器３３４の構成の一例を示す回路図である。
　本例に係る減算器３３３は、容量素子３３３１、インバータ回路３３３２、容量素子３３３３、及び、スイッチ素子３３３４を有する構成となっている。
　容量素子３３３１の一端は、図１１に示すバッファ３３２の出力端子に接続され、その他端は、インバータ回路３３３２の入力端子に接続されている。容量素子３３３３は、インバータ回路３３３２に対して並列に接続されている。スイッチ素子３３３４は、容量素子３３３３の両端間に接続されている。スイッチ素子３３３４にはその開閉制御信号として、第２アクセス制御回路２１１ｂから行駆動信号が供給される。スイッチ素子３３３４は、行駆動信号に応じて、容量素子３３３３の両端を接続する経路を開閉する。インバータ回路３３３２は、容量素子３３３１を介して入力される電圧信号の極性を反転する。
　上記の構成の減算器３３３において、スイッチ素子３３３４をオン（閉）状態とした際に、容量素子３３３１のバッファ３３２側の端子に電圧信号Ｖｉｎｉｔが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子３３３１に蓄積されている電荷Ｑｉｎｉｔは、容量素子３３３１の容量値をＣ１とすると、次式（１）により表される。一方、容量素子３３３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
　　Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ　　　　　　　　　　　　・・・（１）
　次に、スイッチ素子３３３４がオフ（開）状態となり、容量素子３３３１のバッファ３３２側の端子の電圧が変化してＶａｆｔｅｒになった場合を考えると、容量素子３３３１に蓄積される電荷Ｑａｆｔｅｒは、次式（２）により表される。
　　Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ　　　　　　　　　　・・・（２）
　一方、容量素子３３３３に蓄積される電荷Ｑ２は、容量素子３３３３の容量値をＣ２とし、出力電圧をＶｏｕｔとすると、次式（３）により表される。
　　Ｑ２＝－Ｃ２×Ｖｏｕｔ　　　　　　　　　　　　　　　・・・（３）
　このとき、容量素子３３３１及び容量素子３３３３の総電荷量は変化しないため、次の式（４）が成立する。
　　Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２　　　　　　　　　　　・・・（４）
　式（４）に式（１）乃至式（３）を代入して変形すると、次式（５）が得られる。
　　Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、ＤＶＳ用画素３０８ｂ毎に減算器３３３を含むＤＶＳ用ＡＦＥ３１４が搭載されるため、容量素子３３３１や容量素子３３３３には、面積上の制約がある。これらを考慮して、容量素子３３３１、３３３３の容量値Ｃ１、Ｃ２が決定される。
　図１３において、量子化器３３４は、コンパレータ３３４１を有する構成となっている。コンパレータ３３４１は、インバータ回路３３３２の出力信号、即ち、減算器３３３からの電圧信号を非反転（＋）入力とし、所定の閾値電圧Ｖｔｈを反転（－）入力としている。そして、コンパレータ３３４１は、減算器３３３からの電圧信号と所定の閾値電圧Ｖｔｈとを比較し、比較結果を示す信号をアドレスイベントの検出信号として転送部３３５に出力する。
［ＤＶＳ用ＡＦＥの第２構成例］
　図１４は、ＤＶＳ用ＡＦＥ１４の第２構成例を示すブロック図である。図１４に示すように、本構成例に係るＤＶＳ用ＡＦＥ３１４は、電流電圧変換部３３１、バッファ３３２、減算器３３３、量子化器３３４、及び、転送部３３５の他に、記憶部３３６及び制御部３３７を有する構成となっている。
　記憶部３３６は、量子化器３３４と転送部３３５との間に設けられており、制御部３３７から供給されるサンプル信号に基づいて、量子化器３３４の出力、即ち、コンパレータ３３４１の比較結果を蓄積する。記憶部３３６は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。
　制御部３３７は、コンパレータ３３４１の反転（－）入力端子に対して所定の閾値電圧Ｖｔｈを供給する。制御部３３７からコンパレータ３３４１に供給される閾値電圧Ｖｔｈは、時分割で異なる電圧値であってもよい。例えば、制御部３３７は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Ｖｔｈ１、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Ｖｔｈ２を異なるタイミングで供給することで、１つのコンパレータ３３４１で複数種類のアドレスイベントの検出が可能になる。
　記憶部３３６は、例えば、制御部３３７からコンパレータ３３４１の反転（－）入力端子に、オフイベントに対応する閾値電圧Ｖｔｈ２が供給されている期間に、オンイベントに対応する閾値電圧Ｖｔｈ１を用いたコンパレータ３３４１の比較結果を蓄積するようにしてもよい。尚、記憶部３３６は、ＤＶＳ用画素３０８ｂの内部にあってもよいし、ＤＶＳ用画素３０８ｂの外部にあってもよい。また、記憶部３３６は、ＤＶＳ用ＡＦＥ３１４の必須の構成要素ではない。すなわち、記憶部３３６は、無くてもよい。
［ダミーＤＶＳ用画素の構成例］
　ここで、図１５に基づき、ダミーＤＶＳ用画素３０８ｃ、ダミーＤＶＳ用ＡＦＥ３１６の詳細な構成例を説明する。図１５は、ダミーＤＶＳ用画素３０８ｃの構成例を示す図である。図１５に示すように、ダミーＤＶＳ用画素３０８ｃは、電圧電流変換器１１２を有する。電圧電流変換器１１２は、例えばオペアンプであり、一端がノードＮ１に接続され、他端が第１電圧源１１５に接続される。この電圧電流変換器１１２は、第１電圧源１１５から供給される電圧を電流に変換し、ＯＦＧトランジスタ３１３を介して、ダミーＤＶＳ用ＡＦＥ３１６に供給する。これにより、ダミーＤＶＳ用画素３０８ｃは、第１電圧源１１５０から供給される電圧を制御信号として、制御信号に応じた電流をダミーＤＶＳ用ＡＦＥ３１６に直接的に供給することが可能である。
　ダミーＤＶＳ用ＡＦＥ３１６は、ＤＶＳ用ＡＦＥ３１４と同等の構成であり、ダミーＤＶＳ用画素３０８ｃから供給される供給される電流によりアドレスイベントの検出を行う点で相違している。このような構成により、ダミーＤＶＳ用ＡＦＥ３１６は、ＤＶＳ用ＡＦＥ３１４と同様の駆動を第１電圧源１１５０から供給される電圧により行うことが可能となる。
　図１６は、第１電圧源１１５０に接続されるダミーＤＶＳ用ＡＦＥ３１６の構成例を示す図である。このように、各ダミーＤＶＳ用ＡＦＥ３１６は、第１電圧源１１５に接続される。これにより、第１電圧源１１５から各ダミーＤＶＳ用ＡＦＥ３１６に電圧を供給することにより、各ダミーＤＶＳ用ＡＦＥ３１６は、ＤＶＳ用ＡＦＥ３１４と同様の駆動をする。これによりＤＶＳ用ＡＦＥ３１４を駆動することにより生じる電源電圧ＶＤＤ２の低下を各ダミーＤＶＳ用ＡＦＥ３１６により再現することが可能となる。なお、図１６では、固体撮像素子２００の他の構成の記載は省略されている。
　ここで、図１７に基づき固体撮像素子２００の撮像制御例を説明する。
　図１７は、タイミング制御回路２１６による撮像制御例を示す図である。横軸は時刻を示す。また、時刻ｔ１～ｔ５は、ＤＶＳ用画素データの各フレームｆ１～ｆ５の読み出し開始時刻ｔ１～ｔ５を示す。ここでは、複数のダミーＤＶＳ用画素３０８ｃ、及び複数のダミーＤＶＳ用ＡＦＥ３１６を停止させている場合のタイミング制御回路２１６によるタイミング制御の一例を説明する。
　（ａ）図は、ＤＶＳ用画素データの各フレームｆ１～ｆ５における、画素行の読み出し開始時刻を示す模式図である。縦軸は、画素アレイ部３０（図３参照）の画素行に対応する。ラインＬ１は、第１ＤＶＳ用画像及び第２ＤＶＳ用画像における画素行の読み出し開始時刻を示す。すなわち、第２アクセス制御回路２１１ｂは、タイミング制御回路２１６によるタイミング制御に従い、ラインＬ１で示す時刻に応じて、対応する行のＤＶＳ用ＡＦＥ３１４にアドレスイベントの検知を行なわせる。各行のＤＶＳ用ＡＦＥ３１４は、アドレスイベントを検出すると、第２信号処理部２１４にイベント情報を含む信号に出力する。第２信号処理部２１４は、アドレスイベントのあったＤＶＳ用画素３０８ｂの検出信号を画像信号として、画像信号を順次変更した第１ＤＶＳ用画像を生成する。この第１ＤＶＳ用画像は、例えば３値の画像となる。なお、本実施形態に係るブランク期間がＤＶＳ用画素３０８ｂの垂直ブランク期間に対応する。
　また、各行のＤＶＳ用ＡＦＥ３１４は、アドレスイベントを検出すると第２アクセス制御回路２１１ｂにアドレス情報を含む信号を出力する。これにより、第２アクセス制御回路２１１ｂは、アドレスイベントの生じたＤＶＳ用画素３０８ｂからＤＶＳ用輝度信号をＤＶＳ読み出し回路２１２ｂを介してデジタル信号に変換し、第２信号処理部２１４に順次に出力する。第２信号処理部２１４は、アドレスイベントのあったＤＶＳ用画素３０８ｂの画像信号を順次変更した第２ＤＶＳ用画像を生成する。
　同様にラインＬ２～Ｌ４は、フレームｆ２～ｆ４の、画素行の読み出し開始時刻を示す。なお、本実施形態では、画素アレイ部３０から読み出された一枚分の画像データをフレームと称する。
　（ｂ）図は、複数のＤＶＳ用画素３０８ｂ、及び複数のＤＶＳ用ＡＦＥ３１４を駆動する電源電圧ＶＤＤ２の変動例を示す。縦軸は電圧を示す。電源電圧ＶＤＤ２は、ＤＶＳ用ＡＦＥ３１４の検知が行われている期間（ＤＶＳ反応期間）では、電圧が低下する。一方で、ＤＶＳ用ＡＦＥ３１４の検知が行われていないブランク期間では、電圧が上昇する。このように、電源電圧ＶＤＤ２は、複数のＤＶＳ用画素３０８ｂ、及び複数のＤＶＳ用ＡＦＥ３１４の駆動タイミングに連動して変動する。
　（ｃ）図は、複数の階調用画素３０８ａの各画素行の読み出し開始時刻Ｌ１４を示す。すなわち、第１アクセス制御回路２１１ａは、タイミング制御回路２１６によるタイミング制御に従い、ラインＬ１４で示す時刻に応じて画素行ごとの階調用画素３０８ａから階調用輝度信号の読み出しを行なわせる。各画素行の読み出しが行われるＡｄ変換期間は、ＡＤ変換器２１２ａがＡｄ変換を行っている期間に対応する。ＡＤ変換器２１２ａは、階調用輝度信号を順にデジタル信号に変換し、第１信号処理部２１３に供給する。第１信号処理部２１３は、全階調用画素３０８ａの階調用輝度信号がデジタル信号として供給されると、階調用画像を生成し、所定の信号処理を行う。
　（ｂ）図で示す電圧変動は、ＡＤ変換器２１２ａとカップリングし、例えば階調用画像にライン状のノイズを発生させるなどの画質の低下を生じさせてしまう恐れがある。
　図１８に基づき、各ダミーＤＶＳ用ＡＦＥ３１６を駆動させている場合のタイミング制御回路２１６による撮像制御例の一例を説明する。
　図１８は、タイミング制御回路２１６により各ダミーＤＶＳ用ＡＦＥ３１６を駆動させる場合の撮像制御例を示す図である。図１７と同様に、横軸は時刻を示す。また、時刻ｔ１～ｔ５は、ＤＶＳ用画素データの各フレームｆ１～ｆ５の読み出し開始時刻ｔ１～ｔ５を示す。
　（ａ）図は、ＤＶＳ用画素データの各フレームｆ１～ｆ５における、画素行の読み出し開始時刻を示すラインＬ１～Ｌ５と、各ダミーＤＶＳ用ＡＦＥ３１６を駆動させている期間を示すラインＤＬ１～ＤＬ４を示す模式図である。縦軸は、画素アレイ部３０（図３参照）の画素行に対応する。ラインＤＬ１は、ラインＬ１とラインＬ２との間隔のブランク期間に各ダミーＤＶＳ用ＡＦＥ３１６を駆動させている期間を示す。同様に、ラインＤＬ２～ＤＬ４は、各ブランク期間に各ダミーＤＶＳ用ＡＦＥ３１６を駆動させている期間を示す。上述のように、各ダミーＤＶＳ用ＡＦＥ３１６は、ＤＶＳ用ＡＦＥ３１４と同様の駆動が可能であるので、電源電圧ＶＤＤ２の上昇を、各ＤＶＳ用ＡＦＥ３１４を駆動した場合と同様に低下させることが可能となる。
　（ｂ）図は、電源電圧ＶＤＤ２の変動例を示す。縦軸は電圧を示す。図１７と比較すると、各ダミーＤＶＳ用ＡＦＥ３１６を駆動させることにより、ブランク期間での電圧上昇が抑制される。これにより、例えば電源電圧ＶＤＤ２とのカップリングにより生じる階調用画像の画質の低下を抑制できる。特に、ライン状のノイズ発生などの画質の低下を抑制できる。
　（ｃ）図は、図１７の（ｃ）図と同様の図である。
　図１９は、図１８の（ａ）図におけるブランク期間における第１電圧源１１５の電圧供給パターンを示す図である。横軸が時間を示す。行単位同期信号Ｌｔ１～Ｌｔ６は、第１ＤＶＳ用画像、第２ＤＶＳ用画像を取得する際の行単位同期信号に対応する。第２アクセス制御回路２１１ｂは、行単位同期信号に同期して第１電圧源１１５を制御する。
　電源電圧パターン１は、縦軸が電圧を示している。この電圧は、ダミーＤＶＳ用ＡＦＥ３１６がアドレスイベントとして検出する値に設定されている。このため、各ダミーＤＶＳ用ＡＦＥ３１６は、第１電圧源１１５が高電位の際にアドレスイベントが発生していると検出する。これにより、各ダミーＤＶＳ用ＡＦＥ３１６に対応する各ダミーＤＶＳ用画素は、画素信号生成部３２（図１５参照）を駆動する。このため、第１電圧源１１５が高電位の期間では、画素信号生成部３２の消費電力が増加し、電源電圧ＶＤＤ２が低下する。
　電源電圧パターン２は、縦軸が電圧を示している。この電圧は、ダミーＤＶＳ用ＡＦＥ３１６がアドレスイベントとして検出する値に設定されている。第１電圧源１１５が高電位になる期間が電源電圧パターン１の３分の２となっている。このため、画素信号生成部３２（図１５参照）が駆動される期間が、電源電圧パターン１の３分の２となる。これにより、電源電圧ＶＤＤ２の低下がブランク期間で平均すると、電源電圧パターン１より少なくなる。このように、電源電圧パターンを変更することにより、ブランク期間における電源電圧ＶＤＤ２の低下を制御可能となる。
　以上説明したように、本実施形態によれば、第１ＤＶＳ用画像、及び第２ＤＶＳ用画像を撮像していないブランク期間に、第１ＤＶＳ用画像、及び第２ＤＶＳ用画像を撮像するＤＶＳ用画素３０８ｂ及びＤＶＳ用ＡＦＥ３１４と同等の構成を有するダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６を駆動することとした。これにより、第１ＤＶＳ用画像、及び第２ＤＶＳ用画像の撮像期間に生じる電源電圧ＶＤＤ２の電圧低下と同様の電圧低下をブランク期間に発生させることが可能となり、第１ＤＶＳ用画像、及び第２ＤＶＳ用画像の撮像期間と、ブランク期間とにより生じる電源電圧ＶＤＤ２の変動を抑制できる。このため、電源電圧ＶＤＤ２の変動により撮像画像に生じるカップリングノイズの発生などを抑制できる。
（第１実施形態の変形例１）
　第１実施形態の変形例１に係る撮像装置１００は、第１電圧源１１５と第２電圧源１１７との間の電位差を制御することにより、ダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６により電力消費量を制御する点で、第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
　図２０は、第１実施形態の変形例１に係るダミーＤＶＳ用ＡＦＥ３１６の制御例を模式的に示す図である。図２０に示すように、第１電圧源１１５と第２電圧源１１７とを画素アレイ部３０（図３参照）の両端に配置する。このように、第１電圧源１１５と第２電圧源１１７との間に、各ダミーＤＶＳ用画素３０８ｃを介して電圧電流変換部１１２（図１５参照）が接続される。このため、各電圧電流変換部１１２に印可される電圧３１５は、第１電圧源１１５と第２電圧源１１７との間の電位差により変更される。第１電圧源１１５の電位はダミーＤＶＳ用ＡＦＥ３１６にアドレスイベントの発生を検出させる電位に設定される。一方で、第２電圧源１１７の電位はダミーＤＶＳ用ＡＦＥ３１６にアドレスイベントの発生を検出させない電位に設定される。なお、図２０では、固体撮像素子２００の他の構成の記載は省略されている。
　このため、例えば第１電圧源１１５側に接続されるダミーＤＶＳ用ＡＦＥ３１６にはアドレスイベントの発生を検出させ、第２電圧源１１７側に接続されるダミーＤＶＳ用ＡＦＥ３１６にはアドレスイベントの発生を検出させない制御が可能となる。このように、第１電圧源１１５と第２電圧源１１７との電位を制御することにより、アドレスイベントの発生を検出させるダミーＤＶＳ用ＡＦＥ３１６の数を制御することができる。すなわち、画素信号生成部３２（図１５参照）が駆動される数が、第１電圧源１１５と第２電圧源１１７との電位を制御することにより制御される。これらから分かるように、第１電圧源１１５と第２電圧源１１７の電位を制御することにより、ブランク期間における電源電圧ＶＤＤ２の低下を制御可能となる。
（第１実施形態の変形例２）
　第１実施形態の変形例２に係る撮像装置１００は、水平ブランク期間にもダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６を駆動させる制御が可能である点で、第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
　図２１は、第１実施形態の変形例２に係るダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６の制御例を模式的に示す図である。横軸は時間である。ラインＬ１９０は、水平同期信号ＨＳに同期して画素アレイ部３０の各行に対応する各ＤＶＳ用画素３０８ｂ及びＤＶＳ用ＡＦＥ３１４を駆動する期間Ｒ１～Ｒｎと、ダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６を駆動させるＨブランク期間Ｈｂ１～Ｈｂｎを示している。すなわち、Ｈブランク期間Ｈｂ１～Ｈｂｎは、複数のＤＶＳ用画素３０８ｃの水平ブランク期間に対応する。
　図２１に示すように、第１電圧源１１５はＨブランク期間Ｈｂ１～Ｈｂｎにアドレスイベントの発生を検出させる電位に設定される。これにより、Ｈブランク期間Ｈｂ１～ＨｂｎにダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６を駆動させることにより、期間Ｒ１～Ｒｎと同様の電力消費量を制御可能となる。このため、期間Ｒ１～Ｒｎと対応するＨブランク期間Ｈｂ１～Ｈｂｎとにおける電源電圧ＶＤＤ２の短周期の変動が抑制される。
（第１実施形態の変形例３）
　第１実施形態の変形例３に係る撮像装置１００は、第１ＤＶＳ用画像のみを生成する点で、第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
　図２２は、第１実施形態の変形例３に係る固体撮像素子２００ａの構成例を示すブロック図である。図２２に示すように、本開示に係る固体撮像素子２００ａは、ＤＶＳ読み出し回路２１２ｂを有さない点で第１実施形態に係る固体撮像素子２００と相違する。
　図２３は、第１実施形態の変形例３に係るＤＶＳ用画素３０８ｂの構成例を示す図である。図２３に示すように第１実施形態の変形例３に係るＤＶＳ用画素３０８０ｂは、受光素子３１１を有している。一方で、画素信号生成部３２（図１０参照）を有しない点で、第１実施形態に係るＤＶＳ用画素３０８ｂと相違する。
　図２４は、第１実施形態の変形例３に係るダミーＤＶＳ用画素３０８０ｃの構成例を示す図である。図２４に示すようにダミーＤＶＳ用画素３０８０ｃは、電圧電流変換器１１２を有している。このＤＶＳ用画素３０８０ｃは、画素信号生成部３２（図１５参照）を有さないので、画素信号生成部３２（図１５参照）の駆動による電源電圧ＶＤＤ２の変動は発生しない。このため、第１電圧源１１５が高電位になる期間（図１９参照）をより低減させることが可能である。これにより、撮像装置１００の電力消費をより抑制しつつ、電源電圧ＶＤＤ２の変動も抑制可能となる。
（第２実施形態）
　第２実施形態に係る撮像装置１００は、アドレスイベントの発生数に応じて第１電圧源１１５の電圧発生パタンーンを変更する点で、第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
　図２５は、ダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６をブランク期間に一律に駆動した場合の電源電圧ＶＤＤ２の変動例を示す図である。図１８と同様に、横軸は時刻を示す。また、時刻ｔ１～ｔ５は、ＤＶＳ用画素データの各フレームｆ１～ｆ５の読み出し開始時刻ｔ１～ｔ５を示す。図２５に示すように、電源電圧ＶＤＤ２の電圧の最大値は、活性化率が高い場合に周期的に変動する場合がある。例えば、撮像シーンが大きく変更された場合等である。マークＭ２４の最大電圧は電圧設定値に達していない。これは、活性化率が高かった場合に、画素信号生成部３２（図１０参照）の駆動率が上がり、電源電圧ＶＤＤ２の設定電圧までの復元が間に合わない状態が生じるために発生すると考えられている。なお、本実施形態では、各ＤＶＳ用ＡＦＥ３１４により検出されたアドレスイベントの数を全ＤＶＳ用ＡＦＥ３１４の数で除算した割合を活性化率と称する。このように、活性化率が高いと電源電圧ＶＤＤ２の低下が大きくなり、電圧設定値に達しない場合が生じる。このような場合、ＤＶＳ用ＡＦＥ３１４（図１４参照）の閾値が変わってしまい、過剰（ｏｒ過小）なＤＶＳの反応数になってしまう。
　図２６は、第２実施形態に係る固体撮像素子２００の構成例を示す図である。図２６に示すように第２実施形態に係る固体撮像素子２００は、ＤＶＳカウンタ部２１９を更に有している。
　ＤＶＳカウンタ部２１９は、各ＤＶＳ用ＡＦＥ３１４が検出したアドレスイベントの数をカウントし、第１電圧源１１５の制御電圧を第２アクセス制御回路２１１ｂに出力する。より具体的には、ＤＶＳカウンタ部２１９は、カウントしたアドレスイベントの数が増加するにしたがい、第１電圧源１１５が高電位となる回数（図１９参照）を低下させる。これにより、アドレスイベント数のカウントが増加するに従い、ダミーＤＶＳ用画素３０８ｃ及びダミーＤＶＳ用ＡＦＥ３１６が消費する電力が低減され、電源電圧ＶＤＤ２は、安定的に電圧設定値に達することができる。このように、ＤＶＳ用画素３０８ｂ（図３参照）の活性化率が増加するにしたがい、第１電圧源１１５が高電位となる回数を低下させ、ブランク期間の電源電圧ＶＤＤ２の低下を抑制することにより、電源電圧ＶＤＤ２は、安定的に電圧設定値に達することが可能となる。
　読み出し順が画素アレイ部３０の最後から数行分の時間帯の電源電圧ＶＤＤ２の変動が、ブランク期間の電源電圧ＶＤＤ２の変動に最も影響を与える。このため、、ＤＶＳカウンタ部２１は、読み出し順が画素アレイ部３０の最後から数行分の各ＤＶＳ用ＡＦＥ３１４が検出したアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更してもよい。
＜本開示に係る技術の適用例＞
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
［移動体］
　図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　尚、図２８には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インターフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインターフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　尚、図２４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０、７９１２、７９１４、７９１６、７９１８や、車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０や、運転者状態検出部７５１０等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示における図１の撮像装置１００を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
　なお、本技術は以下のような構成を取ることができる。
　（１）光量に応じた出力信号を出力する複数のＤＶＳ用画素と、前記複数のＤＶＳ用画素のそれぞれに対応し、対応する前記ＤＶＳ用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第１回路と、を有する画素アレイ部と、
　制御信号に応じて、前記複数のＤＶＳ用画素及び前記複数の第１回路に対応する電力消費を行うことが可能な第２回路部と、
　前記複数の第１回路を駆動する第１制御期間と、駆動しない第２制御期間を有し、前記制御信号を用いて前記第２制御期間に前記第２回路部を駆動する制御を行う制御回路と、　を備える、撮像装置。
　（２）前記第２回路部は、
　前記制御信号に応じて出力信号を出力する複数の画素を有する、
　（１）に記載の撮像装置。
　（３）前記複数の画素のそれぞれは、印可される電圧に応じた出力信号を出力する、請求項（２）に記載の撮像装置。
　（４）前記第２回路部は、
　前記対応するの前記画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第２回路を、
　更に有する、請求項（３）に記載の撮像装置。
　（５）前記第２回路部は、印可される電圧に応じて消費電力を調整可能であり、
　前記制御信号に応じて、前記第２回路部に電圧を印可する第１電圧源を更に備える、（４）に記載の撮像装置。
　（６）前記第２回路部は、印可される第１電位と、前記第１電位よりも高い第２電位とで消費電力が異なり、
　前記第１電圧源は、前記制御信号に応じて、第１電位と、前記第１電位よりも高い第２電位の期間を繰り返すパルス状の電圧を出力可能である、請求項（５）に記載の撮像装置。
　（７）複数の第２回路のそれぞれは、前記第１電位では、前記所定の閾値を超えず、前記第２電位では、前記所定の閾値を超える、請求項（６）に記載の撮像装置。
　（８）前記制御部は、複数のパルス状の電圧を出力させることが可能であり、前記複数のＤＶＳ用画素及び前記複数の第１回路の消費電力に応じて前記パルス状の電圧のパターンを変更する、（７）に記載の撮像装置。
　（９）前記制御部は、所定の時間間隔において前記複数の第１回路が検出するアドレスイベントの数に応じて、前記パルス状の電圧のパターンを変更する、請求項（８）に記載の撮像装置。
　（１０）前記制御部は、読み出し順が最後から数行分の前記複数の第１回路が検出するアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更する、請求項（９）に記載の撮像装置。
　（１１）前記第２回路部は、印可される電圧に応じて消費電力を調整可能であり、
　前記制御信号に応じて、前記第２回路部に電圧を印可する第１電圧源と、前記第１電圧源よりも電位の低い第２電圧源とを、更に備え、
　前記第２回路部は、前記第１電圧源の電位と、前記第２電圧源の電位差に応じて消費電力が異なる、（４）に記載の撮像装置。
　（１２）前記複数の画素のそれぞれは、前記第１電圧源と、前記第２電圧源との間に接続され、前記第１電圧源と、前記第２電圧源との電位に応じて、前記所定の閾値を超える前記複数の画素の数が制御可能である、（１１）に記載の撮像装置。
　（１３）前記画素アレイ部は、階調用の複数の階調用画素を更に備え、
　前記複数のＤＶＳ用画素の出力信号に基づくＤＶＳ用画像と、
　前記複数の階調用画素の出力信号に基づく階調用画像と、の生成が可能である、（１）乃至（１２）のいずれか一項に記載の撮像装置。
　（１４）前記複数のＤＶＳ用画素は、前記画素アレイ部に行列状に配置され、前記画素アレイ部の行順に応じて、出力信号が読み出される、（１）乃至（１３）のいずれか一項に記載の撮像装置。
　（１５）前記第２制御期間は、前記複数のＤＶＳ用画素の垂直ブランク期間に対応する、（１）乃至（１４）のいずれか一項に記載の撮像装置。
　（１６）前記第２制御期間は、前記複数のＤＶＳ用画素の水平ブランク期間に対応する、（１）乃至（１４）のいずれか一項に記載の撮像装置。
　（１７）光量に応じた出力信号を出力する複数のＤＶＳ用画素と、前記複数のＤＶＳ用画素のそれぞれに対応し、対応するの前記ＤＶＳ用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第１回路と、を有する画素アレイ部の撮像方法であって、
　前記複数の第１回路を駆動する第１制御期間と、駆動しない第２制御期間を有し、
　前記複数のＤＶＳ用画素及び前記複数の第１回路に対応する電力消費を行うことが可能な第２回路部を、前記第２制御期間に駆動させる、撮像方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　３０：画素アレイ部、３０ｂ：調整画素ブロック、１００：撮像装置、２００：固体撮像素子、２１１ｂ：第２アクセス制御回路、３０８ａ：階調用画素３０８ａｂ：ＤＶＳ用画素、３０８ｃ：ダミーＤＶＳ用画素、３１４：ＤＶＳ用ＡＦＥ、３１６：ダミーＤＶＳ用ＡＦＥ、３０８０ｃ：ダミーＤＶＳ用画素、３０８０ｂ：ＤＶＳ用画素。

Claims (17)

  1. 　光量に応じた出力信号を出力する複数のＤＶＳ用画素と、前記複数のＤＶＳ用画素のそれぞれに対応し、対応する前記ＤＶＳ用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第１回路と、を有する画素アレイ部と、
    　制御信号に応じて、前記複数のＤＶＳ用画素及び前記複数の第１回路に対応する電力消費を行うことが可能な第２回路部と、
    　前記複数の第１回路を駆動する第１制御期間と、駆動しない第２制御期間を有し、前記制御信号を用いて前記第２制御期間に前記第２回路部を駆動する制御を行う制御回路と、　を備える、撮像装置。
  2. 　前記第２回路部は、
    　前記制御信号に応じて出力信号を出力する複数の画素を有する、
    　請求項１に記載の撮像装置。
  3. 　前記複数の画素のそれぞれは、印可される電圧に応じた出力信号を出力する、請求項２に記載の撮像装置。
  4. 　前記第２回路部は、
    　前記対応するの前記画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第２回路を、
    　更に有する、請求項３に記載の撮像装置。
  5. 　前記第２回路部は、印可される電圧に応じて消費電力を調整可能であり、
    　前記制御信号に応じて、前記第２回路部に電圧を印可する第１電圧源を更に備える、請求項４に記載の撮像装置。
  6. 　前記第２回路部は、印可される第１電位と、前記第１電位よりも高い第２電位とで消費電力が異なり、
    　前記第１電圧源は、前記制御信号に応じて、第１電位の期間と、前記第１電位よりも高い第２電位の期間とを繰り返すパルス状の電圧を出力可能である、請求項５に記載の撮像装置。
  7. 　複数の第２回路のそれぞれは、前記第１電位では、前記所定の閾値を超えず、前記第２電位では、前記所定の閾値を超える、請求項６に記載の撮像装置。
  8. 　前記制御部は、複数のパルス状の電圧を出力させることが可能であり、前記複数のＤＶＳ用画素及び前記複数の第１回路の消費電力に応じて前記パルス状の電圧のパターンを変更する、請求項７に記載の撮像装置。
  9. 　前記制御部は、所定の時間間隔において前記複数の第１回路が検出するアドレスイベントの数に応じて、前記パルス状の電圧のパターンを変更する、請求項８に記載の撮像装置。
  10. 　前記制御部は、読み出し順が最後から数行分の前記複数の第１回路が検出するアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更する、請求項９に記載の撮像装置。
  11. 　前記第２回路部は、印可される電圧に応じて消費電力を調整可能であり、
    　前記制御信号に応じて、前記第２回路部に電圧を印可する第１電圧源と、前記第１電圧源よりも電位の低い第２電圧源とを、更に備え、
    　前記第２回路部は、前記第１電圧源の電位と、前記第２電圧源の電位差に応じて消費電力が異なる、請求項４に記載の撮像装置。
  12. 　前記複数の画素のそれぞれは、前記第１電圧源と、前記第２電圧源との間に接続され、前記第１電圧源と、前記第２電圧源との電位に応じて、前記所定の閾値を超える前記複数の画素の数が制御可能である、請求項１１に記載の撮像装置。
  13. 　前記画素アレイ部は、階調用の複数の階調用画素を更に備え、
    　前記複数のＤＶＳ用画素の出力信号に基づくＤＶＳ用画像と、
    　前記複数の階調用画素の出力信号に基づく階調用画像と、の生成が可能である、請求項１に記載の撮像装置。
  14. 　前記複数のＤＶＳ用画素は、前記画素アレイ部に行列状に配置され、前記画素アレイ部の行順に応じて、出力信号が読み出される、請求項１に記載の撮像装置。
  15. 　前記第２制御期間は、前記複数のＤＶＳ用画素の垂直ブランク期間に対応する、請求項１に記載の撮像装置。
  16. 　前記第２制御期間は、前記複数のＤＶＳ用画素の水平ブランク期間に対応する、請求項１に記載の撮像装置。
  17. 　光量に応じた出力信号を出力する複数のＤＶＳ用画素と、前記複数のＤＶＳ用画素のそれぞれに対応し、対応するの前記ＤＶＳ用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第１回路と、を有する画素アレイ部の撮像方法であって、
    　前記複数の第１回路を駆動する第１制御期間と、駆動しない第２制御期間を有し、
    　前記複数のＤＶＳ用画素及び前記複数の第１回路に対応する電力消費を行うことが可能な第２回路部を、前記第２制御期間に駆動させる、撮像方法。
PCT/JP2021/016707 2020-06-18 2021-04-27 撮像装置及び撮像方法 WO2021256095A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/001,144 US20230217127A1 (en) 2020-06-18 2021-04-27 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020105582A JP2023110108A (ja) 2020-06-18 2020-06-18 撮像装置及び撮像方法
JP2020-105582 2020-06-18

Publications (1)

Publication Number Publication Date
WO2021256095A1 true WO2021256095A1 (ja) 2021-12-23

Family

ID=79267739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016707 WO2021256095A1 (ja) 2020-06-18 2021-04-27 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US20230217127A1 (ja)
JP (1) JP2023110108A (ja)
WO (1) WO2021256095A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP2020088481A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020088724A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP2020088481A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020088724A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
JP2023110108A (ja) 2023-08-09
US20230217127A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US20220172488A1 (en) Imaging system, method for controlling imaging system, and object recognition system
WO2022009664A1 (ja) 撮像装置及び撮像方法
WO2021241120A1 (ja) 撮像装置及び撮像方法
US11683606B2 (en) Imaging device and electronic equipment
EP4099684A1 (en) Imaging device and imaging method
WO2020195822A1 (ja) 撮像システム
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2022065032A1 (ja) 撮像装置及び撮像方法
US20230108884A1 (en) Imaging device and imaging method
WO2022186040A1 (ja) 撮像装置、その駆動方法、および電子機器
JP2024071188A (ja) 光検出素子及び電子機器
WO2023181663A1 (ja) 比較器、増幅器及び固体撮像装置
WO2023136093A1 (ja) 撮像素子、および電子機器
CN113615152B (zh) 成像设备和成像系统
WO2023032298A1 (ja) 固体撮像装置
JP2018029221A (ja) 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825369

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21825369

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP