WO2022065034A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2022065034A1
WO2022065034A1 PCT/JP2021/032985 JP2021032985W WO2022065034A1 WO 2022065034 A1 WO2022065034 A1 WO 2022065034A1 JP 2021032985 W JP2021032985 W JP 2021032985W WO 2022065034 A1 WO2022065034 A1 WO 2022065034A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
circuit
image pickup
unit
luminance signal
Prior art date
Application number
PCT/JP2021/032985
Other languages
English (en)
French (fr)
Inventor
克彦 半澤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/245,666 priority Critical patent/US20230336884A1/en
Publication of WO2022065034A1 publication Critical patent/WO2022065034A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • This disclosure relates to an imaging device and an imaging method.
  • Synchronous solid-state image sensors that image image data (frames) in synchronization with a synchronization signal such as a vertical synchronization signal are used in image pickup devices and the like.
  • image data can be acquired only every synchronization signal cycle (for example, 1/60 second), so faster processing can be performed in fields related to transportation and robots. It becomes difficult to respond when requested. Therefore, an asynchronous solid-state image sensor has been proposed in which a detection circuit for detecting in real time as an address event that the amount of light of the pixel exceeds the threshold value is provided for each pixel address.
  • a solid-state image sensor that detects an address event for each pixel is called a DVS (Dynamic Vision Sensor).
  • Data can be generated and output much faster than a synchronous solid-state image sensor. Therefore, for example, in the field of transportation, it is possible to perform high-speed image recognition processing for people and obstacles to improve safety. Further, a detection circuit for detecting a DVS address event is configured in the pixel array unit.
  • the pixel array unit is being made smaller.
  • the detection circuit is configured in the pixel array unit, there is a risk of hindering miniaturization.
  • an image pickup device and an image pickup method capable of further miniaturization are provided.
  • a pixel array unit having a plurality of DVS pixels that output a luminance signal according to the amount of light is used.
  • a detection circuit unit that is arranged outside the pixel array unit and outputs a detection signal indicating the occurrence of an address event when the luminance signal of each of the plurality of DVS pixels exceeds a predetermined threshold value.
  • the DVS pixel is A photoelectric conversion element that outputs a signal according to the amount of light, A logarithmic conversion circuit that performs logarithmic conversion of the signal, A signal holding circuit that holds the luminance signal converted by the logarithmic conversion circuit, and A read circuit that reads out the bright signal held in the signal holding circuit,
  • An imaging device is provided.
  • the detection circuit unit includes at least one comparator and A reference generation circuit that outputs a reference voltage and Have and The luminance signal read from the readout circuit and the reference voltage may be input to the comparator.
  • the detection circuit unit has a plurality of detection circuits and has a plurality of detection circuits.
  • the detection circuit unit may have a reference generation circuit corresponding to each detection circuit.
  • the luminance signal read from the readout circuit may be input in time series from each of the plurality of DVS pixels arranged in a row.
  • the detection circuit unit has a plurality of detection circuits and has a plurality of detection circuits.
  • the reference generation circuit may supply the reference voltage to the plurality of detection circuits.
  • At least one of the two inputs of the comparator is capacitively coupled, and at least one of the luminance signal and the reference voltage may be connected.
  • the luminance signal was input to the comparator via the capacitively coupled capacitance, the first first luminance signal was input after the capacitance was initialized, and subsequently held in the signal holding circuit.
  • a second luminance signal may be input.
  • the comparator may be multi-bit and capable of analog-to-digital conversion.
  • the anode of the photoelectric conversion element may be connected to the logarithmic conversion circuit via the first switching element and may be connected to one end of the capacitance on the reference power supply side via the second switching element.
  • the anode of the photoelectric conversion element may be connected to one end of the capacitance on the reference power supply side via a first switching element, a floating capacitance, and a third switching element.
  • the first luminance signal may be read from all of the plurality of DVS pixels in synchronization with the reading cycle of the first luminance signal.
  • a reset transistor that initializes the accumulated charge of the floating capacity may be connected between the floating capacity and the reference power supply.
  • the first switching element and the third switching element may be in a non-conducting state.
  • the anode of the photoelectric conversion element may be connected to the second readout circuit via the second switching element.
  • the pixel array unit may further have gradation pixels.
  • a pixel array unit having a plurality of DVS pixels that output a luminance signal according to the amount of light, and a pixel array unit.
  • a detection circuit unit that is arranged outside the pixel array unit and outputs a detection signal indicating the occurrence of an address event when the luminance signal of each of the plurality of DVS pixels exceeds a predetermined threshold value. It is a control method of the image pickup device to be provided.
  • the detection circuit unit It has a comparator to which the luminance signal read from the read circuit and the reference voltage are input. The luminance signal is input to the comparator via the capacitively coupled capacitance of the comparator, the first first luminance signal is input after the capacitance is initialized, and subsequently to the pixel array unit.
  • An image pickup method of an image pickup apparatus is provided in which a held second luminance signal is input.
  • the block diagram which shows an example of the structure of the image apparatus to which the technique which concerns on this disclosure is applied.
  • the figure which shows an example of the laminated structure of a solid-state image sensor.
  • the block diagram which shows the structural example of the solid-state image sensor.
  • the figure which shows typically the pixel block arranged in a matrix.
  • the block diagram which shows another configuration example of a sample hold circuit.
  • the block diagram which shows the further structural example of the sample hold circuit.
  • the block diagram which shows the structural example of the sample hold circuit which has two capacitances.
  • the block diagram which shows another configuration example of a sample hold circuit.
  • the block diagram which shows the structural example of the sample hold circuit which has two capacitances and a reset transistor.
  • the block diagram which shows another configuration example of the sample hold circuit which has two capacitances and a reset transistor.
  • the block diagram which shows another configuration example of a read circuit.
  • the figure which shows the configuration example which provided the capacity in the input terminal on the signal line side of a comparator The figure which shows the configuration example which provided the capacity in the input terminal of a digital-to-analog converter side.
  • the figure which shows the example which configured the event detection circuit with a single slope ADC The figure which shows the example which configured the event detection circuit by SAR-ADC.
  • the figure which makes an NaCl a region The cross-sectional view which shows the cross-sectional structure of the capacity which concerns on another example of this embodiment.
  • the figure which shows an example of the tack cell applicable to the capacity 343 shown in FIG. The figure which shows the transition example of the stack cell shown in FIG.
  • the figure which shows the structural example of the pixel for DVS and the event detection circuit The figure which shows the structural example of the pixel for DVS and the event detection circuit which concerns on modification 2 of 1st Embodiment.
  • the imaging device and the imaging method will be described with reference to the drawings.
  • the main components of the image pickup device will be mainly described, but the image pickup device may have components and functions not shown or described.
  • the following description does not exclude components or functions not shown or described.
  • FIG. 1 is a block diagram showing a configuration example of an image pickup apparatus 100 according to an embodiment of the present technology.
  • the image pickup device 100 includes an image pickup lens 110, a solid-state image pickup element 200, a recording unit 120, and a control unit 130.
  • As the image pickup apparatus 100 a camera mounted on a wearable device, an in-vehicle camera, or the like is assumed.
  • the image pickup lens 110 collects the incident light and guides it to the solid-state image pickup element 200.
  • the solid-state image sensor 200 has DVS pixels.
  • the DVS pixel can output a detection signal used for detecting an address event indicating that the absolute value of the amount of change in luminance exceeds the threshold value.
  • This address event is, for example, an on event indicating that the amount of increase in brightness has exceeded the upper limit threshold value and an off event indicating that the amount of decrease in brightness has fallen below the lower limit threshold value below the upper limit threshold value. including.
  • the solid-state image sensor 200 generates a detection signal indicating the detection result of the address event for each DVS pixel.
  • Each detection signal includes an on-event detection signal VCH indicating the presence or absence of an on-event and an off-event detection signal VCL indicating the presence or absence of an off-event.
  • the solid-state image sensor 200 detects the presence / absence of both on-event and off-event, but it is also possible to detect only one of them.
  • the gradation pixel outputs a gradation luminance signal.
  • a gradation image is configured based on the gradation luminance signal output by the gradation pixels.
  • the image based on the detection signal of the DVS pixel is referred to as a 1DVS image
  • the image based on the gradation luminance signal output by the gradation pixel is referred to as a gradation image.
  • the solid-state image sensor 200 outputs the DVS image to the recording unit 120 via the signal line 209.
  • the recording unit 120 records data from the solid-state image sensor 200.
  • the control unit 130 controls the solid-state image sensor 200 to capture image data.
  • FIG. 2 is a diagram showing an example of a laminated structure of the solid-state image pickup device 200 according to the embodiment of the present technology.
  • the solid-state image sensor 200 includes a detection chip 202 and a light receiving chip 201 laminated on the detection chip 202. These boards are electrically connected via a connection such as a via. In addition to vias, it can also be connected by Cu-Cu bonding or bumps.
  • FIG. 3 is a block diagram showing a configuration example of the solid-state image sensor 200.
  • the solid-state image sensor 200 according to the present disclosure is a device capable of imaging DVS.
  • the solid-state image sensor 200 includes a pixel array unit 30, a drive circuit unit 211, a detection circuit unit 212, a first signal processing unit 213, and an output interface 214.
  • a plurality of DVS pixels 31 are arranged in a two-dimensional grid pattern in the pixel array unit 30. These DVS pixels 31 supply a luminance signal to the event detection circuit unit 212.
  • the drive circuit 211 drives the DVS pixel 31 in the pixel array unit 30 to output a luminance signal.
  • the drive circuit 211 controls to output a luminance signal in order from a plurality of DVS pixels 31 in the pixel array unit 30 row by row.
  • the drive circuit 211 drives the DVS pixel 31 in synchronization with, for example, a vertical synchronization signal.
  • the vertical synchronization signal is a signal having a predetermined frequency (30 hertz or the like) indicating the imaging timing of the image data.
  • the event detection circuit unit 212 executes address event detection processing for the detection signal from the pixel array unit 30.
  • the detection signal processing unit 213 executes predetermined signal processing such as image recognition processing on the detection signal from the event detection circuit unit 212.
  • the detection signal processing unit 213 supplies data indicating the processing result to the recording unit 120 via the signal line 209.
  • FIG. 4 is a diagram schematically showing DVS pixels 31 arranged in a matrix in the pixel array unit 30. As shown in FIG. 4, a plurality of DVS pixels 31 are two-dimensionally arranged in a matrix (array) in the pixel array unit 30.
  • FIG. 5 is a diagram schematically showing the configuration of the DVS pixel 31. As shown in FIG. 5, a signal line L10 is wired to a plurality of DVS pixels 31 arranged in a row.
  • the DVS pixel 31 includes a photoelectric conversion element 300, a logarithmic conversion circuit 310, a sample hold circuit 320, and a read circuit 330.
  • the photoelectric conversion element 300 generates a photocurrent by photoelectric conversion with respect to incident light.
  • the logarithmic conversion circuit 310 logarithmically converts the photocurrent into the pixel voltage Vlog.
  • the logarithmic conversion circuit 310 supplies the pixel voltage Vlog to the sample hold circuit 320.
  • the sample hold circuit 320 reduces the pixel voltage Vlog supplied from the logarithmic conversion circuit 310 according to the gain coefficient, and holds the sample as the pixel voltage Vsh. Then, the sample hold circuit 320 supplies the pixel voltage Vsh to the read circuit 330.
  • the read circuit 330 supplies the pixel voltage Vsh supplied from the sample hold circuit 320 to the event detection circuit 212a corresponding to the arrangement row.
  • the event detection circuit 212a detects an address event based on the pixel voltage Vsh supplied in time series from the sample hold circuit 320.
  • the pixel voltage Vsh according to this embodiment corresponds to the luminance signal.
  • FIG. 6 is a diagram showing a configuration example of the DVS pixel 31 and the event detection circuit 212a.
  • the logarithmic conversion circuit 310 includes N-type transistors 311 and 313 and a current source 312.
  • the N-type transistors 311 and 313, for example, MOS (Metal-Oxide-Semiconductor) transistors are used.
  • the source of the N-type transistor 311 is connected to the cathode of the photoelectric conversion element 300, and the drain is connected to the power supply terminal VDD.
  • the current source 312 and the N-type transistor 313 are connected in series between the power supply terminal VDD and the reference terminal having a predetermined reference potential (ground potential, etc.). Further, the connection points of the current source 312 and the N-type transistor 313 are connected to the gate of the N-type transistor 311 and the input terminal of the sample hold circuit 320.
  • the connection point of the N-type transistor 311 and the photoelectric conversion element 300 is connected to the gate of the N-type transistor 313. With such a configuration, the photocurrent of the photoelectric conversion element 300 is logarithmically converted into the pixel voltage Vlog.
  • the logarithmic conversion circuit 310 is an example, and the present invention is not limited to this.
  • the sample hold circuit 320 includes an N-type transistor 321, a current source 322, a switching element 323, and a capacitance 324.
  • the N-type transistor 321 and the current source 322 are connected in series between the power supply terminal VDD and the reference terminal having a predetermined reference potential (ground potential, etc.).
  • a pixel voltage Vlog is supplied to the gate of the N-type transistor 321.
  • the switching element 323 is, for example, an N-type transistor.
  • connection point between the N-type transistor 321 and the current source 322 is connected to one end of the switching element 323, and the other end is connected to the input terminal of the read circuit 330. Further, the other end of the switching element 323 is connected to one end of the capacitance 324. The other end of the capacitance 324 is connected to a reference terminal having a predetermined reference potential (ground potential, etc.). That is, the N-type transistor 321 and the current source 322 form a source follower.
  • the pixel voltage Vlog is converted into a pixel voltage Vsh by a source follower composed of an N-type transistor 321 and a current source 322 so as to follow the pixel voltage Vlog, and is converted into a pixel voltage Vsh via the switching element 323. It is applied to one end of the capacity 324.
  • the switching element 323 is in the conduction state (ON)
  • the potential at one end of the capacitance 324 becomes a predetermined reference potential + pixel voltage Vsh.
  • the sample hold circuit 320 holds a potential of a predetermined reference potential + pixel voltage Vsh.
  • a positive potential is always applied to one end of the capacitance 324.
  • the capacity 324 is used to hold the pixel voltage Vsh, the gain of the pixel voltage Vsh does not change with the capacity 324. Further, since the capacity 324 is used only for signal holding, it is possible to use various capacities such as MOS, MIM (metal-insulator-metal), and a capacitive element used in DRAM.
  • MOS metal-insulator-metal
  • the sample hold circuit 320 uses an N-type transistor 321 but is not limited thereto.
  • the source follower may be configured by an N-type transistor.
  • holes are used instead of electrons for the carriers, the polarities of the MIMO and ProLiant change and the connection is reversed.
  • the read circuit 330 includes an amplification transistor 331 and a selection transistor 332.
  • the transistor 331 and the transistor 332 are connected in series. One end of the transistor 331 is connected to the power supply terminal VDD, and the other end of the transistor 332 is connected to the event detection circuit 212a via the vertical signal line L10.
  • a pixel voltage Vsh is supplied from the sample hold circuit 320 to the gate of the amplification transistor 331. Further, the selection signal SEL is supplied to the gate of the selection transistor 332.
  • the amplification transistor 331 and the current source 340 are configured as source followers.
  • the amplification transistor 331 outputs the level corresponding to the electric charge stored in the capacitance 324, that is, the pixel voltage Vsh to the signal line L10 via the selection transistor 332.
  • the selection transistor 332 is driven according to the selection signal SEL, and when the selection transistor 332 is turned on, the pixel voltage Vsh output from the amplification transistor 331 can be output to the signal line L10. That is, it is in the state selected to output the pixel voltage Vsh from the DVS pixel 31.
  • the event detection circuit 212a includes a capacitance 2120, a comparator 2122, and a digital-to-analog converter (DAC) 2124.
  • the digital-to-analog converter (DAC) 212 corresponds to the reference generation circuit.
  • a signal line L10 is connected to one end of the capacity 2120.
  • the other end of the capacitance 2120 is connected to one end of the comparator 2122.
  • a digital-to-analog converter 2124 is connected to the other end of the comparator 2122.
  • FIG. 7 is a diagram showing an operation example of the DVS pixel 31 and the event detection circuit 212a.
  • the horizontal axis shows time.
  • the signal Sg70 indicates a row selection signal (SEL)
  • the signal Sg72 indicates an ON signal (SH) of the switching element 323
  • the signal Sg74 indicates a zero reset signal (AZ) of the capacitance 2120
  • the signal Sg76 is.
  • the drive signal of the comparator 2122 is shown
  • the signal Sg78 shows the output signal of the digital-to-analog converter 2124.
  • the pixel voltage Vsh is sample-held in time series.
  • the pixel voltage Vsh sample-held in time series is referred to as the pixel voltage Vsh first sample-held
  • the pixel voltage Vsh sample-held next is referred to as the pixel voltage Vsh2. do.
  • the signal Sg74 becomes a high level, and the capacitance 2120 is reset to zero (AZ).
  • the pixel voltage Vsh1 is applied to the terminal on the DVS pixel 31 side having the capacity 2120.
  • the electric charge corresponding to the voltage Vsh1 and the potential difference on the comparator 2122 side is accumulated in the capacitance 2120.
  • the potential of the comparator 2122 is set to 0 at the timing when the capacitance 2120 is reset to zero by a reset circuit (not shown).
  • the signal Sg76 becomes a high level
  • the switching element 323 becomes a conductive state
  • the pixel voltage Vsh2 is applied to the capacitance 324.
  • the pixel voltage Vsh2 is applied to the terminal on the DVS pixel 31 side having the capacity 2120.
  • the potential on the comparator 2122 side of the capacitance 2120 fluctuates while maintaining the accumulated charge, and becomes (pixel voltage Vsh2-pixel voltage Vsh1).
  • the signal Sg76 becomes a low level, and the pixel voltage Vsh2 is sample-held in the sample hold circuit 320.
  • the signal Sg78 is changed to the on-event threshold. That is, when the on-event is detected, the potential signal corresponding to the on-event threshold value is input from the digital-to-analog converter 2124 to the other end of the comparator 2122. As a result, the potential of (pixel voltage Vsh2-pixel voltage Vsh1) is applied to one end of the comparator 2122, and the potential signal corresponding to the on-event threshold value is input to the other end of the comparator 2122. Will be.
  • the signal Sg76 becomes high level and the comparator 2122 is driven.
  • the comparator 2122 compares the on-event threshold with (pixel voltage Vsh2-pixel voltage Vsh1), and is true if (pixel voltage Vsh2-pixel voltage Vsh1) is equal to or greater than the on-event threshold. Outputs a value, and if it is small, outputs a false value.
  • the signal Sg76 becomes a low level, and the driving of the comparator 2122 is stopped. Subsequently, the signal Sg78 is changed to the off-event threshold.
  • the signal Sg76 becomes high level and the comparator 2122 is driven.
  • the comparator 2122 compares the off-event threshold with (pixel voltage Vsh2-pixel voltage Vsh1), and is true if (pixel voltage Vsh2-pixel voltage Vsh1) is equal to or less than the off-event threshold. Outputs a value, and if it is large, outputs a false value.
  • the signal Sg76 becomes a low level
  • the driving of the comparator 2122 is stopped, the signal Sg78 becomes a reference level (for example, 0), the signal Sg70 becomes a low level, and the selection transistor 332 becomes a non-conducting state.
  • the signal Sg70 becomes a high level, and the next detection cycle is started.
  • FIG. 8A is a block diagram showing another configuration example of the sample hold circuit 320.
  • the sample hold circuit 320a includes an N-type transistor 321, a switching transistor 323a, a bias transistor 322a, and a capacitance 324.
  • the N-type transistor 321, the switching transistor 323a, and the bias transistor 322a are connected in series between the power supply terminal VDD and the reference terminal having a predetermined reference potential (ground potential, etc.).
  • One end of the capacitance 324 is connected to the connection point between the switching transistor 323a and the bias transistor 322a.
  • a signal corresponding to the signal Sg72 see FIG.
  • the sample hold circuit 320a shown in FIG. 8A has the same function as the sample hold circuit 320 (see FIG. 6).
  • FIG. 8B is a block diagram showing still another configuration example of the sample hold circuit 320.
  • the sample hold circuit 320b includes an N-type transistor 321, a switching transistor 323b, a switching transistor 323c, a bias transistor 322a, and a capacitance capacity 324.
  • the N-type transistor 321 and the switching transistor 323b, the switching transistor 323c, and the bias transistor 322a are connected in series between the power supply terminal VDD and the reference terminal of a predetermined reference potential (ground potential, etc.). ..
  • One end of the capacitance capacity 324 is connected to the connection point between the switching transistor 323b and the switching transistor 323c.
  • a signal corresponding to the signal Sg72 see FIG.
  • the sample hold circuit 320b shown in FIG. 8B has the same function as the sample hold circuit 320 (see FIG. 6).
  • FIG. 8C is a block diagram showing a configuration example of a sample hold circuit 320c having two capacities 324.
  • a switching element 323, a capacitance 324, an amplification transistor 331, and a selection transistor 332 are configured in parallel at two connection points between the N-type transistor 321 and the current source 322.
  • the capacitance 324 two, the charge corresponding to the pixel voltage Vsh1 can be accumulated, and the charge corresponding to the pixel voltage Vsh2 can be accumulated in the other capacitance 324. Therefore, the pixel can be stored asynchronously with the reading timing of the readout circuit 330.
  • the pixel voltage Vsh2 can be stored in the voltage Vsh1 and the voltage Vsh1.
  • FIG. 8D is a block diagram showing a configuration example of a sample hold circuit 320d that holds a sample when an address event occurs.
  • an AND circuit 325 is further provided on the control line for supplying the control signal of the switching element 323 of the sample hold circuit 320d.
  • the row selection signal SELL and the address event signal from the event detection circuit unit 212 are input to the AND circuit 325.
  • FIG. 8E is a block diagram showing another configuration example of the sample hold circuit 320d that holds a sample when an address event occurs.
  • the sample hold circuit 320e is shown in FIG. 8D in that the switching element 326 is further connected in series between one end of the switching element 323 and one end of the capacitance 324. It is different from the sample hold circuit 320d.
  • On / off control of the switching element 326 is performed based on the address event signal from the event detection circuit unit 212.
  • the address event signal from the event detection circuit unit 212 On / off control of the switching element 326 is performed based on the address event signal from the event detection circuit unit 212.
  • FIG. 8F is a block diagram showing a configuration example of a sample hold circuit 320f having two capacitances 324 and a reset transistor 338.
  • two series-connected switching elements 323 and switching elements 327 are connected in parallel, and one end thereof is connected to a connection point between the N-type transistor 321 and the current source 322. The other end is connected to the gate of the amplification transistor 331.
  • One end of the capacitance 324 is connected to each of the connection points of the two switching elements 323 and the switching element 327 connected in series.
  • one end of the reset transistor 338 is connected to the other ends of the switching element 323 and the switching element 327 connected in parallel, and the other end of the reset transistor 338 is connected to the power supply voltage VDD.
  • FIG. 8G is a block diagram showing another configuration example of the sample hold circuit 320f having two capacitances 324 and a reset transistor 338.
  • one end of the switching element 328 is connected to a connection point between the N-type transistor 321 and the current source 322, and the other end is connected to the gate of the amplification transistor 331.
  • One end of each of the two switching elements 329 is connected between the other end of the switching element 328 and the gate of the amplification transistor 331, and the capacitance 324 is connected to the other end.
  • the number of switching elements can be reduced by one, and the pixel array unit 30 can be further miniaturized.
  • FIG. 9 is a block diagram showing another configuration example of the read circuit 330. As shown in FIG. 9, the current source 340 may be configured in the DVS pixel 31.
  • FIG. 10A is a diagram showing a configuration example in which the capacitance 2128 is arranged at the input terminal on the digital-to-analog converter 2124 side of the comparator 2122. As shown in FIG. 10A, the capacitance 2128 may be arranged at the input terminal on the digital-to-analog converter 2124 side. Further, the signal holding circuit 2126 is connected to the output terminal of the comparator 2122. As a result, the signal holding circuit 2126 can hold the on-event signal and the off-event signal.
  • the event detection circuit 212a is used when the difference between the two pixel voltages Vsh1 and the pixel voltage Vsh2 (see FIG. 7) (pixel voltage Vsh2-pixel voltage Vsh1) exceeds the threshold value (meaning both high or low voltage). , Output the signal. At least one of the two inputs of the comparator 2122 is coupled with capacitances 2120 and 2128. A sample hold circuit may be combined with the input portion of the comparator 2122.
  • one comparator 2122 is arranged for each readout line L10, on / off events are detected in time series as described above.
  • a plurality of comparisons may be performed with a plurality of threshold values instead of the two threshold values, and multiple values may be detected.
  • the capacitances 2120 and 2128 of the comparator 2122 are reset via an AZ switch (not shown) as described above.
  • FIG. 10B to 10D are diagrams showing an example in which a threshold signal is input from a digital-to-analog converter 2124 to a plurality of comparators 2122.
  • FIG. 10B is a diagram showing a configuration example in which the input terminal on the signal line L10, 12 side of the comparator 2122 is provided with a capacitance 21220, and the input terminal on the digital-to-analog converter 2124 side is provided with a capacitance 2128.
  • FIG. 10C is a diagram showing a configuration example in which the input terminals on the signal lines L10 and 12 side of the comparator 2122 are provided with the capacitance 21220.
  • 10D is a diagram showing a configuration example in which the input terminal on the digital-to-analog converter 2124 side is provided with a capacity of 2128.
  • the comparator 2122 inputs a threshold signal and a luminance signal to the comparator 2122 via a capacitively coupled capacitance 2122 or a capacitance 2128.
  • the digital-to-analog converter 2124 may be common to a plurality of columns, for example, a plurality of signal lines L10 and L12. Alternatively, it may be common to all columns, for example, all signal lines L10 and L12. Further, the capacitances 21220 and 2128 are provided on the read line side or at least one side of the digital-to-analog converter 2124 side.
  • FIG. 10E is a diagram showing an example in which one signal line L10 is provided with a plurality of comparators 2122.
  • the event detection circuit 212a includes a plurality of comparators 2122, a plurality of digital-to-analog converters 2124, a plurality of signal holding circuits 2126, and a plurality of capacitances connected to one signal line L10. It includes 2120 and 2128.
  • An on-event signal and an off-event signal can be held in each of the 2126s.
  • one signal line L10 may be configured to include a plurality of comparators 212. In this case, since the determination can be made simultaneously with two or more threshold values, high-speed operation is possible.
  • FIG. 11 is a diagram showing an example in which the event detection circuit 212b is configured by a single slope ADC.
  • the event detection circuit 212b differs from the event detection circuit 212a (see FIG. 6) in that it includes a counter circuit 2130 connected to the output terminal of the comparator 212. That is, the event detection circuit 212b is a circuit in which the event detection circuit a and the analog-to-digital conversion circuit (ADC) are shared. This enables event detection of luminance signals and analog-to-digital conversion.
  • ADC analog-to-digital conversion circuit
  • FIG. 12 is a diagram showing an example in which the event detection circuit 212c is configured by SAR-ADC.
  • the event detection circuit 212c differs from the event detection circuit 212a (see FIG. 6) in that it includes a latch connected to the output terminal of the comparator 212 and a SAR logic circuit 2132. do. That is, the event detection circuit 212b is a circuit in which the event detection circuit a and the analog-to-digital conversion circuit (ADC) are shared. This enables event detection of luminance signals and analog-to-digital conversion.
  • the DAC may be a capacitive type DAC or a resistance type DAC.
  • the ADC may have other configurations. That is, it suffices if the ADC has a comparator, one of the two inputs has a capacitive coupling input, and the threshold can be adjusted.
  • the SAR-ADC is sometimes referred to as a sequential approximation.
  • FIG. 13 is a diagram showing an example in which a region 500A and another region are configured by two chips.
  • a technique of laminating two or more chips is effective. For example, there are Cu—Cu, TSV, micro bumps and the like.
  • FIG. 14 is a diagram showing a region 500B as an OSPF or polyclonal region.
  • the SW is composed of an MIMO and is not a CMOS (without a ProLiant).
  • FIG. 15 is a diagram in which the boxes are set to the region 500C.
  • the regions 500A to 500C can be separated in various ways.
  • FIG. 16 is a cross-sectional view showing a cross-sectional structure of a capacity 324 according to another example of the present embodiment.
  • the capacitance 324 shown in FIG. 16 is not a parallel plate type capacitive element but a three-dimensional structure type capacitive element.
  • the capacitance 324 includes a lower electrode 21, a dielectric layer 22, and an upper electrode 23.
  • the interface between the lower electrode 21 and the dielectric layer 22 has a trench shape recessed in the direction from the upper electrode 23 toward the lower electrode 21, that is, in the depth direction.
  • the dielectric layer 22 is provided with a substantially uniform film thickness along the trench shape.
  • the lower electrode 21 is also provided with a substantially uniform film thickness along the trench shape.
  • the upper surface of the upper electrode 23 is substantially flat, and the lower surface is provided along the trench shape.
  • the lower electrode 21 is formed by using a conductive material.
  • a conductive material a simple substance of a metal such as titanium (Ti), aluminum (Al), gold (Au) or platinum (Pt) is used.
  • a conductive metal nitride film such as titanium nitride (TiN, tantalum nitride (TaN) or hafnium nitride (HfN)
  • TiN titanium nitride
  • TaN tantalum nitride
  • HfN hafnium nitride
  • Conductive oxides such as indium tin (ITO: Titalum Tin Oxide) or zinc oxide (ZnO) may be used.
  • the upper electrode 23 may be formed using the same material as the lower electrode 21 and may be different.
  • the dielectric layer 22 may be formed by using a material.
  • the dielectric layer 22 is formed by using a high—k material having a higher dielectric constant than silicon oxide (SiO2).
  • the dielectric layer 12 is formed. It contains an oxide of hafnium (Hf) or zirconium (Zr) as a main component.
  • the dielectric layer 12 contains 50 mol% or more of an oxide of hafnium or zirconium.
  • FIG. 16 shows an example of a trench shape having two grooves
  • the number of grooves may be one or three or more.
  • the capacity of the capacity 324 can be increased by increasing the number of grooves or deepening the grooves.
  • FIG. 17 is a cross-sectional view showing a cross-sectional structure of a flat plate type capacity 324 according to another example of the present embodiment.
  • the capacitance 324 shown in FIG. 17 is a capacitance element that stores signal charges taken out from the photoelectric conversion element 300. In this way, the capacity 324 may be configured as a flat plate type.
  • FIG. 18 is a cross-sectional view showing a cross-sectional structure of another memory device 600A according to the present embodiment.
  • the memory device 600A is, for example, a storage device such as eDRAM (embedded Dynamic Random Access Sensor).
  • the capacity 343 is not limited to eDRAM as long as it is a capacitor-based storage device.
  • the memory device 600A includes a DRAM forming area 2010 and a logic circuit forming area 2020 on the substrate 210.
  • the DRAM forming area 2010 is provided with a memory cell 220, a transistor Tr, and a wiring layer 230.
  • a plurality of DRAM forming areas 2010 and logic circuit forming areas 2020 are arranged in a matrix.
  • the value can be held by writing the electric charge to the memory cell 220 included in the DRAM forming area 201.
  • the substrate 210 is a semiconductor substrate, for example, a Si substrate.
  • a plurality of insulating films 240, 241 and 242 are laminated in this order on the substrate 210.
  • the memory cell 220 has, for example, a capacity of 343 shown in FIG.
  • the memory cell 220 is provided on the insulating film 241 formed on the substrate 210.
  • the insulating film 241 is provided with a through hole for exposing the upper surface of the insulating film 240, and the memory cell 220 has a trench structure utilizing the through hole.
  • the lower electrode 21 of the memory cell 220 is connected to one of the source and drain of the transistor Tr via a contact plug 231 penetrating the insulating film 240.
  • the memory cell 220 stores the electric charge supplied via the transistor Tr.
  • the transistor Tr writes or reads out the electric charge to the memory cell 220.
  • the tradista Tr is, for example, a MOSFET.
  • the source and drain of the transistor Tr are formed in the surface region of the substrate 210.
  • the other of the source and drain of the transistor Tr is connected to the wiring layer 230 via a contact plug 231 penetrating the insulating film 240 and a contact plug 232 penetrating the insulating films 241 and 242.
  • FIG. 19 is a diagram showing an example of a stack cell applicable to the capacity 343 shown in FIG.
  • FIG. 19A is a diagram showing a cross-sectional structure of a COB (capacitance-Over-Bit Line) type stack cell 600.
  • FIG. 19B is a diagram showing a cross-sectional structure of the substrate plate type trench cell 602.
  • FIG. 19 (c) is a diagram showing a cross-sectional view of the cylindrical stack cell 604.
  • FIG. 19 (d) is a diagram showing a cross-sectional view of a cylindrical stack cell 606 using a recessed channel transistor.
  • FIG. 19 (e) is a diagram showing a cross-sectional view of a cylindrical stack cell 608 using a fin-type transistor.
  • FIG. 20 is a diagram showing a transition example of the stack cell shown in FIG.
  • the capacity of the planar cell is 10K-1M bits, and the capacity increases to 1M-16M bits and 16M-1G bits as the cell changes to the trench cell and the substrate plate type trench cell.
  • the capacity increases to 1M-4M bits, 4M-64M bits, 64M-4G bits, 4G bits or more as the stack cell, fin type stack cell, cylindrical stack cell, and pillar type stack cell change. There is.
  • These stack cells can be used for the capacity 343 shown in FIG.
  • the image pickup apparatus 100 is arranged outside the pixel array unit 30, and is an address when the luminance signals of the plurality of DVS pixels exceed a predetermined threshold value. It is provided with a detection circuit unit 212 that outputs a detection signal indicating the occurrence of an event. As a result, the detection circuit unit 212 is arranged outside the pixel array unit 30, so that the pixel array unit 30 can be miniaturized. Further, since the signal holding circuit 323 of the DVS pixel 31 holds the luminance signal converted by the logarithmic conversion circuit 320, the luminance signal is input to the comparator 2122 via the capacitively coupled capacitance 2120, and the capacitance 2120.
  • the first brightness signal is input after the initialization, and then the second brightness signal held in the signal holding circuit 323 is input, and an event signal can be generated.
  • the state image pickup device 100 according to the first embodiment has logarithmically converted the output signal of the photoelectric conversion element 300, whereas the state image pickup device 100 according to the first embodiment of the modification 1 has the photoelectric conversion element 300. It differs from the state image pickup apparatus 100 according to the first embodiment in that it further has a circuit configuration capable of linearly outputting an output signal. Hereinafter, the differences from the state image pickup apparatus 100 according to the first embodiment will be described.
  • FIG. 21 is a diagram showing a configuration example of the DVS pixel 31 and the event detection circuit 212b. As shown in FIG. 21, the DVS pixel 31 is different from the DVS pixel 31 shown in FIG. 11 in that it further includes a switching element 400.402 and a reset transistor 404.
  • One end of the switching element 400 is connected to the anode of the photoelectric conversion element 300.
  • the other end of the switching element 400 is connected to one end of the capacitance 324.
  • one end of the switching element 402 is connected to the anode of the photoelectric conversion element 300.
  • the other end of the switching element 402 is connected to the gate of the N-type transistor 313.
  • One end of the reset transistor 404 is connected to the power supply terminal VDD, and the other end is connected to one end of the capacitance 324.
  • the reset transistor 404 is put into a non-connected state (off), and the switching element 400 is put into a non-connected state (off). Then, when the switching element 402 is turned on, it is possible to output a luminance signal equivalent to that of the DVS pixel 31 shown in FIG.
  • the switching element 400 is connected (on). Then, when the switching element 402 is turned off, a charge proportional to the output voltage of the photoelectric conversion element 300 is added to the capacitance 324. In this case, the switching elements 400, 402, and 323 are put into a non-connected state (off), the reset transistor 404 is put into a connected state (on), and the stored charge of the capacitance 324 is set to the initial state.
  • the signal proportional to the output voltage of the photoelectric conversion element 300 can be analog-digitally converted by the event detection circuit 212b. Further, the electric charge corresponding to the pixel voltage Vsh1 can be accumulated in the capacitance 324, and the electric charge corresponding to the elementary voltage Vsh2 can be accumulated at the next timing. Therefore, the event detection circuit 212b can compare the difference value (pixel voltage Vsh2-pixel voltage Vsh1) between the pixel voltage Vsh2 and the pixel voltage Vsh1 with the threshold value. In this way, the output of the photoelectric conversion element 300 may be separated in two directions by the switching element 400.402. It can be directly connected to the logarithmic conversion circuit 310 and the sample hold circuit 320. That is, when connected to the logarithmic conversion circuit 310, it can be read out as an event (Even) signal. When the column circuit is used in combination with the ADC, it is possible to read the difference between the previous and current signals as a gradation.
  • the movement equivalent to that of a general image sensor can be achieved.
  • the movement equivalent to that of a general image sensor can be achieved.
  • FIG. 22 is a diagram showing a configuration example of the DVS pixel 31 and the event detection circuit 212b according to the second modification of the first embodiment. As shown in FIG. 22, the DVS pixel 31 is different from the DVS pixel 31 shown in 20 in that it further includes a switching element 406.
  • the switching element 323, 400.402.406 is set to the connected state (on). Then, the set transistor 404 is set to the connected state (on), and the stored charge of the floating capacitance 408 is set to the initial state.
  • the switching element 400 is set to the connected state (on), and the electric charge corresponding to the output of the electric conversion element 300 is directly supplied to the floating power capacity 408.
  • the buoyancy capacity 408 outputs the stored charge as a voltage signal.
  • Other processing is the same as that of the state image pickup apparatus 100 according to the first modification of the first embodiment. In this way, when reading the event signal, a capacity 324 having a capacity larger than the floating capacity 408 is used. On the other hand, when reading the gradation signal, a smaller buoyancy capacity 408 is used. In this way, it is possible to separate the floating capacitance 408 and the capacitance 324 according to the event signal and the gradation signal.
  • the state image pickup device 100 according to the modification 3 of the first embodiment is different from the state image pickup device 100 according to the modification 2 of the first embodiment in that it further includes a readout circuit 330a that outputs a linear output of the photoelectric conversion element 300. do.
  • a readout circuit 330a that outputs a linear output of the photoelectric conversion element 300. do.
  • FIG. 23 is a diagram showing a configuration example of the DVS pixel 31 and the event detection circuit 212b according to the second modification of the first embodiment. As shown in FIG. 23, the DVS pixel 31 is different from the state image pickup device 100 according to the second modification of the first embodiment in that it further has a read-out circuit 330a.
  • the event detection circuit 212b is connected to the read circuit 330a side. This makes it possible to perform analog-to-digital conversion of a signal linearly proportional to the output of the photoelectric conversion element 300. On the other hand, it is also possible to detect an event by a signal linearly proportional to the output of the photoelectric conversion element 300.
  • the event detection circuit 212a is connected to the read circuit 330 side. This makes it possible to detect an event using a signal obtained by logarithmically converting the output of the photoelectric conversion element 300.
  • the state image pickup device 100 according to the modified example 4 of the first embodiment is different from the state image pickup device 100 according to the first embodiment in that the pixel array unit 30 has a gradation pixel (Normal) 32.
  • the differences from the state image pickup apparatus 100 according to the first embodiment will be described.
  • FIG. 24 is a diagram showing a configuration example of the pixel array unit 30 according to the modified example 4 of the first embodiment. As shown in FIG. 24, the pixel array unit 30 is different from the state image pickup device 100 according to the first embodiment in that it has a plurality of DVS pixels 31 and a plurality of gradation pixels (Normal) 32.
  • FIG. 25 is a diagram showing a configuration example of the gradation pixel (Normal) 32.
  • the gradation pixel (Normal) 32 has a readout circuit 330a (see FIG. 22). In this way, the gradation pixel (Normal) 32 outputs a signal linearly proportional to the output of the photoelectric conversion element 300.
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure is any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a distance measuring device mounted on the body.
  • FIG. 26 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Control Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ringing, Laser Imaging Detection and Ranking) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 27 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the image pickup units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 27 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the image pickup range a indicates the image pickup range of the image pickup unit 7910 provided on the front nose
  • the image pickup ranges b and c indicate the image pickup range of the image pickup units 7912 and 7914 provided on the side mirrors, respectively
  • the image pickup range d indicates the image pickup range.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, on the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether or not the driver is dozing. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-F).
  • GSM Global System of Mobile communications
  • WiMAX Wireless LAN
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-F wireless LAN
  • Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian, or a store, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 is, for example, a WAVE (Wireless Access in Vehicle Environment), which is a combination of the lower layer IEEE802.11p and the upper layer IEEE1609, DSRC (Dedicated Short Range Communication protocol), or a standard such as DSRC (Dedicated Short Range Communication) protocol. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-Pedestrian (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and executes positioning, and performs positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, a radio wave or an electromagnetic wave transmitted from a radio station or the like installed on a road, and acquires information such as a current position, a traffic jam, a road closure, or a required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the techniques according to the present disclosure include, for example, image pickup units 7910, 7912, 7914, 7916, 7918, vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930, and driver state detection. It can be applied to the part 7510 and the like. Specifically, the image pickup system 10 of FIG. 1 having the image pickup apparatus of the present disclosure can be applied to these image pickup units and detection units.
  • the influence of noise events such as sensor noise can be mitigated, and the occurrence of true events can be detected reliably and quickly, thus realizing safe vehicle driving. It becomes possible to do.
  • the DVS pixel is A photoelectric conversion element that outputs a signal according to the amount of light, A logarithmic conversion circuit that performs logarithmic conversion of the signal, A signal holding circuit that holds the luminance signal converted by the logarithmic conversion circuit, and A read circuit that reads out the bright signal held in the signal holding circuit, An image pickup device.
  • the detection circuit unit includes at least one comparator and A reference generation circuit that outputs a reference voltage and Have and The image pickup apparatus according to (1), wherein a luminance signal read from the readout circuit and the reference voltage are input to the comparator.
  • the detection circuit unit has a plurality of detection circuits.
  • the detection circuit unit has a plurality of detection circuits.
  • the luminance signal is input to the comparator via the capacitively coupled capacitance, the first first luminance signal is input after the capacitance is initialized, and then to the signal holding circuit.
  • the read circuit has an amplification transistor connected in series between a reference power supply and a signal line connected to the detection circuit, and a selection transistor.
  • the anode of the photoelectric conversion element is connected to the logarithmic conversion circuit via the first switching element, and is connected to one end of the capacitance on the reference power supply side via the second switching element.
  • the anode of the photoelectric conversion element is connected to one end of the capacitance on the reference power supply side via a first switching element, a floating capacitance, and a third switching element, according to (9). Imaging device.
  • the detection circuit unit It has a comparator to which the luminance signal read from the read circuit and the reference voltage are input.
  • the luminance signal is input to the comparator via the capacitively coupled capacitance of the comparator, the first first luminance signal is input after the capacitance is initialized, and subsequently to the pixel array unit.
  • FIG. 30 Pixel array unit, 100: Image sensor, 200: Solid-state image sensor, 211b: Second access control circuit, 212a: AD converter, 212b: DVS read circuit, 212c: Time stamp generation circuit, 212d: Timing control circuit, 213: 1st signal processing unit, 214: 2nd signal processing unit, 250: arbiter circuit, 308a: gradation pixel, 308b: DVS pixel 314: AFE for DVS.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］本開示では、より小型化が可能な撮像装置及び撮像方法を提供する。 ［解決手段］撮像装置は、本開示によれば、光量に応じた輝度信号を出力する複数のＤＶＳ画素を有する画素アレイ部と、前記画素アレイ部の外部に配置され、前記複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部と、を備え、前記ＤＶＳ画素は、光量に応じた信号を出力する光電変換素子と、　前記信号を対数変換する対数変換回路と、前記対数変換回路で変換された輝度信号を保持する信号保持回路と、前記信号保持回路に保持された前記輝信号を読出す読出し回路と、を有する。

Description

撮像装置及び撮像方法
　本開示は、撮像装置及び撮像方法に関する。
　垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量がしきい値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている。このように、画素毎にアドレスイベントを検出する固体撮像素子は、ＤＶＳ（Ｄｙｎａｍｉｃ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ）と呼ばれる。同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。また、ＤＶＳのアドレスイベントを検知する検知回路は画素アレイ部内に構成される。
ＷＯ２０１９／０８７４７１号公報
　一方で、画素アレイ部は、より小型化が進められている。ところが、検知回路を画素アレイ部内に構成すると、小型化を阻害する恐れがある。
　そこで、本開示では、より小型化が可能な撮像装置及び撮像方法を提供するものである。
　上記の課題を解決するために、本開示によれば、光量に応じた輝度信号を出力する複数のＤＶＳ画素を有する画素アレイ部と、
　前記画素アレイ部の外部に配置され、前記複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部と、を備え、
　前記ＤＶＳ画素は、
　光量に応じた信号を出力する光電変換素子と、
　前記信号を対数変換する対数変換回路と、
　　前記対数変換回路で変換された輝度信号を保持する信号保持回路と、
　前記信号保持回路に保持された前記輝信号を読出す読出し回路と、
　を有する、撮像装置が提供される。
　前記検出回路部は、少なくとも一つの比較器と、
　リファレンス電圧を出力するリファレンス生成回路と、
有し、
　前記比較器には、前記読出し回路から読み出された輝度信号と、前記リファレンス電圧とが入力されてもよい。
　前記検出回路部は、複数の検出回路を有し、
　前記検出回路部は、検出回路毎に対応するリファレンス生成回路を有してもよい。
　前記複数の検出回路は、列状に配置された複数の前記ＤＶＳ画素のそれぞれから、時系列に前記読出し回路から読み出された前記輝度信号が入力されてもよい。
　前記検出回路部は、複数の検出回路を有し、
　前記リファレンス生成回路は、前記複数の検出回路に前記リファレンス電圧を供給されてもよい。
　　前記比較器は、２入力のうち少なくとも１つは容量結合されており、前記輝度信号と前記リファレンス電圧との少なくとも１つが接続されてもよい。
　前記輝度信号は、前記容量結合された容量を介して、前記比較器に入力され、前記容量が初期化された後に最初の第１輝度信号が入力され、続けて前記信号保持回路に保持された第２輝度信号が入力されてもよい。
　前記比較器は、多ビットでアナログデジタル変換も可能であってもよい。
　前記読出し回路は、基準電源と前記検出回路に接続される信号線との間に直列に接続された増幅トラジスタと、選択トランジスタを有し、
　前記増幅トラジスタのゲートと基準電位との間に前記信号保持回路の容量が接続されてもよい。
　　前記光電変換素子のアノードは、第１スイッチィング素子を介して前記対数変換回路に接続され、第２スイッチィング素子を介して前記容量の前記基準電源側の一端に接続されてもよい。
　前記光電変換素子のアノードは、第１スイッチィング素子、浮電容量、及び第３スイッチィング素子を介して前記容量の前記基準電源側の一端に接続されてもよい。
　前記第１輝度信号の読み出し周期に同期し、前記複数のＤＶＳ用画素の全てから前記第１輝度信号が読み出されてもよい。
　前記浮電容量と基準電源との間には、前記浮電容量の蓄積電荷を初期状態にするリセットトランジスタが接続されてもよい。
　前記第２スイッチィング素子が導通状態になる場合は、前記第１スイッチィング素子、及び前記第３スイッチィング素子は、非導通状態であってもよい。
　前記光電変換素子のアノードは、第２スイッチィング素子を介して第２読出し回路に接続されてもよい。
　前記画素アレイ部は、更に階調画素を有してもよい。
　本開示によれば、光量に応じた輝度信号を出力する複数のＤＶＳ画素を有する画素アレイ部と、
　前記画素アレイ部の外部に配置され、前記複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部と、を備える、撮像装置の制御方法であって、
　前記検出回路部は、
　前記読出し回路から読み出された輝度信号と、前記リファレンス電圧とが入力される比較器を有し、
　前記輝度信号は、前記比較器の容量結合された容量を介して、前記比較器に入力され、前記容量が初期化された後に最初の第１輝度信号が入力され、続けて前記画素アレイ部に保持された第２輝度信号が入力される、撮像装置の撮像方法が提供される。
本開示に係る技術が適用される像装置の構成の一例を示すブロック図。 固体撮像素子の積層構造の一例を示す図。 固体撮像素子の構成例を示すブロック図。 行列状に配置される画素ブロックを模式的に示す図。 ＤＶＳ画素の構成を模式的に示す図。 ＤＶＳ画素及びイベント検出回路の構成例を示す図。 ＤＶＳ画素及びイベント検出回路の動作例を示す図。 サンプルホールド回路の別の構成例を示すブロック図。 サンプルホールド回路の更に別の構成例を示すブロック図。 二つの容量を有するサンプルホールド回路の構成例を示すブロック図。 アドレスイベントが発生した場合にサンプルホールドするサンプルホールド回路の構成例を示すブロック図。 サンプルホールド回路の別の構成例を示すブロック図。 二つの容量とリセットトランジスタとを有するサンプルホールド回路の構成例を示すブロック図。 二つの容量とリセットトランジスタを有するサンプルホールド回路の別の構成例を示すブロック図。 読出し回路の別の構成例を示すブロック図。 デジタルアナログ変換器側の入力端子に容量を配置した構成例を示す図。 信号線側の入力端子に容量を備え、デジタルアナログ変換器側の入力端子に容量を備える構成例を示す図。 比較器の信号線側の入力端子に容量を備える構成例を示す図。 デジタルアナログ変換器側の入力端子に容量を備える構成例を示す図。 一つの信号線に複数の比較器を備える例を示す図。 イベント検出回路をシングルスロープＡＤＣで構成した例を示す図。 イベント検出回路をＳＡＲ－ＡＤＣで構成した例を示す図。 領域と他の領域を２チップで構成する例を示す図。 ＮＭＯＳ或いはＰＭＯＳ領域を領域としている図。 ＮＭＯＳを領域としている図。 本実施の形態の別の一例に係る容量の断面構造を示す断面図。 本実施の形態の別の一例に係る平板型の容量の断面構造を示す断面図。 本実施の形態に係るメモリデバイスの断面構造を示す断面図。 図６に示される容量３４３に適用可能なタックセルの一例を示す図。 図１９に示したなスタックセルの変遷例を示す図。 ＤＶＳ用画素及びイベント検出回路の構成例を示す図。 第１実施形態の変形例２に係るＤＶＳ用画素及びイベント検出回路の構成例を示す図。 第１実施形態の変形例２に係るＤＶＳ用画素及びイベント検出回路の構成例を示す図。 第１実施形態の変形例４に係る画素アレイ部の構成例を示す図。 階調画素の構成例を示す図。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部及び車外情報検出部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置及び撮像方法の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
（第１実施形態）
［撮像装置の構成例］
　図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０および制御部１３０を備える。撮像装置１００としては、ウェアラブルデバイスに搭載されるカメラや、車載カメラなどが想定される。
　撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、ＤＶＳ画素を有する。ＤＶＳ画素は、輝度の変化量の絶対値がしきい値を超えた旨を示すアドレスイベントの検出に用いる検出信号を出力することが可能である。このアドレスイベントは、例えば、輝度の上昇量が上限しきい値を超えた旨を示すオンイベントと、輝度の低下量が上限しきい値未満の下限しきい値を下回った旨を示すオフイベントとを含む。そして、固体撮像素子２００は、アドレスイベントの検出結果を示す検出信号をＤＶＳ画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号ＶＣＨと、オフイベントの有無を示すオフイベント検出信号ＶＣＬとを含む。なお、固体撮像素子２００は、オンイベントおよびオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。
　一方で、階調用画素は階調用輝度信号を出力する。階調用画素が出力する階調用輝度信号に基づき、階調用画像が構成される。なお、本実施形態では、ＤＶＳ用画素の検出信号に基づく画像を１ＤＶＳ画像と称し、階調用画素が出力する階調用輝度信号に基づく画像を階調用画像と称する。
　固体撮像素子２００は、ＤＶＳ画像を記録部１２０に信号線２０９を介して出力する。
　記録部１２０は、固体撮像素子２００からのデータを記録するものである。制御部１３０は、固体撮像素子２００を制御して画像データを撮像させるものである。
［固体撮像素子の構成例］
　図２は、本技術の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、検出チップ２０２と、その検出チップ２０２に積層された受光チップ２０１とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。
　図３は、固体撮像素子２００の構成例を示すブロック図である。図３に示すように、本開示に係る固体撮像素子２００は、ＤＶＳの撮像が可能な装置である。この固体撮像素子２００は、画素アレイ部３０と、駆動回路部２１１と、検知回路部２１２と、第１信号処理部２１３と、出力インターフェース２１４とを有する。
　画素アレイ部３０には、複数のＤＶＳ画素３１が二次元格子状に配列される。これらのＤＶＳ画素３１は、輝度信号をイベント検出回路部２１２に供給する。
　駆動回路２１１は、画素アレイ部３０内のＤＶＳ画素３１を駆動して輝度信号を出力させる。例えば、駆動回路２１１は、画素アレイ部３０内の複数のＤＶＳ画素３１から行毎に順に輝度信号を出力させる制御を行う。より詳細には、駆動回路２１１は、ＤＶＳ画素３１を駆動する際に、例えば、垂直同期信号に同期してＤＶＳ画素３１を駆動する。ここで、垂直同期信号は、画像データの撮像タイミングを示す所定周波数（３０ヘルツなど）の信号である。
　イベント検出回路部２１２は、画素アレイ部３０からの検出信号に対し、アドレスイベントの検出処理を実行する。
　　検出信号処理部２１３は、イベント検出回路部２１２からの検出信号に対し、画像認識処理などの所定の信号処理を実行する。この検出信号処理部２１３は、処理結果を示すデータを記録部１２０に信号線２０９を介して供給する。
　ここで、図４に基づき、画素アレイ部３０の構成を説明する。図４は、画素アレイ部３０に行列状に配置されるＤＶＳ画素３１を模式的に示す図である。図４に示すように、画素アレイ部３０には、複数のＤＶＳ画素３１が行列状（アレイ状）に２次元配列されている。
　図５に基づき、ＤＶＳ画素３１の構成を説明する。図５は、ＤＶＳ画素３１の構成を模式的に示す図である。図５に示すように、列状に配置される複数のＤＶＳ画素３１には信号線Ｌ１０が配線される。
　ＤＶＳ画素３１は、光電変換素子３００と、対数変換回路３１０と、サンプルホールド回路３２０と、読出し回路３３０とを備える。光電変換素子３００は、入射光に対する光電変換により光電流を生成する。
　対数変換回路３１０は、光電流を画素電圧Ｖｌｏｇに対数的に変換する。対数変換回路３１０は、画素電圧Ｖｌｏｇをサンプルホールド回路３２０に供給する。
　サンプルホールド回路３２０は、対数変換回路３１０から供給される画素電圧Ｖｌｏｇをゲイン係数に応じて減圧して、画素電圧Ｖｓｈとしてサンプルホールドする。そして、サンプルホールド回路３２０は、画素電圧Ｖｓｈを読出し回路３３０に供給する。
　読出し回路３３０は、サンプルホールド回路３２０から供給される画素電圧Ｖｓｈを配置列に対応するイベント検出回路２１２ａに供給する。
　イベント検出回路２１２ａは、サンプルホールド回路３２０から時系列に供給される画素電圧Ｖｓｈに基づき、アドレスイベントを検出する。なお、本実施形態に係る画素電圧Ｖｓｈが輝度信号に対応する。
　図６は、ＤＶＳ画素３１及びイベント検出回路２１２ａの構成例を示す図である。図６に示すように、対数変換回路３１０は、N型トランジスタ３１１および３１３と、電流源３１２とを備える。N型トランジスタ３１１および３１３として、例えば、ＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタが用いられる。
　N型トランジスタ３１１のソースは光電変換素子３００ のカソードに接続され、ドレインは電源端子ＶＤＤに接続される。電流源３１２およびN型 トランジスタ３１３は、電源端子ＶＤＤと所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。また、電流源３１２およびN型トランジスタ３１３の接続点は、N型トランジスタ３１１のゲートとサンプルホールド回路３２０の入力端子とに接続される。N型 トランジスタ３１１および光電変換素子３００の接続点は、N型トランジスタ３１３のゲートに接続される。このような構成により、光電変換素子３００ の光電流は、画素電圧Ｖｌｏｇに対数的に変換される。なお、対数変換回路３１０は一例であり、これに限定されない。
　サンプルホールド回路３２０は、Ｎ型トランジスタ３２１と、電流源３２２と、スイッチィング素子３２３と容量３２４とを備える。Ｎ型トランジスタ３２１と電流源３２２とは、電源端子ＶＤＤと所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。Ｎ型トランジスタ３２１のゲートには、画素電圧Ｖｌｏｇが供給される。スイッチィング素子３２３は、例えばＮ型トランジスタである。
　Ｎ型トランジスタ３２１と電流源３２２の接続点は、スイッチィング素子３２３の一端に接続され、他端は、読出し回路３３０の入力端子に接続される。また、スイッチィング素子３２３の他端は、容量３２４の一端に接続される。容量３２４の他端は、所定の基準電位（接地電位など）の基準端子に接続される。すなわち、Ｎ型トランジスタ３２１と、電流源３２２とはソースフォロアを構成している。これからわかるように、画素電圧Ｖｌｏｇは、Ｎ型トランジスタ３２１と、電流源３２２で構成されるソースフォロアにより、画素電圧Ｖｌｏｇに追随するように、画素電圧Ｖｓｈに変換され、スイッチィング素子３２３を介して容量３２４の一端に印可される。これにより、スイッチィング素子３２３が導通状態（ＯＮ）である場合に、容量３２４の一端の電位は、所定の基準電位＋画素電圧Ｖｓｈとなる。そして、スイッチィング素子３２３が非導通状態（ＯＦＦ）になると、サンプルホールド回路３２０は、所定の基準電位＋画素電圧Ｖｓｈの電位を保持する。これから分かるように、容量３２４の一端には、常に正の電位が印可される。
　このように、容量３２４は画素電圧Ｖｓｈ保持として利用しているため、容量３２４で画素電圧Ｖｓｈのゲインが変わることは無い。また、容量３２４は、信号保持だけにしか使われないため、ＭＯＳ，ＭＩＭ（ｍｅｔａｌ－ｉｎｓｕｌａｔｏｒ－ｍｅｔａｌ）、ＤＲＡＭで使われる容量素子など様々な容量を使うことが可能である。
　なお、本実施形態では、説明を簡単にするため、所定の基準電位を零電位として以後の説明では扱うこととする。また、本実施形態に係るサンプルホールド回路３２０は、Ｎ型トランジスタ３２１を用いたが、これに限定されない。例えば、N型 トランジスタによりソースフォロアを構成してもよい。また、キャリアに電子ではなく、正孔を用いた場合、ＮＭＯＳとＰＭＯＳの極性が変わり、接続も逆になる。
　読出し回路３３０は、増幅トランジスタ３３１と、選択トランジスタ３３２とを備える。トランジスタ３３１と、トランジスタ３３２とは直列に接続される。トランジスタ３３１の一端は、電源端子ＶＤＤに接続され、トランジスタ３３２の他端は、垂直信号線Ｌ１０を介してイベント検出回路２１２ａに接続される。増幅トランジスタ３３１のゲートには、サンプルホールド回路３２０から画素電圧Ｖｓｈが供給される。また、選択トランジスタ３３２のゲートには、選択信号ＳＥＬが供給される。増幅トランジスタ３３１と電流源３４０は、ソースフォロアとして構成される。
　これにより、増幅トランジスタ３３１は、容量３２４に蓄積されている電荷に応じたレベル、すなわち、画素電圧Ｖｓｈを、選択トランジスタ３３２を介して信号線Ｌ１０に出力する。選択トランジスタ３３２は、選択信号ＳＥＬに従って駆動し、選択トランジスタ３３２がオンになると、増幅トランジスタ３３１から出力される画素電圧Ｖｓｈが信号線Ｌ１０に出力可能な状態となる。すなわち、ＤＶＳ画素３１から画素電圧Ｖｓｈを出力するために選択された状態となる。
　イベント検出回路２１２ａは、容量２１２０と、比較器２１２２と、デジタルアナログ変換器（ＤＡＣ）２１２４とを備える。なお、本実施形態に係るデジタルアナログ変換器（ＤＡＣ）２１２がリファレンス生成回路に対応する。
　容量２１２０に一端には、信号線Ｌ１０が接続される。一方で、容量２１２０の他端は、比較器２１２２の一端に接続される。比較器２１２２の他端には、デジタルアナログ変換器２１２４が接続される。このような構成により、オンイベントの検出時には、オンイベントのしきい値に対応するリファレンス電圧が、比較器２１２２の他端にデジタルアナログ変換器２１２４から入力される。同様に、オフイベントの検出時には、オフイベントのしきい値に対応するリファレンス電圧が、比較器２１２２の他端にデジタルアナログ変換器２１２４から入力される。
　図７は、ＤＶＳ画素３１及びイベント検出回路２１２ａの動作例を示す図である。横軸は時間を示す。信号Ｓｇ７０は、行選択信号（ＳＥＬ）を示し、信号Ｓｇ７２は、スイッチィング素子３２３のＯＮ信号（ＳＨ）を示し、信号Ｓｇ７４は、容量２１２０の零リセット信号（ＡＺ）を示し、信号Ｓｇ７６は、比較器２１２２の駆動信号を示し、信号Ｓｇ７８は、デジタルアナログ変換器２１２４の出力信号を示している。上述のように、画素電圧Ｖｓｈは時系列にサンプルホールドされている。本実施系形態では、時系列にサンプルホールドされる画素電圧Ｖｓｈを、最初にサンプルホールドされる画素電圧Ｖｓｈを画素電圧Ｖｓｈ１と表記し、次にサンプルホールドされる画素電圧Ｖｓｈを画素電圧Ｖｓｈ２と表記する。
　図７では、サンプルホールド回路３２０に画素電圧Ｖｓｈ１がサンプルホールドされた状態から説明する。駆動回路２１１の制御により、信号Ｓｇ７０がハイレベルとなり、選択トランジスタ３３２が導通状態となる。
　次に、信号Ｓｇ７４がハイレベルとなり、容量２１２０が零リセット（ＡＺ）される。信号Ｓｇ７４がロウレベルとなった瞬間に、画素電圧Ｖｓｈ１が容量２１２０のＤＶＳ画素３１側の端子に印可される。容量２１２０には、まず、電圧Ｖｓｈ１と比較器２１２２側の電位差に応じた電荷が蓄積される。なお、本実施形態では、説明を簡単にするため、容量２１２０が不図示のリセット回路により零リセットさせられたタイミングでの、比較器２１２２の電位を０とする。
　次に、信号Ｓｇ７６がハイレベルとなり、スイッチィング素子３２３が導通状態となり、容量３２４に画素電圧Ｖｓｈ２が印可される。この瞬間に、画素電圧Ｖｓｈ２が容量２１２０のＤＶＳ画素３１側の端子に印可される。このとき、容量２１２０の比較器２１２２側の電位は、蓄積された電荷を維持した状態で変動し、（画素電圧Ｖｓｈ２－画素電圧Ｖｓｈ１）となる。なお、信号Ｓｇ７６がロウレベルとなり、サンプルホールド回路３２０に画素電圧Ｖｓｈ２がサンプルホールドされた状態となる。
　次に、信号Ｓｇ７８がオンイベントのしきい値に変更される。すなわち、オンイベントの検出時には、オンイベントのしきい値に対応する電位信号が、比較器２１２２の他端にデジタルアナログ変換器２１２４から入力される。れにより、比較器２１２２の一端に（画素電圧Ｖｓｈ２－画素電圧Ｖｓｈ１）の電位が印可され、他端にオンイベントのしきい値に対応する電位信号が、比較器２１２２他端に入力された状態となる。
　次に、信号Ｓｇ７６がハイレベルとなり、比較器２１２２が駆動される。これにより、比較器２１２２は、オンイベントのしきい値と（画素電圧Ｖｓｈ２－画素電圧Ｖｓｈ１）を比較し、（画素電圧Ｖｓｈ２－画素電圧Ｖｓｈ１）がオンイベントのしきい値以上であれば、真値を出力し、小さければ、偽値を出力する。
　次に、信号Ｓｇ７６がロウレベルとなり、比較器２１２２の駆動が停止される。続けて、信号Ｓｇ７８がオフイベントのしきい値に変更される。
　次に、信号Ｓｇ７６がハイレベルとなり、比較器２１２２が駆動される。これにより、比較器２１２２は、オフイベントのしきい値と（画素電圧Ｖｓｈ２－画素電圧Ｖｓｈ１）を比較し、（画素電圧Ｖｓｈ２－画素電圧Ｖｓｈ１）がオフイベントのしきい値以下であれば、真値を出力し、大きければ、偽値を出力する。そして、信号Ｓｇ７６がロウレベルとなり、比較器２１２２の駆動が停止され、続けて信号Ｓｇ７８が基準レベル（例えば０）となり、信号Ｓｇ７０がロウレベルとなり、選択トランジスタ３３２が非導通状態となる。そして、画素電圧Ｖｓｈ２を画素電圧Ｖｓｈ１として、信号Ｓｇ７０がハイレベルとなり、次の検出サイクルが開始される。
　図８Ａは、サンプルホールド回路３２０の別の構成例を示すブロック図である。図８Ａに示すように、サンプルホールド回路３２０ａは、Ｎ型トランジスタ３２１と、スイッチィングトランジスタ３２３ａと、バイアストランジスタ３２２ａと、容量３２４とを備える。Ｎ型トランジスタ３２１と、スイッチィングトランジスタ３２３ａと、バイアストランジスタ３２２ａとは、電源端子ＶＤＤと所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。スイッチィングトランジスタ３２３ａと、バイアストランジスタ３２２ａとの接続点に容量３２４の一端が接続される。スイッチィングトランジスタ３２３ａのゲートには、信号Ｓｇ７２（図７参照）に対応する信号が供給され、バイアストランジスタ３２２ａのゲートには、バイアス信号が供給される。すなわち、信号Ｓｇ７２がＯＮするタイミングでバイアス信号が供給され、信号Ｓｇ７２がＯＦＦするタイミングで、バイアストランジスタ３２２ａがＯＦＦする電圧が供給される。このように、図８Ａに示すサンプルホールド回路３２０ａは、サンプルホールド回路３２０（図６参照）と同等の機能を有する。
　図８Ｂは、サンプルホールド回路３２０の更に別の構成例を示すブロック図である。図８Ｂに示すように、サンプルホールド回路３２０ｂは、Ｎ型トランジスタ３２１と、スイッチィングトランジスタ３２３ｂと、スイッチィングトランジスタ３２３ｃと、バイアストランジスタ３２２ａと、容量容量３２４とを備える。Ｎ型トランジスタ３２１と、スイッチィングトランジスタ３２３ｂと、スイッチィングトランジスタ３２３ｃと、バイアストランジスタ３２２ａとは、電源端子ＶＤＤと所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。スイッチィングトランジスタ３２３ｂと、スイッチィングトランジスタ３２３ｃとの接続点に容量容量３２４の一端が接続される。スイッチィングトランジスタ３２３ｂ、タ３２３ｃのゲートには、信号Ｓｇ７２（図７参照）に対応する信号が供給され、バイアストランジスタ３２２ａのゲートには、バイアス信号が供給される。これらから分かるように、図８Ｂに示すサンプルホールド回路３２０ｂは、サンプルホールド回路３２０（図６参照）と同等の機能を有する。
　図８Ｃは、二つの容量３２４を有するサンプルホールド回路３２０ｃの構成例を示すブロック図である。図８Ｃに示すように、Ｎ型トランジスタ３２１と、電流源３２２と、の間の二つの接続点に並列にスイッチィング素子３２３、容量３２４、増幅トランジスタ３３１、及び選択トランジスタ３３２が構成される。これにより、一方の容量３２４に画素電圧Ｖｓｈ１に対応する電荷を蓄積し、他方の容量３２４に画素電圧Ｖｓｈ２に対応する電荷を蓄積することが可能となる。容量３２４を二つにすることにより、画素電圧Ｖｓｈ１に対応する電荷を蓄積し、他方の容量３２４に画素電圧Ｖｓｈ２に対応する電荷を蓄積できるので、読出し回路３３０の読みだしタイミングと非同期に、画素電圧Ｖｓｈ１及びに画素電圧Ｖｓｈ２の蓄積が可能となる。
　図８Ｄは、アドレスイベントが発生した場合にサンプルホールドするサンプルホールド回路３２０ｄの構成例を示すブロック図である。図８Ｄに示すように、サンプルホールド回路３２０ｄのスイッチィング素子３２３の制御信号を供給する制御線にアンド回路３２５を更に備える。アンド回路３２５には、行選択信号ＳＥＬＬとイベント検出回路部２１２からのアドレスイベント信号が入力される。これにより、アドレスイベントが発生した場合に、一方の容量３２４に画素電圧Ｖｓｈ１に対応する電荷を蓄積し、他方の容量３２４に画素電圧Ｖｓｈ２に対応する電荷を蓄積することが可能となる。
　図８Ｅは、アドレスイベントが発生した場合にサンプルホールドするサンプルホールド回路３２０ｄの別の構成例を示すブロック図である。サンプルホールド回路３２０ｅは、スイッチィング素子３２３の一端と、容量３２４の一端との間に、スイッチィング素子３２６を更に直列に接続する点で、図８Ｄに示す。サンプルホールド回路３２０ｄと相違する。スイッチィング素子３２６のオン、オフ制御をイベント検出回路部２１２からのアドレスイベント信号に基づき行う。これにより、アドレスイベントが発生した場合に、一方の容量３２４に画素電圧Ｖｓｈ１に対応する電荷を蓄積し、他方の容量３２４に画素電圧Ｖｓｈ２に対応する電荷を蓄積することが可能となる。
　図８Ｆは、二つの容量３２４とリセットトランジスタ３３８を有するサンプルホールド回路３２０ｆの構成例を示すブロック図である。図８Ｆに示すように、二つの直列接続されたスイッチィング素子３２３、及びスイッチィング素子３２７が並列に接続され、一端がＮ型トランジスタ３２１と、電流源３２２と、の間の接続点に接続され、他端が増幅トランジスタ３３１のゲートに接続される。二つの直列接続されたスイッチィング素子３２３、及びスイッチィング素子３２７の接続点にはそれぞれ容量３２４の一端が接続される。そして、リセットトランジスタ３３８の一端が並列に接続されたスイッチィング素子３２３、及びスイッチィング素子３２７の他端に接続され、リセットトランジスタ３３８の他端は、電源電圧ＶＤＤに接続される。このような構成により、二つの容量３２４それぞれに画素電圧Ｖｓｈ１、及び画素電圧Ｖｓｈ２に対応する電荷を蓄積する前に、基準電位にリセット可能となる。なお、画素電圧Ｖｓｈ１を読み出した後、Ｖ画素電圧ｓｈ１と画素電圧Ｖｓｈ２を平均化して読み出す場合、リセットトランジスタ３３８はＯＮさせないため、平均化する場合には、リセットトランジスタ３３８は必ずしも必要ではない。また、リセットトランジスタ３３８により破壊読出しとなるため、サンプルホールド回路３２０ｄ、ｆで示したようにアドレスイベントにより画素電圧Ｖｓｈ１、及び画素電圧Ｖｓｈ２を上書きするかどうかを選択する動作は、できなくなる。
　図８Ｇは、二つの容量３２４とリセットトランジスタ３３８を有するサンプルホールド回路３２０ｆの別の構成例を示すブロック図である。図８Ｇに示すように、スイッチィング素子３２８は、一端がＮ型トランジスタ３２１と、電流源３２２と、の間の接続点に接続され、他端が増幅トランジスタ３３１のゲートに接続される。スイッチィング素子３２８の他端と、増幅トランジスタ３３１のゲートの間には、２つのスイッチィング素子３２９それぞれの一端が接続され、他端には容量３２４が接続される。このような構成により、二つの容量３２４それぞれに画素電圧Ｖｓｈ１、及び画素電圧Ｖｓｈ２に対応する電荷を蓄積する前に、基準電位にリセット可能となる。図８Ｆで示したサンプルホールド回路３２０ｆよりも、スイッチィング素子を一つ減らすことが可能となり、画素アレイ部３０をより小型化できる。
　図９は、読出し回路３３０の別の構成例を示すブロック図である。図９に示すように、電流源３４０をＤＶＳ画素３１内に構成してもよい。
　図１０Ａは、比較器２１２２におけるデジタルアナログ変換器２１２４側の入力端子に容量２１２８を配置した構成例を示す図である。図１０Ａに示すように、デジタルアナログ変換器２１２４側の入力端子に容量２１２８を配置してもよい。また、信号保持回路２１２６が比較器２１２２の出力端子に接続されている。これにより、信号保持回路２１２６は、オンイベント信号、及びオフイベント信号を保持できる。
　イベント検出回路２１２ａは、２つの画素電圧Ｖｓｈ１、画素電圧Ｖｓｈ２（図７参照）の差分（画素電圧Ｖｓｈ２－画素電圧Ｖｓｈ１）がしきい値を超える（電圧が高い、或いは低い両方の意味）場合に、信号を出力する。少なくとも比較器２１２２の２入力のうち１つは容量２１２０、２１２８で結合される。なお、比較器２１２２の入力部分にサンプルホールド回路を組み合わせてもよい。
　図１０Ａに示すように、１つのデジタルアナログ変換器２１２４から一つの比較器２１２２にしきい値信号が入力される例である。このような場合、信号線Ｌ１０毎にしきい値を設定することが可能である。なお、読出し線Ｌ１０につき１つの比較器２１２２が配置される場合、上述のように時系列にオン／オフイベントが検出される。また、２つのしきい値だけではなく複数のしきい値をもって、複数回の比較を行い、多値を検出してもよい。なお、比較器２１２２の容量２１２０、２１２８は、上述のように図示していないＡＺスイッチを介してリセットされる。
　図１０Ｂ～図１０Ｄは、デジタルアナログ変換器２１２４から複数の比較器２１２２にしきい値信号を入力する例を示す図である。図１０Ｂは、比較器２１２２の信号線Ｌ１０，１２側の入力端子に容量２１２２０を備え、デジタルアナログ変換器２１２４側の入力端子に容量２１２８を備える構成例を示す図である。図１０Ｃは、比較器２１２２の信号線Ｌ１０，１２側の入力端子に容量２１２２０を備える構成例を示す図である。図１０Ｄは、デジタルアナログ変換器２１２４側の入力端子に容量２１２８を備える構成例を示す図である。比較器２１２２は、容量結合された容量２１２２又は容量２１２８を介して、しきい値信号及び輝度信号が比較器２１２２に入力される。
　図１０Ｂ～図１０Ｄに示すように、デジタルアナログ変換器２１２４は複数カラム、例えば複数の信号線Ｌ１０，Ｌ１２で共通でもよい。或いは、全てのカラム、例えば全ての信号線Ｌ１０，Ｌ１２で共通でもよい。また容量２１２２０、２１２８は読出し線側、或いはデジタルアナログ変換器２１２４側の少なくとも一方側に備えられる。
　図１０Ｅは、一つの信号線Ｌ１０に複数の比較器２１２２を備える例を示す図である。図１０Ｅに示すように、イベント検知回路２１２ａは、一つの信号線Ｌ１０に接続される、複数の比較器２１２２と、複数のデジタルアナログ変換器２１２４と、複数の信号保持回路２１２６と、複数の容量２１２０，２１２８とを備える。複数のデジタルアナログ変換器２１２４から入力されるしきい値信号の値を異ならせることにより、複数の比較器２１２２のそれぞれにおいて、同時にオンイベント信号、及びオフイベント信号を生成し、複数の信号保持回路２１２６それぞれに、オンイベント信号、及びオフイベント信号を保持できる。このように、一つの信号線Ｌ１０に複数の比較器２１２を備えるように構成してもよい。この場合、２つ以上のしきい値で同時に判定することができるため、高速な動作が可能となる。
　図１１は、イベント検出回路２１２ｂをシングルスロープＡＤＣで構成した例を示す図である。図１１に示すように、イベント検出回路２１２ｂは、比較器２１２の出力端子に接続されるカウンタ回路２１３０を備える点で、イベント検出回路２１２ａ（図６参照）と相違する。すなわち、イベント検出回路２１２ｂは、イベント検出回路ａとアナログデジタル変換回路（ＡＤＣ）を共通にした回路である。これにより、輝度信号のイベント検出と、アナログデジタル変換とが可能となる。
　図１２は、イベント検出回路２１２ｃをＳＡＲ－ＡＤＣで構成した例を示す図である。図１２に示すように、イベント検出回路２１２ｃは、比較器２１２の出力端子に接続されるラッチ及びＳＡＲロジック（Ｌａｔｃｈ　ＳＡＲ　Ｌｏｇｉｃ）回路２１３２を備える点で、イベント検出回路２１２ａ（図６参照）と相違する。すなわち、イベント検出回路２１２ｂは、イベント検出回路ａとアナログデジタル変換回路（ＡＤＣ）を共通にした回路である。これにより、輝度信号のイベント検出と、アナログデジタル変換とが可能となる。また、ＤＡＣは容量型のＤＡＣでもよいし抵抗型のＤＡＣでもよい。また、ＡＤＣはそのほかの構成でもよい。すなわち、ＡＤＣに比較器があり、２つの入力のうちどちらかに容量結合の入力があり、しきい値を調整することができればよい。ＳＡＲ－ＡＤＣは、逐次比較（Ｓｕｃｃｅｓｓｉｖｅ　Ａｐｐｒｏｘｉｍａｔｉｏｎ）と呼ばれる場合もある。
　図１３は、領域５００Ａと他の領域を２チップで構成する例を示す図である。画素アレイ部３０を小さくする場合、２チップ以上張り合わせる技術が有効である。例えば、Ｃｕ－Ｃｕ、ＴＳＶ、マイクロバンプなどがある。
　図１４は、ＮＭＯＳ或いはＰＭＯＳ領域を領域５００Ｂとしている図である。ＰＭＯＳとＮＭＯＳを隣接させる場合、ＷＥＬＬを分ける必要がある。そのため、ＮＭＯＳまたはＰＭＯＳだけで配置するほうが、配置効率が良くなる。なお、上記の例では、ＳＷがＮＭＯＳで構成され、ＣＭＯＳ（ＰＭＯＳがいない）ではない例である。
　図１５は、ＮＭＯＳを領域５００Ｃとしている図である。ＰＭＯＳとＮＭＯＳを隣接させる場合、ＷＥＬＬを分ける必要がある。このように、領域５００Ａ～５００Ｃの切り分けとしては、多様に行うことが可能である。
　図１６は、本実施の形態の別の一例に係る容量３２４の断面構造を示す断面図である。図１６に示される容量３２４は、平行平板型の容量素子ではなく、三次元構造型の容量素子である。具体的には、容量３２４は、下部電極２１と、誘電体層２２と、上部電極２３とを備える。
　図１６に示されるように、下部電極２１と誘電体層２２との界面は、上部電極２３から下部電極２１に向かう方向、すなわち、深さ方向に凹んだトレンチ形状を有する。誘電体層２２は、トレンチ形状に沿って略均一な膜厚で設けられている。図２に示される例では、下部電極２１も、トレンチ形状に沿って略均一な膜厚で設けられている。上部電極２３は、上面が略平坦で、かつ、下面がトレンチ形状に沿って設けられている。これにより、トレンチ形状における溝の側面部において、上部電極２３と下部電極２１とが互いに対向する領域が増える。このため、容量素子２０の表面積が大きくなり、容量が大きくなる。
　下部電極２１は、導電性の材料を用いて形成されている。導電性の材料としては、チタン（Ｔｉ）、アルミニウム（Ａｌ）、金（Ａｕ）又はプラチナ（Ｐｔ）などの金属単体が用いられる。あるいは、導電性の材料としては、窒化チタン（ＴｉＮ、窒化タンタル（ＴａＮ）又は窒化ハフニウム（ＨｆＮ）などの導電性の窒化金属膜が用いられてもよい。また、導電性の材料としては、酸化インジウムスズ（ＩＴＯ：Ｉｎｄｉｕｍ　Ｔｉｎ　Ｏｘｉｄｅ）又は酸化亜鉛（ＺｎＯ）などの導電性の酸化物が用いられてもよい。上部電極２３は、下部電極２１と同じ材料を用いて形成されてもよく、異なる材料を用いて形成されてもよい。誘電体層２２は、酸化シリコン（ＳｉＯ２）　よりも誘電率が高いｈｉｇｈ－ｋ材料を用いて形成されている。具体的には、誘電体層１２は、ハフニウム（Ｈｆ）又はジルコニウム（Ｚｒ）の酸化物を主成分として含有している。誘電体層１２は、ハフニウム又はジルコニウムの酸化物を５０モル％　以上含有している。
　なお、図１６では、２つの溝を有するトレンチ形状を一例に示したが、溝の個数は１つでもよく、３つ以上でもよい。また、溝の個数を多くする、又は、溝を深くすることで、容量３２４の容量を大きくすることができる。
　図１７は、本実施の形態の別の一例に係る平板型の容量３２４の断面構造を示す断面図である。図１７に示される容量３２４は、光電変換素子３００から取り出される信号電荷を蓄積する容量素子である。このように、容量３２４を平板型に構成してもよい。
　図１８は、本実施の形態に係る別のメモリデバイス６００Ａの断面構造を示す断面図である。メモリデバイス６００Ａは、例えば、ｅＤＲＡＭ（ｅｍｂｅｄｄｅｄ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒ　）などの記憶装置である。なお、容量３４３はは、キャパシタベースの記憶装置であれば、ｅＤＲＡＭに限定されない。
　図１８に示されるように、本実施の形態に係るメモリデバイス６００Ａは、基板２１０上に、ＤＲＡＭ形成領域２０１０と、ロジック回路形成領域２０２０　とを備える。ＤＲＡＭ形成領域２０１０には、メモリセル２２０と、トランジスタＴｒと、配線層２３０とが設けられている。
　メモリデバイス６００Ａでは、例えば、ＤＲＡＭ形成領域２０１０とロジック回路形成領域２０２０とが行列状に複数配列されている。ＤＲＡＭ形成領域２０１に含まれるメモリセル２２０に電荷を書き込むことで、値を保持させることができる。基板２１０は、半導体基板であり、例えばＳｉ基板である。基板２１０上には、複数の絶縁膜２４０、２４１及び２４２が順に積層されている。
　メモリセル２２０は、例えば、図６に示される容量３４３である。メモリセル２２０は、基板２１０上に形成された絶縁膜２４１上に設けられている。具体的には、絶縁膜２４１には、絶縁膜２４０の上面を露出させる貫通孔が設けられており、メモリセル２２０は、当該貫通孔を利用したトレンチ構造を有する。
　メモリセル２２０の下部電極２１は、絶縁膜２４０を貫通するコンタクトプラグ２３１を介してトランジスタＴｒのソース及びドレインの一方に接続されている。メモリセル２２０は、トランジスタＴｒを介して供給された電荷を蓄積する。
　トランジスタＴｒは、メモリセル２２０に対する電荷の書き込み又は読み出しを行う。トラジスタＴｒは、例えばＭＯＳＦＥＴである。トランジスタＴｒのソース及びドレインなどは、基板２１０の表面領域に形成されている。トランジスタＴｒのソース及びドレインの他方は、絶縁膜２４０を貫通するコンタクトプラグ２３１　、並びに、絶縁膜２４１及び２４２を貫通するコンタクトプラグ２３２を介して配線層２３０に接続されている。
　図１９は、図６に示される容量３４３に適用可能なスタックセルの一例を示す図である。図１９の（ａ）は、ＣＯＢ（ｃａｐａｃｉｔａｎｃｅ－Ｏｖｅｒ－Ｂｉｔ　Ｌｉｎｅ）型のスタックセル６００の断面構造を示す図である。図１９の（ｂ）は、基板プレート型トレンチセル６０２の断面構造を示す図である。図１９の（ｃ）は、円筒型スタックセル６０４の断面図を示す図である。図１９の（ｄ）は、リセスドチャネル・トランジスタを用いた円筒型スタックセル６０６の断面図を示す図である。図１９の（ｅ）は、フィン型トランジスタを用いた円筒型スタックセル６０８の断面図を示す図である。これらのスタックセルを図６に示される容量３４３に用いることが可能である。
　図２０は、図１９に示したなスタックセルの変遷例を示す図である。図１９に示すように、平面型セルの容量は１０Ｋ―１Ｍビットであり、トレンチセル、基板プレート型トレンチセルに変遷するに従い、１Ｍ－１６Ｍビット、１６Ｍ－１Ｇビットと容量が増加している。一方で、スタックセル、フィン型スタックセル、円筒型スタックセル、ピラー型スタックセルと変遷するにしたがい、１Ｍ－４Ｍビット、４Ｍ－６４Ｍビット、６４Ｍ―４Ｇビット、４Ｇビット以上と容量が増加している。これらのスタックセルを図６に示される容量３４３に用いることが可能である。
　以上説明したように、第１実施形態に係る撮像装置１００は、画素アレイ部３０の外部に配置され、複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部２１２を備えることとした。これにより、検出回路部２１２が画素アレイ部３０の外部に配置されるので、画素アレイ部３０を小型化することが可能である。また、ＤＶＳ画素３１の、信号保持回路３２３が対数変換回路３２０で変換された輝度信号を保持するので、輝度信号は、容量結合された容量２１２０を介して、比較器２１２２に入力され、容量２１２０が初期化された後に最初の第１輝度信号が入力され、続けて信号保持回路３２３に保持された第２輝度信号が入力され、イベント信号を生成できる。
（第１実施形態の変形例１）
　第１実施形に係る態撮像装置１００は、光電変換素子３００の出力信号を対数変換していたのに対し、第１実施形態の変形例１に係る態撮像装置１００は、光電変換素子３００の出力信号を線形出力できる回路構成を更に有する点で第１実施形に係る態撮像装置１００と相違する。以下では、第１実施形に係る態撮像装置１００と相違する点に関して説明する。
　図２１は、ＤＶＳ画素３１及びイベント検出回路２１２ｂの構成例を示す図である。図２１に示すように、ＤＶＳ画素３１は、スイッチィグ素子４００．４０２とリセットトランジスタ４０４を更に備える点で、図１１で示したＤＶＳ画素３１と相違する。
　光電変換素子３００のアノードにスイッチィグ素子４００の一端が接続される。スイッチィグ素子４００の他端は、容量３２４の一端に接続される。また、光電変換素子３００のアノードにスイッチィグ素子４０２の一端が接続される。スイッチィグ素子４０２の他端は、N型 トランジスタ３１３のゲートに接続される。リセットトランジスタ４０４の一端は、電源端子ＶＤＤに接続され、他端は、容量３２４の一端に接続される。
　図２１に示すように、リセットトランジスタ４０４を非接続状態（オフ）にし、スイッチィグ素子４００非接続状態（オフ）にする。そして、スイッチィグ素子４０２を続状態（オン）にする場合、図１１で示したＤＶＳ画素３１と同等の輝度信号を出力可能である。
　一方で、スイッチィグ素子４００接続状態（オン）にする。そして、スイッチィグ素子４０２を非接続状態（オフ）にするにする場合、容量３２４には、光電変換素子３００の出力電圧に比例した電荷が加算される。この場合、スイッチィグ素子４００、４０２，３２３を非接続状態（オフ）にし、リセットトランジスタ４０４を接続状態（オン）にし、容量３２４の蓄積電荷を初期状態にする。
　これにより、光電変換素子３００の出力電圧に比例したした信号をイベント検出回路２１２ｂにより、アナログデジタル変換することが可能である。更に、容量３２４に画素電圧Ｖｓｈ１に対応する電荷を蓄積し、次のタイミングで素電圧Ｖｓｈ２に対応する電荷を蓄積することが可能となる。このため、イベント検出回路２１２ｂは、画素電圧Ｖｓｈ２と画素電圧Ｖｓｈ１との差分値（画素電圧Ｖｓｈ２―画素電圧Ｖｓｈ１）を、しきい値と比較可能となる。このように、光電変換素子３００の出力をスイッチィグ素子４００．４０２により、２方向に分離してもよい。対数変換回路３１０と、サンプルホールド回路３２０に直接接続することができる。すなわち、対数変換回路３１０に接続した場合、イベント（Ｅｖｅｎ）信号として読み出すことができる。なお、カラム回路がＡＤＣと併用している場合、前、現信号の差分を階調として読み出すことも可能となる。
　またサンプルホールド回路３２０の、容量３２４に電変換素子３００の出力に応じた電荷を直接的に供給する場合、一般的なイメージセンサと同等の動きをさせることが可能となる。この場合、イベント（Ｅｖｅｎ）信号の読み出しと同様に、線形な信号を用いて前と、現情報の差分を比較することが可能となる。この場合、前信号でＡＺした後に、現信号を加算して読み出すか、リセットして読み出すかは選択可能である。
（第１実施形態の変形例２）
　第１実施形態の変形例２に係る態撮像装置１００は、光電変換素子３００の線形出力を保持する場合に、容量３２４と異なる浮電容量４０８を更に有する点で第１実施形態の変形例１に係る態撮像装置１００と相違する。以下では、第１実施形態の変形例１に係る態撮像装置１００と相違する点に関して説明する。
　図２２は、第１実施形態の変形例２に係るＤＶＳ画素３１及びイベント検出回路２１２ｂの構成例を示す図である。図２２に示すように、ＤＶＳ画素３１は、スイッチィグ素子４０６を更に備える点で、２０で示したＤＶＳ画素３１と相違する。
　光電変換素子３００の出力を線形出力する場合、まず、スイッチィグ素子３２３，４００．４０２．４０６を接続状態（オン）にする。そして、セットトランジスタ４０４を接続状態（オン）にし、浮電容量４０８の蓄積電荷を初期状態にする。
　次に、スイッチィグ素子４００を接続状態（オン）にし、浮電容量４０８に電変換素子３００の出力に応じた電荷を直接的に供給する。浮電容量４０８は、蓄積された電荷を電圧信号と出力する。他の処理は、第１実施形態の変形例１に係る態撮像装置１００と同等である。このように、イベント信号を読出す場合には、浮電容量４０８よりも容量の大きな容量３２４を使用する。一方で、階調信号を読み出す場合容量はより小さい浮電容量４０８を用いる。このように、イベント信号と階調信号に応じて、浮電容量４０８と容量３２４とを切り分けることが可能となる。
（第１実施形態の変形例３）
　第１実施形態の変形例３に係る態撮像装置１００は、光電変換素子３００の線形出力を出力する読出し回路３３０ａを更に有する点で第１実施形態の変形例２に係る態撮像装置１００と相違する。以下では、第１実施形態の変形例１に係る態撮像装置１００と相違する点に関して説明する。
　図２３は、第１実施形態の変形例２に係るＤＶＳ画素３１及びイベント検出回路２１２ｂの構成例を示す図である。図２３に示すように、ＤＶＳ画素３１は、読出し回路３３０ａを更に有する点で第１実施形態の変形例２に係る態撮像装置１００と相違する。
　読出し回路３３０ａ側には、イベント検出回路２１２ｂが接続される。これにより、光電変換素子３００の出力に線形比例する信号をアナログデジタル変換することが可能となる。一方で、光電変換素子３００の出力に線形比例する信号によるイベント検出も可能となる。
　一方で、読出し回路３３０側には、イベント検出回路２１２ａが接続される。これにより、光電変換素子３００の出力を対数変換した信号によるイベント検出も可能となる。
（第１実施形態の変形例４）
　第１実施形態の変形例４に係る態撮像装置１００は、画素アレイ部３０が階調画素（Ｎｏｍａｌ））３２を有する点で第１実施形態に係る態撮像装置１００と相違する。以下では、第１実施形態に係る態撮像装置１００と相違する点に関して説明する。
　図２４は、第１実施形態の変形例４に係る画素アレイ部３０の構成例を示す図である。図２４に示すように、画素アレイ部３０は、複数のＤＶＳ画素３１と、複数の階調画素（Ｎｏｍａｌ））３２とを有する点で第１実施形態に係る態撮像装置１００と相違する。
　図２５は、階調画素（Ｎｏｍａｌ））３２の構成例を示す図である。図２５に示すように、階調画素（Ｎｏｍａｌ））３２は、読出し回路３３０ａを有する（図２２参照）。このように、階調画素（Ｎｏｍａｌ））３２は、光電変換素子３００の出力に線形比例する信号を出力する。
＜本開示に係る技術の適用例＞
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
［移動体］
　図２６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　尚、図２７には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インターフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインターフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　尚、図２６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０、７９１２、７９１４、７９１６、７９１８や、車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０や、運転者状態検出部７５１０等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置を有する図１の撮像システム１０を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
　なお、本技術は以下のような構成を取ることができる。
　（１）光量に応じた輝度信号を出力する複数のＤＶＳ画素を有する画素アレイ部と、
　前記画素アレイ部の外部に配置され、前記複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部と、を備え、
　前記ＤＶＳ画素は、
　光量に応じた信号を出力する光電変換素子と、
　前記信号を対数変換する対数変換回路と、
　　前記対数変換回路で変換された輝度信号を保持する信号保持回路と、
　前記信号保持回路に保持された前記輝信号を読出す読出し回路と、
　を有する、撮像装置。
　（２）前記検出回路部は、少なくとも一つの比較器と、
　リファレンス電圧を出力するリファレンス生成回路と、
有し、
　前記比較器には、前記読出し回路から読み出された輝度信号と、前記リファレンス電圧とが入力される、（１）に記載の撮像装置。
　（３）前記検出回路部は、複数の検出回路を有し、
　前記検出回路部は、検出回路毎に対応するリファレンス生成回路を有する、（２）に記載の撮像装置。
　（４）前記複数の検出回路は、列状に配置された複数の前記ＤＶＳ画素のそれぞれから、時系列に前記読出し回路から読み出された前記輝度信号が入力される、（３）に記載の撮像装置。
　（５）前記検出回路部は、複数の検出回路を有し、
　前記リファレンス生成回路は、複数の検出回路に前記リファレンス電圧を供給する、（２）に記載の撮像装置。
　（６）前記比較器は、２入力のうち少なくとも１つは容量結合されており、前記輝度信号と前記リファレンス電圧との少なくとも１つが接続される、（５）に記載の撮像装置。
　（７）前記輝度信号は、前記容量結合された容量を介して、前記比較器に入力され、前記容量が初期化された後に最初の第１輝度信号が入力され、続けて前記信号保持回路に保持された第２輝度信号が入力される、（６）に記載の撮像装置。
　（８）前記比較器は、多ビットでアナログデジタル変換も可能である、（２）乃至（７）のいずれかに記載の撮像装置。
　（９）前記読出し回路は、基準電源と前記検出回路に接続される信号線との間に直列に接続された増幅トラジスタと、選択トランジスタを有し、
　前記増幅トラジスタのゲートと基準電位との間に前記信号保持回路の容量が接続される、（８）に記載の撮像装置。
　（１０）前記光電変換素子のアノードは、第１スイッチィング素子を介して前記対数変換回路に接続され、第２スイッチィング素子を介して前記容量の前記基準電源側の一端に接続される、（９）に記載の撮像装置。
　（１１）前記光電変換素子のアノードは、第１スイッチィング素子、浮電容量、及び第３スイッチィング素子を介して前記容量の前記基準電源側の一端に接続される、（９）に記載の撮像装置。
　（１２）前記浮電容量と基準電源との間には、前記浮電容量の蓄積電荷を初期状態にするリセットトランジスタが接続される、（１１）に記載の撮像装置。
　（１３）前記第２スイッチィング素子が導通状態になる場合は、前記第１スイッチィング素子、及び前記第３スイッチィング素子は、非導通状態である、（１２）に記載の撮像装置。
　（１４）前記光電変換素子のアノードは、第２スイッチィング素子を介して第２読出し回路に接続される、（９）に記載の撮像装置。
　（１５）前記画素アレイ部は、更に階調画素を有する、（１）に記載の撮像装置。
　（１６）光量に応じた輝度信号を出力する複数のＤＶＳ画素を有する画素アレイ部と、　前記画素アレイ部の外部に配置され、前記複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部と、を備える、撮像装置の制御方法であって、
　前記検出回路部は、
　前記読出し回路から読み出された輝度信号と、前記リファレンス電圧とが入力される比較器を有し、
　前記輝度信号は、前記比較器の容量結合された容量を介して、前記比較器に入力され、前記容量が初期化された後に最初の第１輝度信号が入力され、続けて前記画素アレイ部に保持された第２輝度信号が入力される、撮像装置の撮像方法。。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　３０：画素アレイ部、１００：撮像装置、２００：固体撮像素子、２１１ｂ：第２アクセス制御回路、２１２ａ：ＡＤ変換器、２１２ｂ：ＤＶＳ読出し回路、２１２ｃ：タイムスタンプ生成回路、２１２ｄ：タイミング制御回路、２１３：第１信号処理部、２１４：第２信号処理部、２５０：アービタ回路、３０８ａ：階調用画素、３０８ｂ：ＤＶＳ画素３１４：ＤＶＳ用ＡＦＥ。

Claims (16)

  1. 　光量に応じた輝度信号を出力する複数のＤＶＳ画素を有する画素アレイ部と、
    　前記画素アレイ部の外部に配置され、前記複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部と、を備え、
    　前記ＤＶＳ画素は、
    　光量に応じた信号を出力する光電変換素子と、
    　前記信号を対数変換する対数変換回路と、
    　　前記対数変換回路で変換された輝度信号を保持する信号保持回路と、
    　前記信号保持回路に保持された前記輝信号を読出す読出し回路と、
    　を有する、撮像装置。
  2. 　前記検出回路部は、少なくとも一つの比較器と、
    　リファレンス電圧を出力するリファレンス生成回路と、
    を有し、
    　前記比較器には、前記読出し回路から読み出された輝度信号と、前記リファレンス電圧とが入力される、請求項１に記載の撮像装置。
  3. 　前記検出回路部は、複数の検出回路を有し、
    　前記検出回路部は、検出回路毎に対応するリファレンス生成回路を有する、請求項２に記載の撮像装置。
  4. 　前記複数の検出回路は、列状に配置された複数の前記ＤＶＳ画素のそれぞれから、時系列に前記読出し回路から読み出された前記輝度信号が入力される、請求項３に記載の撮像装置。
  5. 　前記検出回路部は、複数の検出回路を有し、
    　前記リファレンス生成回路は、前記複数の検出回路に前記リファレンス電圧を供給する、請求項２に記載の撮像装置。
  6. 　前記比較器は、２入力のうち少なくとも１つは容量結合されており、前記輝度信号と前記リファレンス電圧との少なくとも１つが接続される、請求項５に記載の撮像装置。
  7. 　前記輝度信号は、前記容量結合された容量を介して、前記比較器に入力され、前記容量が初期化された後に最初の第１輝度信号が入力され、続けて前記信号保持回路に保持された第２輝度信号が入力される、請求項６に記載の撮像装置。
  8. 　前記比較器は、多ビットでアナログデジタル変換も可能である、請求項２に記載の撮像装置。
  9. 　前記読出し回路は、基準電源と前記検出回路に接続される信号線との間に直列に接続された増幅トラジスタと、選択トランジスタを有し、
    　前記増幅トラジスタのゲートと基準電位との間に前記信号保持回路の容量が接続される、請求項８に記載の撮像装置。
  10. 　前記光電変換素子のアノードは、第１スイッチィング素子を介して前記対数変換回路に接続され、第２スイッチィング素子を介して前記容量の前記基準電源側の一端に接続される、請求項９に記載の撮像装置。
  11. 　前記光電変換素子のアノードは、第１スイッチィング素子、浮電容量、及び第３スイッチィング素子を介して前記容量の前記基準電源側の一端に接続される、請求項９に記載の撮像装置。
  12. 　前記浮電容量と基準電源との間には、前記浮電容量の蓄積電荷を初期状態にするリセットトランジスタが接続される、請求項１１に記載の撮像装置。
  13. 　前記第２スイッチィング素子が導通状態になる場合は、前記第１スイッチィング素子、及び前記第３スイッチィング素子は、非導通状態である、請求項１２に記載の撮像装置。
  14. 　前記光電変換素子のアノードは、第２スイッチィング素子を介して第２読出し回路に接続される、請求項９に記載の撮像装置。
  15. 　前記画素アレイ部は、更に階調画素を有する、請求項１に記載の撮像装置。
  16. 　光量に応じた輝度信号を出力する複数のＤＶＳ画素を有する画素アレイ部と、
    　前記画素アレイ部の外部に配置され、前記複数のＤＶＳ用画素のそれぞれの輝度信号が所定のしきい値を超えた場合に、アドレスイベントの発生を示す検出信号を出力する検出回路部と、を備える、撮像装置の制御方法であって、
    　前記検出回路部は、
    　前記読出し回路から読み出された輝度信号と、前記リファレンス電圧とが入力される比較器を有し、
    　前記輝度信号は、前記比較器の容量結合された容量を介して、前記比較器に入力され、前記容量が初期化された後に最初の第１輝度信号が入力され、続けて前記画素アレイ部に保持された第２輝度信号が入力される、撮像装置の撮像方法。
PCT/JP2021/032985 2020-09-28 2021-09-08 撮像装置及び撮像方法 WO2022065034A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/245,666 US20230336884A1 (en) 2020-09-28 2021-09-08 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-162492 2020-09-28
JP2020162492A JP2023162462A (ja) 2020-09-28 2020-09-28 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
WO2022065034A1 true WO2022065034A1 (ja) 2022-03-31

Family

ID=80845206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032985 WO2022065034A1 (ja) 2020-09-28 2021-09-08 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US20230336884A1 (ja)
JP (1) JP2023162462A (ja)
WO (1) WO2022065034A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024106169A1 (ja) * 2022-11-14 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020096347A (ja) * 2018-11-29 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
WO2017149433A1 (en) * 2016-03-03 2017-09-08 Insightness Ag An event-based vision sensor
KR20210028308A (ko) * 2019-09-03 2021-03-12 삼성전자주식회사 증폭기 및 그것을 포함하는 이미지 센서 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020096347A (ja) * 2018-11-29 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024106169A1 (ja) * 2022-11-14 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Also Published As

Publication number Publication date
US20230336884A1 (en) 2023-10-19
JP2023162462A (ja) 2023-11-09

Similar Documents

Publication Publication Date Title
US20220166958A1 (en) Imaging system, method of controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US11683606B2 (en) Imaging device and electronic equipment
TWI788818B (zh) 攝像裝置及攝像方法
WO2021256095A1 (ja) 撮像装置及び撮像方法
US20220295005A1 (en) Solid-state image sensor, method of driving solid-state image sensor, and electronic apparatus
EP4099684A1 (en) Imaging device and imaging method
CN113647089B (zh) 成像系统
US11418750B2 (en) Imaging element and electronic device
WO2022065034A1 (ja) 撮像装置及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2024024450A1 (ja) 半導体装置及びその製造方法
WO2024038828A1 (ja) 光検出装置
WO2024106169A1 (ja) 光検出素子及び電子機器
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2022124092A1 (ja) 固体撮像素子、撮像装置及び固体撮像素子の制御方法
US12136345B2 (en) Motion vector imaging alert system
WO2023234101A1 (ja) 固体撮像装置
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus
WO2023243497A1 (ja) 固体撮像素子、および、撮像装置
WO2022186040A1 (ja) 撮像装置、その駆動方法、および電子機器
JP2023183375A (ja) 固体撮像素子、および、撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872165

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872165

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP