WO2022065032A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2022065032A1
WO2022065032A1 PCT/JP2021/032977 JP2021032977W WO2022065032A1 WO 2022065032 A1 WO2022065032 A1 WO 2022065032A1 JP 2021032977 W JP2021032977 W JP 2021032977W WO 2022065032 A1 WO2022065032 A1 WO 2022065032A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
circuit
event
event signal
unit
Prior art date
Application number
PCT/JP2021/032977
Other languages
English (en)
French (fr)
Inventor
克彦 半澤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2022065032A1 publication Critical patent/WO2022065032A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • This disclosure relates to an imaging device and an imaging method.
  • Synchronous solid-state image sensors that image image data (frames) in synchronization with a synchronization signal such as a vertical synchronization signal are used in image pickup devices and the like.
  • image data can be acquired only every synchronization signal cycle (for example, 1/60 second), so faster processing can be performed in fields related to transportation and robots. It becomes difficult to respond when requested. Therefore, an asynchronous solid-state image sensor has been proposed in which a detection circuit for detecting in real time as an address event that the amount of light of the pixel exceeds a threshold value is provided for each pixel address.
  • Such a solid-state image sensor that detects an address event for each pixel is called a DVS (Dynamic Vision Sensor). Data can be generated and output much faster than a synchronous solid-state image sensor. Therefore, for example, in the field of transportation, it is possible to perform high-speed image recognition processing for people and obstacles to improve safety.
  • the address event includes an on event indicating that the amount of increase in brightness exceeds the upper limit threshold value and an off event indicating that the amount of decrease in brightness is below the lower limit threshold value below the upper limit threshold value. Therefore, a signal holding circuit that holds a signal indicating the presence or absence of an on-event and a signal holding circuit that holds a signal indicating the presence or absence of an off-event are required, and the circuit scale increases. Further, when the signal holding circuit is shared between the on-event and the off-event in order to suppress the increase in the circuit scale, the on-event signal indicating the presence or absence of the on-event and the off-event indicating the presence or absence of the off-event are shown from the signal holding circuit. It becomes necessary to read the signal and the signal twice in order.
  • the present disclosure provides an image pickup device and an image pickup method capable of reading out an event at a higher speed while suppressing an increase in the circuit scale.
  • a signal holding circuit for holding a first event signal indicating whether or not a luminance signal based on luminance exceeds a first threshold value is used. Based on the second event signal indicating whether or not the brightness signal exceeds the second threshold value different from the first threshold value and the first event signal held in the signal holding circuit, the brightness signal is the first.
  • An arithmetic circuit that generates an event signal indicating whether or not at least one of the threshold value and the second threshold value has been exceeded, and An image pickup apparatus is provided.
  • the arithmetic circuit holds the event signal in the signal holding circuit, and the calculation circuit holds the event signal.
  • a transfer unit that transfers the event signal held in the signal holding circuit, You may also prepare further.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit, and the first event signal and the second event signal are sequentially output to the signal holding circuit according to the input of the control signal. It may have one mode.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit, and the first event signal is output to the signal holding circuit according to the input of the control signal and held in the signal holding circuit. It may have a second mode for generating the event signal based on the first event signal and the second event signal.
  • the first event signal and the second event signal are signals including at least one of true value and false value information.
  • the arithmetic circuit has a logical sum circuit, and may perform a logical sum calculation of the first event signal and the second event signal.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit.
  • the arithmetic circuit includes the OR circuit and a multiplexer.
  • the multiplexer outputs the first event signal to the signal holding circuit according to the control signal, and outputs the first event signal to the signal holding circuit.
  • the OR circuit may perform an OR operation between the first event signal held in the signal holding circuit and the second event signal.
  • the multiplexer may output the result of the pre-reasoning calculation to the signal holding circuit according to the pre-control signal.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit, and a false value is initially set in the signal holding circuit.
  • the OR circuit holds the OR operation of the false value and the first event signal in the signal holding circuit, and then performs the OR operation of the result of the held OR operation and the second event signal. You may.
  • the arithmetic circuit may further have a logical product circuit.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit, and a false value is set at one end of the AND circuit.
  • the OR circuit holds the OR operation of the output signal of the AND circuit and the first event signal in the signal holding circuit.
  • a true value is set at the one end of the logical product circuit, and the result of the held logical sum operation, the result of the logical product of the true value, and the second event signal are input to the logical sum circuit.
  • the OR circuit may perform an OR operation on the result of the held OR operation, the result of the logical product of the true value, and the second event signal.
  • the arithmetic circuit may be composed of at least one equivalent circuit of the OR circuit and the AND circuit.
  • a difference circuit that generates the first event signal and the second event signal may be configured based on the logarithmically converted signal by the current-voltage conversion unit.
  • the signal holding circuit and the arithmetic circuit may be further configured.
  • a plurality of pixels having a photoelectric conversion unit that outputs a signal corresponding to the brightness and a current-voltage conversion unit that logarithmically converts the signal.
  • a differential circuit that sequentially generates the first event signal and the second event signal based on the logarithmically converted signals of each of the current-voltage converters.
  • the plurality of signal holding circuits corresponding to the plurality of pixels, respectively.
  • the plurality of signal holding circuits and the arithmetic circuit may perform processing on the first event signal and the second event signal generated in the order.
  • a signal holding step of holding a first event signal indicating whether or not a luminance signal based on luminance exceeds a first threshold value in a signal holding circuit. Based on the second event signal indicating whether or not the brightness signal exceeds the second threshold value different from the first threshold value and the first event signal held in the signal holding circuit, the brightness signal is the first.
  • An arithmetic processing step for generating an event signal indicating whether or not at least one of the threshold value and the second threshold value has been exceeded, and An imaging method is provided.
  • the block diagram which shows an example of the structure of a pixel array part. A circuit diagram showing an example of a pixel circuit configuration.
  • the figure which shows the 3rd comparative example by 1 latch configuration The figure which shows the reading example in the configuration example shown in FIG.
  • the circuit diagram which shows an example of the structure of a subtractor and a quantizer in an address event detection part.
  • the block diagram which shows an example of the structure of a scan type image pickup apparatus.
  • the exploded perspective view which shows the outline of the laminated chip structure of an image pickup apparatus.
  • the block diagram which shows an example of the structure of the column processing part of the image pickup apparatus which concerns on 1st configuration example.
  • the circuit diagram which shows the 1st configuration example of the arithmetic circuit and the signal holding circuit in an address event detection part.
  • the figure which shows the truth table of a multiplexer The figure which shows the truth table of the arithmetic circuit.
  • the circuit diagram which shows the 2nd structural example of the arithmetic circuit and the signal holding circuit.
  • the figure which shows the truth table of a logical sum circuit The figure which shows the truth table of the arithmetic circuit in 2nd configuration example.
  • the figure which shows the equivalent circuit example of the arithmetic circuit in 2nd configuration example The figure which shows the equivalent circuit of the negative conjunction circuit by De Morgan's theorem.
  • the figure which shows the equivalent circuit of the logical sum by De Morgan's theorem.
  • the figure which shows the equivalent circuit example of the arithmetic circuit shown in FIG. The figure which shows the equivalent circuit example of the arithmetic circuit shown in FIG.
  • the figure which shows the truth table of the logical sum circuit in the 3rd configuration example The figure which shows the truth table of the logical sum circuit in the 3rd configuration example.
  • the imaging device and the imaging method will be described with reference to the drawings.
  • the main components of the image pickup device will be mainly described, but the image pickup device may have components and functions not shown or described.
  • the following description does not exclude components or functions not shown or described.
  • FIG. 1 is a block diagram showing an example of a system configuration of an imaging system to which the technique according to the present disclosure is applied.
  • the image pickup system 10 to which the technique according to the present disclosure is applied is configured to include an image pickup lens 11, an image pickup device 20, a recording unit 12, and a control unit 13.
  • the image pickup system 10 is an example of the electronic device of the present disclosure, and examples of the electronic device include a camera system mounted on an industrial robot, an in-vehicle camera system, and the like.
  • the image pickup lens 11 captures incident light from the subject and forms an image on the image pickup surface of the image pickup apparatus 20.
  • the image pickup apparatus 20 obtains image pickup data by photoelectrically converting the incident light captured by the image pickup lens 11 on a pixel-by-pixel basis.
  • the image pickup device 20 the image pickup device of the present disclosure described later is used.
  • the image pickup apparatus 20 executes predetermined signal processing such as image recognition processing on the captured image data, and the processing result and the detection signal of an address event described later (hereinafter, simply referred to as “detection signal”).
  • detection signal The data indicating that there is) is output to the recording unit 12.
  • the method of generating the detection signal of the address event will be described later.
  • the recording unit 12 stores data supplied from the image pickup apparatus 20 via the signal line 14.
  • the control unit 13 is configured by, for example, a microcomputer and controls the image pickup operation in the image pickup apparatus 20.
  • FIG. 2 is a block diagram showing an example of the configuration of the image pickup device according to the first configuration example used as the image pickup device 20 in the image pickup system 10 to which the technique according to the present disclosure is applied.
  • the image pickup device 20 is an asynchronous type image pickup device called DVS, and is a pixel array unit 21, a drive unit 22, and an arbiter unit (arbitration unit). ) 23, a column processing unit 24, and a signal processing unit 25.
  • DVS asynchronous type image pickup device
  • arbiter unit arbitration unit
  • a plurality of pixels 30 are two-dimensionally arranged in a matrix (array shape) in the pixel array unit 21.
  • a vertical signal line VSL (Vertical Signal Lin), which will be described later, is wired for each pixel array to this matrix-shaped pixel array.
  • Each of the plurality of pixels 30 generates an analog signal having a voltage corresponding to the photocurrent as a pixel signal. Further, each of the plurality of pixels 30 detects the presence or absence of an address event depending on whether or not the amount of change in the photocurrent exceeds a predetermined threshold value. Then, when the address event occurs, the pixel 30 outputs the request to the arbiter unit 23.
  • the drive unit 22 drives each of the plurality of pixels 30 to output the pixel signal generated by each pixel 30 to the column processing unit 24.
  • the arbiter unit 23 arbitrates the requests from each of the plurality of pixels 30, and transmits a response based on the arbitration result to the pixels 30.
  • the pixel 30 Upon receiving the response from the arbiter unit 23, the pixel 30 supplies a detection signal (address event detection signal) indicating the detection result to the drive unit 22 and the signal processing unit 25.
  • a detection signal address event detection signal
  • the reading of the detection signal from the pixel 30 it is also possible to read a plurality of lines.
  • the column processing unit 24 is composed of, for example, an analog-digital converter, and performs processing for converting an analog pixel signal output from the pixel 30 of the pixel array unit 21 into a digital signal for each pixel array. Then, the column processing unit 24 supplies the digital signal after the analog-to-digital conversion to the signal processing unit 25.
  • the signal processing unit 25 executes predetermined signal processing such as CDS (Correlated Double Sampleing) processing and image recognition processing on the digital signal supplied from the column processing unit 24. Then, the signal processing unit 25 supplies the data indicating the processing result and the detection signal supplied from the arbiter unit 23 to the recording unit 12 (see FIG. 1) via the signal line 14.
  • predetermined signal processing such as CDS (Correlated Double Sampleing) processing and image recognition processing
  • FIG. 3 is a block diagram showing an example of the configuration of the pixel array unit 21.
  • each of the plurality of pixels 30 has a light receiving unit 31, a pixel signal generation unit 32, and an address event detection unit 33. ing.
  • the light receiving unit 31 photoelectrically converts the incident light to generate a photocurrent. Then, the light receiving unit 31 supplies the photocurrent generated by photoelectric conversion to either the pixel signal generation unit 32 or the address event detection unit 33 under the control of the drive unit 22 (see FIG. 2).
  • the pixel signal generation unit 32 generates a signal having a voltage corresponding to the optical current supplied from the light receiving unit 31 as a pixel signal SIG, and the generated pixel signal SIG is used as a column processing unit 24 (via the vertical signal line VSL). (See FIG. 2).
  • the address event detection unit 33 detects the presence or absence of an address event depending on whether or not the amount of change in the photocurrent from each of the light receiving units 31 exceeds a predetermined threshold value.
  • the address event includes, for example, an on-event indicating that the amount of change in photocurrent exceeds the upper limit threshold value and an off-event indicating that the amount of change has fallen below the lower limit threshold value.
  • the address event detection unit 33 according to the present embodiment has, for example, a 1-bit on-event signal indicating whether or not an on-event has occurred, and a 1-bit off-event signal indicating whether or not an off-event has occurred.
  • the on-event signal, the off-event signal, and the event signal indicate a true value (for example, 1) or a false value (for example, 0).
  • the on-event signal indicates a true value when an on-event has occurred and a false value when an on-event has not occurred.
  • the off-event signal indicates a true value when an off-event has occurred and a false value when no off-event has occurred.
  • the event signal shows a true value when at least one of the on-event and the off-event occurs, and shows a false value when both the on-event and the off-event do not occur.
  • the address event detection unit 33 When an address event occurs, the address event detection unit 33 supplies a request for transmitting an address event detection signal to the arbiter unit 23 (see FIG. 2). Then, when the address event detection unit 33 receives the response to the request from the arbiter unit 23, the address event detection unit 33 supplies the address event detection signal to the drive unit 22 and the signal processing unit 25.
  • FIG. 4 is a circuit diagram showing an example of the circuit configuration of the pixel 30. As described above, each of the plurality of pixels 30 has a light receiving unit 31, a pixel signal generation unit 32, and an address event detection unit 33.
  • the light receiving unit 31 has a light receiving element (photoelectric conversion element) 311, a transistor 312, and a transistor 313.
  • a light receiving element photoelectric conversion element
  • a transistor 312 As the transistor 312 and the transistor 313, for example, an N-type MOS (Metal Oxide Semiconductor) transistor is used.
  • the transistor 312 and the transistor 313 are connected in series with each other.
  • the light receiving element 311 is connected between the common connection node N1 of the transistor 312 and the transistor 313 and the ground , and photoelectrically converts the incident light to generate a charge amount corresponding to the light amount of the incident light.
  • a transfer signal TRG is supplied to the gate electrode of the transistor 312 from the drive unit 22 shown in FIG.
  • the transistor 312 supplies the charge photoelectrically converted by the light receiving element 311 to the pixel signal generation unit 32.
  • a control signal OFG is supplied from the drive unit 22 to the gate electrode of the transistor 313.
  • the transistor 313 supplies the electric signal generated by the light receiving element 311 to the address event detection unit 33 in response to the control signal OFG.
  • the electrical signal supplied to the address event detection unit 33 is a photocurrent composed of electric charges.
  • the pixel signal generation unit 32 has a reset transistor 321, an amplification transistor 322, a selection transistor 323, and a stray diffusion layer 324.
  • a reset transistor 321, an amplification transistor 322, a selection transistor 323, and a stray diffusion layer 324 As the reset transistor 321 and the amplification transistor 322 and the selection transistor 323, for example, an N-type MOS transistor is used.
  • the pixel signal generation unit 32 is supplied with the electric charge converted photoelectric by the light receiving element 311 by the transistor 312 from the light receiving unit 31.
  • the electric charge supplied from the light receiving unit 31 is accumulated in the floating diffusion layer 324.
  • the floating diffusion layer 324 generates a voltage signal having a voltage value according to the amount of accumulated charge. That is, the floating diffusion layer 324 converts the electric charge into a voltage.
  • the reset transistor 321 is connected between the power supply line of the power supply voltage VDD and the stray diffusion layer 324.
  • a reset signal RST is supplied from the drive unit 22 to the gate electrode of the reset transistor 321.
  • the reset transistor 321 initializes (reset) the charge amount of the floating diffusion layer 324 in response to the reset signal RST.
  • the amplification transistor 322 is connected in series with the selection transistor 323 between the power supply line of the power supply voltage VDD and the vertical signal line VSL.
  • the amplification transistor 322 amplifies the charge-voltage-converted voltage signal in the stray diffusion layer 324.
  • the selection signal SEL is supplied from the drive unit 22 to the gate electrode of the selection transistor 323.
  • the selection transistor 323 outputs the voltage signal amplified by the amplification transistor 322 as a pixel signal SIG to the column processing unit 24 (see FIG. 2) via the vertical signal line VSL.
  • the drive unit 22 receives a light receiving unit when the control unit 13 shown in FIG. 1 instructs the start of detection of an address event.
  • the control unit 13 shown in FIG. 1 instructs the start of detection of an address event.
  • the transistor 313 is driven to supply the photocurrent to the address event detection unit 33.
  • the drive unit 22 turns off the transistor 313 of the pixel 30 and stops the supply of the photocurrent to the address event detection unit 33.
  • the drive unit 22 drives the transistor 312 by supplying the transfer signal TRG to the transistor 312, and transfers the charge photoelectrically converted by the light receiving element 311 to the floating diffusion layer 324.
  • the image pickup apparatus 20 having the pixel array unit 21 in which the pixels 30 having the above configuration are two-dimensionally arranged outputs only the pixel signal of the pixel 30 in which the address event is detected to the column processing unit 24.
  • the power consumption of the image pickup apparatus 20 and the processing amount of image processing can be reduced as compared with the case where the pixel signals of all the pixels are output regardless of the presence or absence of the address event.
  • the configuration of the pixel 30 illustrated here is an example, and is not limited to this configuration example.
  • the transistor 313 may be omitted in the light receiving unit 31, and the transistor 312 may have the function of the transistor 313.
  • FIG. 5 is a block diagram showing a configuration example of the address event detection unit 33.
  • the address event detection unit 33 includes a current / voltage conversion unit 331, a buffer 332, a subtractor 333, a quantizer 334, an arithmetic circuit 335, a signal holding circuit 336, and a transfer unit 337. It also has a control circuit 338.
  • the current-voltage conversion unit 331 converts the photocurrent from the light receiving unit 31 of the pixel 30 into a logarithmic voltage signal.
  • the current-voltage conversion unit 331 supplies the converted voltage signal to the buffer 332.
  • the buffer 332 buffers the voltage signal supplied from the current-voltage conversion unit 331 and supplies it to the subtractor 333.
  • a row drive signal is supplied to the subtractor 333 from the drive unit 22.
  • the subtractor 333 lowers the level of the voltage signal supplied from the buffer 332 according to the row drive signal. Then, the subtractor 333 supplies the voltage signal after the level drop to the quantizer 334.
  • the quantizer 334 quantizes the voltage signal supplied from the subtractor 333 into a digital signal and outputs it to the arithmetic circuit 335 as an address event detection signal. For example, the quantizer 334 supplies an on-event signal and an off-event signal to the arithmetic circuit 335 in order.
  • the arithmetic circuit 335 performs a logical operation based on the on-event signal and the off-event signal sequentially supplied from the quantizer 334, and generates an event signal. For example, the arithmetic circuit 335 supplies the value of the first supplied signal among the on-event signal and the off-event signal to the signal holding circuit 336. Next, in the arithmetic circuit 335, one of the value of the signal supplied next among the on-event signal and the off-event signal and the value of the first supplied signal held by the signal holding circuit 336 is true.
  • a signal indicating a true value is supplied to the signal holding circuit 336, and if both are false values, a signal indicating a false value is supplied to the signal holding circuit 336.
  • the arithmetic circuit 335 outputs an event signal indicating a true value if at least one of the on-event signal and the off-event signal is a true value, and outputs an event signal indicating a false value if both are false values. Output.
  • the signal holding circuit 336 is provided between the calculation circuit 335 and the transfer unit 337, and stores the calculation result of the calculation circuit 335 based on the sample signal supplied from the control circuit 338.
  • the signal holding circuit 336 may be a sampling circuit such as a switch, plastic, or capacitance, or may be a digital memory circuit such as a latch or flip-flop.
  • the signal holding circuit 336 according to the present embodiment has a so-called one-latch (Latch) configuration composed of one for the on-event signal and the off-event signal. Therefore, the area of the signal holding circuit 336 can be made smaller than that of the so-called two-latch (Latch) configuration in which the signal holding circuit 336 is configured for each of the on-event signal and the off-event signal.
  • the transfer unit 337 transfers the detection signal of the address event supplied from the quantizer 334 to the arbiter unit 23 and the like.
  • the transfer unit 337 supplies the arbiter unit 23 with a request for transmitting the detection signal of the address event. Then, when the transfer unit 337 receives the response to the request from the arbiter unit 23, the transfer unit 337 supplies the detection signal of the address event to the drive unit 22 and the signal processing unit 25.
  • the control circuit 338 supplies a predetermined threshold voltage Vth to the inverting ( ⁇ ) input terminal of the comparator 3341.
  • the threshold voltage Vth supplied from the control circuit 338 to the comparator 3341 is a voltage value that differs depending on the time division.
  • the control circuit 338 has a threshold voltage Vth1 corresponding to an on-event indicating that the amount of change in the optical current has exceeded the upper limit threshold value, and an off-event indicating that the amount of change has fallen below the lower limit threshold value.
  • the corresponding threshold voltage V th2 is supplied at different timings. This makes it possible to generate an on-event signal and an off-event signal with one comparator 3341.
  • FIG. 6A is a diagram showing a first comparative example with a two-latch configuration.
  • the horizontal axis indicates time.
  • it may have a comparator that generates an off-event signal and a comparator that generates an on-event signal.
  • the off-event signal is stored in the first signal holding circuit 336 and the on-event signal is stored in the second signal holding circuit 336.
  • the signal is transferred by the transfer unit 337 corresponding to each.
  • the number of reads (Read) can be performed once for the first signal holding circuit 336 and the second signal holding circuit 336.
  • the number of reads can be performed once for the first signal holding circuit 336 and the second signal holding circuit 336.
  • FIG. 6A when an event signal including information on the presence or absence of an event is required, it needs to be generated by a circuit after reading other than the address event detection unit 33 (see FIG. 4).
  • FIG. 6B is a diagram showing a second comparative example with a two-latch configuration.
  • the horizontal axis indicates time.
  • the off-event signal is first stored in the first signal holding circuit 336, and then the on-event signal is stored in the second signal holding circuit 336.
  • the signal is transferred by the transfer unit 337 corresponding to each.
  • the number of reads (Read) can be performed once for the first signal holding circuit 336 and the second signal holding circuit 336.
  • FIG. 6B when an event signal including information on the presence or absence of an event is required, it needs to be generated by a circuit after reading other than the address event detection unit 33 (see FIG. 4).
  • FIG. 6C is a diagram showing a third comparative example with a one-latch configuration.
  • the horizontal axis indicates time.
  • the off-event signal is first stored in the first signal holding circuit 336 and read (Read).
  • the on-event signal is stored in the second signal holding circuit 336 and read (Read).
  • the number of reads (Read) is two times.
  • an event signal including information on the presence or absence of an event it needs to be generated by a circuit after reading other than the address event detection unit 33 (see FIG. 4).
  • FIG. 6D is a diagram showing a reading example in the configuration example shown in FIG. The horizontal axis indicates time.
  • the arithmetic circuit 335 first stores one of the off-event signal and the on-event signal in the first signal holding circuit 336.
  • the arithmetic circuit 335 generates an event signal by logical calculation using the other signal of the off-event signal and the on-event signal and the signal stored in the first signal holding circuit 336, and the signal holding circuit 336.
  • the event signal is read (Read).
  • Read By providing the arithmetic circuit 335 in this way, it is possible to read (Read) the event signal including the information on the presence or absence of the event at one time.
  • the off-event signal is first stored in the first signal holding circuit 336 and read (Read), and then the on-event signal is stored in the second signal holding circuit 336 and read (Read).
  • Read the off-event signal and the on-event signal can be output from the address event detection unit 33 (see FIG. 4).
  • the off-event signal is generated first, and then the on-event signal is generated, but the present invention is not limited to this.
  • the on-event signal may be generated first, and then the off-event signal may be generated.
  • FIG. 7 is a circuit diagram showing an example of the configuration of the current-voltage conversion unit 331 in the address event detection unit 33.
  • the current-voltage conversion unit 331 according to this example has a circuit configuration including an N-type transistor 3311, a P-type transistor 3312, and an N-type transistor 3313.
  • transistors 3311 to 3313 for example, MOS transistors are used.
  • the N-type transistor 3311 is connected between the power supply line of the power supply voltage VDD and the signal input line 3314.
  • the P-type transistor 3312 and the N-type transistor 3313 are connected in series between the power supply line of the power supply voltage VDD and the ground.
  • the gate electrode of the N-type transistor 3311 and the input terminal of the buffer 332 shown in FIG. 5 are connected to the common connection node N2 of the P-type transistor 3312 and the N-type transistor 3313.
  • a predetermined bias voltage V bias is applied to the gate electrode of the P-type transistor 3312.
  • the P-type transistor 3312 supplies a constant current to the N-type transistor 3313.
  • Photocurrent is input from the light receiving unit 31 to the gate electrode of the N-type transistor 3313 through the signal input line 3314.
  • the drain electrodes of the N-type transistor 3311 and the N-type transistor 3313 are connected to the power supply side, and such a circuit is called a source follower.
  • the photocurrent from the light receiving unit 31 is converted into a logarithmic voltage signal by these two source followers connected in a loop.
  • FIG. 8 is a circuit diagram showing an example of the configuration of the subtractor 333 and the quantizer 334 in the address event detection unit 33.
  • the subtractor 333 has a configuration including a capacitance element 3331, an inverter circuit 3332, a capacitance element 3333, and a switch element 3334.
  • the capacitive element 3331 is connected to the output terminal of the buffer 332 shown in FIG. 5, and the other end is connected to the input terminal of the inverter circuit 3332.
  • the capacitive element 3333 is connected in parallel to the inverter circuit 3332.
  • the switch element 3334 is connected between both ends of the capacitive element 3333.
  • a row drive signal is supplied from the drive unit 22 to the switch element 3334 as an open / close control signal.
  • the switch element 3334 opens and closes a path connecting both ends of the capacitive element 3333 according to the row drive signal.
  • the inverter circuit 3332 inverts the polarity of the voltage signal input via the capacitive element 3331.
  • the charge Q 2 stored in the capacitance element 3333 is expressed by the following equation (3), where the capacitance value of the capacitance element 3333 is C 2 and the output voltage is V out .
  • Q 2 -C 2 x V out ... (3)
  • Equation (5) represents the subtraction operation of the voltage signal, and the gain of the subtraction result is C 1 / C 2 . Since it is usually desired to maximize the gain, it is preferable to design C 1 to be large and C 2 to be small. On the other hand, if C 2 is too small, kTC noise may increase and noise characteristics may deteriorate. Therefore, the capacity reduction of C 2 is limited to the range in which noise can be tolerated. Further, since the address event detection unit 33 including the subtractor 333 is mounted on each pixel 30, the capacitive element 3331 and the capacitive element 3333 have an area limitation. In consideration of these, the capacitance values C 1 and C 2 of the capacitance elements 3331 and 3333 are determined.
  • the quantizer 334 is configured to have a comparator 3341.
  • the comparator 3341 has an output signal of the inverter circuit 3332, that is, a voltage signal from the subtractor 430 as a non-inverting (+) input, and a predetermined threshold voltage Vth as an inverting ( ⁇ ) input. Then, the comparator 3341 compares the voltage signal from the subtractor 430 with the predetermined threshold voltage Vth , and outputs a signal indicating the comparison result to the transfer unit 337 as an address event detection signal.
  • the image pickup apparatus 20 is an asynchronous image pickup device that reads an event by an asynchronous read-out method.
  • the event reading method is not limited to the asynchronous reading method, and may be a synchronous reading method.
  • the image pickup device to which the synchronous readout method is applied is a scan type image pickup device, which is the same as a normal image pickup device that performs image pickup at a predetermined frame rate.
  • FIG. 9 is a block diagram showing an example of the configuration of the image pickup device according to the second configuration example, that is, the scan type image pickup device, which is used as the image pickup device 20 in the image pickup system 10 to which the technique according to the present disclosure is applied. ..
  • the image pickup apparatus 20 includes a pixel array unit 21, a drive unit 22, a signal processing unit 25, a read area selection unit 27, and a signal generation unit. It is configured to include 28.
  • the pixel array unit 21 includes a plurality of pixels 30.
  • the plurality of pixels 30 output an output signal in response to the selection signal of the read area selection unit 27.
  • Each of the plurality of pixels 30 may be configured to have a quantizer in the pixel, for example, as shown in FIG.
  • the plurality of pixels 30 output an output signal corresponding to the amount of change in light intensity.
  • the plurality of pixels 30 may be two-dimensionally arranged in a matrix.
  • the drive unit 22 drives each of the plurality of pixels 30 and causes the signal processing unit 25 to output the pixel signal generated by each pixel 30.
  • the drive unit 22 and the signal processing unit 25 are circuit units for acquiring gradation information. Therefore, when only the event information is acquired, the drive unit 22 and the signal processing unit 25 may be omitted.
  • the read area selection unit 27 selects a part of the plurality of pixels 30 included in the pixel array unit 21. For example, the read area selection unit 27 selects any one or a plurality of rows included in the structure of the two-dimensional matrix corresponding to the pixel array unit 21. The read area selection unit 27 sequentially selects one or a plurality of rows according to a preset cycle. Further, the read area selection unit 27 may determine the selection area in response to a request from each pixel 30 of the pixel array unit 21.
  • the signal generation unit 28 generates an event signal corresponding to the active pixel that has detected an event among the selected pixels, based on the output signal of the pixel selected by the read area selection unit 27.
  • An event is an event in which the intensity of light changes.
  • the active pixel is a pixel in which the amount of change in the intensity of light corresponding to the output signal exceeds or falls below a preset threshold value.
  • the signal generation unit 28 compares the output signal of a pixel with a reference signal, detects an active pixel that outputs an output signal when it is larger or smaller than the reference signal, and generates an event signal corresponding to the active pixel. ..
  • the signal generation unit 28 can be configured to include, for example, a column selection circuit for arbitrating the signal entering the signal generation unit 28. Further, the signal generation unit 28 can be configured to output not only the information of the active pixel in which the event is detected but also the information of the inactive pixel in which the event is not detected.
  • the signal generation unit 28 outputs the address information and the time stamp information (for example, (X, Y, T)) of the active pixel that detected the event through the output line 15.
  • the data output from the signal generation unit 28 may be not only address information and time stamp information but also frame format information (for example, (0, 0, 1, 0, ...)). ..
  • FIG. 10 is an exploded perspective view showing an outline of the stacked chip structure of the image pickup apparatus 20.
  • the laminated chip structure is a structure in which at least two chips of a light receiving chip 201, which is a first chip, and a detection chip 202, which is a second chip, are laminated. It has become. Then, in the circuit configuration of the pixel 30 shown in FIG. 4, each of the light receiving elements 311 is arranged on the light receiving chip 201, and all the elements other than the light receiving element 311 and the elements of the other circuit parts of the pixel 30 are detected chips. Placed on 202.
  • the light receiving chip 201 and the detection chip 202 are electrically connected via a connection portion such as a via (VIA), a Cu—Cu junction, or a bump.
  • each element of the light receiving unit 31 is arranged on the light receiving chip 201, and elements other than the light receiving unit 31 and elements of other circuit parts of the pixel 30 are arranged on the detection chip 202. It can be configured to be. Further, each element of the light receiving unit 31, the reset transistor 321 of the pixel signal generation unit 32, and the floating diffusion layer 324 can be arranged on the light receiving chip 201, and the other elements can be arranged on the detection chip 202. .. Further, a part of the elements constituting the address event detection unit 33 can be arranged on the light receiving chip 201 together with the elements of the light receiving unit 31 and the like.
  • FIG. 11 is a block diagram showing an example of the configuration of the column processing unit 24 of the image pickup apparatus 20 according to the first configuration example.
  • the column processing unit 24 according to this example has a configuration having a plurality of analog-to-digital converters (ADCs) 241 arranged for each pixel row of the pixel array unit 21.
  • ADCs analog-to-digital converters
  • the configuration example in which the analog-to-digital converter 241 is arranged in a one-to-one correspondence with the pixel array of the pixel array unit 21 is illustrated here, the configuration example is not limited to this configuration example.
  • the analog-to-digital converter 241 may be arranged in units of a plurality of pixel rows, and the analog-to-digital converter 241 may be processed by time division among the plurality of pixel trains.
  • the analog-to-digital converter 241 converts the analog pixel signal SIG supplied via the vertical signal line VSL into a digital signal having a larger number of bits than the above-mentioned address event detection signal. For example, assuming that the detection signal of the address event is 2 bits, the pixel signal is converted into a digital signal having 3 bits or more (16 bits or the like). The analog-to-digital converter 241 supplies the digital signal generated by the analog-to-digital conversion to the signal processing unit 25.
  • FIG. 12 is a circuit diagram showing a first configuration example of the arithmetic circuit 335 and the signal holding circuit 336 in the address event detection unit 33.
  • the arithmetic circuit 335 includes a logical sum circuit (OR circuit) 335a and a multiplexer 335b.
  • One input terminal of the two input terminals of the disjunction circuit 335a is connected to the output terminal of the quantizer 334, and the other input terminal is connected to the output terminal of the signal holding circuit 336.
  • the output terminal of the disjunction circuit 335a is connected to the input terminal of the multiplexer 335b.
  • the arithmetic circuit 335 according to this example has a first mode in which an on-event signal (first event signal) and an off-event signal (second event signal) are sequentially output to the signal holding circuit 336 in response to the input of the control signal.
  • the arithmetic circuit 335 outputs an on-event signal to the signal holding circuit 336 in response to the input of the control signal, and an event signal based on the on-event signal and the off-event signal held in the signal holding circuit 336. Has a second mode to generate.
  • one input terminal of the two input terminals of the multiplexer 335b is connected to the output terminal of the OR circuit 335a, and the other input terminal is connected to the output terminal of the quantizer 334. Further, the output terminal of the multiplexer 335b is connected to the input terminal of the signal holding circuit 336. Furthermore, the selective control terminal of the multiplexer 335b is connected to the control circuit 338.
  • the input terminal of the signal holding circuit 336 is connected to the output terminal of the multiplexer 335b as described above.
  • the output terminal of the signal holding circuit 336 is connected to the output terminal of the transfer unit 337.
  • the disjunction circuit 335a if the output signal S1 of the quantizer 334 or the output signal S4 of the signal holding circuit 336 is a true value, the disjunction circuit 335a outputs the true value. On the other hand, the disjunction circuit 335a outputs a false value if both the output signal S1 of the quantizer 334 and the output signal S4 of the signal holding circuit 336 are false values.
  • the true value is indicated by "1”
  • the false value is indicated by "0”
  • the case where "1" or "0" may be used is indicated by "-".
  • FIG. 13 is a diagram showing a truth table of the multiplexer 335b.
  • the output signal S1 of the quantizer 334 is output as the output signal S3 regardless of the output signal S2 of the OR circuit 335a. That is, when the selection control signal E0 is set to 0, the output signal S1 of the quantizer 334 can be supplied to the signal holding circuit 336 as it is.
  • FIG. 14 is a diagram showing a truth table of the arithmetic circuit 335 in the second mode.
  • the quantizer 334 first generates an on-event signal as signal S1, and then at time t2, the quantizer 334 generates an off-event signal as signal S1. Shows.
  • an on-event signal is generated and then an off-event signal is generated, but the present invention is not limited to this, as described above.
  • an off-event signal may be generated and then an on-event signal may be generated. In this case as well, it is possible to perform the same processing as in the case of generating the on-event signal and then generating the off-event signal.
  • the on-event signal at time t1 (see the column of S1) is 1 and the off-event signal at time t2 (see the column of S1) is 1 will be described.
  • the selection control signal E0 is input as 0 by the control circuit 338.
  • the output signal S2 of the OR circuit 335a is 1 at time t1 because the signal S1 is 1 even if the initial value of the signal holding circuit 336 is "1" or "0".
  • the multiplexer 335b uses the output signal S1 of the quantizer 334 as the output signal S3 regardless of the output signal S2 of the OR circuit 335a because the selection control signal E0 is 0. Output. That is, at time t1, even if the initial value of the signal holding circuit 336 is "1" or "0", the value 1 of the on-event signal is held in the signal holding circuit 336 as the output signal S3 of the multiplexer 335b. .. As a result, the value of the signal holding circuit 336 is held as 1 at time t1.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 1, and the output signal S1 of the quantizer 334 is 1, so that the output signal S2 of the OR circuit 335a is 1.
  • the selection control signal E0 is input as 1 by the control circuit 338. In this case, as shown in FIG. 10, the output signal S2 of the disjunction circuit 335a is output as the output signal S3 regardless of the output signal S1 of the quantizer 334.
  • the output signal S3 is 1, and the output signal S4 of the signal holding circuit 336 is held as 1 at time t2.
  • 1 is output as an event signal from the transfer unit 317.
  • the on-event signal is 1 and the off-event signal is 1, 1 is output from the transfer unit 337.
  • the on-event signal at time t1 (see the column of S1) is 0 and the off-event signal at time t2 (see the column of S1) is 1 will be described.
  • the selection control signal E0 is input as 0 by the control circuit 338.
  • the multiplexer 335b outputs the output signal S1 of the quantizer 334 as the output signal S3 regardless of the output signal S2 of the disjunction circuit 335a. That is, at time t1, even if the initial value of the signal holding circuit 336 is "1" or "0", 0, which is the value of the on-event signal, is held in the signal holding circuit 336 as the output signal S3 of the multiplexer 335b. .. As a result, the value of the signal holding circuit 336 is held as 0 at time t1.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the signal S4 which is the initial value of the signal holding circuit 336, is 0, and the output signal S1 of the quantizer 334 is 1, so that the output signal S2 of the disjunction circuit 335a is 1.
  • the selection control signal E0 is input as 1 by the control circuit 338. In this case, as shown in FIG. 10, the output signal S2 of the disjunction circuit 335a is output as the output signal S3 regardless of the output signal S1 of the quantizer 334.
  • the signal S3 is 1, and the output signal S4 of the signal holding circuit 336 is held as 1 at the time t2.
  • 1 is output as an event signal from the transfer unit 317.
  • the on-event signal is 0 and the off-event signal is 1, 1 is output from the transfer unit 337.
  • the on-event signal at time t1 (see the column of S1) is 1 and the off-event signal at time t2 (see the column of S1) is 0 will be described.
  • the signal S1 is 1
  • the signal S2 is 1
  • the signal S3 is 1
  • the signal S4 is 1, as described above.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the signal S4 which is the initial stage of the signal holding circuit 336 is 1, and the output signal S1 of the quantizer 334 is 0, so that the output signal S2 of the disjunction circuit 335a is 1.
  • the selection control signal E0 is input as 1 by the control circuit 338. In this case, as shown in FIG. 10, the output signal S2 of the disjunction circuit 335a is output as the output signal S3 regardless of the output signal S1 of the quantizer 334.
  • the output signal S3 is 1, and the output signal S4 of the signal holding circuit 336 is held as 1 at time t2.
  • 1 is output as an event signal from the transfer unit 317.
  • the on-event signal is 1 and the off-event signal is 0, 1 is output from the transfer unit 337.
  • the on-event signal at time t1 (see the column of S1) is 0 and the off-event signal at time t2 (see the column of S1) is 0 will be described.
  • the signal S1 is 0, the signal S2 is "1" or "0”, the signal S3 is 0, and the signal S4 is 0, as described above.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 0, and the output signal S1 of the quantizer 334 is 0, so that the output signal S2 of the OR circuit 335a is 0.
  • the selection control signal E0 is input as 1 by the control circuit 338. In this case, as shown in FIG. 10, the output signal S2 of the OR circuit 335a is output as the output signal S3 regardless of the output signal S1 of the quantizer 334.
  • the output signal S3 is 0, and the output signal S4 of the signal holding circuit 336 is held at 0 at the time t2.
  • 0 is output as an event signal from the transfer unit 317.
  • the on-event signal is 0 and the off-event signal is 0, 0 is output from the transfer unit 337.
  • FIG. 15 is a circuit diagram showing a second configuration example of the arithmetic circuit 335 and the signal holding circuit 336 in the address event detection unit 33.
  • the arithmetic circuit 335 has a logical sum circuit 335a and a logical AND circuit (AND circuit) 335c.
  • One input terminal of the two input terminals of the OR circuit 335a is connected to the output terminal of the quantizer 334, and the other input terminal is connected to the output terminal of the AND circuit 335c.
  • the output terminal of the disjunction circuit 335a is connected to the input terminal of the signal holding circuit 336.
  • One input terminal of the two input terminals of the AND circuit 335c is connected to the control circuit 338.
  • the other input terminal of the AND circuit 335c is connected to the output terminal of the signal holding circuit 336. Further, the output terminal of the AND circuit 335c is connected to one input terminal of the OR circuit 335a as described above.
  • the input terminal of the signal holding circuit 336 is connected to the output terminal of the disjunction circuit 335a as described above.
  • the output terminal of the signal holding circuit 336 is connected to the output terminal of the transfer unit 337.
  • FIG. 16 is a diagram showing a truth table of the OR circuit 335a.
  • the OR circuit 335a outputs a true value if the output signal S1 of the quantizer 334 or the output signal S5 of the AND circuit 335c is a true value.
  • the OR circuit 335a outputs a false value if both the output signal S1 of the quantizer 334 and the output signal S5 of the AND circuit 335c are false values.
  • the output signal S5 of the AND circuit 335c is always 0 when the selection control signal E0 is 0.
  • the OR circuit 335a can supply the output signal S1 of the quantizer 334 to the signal holding circuit 336 as it is.
  • first one of the off-event signal and the on-event signal is stored in the first signal holding circuit 336 and read (Read), and then the other of the off-event signal and the on-event signal is stored in the second signal holding circuit.
  • the off-event signal and the on-event signal can be output from the address event detection unit 33 (see FIG. 4).
  • FIG. 17 is a diagram showing a truth table of the arithmetic circuit 335 in the second configuration example in the second mode.
  • the quantizer 334 at time t1, the quantizer 334 first generates an on-event signal as signal S1, and then at time t2, the quantizer 334 generates an off-event signal as signal S1. Shows.
  • the on-event signal at time t1 (see the column of S1) is 1 and the off-event signal at time t2 (see the column of S1) is 1 will be described.
  • the selection control signal E0 is input as 0 by the control circuit 338.
  • the selection control signal E0 Since the selection control signal E0 is 0 in the output signal S5 of the AND circuit 335c, it becomes 0 even if the initial value of the signal holding circuit 336 is "1" or "0". As a result, the output signal S2 of the disjunction circuit 335a outputs 1 because the output signal S1 of the quantizer 334 is 1. Therefore, at time t1, the value of the signal holding circuit 336 is held as 1.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 1, so the output signal S5 of the AND circuit 335c is 1.
  • the output signal S2 of the OR circuit 335a becomes 1 regardless of the value of the output signal S1 of the quantizer 334. Therefore, the output signal S4 of the signal holding circuit 336 is held as 1 at the time t2. Then, 1 is output as an event signal from the transfer unit 317. As described above, when the on-event signal is 1 and the off-event signal is 1, 1 is output from the transfer unit 337.
  • the on-event signal at time t1 (see the column of S1) is 0 and the off-event signal at time t2 (see the column of S1) is 1 will be described.
  • the selection control signal E0 is input as 0 by the control circuit 338.
  • the selection control signal E0 Since the selection control signal E0 is 0 in the output signal S5 of the AND circuit 335c, it becomes 0 even if the initial value of the signal holding circuit 336 is "1" or "0". As a result, the output signal S2 of the disjunction circuit 335a outputs 0 because the output signal S1 of the quantizer 334 is 0. Therefore, at time t1, the value of the signal holding circuit 336 is held as 0.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 0, so the output signal S5 of the AND circuit 335c is 0.
  • the output signal S1 of the quantizer 334 is 1, the output signal S2 of the OR circuit 335a is 1.
  • the output signal S4 of the signal holding circuit 336 is held as 1 at time t2. Then, 1 is output as an event signal from the transfer unit 317. As described above, when the on-event signal is 0 and the off-event signal is 1, 1 is output from the transfer unit 337.
  • the on-event signal at time t1 (see the column of S1) is 1 and the off-event signal at time t2 (see the column of S1) is 0 will be described.
  • the selection control signal E0 is input as 0 by the control circuit 338.
  • the output signal S5 of the AND circuit 335c becomes 0, the output signal S2 of the disjunction circuit 335a becomes 1, and the value of the signal holding circuit 336 is held as 1 at the time t1.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 1, so the output signal S5 of the AND circuit 335c is 1. Therefore, the output signal S2 of the OR circuit 335a is 1 regardless of the value of the output signal S1 of the quantizer 334.
  • the output signal S4 of the signal holding circuit 336 is held as 1 at time t2. Then, 1 is output as an event signal from the transfer unit 317. As described above, when the on-event signal is 1 and the off-event signal is 0, 1 is output from the transfer unit 337.
  • the on-event signal at time t1 (see the column of S1) is 0 and the off-event signal at time t2 (see the column of S1) is 0 will be described.
  • the selection control signal E0 is input as 0 by the control circuit 338.
  • the output signal S5 of the AND circuit 335c becomes 0, the output signal S2 of the disjunction circuit 335a becomes 0, and the value of the signal holding circuit 336 is held as 0 at the time t1.
  • the selection control signal E0 is input as 1 by the control circuit 338.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 0, so the output signal S5 of the AND circuit 335c is 0.
  • the output signal S1 of the quantizer 334 is 0, the output signal S2 of the OR circuit 335a is 0.
  • the output signal S4 of the signal holding circuit 336 is held as 0 at time t2.
  • 0 is output as an event signal from the transfer unit 317.
  • the transfer unit 337 As described above, when the on-event signal is 0 and the off-event signal is 0, 0 is output from the transfer unit 337.
  • FIG. 18 is a diagram showing an example of an equivalent circuit of the arithmetic circuit 335 in the second configuration example.
  • the AND circuit 335c is equivalent to the AND circuit 33d and the Not circuit 335i.
  • Not circuits 335e and 335f are connected between the quantizer 334 and the OR circuit 335a, and Not circuits 335g and 335h are connected between the OR circuit 335a and the signal holding circuit 336.
  • FIG. 19A is a diagram showing an equivalent circuit of a negative conjunction circuit according to De Morgan's theorem. As shown in FIG. 19A, the negative logical product circuit is equivalent to the combination of the Not circuit and the OR circuit.
  • FIG. 19B is a diagram showing an equivalent circuit of NOR by De Morgan's theorem. As shown in FIG. 19B, the NOR is equivalent to the combination of the Not circuit and the AND circuit.
  • FIG. 20 is a diagram showing an example of an equivalent circuit of the arithmetic circuit 335 shown in FIG. As shown in FIG. 18, the combination of the Not circuit 335i and 335f and the disjunction circuit 335a is equivalent to the negative logical product circuit as described above. When the Not circuit 335g is further combined with the negative AND circuit, it becomes equivalent to the AND circuit 335j.
  • FIG. 21 is a diagram showing an example of an equivalent circuit of the arithmetic circuit 335 shown in FIG. As shown in FIG. 21, the combination of the AND circuit 335j and the Not circuit 335h shown in FIG. 20 is equivalent to the negative AND circuit 335k. In this way, the arithmetic circuit 335 may be configured with various equivalent circuits depending on the circuit situation.
  • FIG. 22 is a circuit diagram showing a third configuration example of the arithmetic circuit 335 and the signal holding circuit 336 in the address event detection unit 33.
  • the third configuration example is an example in which only the processing of the second mode is possible.
  • the arithmetic circuit 335 has an OR circuit 335a.
  • One input terminal of the two input terminals of the disjunction circuit 335a is connected to the output terminal of the quantizer 334, and the other input terminal is connected to the output terminal of the signal holding circuit 336. Further, the output terminal of the disjunction circuit 335a is connected to the signal holding circuit 336.
  • the input terminal of the signal holding circuit 336 is connected to the output terminal of the disjunction circuit 335a as described above.
  • the output terminal of the signal holding circuit 336 is connected to the output terminal of the transfer unit 337.
  • FIG. 23 is a diagram showing a truth table of the OR circuit 335a in the third configuration example.
  • the quantizer 334 first generates an on-event signal as a signal S1 at time t1 and then the quantizer 334 generates an off-event signal as a signal S1 at time t2. Shows.
  • the control circuit 338 sets the initial value of the signal holding circuit 336 to 0.
  • the output signal S2 of the disjunction circuit 335a outputs 1 because the output signal S1 of the quantizer 334 is 1. Therefore, at time t1, the value of the signal holding circuit 336 is held as 1.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 1, so that the OR circuit 335a regardless of the value of the output signal S1 of the quantizer 334.
  • the output signal S2 becomes 1.
  • the output signal S4 of the signal holding circuit 336 is held as 1 at time t2.
  • 1 is output as an event signal from the transfer unit 317.
  • the on-event signal is 1 and the off-event signal is 1, 1 is output from the transfer unit 337.
  • the control circuit 338 sets the initial value of the signal holding circuit 336 to 0.
  • the output signal S2 of the disjunction circuit 335a outputs 0 because the output signal S1 of the quantizer 334 is 0. Therefore, at time t1, the value of the signal holding circuit 336 is held as 0.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 0.
  • the output signal S1 of the quantizer 334 is 1
  • the output signal S2 of the circuit 335a is 1.
  • the output signal S4 of the signal holding circuit 336 is held as 1 at time t2.
  • 1 is output as an event signal from the transfer unit 317.
  • the on-event signal is 0 and the off-event signal is 1, 1 is output from the transfer unit 337.
  • the control circuit 338 sets the initial value of the signal holding circuit 336 to 0.
  • the output signal S2 of the disjunction circuit 335a outputs 1 because the output signal S1 of the quantizer 334 is 1. Therefore, at time t1, the value of the signal holding circuit 336 is held as 1.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 1.
  • the output signal S1 of the quantizer 334 is 0, the output signal S2 of the OR circuit 335a is 1.
  • the output signal S4 of the signal holding circuit 336 is held as 1 at time t2.
  • 1 is output as an event signal from the transfer unit 317.
  • the on-event signal is 0 and the off-event signal is 1, 1 is output from the transfer unit 337.
  • the control circuit 338 sets the initial value of the signal holding circuit 336 to 0.
  • the output signal S2 of the disjunction circuit 335a outputs 0 because the output signal S1 of the quantizer 334 is 0. Therefore, at time t1, the value of the signal holding circuit 336 is held as 0.
  • the output signal S4 which is the initial value of the signal holding circuit 336, is 0.
  • the output signal S1 of the quantizer 334 is 0.
  • the output signal S2 of the OR circuit 335a is 0.
  • the output signal S4 of the signal holding circuit 336 is held as 0 at time t2.
  • 0 is output as an event signal from the transfer unit 317.
  • the on-event signal is 0 and the off-event signal is 0, 0 is output from the transfer unit 337.
  • the signal holding circuit 336 holds the value of the first supplied signal among the on-event signal and the off-event signal
  • the arithmetic circuit 335 holds the on-event signal and the on-event signal. If one of the value of the next supplied signal among the off-event signals and the value of the first supplied signal held by the signal holding circuit 336 is a true value, a signal indicating the true value is signaled. It was decided to supply to the holding circuit 336, and if both were false values, a signal indicating a false value was supplied to the signal holding circuit 336. As a result, even if there is only one signal holding circuit 336 corresponding to the on-event signal and the off-event signal, it is possible to output the event signal with one read.
  • the image pickup apparatus 100 according to the second embodiment is different from the image pickup apparatus 100 according to the first embodiment in that the column processing unit includes a quantizer 334, an arithmetic circuit 335, and a signal holding circuit 336.
  • the differences from the image pickup apparatus 100 according to the first embodiment will be described.
  • FIG. 24 is a block diagram showing an example of the configuration of the pixel array unit 21 according to the second embodiment.
  • each of the plurality of pixels 30a has a light receiving unit 31, a pixel signal generation unit 32, and a detection unit 33a. It differs from the configuration of the pixel 30 of the pixel array unit 21 according to the first embodiment in that it has a detection unit 33a instead of the address event detection unit 33 (see FIG. 3).
  • FIG. 25 is a block diagram showing an example of the configuration of the detection unit 33a according to the second embodiment.
  • the detection unit 33a includes a current-voltage conversion unit 331, a buffer 332, and a subtractor 333. That is, it differs from the address event detection unit 33 (see FIG. 3) in that it does not have a quantizer 334, an arithmetic circuit 335, a signal holding circuit 336, a transfer unit 337, and a control circuit 338.
  • FIG. 26 is a block diagram showing an example of the configuration of the pixel array unit 21 and the column processing unit 26 according to the second embodiment.
  • the quantizer 334, the arithmetic circuit 335, the signal holding circuit 336, the transfer unit 337, and the transfer unit 337 are commonly used for each of the plurality of pixels 30a arranged in a row in the pixel array unit 21.
  • a control circuit 338 is provided.
  • the column processing unit 26 according to the second embodiment supplies the voltage signal after the level reduction, which is sequentially supplied from each of the subtractors 333 of the plurality of pixels 30a arranged in a row, to the quantizer 334. do.
  • the arithmetic circuit 335 performs a logical operation based on the on-event signal and the off-event signal sequentially supplied from the quantizer 334, and generates event signals in order.
  • the quantizer 334, the arithmetic circuit 335, the signal holding circuit 336, the transfer unit 337, and the control circuit are commonly used for the plurality of pixels 30a arranged in a row. It was decided to configure 338. This makes it possible to further suppress the scale of the circuit configuration of the image pickup apparatus 100.
  • the image pickup apparatus 100 according to the third embodiment is different from the image pickup apparatus 100 according to the first embodiment in that each pixel block includes a quantizer 334 and an arithmetic circuit 335.
  • each pixel block includes a quantizer 334 and an arithmetic circuit 335.
  • FIG. 27 is a block diagram showing an example of the configuration of the pixel array unit 21 according to the third embodiment.
  • the pixel array unit 21 has a plurality of pixel blocks 300a.
  • a plurality of pixels 30a are arranged in a two-dimensional matrix.
  • FIG. 28 is a block diagram showing an example of the configuration of the arithmetic circuit 335 for the pixel block 300a.
  • N pixels 30a (see FIG. 25) are arranged in a two-dimensional matrix in the pixel block 300a.
  • one quantizer 334 is connected to the pixel block 300a, and one arithmetic circuit 335 is further connected to the quantizer 334.
  • the arithmetic circuit 335 includes a logical sum circuit 335a, a multiplexer 335k, and N logical product circuits 335L.
  • N signal holding circuits 336 are connected to the disjunction circuit 335a.
  • N transfer units 337 corresponding to each of the N signal holding circuits 336 are connected.
  • the voltage signal after the level is lowered which is sequentially supplied from each of the subtractors 333 of the plurality of pixels 30a arranged in a matrix in the pixel block 300a, is supplied to the quantizer 334.
  • the control circuit 338 first causes the quantizer 334 to generate an on-event signal, and sets all control inputs E1 to EN to 0.
  • the signal holding circuit 336 corresponding to the first pixel 30a stores the value of the on-event signal corresponding to the first pixel 30a.
  • the control circuit 338 causes the quantizer 334 to generate an off-event signal, sets the control input E1 to 1, and all the remaining control inputs E2 to 1.
  • the logic sum circuit 335a one of the value of the signal supplied next among the on-event signal and the off-event signal and the value of the first supplied signal held by the signal holding circuit 336 are set. If it is a true value, the signal indicating the true value is supplied to the corresponding signal holding circuit 336, and if both are false values, the signal indicating the false value is supplied to the corresponding signal holding circuit 336.
  • the control circuit 338 first causes the quantizer 334 to generate an on-event signal, and sets all control inputs E1 to EN to 0. As a result, the signal holding circuit 336 corresponding to the Nth pixel 30a stores the value of the on-event signal corresponding to the Nth pixel 30a.
  • the control circuit 338 causes the quantizer 334 to generate an off-event signal when the voltage signal is supplied from the Nth pixel 30a, sets the control input EN to 1, and all the remaining control inputs E1 to 1. Let EN-1 be 0.
  • the logic sum circuit 335a one of the value of the signal supplied next among the on-event signal and the off-event signal and the value of the first supplied signal held by the signal holding circuit 336 are set. If it is a true value, the signal indicating the true value is supplied to the signal holding circuit 336 corresponding to the Nth pixel 30a, and if both are false values, the signal indicating the false value is held to the signal holding circuit corresponding to the Nth pixel 30a. Supply to circuit 336.
  • the event signal corresponding to the Nth pixel 30a is generated and held in the corresponding signal holding circuit 336.
  • the event signals corresponding to the first to Nth pixels 30a can be held in the corresponding holding circuits 336, respectively.
  • the transfer unit 337 corresponding to the signal holding circuit 336 can output the event signal by reading once.
  • the quantizer 334 and the arithmetic circuit 335 are commonly configured for the plurality of pixels 30a arranged in a matrix. Thereby, according to the present embodiment, it is possible to have the same effect as the image pickup apparatus 100 according to the first embodiment and to further suppress the scale of the circuit configuration of the image pickup apparatus 100.
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure is any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a distance measuring device mounted on the body.
  • FIG. 29 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Control Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flat) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ringing, Laser Imaging Detection and Ranking) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 30 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the image pickup units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 30 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the image pickup range a indicates the image pickup range of the image pickup unit 7910 provided on the front nose
  • the image pickup ranges b and c indicate the image pickup range of the image pickup units 7912 and 7914 provided on the side mirrors, respectively
  • the image pickup range d indicates the image pickup range.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, on the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether or not the driver is dozing. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-F).
  • GSM Global System of Mobile communications
  • WiMAX Wireless LAN
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-F wireless LAN
  • Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian, or a store, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 is, for example, a WAVE (Wireless Access in Vehicle Environment), which is a combination of the lower layer IEEE802.11p and the upper layer IEEE1609, DSRC (Dedicated Short Range Communication protocol), or a standard such as DSRC (Dedicated Short Range Communication) protocol. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-Pedestrian (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and executes positioning, and performs positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, a radio wave or an electromagnetic wave transmitted from a radio station or the like installed on a road, and acquires information such as a current position, a traffic jam, a road closure, or a required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the techniques according to the present disclosure include, for example, image pickup units 7910, 7912, 7914, 7916, 7918, vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930, and driver state detection. It can be applied to the part 7510 and the like. Specifically, the image pickup system 10 of FIG. 1 having the image pickup apparatus of the present disclosure can be applied to these image pickup units and detection units.
  • the influence of noise events such as sensor noise can be mitigated, and the occurrence of true events can be detected reliably and quickly, thus realizing safe vehicle driving. It becomes possible to do.
  • a signal holding circuit that holds a first event signal indicating whether or not the luminance signal based on the luminance exceeds the first threshold value. Based on the second event signal indicating whether or not the brightness signal exceeds the second threshold value different from the first threshold value and the first event signal held in the signal holding circuit, the brightness signal is the first.
  • An arithmetic circuit that generates an event signal indicating whether or not at least one of the threshold value and the second threshold value has been exceeded, and An image pickup device.
  • the arithmetic circuit holds the event signal in the signal holding circuit, and the calculation circuit holds the event signal.
  • a transfer unit that transfers the event signal held in the signal holding circuit, The image pickup apparatus according to (1), further comprising.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit.
  • the image pickup apparatus according to (1) or (2) which has a first mode in which the first event signal and the second event signal are sequentially output to the signal holding circuit in response to input of a control signal.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit.
  • the first event signal is output to the signal holding circuit in response to the input of the control signal, and the event signal is generated based on the first event signal and the second event signal held in the signal holding circuit.
  • the imaging device according to any one of (1) to (3), which has two modes.
  • the first event signal and the second event signal are signals including at least one of true value and false value information.
  • the image pickup apparatus according to any one of (1) to (4), wherein the arithmetic circuit has a logical sum circuit and performs a logical sum calculation of the first event signal and the second event signal.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit.
  • the arithmetic circuit includes the OR circuit and a multiplexer.
  • the multiplexer outputs the first event signal to the signal holding circuit according to the control signal, and outputs the first event signal to the signal holding circuit.
  • the image pickup apparatus according to (5), wherein the OR circuit performs a logical sum operation between the first event signal held in the signal holding circuit and the second event signal.
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit.
  • a false value is initially set in the signal holding circuit.
  • the OR circuit holds the OR operation of the false value and the first event signal in the signal holding circuit, and then performs the OR operation of the result of the held OR operation and the second event signal. , (5).
  • the first event signal and the second event signal are sequentially input to the arithmetic circuit.
  • a false value is set at one end of the AND circuit.
  • the OR circuit holds the OR operation of the output signal of the AND circuit and the first event signal in the signal holding circuit.
  • a true value is set at the one end of the logical product circuit, and the result of the held logical sum operation, the result of the logical product of the true value, and the second event signal are input to the logical sum circuit.
  • the OR circuit performs an OR operation on the result of the held OR operation, the result of the logical product of the true value, and the second event signal.
  • a plurality of pixels having a photoelectric conversion unit that outputs a signal corresponding to the luminance and a current-voltage conversion unit that logarithmically converts the signal.
  • a differential circuit that sequentially generates the first event signal and the second event signal based on the logarithmically converted signals of each of the current-voltage converters.
  • the plurality of signal holding circuits corresponding to the plurality of pixels, respectively. 4. The operation according to any one of (1) to (11), wherein the plurality of signal holding circuits and the arithmetic circuit perform processing on the first event signal and the second event signal generated in the above order. Imaging device.
  • 30 Pixel array unit
  • 31 Light receiving unit (photoelectric conversion element), 100: Image pickup device
  • 331 Current-voltage conversion unit (logarithmic conversion circuit)
  • 334 Quantizer (difference circuit)
  • 335 Arithmetic circuit
  • 335a Arithmetic circuit
  • 335b multiplexer
  • 335c AND circuit
  • 336 signal holding circuit
  • 337 transfer unit
  • 338 control circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

［課題］本開示では、回路規模の増加を抑制しつつ、より高速にイベントの読み出しが可能な撮像装置及び撮像方法を提供する。 ［解決手段］撮像装置は、輝度に基づく輝度信号が第１閾値を超えたか否かを示す第１イベント信号を保持する信号保持回路と、輝度信号が第１閾値と異なる第２閾値を超えたか否かを示す第２イベント信号と、信号保持回路に保持される第１イベント信号とに基づき、輝度信号が第１閾値及び第２閾値の少なくとも一方を超えたか否かを示すイベント信号を生成する演算回路と、を備える。

Description

撮像装置及び撮像方法
　本開示は、撮像装置及び撮像方法に関する。
　垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている。このように、画素毎にアドレスイベントを検出する固体撮像素子は、ＤＶＳ（Ｄｙｎａｍｉｃ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ）と呼ばれる。同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。
特開２０１７－５０８５３号公報
　一方で、アドレスイベントには、輝度の上昇量が上限閾値を超えた旨を示すオンイベントと、輝度の低下量が上限閾値未満の下限閾値を下回った旨を示すオフイベントとが含まれる。このため、オンイベントの有無を示す信号を保持する信号保持回路と、オフイベントの有無を示す信号を保持する信号保持回路と、が必要となり、回路規模が増加してしまう。また、回路規模の増加を抑制するために、信号保持回路をオンイベントとオフイベントとで共有化すると、信号保持回路からオンイベントの有無を示すオンイベント信号と、オフイベントの有無を示すオフイベント信号と、の読み出しを順に２回行う必要が生じてしまう。
　そこで、本開示では、回路規模の増加を抑制しつつ、より高速にイベントの読み出しが可能な撮像装置及び撮像方法を提供するものである。
　上記の課題を解決するために、本開示によれば、輝度に基づく輝度信号が第１閾値を超えたか否かを示す第１イベント信号を保持する信号保持回路と、
　前記輝度信号が前記第１閾値と異なる第２閾値を超えたか否かを示す第２イベント信号と、前記信号保持回路に保持される前記第１イベント信号とに基づき、前記輝度信号が前記第１閾値及び前記第２閾値の少なくとも一方を超えたか否かを示すイベント信号を生成する演算回路と、
　を備える、撮像装置が提供される。
　前記演算回路は、前記信号保持回路に前記イベント信号を保持し、
　前記信号保持回路に保持された前記イベント信号を転送する転送部を、
　更に備えてもよい。
　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　制御信号の入力に応じて前記第１イベント信号及び前記第２イベント信号を順に前記信号保持回路に出力する第１モードを有してもよい。
　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　制御信号の入力に応じて前記第１イベント信号を前記信号保持回路に出力し、前記信号保持回路に保持された前記第１イベント信号と前記第２イベント信号とに基づき前記イベント信号を生成する第２モードを有してもよい。
　前記第１イベント信号及び前記第２イベント信号は、真値及び偽値の少なくともいずれかの情報を含む信号であり、
　前記演算回路は、論理和回路を有し、前記第１イベント信号及び前記第２イベント信号の論理和演算を行ってもよい。
　前前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、
　前記演算回路は、前記論理和回路と、マルチプレクサとを有し、
　前記マルチプレクサは、制御信号に応じて前記第１イベント信号を前記信号保持回路に出力し、
　前記論理和回路は、記信号保持回路に保持された前記第１イベント信号と、前記第２イベント信号との論理和演算を行ってもよい。
　前記マルチプレクサは、前制御信号に応じて前理和演算の結果を前記信号保持回路に出力してもよい。
　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　前記信号保持回路には偽値が初期設定され、
　前記論理和回路は、前記偽値と前記第１イベント信号の論理和演算を前記信号保持回路に保持し、次に保持した論理和演算の結果と前記第２イベント信号との論理和演算を行ってもよい。
　前記演算回路は、論理積回路を更に有してもよい。
　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　前記論理積回路の一端には偽値が設定され、
　前記論理和回路は、前記論理積回路の出力信号と前記第１イベント信号の論理和演算を前記信号保持回路に保持し、
　次に、前記論理積回路の前記一端には真値が設定され、前記保持した論理和演算の結果と前記真値の論理積の結果と、前記第２イベント信号とが前記論理和回路に入力され、
　前記論理和回路は、前記保持した論理和演算の結果と前記真値の論理積の結果と、前記第２イベント信号との論理和演算を行ってもよい。
　前記演算回路は、前記論理和回路及び前記論理積回路の少なくとも一方の等価回路で構成されてもよい。
　同一の画素内には、
　前記輝度に応じた信号を出力する光電変換素子と、
　　前記信号を対数変換する電流電圧変換部と、
　前記電流電圧変換部で対数変換した信号に基づき、前記第１イベント信号及び前記第２イベント信号を生成する差分回路と、が構成されてもよい。
　前記同一の画素内には、
　前記信号保持回路と、前記演算回路が更に構成されてもよい。
　輝度に応じた信号を出力する光電変換部と、前記信号を対数変換する電流電圧変換部と、を有する複数の画素と、
　前記電流電圧変換部それぞれで対数変換した信号に基づき、前記第１イベント信号及び前記第２イベント信号を順に生成する差分回路と、
　前記複数の画素にそれぞれ対応する複数の前記信号保持回路と、
　前記複数の前記信号保持回路、及び前記演算回路は、前記順に生成される前記第１イベント信号及び前記第２イベント信号に対して処理を行ってもよい。
　本開示によれば、輝度に基づく輝度信号が第１閾値を超えたか否かを示す第１イベント信号を信号保持回路に保持する信号保持工程と、
　前記輝度信号が前記第１閾値と異なる第２閾値を超えたか否かを示す第２イベント信号と、前記信号保持回路に保持される前記第１イベント信号とに基づき、前記輝度信号が前記第１閾値及び前記第２閾値の少なくとも一方を超えたか否かを示すイベント信号を生成する演算処理工程と、
　を備える、撮像方法が提供される。
本開示に係る技術が適用される像装置の構成の一例を示すブロック図。 第１構成例に係る撮像装置の構成の一例を示すブロック図。 画素アレイ部の構成の一例を示すブロック図。 画素の回路構成の一例を示す回路図。 アドレスイベント検出部の構成例を示すブロック図。 ２ラッチ構成による第１の比較例を示す図。 ２ラッチ構成による第２の比較例を示す図。 １ラッチ構成による第３の比較例を示す図。 図５に示す構成例での読み出し例を示す図。 アドレスイベント検出部における電流電圧変換部の構成の一例を示す回路図。 アドレスイベント検出部における減算器及び量子化器の構成の一例を示す回路図。 スキャン方式の撮像装置の構成の一例を示すブロック図。 撮像装置の積層型のチップ構造の概略を示す分解斜視図。 第１構成例に係る撮像装置のカラム処理部の構成の一例を示すブロック図。 アドレスイベント検出部における演算回路及び信号保持回路の第１構成例を示す回路図。 マルチプレクサの真理値表を示す図。 演算回路の真理値表を示す図。 演算回路及び信号保持回路の第２構成例を示す回路図。 論理和回路の真理値表を示す図。 第２構成例における演算回路の真理値表を示す図。 第２構成例における演算回路の等価回路例を示す図。 ドモルガンの定理による否定論理積回路の等価回路を示す図。 ドモルガンの定理による否定論理和の等価回路を示す図。 図１８で示す演算回路の等価回路例を示す図。 図２０で示す演算回路の等価回路例を示す図。 演算回路及び信号保持回路の第３構成例を示す回路図。 第３構成例における論理和回路の真理値表を示す図。 第２実施形態に係る画素アレイ部の構成の一例を示すブロック図。 第２実施形態に係る検出部の構成の一例を示すブロック図。 第２実施形態に係る画素アレイ部とカラム処理部の構成の一例を示すブロック図。 第３実施形態に係る画素アレイ部の構成の一例を示すブロック図。 画素ブロックに対する演算回路の構成の一例を示すブロック図。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部及び車外情報検出部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置及び撮像方法の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
（第１実施形態）
　図１は、本開示に係る技術が適用される撮像システムのシステム構成の一例を示すブロック図である。
　図１に示すように、本開示に係る技術が適用される撮像システム１０は、撮像レンズ１１、撮像装置２０、記録部１２、及び、制御部１３を備える構成となっている。この撮像システム１０は、本開示の電子機器の一例であり、当該電子機器としては、産業用ロボットに搭載されるカメラシステムや、車載カメラシステムなどを例示することができる。
　上記の構成の撮像システム１０において、撮像レンズ１１は、被写体からの入射光を取り込んで撮像装置２０の撮像面上に結像する。撮像装置２０は、撮像レンズ１１によって取り込まれた入射光を画素単位で光電変換して撮像データを取得する。この撮像装置２０として、後述する本開示の撮像装置が用いられる。
　撮像装置２０は、撮像した画像データに対して、画像認識処理等の所定の信号処理を実行し、その処理結果と、後述するアドレスイベントの検出信号（以下、単に「検出信号」と記述する場合がある）とを示すデータを記録部１２に出力する。アドレスイベントの検出信号の生成方法については後述する。記録部１２は、信号線１４を介して撮像装置２０から供給されるデータを記憶する。制御部１３は、例えば、マイクロコンピュータによって構成され、撮像装置２０における撮像動作の制御を行う。
［第１構成例に係る撮像装置（アービタ方式）］
　図２は、本開示に係る技術が適用される撮像システム１０における撮像装置２０として用いられる第１構成例に係る撮像装置の構成の一例を示すブロック図である。
　図２に示すように、本開示の撮像装置としての第１構成例に係る撮像装置２０は、ＤＶＳと呼ばれる非同期型の撮像装置であり、画素アレイ部２１、駆動部２２、アービタ部（調停部）２３、カラム処理部２４、及び、信号処理部２５を備える構成となっている。
　上記の構成の撮像装置２０において、画素アレイ部２１には、複数の画素３０が行列状（アレイ状）に２次元配列されている。この行列状の画素配列に対して、画素列毎に、後述する垂直信号線ＶＳＬ（Ｖｅｒｔｉｃａｌ　Ｓｉｇｎａｌ　Ｌｉｎ）が配線される。
　複数の画素３０のそれぞれは、光電流に応じた電圧のアナログ信号を画素信号として生成する。また、複数の画素３０のそれぞれは、光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、アドレスイベントが生じた際に画素３０は、リクエストをアービタ部２３に出力する。
　駆動部２２は、複数の画素３０のそれぞれを駆動して、各画素３０で生成された画素信号をカラム処理部２４に出力させる。
　アービタ部２３は、複数の画素３０のそれぞれからのリクエストを調停し、調停結果に基づく応答を画素３０に送信する。アービタ部２３からの応答を受け取った画素３０は、検出結果を示す検出信号（アドレスイベントの検出信号）を駆動部２２及び信号処理部２５に供給する。画素３０からの検出信号の読出しについては、複数行読出しとすることも可能である。
　カラム処理部２４は、例えば、アナログ－デジタル変換器から成り、画素アレイ部２１の画素列毎に、その列の画素３０から出力されるアナログの画素信号をデジタル信号に変換する処理を行う。そして、カラム処理部２４は、アナログ－デジタル変換後のデジタル信号を信号処理部２５に供給する。
　信号処理部２５は、カラム処理部２４から供給されるデジタル信号に対して、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理や画像認識処理などの所定の信号処理を実行する。そして、信号処理部２５は、処理結果を示すデータと、アービタ部２３から供給される検出信号とを信号線１４を介して記録部１２（図１参照）に供給する。
［画素アレイ部の構成例］
　図３は、画素アレイ部２１の構成の一例を示すブロック図である。
　複数の画素３０が行列状に２次元配列されて成る画素アレイ部２１において、複数の画素３０のそれぞれは、受光部３１、画素信号生成部３２、及び、アドレスイベント検出部３３を有する構成となっている。
　上記の構成の画素３０において、受光部３１は、入射光を光電変換して光電流を生成する。そして、受光部３１は、駆動部２２（図２参照）の制御に従って、画素信号生成部３２及びアドレスイベント検出部３３のいずれかに、光電変換して生成した光電流を供給する。
　画素信号生成部３２は、受光部３１から供給される光電流に応じた電圧の信号を画素信号ＳＩＧとして生成し、この生成した画素信号ＳＩＧを、垂直信号線ＶＳＬを介してカラム処理部２４（図２参照）に供給する。
　アドレスイベント検出部３３は、受光部３１のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。アドレスイベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、本実施形態に係るアドレスイベント検出部３３は、例えば、オンイベントが発生したか否かを示す１ビットのオンイベント信号、オフイベントが発生したか否かを示す１ビットのオフイベント信号、オンイベント及びオフイベント内のいずれかが発生したか否かを示す１ビットのイベント信号を生成可能である。例えば、オンイベント信号、オフイベント信号、及びイベント信号は、真値（例えば１）又は偽値（例えば０）を示す。例えば、オンイベント信号は、オンイベントが発生した場合に真値を示し、オンイベントが発生していない場合に偽値を示す。同様に、オフイベント信号は、オフイベントが発生した場合に真値を示し、オフイベントが発生していない場合に偽値を示す。同様に、イベント信号は、オンイベント及びオフイベント内の少なくとも一方が発生した場合に真値を示し、オンイベント及びオフイベントが共に発生していない場合に偽値を示す。
　アドレスイベントが発生した際に、アドレスイベント検出部３３は、アドレスイベントの検出信号の送信を要求するリクエストをアービタ部２３（図２参照）に供給する。そして、アドレスイベント検出部３３は、リクエストに対する応答をアービタ部２３から受け取ると、アドレスイベントの検出信号を駆動部２２及び信号処理部２５に供給する。
［画素の回路構成例］
　図４は、画素３０の回路構成の一例を示す回路図である。上述したように、複数の画素３０のそれぞれは、受光部３１、画素信号生成部３２、及び、アドレスイベント検出部３３を有する構成となっている。
　上記の構成の画素３０において、受光部３１は、受光素子（光電変換素子）３１１、トランジスタ３１２、及び、トランジスタ３１３を有する構成となっている。トランジスタ３１２及びトランジスタ３１３としては、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタが用いられる。トランジスタ３１２及びトランジスタ３１３は、互いに直列に接続されている。
　受光素子３１１は、トランジスタ３１２とトランジスタ３１３との共通接続ノードＮ１とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
　トランジスタ３１２のゲート電極には、図２に示す駆動部２２から転送信号ＴＲＧが供給される。トランジスタ３１２は、転送信号ＴＲＧに応答して、受光素子３１１で光電変換された電荷を画素信号生成部３２に供給する。
　トランジスタ３１３のゲート電極には、駆動部２２から制御信号ＯＦＧが供給される。トランジスタ３１３は、制御信号ＯＦＧに応答して、受光素子３１１で生成された電気信号をアドレスイベント検出部３３に供給する。アドレスイベント検出部３３に供給される電気信号は、電荷からなる光電流である。
　画素信号生成部３２は、リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３、及び、浮遊拡散層３２４を有する構成となっている。リセットトランジスタ３２１、増幅トランジスタ３２２、及び、選択トランジスタ３２３としては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。
　画素信号生成部３２には、受光部３１からトランジスタ３１２によって、受光素子３１１で光電変換された電荷が供給される。受光部３１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層３２４は、電荷を電圧に変換する。
　リセットトランジスタ３２１は、電源電圧ＶＤＤの電源ラインと浮遊拡散層３２４との間に接続されている。リセットトランジスタ３２１のゲート電極には、駆動部２２からリセット信号ＲＳＴが供給される。リセットトランジスタ３２１は、リセット信号ＲＳＴに応答して、浮遊拡散層３２４の電荷量を初期化（リセット）する。
　増幅トランジスタ３２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。
　選択トランジスタ３２３のゲート電極には、駆動部２２から選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を画素信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部２４（図２参照）へ出力する。
　上記の構成の画素３０が２次元配置されて成る画素アレイ部２１を有する撮像装置２０において、駆動部２２は、図１に示す制御部１３によりアドレスイベントの検出開始が指示されると、受光部３１のトランジスタ３１３に制御信号ＯＦＧを供給することによって当該トランジスタ３１３を駆動してアドレスイベント検出部３３に光電流を供給させる。
　そして、ある画素３０においてアドレスイベントが検出されると、駆動部２２は、その画素３０のトランジスタ３１３をオフ状態にしてアドレスイベント検出部３３への光電流の供給を停止させる。次いで、駆動部２２は、トランジスタ３１２に転送信号ＴＲＧを供給することによって当該トランジスタ３１２を駆動して、受光素子３１１で光電変換された電荷を浮遊拡散層３２４に転送させる。
　このようにして、上記の構成の画素３０が２次元配置されて成る画素アレイ部２１を有する撮像装置２０は、アドレスイベントが検出された画素３０の画素信号のみをカラム処理部２４に出力する。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、撮像装置２０の消費電力や、画像処理の処理量を低減することができる。
　なお、ここで例示した画素３０の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号生成部３２を備えない画素構成とすることもできる。この画素構成の場合は、受光部３１において、トランジスタ３１３を省略し、当該トランジスタ３１３の機能をトランジスタ３１２に持たせるようにすればよい。
［アドレスイベント検出部の構成例］
　図５は、アドレスイベント検出部３３の構成例を示すブロック図である。図５に示すように、本構成例に係るアドレスイベント検出部３３は、電流電圧変換部３３１、バッファ３３２、減算器３３３、量子化器３３４、演算回路３３５、信号保持回路３３６、転送部３３７、及び、制御回路３３８を有する構成となっている。
　電流電圧変換部３３１は、画素３０の受光部３１からの光電流を、その対数の電圧信号に変換する。電流電圧変換部３３１は、変換した電圧信号をバッファ３３２に供給する。バッファ３３２は、電流電圧変換部３３１から供給される電圧信号をバッファリングし、減算器３３３に供給する。
　減算器３３３には、駆動部２２から行駆動信号が供給される。減算器３３３は、行駆動信号に従って、バッファ３３２から供給される電圧信号のレベルを低下させる。そして、減算器３３３は、レベル低下後の電圧信号を量子化器３３４に供給する。量子化器３３４は、減算器３３３から供給される電圧信号をデジタル信号に量子化してアドレスイベントの検出信号として演算回路３３５に出力する。例えば、量子化器３３４は、オンイベント信号及びオフイベント信号を順に演算回路３３５に供給する。
　演算回路３３５は、量子化器３３４から順に供給されるオンイベント信号及びオフイベント信号に基づく論理演算を行い、イベント信号を生成する。例えば、演算回路３３５は、オンイベント信号及びオフイベント信号のうちの最初に供給された信号の値を信号保持回路３３６に供給する。次に、演算回路３３５は、オンイベント信号及びオフイベント信号のうちの次に供給された信号の値と、信号保持回路３３６が保持する最初に供給された信号の値との内の一方が真値であれば、真値示す信号を信号保持回路３３６に供給し、両方とも偽値であれば偽値を示す信号を信号保持回路３３６に供給する。このように、演算回路３３５は、オンイベント信号及びオフイベント信号の少なくとも一方が真値であれば、真値を示すイベント信号を出力し、いずれも偽値であれば偽値を示すイベント信号を出力する。
　信号保持回路３３６は、演算回路３３５と転送部３３７との間に設けられており、制御回路３３８から供給されるサンプル信号に基づいて、演算回路３３５の演算結果を蓄積する。信号保持回路３３６は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。本実施形態に係る信号保持回路３３６は、オンイベント信号及びオフイベント信号に対して、１つで構成される所謂１ラッチ（Ｌａｔｃ）構成である。このため、オンイベント信号及びオフイベント信号それぞれに対して信号保持回路３３６が構成される所謂２ラッチ（Ｌａｔｃ）構成よりも信号保持回路３３６の面積をより少なくできる。
　転送部３３７は、量子化器３３４から供給されるアドレスイベントの検出信号をアービタ部２３等に転送する。この転送部３３７は、アドレスイベントが検出された際に、アドレスイベントの検出信号の送信を要求するリクエストをアービタ部２３に供給する。そして、転送部３３７は、リクエストに対する応答をアービタ部２３から受け取ると、アドレスイベントの検出信号を駆動部２２及び信号処理部２５に供給する。
　制御回路３３８は、コンパレータ３３４１の反転（－）入力端子に対して所定の閾値電圧Ｖｔｈを供給する。制御回路３３８からコンパレータ３３４１に供給される閾値電圧Ｖｔｈは、時分割で異なる電圧値である。例えば、制御回路３３８は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Ｖｔｈ１、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Ｖｔｈ２を異なるタイミングで供給する。これにより、１つのコンパレータ３３４１でオンイベント信号及びオフイベント信号の生成が可能となる。
　ここで、２ラッチ構成と比較しつつ転送部３３７からの読み出し（Ｒｅａｄ）回数について説明する。
　図６Ａは、２ラッチ構成による第１の比較例を示す図である。横軸が時間を示す。例えば、オフイベント信号を生成するコンパレータと、オンイベント信号を生成するコンパレータを有する場合である。図６Ａに示すように、信号保持回路３３６を２つ有する２ラッチ構成による信号読み出しでは、オフイベント信号を第１信号保持回路３３６に記憶し、オンイベント信号を第２信号保持回路３３６に記憶し、それぞれに対応する転送部３３７により信号を転送する。これから分かるように、２ラッチ構成では、読み出し（Ｒｅａｄ）回数を第１信号保持回路３３６及び第２信号保持回路３３６に対して一回で行うことが可能である。なお、図６Ａの構成では、イベントの有無の情報を含むイベント信号が必要な場合、アドレスイベント検出部３３（図４参照）以外の読み出し後の回路で生成する必要が生じる。
　図６Ｂは、２ラッチ構成による第２の比較例を示す図である。横軸が時間を示す。例えば、オフイベント信号を生成するコンパレータと、オンイベント信号を生成するコンパレータとが１つの場合である。図６Ｂに示すように、信号保持回路３３６を２つ有する２ラッチ構成による信号読み出しでは、先ずオフイベント信号を第１信号保持回路３３６に記憶し、次にオンイベント信号を第２信号保持回路３３６に記憶し、それぞれに対応する転送部３３７により信号を転送する。これらから分かるように、２ラッチ構成では、読み出し（Ｒｅａｄ）回数を第１信号保持回路３３６及び第２信号保持回路３３６に対して一回で行うことが可能である。なお、図６Ｂの構成では、イベントの有無の情報を含むイベント信号が必要な場合、アドレスイベント検出部３３（図４参照）以外の読み出し後の回路で生成する必要が生じる。
　図６Ｃは、１ラッチ構成による第３の比較例を示す図である。横軸が時間を示す。例えば、オフイベント信号を生成するコンパレータと、オンイベント信号を生成するコンパレータとが１つの場合である。図６Ｃに示すように、信号保持回路３３６を１つ有する１ラッチ構成による信号読み出しでは、先ずオフイベント信号を第１信号保持回路３３６に記憶し、読み出し（Ｒｅａｄ）を行う。次にオンイベント信号を第２信号保持回路３３６に記憶し、読み出し（Ｒｅａｄ）を行う。これから分かるように、第３の比較例による１ラッチ構成では、読み出し（Ｒｅａｄ）回数が２回となってしまう。なお、図６Ｃの構成では、イベントの有無の情報を含むイベント信号が必要な場合、アドレスイベント検出部３３（図４参照）以外の読み出し後の回路で生成する必要が生じる。
　図６Ｄは、図５に示す構成例での読み出し例を示す図である。横軸が時間を示す。図６Ｄに示すように、演算回路３３５は、先ずオフイベント信号及びオンイベント信号のうちの一方の信号を第１信号保持回路３３６に記憶する。次に演算回路３３５は、オフイベント信号及びオンイベント信号のうちの他方の信号と、第１信号保持回路３３６に記憶された信号とを用いて論理演算によりイベント信号を生成し、信号保持回路３３６に記憶する。そして、イベント信号の読み出し（Ｒｅａｄ）を行う。このように、演算回路３３５を設けることにより、イベントの有無の情報を含むイベント信号の読み出し（Ｒｅａｄ）回数を１回で行うことが可能となる。なお、図５に示す回路構成例では、オフイベントの有無の情報を含むオフイベント信号、及びオンイベントの有無の情報を含むオンイベント信号、が必要な場合にも対応可能である。この場合、図６Ｃの読み出し例と同様に、先ずオフイベント信号を第１信号保持回路３３６に記憶して読み出し（Ｒｅａｄ）、次にオンイベント信号を第２信号保持回路３３６に記憶して読み出し（Ｒｅａｄ）を行うことにより、オフイベント信号、及びオンイベント信号をアドレスイベント検出部３３（図４参照）から出力可能である。なお、本実施形態では、オフイベント信号を先に生成し、次にオンイベント信号を生成しているが、これに限定されない。例えば、オンイベント信号を先に生成し、次にオフイベント信号を生成してもよい。
　続いて、アドレスイベント検出部３３における電流電圧変換部３３１、及び、減算器３３３、量子化器３３４の構成例について説明する。なお、演算回路３３５の詳細は後述する。
（電流電圧変換部の構成例）
　図７は、アドレスイベント検出部３３における電流電圧変換部３３１の構成の一例を示す回路図である。図７に示すように、本例に係る電流電圧変換部３３１は、Ｎ型トランジスタ３３１１、Ｐ型トランジスタ３３１２、及び、Ｎ型トランジスタ３３１３を有する回路構成となっている。これらのトランジスタ３３１１～３３１３としては、例えば、ＭＯＳトランジスタが用いられる。
　Ｎ型トランジスタ３３１１は、電源電圧ＶＤＤの電源ラインと信号入力線３３１４との間に接続されている。Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３は、電源電圧ＶＤＤの電源ラインとグランドとの間に直列に接続されている。そして、Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３の共通接続ノードＮ２には、Ｎ型トランジスタ３３１１のゲート電極と、図５に示すバッファ３３２の入力端子とが接続されている。
　Ｐ型トランジスタ３３１２のゲート電極には、所定のバイアス電圧Ｖｂｉａｓが印加される。これにより、Ｐ型トランジスタ３３１２は、一定の電流をＮ型トランジスタ３３１３に供給する。Ｎ型トランジスタ３３１３のゲート電極には、信号入力線３３１４を通して、受光部３１から光電流が入力される。
　Ｎ型トランジスタ３３１１及びＮ型トランジスタ３３１３のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、受光部３１からの光電流は、その対数の電圧信号に変換される。
（減算器及び量子化器の構成例）
　図８は、アドレスイベント検出部３３における減算器３３３及び量子化器３３４の構成の一例を示す回路図である。
　本例に係る減算器３３３は、容量素子３３３１、インバータ回路３３３２、容量素子３３３３、及び、スイッチ素子３３３４を有する構成となっている。
　容量素子３３３１の一端は、図５に示すバッファ３３２の出力端子に接続され、その他端は、インバータ回路３３３２の入力端子に接続されている。容量素子３３３３は、インバータ回路３３３２に対して並列に接続されている。スイッチ素子３３３４は、容量素子３３３３の両端間に接続されている。スイッチ素子３３３４にはその開閉制御信号として、駆動部２２から行駆動信号が供給される。スイッチ素子３３３４は、行駆動信号に応じて、容量素子３３３３の両端を接続する経路を開閉する。インバータ回路３３３２は、容量素子３３３１を介して入力される電圧信号の極性を反転する。
　上記の構成の減算器３３３において、スイッチ素子３３３４をオン（閉）状態とした際に、容量素子３３３１のバッファ３３２側の端子に電圧信号Ｖｉｎｉｔが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子３３３１に蓄積されている電荷Ｑｉｎｉｔは、容量素子３３３１の容量値をＣ１とすると、次式（１）により表される。一方、容量素子３３３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
　　Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ　　　　　　　　　　　　　・・・（１）
　次に、スイッチ素子３３３４がオフ（開）状態となり、容量素子３３３１のバッファ３３２側の端子の電圧が変化してＶａｆｔｅｒになった場合を考えると、容量素子３３３１に蓄積される電荷Ｑａｆｔｅｒは、次式（２）により表される。
　　Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ　　　　　　　　　　　　　・・・（２）
　一方、容量素子３３３３に蓄積される電荷Ｑ２は、容量素子３３３３の容量値をＣ２とし、出力電圧をＶｏｕｔとすると、次式（３）により表される。
　　Ｑ２＝－Ｃ２×Ｖｏｕｔ　　　　　　　　　　　　　　・・・（３）
　このとき、容量素子３３３１及び容量素子３３３３の総電荷量は変化しないため、次の式（４）が成立する。
　　Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２　　　　　　　　　　　　　・・・（４）
　式（４）に式（１）乃至式（３）を代入して変形すると、次式（５）が得られる。
　　Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）　　・・・（５）
　式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、画素３０毎に減算器３３３を含むアドレスイベント検出部３３が搭載されるため、容量素子３３３１や容量素子３３３３には、面積上の制約がある。これらを考慮して、容量素子３３３１、３３３３の容量値Ｃ１、Ｃ２が決定される。
　図８において、量子化器３３４は、コンパレータ３３４１を有する構成となっている。コンパレータ３３４１は、インバータ回路３３３２の出力信号、即ち、減算器４３０からの電圧信号を非反転（＋）入力とし、所定の閾値電圧Ｖｔｈを反転（－）入力としている。そして、コンパレータ３３４１は、減算器４３０からの電圧信号と所定の閾値電圧Ｖｔｈとを比較し、比較結果を示す信号をアドレスイベントの検出信号として転送部３３７に出力する。
［第２構成例に係る撮像装置（スキャン方式）］
　上述した第１構成例に係る撮像装置２０は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置は、所定のフレームレートで撮像を行う通常の撮像装置と同じ、スキャン方式の撮像装置である。
　図９は、本開示に係る技術が適用される撮像システム１０における撮像装置２０として用いられる、第２構成例に係る撮像装置、即ち、スキャン方式の撮像装置の構成の一例を示すブロック図である。
　図９に示すように、本開示の撮像装置としての第２構成例に係る撮像装置２０は、画素アレイ部２１、駆動部２２、信号処理部２５、読出し領域選択部２７、及び、信号生成部２８を備える構成となっている。
　画素アレイ部２１は、複数の画素３０を含む。複数の画素３０は、読出し領域選択部２７の選択信号に応答して出力信号を出力する。複数の画素３０のそれぞれについては、例えば図３に示すように、画素内に量子化器を持つ構成とすることもできる。複数の画素３０は、光の強度の変化量に対応する出力信号を出力する。複数の画素３０は、図９に示すように、行列状に２次元配置されていてもよい。
　駆動部２２は、複数の画素３０のそれぞれを駆動して、各画素３０で生成された画素信号を信号処理部２５に出力させる。なお、駆動部２２及び信号処理部２５については、階調情報を取得するための回路部である。従って、イベント情報のみを取得する場合は、駆動部２２及び信号処理部２５は無くてもよい。
　読出し領域選択部２７は、画素アレイ部２１に含まれる複数の画素３０のうちの一部を選択する。例えば、読出し領域選択部２７は、画素アレイ部２１に対応する２次元行列の構造に含まれる行のうちのいずれか１つもしくは複数の行を選択する。読出し領域選択部２７は、予め設定された周期に応じて１つもしくは複数の行を順次選択する。また、読出し領域選択部２７は、画素アレイ部２１の各画素３０からのリクエストに応じて選択領域を決定してもよい。
　信号生成部２８は、読出し領域選択部２７によって選択された画素の出力信号に基づいて、選択された画素のうちのイベントを検出した活性画素に対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された閾値を超える、又は、下回る画素である。例えば、信号生成部２８は、画素の出力信号を基準信号と比較し、基準信号よりも大きい又は小さい場合に出力信号を出力する活性画素を検出し、当該活性画素に対応するイベント信号を生成する。
　信号生成部２８については、例えば、信号生成部２８に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部２８については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報も出力する構成とすることができる。
　信号生成部２８からは、出力線１５を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報（例えば、（Ｘ、Ｙ、Ｔ））が出力される。但し、信号生成部２８から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報（例えば、（０、０、１、０、・・・））であってもよい。
［チップ構造の構成例］
　上述した第１構成例又は第２構成例に係る撮像装置２０のチップ（半導体集積回路）構造としては、例えば、積層型のチップ構造を採ることができる。図１０は、撮像装置２０の積層型のチップ構造の概略を示す分解斜視図である。
　図１０に示すように、積層型のチップ構造、所謂、積層構造は、第１のチップである受光チップ２０１、及び、第２のチップである検出チップ２０２の少なくとも２つのチップが積層された構造となっている。そして、図４に示す画素３０の回路構成において、受光素子３１１のそれぞれが受光チップ２０１上に配置され、受光素子３１１以外の素子の全てや、画素３０の他の回路部分の素子などが検出チップ２０２上に配置される。受光チップ２０１と検出チップ２０２とは、ビア（ＶＩＡ）、Ｃｕ－Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。
　なお、ここでは、受光素子３１１を受光チップ２０１に配置し、受光素子３１１以外の素子や画素３０の他の回路部分の素子などを検出チップ２０２に配置する構成例を例示したが、この構成例に限られるものではない。
　例えば、図３に示す画素３０の回路構成において、受光部３１の各素子を受光チップ２０１に配置し、受光部３１以外の素子や画素３０の他の回路部分の素子などを検出チップ２０２に配置する構成とすることができる。また、受光部３１の各素子、及び、画素信号生成部３２のリセットトランジスタ３２１、浮遊拡散層３２４を受光チップ２０１に配置し、それ以外の素子を検出チップ２０２に配置する構成とすることができる。更には、アドレスイベント検出部３３を構成する素子の一部を、受光部３１の各素子などと共に受光チップ２０１に配置する構成とすることができる。
［カラム処理部の構成例］
　図１１は、第１構成例に係る撮像装置２０のカラム処理部２４の構成の一例を示すブロック図である。図１１に示すように、本例に係るカラム処理部２４は、画素アレイ部２１の画素列毎に配置された複数のアナログ－デジタル変換器（ＡＤＣ）２４１を有する構成となっている。
　なお、ここでは、画素アレイ部２１の画素列に対して、１対１の対応関係でアナログ－デジタル変換器２４１を配置する構成例を例示したが、この構成例に限定されるものではない。例えば、複数の画素列を単位としてアナログ－デジタル変換器２４１を配置し、当該アナログ－デジタル変換器２４１を複数の画素列間で時分割により処理する構成とすることもできる。
　アナログ－デジタル変換器２４１は、垂直信号線ＶＳＬを介して供給されるアナログの画素信号ＳＩＧを、先述したアドレスイベントの検出信号よりもビット数の多いデジタル信号に変換する。例えば、アドレスイベントの検出信号を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。アナログ－デジタル変換器２４１は、アナログ－デジタル変換で生成したデジタル信号を信号処理部２５に供給する。
［演算回路及び信号保持回路の第１構成例］
　ここで、図１２に基づき、演算回路３３５の詳細な構成例を説明する。図１２は、アドレスイベント検出部３３における演算回路３３５及び信号保持回路３３６の第１構成例を示す回路図である。
　本例に係る演算回路３３５は、論理和回路（ＯＲ回路）３３５ａ、及び、マルチプレクサ３３５ｂを有する。論理和回路３３５ａの２入力端子の一方の入力端子は量子化器３３４の出力端子に接続され、他方の入力端子は信号保持回路３３６の出力端子に接続される。論理和回路３３５ａの出力端子は、マルチプレクサ３３５ｂの入力端子に接続される。本例に係る演算回路３３５は、制御信号の入力に応じてオンイベント信号（第１イベント信号）及びオフイベント信号（第２イベント信号）を順に信号保持回路３３６に出力する第１モードを有する。また、本例に係る演算回路３３５は、制御信号の入力に応じてオンイベント信号を信号保持回路３３６に出力し、信号保持回路３３６に保持されたオンイベント信号とオフイベント信号とに基づきイベント信号を生成する第２モードを有する。
　マルチプレクサ３３５ｂの２入力端子の一方の入力端子は、上述のように、論理和回路３３５ａの出力端子に接続され、他方の入力端子は、量子化器３３４の出力端子に接続さる。また、マルチプレクサ３３５ｂの出力端子は、信号保持回路３３６の入力端子に接続される。さらにまた、マルチプレクサ３３５ｂの選択制御端子は制御回路３３８に接続される。
　信号保持回路３３６の入力端子は、上述のように、マルチプレクサ３３５ｂの出力端子に接続される。信号保持回路３３６の出力端子は、転送部３３７の出力端子に接続される。
　図１２に示す回路構成により、論理和回路３３５ａは、量子化器３３４の出力信号Ｓ１又は信号保持回路３３６の出力信号Ｓ４が真値であれば、真値を出力する。一方で、論理和回路３３５ａは、量子化器３３４の出力信号Ｓ１及び信号保持回路３３６の出力信号Ｓ４が共に偽値であれば、偽値を出力する。なお、本実施形態では、真値を「１」、偽値を「０」として示し、「１」でも「０」でもよい場合を「－」で示すこととする。
　図１３は、マルチプレクサ３３５ｂの真理値表を示す図である。図１３に示すように、選択制御信号Ｅ０が０である場合、論理和回路３３５ａの出力信号Ｓ２によらず、量子化器３３４の出力信号Ｓ１を出力信号Ｓ３として出力する。すなわち、選択制御信号Ｅ０を０とする場合には、量子化器３３４の出力信号Ｓ１をそのまま信号保持回路３３６に供給可能である。これにより、第１モードの処理を行うことが可能である。より具体的には、先ずオフイベント信号及びオンイベント信号のうちの一方を第１信号保持回路３３６に記憶して読み出し（Ｒｅａｄ）、次にオフイベント信号及びオンイベント信号のうちの他方を第２信号保持回路３３６に記憶して読み出し（Ｒｅａｄ）を行うことにより、オフイベント信号、及びオンイベント信号をアドレスイベント検出部３３（図４参照）から出力することが可能となる。
　一方で、選択制御信号Ｅ０が１である場合、量子化器３３４の出力信号Ｓ１によらず、論理和回路３３５ａの出力信号Ｓ２を出力信号Ｓ３として出力する。
　図１４は、第２モードにおける演算回路３３５の真理値表を示す図である。図１４では、先ず時間ｔ１で、量子化器３３４が、信号Ｓ１として、オンイベント信号を生成し、次に時間ｔ２で、量子化器３３４が、信号Ｓ１として、オフイベント信号を生成する場合を示している。なお、本実施形態では、オンイベント信号を生成し、次にオフイベント信号を生成するが、上述のように、これに限定されない。例えば、オフイベント信号を生成し、次にオンイベント信号を生成してもよい。この場合にも、オンイベント信号を生成し、次にオフイベント信号を生成する場合と、同様の処理を行うことが可能である。
　まず、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が１であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が１である場合を説明する。オンイベント信号が入力される時間ｔ１では、制御回路３３８により選択制御信号Ｅ０が０として入力される。
　論理和回路３３５ａの出力信号Ｓ２は、時間ｔ１では、信号保持回路３３６の初期値が「１」又は「０」であっても、信号Ｓ１が１であるので、１である。この場合、マルチプレクサ３３５ｂは、図１０で示したように、選択制御信号Ｅ０が０であるので、論理和回路３３５ａの出力信号Ｓ２によらず、量子化器３３４の出力信号Ｓ１を出力信号Ｓ３として出力する。すなわち、時間ｔ１では、信号保持回路３３６の初期値が「１」又は「０」であっても、オンイベント信号の値である１がマルチプレクサ３３５ｂの出力信号Ｓ３として信号保持回路３３６に保持される。これにより、時間ｔ１では信号保持回路３３６の値は１として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は１であり、量子化器３３４の出力信号Ｓ１は１であるので、論理和回路３３５ａの出力信号Ｓ２は１となる。また、時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。この場合、図１０で示したように、量子化器３３４の出力信号Ｓ１によらず、論理和回路３３５ａの出力信号Ｓ２を出力信号Ｓ３として出力する。すなわち、出力信号Ｓ３は１であり、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。これにより、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が１であり、オフイベント信号が１である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が０であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が１である場合を説明する。オンイベント信号が入力される時間ｔ１では、制御回路３３８により選択制御信号Ｅ０が０として入力される。
　時間ｔ１では、信号Ｓ１が０であり、信号保持回路３３６の初期値である信号Ｓ４は「１」又は「０」である。このため、論理和回路３３５ａの出力信号Ｓ２は、「１」又は「０」である。この場合、マルチプレクサ３３５ｂは、図１０で示したように、論理和回路３３５ａの出力信号Ｓ２によらず、量子化器３３４の出力信号Ｓ１を出力信号Ｓ３として出力する。すなわち、時間ｔ１では、信号保持回路３３６の初期値が「１」又は「０」であっても、オンイベント信号の値である０がマルチプレクサ３３５ｂの出力信号Ｓ３として信号保持回路３３６に保持される。これにより、時間ｔ１では信号保持回路３３６の値は０として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期値である信号Ｓ４は０であり、量子化器３３４の出力信号Ｓ１は１であるので、論理和回路３３５ａの出力信号Ｓ２は１となる。また、時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。この場合、図１０で示したように、量子化器３３４の出力信号Ｓ１によらず、論理和回路３３５ａの出力信号Ｓ２を出力信号Ｓ３として出力する。すなわち、信号Ｓ３は１であり、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。これにより、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が０であり、オフイベント信号が１である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が１であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が０である場合を説明する。オンイベント信号が入力される時間ｔ１では、上述のように、信号Ｓ１が１であり、信号Ｓ２が１であり、信号Ｓ３が１であり、信号Ｓ４が１である。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期とである信号Ｓ４は１であり、量子化器３３４の出力信号Ｓ１は０であるので、論理和回路３３５ａの出力信号Ｓ２は１となる。また、時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。この場合、図１０で示したように、量子化器３３４の出力信号Ｓ１によらず、論理和回路３３５ａの出力信号Ｓ２を出力信号Ｓ３として出力する。すなわち、出力信号Ｓ３は１であり、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。これにより、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が１であり、オフイベント信号が０である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が０であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が０である場合を説明する。オンイベント信号が入力される時間ｔ１では、上述のように、信号Ｓ１が０であり、信号Ｓ２が「１」又は「０」であり、信号Ｓ３が０であり、信号Ｓ４が０である。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は０であり、量子化器３３４の出力信号Ｓ１は０であるので、論理和回路３３５ａの出力信号Ｓ２は０となる。また、時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。この場合、図１０で示したように、量子化器３３４の出力信号Ｓ１によらず、論理和回路３３５ａの出力信号Ｓ２を出力信号Ｓ３として出力する。すなわち、出力信号Ｓ３は０であり、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では０が保持される。これにより、転送部３１７からはイベント信号として０が出力される。このように、オンイベント信号が０であり、オフイベント信号が０である場合には、転送部３３７から０が出力される。
［演算回路及び信号保持回路の第２構成例］
　図１５は、アドレスイベント検出部３３における演算回路３３５及び信号保持回路３３６の第２構成例を示す回路図である。
　本例に係る演算回路３３５は、論理和回路３３５ａ、及び、論理積回路（ＡＮＤ回路）３３５ｃを有する。論理和回路３３５ａの２入力端子の一方の入力端子は量子化器３３４の出力端子に接続され、他方の入力端子は論理積回路３３５ｃの出力端子に接続される。論理和回路３３５ａの出力端子は、信号保持回路３３６の入力端子に接続される。
　論理積回路３３５ｃの２入力端子の一方の入力端子は、制御回路３３８に接続される。論理積回路３３５ｃの他方の入力端子は、信号保持回路３３６の出力端子に接続さる。また、論理積回路３３５ｃの出力端子は、上述のように、論理和回路３３５ａの一方の入力端子に接続される。
　信号保持回路３３６の入力端子は、上述のように、論理和回路３３５ａの出力端子に接続される。信号保持回路３３６の出力端子は、転送部３３７の出力端子に接続される。
　図１６は、論理和回路３３５ａの真理値表を示す図である。図１６に示す回路構成により、論理和回路３３５ａは、量子化器３３４の出力信号Ｓ１又は論理積回路３３５ｃの出力信号Ｓ５が真値であれば、真値を出力する。一方で、論理和回路３３５ａは、量子化器３３４の出力信号Ｓ１及び論理積回路３３５ｃの出力信号Ｓ５が共に偽値であれば、偽値を出力する。この場合、論理積回路３３５ｃの出力信号Ｓ５は、選択制御信号Ｅ０が０である場合、常に０となる。
　これにより、第１モードの処理を行うことが可能である。より具体的には、選択制御信号Ｅ０を０とする場合には、論理和回路３３５ａは、量子化器３３４の出力信号Ｓ１をそのまま信号保持回路３３６に供給可能である。これにより、先ずオフイベント信号及びオンイベント信号のうちの一方を第１信号保持回路３３６に記憶して読み出し（Ｒｅａｄ）、次にオフイベント信号及びオンイベント信号のうちの他方を第２信号保持回路３３６に記憶して読み出し（Ｒｅａｄ）を行うことにより、オフイベント信号、及びオンイベント信号をアドレスイベント検出部３３（図４参照）から出力することが可能となる。
　一方で、図１７は、第２モードにおける第２構成例での演算回路３３５の真理値表を示す図である。図１７では、先ず時間ｔ１で、量子化器３３４が、信号Ｓ１として、オンイベント信号を生成し、次に時間ｔ２で、量子化器３３４が、信号Ｓ１として、オフイベント信号を生成する場合を示している。
　まず、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が１であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が１である場合を説明する。オンイベント信号が入力される時間ｔ１では、制御回路３３８により選択制御信号Ｅ０が０として入力される。
　論理積回路３３５ｃの出力信号Ｓ５は、選択制御信号Ｅ０が０であるので、信号保持回路３３６の初期値が「１」又は「０」であっても、０となる。これにより、論理和回路３３５ａの出力信号Ｓ２は、量子化器３３４の出力信号Ｓ１が１であれるので１を出力する。このため、時間ｔ１では信号保持回路３３６の値は１として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は１であるので、論理積回路３３５ｃの出力信号Ｓ５は１となる。これにより、量子化器３３４の出力信号Ｓ１の値によらず論理和回路３３５ａの出力信号Ｓ２は１となる。このため、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。そして、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が１であり、オフイベント信号が１である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が０であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が１である場合を説明する。オンイベント信号が入力される時間ｔ１では、制御回路３３８により選択制御信号Ｅ０が０として入力される。
　論理積回路３３５ｃの出力信号Ｓ５は、選択制御信号Ｅ０が０であるので、信号保持回路３３６の初期値が「１」又は「０」であっても、０となる。これにより、論理和回路３３５ａの出力信号Ｓ２は、量子化器３３４の出力信号Ｓ１が０であれるので０を出力する。このため、時間ｔ１では信号保持回路３３６の値は０として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は０であるので、論理積回路３３５ｃの出力信号Ｓ５は０となる。一方で、量子化器３３４の出力信号Ｓ１の値は１であるので、論理和回路３３５ａの出力信号Ｓ２は１となる。これにより、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。そして、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が０であり、オフイベント信号が１である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が１であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が０である場合を説明する。オンイベント信号が入力される時間ｔ１では、制御回路３３８により選択制御信号Ｅ０が０として入力される。
　上述のように、論理積回路３３５ｃの出力信号Ｓ５は、０となり、論理和回路３３５ａの出力信号Ｓ２は、１となり、時間ｔ１では信号保持回路３３６の値は１として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は１であるので、論理積回路３３５ｃの出力信号Ｓ５は１となる。このため、量子化器３３４の出力信号Ｓ１の値によらず、論理和回路３３５ａの出力信号Ｓ２は１となる。これにより、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。そして、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が１であり、オフイベント信号が０である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が０であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が０である場合を説明する。オンイベント信号が入力される時間ｔ１では、制御回路３３８により選択制御信号Ｅ０が０として入力される。
　上述のように、論理積回路３３５ｃの出力信号Ｓ５は０となり、論理和回路３３５ａの出力信号Ｓ２は０となり、時間ｔ１では信号保持回路３３６の値は０として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、制御回路３３８により選択制御信号Ｅ０が１として入力される。時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は０であるので、論理積回路３３５ｃの出力信号Ｓ５は０となる。一方で、量子化器３３４の出力信号Ｓ１の値は０であるので、論理和回路３３５ａの出力信号Ｓ２は０となる。これにより、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では０として保持される。そして、転送部３１７からはイベント信号として０が出力される。このように、オンイベント信号が０であり、オフイベント信号が０である場合には、転送部３３７から０が出力される。
　ここで、第２構成例における演算回路３３５の等価回路について説明する。図１８は、第２構成例における演算回路３３５の等価回路例を示す図である。図１８に示すように、論理積回路３３５ｃは、否定倫理積回路３３ｄ及びＮｏｔ回路３３５ｉと等価である。量子化器３３４と論理和回路３３５ａとの間にＮｏｔ回路３３５ｅ、３３５ｆを接続し、論理和回路３３５ａと信号保持回路３３６との間にＮｏｔ回路３３５ｇ、３３５ｈを接続している。
　図１９Ａはドモルガンの定理による否定論理積回路の等価回路を示す図である。図１９Ａに示すように、否定論理積回路は、Ｎｏｔ回路と論理和回路の組合せと等価である。
　図１９Ｂはドモルガンの定理による否定論理和の等価回路を示す図である。図１９Ｂに示すように、否定論理和は、Ｎｏｔ回路と論理積回路の組合せと等価である。
　図２０は、図１８で示す演算回路３３５の等価回路例を示す図である。図１８に示すように、Ｎｏｔ回路３３５ｉ、３３５ｆと論理和回路３３５ａの組合せは、上述したように否定論理積回路と等価である。否定論理積回路にＮｏｔ回路３３５ｇを更に組み合わせると論理積回路３３５ｊと等価となる。
　図２１は、図２０で示す演算回路３３５の等価回路例を示す図である。図２１に示すように、図２０で示す論理積回路３３５ｊとＮｏｔ回路３３５ｈの組合せは、否定論理積回路３３５ｋと等価である。このように、回路状況に応じて演算回路３３５を様々な等価回路で構成してもよい。
（演算回路及び信号保持回路の第３構成例）
　図２２は、アドレスイベント検出部３３における演算回路３３５及び信号保持回路３３６の第３構成例を示す回路図である。第３構成例は第２モードの処理のみが可能な例である。
　本例に係る演算回路３３５は、論理和回路３３５ａを有する。論理和回路３３５ａの２入力端子の一方の入力端子は量子化器３３４の出力端子に接続され、他方の入力端子は信号保持回路３３６の出力端子に接続される。また、論理和回路３３５ａの出力端子は、信号保持回路３３６に接続される。
　信号保持回路３３６の入力端子は、上述のように、論理和回路３３５ａの出力端子に接続される。信号保持回路３３６の出力端子は、転送部３３７の出力端子に接続される。
　図２３は、第３構成例における論理和回路３３５ａの真理値表を示す図である。図２３では、先ず時間ｔ１で、量子化器３３４が、信号Ｓ１として、オンイベント信号を生成し、次に時間ｔ２で、量子化器３３４が、信号Ｓ１として、オフイベント信号を生成する場合を示している。
　まず、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が１であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が１である場合を説明する。制御回路３３８は、信号保持回路３３６の初期値を０に設定する。この場合、論理和回路３３５ａの出力信号Ｓ２は、量子化器３３４の出力信号Ｓ１が１であるので、１を出力する。このため、時間ｔ１では信号保持回路３３６の値は１として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は１であるので、量子化器３３４の出力信号Ｓ１の値によらず論理和回路３３５ａの出力信号Ｓ２は１となる。これにより、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。そして、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が１であり、オフイベント信号が１である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が０であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が１である場合を説明する。制御回路３３８は、信号保持回路３３６の初期値を０に設定する。これにより、論理和回路３３５ａの出力信号Ｓ２は、量子化器３３４の出力信号Ｓ１が０であるので、０を出力する。このため、時間ｔ１では信号保持回路３３６の値は０として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は０である。一方で、量子化器３３４の出力信号Ｓ１の値は１であるので、回路３３５ａの出力信号Ｓ２は１となる。これにより、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。そして、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が０であり、オフイベント信号が１である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が１であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が０である場合を説明する。制御回路３３８は、信号保持回路３３６の初期値を０に設定する。これにより、論理和回路３３５ａの出力信号Ｓ２は、量子化器３３４の出力信号Ｓ１が１であるので、１を出力する。このため、時間ｔ１では信号保持回路３３６の値は１として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は１である。一方で、量子化器３３４の出力信号Ｓ１の値は０であるので、論理和回路３３５ａの出力信号Ｓ２は１となる。これにより、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では１として保持される。そして、転送部３１７からはイベント信号として１が出力される。このように、オンイベント信号が０であり、オフイベント信号が１である場合には、転送部３３７から１が出力される。
　次に、時間ｔ１でのオンイベント信号（Ｓ１の欄を参照）が０であり、時間ｔ２でのオフイベント信号（Ｓ１の欄を参照）が０である場合を説明する。制御回路３３８は、信号保持回路３３６の初期値を０に設定する。これにより、論理和回路３３５ａの出力信号Ｓ２は、量子化器３３４の出力信号Ｓ１が０であるので、０を出力する。このため、時間ｔ１では信号保持回路３３６の値は０として保持される。
　続いて、オフイベント信号が入力される時間ｔ２では、信号保持回路３３６の初期値である出力信号Ｓ４は０である。一方で、量子化器３３４の出力信号Ｓ１の値は０であるので、論理和回路３３５ａの出力信号Ｓ２は０となる。これにより、信号保持回路３３６の出力信号Ｓ４は、時間ｔ２では０として保持される。そして、転送部３１７からはイベント信号として０が出力される。このように、オンイベント信号が０であり、オフイベント信号が０である場合には、転送部３３７から０が出力される。
　以上説明したように、本実施形態によれば、信号保持回路３３６は、オンイベント信号及びオフイベント信号のうちの最初に供給された信号の値を保持し、演算回路３３５は、オンイベント信号及びオフイベント信号のうちの次に供給された信号の値と、信号保持回路３３６が保持する最初に供給された信号の値との内の一方が真値であれば、真値を示す信号を信号保持回路３３６に供給し、両方とも偽値であれば偽値を示す信号を信号保持回路３３６に供給することとした。これにより、オンイベント信号及びオフイベント信号に対応する信号保持回路３３６が１つであっても、一回の読み出しでイベント信号を出力することが可能となる。
（第２実施形態）
　第２実施形態に係る撮像装置１００は、カラム処理部が量子化器３３４、演算回路３３５、及び信号保持回路３３６を備える点で、第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
　図２４は、第２実施形態に係る画素アレイ部２１の構成の一例を示すブロック図である。図２４に示すように、複数の画素３０ａのそれぞれは、受光部３１、画素信号生成部３２、及び、検出部３３ａを有する構成となっている。第１実施形態に係る画素アレイ部２１の画素３０の構成とは、アドレスイベント検出部３３（図３参照）の替わりに検出部３３ａを有する点で相違する。
　図２５は、第２実施形態に係る検出部３３ａの構成の一例を示すブロック図である。図２５に示すように、検出部３３ａは、電流電圧変換部３３１、バッファ３３２、及び減算器３３３を有する。すなわち、量子化器３３４、演算回路３３５、信号保持回路３３６、転送部３３７、及び、制御回路３３８を有さない点でアドレスイベント検出部３３（図３参照）と相違する。
　図２６は、第２実施形態に係る画素アレイ部２１とカラム処理部２６の構成の一例を示すブロック図である。図２６に示すように、画素アレイ部２１内に列状に配置される複数の画素３０ａそれぞれに対して、共通に量子化器３３４、演算回路３３５、信号保持回路３３６、転送部３３７、及び、制御回路３３８が設けられている。このような構成により、第２実施形態に係るカラム処理部２６は、列状に配置される複数画素３０ａの減算器３３３それぞれから順に供給されるレベル低下後の電圧信号を量子化器３３４に供給する。演算回路３３５は、量子化器３３４から順に供給されるオンイベント信号及びオフイベント信号に基づく論理演算を行い、イベント信号を順に生成する。
　以上説明したように、本実施形態によれば、列状に配置される複数画素３０ａに対して、共通に量子化器３３４、演算回路３３５、信号保持回路３３６、転送部３３７、及び、制御回路３３８を構成することとした。これにより、撮像装置１００の回路構成の規模をより抑制することが可能となる。
（第３実施形態）
　第３実施形態に係る撮像装置１００は、画素ブロック毎に量子化器３３４、及び演算回路３３５を備える点で、第１実施形態に係る撮像装置１００と相違する。以下では、第１実施形態に係る撮像装置１００と相違する点に関して説明する。
　図２７は、第３実施形態に係る画素アレイ部２１の構成の一例を示すブロック図である。図２７に示すように画素アレイ部２１は、複数の画素ブロック３００ａを有する。画素ブロック３００ａは、二次元の行列状に複数の画素３０ａ（図２５参照）が配置される。
　図２８は、画素ブロック３００ａに対する演算回路３３５の構成の一例を示すブロック図である。図２８に示すように、画素ブロック３００ａには、Ｎ個の画素３０ａ（図２５参照）が二次元の行列状に配置される。また、画素ブロック３００ａには、１つの量子化器３３４が接続され、更に量子化器３３４には１つの演算回路３３５が接続される。演算回路３３５は、論理和回路３３５ａと、マルチプレクサ３３５ｋと、Ｎ個の論理積回路３３５Ｌを有する。また、論理和回路３３５ａには、Ｎ個の信号保持回路３３６が接続される。更に、Ｎ個の信号保持回路３３６それぞれには対応するＮ個の転送部３３７が接続される。
　このような構成により、画素ブロック３００ａ内に行列状に配置される複数画素３０ａの減算器３３３それぞれから順に供給されるレベル低下後の電圧信号を量子化器３３４に供給する。制御回路３３８は、１番目の画素３０ａから電圧信号が供給される際に、まずオンイベント信号を量子化器３３４に生成させ、全ての制御入力Ｅ１～ＥＮを０とする。これにより、１番目の画素３０ａに対応する信号保持回路３３６に、１番目の画素３０ａに対応するオンイベント信号の値を記憶させる。
　次に、制御回路３３８は、１番目の画素３０ａから電圧信号が供給される際に、オフイベント信号を量子化器３３４に生成させ、制御入力Ｅ１を１とし、残りの全ての制御入力Ｅ２～ＥＮを０とする。これにより、論理和回路３３５ａは、オンイベント信号及びオフイベント信号のうちの次に供給された信号の値と、信号保持回路３３６が保持する最初に供給された信号の値との内の一方が真値であれば、真値示す信号を対応する信号保持回路３３６に供給し、両方とも偽値であれば偽値を示す信号を対応する信号保持回路３３６に供給する。
　同様に、制御回路３３８は、Ｎ番目の画素３０ａから電圧信号が供給される際に、まずオンイベント信号を量子化器３３４に生成させ、全ての制御入力Ｅ１～ＥＮを０とする。これにより、Ｎ番目の画素３０ａに対応する信号保持回路３３６に、Ｎ番目の画素３０ａに対応するオンイベント信号の値を記憶させる。
　次に、制御回路３３８は、Ｎ番目の画素３０ａから電圧信号が供給される際に、オフイベント信号を量子化器３３４に生成させ、制御入力ＥＮを１とし、残りの全ての制御入力Ｅ１～ＥＮ－１を０とする。これにより、論理和回路３３５ａは、オンイベント信号及びオフイベント信号のうちの次に供給された信号の値と、信号保持回路３３６が保持する最初に供給された信号の値との内の一方が真値であれば、真値示す信号をＮ番目の画素３０ａに対応する信号保持回路３３６に供給し、両方とも偽値であれば偽値を示す信号をＮ番目の画素３０ａに対応する信号保持回路３３６に供給する。このような処理により、Ｎ番目の画素３０ａに対応するイベント信号を生成し、対応する信号保持回路３３６に保持される。このような処理を１番目の画素３０ａからＮ番目の画素３０ａまで、順に行うことにより、１番目からＮ番目の画素３０ａ対応するイベント信号をそれぞれ、対応する保持回路３３６に保持できる。これにより、信号保持回路３３６に対応する転送部３３７は、一度の読み出しで、イベント信号を出力可能となる。
　以上説明したように、行列状に配置される複数画素３０ａに対して、共通に量子化器３３４、演算回路３３５を構成することとした。これにより、本実施形態によれば、第１実施形態に係る撮像装置１００と同等の効果を有すると共に、撮像装置１００の回路構成の規模をより抑制することが可能となる。
＜本開示に係る技術の適用例＞
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
［移動体］
　図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３０には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インターフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインターフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０、７９１２、７９１４、７９１６、７９１８や、車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０や、運転者状態検出部７５１０等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置を有する図１の撮像システム１０を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
　なお、本技術は以下のような構成を取ることができる。
　（１）輝度に基づく輝度信号が第１閾値を超えたか否かを示す第１イベント信号を保持する信号保持回路と、
　前記輝度信号が前記第１閾値と異なる第２閾値を超えたか否かを示す第２イベント信号と、前記信号保持回路に保持される前記第１イベント信号とに基づき、前記輝度信号が前記第１閾値及び前記第２閾値の少なくとも一方を超えたか否かを示すイベント信号を生成する演算回路と、
　を備える、撮像装置。
　（２）前記演算回路は、前記信号保持回路に前記イベント信号を保持し、
　前記信号保持回路に保持された前記イベント信号を転送する転送部を、
　更に備える、（１）に記載の撮像装置。
　（３）前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、
　制御信号の入力に応じて前記第１イベント信号及び前記第２イベント信号を順に前記信号保持回路に出力する第１モードを有する、（１）又は（２）に記載の撮像装置。
　（４）前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、
　制御信号の入力に応じて前記第１イベント信号を前記信号保持回路に出力し、前記信号保持回路に保持された前記第１イベント信号と前記第２イベント信号とに基づき前記イベント信号を生成する第２モードを有する、（１）乃至（３）のいずれかに記載の撮像装置。
　（５）前記第１イベント信号及び前記第２イベント信号は、真値及び偽値の少なくともいずれかの情報を含む信号であり、
　前記演算回路は、論理和回路を有し、前記第１イベント信号及び前記第２イベント信号の論理和演算を行う、（１）乃至（４）のいずれかに記載の撮像装置。
　（６）前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、
　前記演算回路は、前記論理和回路と、マルチプレクサとを有し、
　前記マルチプレクサは、制御信号に応じて前記第１イベント信号を前記信号保持回路に出力し、
　前記論理和回路は、記信号保持回路に保持された前記第１イベント信号と、前記第２イベント信号との論理和演算を行う、（５）に記載の撮像装置。
　（７）前記マルチプレクサは、前制御信号に応じて前理和演算の結果を前記信号保持回路に出力する、（６）に記載の撮像装置。
　（８）前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、
　前記信号保持回路には偽値が初期設定され、
　前記論理和回路は、前記偽値と前記第１イベント信号の論理和演算を前記信号保持回路に保持し、次に保持した論理和演算の結果と前記第２イベント信号との論理和演算を行う、（５）に記載の撮像装置。
　（９）前記演算回路は、論理積回路を更に有する、（５）に記載の撮像装置。
　（１０）前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、
　前記論理積回路の一端には偽値が設定され、
　前記論理和回路は、前記論理積回路の出力信号と前記第１イベント信号の論理和演算を前記信号保持回路に保持し、
　次に、前記論理積回路の前記一端には真値が設定され、前記保持した論理和演算の結果と前記真値の論理積の結果と、前記第２イベント信号とが前記論理和回路に入力され、
　前記論理和回路は、前記保持した論理和演算の結果と前記真値の論理積の結果と、前記第２イベント信号との論理和演算を行う、（９）に記載の撮像装置。
　（１１）前記演算回路は、前記論理和回路及び前記論理積回路の少なくとも一方の等価回路で構成される（９）に記載の撮像装置。
　（１２）同一の画素内には、
　前記輝度に応じた信号を出力する光電変換素子と、
　　前記信号を対数変換する電流電圧変換部と、
　前記電流電圧変換部で対数変換した信号に基づき、前記第１イベント信号及び前記第２イベント信号を生成する差分回路と、が構成される、（１）乃至（１１）のいずれかに記載の撮像装置。
　（１３）前記同一の画素内には、
　前記信号保持回路と、前記演算回路が更に構成される、（１２）に記載の撮像装置。
　（１４）輝度に応じた信号を出力する光電変換部と、前記信号を対数変換する電流電圧変換部と、を有する複数の画素と、
　前記電流電圧変換部それぞれで対数変換した信号に基づき、前記第１イベント信号及び前記第２イベント信号を順に生成する差分回路と、
　前記複数の画素にそれぞれ対応する複数の前記信号保持回路と、
　前記複数の前記信号保持回路、及び前記演算回路は、前記順に生成される前記第１イベント信号及び前記第２イベント信号に対して処理を行う、（１）乃至（１１）のいずれかに記載の撮像装置。
　（１５）輝度に基づく輝度信号が第１閾値を超えたか否かを示す第１イベント信号を信号保持回路に保持する信号保持工程と、
　前記輝度信号が前記第１閾値と異なる第２閾値を超えたか否かを示す第２イベント信号と、前記信号保持回路に保持される前記第１イベント信号とに基づき、前記輝度信号が前記第１閾値及び前記第２閾値の少なくとも一方を超えたか否かを示すイベント信号を生成する演算処理工程と、
　を備える、撮像方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　３０：画素アレイ部、３１：受光部（光電変換素子）、１００：撮像装置、３３１：電流電圧変換部（対数変換回路）、３３４：量子化器（差分回路）、３３５：演算回路、３３５ａ：演算回路、３３５ｂ：マルチプレクサ、３３５ｃ：論理積回路、３３６：信号保持回路、３３７：転送部、３３８：制御回路。

Claims (15)

  1. 　輝度に基づく輝度信号が第１閾値を超えたか否かを示す第１イベント信号を保持する信号保持回路と、
    　前記輝度信号が前記第１閾値と異なる第２閾値を超えたか否かを示す第２イベント信号と、前記信号保持回路に保持される前記第１イベント信号とに基づき、前記輝度信号が前記第１閾値及び前記第２閾値の少なくとも一方を超えたか否かを示すイベント信号を生成する演算回路と、
    　を備える、撮像装置。
  2. 　前記演算回路は、前記信号保持回路に前記イベント信号を保持し、
    　前記信号保持回路に保持された前記イベント信号を転送する転送部を、
    　更に備える、請求項１に記載の撮像装置。
  3. 　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　制御信号の入力に応じて前記第１イベント信号及び前記第２イベント信号を順に前記信号保持回路に出力する第１モードを有する、請求項１に記載の撮像装置。
  4. 　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　制御信号の入力に応じて前記第１イベント信号を前記信号保持回路に出力し、前記信号保持回路に保持された前記第１イベント信号と前記第２イベント信号とに基づき前記イベント信号を生成する第２モードを有する、請求項３に記載の撮像装置。
  5. 　前記第１イベント信号及び前記第２イベント信号は、真値及び偽値の少なくともいずれかの情報を含む信号であり、
    　前記演算回路は、論理和回路を有し、前記第１イベント信号及び前記第２イベント信号の論理和演算を行う、請求項４に記載の撮像装置。
  6. 　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　前記演算回路は、前記論理和回路と、マルチプレクサとを有し、
    　前記マルチプレクサは、制御信号に応じて前記第１イベント信号を前記信号保持回路に出力し、
    　前記論理和回路は、記信号保持回路に保持された前記第１イベント信号と、前記第２イベント信号との論理和演算を行う、請求項５に記載の撮像装置。
  7. 　前記マルチプレクサは、前制御信号に応じて前理和演算の結果を前記信号保持回路に出力する、請求項６に記載の撮像装置。
  8. 　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　前記信号保持回路には偽値が初期設定され、
    　前記論理和回路は、前記偽値と前記第１イベント信号の論理和演算を前記信号保持回路に保持し、次に保持した論理和演算の結果と前記第２イベント信号との論理和演算を行う、請求項５に記載の撮像装置。
  9. 　前記演算回路は、論理積回路を更に有する、請求項５に記載の撮像装置。
  10. 　前記演算回路には、前記第１イベント信号及び前記第２イベント信号が順に入力され、　前記論理積回路の一端には偽値が設定され、
    　前記論理和回路は、前記論理積回路の出力信号と前記第１イベント信号の論理和演算を前記信号保持回路に保持し、
    　次に、前記論理積回路の前記一端には真値が設定され、前記保持した論理和演算の結果と前記真値の論理積の結果と、前記第２イベント信号とが前記論理和回路に入力され、
    　前記論理和回路は、前記保持した論理和演算の結果と前記真値の論理積の結果と、前記第２イベント信号との論理和演算を行う、請求項９に記載の撮像装置。
  11. 　前記演算回路は、前記論理和回路及び前記論理積回路の少なくとも一方の等価回路で構成される請求項９に記載の撮像装置。
  12. 　同一の画素内には、
    　前記輝度に応じた信号を出力する光電変換素子と、
    　　前記信号を対数変換する電流電圧変換部と、
    　前記電流電圧変換部で対数変換した信号に基づき、前記第１イベント信号及び前記第２イベント信号を生成する差分回路と、が構成される、請求項１に記載の撮像装置。
  13. 　前記同一の画素内には、
    　前記信号保持回路と、前記演算回路が更に構成される、請求項１２に記載の撮像装置。
  14. 　輝度に応じた信号を出力する光電変換部と、前記信号を対数変換する電流電圧変換部と、を有する複数の画素と、
    　前記電流電圧変換部それぞれで対数変換した信号に基づき、前記第１イベント信号及び前記第２イベント信号を順に生成する差分回路と、
    　前記複数の画素にそれぞれ対応する複数の前記信号保持回路と、
    　前記複数の前記信号保持回路、及び前記演算回路は、前記順に生成される前記第１イベント信号及び前記第２イベント信号に対して処理を行う、請求項１に記載の撮像装置。
  15. 　輝度に基づく輝度信号が第１閾値を超えたか否かを示す第１イベント信号を信号保持回路に保持する信号保持工程と、
    　前記輝度信号が前記第１閾値と異なる第２閾値を超えたか否かを示す第２イベント信号と、前記信号保持回路に保持される前記第１イベント信号とに基づき、前記輝度信号が前記第１閾値及び前記第２閾値の少なくとも一方を超えたか否かを示すイベント信号を生成する演算処理工程と、
    　を備える、撮像方法。
PCT/JP2021/032977 2020-09-28 2021-09-08 撮像装置及び撮像方法 WO2022065032A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020162509A JP2023162463A (ja) 2020-09-28 2020-09-28 撮像装置及び撮像方法
JP2020-162509 2020-09-28

Publications (1)

Publication Number Publication Date
WO2022065032A1 true WO2022065032A1 (ja) 2022-03-31

Family

ID=80845204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032977 WO2022065032A1 (ja) 2020-09-28 2021-09-08 撮像装置及び撮像方法

Country Status (2)

Country Link
JP (1) JP2023162463A (ja)
WO (1) WO2022065032A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067410A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2020090460A1 (ja) * 2018-10-30 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
WO2020129657A1 (ja) * 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067410A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2020090460A1 (ja) * 2018-10-30 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
WO2020129657A1 (ja) * 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法

Also Published As

Publication number Publication date
JP2023162463A (ja) 2023-11-09

Similar Documents

Publication Publication Date Title
US11895398B2 (en) Imaging device and imaging system
US11683606B2 (en) Imaging device and electronic equipment
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2021241120A1 (ja) 撮像装置及び撮像方法
WO2022009664A1 (ja) 撮像装置及び撮像方法
US20230047180A1 (en) Imaging device and imaging method
WO2020195822A1 (ja) 撮像システム
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2022004502A1 (ja) 撮像装置及び撮像方法
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2024106169A1 (ja) 光検出素子及び電子機器
US20230108884A1 (en) Imaging device and imaging method
WO2023248855A1 (ja) 光検出装置及び電子機器
WO2022239345A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2022054742A1 (ja) 撮像素子及び撮像装置
JP2024071188A (ja) 光検出素子及び電子機器
JP2022152636A (ja) 撮像素子、撮像装置及び撮像素子の制御方法
CN116724562A (zh) 图像处理装置、图像处理方法和图像处理系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP