WO2022004502A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2022004502A1
WO2022004502A1 PCT/JP2021/023684 JP2021023684W WO2022004502A1 WO 2022004502 A1 WO2022004502 A1 WO 2022004502A1 JP 2021023684 W JP2021023684 W JP 2021023684W WO 2022004502 A1 WO2022004502 A1 WO 2022004502A1
Authority
WO
WIPO (PCT)
Prior art keywords
time code
signal
holding
holding circuit
data
Prior art date
Application number
PCT/JP2021/023684
Other languages
English (en)
French (fr)
Inventor
伸 北野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2022533898A priority Critical patent/JPWO2022004502A1/ja
Priority to US18/003,358 priority patent/US20230247323A1/en
Priority to CN202180045530.6A priority patent/CN116057947A/zh
Publication of WO2022004502A1 publication Critical patent/WO2022004502A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Definitions

  • This disclosure relates to an imaging device and an imaging method.
  • An image pickup device in which an analog-digital converter is provided for each pixel so that a brightness value can be output at high speed.
  • an attempt is made to output the brightness value and the event information in association with each other in this type of image pickup device the configuration of the image pickup device may become complicated.
  • the present disclosure provides an imaging device and an imaging method capable of outputting event information with high sensitivity and high speed with a simple configuration.
  • a plurality of pixels each having a plurality of photoelectric conversion elements for photoelectrically converting incident light to generate an electric signal, and a plurality of pixels.
  • a detection unit that outputs a detection signal when the absolute value of the change amount of the electric signal in the pixel exceeds a predetermined threshold value.
  • a signal processing unit that performs predetermined signal processing based on the detection signal output from the detection unit, and a signal processing unit.
  • An AZ output unit that outputs an auto-zero signal for initializing the detection unit, and an AZ output unit.
  • a time code generator that outputs a time code that changes in a predetermined cycle, When the auto-zero signal is output, the first holding circuit that holds the time code output from the time code generator and the first holding circuit.
  • a second holding circuit that holds the time code output from the time code generator when the detection signal is output, and Provided is an image pickup apparatus including a transfer unit that associates the time code held by the first holding circuit with the time code held by the second holding circuit and transfers the time code to the signal processing unit. ..
  • the first holding circuit holds the time code corresponding to the auto-zero signal for each of the plurality of pixels.
  • the second holding circuit may hold the time code corresponding to the detection signal for the pixel that outputs the detection signal among the plurality of pixels.
  • the second holding circuit may hold data for the plurality of pixels by holding predetermined data for the pixels that do not output the detection signal.
  • the transfer unit associates the data for the plurality of pixels held by the first holding circuit with the data for the plurality of pixels held by the second holding circuit, and the signal processing unit sequentially for each pixel. May be forwarded to.
  • the period for holding the time code corresponding to the auto-zero signal for the plurality of pixels in the first holding circuit and the time code corresponding to the detection signal for the plurality of pixels are held in the second holding circuit.
  • the period for which the first holding circuit and the holding data of the second holding circuit for the plurality of pixels are sequentially read out for each pixel and transferred by the transfer unit may be repeated in order.
  • the period for holding the time code corresponding to the auto-zero signal for the plurality of pixels in the first holding circuit and the detection for the plurality of pixels is sequentially read out for each pixel in the transfer unit.
  • a transfer period may be provided.
  • the transfer unit transfers the time code generated by the time code generator, and transfers the holding data of the first holding circuit and the holding data of the second holding circuit in order for each pixel in series. It has multiple connected clusters and has multiple stages. Each of the plurality of stages of clusters transfers the time code generated by the time code generator to the next stage cluster or the signal processing unit, and at the same time, holds data of the first holding circuit and the second holding. The holding data of the circuit may be transferred to the next-stage cluster or the signal processing unit.
  • the cluster in the first stage holds the time code output from the time code generator, and holds the holding data of the corresponding first holding circuit and the holding data of the second holding circuit at the same timing. death,
  • the clusters in the second and subsequent stages transfer the time codes sequentially transferred from the time code generator held in the cluster in the previous stage to the cluster in the next stage or the signal processing unit, and the corresponding first stage.
  • the holding data of the holding circuit and the holding data of the second holding circuit are transferred to the next stage cluster or the signal processing unit, and the holding data of the previous stage cluster is transferred to the next stage cluster or the signal processing unit. You may.
  • the transfer unit A multi-stage first cluster that transfers the time code generated by the time code generator, and It has a plurality of stages of second clusters for transferring the holding data of the first holding circuit and the holding data of the second holding circuit. Each of the plurality of stages of the first cluster transfers the holding data of the corresponding first holding circuit and the holding data of the second holding circuit to the corresponding second cluster.
  • the signal processing unit may receive the time code output from the first cluster in the final stage and may also receive the data output from the second cluster in the final stage.
  • the first cluster in the first stage holds the time code output from the time code generator, and holds the time code.
  • the second cluster in the first stage holds the holding data of the corresponding first holding circuit and the holding data of the second holding circuit.
  • the first cluster in the second and subsequent stages holds the time code sequentially transferred from the time code generator held in the first cluster in the previous stage.
  • the second cluster in the second and subsequent stages transfers the holding data of the corresponding first holding circuit and the holding data of the corresponding second holding circuit to the second cluster of the next stage or the signal processing unit.
  • the retained data of the second cluster in the previous stage may be transferred to the second cluster or the signal processing unit in the next stage.
  • the period for holding the time code corresponding to the auto-zero signal for the plurality of pixels in the first holding circuit and the period for holding the time code for the plurality of pixels.
  • a period for holding the time code corresponding to the detection signal in the second holding circuit is provided.
  • Each of the plurality of second clusters holds data for the plurality of pixels held by the first holding circuit during the first frame cycle during the second frame cycle following the first frame cycle. And the holding data for the plurality of pixels held by the second holding circuit may be transferred to the second cluster of the next stage or the signal processing unit.
  • the detection process of the detection signal is started for the plurality of pixels, and the time code corresponding to the detection signal for the pixel from which the detection signal is output is assigned.
  • the detection signal of the pixel is reset to output the auto-zero signal, and the holding data of the second holding circuit is transferred to the corresponding second holding circuit, and then After holding the time code corresponding to the auto-zero signal in the first holding circuit, the detection process of the detection signal may be restarted for the pixel.
  • Each of the plurality of pixels is an analog that generates a first digital signal obtained by digitally converting the reset level of the electric signal generated by the plurality of photoelectric conversion elements and a second digital signal obtained by digitally converting the electric signal.
  • the first holding circuit holds the time code corresponding to the auto-zero signal or the first digital signal, and holds the time code.
  • the second holding circuit may hold the time code corresponding to the detection signal or the second digital signal.
  • a second selector that selects either the detection signal or the second digital signal and supplies it to the second holding circuit is provided.
  • the first selector and the second selector when the first holding circuit holds the time code corresponding to the auto zero signal, the second holding circuit uses the time code corresponding to the detection signal.
  • the second holding circuit is interlocked so as to hold the time code corresponding to the second digital signal. And the selection operation may be performed.
  • the time code generator may output the time code consisting of a gray code.
  • the absolute value of the amount of change in the electric signal is a predetermined threshold value.
  • the detection signal is output from the detection unit.
  • Predetermined signal processing is performed based on the detected signal,
  • An auto-zero signal for initializing the detection unit is output.
  • the time code output from the time code generator is held in the first holding circuit.
  • the detection signal is output, the time code output from the time code generator is held in the second holding circuit.
  • An image pickup method is provided in which the time code held by the first holding circuit and the time code held by the second holding circuit are associated and transferred to a signal processing unit.
  • the block diagram which shows the internal structure of the address event detection part of FIG. A circuit diagram showing an example of a voltage comparison unit.
  • the timing diagram which shows the timing which the time code transfer part by the 2nd Embodiment transfers a time code and the like. Timing diagram when the event detection signal and the auto zero signal are output asynchronously.
  • the block diagram which shows the schematic structure of the image pickup system which includes an arbiter part.
  • the block diagram which shows the schematic configuration example of the vehicle control system which is an example of the mobile body control system to which the technique which concerns on this disclosure can be applied.
  • FIG. 1 is a block diagram showing a schematic configuration of an image pickup system 2 provided with an image pickup apparatus 1 according to the first embodiment.
  • the image pickup system 2 shown in FIG. 1 includes an image pickup lens 3, an image pickup device 1, a recording unit 4, a control unit 5, and an information processing unit 6.
  • the image pickup system 2 can be applied to a camera system mounted on an industrial robot, an in-vehicle camera system, and the like.
  • the image pickup lens 3 captures incident light from a subject and forms an image on the image pickup surface of the image pickup apparatus 1.
  • the image pickup apparatus 1 obtains image pickup data by photoelectrically converting the incident light captured by the image pickup lens 3 on a pixel-by-pixel basis. As will be described later, at least a part of the image pickup apparatus 1 can be realized by a semiconductor apparatus.
  • the image pickup apparatus 1 may perform predetermined signal processing on the captured image data, and may describe the processing result and an address event detection signal (hereinafter, "detection signal” or “event detection signal”) described later.
  • the data related to (there is)) is recorded in the recording unit 4.
  • the method of generating the event detection signal will be described later.
  • the control unit 5 has, for example, a microcomputer (CPU: Central Processing Unit) and controls the image pickup operation in the image pickup apparatus 1.
  • the information processing unit 6 performs various information processing based on the event detection signal output from the image pickup apparatus 1.
  • the information processing unit 6 may be integrated inside the image pickup apparatus 1.
  • FIG. 2 is a block diagram showing a schematic configuration of the image pickup apparatus 1 according to the first embodiment.
  • the image pickup device 1 is formed on a semiconductor substrate 11, and includes a pixel array unit 12, a time code transfer unit 13, a pixel drive circuit 14, a DAC (Digital Analog Converter) 15, a time code generator 16, and the like. It includes a vertical drive circuit 17, a signal processing unit 18, and a controller 20.
  • a pixel array unit 12 includes a pixel array unit 12, a time code transfer unit 13, a pixel drive circuit 14, a DAC (Digital Analog Converter) 15, a time code generator 16, and the like. It includes a vertical drive circuit 17, a signal processing unit 18, and a controller 20.
  • DAC Digital Analog Converter
  • the semiconductor substrate 11 is, for example, a substrate formed of silicon (Si), and the semiconductor substrate 11 is formed with a pixel array portion 12 in which a plurality of pixels 21 are arranged in a two-dimensional array.
  • the set of pixels 21 arranged in the horizontal direction X of the pixel array unit 12 is referred to as a “row”, and the set of pixels 21 arranged in the direction Y perpendicular to the row is referred to as a “column”.
  • Each of the plurality of pixels 21 arranged in a two-dimensional array generates a charge signal (analog pixel signal) according to the amount of light received by the light receiving element (hereinafter, also referred to as a photodiode) 22 in the pixel 21. Then, this analog pixel signal is converted into a digital pixel signal and output.
  • a charge signal analog pixel signal
  • this analog pixel signal is converted into a digital pixel signal and output.
  • AD conversion may be performed for each column.
  • the time code generator 16 generates a time code that changes at a predetermined cycle.
  • the time code generator 16 generates a time code regardless of the timing at which each pixel 21 takes an image or the timing at which an event is detected.
  • the time code is used to specify the pixel 21 that outputs the event detection signal and the auto-zero signal described later.
  • the time code generator 16 supplies the generated time code to the time code transfer unit 13.
  • a plurality of time code generators 16 and a plurality of time code transfer units 13 are provided along the horizontal (column) direction X of the pixel array unit 12.
  • the time code generated by the time code generator 16 is transferred by the corresponding time code transfer unit 13. If the number of pixels in the horizontal direction X of the pixel array unit 12 is not so large, only one time code generator 16 and one time code transfer unit 13 may be provided.
  • the time code transfer unit 13 transfers the time code generated by the time code generator 16 to the signal processing unit 18, and also transfers the time code corresponding to the pixel 21 that outputs the auto-zero signal to the pixel 21 that outputs the event detection signal.
  • the corresponding time code is transferred to the signal processing unit 18.
  • each time code transfer unit 13 corresponds to a time code and an event detection signal corresponding to an auto-zero signal for a plurality of pixels 21 around the time code transfer unit 13. Transfer with the time code.
  • the internal configuration of the time code transfer unit 13 will be described later.
  • the pixel drive circuit 14 drives a pixel circuit and an ADC, which will be described later, provided in the pixel 21.
  • the DAC generates a reference signal (reference voltage signal) REF, which is a slope signal whose level (voltage) monotonically decreases with the passage of time, and supplies it to each pixel 21.
  • REF reference signal
  • the reference signal is used for converting an analog pixel signal into a digital pixel signal at each pixel 21.
  • the vertical drive circuit 17 drives any of a plurality of pixel rows arranged along the vertical direction Y of the pixel array unit 12.
  • the event detection signal and the auto-zero signal of each pixel 21 belonging to the pixel row driven by the vertical drive circuit 17 are sent to the corresponding time code transfer unit 13.
  • the signal processing unit 18 responds to the time code from the time code generator 16 transferred from the plurality of time code transfer units 13, the time code corresponding to the event detection signal of each pixel 21, and the auto-zero signal of each pixel 21. Receive the time code. The signal processing unit 18 performs predetermined signal processing based on these time codes.
  • the signal processing unit 18 may have a storage unit that stores each time code transferred from the plurality of time code transfer units 13.
  • the controller 20 controls each part in the image pickup apparatus 1.
  • the controller 20 has a timing generation circuit 20a.
  • the timing generation circuit 20a supplies signals indicating the operation timing of each part in the image pickup apparatus 1 to each part.
  • FIG. 3 is a block diagram showing a detailed configuration of each pixel 21 in the pixel array unit 12. As shown in FIG. 3, each pixel 21 has a light receiving unit 32, a pixel circuit 33, an analog-to-digital converter (hereinafter referred to as ADC or pixel ADC) 34, and an address event detection unit 35.
  • ADC analog-to-digital converter
  • the light receiving unit 32 generates an analog pixel signal according to the amount of light received.
  • the light receiving unit 32 is composed of, for example, a photodiode 22.
  • the pixel circuit 33 generates a reset level analog pixel signal and a luminance signal level analog pixel signal according to the exposure amount.
  • the reset level is the voltage when the FD (Floating Diffusion) is initialized after the start of exposure.
  • the luminance signal level is a voltage corresponding to the exposure amount at the end of exposure.
  • the pixel circuit 33 supplies the reset level analog pixel signal and the luminance signal level analog pixel signal to the ADC 34 in order.
  • the ADC 34 converts the analog pixel signal of the reset level and the luminance signal level into a digital pixel signal.
  • the digital pixel signal obtained by AD-converting the reset level analog pixel signal is referred to as P-phase data
  • the digital pixel signal obtained by AD-converting the brightness signal level analog pixel signal is referred to as D-phase data.
  • the ADC 34 has a differential input circuit 41, a voltage conversion circuit 42, a positive feedback circuit 43, and a data storage unit 44.
  • the differential input circuit 41 compares the reference signal REF generated by the DAC 15 shown in FIG. 2 with the analog pixel signal (reset level or luminance signal level) from the pixel circuit 33, and converts the signal showing the comparison result into a voltage. Supply to the circuit 42.
  • the voltage conversion circuit 42 converts the voltage level of the signal indicating the comparison result of the differential input circuit 41 and supplies it to the positive feedback circuit 43.
  • the positive feedback circuit 43 generates a signal VCO corresponding to the output signal of the voltage conversion circuit 42, and positively feedbacks to the voltage conversion circuit 42.
  • the data storage unit 44 stores a digital pixel signal corresponding to the signal VCO.
  • a time code output from the time code generator 16 and transferred by the time code transfer unit 13 is input to the data storage unit 44. Further, the signal WORD input to the data storage unit 44 becomes, for example, a high level at the time of the pixel 21 to be read.
  • the data storage unit 44 holds a time code when the logic of the output signal VCO of the positive feedback circuit 43 is inverted.
  • FIG. 4 is a circuit diagram showing an example of the detailed configuration of the pixel circuit 33, the differential input circuit 41 in the ADC 34, the voltage conversion circuit 42, and the positive feedback circuit 43.
  • the pixel circuit 33 includes an emission transistor Q1, a transfer transistor Q2, a gain control transistor Q3, a reset transistor Q4, a floating diffusion (hereinafter referred to as FD) 36, and a capacitor C1.
  • Each of the transistors Q1 to Q4 in the pixel circuit 33 is, for example, an NaCl transistor.
  • the discharge transistor Q1 discharges the electric charge accumulated in the photodiode 22 at the start of exposure based on the drive signal OFG from the pixel drive circuit 14.
  • the transfer transistor Q2 transfers charges from the photodiode 22 to the FD 36 at the end of exposure based on the transfer signal TX from the pixel drive circuit 14.
  • the FD 36 stores the transferred electric charge and generates a voltage according to the amount of the stored electric charge.
  • the reset transistor Q4 initializes the FD 36 based on the reset signal RST from the pixel drive circuit 14.
  • the gain control transistor Q3 controls the analog gain with respect to the voltage of the FD 36 based on the control signal FDG from the pixel drive circuit 14. By reducing the voltage of the FD 36 by the analog gain and outputting it, the saturation signal amount of the pixel 21 can be expanded.
  • the gain control transistor Q3 and the reset transistor Q4 are connected in series, and one end of the capacitor C1 is connected to the connection node.
  • the differential input circuit 41 outputs a signal corresponding to the voltage difference between the voltage corresponding to the charge photoelectrically converted by the photodiode 22 and the reference voltage REF.
  • the differential input circuit 41 has an Now Princess transistor pair Q5 and Q6, an NaCl transistor Q7, a polyclonal transistor pair Q8 and Q9 constituting a current mirror circuit, and a polyclonal transistor Q10.
  • the reference signal REF is input to the gate of the transistor Q5, and the voltage signal of the FD 36 is input to the gate of the transistor Q6.
  • Transistor Q7 is connected between the source of transistors Q5 and Q6 and the grounded node.
  • a bias voltage Vb is input to the gate of the transistor Q7.
  • the transistor pairs Q8 and Q9 are connected between the power supply voltage node VDDH and the drains of the transistor pairs Q5 and Q6.
  • the gate of the transistor Q10 is connected to the drain of the transistors Q6 and Q9.
  • the voltage conversion circuit 42 has an nanotube transistor Q11.
  • a power supply voltage VDDL is input to the gate of the transistor Q11, and the drain of the transistor Q11 is connected to the drain of the transistor Q10.
  • the voltage conversion circuit 42 converts the output voltage of the differential input circuit 41 to a lower voltage level.
  • the positive feedback circuit 43 has polyclonal transistors Q12 to Q15 and IGMP transistors Q16 to Q18.
  • the source of the transistor Q11 is connected to the drain of the transistor Q16, and the source of the transistor Q16 is grounded.
  • the signal INI from the pixel drive circuit 14 is input to the gate of the transistor Q16.
  • Each gate of the transistors Q14 and Q17 is connected to the source of the transistor Q11.
  • the signal TESTVCO from the pixel drive circuit 14 is input to each gate of the transistors Q15 and Q18.
  • a signal VCO is output from the drain of the transistor Q17.
  • the signal INI2 from the pixel drive circuit 14 is input to the gate of the transistor Q12.
  • FIG. 5 is a block diagram showing the internal configuration of the address event detection unit 35 of FIG. As shown in FIG. 5, the address event detection unit 35 includes a voltage comparison unit 37 and an initialization control unit 38.
  • the voltage comparison unit 37 compares an analog differential signal according to the amount of change in incident light with a predetermined voltage (upper limit voltage or lower limit voltage) indicating a boundary of a predetermined voltage range, and an event detection signal showing the comparison result. Outputs COMP + and COMP-.
  • the initialization control unit 38 supplies the auto-zero signal XAZ to the voltage comparison unit 37 each time the comparison result COMP is output, and controls the differential signal to the initial value.
  • the signals AZ and XAZ whose logics are mutually inverted are collectively referred to as an auto-zero signal.
  • FIG. 6 is a circuit diagram showing an example of the voltage comparison unit 37.
  • the voltage comparison unit 37 includes a logarithmic response unit 45, a buffer 46, a differentiating circuit 47, and a comparator 48.
  • the current-voltage conversion unit 49 in the logarithmic response unit 45 generates a pixel voltage Vp obtained by logarithmically converting the electric charge (photocurrent) generated by the photodiode 22.
  • the current-voltage conversion unit 49 includes an NaCl transistor Q21 and Q22, a capacitor C2, and a polyclonal transistor Q23.
  • the source of the transistor Q21 is connected to the cathode of the photodiode 22, and the drain is connected to the power supply voltage node.
  • the transistor Q22 and the transistor Q23 are connected in series between the power supply voltage node and a predetermined reference potential (ground potential, etc.) node. Further, the connection nodes of the transistor Q22 and the transistor Q23 are connected to the gate of the transistor Q21 and the input node of the buffer 46. The connection node between the drain of the transistor Q21 and the cathode of the photodiode 22 is connected to the gate of the transistor Q23.
  • a predetermined bias voltage Vblog is applied to the gate of the transistor Q22.
  • the capacitor C2 is connected between the gate of the transistor Q21 and the gate of the transistor Q23.
  • a semiconductor chip in which the photodiode 22 is arranged and a semiconductor chip in which the circuit on the rear stage side of the photodiode 22 is arranged may be laminated.
  • the semiconductor chip in which the photodiode 22, the transistors Q21 to Q23, and the capacitor C2 are arranged may be laminated with the semiconductor chip in which the circuit on the subsequent stage side is arranged.
  • the circuit components arranged on the same or different semiconductor chips are arbitrary.
  • the buffer 46 outputs the input pixel voltage to the differentiating circuit 47. With this buffer 46, the driving force for driving the subsequent stage can be improved. Further, the buffer 46 can secure the isolation of noise accompanying the switching operation in the subsequent stage.
  • the buffer 46 includes a transistor Q24 and a transistor Q25.
  • transistors for example, MOS transistors are used.
  • the transistor Q24 and the transistor Q25 are connected in series between the power supply voltage node and the terminal of the reference potential. Further, the gate of the transistor Q25 is connected to the logarithmic response unit 45, and the connection node of the transistor Q24 and the transistor Q25 is connected to the differentiating circuit 47. A predetermined bias voltage Vbsf is applied to the gate of the transistor Q24.
  • the differentiating circuit 47 obtains the amount of change in the pixel voltage Vp by a differentiating operation.
  • the amount of change in the pixel voltage Vp indicates the amount of change in the amount of light.
  • the differentiating circuit 47 supplies the differentiating signal Vout indicating the amount of change in the amount of light to the comparator 48.
  • the differentiating circuit 47 includes capacitors C3 and C4, a transistor Q26 and a transistor Q27, and a transistor Q28.
  • the transistor Q27 and the transistor Q28 are connected in series between the power supply voltage node and the reference potential node.
  • a predetermined bias voltage Vbdiff is input to the gate of the transistor Q28.
  • These transistors Q27 and Q28 function as an inverting circuit in which the gate of the transistor Q27 is the input node n1 and the connection node of the transistor Q27 and the transistor Q28 is the output node n2.
  • the capacitor C3 is inserted between the buffer 46 and the gate of the transistor Q27.
  • the capacitor C3 supplies a current corresponding to the time derivative (in other words, the amount of change) of the pixel voltage Vp from the buffer 46 to the gate of the transistor Q27.
  • the capacitor C4 is inserted between the gate of the transistor Q27 and the output node n2.
  • the transistor Q26 opens and closes the path between the input node n1 and the output node n2 according to the auto-zero signal XAZ from the initialization control unit 38.
  • the initialization control unit 38 changes the auto-zero signal XAZ from high level to low level every time the count value is counted, and instructs initialization. Then, the transistor Q26 shifts to the on state according to the auto-zero signal XAZ, and sets the differential signal Vout to the initial value.
  • the comparator 48 compares the differential signal Vout with a predetermined voltage (upper limit voltage or lower limit voltage) indicating the boundary of a certain voltage range.
  • the comparator 48 includes a transistor Q29 and a transistor Q31, and a transistor Q30 and a transistor Q32. As these transistors, for example, MOS transistors are used.
  • the transistor Q29 and the transistor Q30 are connected in series between the power supply voltage node and the reference voltage node, and the transistor Q31 and the transistor Q32 are also connected in series between the power supply voltage node and the reference voltage node. .. Further, the gates of the transistor Q29 and the transistor Q31 are connected to the differentiating circuit 47. An upper limit voltage Vhigh is applied to the gate of the transistor Q30, and a lower limit voltage Vlow is applied to the gate of the transistor Q32.
  • the voltage of the connection node of the transistor Q29 and the transistor Q30 is output as COMP + as a result of comparison with the upper limit voltage.
  • the voltage of the connection node of the transistor Q31 and the transistor Q32 is output as COMP- as a result of comparison with the lower limit voltage.
  • the comparator 48 outputs a high-level comparison result COMP + when the differential signal Vout is higher than the upper limit voltage Vhigh, and outputs a low-level comparison result COMP- when the differential signal Vout is lower than the lower limit voltage Vlow.
  • the event detection signal COMP is a signal consisting of these comparison results COMP + and COMP-.
  • the comparator 48 compares both the upper limit voltage and the lower limit voltage with the differential signal Vout, only one of them may be compared with the differential signal Vout. This makes it possible to simplify the internal configuration of the comparator 48. For example, when comparing only with the upper limit voltage, only the transistor Q29 and the transistor Q30 are required, and the transistors Q31 and Q32 can be omitted.
  • FIG. 7 is a circuit diagram showing a configuration example of the initialization control unit 38.
  • the initialization control unit 38 includes delay units 51 and 52, and XOR (exclusive OR) gates 53 and 54.
  • the delay unit 51 delays the comparison result COMP + from the comparator 48.
  • the delay unit 51 supplies the delayed signal to the XOR gate 53.
  • the delay unit 52 delays the comparison result COMP-from the comparator 48.
  • the delay unit 51 supplies the delayed signal to the XOR gate 54.
  • the XOR gate 53 generates an exclusive OR of the comparison result COMP + before and after the delay.
  • the XOR gate 54 generates an exclusive OR of the comparison result COMP- before and after the delay.
  • FIG. 2 Structure of time code transfer unit 13
  • a plurality of time code transfer units 13 are provided, for example, in the horizontal direction of the pixel array unit 12.
  • a time code generator 16 is connected to one end side of the time code transfer unit 13, and a signal processing unit 18 is connected to the other end side.
  • the time code transfer unit 13 has a plurality of clusters connected in series, as will be described later. Each cluster holds a time code or the like of a predetermined pixel 21 column for a plurality of rows. Further, each cluster sequentially transfers the time code from the time code generator 16.
  • each cluster in the time code transfer unit 13 corresponds to the time code from the time code generator 16, the time code corresponding to the pixel 21 that outputs the auto-zero signal, and the pixel 21 that outputs the event detection signal. It is transferred sequentially in association with the time code to be used. Further, each cluster in the time code transfer unit 13 transfers specific data to the pixel 21 for which the event detection signal and the auto-zero signal are not output.
  • FIG. 8 is a block diagram showing an internal configuration of the cluster 61 in the time code transfer unit 13 according to the first embodiment.
  • each cluster 61 in the time code transfer unit 13 has a data holding unit 62 and a repeater 63.
  • the data holding unit 62 holds the time code corresponding to the pixel 21 that outputs the auto-zero signal, and holds the time code corresponding to the pixel 21 that outputs the event detection signal.
  • One data holding unit 62 can hold the time codes of the event detection signal and the auto-zero signal for a plurality of pixels in order for each pixel.
  • the data holding unit 62 holds specific data (for example, zero) for the pixel 21 for which the event detection signal or the auto zero signal is not output.
  • the data holding unit 62 holds the time stamp only for the pixel 21 to which the event detection signal or the auto zero signal is output, and the other pixels 21 hold the specific data.
  • the time code transfer unit 13 transfers the time code or specific data for all the pixels in the order of the pixels, and the signal processing unit 18 that receives the data from the time code transfer unit 13 transfers which pixel. It can be easily identified whether the 21 outputs an event detection signal or an auto-zero signal.
  • the data holding unit 62 holds not only the time code corresponding to the pixel 21 that outputs the event detection signal but also the polarity information indicating whether the luminance signal tends to increase or decrease. You may. Further, the data holding unit 62 may also hold the address information of the pixel 21 that outputs the event detection signal.
  • the time code transfer unit 13 has a plurality of stages of serially connected clusters 61.
  • the cluster 61 in the first stage holds the time code output from the time code generator 16, and also holds the time code corresponding to the auto-zero signal held in the corresponding data holding unit 62 and the time code corresponding to the event detection signal. Hold.
  • the cluster 61 in the second and subsequent stages transfers the time code sequentially transferred from the time code generator 16 held in the cluster 61 in the previous stage to the cluster 61 in the next stage, and is held in the corresponding data holding unit 62.
  • the time code corresponding to the auto-zero signal and the time code corresponding to the event detection signal are transferred to the cluster 61 in the next stage, and the retained data of the cluster 61 in the previous stage is transferred to the cluster 61 in the next stage.
  • FIG. 9 is a block diagram that more embodies the internal configurations of the data holding unit 62 and the repeater 63 in each cluster 61 of FIG.
  • each data holding unit 62 holds a first data holding unit (first holding circuit) 64 that holds a time code corresponding to an auto-zero signal, and a first data holding unit 62 that holds a time code corresponding to an event detection signal.
  • It has two data holding units (second holding circuit) 65.
  • the first data holding unit 64 and the second data holding unit 65 can each hold a time code for, for example, 128 pixels (32 pixels in the horizontal direction ⁇ 4 pixels in the vertical direction). The number of pixels to be retained is arbitrary.
  • the first data holding unit 64 and the second data holding unit 65 hold specific data (for example, zero) for the pixel 21 for which the event detection signal or the auto zero signal is not output.
  • each repeater 63 has a bidirectional buffer 66 and a D-type flip-flop (hereinafter referred to as DF / F) 67.
  • the DF / F67 holds the data transferred from the repeater 63 in the previous stage at the rising timing of the clock signal AD-CLK.
  • the data held by the DF / F67 includes the time code from the time code generator 16. This time code is input to the first data holding unit 64 and the second data holding unit 65 via the bidirectional buffer 66.
  • the first data holding unit 64 holds the time code in synchronization with the clock signal AD-CLK when the event detection signal is input. For the pixel 21 to which the event detection signal is not input, specific data is retained in synchronization with the clock signal AD-CLK.
  • the second data holding unit 65 holds the time code in synchronization with the clock signal AD-CLK when the auto zero signal is input.
  • the data holding unit 62 of FIG. 9 holds, for example, 15 bits of time code data.
  • the repeater 63 also transfers, for example, 15-bit time code data in order.
  • FIG. 10 is a block diagram showing an example of the internal configuration of the time code generator 16.
  • the time code generator 16 of FIG. 10 has a binary counter 68 and a binary gray converter 69.
  • the binary counter 68 is a counter that counts binary numbers, and has a configuration in which a plurality of divisors are connected in series.
  • the divisor is configured by feeding back the xQ output of DF / F68a to the D input.
  • the period of the output signal of each divisor is different by a power of two.
  • the binary gray converter 69 converts the binary count value from the binary counter 68 into a Gray code.
  • the Gray code is such that only one bit changes between adjacent codes, and power consumption can be reduced by minimizing the number of changes in the bits between the codes.
  • the time code output from the time code generator 16 does not necessarily have to be a Gray code.
  • the output value of the binary counter 68 in FIG. 10 may be used as it is as a time code.
  • the binary gray converter 69 can be omitted, but the power consumption at the time of time code transfer increases even when the gray code is used.
  • FIG. 11 is a timing diagram showing the timing at which the time code transfer unit 13 according to the first embodiment transfers the time code and the like.
  • the upper two timing diagrams of FIG. 11 show the vertical synchronization signal XVS of the pixel array unit 12 and the operation period of the image pickup apparatus 1 in each frame. Further, the lower four timing diagrams of FIG. 11 show the clock signal AD-CLK within one frame period, the time code from the time code generator 16 transferred by the repeater 63, the generation timing of the auto zero signal AZ, and the event. It indicates the generation timing of the detection signal.
  • FIG. 11 shows an example in which an auto-zero signal is output at time t2 and an event detection signal is output at time t21 between times t2 and t3.
  • each cluster 61 in the time code transfer unit 13 transfers the time code from the time code generator 16 in order. Further, the first data holding unit 64 in the data holding unit 62 holds the time code corresponding to the pixel 21 that outputs the auto-zero signal at the time t2. Similarly, the second data holding unit 65 holds the time code corresponding to the pixel 21 that outputs the event detection signal at the time t21.
  • the cluster 61 in the time code transfer unit 13 transfers the corresponding time code for the pixel 21 that outputs the ode zero signal and the pixel 21 that outputs the event detection signal, and the other pixels transfer the corresponding time code. Transfer specific data.
  • the pixels 21 in the pixel array unit 12 are scanned to detect the pixel 21 that outputs the auto-zero signal or the event detection signal, and the auto-zero signal or the event detection signal is transmitted.
  • the time code corresponding to the output pixel 21 is held by the first data holding unit 64 or the second data holding unit 65.
  • the auto-zero signal and the event detection signal output from any pixel 21 in the pixel array unit 12 are input to the corresponding data holding units 62 shown in FIGS. 8 and 9.
  • the first data holding unit 64 in the data holding unit 62 holds the time code corresponding to the pixel 21 that outputs the auto-zero signal
  • the second data holding unit 65 holds the time corresponding to the pixel 21 that outputs the event detection signal. Hold the code.
  • the time code is held in synchronization with the clock signal AD-CLK.
  • This clock signal AD-CLK is a signal used by the time code generator 16 to update the time code.
  • FIG. 11 shows an example of holding a time code corresponding to an auto-zero signal at time t2.
  • all the pixels 21 output the auto-zero signal at the same timing for each frame, but since the time until the time code from the time data generator is transferred to the plurality of data holding units 62 is different, each of them.
  • the data holding unit 62 holds the time code corresponding to the auto-zero signal at different timings. In this way, since the time code is sequentially transferred between the clusters 61, each data holding unit 62 holds the time code corresponding to the auto-zero signal at different timings. As a result, the value of the time code corresponding to the auto-zero signal becomes a different value for each data holding unit 62.
  • an event detection signal is output at time t21 between times t2 and t3, and the time code corresponding to the event detection signal is held by the first data holding unit 64 in synchronization with the clock signal AD-CLK.
  • the data holding unit 62 holds the time code corresponding to the pixel 21 that outputs the auto-zero signal and the time code corresponding to the pixel 21 that outputs the event detection signal.
  • These time codes are transmitted to the signal processing unit 18 via the time code transfer unit 13.
  • the signal processing unit 18 takes the difference between the time code corresponding to the pixel 21 that outputs the event detection signal and the time code corresponding to the pixel 21 that outputs the auto-zero signal, so that which pixel 21 the event occurred in. Can be identified.
  • the time code transfer unit 13 transfers specific data (for example, zero) in synchronization with the clock signal AD-CLK for the pixel 21 in which the event did not occur, instead of transferring the time code.
  • the signal processing unit 18 extracts the time code contained in the specific data and counts the number of the specific data between the time codes to more accurately determine which pixel 21 the event occurred in. Can be detected.
  • the image pickup apparatus 1 can be configured by, for example, a plurality of stacked semiconductor chips (hereinafter referred to as laminated chips) 70.
  • FIG. 12A is a schematic perspective view showing a first example of the laminated chip 70.
  • FIG. 12A includes a first semiconductor chip 71 and a second semiconductor chip 72 laminated below the first semiconductor chip 71.
  • On the first semiconductor chip 71 for example, a plurality of pixels 21 in the pixel array unit 12 are arranged.
  • a portion that receives light and performs photoelectric conversion is arranged at least on the first semiconductor chip 71.
  • a data holding unit 62, a time code generator 16, a time code transfer unit 13, a signal processing unit 18, and the like are arranged on the second semiconductor chip 72.
  • the first semiconductor chip 71 and the second semiconductor chip 72 transmit signals to each other via a connection portion such as a via (VIA), a Cu-Cu junction, or a bump.
  • VIP via
  • Cu-Cu junction a Cu-Cu junction
  • bump a bump
  • FIG. 12B is a schematic perspective view showing a second example of the laminated chip 70.
  • the laminated chip 70 of FIG. 12B includes a first semiconductor chip 71, a second semiconductor chip 72 laminated below the first semiconductor chip 71, and a third semiconductor chip 73 laminated below the second semiconductor chip 72. It is equipped with.
  • the first semiconductor chip 71 of FIG. 12B for example, a plurality of pixels 21 in the pixel array unit 12 are arranged.
  • the second semiconductor chip 72 is provided with a time code generator 16, a time code transfer unit 13, a signal processing unit 18, and the like.
  • a semiconductor memory such as a data holding unit 62 is mainly arranged.
  • FIGS. 12A and 12B only show representative examples of the laminated chip 70, and various modifications can be considered. Further, what kind of circuit is arranged on the first semiconductor chip 71 and the second semiconductor chip 72 of FIGS. 12A and 12B and the third semiconductor chip 73 of FIG. 12B is arbitrary, and various modifications can be considered. Will be. Further, four or more laminated chips 70 may be configured, or at least one layer in the laminated chip 70 may be formed by a plurality of layers divided in the same layer.
  • the time code corresponding to the auto-zero signal output from the arbitrary pixel 21 in the pixel array unit 12 and the event are used by using the plurality of clusters 61 in the time code transfer unit 13. Since the time code corresponding to the detection signal is transferred, the signal processing unit 18 can easily and quickly detect when the event occurred in which pixel 21 in the pixel array unit 12.
  • the time code transfer unit 13 is used to transfer the time code according to the luminance value when performing AD conversion for each pixel 21.
  • the time code transfer unit 13 provided for AD conversion for each pixel 21 can be diverted to transfer the time code corresponding to the auto-zero signal and the time code corresponding to the event detection signal. Therefore, the event can be detected without complicating the internal configuration of the image pickup apparatus 1.
  • the timing at which the plurality of data holding units 62 arranged along the transfer direction of the time code hold the time code is different. Therefore, the time code corresponding to the pixel 21 that outputs the auto zero is held, and the time code is held for each data holding unit 62 by taking the difference from the time code corresponding to the pixel 21 that outputs the event detection signal. The problem of timing shift can be solved.
  • FIG. 13 is a block diagram showing an internal configuration of the cluster 61 in the time code transfer unit 13 according to the second embodiment.
  • the time code transfer unit 13 of FIG. 13 has a plurality of stages of the first repeater 81 and a plurality of stages of the second repeater 82.
  • the time code from the time code generator 16 is input to the first repeater 81 of the first stage.
  • the first repeater 81 in the final stage and the second repeater 82 in the final stage are connected to the signal processing unit 18.
  • Each of the plurality of stages of the first repeater 81 is associated with one of the plurality of stages of the second repeater 82. More specifically, each of the plurality of stages of the first repeater 81 transfers the time code to the corresponding second repeater 82.
  • the first repeater 81 having a plurality of stages sequentially transfers the time code from the time code generator 16 and transmits it to the signal processing unit 18, while corresponding to the auto-zero signal received from the data holding unit 62.
  • the time code and the time code corresponding to the event detection signal are transferred to the corresponding second repeater 82.
  • the multi-stage second repeater 82 sequentially transfers the time code corresponding to the auto-zero signal transferred from the multi-stage first repeater 81 and the time code corresponding to the event detection signal, and transmits the time code to the signal processing unit 18.
  • FIG. 14 is a timing diagram showing the timing at which the time code transfer unit 13 according to the second embodiment transfers the time code and the like.
  • all the pixels 21 in the pixel array unit 12 output an auto-zero signal to hold the time code in the first data holding unit 64 (time t2 to t3), and then event detection is performed for all the pixels 21. Is performed, and the time code corresponding to the pixel 21 that outputs the event detection signal is held in the second data holding unit 65 (aging t3 to t4).
  • the above operation is performed during one frame period from time t1 to t4.
  • the time code held in the first data holding unit 64 and the time code held in the second data holding unit 65 are changed from the first repeater 81 to the second repeater 82 between the times t4 and t5. Is transferred between the plurality of second repeaters 82 at times t5 to t7, and is read out by the signal processing unit 18. Further, at times t5 to t6, all the pixels 21 in the pixel array unit 12 output an auto-zero signal again to hold the time code in the first data holding unit 64, and then perform event detection processing to detect the event. The time code corresponding to the pixel 21 that outputs the signal is held in the second data holding unit 65 (time t6 to t8).
  • one frame may be applied to output the auto-zero signal and event detection, and the transfer process to the signal processing unit 18 is performed in the next frame.
  • Each process can be performed with a margin in time. That is, in the second embodiment, in addition to the plurality of first repeaters 81 that transfer the time code from the time code generator 16, the plurality of second repeaters that transfer the time code corresponding to the auto zero signal and the event detection signal. Since the 82 is provided, the time in the dead zone where the event cannot be detected can be shortened.
  • each pixel 21 in the pixel array unit 12 does not necessarily have to output an auto-zero signal at the same timing, and for the pixel 21 in which an event has occurred, an auto-zero signal is output when the event detection signal is held by the data holding unit 62. Event detection may be started when the auto-zero signal is held by the data holding unit 62. In this case, each pixel 21 in the pixel array unit 12 asynchronously outputs an event detection signal and an auto-zero signal.
  • FIG. 15 is a timing diagram when the event detection signal and the auto zero signal are output asynchronously.
  • the auto zero signal is output, and when the time code corresponding to the auto zero signal is held by the data holding unit 62, the event detection is started.
  • the length of the event detection period varies depending on the event occurrence timing.
  • the time code corresponding to the event detection signal is held in the data holding unit 62, and then the first repeater 81 to the first repeater 81. 2 Until the transfer timing at which the time code is transferred to the repeater 82, there is a dead zone in which the event cannot be detected.
  • an arbiter unit 23 may be provided as shown in FIG.
  • the arbiter unit 23 arbitrates the request for event occurrence from each of the plurality of pixels 21, and transmits a response based on the arbitration result to the pixel 21.
  • the pixel 21 Upon receiving the response from the arbiter unit 23, the pixel 21 transmits the event detection signal to the corresponding data holding unit 62.
  • the first repeater 81 in a plurality of stages and the second repeater 82 in a plurality of stages are provided in the time code transfer unit 13, and the time code is generated in the first repeater 81 in the plurality of stages.
  • the time code from the device 16 is transferred, and the second repeater 82 in a plurality of stages transfers the time code corresponding to the auto-zero signal and the event detection signal.
  • the time code can be transferred in parallel with the auto-zero signal and the event detection signal, and the event can be detected at the same time, and the time in the dead zone where the event cannot be detected can be shortened.
  • the time code corresponding to the digital pixel 21 data AD-converted for each pixel 21 is transferred to the signal processing unit 18 by the time code transfer unit 13, and the time corresponding to the auto zero signal and the event detection signal.
  • the process of transferring the code to the signal processing unit 18 by the time code transfer unit 13 can be switched and performed.
  • FIG. 17 is a block diagram showing an internal configuration of the cluster 61 and its peripheral circuits in the time code transfer unit 13 according to the third embodiment.
  • the pixel 21 in FIG. 17 outputs the P-phase data and the D-phase data that have been AD-converted by the ADC 34 in the pixel 21.
  • the P-phase data is a digital pixel signal obtained by AD-converting the reset level of the analog pixel signal.
  • the D-phase data is a digital pixel signal obtained by AD-converting the luminance signal level photoelectrically converted by the photodiode 22.
  • the P-phase data and the D-phase data in this case are the output signal VCO of the positive feedback circuit 43 of FIG.
  • the data holding unit 62 is provided instead of the data storage unit 44 of FIG.
  • a first selector (MUX) 83 and a second selector (MUX) 84 are connected to each cluster 61.
  • the first selector 83 selects either the P-phase data or the auto-zero signal and supplies the data to the first data holding unit 64 in the data holding unit 62.
  • the second selector 84 selects either the D-phase data or the event detection signal and supplies the data to the second data holding unit 65 in the data holding unit 62.
  • the first selector 83 and the second selector 84 select P-phase data and D-phase data, respectively. It supplies data to the first data holding unit 64 and the second data holding unit 65.
  • the first data holding unit 64 holds the time code corresponding to the P phase data
  • the second data holding unit 65 holds the time code corresponding to the D phase data.
  • the first data holding unit 64 or the first data holding unit 64 or the second selector 84 selects an auto zero signal or an event detection signal. 2 Supply to the data holding unit 65.
  • the first data holding unit 64 holds the time code corresponding to the auto-zero signal
  • the second data holding unit 65 holds the time code corresponding to the event detection signal.
  • FIG. 18 is a timing diagram showing the timing at which the time code transfer unit 13 according to the third embodiment transfers the time code and the like.
  • times t1 to t6 are one frame period. Within one frame period, the time code corresponding to the auto-zero signal and the event detection signal is held and transferred, and the time code corresponding to the luminance signal of each pixel 21 is held and transferred. More specifically, at times t1 to t2, the data holding unit 62 holds the time code corresponding to the auto-zero signal. At times t2 to t3, the data holding unit 62 holds the time code corresponding to the event detection signal.
  • the time code corresponding to the auto-zero signal and the event detection signal held in the data holding unit 62 is transferred by the time code transfer unit 13, and exposure is performed by each pixel 21 in the pixel array unit 12. ..
  • the data holding unit 62 holds the time code corresponding to the P-phase data and the D-phase data of each pixel 21 in the pixel array unit 12.
  • the time code transfer unit 13 transfers the time code corresponding to the luminance signal of each pixel 21 held in the data holding unit 62.
  • the time code transfer unit 13 of FIG. 17 is provided with one repeater 63 in each cluster 61
  • the first repeater 81 and the second repeater 82 may be provided in each cluster 61 as in FIG.
  • the first repeater 81 of the plurality of stages transfers the time code from the time code generator 16
  • the second repeater 82 of the plurality of stages transfers the auto zero signal held by each data holding unit 62.
  • the corresponding time code, the time code corresponding to the event detection signal, and the time code corresponding to the brightness signal (P-phase data and D-phase data) are transferred.
  • FIG. 19 is a timing diagram when the first repeater 81 and the second repeater 82 are provided in each cluster 61.
  • Times t1 to t6 and times t6 to t12 are each one frame period.
  • the data holding unit 62 holds the time code corresponding to the auto-zero signal.
  • the data holding unit 62 holds the time code corresponding to the event detection signal.
  • each pixel 21 in the pixel array unit 12 starts exposure.
  • the time code transfer unit 13 transfers the time code corresponding to the auto-zero signal and the event detection signal held in the data holding unit 62.
  • the data holding unit 62 holds the time code corresponding to the P-phase data and the D-phase data of each pixel 21 in the pixel array unit 12.
  • the time code corresponding to the auto-zero signal and the event detection signal is held and transferred, as in the time t1 to t5.
  • the time code corresponding to the P-phase data and the D-phase data held in the data holding unit 62 is transferred by the time code transfer unit 13.
  • the time code transfer unit 13 can be effectively used. Further, by providing a plurality of types of clusters 61 groups in the time code transfer unit 13, the transfer efficiency can be improved.
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure is any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a distance measuring device mounted on the body.
  • FIG. 20 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 21 shows an example of the installation position of the image pickup unit 7410 and the vehicle outside information detection unit 7420.
  • the image pickup unit 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirror, rear bumper, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the image pickup units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 21 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging range of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 can be obtained.
  • the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield of the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle outside information detection unit 7400 receives detection information from the connected vehicle outside information detection unit 7420.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle outside information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of a passenger sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi).
  • GSM Global System of Mobile communications
  • WiMAX Wireless F
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-Fi wireless LAN
  • Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of IEEE802.11p in the lower layer and IEEE1609 in the upper layer. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is connected via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the technique according to the present disclosure includes, for example, an imaging unit 7910, 7912, 7914, 7916, 7918, an external information detection unit 7920, 7922, 7924, 7926, 7928, 7930, and a driver state detection. It can be applied to the part 7510 and the like. Specifically, the image pickup system 10 of FIG. 1 having the image pickup apparatus of the present disclosure can be applied to these image pickup units and detection units.
  • the influence of noise events such as sensor noise can be mitigated, and the occurrence of true events can be detected reliably and quickly, thus realizing safe vehicle driving. It becomes possible to do.
  • the present technology can have the following configurations.
  • (1) A plurality of pixels each having a plurality of photoelectric conversion elements for photoelectrically converting incident light to generate an electric signal.
  • a detection unit that outputs a detection signal when the absolute value of the change amount of the electric signal in the pixel exceeds a predetermined threshold value.
  • a signal processing unit that performs predetermined signal processing based on the detection signal output from the detection unit, and a signal processing unit.
  • An AZ output unit that outputs an auto-zero signal for initializing the detection unit, and an AZ output unit.
  • a time code generator that outputs a time code that changes in a predetermined cycle, When the auto-zero signal is output, the first holding circuit that holds the time code output from the time code generator and the first holding circuit.
  • a second holding circuit that holds the time code output from the time code generator when the detection signal is output
  • An image pickup apparatus including a transfer unit that associates the time code held by the first holding circuit with the time code held by the second holding circuit and transfers the time code to the signal processing unit.
  • the first holding circuit holds the time code corresponding to the auto-zero signal for each of the plurality of pixels.
  • the image pickup apparatus according to (1), wherein the second holding circuit holds the time code corresponding to the detection signal for the pixel that outputs the detection signal among the plurality of pixels.
  • the transfer unit associates the data for the plurality of pixels held by the first holding circuit with the data for the plurality of pixels held by the second holding circuit, and sequentially describes the data for each pixel.
  • the image pickup apparatus according to (3) which is transferred to a signal processing unit.
  • the period in which the time code corresponding to the auto-zero signal for the plurality of pixels is held in the first holding circuit and the time code corresponding to the detection signal for the plurality of pixels are held in the second holding circuit.
  • the period of holding in the circuit and the period of reading out the holding data of the first holding circuit and the second holding circuit for the plurality of pixels in order for each pixel and transferring them by the transfer unit are repeated in sequence (3).
  • the period for holding the time code corresponding to the auto-zero signal for the plurality of pixels in the first holding circuit and the plurality of pixels are sequentially read out for each pixel.
  • the transfer unit transfers the time code generated by the time code generator, and transfers the holding data of the first holding circuit and the holding data of the second holding circuit in order for each pixel.
  • Each of the plurality of stages of clusters transfers the time code generated by the time code generator to the next stage cluster or the signal processing unit, and at the same time, holds data of the first holding circuit and the second holding.
  • the image pickup apparatus according to any one of (1) to (6), which transfers the holding data of the circuit to the cluster of the next stage or the signal processing unit.
  • the cluster in the first stage holds the time code output from the time code generator, and holds the corresponding holding data of the first holding circuit and the holding data of the second holding circuit. Hold at the timing, The clusters in the second and subsequent stages transfer the time codes sequentially transferred from the time code generator held in the cluster in the previous stage to the cluster in the next stage or the signal processing unit, and the corresponding first stage.
  • the holding data of the holding circuit and the holding data of the second holding circuit are transferred to the next stage cluster or the signal processing unit, and the holding data of the previous stage cluster is transferred to the next stage cluster or the signal processing unit.
  • the transfer unit is A multi-stage first cluster that transfers the time code generated by the time code generator, and It has a plurality of stages of second clusters for transferring the holding data of the first holding circuit and the holding data of the second holding circuit. Each of the plurality of stages of the first cluster transfers the holding data of the corresponding first holding circuit and the holding data of the second holding circuit to the corresponding second cluster.
  • the signal processing unit receives the time code output from the first cluster in the final stage and also receives the data output from the second cluster in the final stage.
  • the image pickup apparatus according to item 1. (10)
  • the first cluster in the first stage holds the time code output from the time code generator, and holds the time code.
  • the second cluster in the first stage holds the holding data of the corresponding first holding circuit and the holding data of the second holding circuit.
  • the first cluster in the second and subsequent stages holds the time code sequentially transferred from the time code generator held in the first cluster in the previous stage.
  • the second cluster in the second and subsequent stages transfers the holding data of the corresponding first holding circuit and the holding data of the corresponding second holding circuit to the second cluster of the next stage or the signal processing unit.
  • the image pickup apparatus wherein the holding data of the second cluster in the previous stage is transferred to the second cluster or the signal processing unit in the next stage.
  • (11) During the first frame period for reading the data of the plurality of pixels, the period for holding the time code corresponding to the auto-zero signal for the plurality of pixels in the first holding circuit and the plurality of pixels. A period for holding the time code corresponding to the detection signal of the minute in the second holding circuit is provided.
  • Each of the plurality of second clusters holds data for the plurality of pixels held by the first holding circuit during the first frame cycle during the second frame cycle following the first frame cycle.
  • the image pickup apparatus according to (9) or (10), wherein the holding data for the plurality of pixels held by the second holding circuit is transferred to the second cluster in the next stage or the signal processing unit.
  • (12) The detection process of the detection signal is started for the plurality of pixels asynchronously with the frame period for reading the data of the plurality of pixels, and the detection signal corresponding to the detection signal for the pixel from which the detection signal is output is described. After holding the time code in the second holding circuit, the detection signal of the pixel is reset to output the auto-zero signal, and the holding data of the second holding circuit is transferred to the corresponding second cluster.
  • Each of the plurality of pixels has a first digital signal obtained by digitally converting the reset level of the electric signal generated by the plurality of photoelectric conversion elements and a second digital signal obtained by digitally converting the electric signal.
  • the first holding circuit holds the time code corresponding to the auto-zero signal or the first digital signal, and holds the time code.
  • the image pickup apparatus according to any one of (1) to (12), wherein the second holding circuit holds the time code corresponding to the detection signal or the second digital signal.
  • a second selector that selects either the detection signal or the second digital signal and supplies it to the second holding circuit is provided.
  • the first selector and the second selector when the first holding circuit holds the time code corresponding to the auto zero signal, the second holding circuit uses the time code corresponding to the detection signal.
  • the second holding circuit is interlocked so as to hold the time code corresponding to the second digital signal.
  • the imaging device according to (13), wherein the selection operation is performed.
  • the image pickup apparatus according to any one of (1) to (14), wherein the time code generator outputs the time code composed of a gray code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］簡易な構成で、高感度かつ高速にイベント情報を出力する。 ［解決手段］撮像装置は、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する複数の画素と、画素における電気信号の変化量の絶対値が所定の閾値を超えた場合に検出信号を出力する検出部と、検出部から出力された検出信号に基づいて、所定の信号処理を行う信号処理部と、検出部を初期化するためのオートゼロ信号を出力するＡＺ出力部と、所定周期で変化する時刻コードを出力する時刻コード発生器と、オートゼロ信号が出力されたときに、時刻コード発生器から出力された時刻コードを保持する第１保持回路と、検出信号が出力されたときに、時刻コード発生器から出力された時刻コードを保持する第２保持回路と、第１保持回路で保持された時刻コードと、第２保持回路で保持された時刻コードとを関連づけて信号処理部に転送する転送部と、を備える。

Description

撮像装置及び撮像方法
　本開示は、撮像装置及び撮像方法に関する。
　撮像シーンの中で何らかのイベントが発生したときだけ、当該イベントによって生じる輝度レベルの変化した部分のデータを取得する撮像装置が知られている（特許公報１参照）。この種の撮像装置は、ＥＶＳ（Event base Vision Sensor）と呼ばれることがある。
　また、イベントの情報だけでなく、輝度値も合わせて出力する撮像装置も知られている（特許公報２参照）。
特表２０１７－５３５９９９号公報 特表２０１６－５３３１４０号公報
　フリッカが生じる状況下では、複数の画素がほぼ同時にイベントを検出するため、検出されたイベントを処理するのに時間がかかってしまう。また、イベント情報と輝度値を合わせて出力する場合、輝度値を高速に読み出す必要があることから、暗時での光電変換性能が低下するおそれがある。
　画素ごとにアナログ－デジタル変換器を設けて、高速に輝度値を出力できるようにした撮像装置が知られている。しかしながら、この種の撮像装置で輝度値とイベント情報を関連づけて出力しようとすると、撮像装置の構成が複雑になるおそれがある。
　そこで、本開示では、簡易な構成で、高感度かつ高速にイベント情報を出力可能な撮像装置及び撮像方法を提供するものである。
　上記の課題を解決するために、本開示によれば、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する複数の画素と、
　前記画素における前記電気信号の変化量の絶対値が所定の閾値を超えた場合に検出信号を出力する検出部と、
　前記検出部から出力された前記検出信号に基づいて、所定の信号処理を行う信号処理部と、
　前記検出部を初期化するためのオートゼロ信号を出力するＡＺ出力部と、
　所定周期で変化する時刻コードを出力する時刻コード発生器と、
　前記オートゼロ信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを保持する第１保持回路と、
　前記検出信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを保持する第２保持回路と、
　前記第１保持回路で保持された前記時刻コードと、前記第２保持回路で保持された前記時刻コードとを関連づけて前記信号処理部に転送する転送部と、を備える、撮像装置が提供される。
　前記第１保持回路は、前記複数の画素のそれぞれについて、前記オートゼロ信号に対応する前記時刻コードを保持し、
　前記第２保持回路は、前記複数の画素のうち、前記検出信号を出力した画素について、前記検出信号に対応する前記時刻コードを保持してもよい。
　前記第２保持回路は、前記検出信号を出力しない画素については予め定めたデータを保持することにより、前記複数の画素分のデータを保持してもよい。
　前記転送部は、前記第１保持回路が保持する前記複数の画素分のデータと、前記第２保持回路が保持する前記複数の画素分のデータとを関連づけて、画素ごとに順に前記信号処理部に転送してもよい。
　前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間と、前記複数の画素分の前記第１保持回路及び前記第２保持回路の保持データを画素ごとに順に読み出して前記転送部で転送する期間とが順繰りに繰り返されてもよい。
　前記複数の画素のデータを読み出す１フレーム周期の間に、前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間と、前記複数の画素分の前記第１保持回路及び前記第２保持回路の保持データを画素ごとに順に読み出して前記転送部で転送する期間とが設けられてもよい。
　前記転送部は、前記時刻コード発生器で発生された前記時刻コードを転送するとともに、前記第１保持回路の保持データと、前記第２保持回路の保持データとを画素ごとに順に転送する、直列接続された複数段のクラスタを有し、
　前記複数段のクラスタのそれぞれは、前記時刻コード発生器で発生された前記時刻コードを次段のクラスタ又は前記信号処理部に転送するとともに、前記第１保持回路の保持データと、前記第２保持回路の保持データとを、次段のクラスタ又は前記信号処理部に転送してもよい。
　初段の前記クラスタは、前記時刻コード発生器から出力される前記時刻コードを保持するとともに、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを、同タイミングで保持し、
　二段目以降の前記クラスタは、前段のクラスタで保持された前記時刻コード発生器から順繰りに転送された前記時刻コードを次段のクラスタ又は前記信号処理部に転送するとともに、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを次段のクラスタ又は前記信号処理部に転送し、かつ前段のクラスタの保持データを次段のクラスタ又は前記信号処理部に転送してもよい。
　前記転送部は、
　前記時刻コード発生器で発生された前記時刻コードを転送する複数段の第１クラスタと、
　前記第１保持回路の保持データと、前記第２保持回路の保持データとを転送する複数段の第２クラスタと、を有し、
　前記複数段の第１クラスタのそれぞれは、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを、対応する前記第２クラスタに転送し、
　前記信号処理部は、最終段の前記第１クラスタから出力された前記時刻コードを受信するとともに、最終段の前記第２クラスタから出力されたデータを受信してもよい。
　初段の前記第１クラスタは、前記時刻コード発生器から出力される前記時刻コードを保持し、
　初段の前記第２クラスタは、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを保持し、
　二段目以降の前記第１クラスタは、前段の第１クラスタで保持された前記時刻コード発生器から順繰りに転送された前記時刻コードを保持し、
　二段目以降の前記第２クラスタは、対応する前記第１保持回路の保持データと、対応する前記第２保持回路の保持データとを次段の前記第２クラスタ又は前記信号処理部に転送するとともに、前段の第２クラスタの保持データを次段の前記第２クラスタ又は前記信号処理部に転送してもよい。
　前記複数の画素のデータを読み出す第１フレーム周期の間に、前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間とが設けられ、
　前記複数の第２クラスタのそれぞれは、前記第１フレーム周期に続く第２フレーム周期の間に、前記第１フレーム周期の間に前記第１保持回路で保持された前記複数の画素分の保持データと前記第２保持回路で保持された前記複数の画素分の保持データとを、次段の第２クラスタ又は前記信号処理部に転送してもよい。
　前記複数の画素のデータを読み出すフレーム周期とは非同期に、前記複数の画素について前記検出信号の検出処理を開始し、前記検出信号が出力された画素についての前記検出信号に対応する前記時刻コードを前記第２保持回路に保持した後に、当該画素の前記検出信号をリセットして前記前記オートゼロ信号を出力するとともに、前記第２保持回路の保持データを対応する前記第２クラスタに転送し、その後、前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持した後に、当該画素について前記検出信号の検出処理を再開してもよい。
　前記複数の画素のそれぞれは、前記複数の光電変換素子で生成された前記電気信号のリセットレベルをデジタル変換した第１デジタル信号と、前記電気信号をデジタル変換した第２デジタル信号とを生成するアナログ－デジタル変換器を有し、
　前記第１保持回路は、前記オートゼロ信号又は前記第１デジタル信号に対応する前記時刻コードを保持し、
　前記第２保持回路は、前記検出信号又は前記第２デジタル信号に対応する前記時刻コードを保持してもよい。
　前記オートゼロ信号又は前記第１デジタル信号のいずれか一方を選択して前記第１保持回路に供給する第１選択器と、
　前記検出信号又は前記第２デジタル信号のいずれか一方を選択して前記第２保持回路に供給する第２選択器と、を備え、
　前記第１選択器及び前記第２選択器は、前記第１保持回路が前記オートゼロ信号に対応する前記時刻コードを保持する際には前記第２保持回路が前記検出信号に対応する前記時刻コードを保持し、前記第１保持回路が前記第１デジタル信号に対応する前記時刻コードを保持する際には前記第２保持回路が前記第２デジタル信号に対応する前記時刻コードを保持するように、連動して選択動作を行ってもよい。
　前記時刻コード発生器は、グレイコードからなる前記時刻コードを出力してもよい。
　本開示の他の一態様では、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する複数の画素の中で、前記電気信号の変化量の絶対値が所定の閾値を超えた場合に検出部から検出信号を出力し、
　前記検出信号に基づいて、所定の信号処理を行い、
　前記検出部を初期化するためのオートゼロ信号を出力し、
　前記オートゼロ信号が出力されたときに、時刻コード発生器から出力された時刻コードを第１保持回路に保持し、
　前記検出信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを第２保持回路に保持し、
　前記第１保持回路で保持された前記時刻コードと、前記第２保持回路で保持された前記時刻コードとを関連づけて信号処理部に転送する、撮像方法が提供される。
第１の実施形態による撮像装置を備えた撮像システム２の概略構成を示すブロック図。 第１の実施形態における撮像装置の概略構成を示すブロック図。 画素アレイ部内の各画素の詳細構成を示すブロック図。 画素回路とＡＤＣ内の差動入力回路、電圧変換回路及び正帰還回路の詳細構成の一例を示す回路図。 図３のアドレスイベント検出部の内部構成を示すブロック図。 電圧比較部の一例を示す回路図。 初期化制御部の一構成例を示す回路図。 第１の実施形態による時刻コード転送部内のクラスタの内部構成を示すブロック図。 図８の各クラスタ内のデータ保持部とリピータの内部構成をより具体化したブロック図。 時刻コード発生器の内部構成の一例を示すブロック図。 第１の実施形態による時刻コード転送部が時刻コード等を転送するタイミングを示すタイミング図。 積層チップの第１例を示す模式的な斜視図。 積層チップの第２例を示す模式的な斜視図。 第２の実施形態による時刻コード転送部内のクラスタの内部構成を示すブロック図。 第２の実施形態による時刻コード転送部が時刻コード等を転送するタイミングを示すタイミング図。 非同期でイベント検出信号とオートゼロ信号を出力する場合のタイミング図。 アービタ部を備える撮像システムの概略構成を示すブロック図。 第３の実施形態による時刻コード転送部内のクラスタ及びその周辺回路の内部構成を示すブロック図。 第３の実施形態による時刻コード転送部が時刻コード等を転送するタイミングを示すタイミング図。 各クラスタに第１リピータと第２リピータを設けた場合のタイミング図。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）
　図１は第１の実施形態による撮像装置１を備えた撮像システム２の概略構成を示すブロック図である。図１に示す撮像システム２は、撮像レンズ３、撮像装置１、記録部４、制御部５、及び情報処理部６を備えている。この撮像システム２は、産業用ロボットに搭載されるカメラシステムや、車載カメラシステムなどに適用可能である。
　図１の撮像システム２において、撮像レンズ３は、被写体からの入射光を取り込んで撮像装置１の撮像面上に結像する。撮像装置１は、撮像レンズ３によって取り込まれた入射光を画素単位で光電変換して撮像データを取得する。後述するように、撮像装置１の少なくとも一部は、半導体装置にて実現可能である。
　撮像装置１は、撮像した画像データに対して所定の信号処理を実行し、その処理結果と、後述するアドレスイベントの検出信号（以下、「検出信号」又は「イベント検出信号」と記述する場合がある）とに関するデータを記録部４に記録する。イベント検出信号の生成方法については後述する。制御部５は、例えば、マイクロコンピュータ（ＣＰＵ：Central Processing Unit）を有し、撮像装置１における撮像動作を制御する。情報処理部６は、撮像装置１から出力されたイベント検出信号に基づいて、各種の情報処理を行う。なお、情報処理部６を撮像装置１の内部に統合してもよい。
　図２は第１の実施形態における撮像装置１の概略構成を示すブロック図である。この撮像装置１は半導体基板１１上に形成されており、画素アレイ部１２と、時刻コード転送部１３と、画素駆動回路１４と、ＤＡＣ（Digital Analog Converter）１５と、時刻コード発生器１６と、垂直駆動回路１７と、信号処理部１８と、コントローラ２０とを備える。
　半導体基板１１は、例えばシリコン（Ｓｉ）を用いて形成された基板であり、この半導体基板１１には、複数の画素２１を２次元アレイ状に配列した画素アレイ部１２が形成されている。以下、画素アレイ部１２の水平方向Ｘに配列された画素２１の集合を「行」と称し、行に垂直な方向Ｙに配列された画素２１の集合を「列」と称す。
　２次元アレイ状に配列された複数の画素２１のそれぞれは、画素２１内の受光素子（以下、フォトダイオードと呼ぶこともある）２２で受光した光量に応じた電荷信号（アナログ画素信号）を生成し、このアナログ画素信号をデジタル画素信号に変換して出力する。このように、図１の撮像装置１は、画素２１ごとにＡＤ変換する例を示しているが、列単位でＡＤ変換を行うようにしてもよい。
　時刻コード発生器１６は、所定周期で変化する時刻コードを生成する。時刻コード発生器１６は、各画素２１が撮像するタイミングやイベントを検出するタイミングとは無関係に時刻コードを生成する。本実施形態では、イベント検出信号と後述するオートゼロ信号を出力した画素２１を特定するために時刻コードを利用する。時刻コード発生器１６は、生成した時刻コードを時刻コード転送部１３に供給する。図１の例では、画素アレイ部１２の水平（列）方向Ｘに沿って、複数の時刻コード発生器１６と複数の時刻コード転送部１３が設けられている。時刻コード発生器１６で生成された時刻コードは、対応する時刻コード転送部１３にて転送される。なお、画素アレイ部１２の水平方向Ｘの画素数がそれほど多くない場合は、１つの時刻コード発生器１６と１つの時刻コード転送部１３だけを設けてもよい。
　時刻コード転送部１３は、時刻コード発生器１６で生成された時刻コードを信号処理部１８まで転送するとともに、オートゼロ信号を出力した画素２１に対応する時刻コードとイベント検出信号を出力した画素２１に対応する時刻コードとを信号処理部１８まで転送する。図１のように、複数の時刻コード転送部１３が設けられている場合、各時刻コード転送部１３は、その周囲の複数画素２１についてのオートゼロ信号に対応する時刻コードとイベント検出信号に対応する時刻コードとを転送する。時刻コード転送部１３の内部構成については後述する。
　画素駆動回路１４は、画素２１内に設けられる後述する画素回路及びＡＤＣを駆動する。ＤＡＣは、時間経過に応じてレベル（電圧）が単調減少するスロープ信号である参照信号（基準電圧信号）ＲＥＦを生成し、各画素２１に供給する。参照信号は、各画素２１でアナログ画素信号をデジタル画素信号に変換するために用いられる。
　垂直駆動回路１７は、画素アレイ部１２の垂直方向Ｙに沿って配置される複数の画素行のいずれかを駆動する。垂直駆動回路１７が駆動する画素行に属する各画素２１のイベント検出信号とオートゼロ信号は、対応する時刻コード転送部１３に送られる。
　信号処理部１８は、複数の時刻コード転送部１３から転送された時刻コード発生器１６からの時刻コードと、各画素２１のイベント検出信号に応じた時刻コードと、各画素２１のオートゼロ信号に応じた時刻コードとを受信する。信号処理部１８は、これらの時刻コードに基づいて所定の信号処理を行う。
　信号処理部１８は、複数の時刻コード転送部１３から転送された各時刻コードを記憶する記憶部を有していてもよい。
　コントローラ２０は、撮像装置１内の各部を制御する。コントローラ２０は、タイミング生成回路２０ａを有する。タイミング生成回路２０ａは、撮像装置１内の各部の動作タイミングを示す信号を各部に供給する。
　［画素２１の構成例］
　図３は画素アレイ部１２内の各画素２１の詳細構成を示すブロック図である。図３に示すように、各画素２１は、受光部３２と、画素回路３３と、アナログ－デジタル変換器（以下、ＡＤＣ又は画素ＡＤＣと呼ぶ）３４と、アドレスイベント検出部３５とを有する。
　受光部３２は、受光量に応じたアナログ画素信号を生成する。受光部３２は、例えばフォトダイオード２２で構成される。
　画素回路３３は、リセットレベルのアナログ画素信号と、露光量に応じた輝度信号レベルのアナログ画素信号とを生成する。リセットレベルは、露光開始時以降にＦＤ（Floating Diffusion）が初期化された時の電圧である。輝度信号レベルは、露光終了時の露光量に応じた電圧である。画素回路３３は、リセットレベルのアナログ画素信号と、輝度信号レベルのアナログ画素信号とを順にＡＤＣ３４に供給する。
　ＡＤＣ３４は、リセットレベル及び輝度信号レベルのアナログ画素信号をデジタル画素信号に変換する。本明細書では、リセットレベルのアナログ画素信号をＡＤ変換したデジタル画素信号をＰ相データと呼び、輝度信号レベルのアナログ画素信号をＡＤ変換したデジタル画素信号をＤ相データと呼ぶ。
　ＡＤＣ３４は、差動入力回路４１と、電圧変換回路４２と、正帰還回路４３と、データ記憶部４４とを有する。差動入力回路４１は、図２に示すＤＡＣ１５で生成された参照信号ＲＥＦと、画素回路３３からのアナログ画素信号（リセットレベル又は輝度信号レベル）とを比較し、比較結果を示す信号を電圧変換回路４２に供給する。電圧変換回路４２は、差動入力回路４１の比較結果を示す信号の電圧レベルを変換して正帰還回路４３に供給する。
　正帰還回路４３は、電圧変換回路４２の出力信号に応じた信号ＶＣＯを生成するとともに、電圧変換回路４２に正帰還する。
　データ記憶部４４は、信号ＶＣＯに対応するデジタル画素信号を記憶する。データ記憶部４４には、時刻コード発生器１６から出力されて時刻コード転送部１３で転送される時刻コードが入力される。また、データ記憶部４４に入力される信号ＷＯＲＤは、読み出し対象の画素２１のときに例えばハイレベルになる。データ記憶部４４は、正帰還回路４３の出力信号ＶＣＯの論理が反転するときの時刻コードを保持する。
　図４は、画素回路３３と、ＡＤＣ３４内の差動入力回路４１、電圧変換回路４２及び正帰還回路４３の詳細構成の一例を示す回路図である。画素回路３３は、排出トランジスタＱ１と、転送トランジスタＱ２と、ゲイン制御トランジスタＱ３と、リセットトランジスタＱ４と、フローティングディフュージョン（以下、ＦＤと呼ぶ）３６と、キャパシタＣ１とを有する。画素回路３３内の各トランジスタＱ１～Ｑ４は、例えばＮＭＯＳトランジスタである。
　排出トランジスタＱ１は、画素駆動回路１４からの駆動信号ＯＦＧに基づいて、露光開始時にフォトダイオード２２に蓄積された電荷を排出させる。転送トランジスタＱ２は、画素駆動回路１４からの転送信号ＴＸに基づいて、露光終了時にフォトダイオード２２からＦＤ３６に電荷を転送する。ＦＤ３６は、転送された電荷を蓄積し、蓄積電荷量に応じた電圧を生成する。
　リセットトランジスタＱ４は、画素駆動回路１４からのリセット信号ＲＳＴに基づいてＦＤ３６を初期化する。ゲイン制御トランジスタＱ３は、画素駆動回路１４からの制御信号ＦＤＧに基づいて、ＦＤ３６の電圧に対するアナログゲインを制御する。ＦＤ３６の電圧をアナログゲインにより低減して出力することにより、画素２１の飽和信号量を拡大することができる。ゲイン制御トランジスタＱ３とリセットトランジスタＱ４は直列に接続され、その接続ノードにはキャパシタＣ１の一端が接続されている。
　差動入力回路４１は、フォトダイオード２２で光電変換した電荷に応じた電圧と基準電圧ＲＥＦとの電圧差に応じた信号を出力する。差動入力回路４１は、ＮＭＯＳトランジスタ対Ｑ５，Ｑ６と、ＮＭＯＳトランジスタＱ７と、カレントミラー回路を構成するＰＭＯＳトランジスタ対Ｑ８，Ｑ９と、ＰＭＯＳトランジスタＱ１０とを有する。トランジスタＱ５のゲートには基準信号ＲＥＦが入力され、トランジスタＱ６のゲートにはＦＤ３６の電圧信号が入力される。
　トランジスタＱ７は、トランジスタＱ５，Ｑ６のソースと接地ノードの間に接続されている。トランジスタＱ７のゲートには、バイアス電圧Ｖｂが入力される。トランジスタ対Ｑ８，Ｑ９は、電源電圧ノードＶＤＤＨとトランジスタ対Ｑ５，Ｑ６のドレインとの間に接続されている。トランジスタＱ１０のゲートはトランジスタＱ６，Ｑ９のドレインに接続されている。
　電圧変換回路４２は、ＮＭＯＳトランジスタＱ１１を有する。このトランジスタＱ１１のゲートには電源電圧ＶＤＤＬが入力され、トランジスタＱ１１のドレインはトランジスタＱ１０のドレインに接続されている。電圧変換回路４２は、差動入力回路４１の出力電圧をより低い電圧レベルに変換する。
　正帰還回路４３は、ＰＭＯＳトランジスタＱ１２～Ｑ１５と、ＮＭＯＳトランジスタＱ１６～Ｑ１８とを有する。トランジスタＱ１６のドレインにはトランジスタＱ１１のソースが接続され、トランジスタＱ１６のソースは接地されている。トランジスタＱ１６のゲートには、画素駆動回路１４からの信号ＩＮＩが入力される。トランジスタＱ１４、Ｑ１７の各ゲートは、トランジスタＱ１１のソースに接続されている。トランジスタＱ１５，Ｑ１８の各ゲートには、画素駆動回路１４からの信号ＴＥＳＴＶＣＯが入力される。トランジスタＱ１７のドレインからは信号ＶＣＯが出力される。トランジスタＱ１２のゲートには、画素駆動回路１４からの信号ＩＮＩ２が入力される。
　図５は図３のアドレスイベント検出部３５の内部構成を示すブロック図である。図５に示すように、アドレスイベント検出部３５は、電圧比較部３７と、初期化制御部３８とを有する。
　電圧比較部３７は、入射光の変化量に応じたアナログの微分信号と、所定の電圧範囲の境界を示す所定電圧（上限電圧や下限電圧）とを比較し、その比較結果を示すイベント検出信号ＣＯＭＰ＋、ＣＯＭＰ－を出力する。
　初期化制御部３８は、比較結果ＣＯＭＰが出力されるたびにオートゼロ信号ＸＡＺを電圧比較部３７に供給して微分信号を初期値に制御する。なお、本明細書では、論理が互いに反転する信号ＡＺ、ＸＡＺを総称してオートゼロ信号と呼ぶ。
　［電圧比較部３７の構成例］
　図６は電圧比較部３７の一例を示す回路図である。この電圧比較部３７は、対数応答部４５、バッファ４６、微分回路４７およびコンパレータ４８を備える。
　対数応答部４５内の電流電圧変換部４９は、フォトダイオード２２で生成された電荷（光電流）を対数変換した画素電圧Ｖｐを生成する。電流電圧変換部４９は、ＮＭＯＳトランジスタＱ２１およびＱ２２と、キャパシタＣ２と、ＰＭＯＳトランジスタＱ２３とを備える。
　トランジスタＱ２１のソースはフォトダイオード２２のカソードに接続され、ドレインは電源電圧ノードに接続される。トランジスタＱ２２およびトランジスタＱ２３は、電源電圧ノードと所定の基準電位（接地電位など）ノードとの間に直列に接続されている。また、トランジスタＱ２２およびトランジスタＱ２３の接続ノードは、トランジスタＱ２１のゲートとバッファ４６の入力ノードとに接続される。トランジスタＱ２１のドレインとフォトダイオード２２のカソードとの接続ノードは、トランジスタＱ２３のゲートに接続される。
　また、トランジスタＱ２２のゲートには、所定のバイアス電圧Ｖblogが印加される。キャパシタＣ２は、トランジスタＱ２１のゲートとトランジスタＱ２３のゲートとの間に接続されている。
　後述するように、フォトダイオード２２が配置される半導体チップと、フォトダイオード２２の後段側の回路が配置される半導体チップとを積層してもよい。あるいは、フォトダイオード２２、トランジスタＱ２１～Ｑ２３、及びキャパシタＣ２が配置される半導体チップと、その後段側の回路が配置される半導体チップとを積層してもよい。このように、図６に示す回路品の中で、同一又は異なる半導体チップに配置される回路部品は任意である。
　バッファ４６は、入力された画素電圧を微分回路４７に出力するものである。このバッファ４６により、後段を駆動する駆動力を向上させることができる。また、バッファ４６により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
　また、バッファ４６は、トランジスタＱ２４およびトランジスタＱ２５を備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。
　バッファ４６において、トランジスタＱ２４およびトランジスタＱ２５は、電源電圧ノードと基準電位の端子との間に直列に接続されている。また、トランジスタＱ２５のゲートは、対数応答部４５に接続され、トランジスタＱ２４およびトランジスタＱ２５の接続ノードは、微分回路４７に接続される。トランジスタＱ２４のゲートには、所定のバイアス電圧Ｖbsfが印加される。
　微分回路４７は、微分演算により画素電圧Ｖｐの変化量を求めるものである。この画素電圧Ｖｐの変化量は、光量の変化量を示す。微分回路４７は、光量の変化量を示す微分信号Ｖoutをコンパレータ４８に供給する。
　また、微分回路４７は、キャパシタＣ３およびＣ４と、トランジスタＱ２６およびトランジスタＱ２７と、トランジスタＱ２８とを備える。
　トランジスタＱ２７およびトランジスタＱ２８は、電源電圧ノードと基準電位ノードとの間に直列に接続されている。トランジスタＱ２８のゲートには、所定のバイアス電圧Ｖbdiffが入力される。これらのトランジスタＱ２７、Ｑ２８は、トランジスタＱ２７のゲートを入力ノードｎ１とし、トランジスタＱ２７およびトランジスタＱ２８の接続ノードを出力ノードｎ２とする反転回路として機能する。
　キャパシタＣ３は、バッファ４６とトランジスタＱ２７のゲートとの間に挿入される。このキャパシタＣ３は、バッファ４６からの画素電圧Ｖｐの時間微分（言い換えれば、変化量）に応じた電流をトランジスタＱ２７のゲートに供給する。また、キャパシタＣ４は、トランジスタＱ２７のゲートと出力ノードｎ２との間に挿入される。
　トランジスタＱ２６は、初期化制御部３８からのオートゼロ信号ＸＡＺに従って入力ノードｎ１と出力ノードｎ２との間の経路を開閉する。初期化制御部３８は、例えば、計数値が計数されるたびにオートゼロ信号ＸＡＺをハイレベルからローレベルにして初期化を指示する。そして、トランジスタＱ２６は、オートゼロ信号ＸＡＺに従ってオン状態に移行し、微分信号Ｖoutを初期値にする。
　コンパレータ４８は、微分信号Ｖoutと一定の電圧範囲の境界を示す所定電圧（上限電圧や下限電圧）とを比較するものである。このコンパレータ４８は、トランジスタＱ２９およびトランジスタＱ３１とトランジスタＱ３０およびトランジスタＱ３２とを備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。
　コンパレータ４８においてトランジスタＱ２９およびトランジスタＱ３０は、電源電圧ノードと基準電圧ノードとの間において直列に接続され、トランジスタＱ３１およびトランジスタＱ３２も、電源電圧ノードと基準電圧ノードとの間において直列に接続されている。また、トランジスタＱ２９およびトランジスタＱ３１のゲートは、微分回路４７に接続されている。トランジスタＱ３０のゲートには上限電圧Ｖhighが印加され、トランジスタＱ３２のゲートには下限電圧Ｖlowが印加されている。
　トランジスタＱ２９およびトランジスタＱ３０の接続ノードの電圧が上限電圧との比較結果ＣＯＭＰ＋として出力される。トランジスタＱ３１およびトランジスタＱ３２の接続ノードの電圧が下限電圧との比較結果ＣＯＭＰ－として出力される。このような接続により、微分信号Ｖoutが上限電圧Ｖhighより高い場合にコンパレータ４８は、ハイレベルの比較結果ＣＯＭＰ＋を出力し、微分信号Ｖoutが下限電圧Ｖlowより低い場合にローレベルの比較結果ＣＯＭＰ－を出力する。イベント検出信号ＣＯＭＰは、これらの比較結果ＣＯＭＰ＋およびＣＯＭＰ－からなる信号である。
　なお、コンパレータ４８は、上限電圧および下限電圧の両方を、微分信号Ｖoutと比較しているが、一方のみを微分信号Ｖoutと比較してもよい。これにより、コンパレータ４８の内部構成を簡略化できる。例えば、上限電圧とのみ比較する際には、トランジスタＱ２９およびトランジスタＱ３０のみが必要となり、トランジスタＱ３１及びＱ３２を省略できる。
　図７は初期化制御部３８の一構成例を示す回路図である。この初期化制御部３８は、遅延部５１および５２と、ＸＯＲ（排他的論理和）ゲート５３および５４とを備える。
　遅延部５１は、コンパレータ４８からの比較結果ＣＯＭＰ＋を遅延させるものである。この遅延部５１は、遅延した信号をＸＯＲゲート５３に供給する。遅延部５２は、コンパレータ４８からの比較結果ＣＯＭＰ－を遅延させるものである。この遅延部５１は、遅延した信号をＸＯＲゲート５４に供給する。
　ＸＯＲゲート５３は、遅延前後の比較結果ＣＯＭＰ＋の排他的論理和を生成する。ＸＯＲゲート５４は、遅延前後の比較結果ＣＯＭＰ－の排他的論理和を生成する。これらのＸＯＲゲート５３および５４によりパルス信号が生成される。このパルス信号は、オートゼロ信号ＸＡＺとして微分回路４７に出力される。
　［時刻コード転送部１３の構成］
　時刻コード転送部１３は、図２に示すように、画素アレイ部１２の水平方向に対して例えば複数個設けられている。時刻コード転送部１３の一端側には時刻コード発生器１６が接続され、他端側には信号処理部１８が接続されている。時刻コード転送部１３は、後述するように、直列接続された複数のクラスタを有する。各クラスタは、複数行分の所定の画素２１列の時刻コード等を保持する。また、各クラスタは、時刻コード発生器１６からの時刻コードを順次転送する。
　このように、時刻コード転送部１３内の各クラスタは、時刻コード発生器１６からの時刻コードと、オートゼロ信号を出力した画素２１に対応する時刻コードと、イベント検出信号を出力した画素２１に対応する時刻コードとを関連づけて順次転送する。また、時刻コード転送部１３内の各クラスタは、イベント検出信号とオートゼロ信号が出力されなかった画素２１については、特定のデータを転送する。
　図８は第１の実施形態による時刻コード転送部１３内のクラスタ６１の内部構成を示すブロック図である。図８に示すように、時刻コード転送部１３内の各クラスタ６１はデータ保持部６２とリピータ６３とを有する。データ保持部６２は、オートゼロ信号を出力した画素２１に対応する時刻コードを保持するとともに、イベント検出信号を出力した画素２１に対応する時刻コードを保持する。
　一つのデータ保持部６２は、複数画素分のイベント検出信号とオートゼロ信号の時刻コードを、画素ごとに順に保持することができる。データ保持部６２は、イベント検出信号又はオートゼロ信号が出力されなかった画素２１については、特定のデータ（例えばゼロ）を保持する。このように、データ保持部６２は、イベント検出信号又はオートゼロ信号が出力された画素２１のみタイムスタンプを保持し、それ以外の画素２１は特定のデータを保持する。これにより、時刻コード転送部１３は、すべての画素について時刻コード又は特定のデータを画素の並び順に転送することになり、時刻コード転送部１３からのデータを受信する信号処理部１８は、どの画素２１がイベント検出信号又はオートゼロ信号を出力したかを容易に特定できる。
　なお、データ保持部６２は、イベント検出信号を出力した画素２１に対応する時刻コードだけでなく、輝度信号が上昇する傾向にあるのか、あるいは低下する傾向にあるのかを示す極性情報を合わせて保持してもよい。また、データ保持部６２は、イベント検出信号を出力した画素２１のアドレス情報を合わせて保持してもよい。
　このように、時刻コード転送部１３は、複数段の直列接続されたクラスタ６１を有する。初段のクラスタ６１は、時刻コード発生器１６から出力された時刻コードを保持するとともに、対応するデータ保持部６２に保持されたオートゼロ信号に対応する時刻コード及びイベント検出信号に対応する時刻コードとを保持する。二段目以降のクラスタ６１は、前段のクラスタ６１で保持された時刻コード発生器１６から順繰りに転送された時刻コードを次段のクラスタ６１に転送するとともに、対応するデータ保持部６２に保持されたオートゼロ信号に対応する時刻コード及びイベント検出信号に対応する時刻コードを次段のクラスタ６１に転送し、かつ前段のクラスタ６１の保持データを次段のクラスタ６１に転送する。
　図９は図８の各クラスタ６１内のデータ保持部６２とリピータ６３の内部構成をより具体化したブロック図である。図９に示すように、各データ保持部６２は、オートゼロ信号に対応する時刻コードを保持する第１データ保持部（第１保持回路）６４と、イベント検出信号に対応する時刻コードを保持する第２データ保持部（第２保持回路）６５とを有する。第１データ保持部６４と第２データ保持部６５はそれぞれ、例えば１２８画素分（水平方向に３２画素×垂直方向に４画素）の時刻コードを保持することができる。なお、保持する画素数は任意である。第１データ保持部６４と第２データ保持部６５は、イベント検出信号又はオートゼロ信号が出力されなかった画素２１については、特定のデータ（例えばゼロ）を保持する。
　図９に示すように、各リピータ６３は、双方向バッファ６６と、Ｄ型フリップフロップ（以下、Ｄ－Ｆ／Ｆと呼ぶ）６７とを有する。Ｄ－Ｆ／Ｆ６７は、前段のリピータ６３から転送されてきたデータをクロック信号ＡＤ－ＣＬＫの立ち上がりタイミングで保持する。Ｄ－Ｆ／Ｆ６７が保持するデータの中には、時刻コード発生器１６からの時刻コードが含まれている。この時刻コードは、双方向バッファ６６を介して第１データ保持部６４と第２データ保持部６５に入力される。第１データ保持部６４は、イベント検出信号が入力されたときにクロック信号ＡＤ－ＣＬＫに同期させて時刻コードを保持する。イベント検出信号が入力されない画素２１についてはクロック信号ＡＤ－ＣＬＫに同期させて特定のデータを保持する。同様に、第２データ保持部６５は、オートゼロ信号が入力されたときにクロック信号ＡＤ－ＣＬＫに同期させて時刻コードを保持する。
　図９のデータ保持部６２は例えば１５ビット分の時刻コードデータを保持する。同様に、リピータ６３も例えば１５ビットの時刻コードデータを順に転送する。
　図１０は時刻コード発生器１６の内部構成の一例を示すブロック図である。図１０の時刻コード発生器１６は、バイナリカウンタ６８と、バイナリ・グレイ変換器６９とを有する。バイナリカウンタ６８は、２進数を計数するカウンタであり、複数の二分周器を直列接続した構成になっている。二分周器は、Ｄ－Ｆ／Ｆ６８ａのｘＱ出力をＤ入力に帰還させて構成されている。各二分周器の出力信号の周期は、２のべき乗倍ずつ異なっている。
　バイナリ・グレイ変換器６９は、バイナリカウンタ６８からのバイナリの計数値をグレイコードに変換する。グレイコードは、隣接するコード間で１ビットだけが変化するようにしたものであり、コード間のビットの変化数を最小化することで、消費電力の削減を図ることができる。このように、時刻コード発生器１６から出力される時刻コードをグレイコードにすることで、時刻コード転送部１３で時刻コードを順次転送する際の消費電力を抑制できる。
　なお、時刻コード発生器１６から出力される時刻コードは、必ずしもグレイコードでなくてもよい。例えば、図１０のバイナリカウンタ６８の出力値をそのまま時刻コードとして利用してもよい。この場合、バイナリ・グレイ変換器６９を省略できるが、時刻コード転送時の消費電力はグレイコードを使用する場合も増える。
　図１１は第１の実施形態による時刻コード転送部１３が時刻コード等を転送するタイミングを示すタイミング図である。図１１の上側２つのタイミング図は、画素アレイ部１２の垂直同期信号ＸＶＳと各フレーム内の撮像装置１の動作期間を示している。また、図１１の下側４つのタイミング図は、１フレーム期間内のクロック信号ＡＤ－ＣＬＫと、リピータ６３が転送する時刻コード発生器１６からの時刻コードと、オートゼロ信号ＡＺの発生タイミングと、イベント検出信号の発生タイミングとを示している。
　図１１の上側二つのタイミング図に示すように、フレームごとに、オートゼロ信号ＡＺを出力した画素２１に対応する時刻コードを第１データ保持部６４に保持する期間（時刻ｔ１～ｔ２）と、イベント検出信号を出力した画素２１に対応する時刻コードを第２データ保持部６５に保持する期間（時刻ｔ２～ｔ３）と、第１データ保持部６４と第２データ保持部６５に保持された時刻コードを時刻コード転送部１３を介して転送する期間（時刻ｔ３～ｔ４）とが設けられている。
　図１１の例では、時刻ｔ２のときにオートゼロ信号が出力され、時刻ｔ２～ｔ３の間の時刻ｔ２１のときにイベント検出信号が出力された例を示している。
　時刻ｔ１～ｔ３の間は、時刻コード転送部１３内の各クラスタ６１は、時刻コード発生器１６からの時刻コードを順に転送する。また、データ保持部６２内の第１データ保持部６４は、時刻ｔ２のときに、オートゼロ信号を出力した画素２１に対応する時刻コードを保持する。同様に、第２データ保持部６５は、時刻ｔ２１のときに、イベント検出信号を出力した画素２１に対応する時刻コードを保持する。
　時刻ｔ３～ｔ４では、時刻コード転送部１３内のクラスタ６１は、オードゼロ信号を出力した画素２１とイベント検出信号を出力した画素２１については、対応する時刻コードをそれぞれ転送し、それ以外の画素は特定のデータを転送する。
　より詳細には、本実施形態では、フレームごとに、画素アレイ部１２内の全画素２１についてスキャンして、オートゼロ信号又はイベント検出信号を出力した画素２１を検出し、オートゼロ信号又はイベント検出信号を出力した画素２１に対応する時刻コードを第１データ保持部６４又は第２データ保持部６５で保持する。
　画素アレイ部１２内の任意の画素２１から出力されたオートゼロ信号とイベント検出信号は、図８及び図９に示す対応するデータ保持部６２に入力される。データ保持部６２内の第１データ保持部６４は、オートゼロ信号を出力した画素２１に対応する時刻コードを保持し、第２データ保持部６５は、イベント検出信号を出力した画素２１に対応する時刻コードを保持する。時刻コードの保持は、クロック信号ＡＤ－ＣＬＫに同期して行われる。このクロック信号ＡＤ－ＣＬＫは、時刻コード発生器１６が時刻コードを更新するために用いる信号である。図１１は、時刻ｔ２のときに、オートゼロ信号に対応する時刻コードを保持する例を示している。本実施形態では、フレームごとに、全画素２１が同タイミングでオートゼロ信号を出力するが、複数のデータ保持部６２に時刻データ発生器からの時刻コードが転送されるまでの時刻が異なるため、各データ保持部６２はそれぞれ異なるタイミングでオートゼロ信号に対応する時刻コードを保持する。このように、時刻コードはクラスタ６１間を順次転送されるため、各データ保持部６２は、それぞれ異なるタイミングでオートゼロ信号に対応する時刻コードを保持する。これにより、オートゼロ信号に対応する時刻コードの値は、データ保持部６２ごとに異なる値になる。
　図１１は、時刻ｔ２～ｔ３の間の時刻ｔ２１のときにイベント検出信号が出力され、クロック信号ＡＤ－ＣＬＫに同期させてイベント検出信号に対応する時刻コードを第１データ保持部６４で保持する例を示している。このように、データ保持部６２は、オートゼロ信号を出力した画素２１に対応する時刻コードと、イベント検出信号を出力した画素２１に対応する時刻コードとを保持する。これらの時刻コードは、時刻コード転送部１３を介して、信号処理部１８に送信される。信号処理部１８は、イベント検出信号を出力した画素２１に対応する時刻コードと、オートゼロ信号を出力した画素２１に対応する時刻コードとの差分を取ることで、どの画素２１でイベントが発生したかを特定することができる。
　なお、時刻コード転送部１３は、イベントが発生しなかった画素２１については、時刻コードを転送する代わりに、特定のデータ（例えばゼロ）をクロック信号ＡＤ－ＣＬＫに同期させて転送する。これにより、信号処理部１８は、特定のデータの中に含まれる時刻コードを抽出し、時刻コード間の特定のデータの数を数えることで、どの画素２１でイベントが発生したかをより正確に検出できる。
　本実施形態による撮像装置１は、例えば積層型の複数の半導体チップ（以下、積層チップと呼ぶ）７０で構成可能である。図１２Ａは積層チップ７０の第１例を示す模式的な斜視図である。図１２Ａは、第１半導体チップ７１と、第１半導体チップ７１の下方に積層される第２半導体チップ７２とを備えている。第１半導体チップ７１上には、例えば画素アレイ部１２内の複数の画素２１が配置される。光を受光して光電変換を行う部分が少なくとも第１半導体チップ７１に配置される。第２半導体チップ７２上には、データ保持部６２、時刻コード発生器１６、時刻コード転送部１３、信号処理部１８などが配置される。
　第１半導体チップ７１と第２半導体チップ７２とは、ビア（ＶＩＡ）、Ｃｕ－Ｃｕ接合、バンプなどの接続部を介して相互に信号伝送を行う。
　図１２Ｂは積層チップ７０の第２例を示す模式的な斜視図である。図１２Ｂの積層チップ７０は、第１半導体チップ７１と、第１半導体チップ７１の下方に積層される第２半導体チップ７２と、第２半導体チップ７２の下方に積層される第３半導体チップ７３とを備えている。図１２Ｂの第１半導体チップ７１は、例えば画素アレイ部１２内の複数の画素２１が配置される。第２半導体チップ７２は、時刻コード発生器１６、時刻コード転送部１３、信号処理部１８などが配置される。第３半導体チップ７３は、データ保持部６２などの半導体メモリが主に配置される。
　なお、図１２Ａ及び図１２Ｂは、積層チップ７０の代表例を示したにすぎず、種々の変形例が考えられる。また、図１２Ａ及び図１２Ｂの第１半導体チップ７１及び第２半導体チップ７２と、図１２Ｂの第３半導体チップ７３上にどのような回路を配置するかは任意であり、種々の変形例が考えられる。さらに、４層以上の積層チップ７０を構成してもよいし、積層チップ７０内の少なくとも１層が同一層内で分割された複数の層で形成されていてもよい。
　このように、第１の実施形態では、時刻コード転送部１３内の複数のクラスタ６１を用いて、画素アレイ部１２内の任意の画素２１から出力されたオートゼロ信号に対応した時刻コードと、イベント検出信号に対応した時刻コードとを転送するため、画素アレイ部１２内のどの画素２１でいつイベントが発生したかを信号処理部１８は簡易かつ迅速に検出できる。
　時刻コード転送部１３は、画素２１ごとにＡＤ変換を行う場合に輝度値に応じた時刻コードを転送するために用いられる。本実施形態によれば、画素２１ごとにＡＤ変換を行うために設けられる時刻コード転送部１３を流用して、オートゼロ信号に対応する時刻コードとイベント検出信号に対応する時刻コードを転送できる。よって、撮像装置１の内部構成を複雑化せずに、イベント検出が可能となる。
　また、時刻コード転送部１３を用いて時刻コードを信号処理部１８まで転送する場合、時刻コードの転送方向に沿って配置される複数のデータ保持部６２が時刻コードを保持するタイミングが異なる。そこで、オートゼロを出力する画素２１に対応する時刻コードを保持して、イベント検出信号を出力する画素２１に対応する時刻コードとの差分を取ることで、データ保持部６２ごとに時刻コードを保持するタイミングがずれるという問題を解消できる。
　（第２の実施形態）
　第２の実施形態は、時刻コード転送部１３内のクラスタ６１列を二つ設けるものである。
　図１３は第２の実施形態による時刻コード転送部１３内のクラスタ６１の内部構成を示すブロック図である。図１３の時刻コード転送部１３は、複数段の第１リピータ８１と、複数段の第２リピータ８２とを有する。複数段の第１リピータ８１のうち、初段の第１リピータ８１には、時刻コード発生器１６からの時刻コードが入力される。最終段の第１リピータ８１と最終段の第２リピータ８２は、信号処理部１８に接続されている。
　複数段の第１リピータ８１のそれぞれは、複数段の第２リピータ８２のうち一つと対応づけられている。より具体的には、複数段の第１リピータ８１のそれぞれは、対応する第２リピータ８２に時刻コードを転送する。例えば、複数段の第１リピータ８１は、時刻コード発生器１６からの時刻コードを順次転送して信号処理部１８に送信する処理を行う一方で、データ保持部６２から受信したオートゼロ信号に対応する時刻コードと、イベント検出信号に対応する時刻コードを対応する第２リピータ８２に転送する。複数段の第２リピータ８２は、複数段の第１リピータ８１から転送されたオートゼロ信号に対応する時刻コードとイベント検出信号に対応する時刻コードを順次転送して信号処理部１８に送信する。
　図１４は第２の実施形態による時刻コード転送部１３が時刻コード等を転送するタイミングを示すタイミング図である。図１４に示すように、画素アレイ部１２内の全画素２１がオートゼロ信号を出力して第１データ保持部６４に時刻コードを保持し（時刻ｔ２～ｔ３）、その後に全画素２１についてイベント検出を行い、イベント検出信号を出力した画素２１に対応する時刻コードを第２データ保持部６５に保持する（時効ｔ３～ｔ４）。以上の動作は、時刻ｔ１～ｔ４の１フレーム期間に行われる。次のフレーム期間では、時刻ｔ４～ｔ５の間に、第１データ保持部６４に保持された時刻コードと、第２データ保持部６５に保持された時刻コードが第１リピータ８１から第２リピータ８２に転送され、時刻ｔ５～ｔ７に複数の第２リピータ８２間で転送されて信号処理部１８で読み出される。また、時刻ｔ５～ｔ６には、再び画素アレイ部１２内の全画素２１がオートゼロ信号を出力して第１データ保持部６４に時刻コードを保持し、その後にイベント検出処理を行って、イベント検出信号を出力した画素２１に対応する時刻コードを第２データ保持部６５に保持する（時刻ｔ６～ｔ８）。
　図１４を図１１と比較すればわかるように、図１４では、１フレームをかけて、オートゼロ信号の出力とイベント検出を行えばよく、信号処理部１８への転送処理は次のフレームで行うため、各処理を時間的に余裕を持って行うことができる。すなわち、第２の実施形態では、時刻コード発生器１６からの時刻コードを転送する複数の第１リピータ８１の他に、オートゼロ信号及びイベント検出信号に対応する時刻コードを転送する複数の第２リピータ８２を設けるため、イベント検出を行えない不感帯の時間を短縮できる。
　なお、画素アレイ部１２内の各画素２１は必ずしも同タイミングでオートゼロ信号を出力する必要はなく、イベントが発生した画素２１についてはイベント検出信号をデータ保持部６２で保持したらオートゼロ信号を出力し、オートゼロ信号をデータ保持部６２で保持したらイベント検出を開始するようにしてもよい。この場合、画素アレイ部１２内の各画素２１は非同期でイベント検出信号の出力とオートゼロ信号の出力を行うことになる。
　図１５は非同期でイベント検出信号とオートゼロ信号を出力する場合のタイミング図である。図１５の場合、イベント検出信号に応じた時刻コードをデータ保持部６２で保持したら、オートゼロ信号を出力し、オートゼロ信号に応じた時刻コードをデータ保持部６２で保持したら、イベント検出を開始するため、イベントの発生タイミングに応じて、イベント検出期間の長さが変動する。
　図１５の場合、フレーム期間とは非同期にイベントを検出できるという効果が期待できる一方で、イベント検出信号に応じた時刻コードをデータ保持部６２に保持してから、その後に第１リピータ８１から第２リピータ８２に時刻コードを転送する転送タイミングまでは、イベント検出ができない不感帯となる。
　複数の画素２１で複数のイベントが同時に発生する場合がありうるため、図１６に示すように、アービタ部２３を設けてもよい。アービタ部２３は、複数の画素２１のそれぞれからのイベント発生のリクエストを調停し、調停結果に基づく応答を画素２１に送信する。アービタ部２３からの応答を受け取った画素２１は、イベント検出信号を対応するデータ保持部６２に送信する。
　このように、第２の実施形態では、時刻コード転送部１３内に、複数段の第１リピータ８１と、複数段の第２リピータ８２を設けて、複数段の第１リピータ８１では時刻コード発生器１６からの時刻コードを転送し、複数段の第２リピータ８２では、オートゼロ信号及びイベント検出信号に応じた時刻コードを転送する。これにより、オートゼロ信号とイベント検出信号に応じた時刻コードの転送と、イベント検出とを同時並行で行うことができ、イベント検出を行えない不感帯の時間を短縮できる。
　（第３の実施形態）
　第３の実施形態は、画素２１ごとにＡＤ変換したデジタル画素２１データに応じた時刻コードを時刻コード転送部１３で信号処理部１８まで転送する処理と、オートゼロ信号及びイベント検出信号に応じた時刻コードを時刻コード転送部１３で信号処理部１８まで転送する処理とを切り替えて行えるようにしたものである。
　図１７は第３の実施形態による時刻コード転送部１３内のクラスタ６１及びその周辺回路の内部構成を示すブロック図である。図１７の画素２１は、画素２１内のＡＤＣ３４でＡＤ変換されたＰ相データとＤ相データを出力する。Ｐ相データは、アナログ画素信号のリセットレベルをＡＤ変換したデジタル画素信号である。Ｄ相データは、フォトダイオード２２で光電変換された輝度信号レベルをＡＤ変換したデジタル画素信号である。この場合のＰ相データ及びＤ相データは、図４の正帰還回路４３の出力信号ＶＣＯである。本実施形態では、図３のデータ記憶部４４の代わりに、データ保持部６２が設けられる。
　図１７に示すように、各クラスタ６１には、第１選択器（ＭＵＸ）８３と第２選択器（ＭＵＸ）８４が接続されている。第１選択器８３は、Ｐ相データとオートゼロ信号のいずれか一方を選択して、データ保持部６２内の第１データ保持部６４に供給する。第２選択器８４は、Ｄ相データとイベント検出信号のいずれか一方を選択して、データ保持部６２内の第２データ保持部６５に供給する。
　第１選択器８３と第２選択器８４は、画素アレイ部１２内の各画素２１の輝度信号を信号処理部１８に送信する場合には、Ｐ相データとＤ相データをそれぞれ選択して、第１データ保持部６４と第２データ保持部６５に供給する。第１データ保持部６４はＰ相データに対応する時刻コードを保持し、第２データ保持部６５はＤ相データに対応する時刻コードを保持する。
　また、第１選択器８３と第２選択器８４は、イベント検出結果を信号処理部１８に送信する場合には、オートゼロ信号又はイベント検出信号とを選択して、第１データ保持部６４又は第２データ保持部６５に供給する。第１データ保持部６４はオートゼロ信号に対応する時刻コードを保持し、第２データ保持部６５はイベント検出信号に対応する時刻コードを保持する。
　図１８は第３の実施形態による時刻コード転送部１３が時刻コード等を転送するタイミングを示すタイミング図である。図１８において、時刻ｔ１～ｔ６は１フレーム期間である。１フレーム期間内に、オートゼロ信号及びイベント検出信号に対応する時刻コードの保持及び転送と、各画素２１の輝度信号に対応する時刻コードの保持及び転送とを行う。より詳細には、時刻ｔ１～ｔ２には、オートゼロ信号に対応する時刻コードをデータ保持部６２で保持する。時刻ｔ２～ｔ３には、イベント検出信号に対応する時刻コードをデータ保持部６２で保持する。時刻ｔ３～ｔ４には、データ保持部６２に保持されたオートゼロ信号及びイベント検出信号に対応する時刻コードを時刻コード転送部１３で転送するとともに、画素アレイ部１２内の各画素２１で露光を行う。時刻ｔ４～ｔ５には、画素アレイ部１２内の各画素２１のＰ相データ及びＤ相データに応じた時刻コードをデータ保持部６２で保持する。時刻ｔ５～ｔ６には、データ保持部６２に保持された各画素２１の輝度信号に対応する時刻コードを時刻コード転送部１３で転送する。
　図１７の時刻コード転送部１３は、各クラスタ６１に一つのリピータ６３を設けているが、図１５と同様に、各クラスタ６１に第１リピータ８１と第２リピータ８２を設けてもよい。この場合、複数段の第１リピータ８１は、時刻コード発生器１６からの時刻コードを転送するのに対して、複数段の第２リピータ８２は、各データ保持部６２で保持されたオートゼロ信号に対応する時刻コード、イベント検出信号に対応する時刻コード、輝度信号（Ｐ相データ及びＤ相データ）に対応する時刻コードを転送する。
　図１９は各クラスタ６１に第１リピータ８１と第２リピータ８２を設けた場合のタイミング図である。時刻ｔ１～ｔ６と時刻ｔ６～ｔ１２がそれぞれ１フレーム期間である。時刻ｔ１～ｔ２には、オートゼロ信号に対応する時刻コードをデータ保持部６２で保持する。時刻ｔ２～ｔ４には、イベント検出信号に対応する時刻コードをデータ保持部６２で保持する。その最中である時刻ｔ３～ｔ４に、画素アレイ部１２内の各画素２１は露光を開始する。時刻ｔ４～ｔ５には、データ保持部６２に保持されたオートゼロ信号及びイベント検出信号に対応する時刻コードを時刻コード転送部１３で転送する。その最中の時刻ｔ４～ｔ６には、画素アレイ部１２内の各画素２１のＰ相データ及びＤ相データに応じた時刻コードをデータ保持部６２で保持する。時刻ｔ６～ｔ１１には、時刻ｔ１～ｔ５と同様に、オートゼロ信号及びイベント検出信号に対応する時刻コードの保持及び転送が行われる。その最中の時刻ｔ６～ｔ８には、データ保持部６２に保持されたＰ相データ及びＤ相データに対応する時刻コードが時刻コード転送部１３で転送される。
　図１８と図１９を比較すればわかるように、２種類のクラスタ列（第１リピータ８１と第２リピータ８２）を設けることで、並列処理が可能となり、時刻コードの転送効率を上げることができる。
　このように、第３の実施形態では、時刻コード転送部１３内の複数のクラスタ６１を用いて、イベント検出結果だけでなく、各画素２１の輝度信号に対応する時刻コードも転送できる。これにより、時刻コード転送部１３を有効活用できる。また、時刻コード転送部１３内に複数種類のクラスタ６１群を設けることで、転送効率を向上できる。
＜本開示に係る技術の適用例＞
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
［移動体］
　図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　尚、図２１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　尚、図２０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８や、車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０や、運転者状態検出部７５１０等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置を有する図１の撮像システム１０を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
　なお、本技術は以下のような構成を取ることができる。
　（１）それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する複数の画素と、
　前記画素における前記電気信号の変化量の絶対値が所定の閾値を超えた場合に検出信号を出力する検出部と、
　前記検出部から出力された前記検出信号に基づいて、所定の信号処理を行う信号処理部と、
　前記検出部を初期化するためのオートゼロ信号を出力するＡＺ出力部と、
　所定周期で変化する時刻コードを出力する時刻コード発生器と、
　前記オートゼロ信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを保持する第１保持回路と、
　前記検出信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを保持する第２保持回路と、
　前記第１保持回路で保持された前記時刻コードと、前記第２保持回路で保持された前記時刻コードとを関連づけて前記信号処理部に転送する転送部と、を備える、撮像装置。
　（２）前記第１保持回路は、前記複数の画素のそれぞれについて、前記オートゼロ信号に対応する前記時刻コードを保持し、
　前記第２保持回路は、前記複数の画素のうち、前記検出信号を出力した画素について、前記検出信号に対応する前記時刻コードを保持する、（１）に記載の撮像装置。
　（３）前記第２保持回路は、前記検出信号を出力しない画素については予め定めたデータを保持することにより、前記複数の画素分のデータを保持する、（１）又は（２）に記載の撮像装置。
　（４）前記転送部は、前記第１保持回路が保持する前記複数の画素分のデータと、前記第２保持回路が保持する前記複数の画素分のデータとを関連づけて、画素ごとに順に前記信号処理部に転送する、（３）に記載の撮像装置。
　（５）前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間と、前記複数の画素分の前記第１保持回路及び前記第２保持回路の保持データを画素ごとに順に読み出して前記転送部で転送する期間とが順繰りに繰り返される、（３）又は（４）に記載の撮像装置。
　（６）前記複数の画素のデータを読み出す１フレーム周期の間に、前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間と、前記複数の画素分の前記第１保持回路及び前記第２保持回路の保持データを画素ごとに順に読み出して前記転送部で転送する期間とが設けられる、（５）に記載の撮像装置。
　（７）前記転送部は、前記時刻コード発生器で発生された前記時刻コードを転送するとともに、前記第１保持回路の保持データと、前記第２保持回路の保持データとを画素ごとに順に転送する、直列接続された複数段のクラスタを有し、
　前記複数段のクラスタのそれぞれは、前記時刻コード発生器で発生された前記時刻コードを次段のクラスタ又は前記信号処理部に転送するとともに、前記第１保持回路の保持データと、前記第２保持回路の保持データとを、次段のクラスタ又は前記信号処理部に転送する、（１）乃至（６）のいずれか一項に記載の撮像装置。
　（８）初段の前記クラスタは、前記時刻コード発生器から出力される前記時刻コードを保持するとともに、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを、同タイミングで保持し、
　二段目以降の前記クラスタは、前段のクラスタで保持された前記時刻コード発生器から順繰りに転送された前記時刻コードを次段のクラスタ又は前記信号処理部に転送するとともに、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを次段のクラスタ又は前記信号処理部に転送し、かつ前段のクラスタの保持データを次段のクラスタ又は前記信号処理部に転送する、（７）に記載の撮像装置。
　（９）前記転送部は、
　前記時刻コード発生器で発生された前記時刻コードを転送する複数段の第１クラスタと、
　前記第１保持回路の保持データと、前記第２保持回路の保持データとを転送する複数段の第２クラスタと、を有し、
　前記複数段の第１クラスタのそれぞれは、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを、対応する前記第２クラスタに転送し、
　前記信号処理部は、最終段の前記第１クラスタから出力された前記時刻コードを受信するとともに、最終段の前記第２クラスタから出力されたデータを受信する、（１）乃至（６）のいずれか一項に記載の撮像装置。
　（１０）初段の前記第１クラスタは、前記時刻コード発生器から出力される前記時刻コードを保持し、
　初段の前記第２クラスタは、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを保持し、
　二段目以降の前記第１クラスタは、前段の第１クラスタで保持された前記時刻コード発生器から順繰りに転送された前記時刻コードを保持し、
　二段目以降の前記第２クラスタは、対応する前記第１保持回路の保持データと、対応する前記第２保持回路の保持データとを次段の前記第２クラスタ又は前記信号処理部に転送するとともに、前段の第２クラスタの保持データを次段の前記第２クラスタ又は前記信号処理部に転送する、（９）に記載の撮像装置。
　（１１）前記複数の画素のデータを読み出す第１フレーム周期の間に、前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間とが設けられ、
　前記複数の第２クラスタのそれぞれは、前記第１フレーム周期に続く第２フレーム周期の間に、前記第１フレーム周期の間に前記第１保持回路で保持された前記複数の画素分の保持データと前記第２保持回路で保持された前記複数の画素分の保持データとを、次段の第２クラスタ又は前記信号処理部に転送する、（９）又は（１０）に記載の撮像装置。
　（１２）前記複数の画素のデータを読み出すフレーム周期とは非同期に、前記複数の画素について前記検出信号の検出処理を開始し、前記検出信号が出力された画素についての前記検出信号に対応する前記時刻コードを前記第２保持回路に保持した後に、当該画素の前記検出信号をリセットして前記前記オートゼロ信号を出力するとともに、前記第２保持回路の保持データを対応する前記第２クラスタに転送し、その後、前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持した後に、当該画素について前記検出信号の検出処理を再開する、（９）又は（１０）に記載の撮像装置。
　（１３）前記複数の画素のそれぞれは、前記複数の光電変換素子で生成された前記電気信号のリセットレベルをデジタル変換した第１デジタル信号と、前記電気信号をデジタル変換した第２デジタル信号とを生成するアナログ－デジタル変換器を有し、
　前記第１保持回路は、前記オートゼロ信号又は前記第１デジタル信号に対応する前記時刻コードを保持し、
　前記第２保持回路は、前記検出信号又は前記第２デジタル信号に対応する前記時刻コードを保持する、（１）乃至（１２）のいずれか一項に記載の撮像装置。
　（１４）前記オートゼロ信号又は前記第１デジタル信号のいずれか一方を選択して前記第１保持回路に供給する第１選択器と、
　前記検出信号又は前記第２デジタル信号のいずれか一方を選択して前記第２保持回路に供給する第２選択器と、を備え、
　前記第１選択器及び前記第２選択器は、前記第１保持回路が前記オートゼロ信号に対応する前記時刻コードを保持する際には前記第２保持回路が前記検出信号に対応する前記時刻コードを保持し、前記第１保持回路が前記第１デジタル信号に対応する前記時刻コードを保持する際には前記第２保持回路が前記第２デジタル信号に対応する前記時刻コードを保持するように、連動して選択動作を行う、（１３）に記載の撮像装置。
　（１５）前記時刻コード発生器は、グレイコードからなる前記時刻コードを出力する、（１）乃至（１４）のいずれか一項に記載の撮像装置。
　（１６）それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する複数の画素の中で、前記電気信号の変化量の絶対値が所定の閾値を超えた場合に検出部から検出信号を出力し、
　前記検出信号に基づいて、所定の信号処理を行い、
　前記検出部を初期化するためのオートゼロ信号を出力し、
　前記オートゼロ信号が出力されたときに、時刻コード発生器から出力された時刻コードを第１保持回路に保持し、
　前記検出信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを第２保持回路に保持し、
　前記第１保持回路で保持された前記時刻コードと、前記第２保持回路で保持された前記時刻コードとを関連づけて信号処理部に転送する、撮像方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１　撮像装置、２　撮像システム、３　撮像レンズ、４　記録部、５　制御部、６　情報処理部、１１　半導体基板、１２　画素アレイ部、１３　時刻コード転送部、１４　画素駆動回路、１５　ＤＡＣ、１６　時刻コード発生器、１７　垂直駆動回路、１８　信号処理部、２０　コントローラ、２１　画素、３２　受光部、３３　画素回路、３４　ＡＤＣ、３５　アドレスイベント検出部、３６　フローティングディフュージョン（ＦＤ）、３７　電圧比較部、３８　初期化制御部、４１　差動入力回路、４２　電圧変換回路、４３　正帰還回路、４４　データ記憶部、４５　対数応答部、４６　バッファ、４７　微分回路、４８　コンパレータ、４９　電流電圧変換部、５１、５２　遅延部、５３、５４　ＸＯＲゲート、６１　クラスタ、６２　データ保持部、６３　リピータ、６４　第１データ保持部、６５　第２データ保持部、６６　双方向バッファ、６７　Ｄ－Ｆ／Ｆ、６８　バイナリカウンタ、６９　バイナリ・グレイ変換器、７１　第１半導体チップ、７２　第２半導体チップ、７３　第３半導体チップ

Claims (16)

  1. 　それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する複数の画素と、
    　前記画素における前記電気信号の変化量の絶対値が所定の閾値を超えた場合に検出信号を出力する検出部と、
    　前記検出部から出力された前記検出信号に基づいて、所定の信号処理を行う信号処理部と、
    　前記検出部を初期化するためのオートゼロ信号を出力するＡＺ出力部と、
    　所定周期で変化する時刻コードを出力する時刻コード発生器と、
    　前記オートゼロ信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを保持する第１保持回路と、
    　前記検出信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを保持する第２保持回路と、
    　前記第１保持回路で保持された前記時刻コードと、前記第２保持回路で保持された前記時刻コードとを関連づけて前記信号処理部に転送する転送部と、を備える、撮像装置。
  2. 　前記第１保持回路は、前記複数の画素のそれぞれについて、前記オートゼロ信号に対応する前記時刻コードを保持し、
    　前記第２保持回路は、前記複数の画素のうち、前記検出信号を出力した画素について、前記検出信号に対応する前記時刻コードを保持する、請求項１に記載の撮像装置。
  3. 　前記第２保持回路は、前記検出信号を出力しない画素については予め定めたデータを保持することにより、前記複数の画素分のデータを保持する、請求項１に記載の撮像装置。
  4. 　前記転送部は、前記第１保持回路が保持する前記複数の画素分のデータと、前記第２保持回路が保持する前記複数の画素分のデータとを関連づけて、画素ごとに順に前記信号処理部に転送する、請求項３に記載の撮像装置。
  5. 　前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間と、前記複数の画素分の前記第１保持回路及び前記第２保持回路の保持データを画素ごとに順に読み出して前記転送部で転送する期間とが順繰りに繰り返される、請求項３に記載の撮像装置。
  6. 　前記複数の画素のデータを読み出す１フレーム周期の間に、前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間と、前記複数の画素分の前記第１保持回路及び前記第２保持回路の保持データを画素ごとに順に読み出して前記転送部で転送する期間とが設けられる、請求項５に記載の撮像装置。
  7. 　前記転送部は、前記時刻コード発生器で発生された前記時刻コードを転送するとともに、前記第１保持回路の保持データと、前記第２保持回路の保持データとを画素ごとに順に転送する、直列接続された複数段のクラスタを有し、
    　前記複数段のクラスタのそれぞれは、前記時刻コード発生器で発生された前記時刻コードを次段のクラスタ又は前記信号処理部に転送するとともに、前記第１保持回路の保持データと、前記第２保持回路の保持データとを、次段のクラスタ又は前記信号処理部に転送する、請求項１に記載の撮像装置。
  8. 　初段の前記クラスタは、前記時刻コード発生器から出力される前記時刻コードを保持するとともに、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを、同タイミングで保持し、
    　二段目以降の前記クラスタは、前段のクラスタで保持された前記時刻コード発生器から順繰りに転送された前記時刻コードを次段のクラスタ又は前記信号処理部に転送するとともに、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを次段のクラスタ又は前記信号処理部に転送し、かつ前段のクラスタの保持データを次段のクラスタ又は前記信号処理部に転送する、請求項７に記載の撮像装置。
  9. 　前記転送部は、
    　前記時刻コード発生器で発生された前記時刻コードを転送する複数段の第１クラスタと、
    　前記第１保持回路の保持データと、前記第２保持回路の保持データとを転送する複数段の第２クラスタと、を有し、
    　前記複数段の第１クラスタのそれぞれは、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを、対応する前記第２クラスタに転送し、
    　前記信号処理部は、最終段の前記第１クラスタから出力された前記時刻コードを受信するとともに、最終段の前記第２クラスタから出力されたデータを受信する、請求項１に記載の撮像装置。
  10. 　初段の前記第１クラスタは、前記時刻コード発生器から出力される前記時刻コードを保持し、
    　初段の前記第２クラスタは、対応する前記第１保持回路の保持データと、前記第２保持回路の保持データとを保持し、
    　二段目以降の前記第１クラスタは、前段の第１クラスタで保持された前記時刻コード発生器から順繰りに転送された前記時刻コードを保持し、
    　二段目以降の前記第２クラスタは、対応する前記第１保持回路の保持データと、対応する前記第２保持回路の保持データとを次段の前記第２クラスタ又は前記信号処理部に転送するとともに、前段の第２クラスタの保持データを次段の前記第２クラスタ又は前記信号処理部に転送する、請求項９に記載の撮像装置。
  11. 　前記複数の画素のデータを読み出す第１フレーム周期の間に、前記複数の画素分の前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持する期間と、前記複数の画素分の前記検出信号に対応する前記時刻コードを前記第２保持回路に保持する期間とが設けられ、
    　前記複数の第２クラスタのそれぞれは、前記第１フレーム周期に続く第２フレーム周期の間に、前記第１フレーム周期の間に前記第１保持回路で保持された前記複数の画素分の保持データと前記第２保持回路で保持された前記複数の画素分の保持データとを、次段の第２クラスタ又は前記信号処理部に転送する、請求項９に記載の撮像装置。
  12. 　前記複数の画素のデータを読み出すフレーム周期とは非同期に、前記複数の画素について前記検出信号の検出処理を開始し、前記検出信号が出力された画素についての前記検出信号に対応する前記時刻コードを前記第２保持回路に保持した後に、当該画素の前記検出信号をリセットして前記前記オートゼロ信号を出力するとともに、前記第２保持回路の保持データを対応する前記第２クラスタに転送し、その後、前記オートゼロ信号に対応する前記時刻コードを前記第１保持回路に保持した後に、当該画素について前記検出信号の検出処理を再開する、請求項９に記載の撮像装置。
  13. 　前記複数の画素のそれぞれは、前記複数の光電変換素子で生成された前記電気信号のリセットレベルをデジタル変換した第１デジタル信号と、前記電気信号をデジタル変換した第２デジタル信号とを生成するアナログ－デジタル変換器を有し、
    　前記第１保持回路は、前記オートゼロ信号又は前記第１デジタル信号に対応する前記時刻コードを保持し、
    　前記第２保持回路は、前記検出信号又は前記第２デジタル信号に対応する前記時刻コードを保持する、請求項１に記載の撮像装置。
  14. 　前記オートゼロ信号又は前記第１デジタル信号のいずれか一方を選択して前記第１保持回路に供給する第１選択器と、
    　前記検出信号又は前記第２デジタル信号のいずれか一方を選択して前記第２保持回路に供給する第２選択器と、を備え、
    　前記第１選択器及び前記第２選択器は、前記第１保持回路が前記オートゼロ信号に対応する前記時刻コードを保持する際には前記第２保持回路が前記検出信号に対応する前記時刻コードを保持し、前記第１保持回路が前記第１デジタル信号に対応する前記時刻コードを保持する際には前記第２保持回路が前記第２デジタル信号に対応する前記時刻コードを保持するように、連動して選択動作を行う、請求項１３に記載の撮像装置。
  15. 　前記時刻コード発生器は、グレイコードからなる前記時刻コードを出力する、請求項１に記載の撮像装置。
  16. 　それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する複数の画素の中で、前記電気信号の変化量の絶対値が所定の閾値を超えた場合に検出部から検出信号を出力し、
    　前記検出信号に基づいて、所定の信号処理を行い、
    　前記検出部を初期化するためのオートゼロ信号を出力し、
    　前記オートゼロ信号が出力されたときに、時刻コード発生器から出力された時刻コードを第１保持回路に保持し、
    　前記検出信号が出力されたときに、前記時刻コード発生器から出力された前記時刻コードを第２保持回路に保持し、
    　前記第１保持回路で保持された前記時刻コードと、前記第２保持回路で保持された前記時刻コードとを関連づけて信号処理部に転送する、撮像方法。
PCT/JP2021/023684 2020-07-02 2021-06-22 撮像装置及び撮像方法 WO2022004502A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022533898A JPWO2022004502A1 (ja) 2020-07-02 2021-06-22
US18/003,358 US20230247323A1 (en) 2020-07-02 2021-06-22 Imaging device and imaging method
CN202180045530.6A CN116057947A (zh) 2020-07-02 2021-06-22 成像装置和成像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020114996 2020-07-02
JP2020-114996 2020-07-02

Publications (1)

Publication Number Publication Date
WO2022004502A1 true WO2022004502A1 (ja) 2022-01-06

Family

ID=79316187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023684 WO2022004502A1 (ja) 2020-07-02 2021-06-22 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US20230247323A1 (ja)
JP (1) JPWO2022004502A1 (ja)
CN (1) CN116057947A (ja)
WO (1) WO2022004502A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022069011A (ja) * 2020-10-23 2022-05-11 キヤノン株式会社 半導体装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239722A1 (ja) * 2018-06-12 2019-12-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020048066A (ja) * 2018-09-19 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、及び、固体撮像素子の制御方法
JP2020088724A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088425A (ja) * 2018-11-16 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239722A1 (ja) * 2018-06-12 2019-12-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020048066A (ja) * 2018-09-19 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、及び、固体撮像素子の制御方法
JP2020088425A (ja) * 2018-11-16 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088724A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
JPWO2022004502A1 (ja) 2022-01-06
US20230247323A1 (en) 2023-08-03
CN116057947A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US11895398B2 (en) Imaging device and imaging system
EP3765866B1 (en) Light receiving device and distance measuring device
US11683606B2 (en) Imaging device and electronic equipment
WO2022009664A1 (ja) 撮像装置及び撮像方法
US20230047180A1 (en) Imaging device and imaging method
WO2021241120A1 (ja) 撮像装置及び撮像方法
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2022004502A1 (ja) 撮像装置及び撮像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2023248855A1 (ja) 光検出装置及び電子機器
WO2024122394A1 (ja) 光検出素子及び電子機器
WO2023032298A1 (ja) 固体撮像装置
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus
WO2024075492A1 (ja) 固体撮像装置及び比較装置
CN111868555B (zh) 光接收设备与距离测量设备
WO2022186040A1 (ja) 撮像装置、その駆動方法、および電子機器
WO2024057995A1 (ja) 光検出素子及び電子機器
WO2024043150A1 (ja) カメラシステム及びその制御方法
WO2024070523A1 (ja) 光検出素子及び電子機器
WO2023243497A1 (ja) 固体撮像素子、および、撮像装置
WO2022181265A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
TW202402036A (zh) 固態影像擷取裝置以及影像擷取設備

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21834278

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022533898

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21834278

Country of ref document: EP

Kind code of ref document: A1