WO2020166457A1 - 固体撮像装置及び撮像装置 - Google Patents

固体撮像装置及び撮像装置 Download PDF

Info

Publication number
WO2020166457A1
WO2020166457A1 PCT/JP2020/004411 JP2020004411W WO2020166457A1 WO 2020166457 A1 WO2020166457 A1 WO 2020166457A1 JP 2020004411 W JP2020004411 W JP 2020004411W WO 2020166457 A1 WO2020166457 A1 WO 2020166457A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
imaging device
circuit
solid
Prior art date
Application number
PCT/JP2020/004411
Other languages
English (en)
French (fr)
Inventor
風太 望月
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202080013149.7A priority Critical patent/CN113454985A/zh
Priority to US17/310,487 priority patent/US20220191417A1/en
Publication of WO2020166457A1 publication Critical patent/WO2020166457A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to a solid-state imaging device and an imaging device.
  • a synchronous solid-state imaging device that captures image data (frame) in synchronization with a synchronization signal such as a vertical synchronization signal has been used in an imaging device or the like.
  • image data can be acquired only every cycle (for example, 1/60 seconds) of a sync signal, so that higher-speed processing can be performed in fields such as traffic and robots. It becomes difficult to respond when requested. Therefore, an asynchronous solid-state image sensor has been proposed which includes a detection circuit that detects in real time that the amount of received light exceeds a threshold value as an address event.
  • This asynchronous solid-state imaging device is also called a DVS (Dynamic Vision Sensor).
  • DVS has been developed that reads out a brightness value according to the amount of received light from a pixel in which firing of an address event is detected to generate image data.
  • the present disclosure proposes a solid-state imaging device and an imaging device capable of improving image quality.
  • a solid-state imaging device includes a first photoelectric conversion element that generates an electric charge according to an amount of received light and an electric charge that is generated in the first photoelectric conversion element.
  • a plurality of unit pixels arranged in a matrix, and one or more first unit pixels in which the firing of the address event is detected, the unit pixels being arranged in a matrix.
  • a reset control unit that resets the second unit pixel, the reset control unit periodically resets one or more second unit pixels of the plurality of unit pixels.
  • FIG. 1 is a block diagram showing a schematic configuration example of a solid-state imaging device according to a first embodiment.
  • FIG. 3 is a circuit diagram showing a schematic configuration example of a unit pixel according to the first embodiment.
  • 4 is a waveform diagram showing a potential change of the capacitor in FIG. 3.
  • FIG. 4 is a waveform diagram showing an output signal output from the comparator in FIG. 3.
  • FIG. 4 is a diagram for explaining the operation of the logic circuit in FIG. 3.
  • FIG. 3 is a diagram for explaining an operation example of the solid-state imaging device according to the first embodiment (No. 1).
  • FIG. 1 is a block diagram showing a schematic configuration example of a solid-state imaging device according to a first embodiment.
  • FIG. 3 is a circuit diagram showing a schematic configuration example of a unit pixel according to the first embodiment.
  • 4 is a waveform diagram showing a potential change of the capacitor in FIG. 3.
  • FIG. 4 is a waveform diagram showing an output signal output from the comparator
  • FIG. 6 is a diagram for explaining an operation example of the solid-state imaging device according to the first embodiment (No. 2).
  • FIG. 6 is a diagram for explaining an operation example of the solid-state imaging device according to the first embodiment (No. 3).
  • FIG. 6 is a diagram for explaining an operation example of the solid-state imaging device according to the first embodiment (No. 4).
  • FIG. 8 is a diagram for explaining an operation example of the solid-state imaging device according to the first embodiment (No. 5).
  • FIG. 3 is a circuit diagram showing a schematic configuration example of a row signal generation circuit/column signal generation circuit according to the first embodiment.
  • FIG. 6 is a diagram for explaining that an object has passed within the angle of view of the pixel array unit according to the first embodiment.
  • FIG. 6 is a diagram for explaining superposition of image data acquired based on firing of an address event and image data acquired periodically according to the first embodiment. It is a figure which shows an example of the image data produced
  • FIG. 13 is a schematic diagram showing an example of a row pattern signal held in a row signal generation circuit and a column pattern signal held in a column signal generation circuit in a third example of the second embodiment.
  • FIG. 13 is a diagram for explaining a periodical shift in the row direction of unit pixels whose pixel signals are periodically read out in the first example of the third embodiment. It is a schematic diagram which shows an example of the row pattern signal hold
  • FIG. 13 is a diagram for explaining a periodical shift in the row direction of unit pixels whose pixel signals are periodically read out in the first example of the third embodiment.
  • FIG. 13 shows an example of the row pattern signal hold
  • 16 is a diagram for explaining a periodical shift in the column direction of unit pixels whose pixel signals are periodically read out in the second example of the third embodiment. It is a block diagram which shows the functional structural example of the solid-state imaging device which concerns on 4th Embodiment. It is a block diagram which shows the functional structural example of the solid-state imaging device which concerns on 5th Embodiment. 16 is a flowchart showing a schematic operation example of an event number determination circuit according to the fifth embodiment. It is a figure which shows an example of the enable signal of a high duty ratio which concerns on 5th Embodiment. It is a figure which shows an example of the enable signal of a low duty ratio which concerns on 5th Embodiment. It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a block diagram showing a schematic configuration example of the imaging device according to the first embodiment.
  • the imaging device 100 is, for example, a device for capturing a brightness image, and includes an optical system 110, a solid-state imaging device 200, and a DSP (Digital Signal Processing) circuit 120, as shown in FIG. Furthermore, the imaging device 100 includes a display unit 130, an operation unit 140, a bus 150, a frame memory 160, a storage unit 170, and a power supply unit 180.
  • a digital camera such as a digital still camera, a smartphone having an imaging function, a personal computer, an in-vehicle camera, or the like can be assumed.
  • the optical system 110 collects light from a subject and guides it to the solid-state imaging device 200.
  • the solid-state imaging device 200 generates brightness information for each pixel, for example, based on the charges generated by photoelectric conversion. Further, the solid-state imaging device 200 supplies the generated luminance information for each pixel to the DSP circuit 120 via the signal line 209.
  • the DSP circuit 120 executes predetermined signal processing on the brightness information from the solid-state imaging device 200. Then, the DSP circuit 120 outputs the processed brightness information to the frame memory 160 or the like via the bus 150.
  • the display unit 130 displays image data stored in the frame memory 160, for example.
  • the display unit 130 may be, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the operation unit 140 generates an operation signal according to a user operation.
  • the bus 150 is a common path for the optical system 110, the solid-state imaging device 200, the DSP circuit 120, the display unit 130, the operation unit 140, the frame memory 160, the storage unit 170, and the power supply unit 180 to exchange data with each other.
  • the frame memory 160 holds image data.
  • the image data is created in the frame memory 160, for example, by storing the brightness information for each pixel acquired by the solid-state imaging device 200 at an address in the frame memory 160 according to the arrangement of the pixel.
  • the storage unit 170 stores various data such as programs and various setting values for operating each unit of the imaging device 100.
  • the power supply unit 180 supplies power to the solid-state imaging device 200, the DSP circuit 120, the display unit 130, and the like.
  • the external interface (I/F) 190 is, for example, a transmission/reception unit such as a USB (Universal Serial Bus) or a LAN (Local Area Network) adapter, and transmits/receives data and the like to/from the external host 1000 and the like.
  • a transmission/reception unit such as a USB (Universal Serial Bus) or a LAN (Local Area Network) adapter
  • FIG. 2 is a block diagram showing a schematic configuration example of the solid-state imaging device according to the first embodiment.
  • the solid-state imaging device 200 includes a pixel array section 300.
  • a plurality of unit pixels 310 are arranged in a two-dimensional lattice shape (also referred to as a matrix shape).
  • a set of unit pixels arranged in a predetermined direction (horizontal direction in the drawing) in the pixel array unit 300 is referred to as a “row”, and a unit pixel is arranged in a direction perpendicular to the row (vertical direction in the drawing).
  • a set of arranged unit pixels is called a "column".
  • the solid-state imaging device 200 has a first row arbiter (first arbitration unit) 201A, a row reset circuit 202A, and a row reset circuit 202A arranged on one side in the row direction (the horizontal direction in the drawing) with respect to the pixel array section 300.
  • a row signal generation circuit 203A and a second row arbiter (second arbitration unit) 205A arranged on the other side are provided.
  • the solid-state imaging device 200 has a first column arbiter (first arbitration unit) 201B, a column reset circuit 202B, and a column reset circuit 202B which are arranged on one side in the column direction (vertical direction in the drawing) with respect to the pixel array unit 300.
  • a column signal generation circuit 203B and a second column arbiter (second arbitration unit) 205B arranged on the other side are provided.
  • first row arbiter 201A and the first column arbiter 201B are not distinguished, they are collectively referred to as the first arbiter 201.
  • the row reset circuit 202A and the column reset circuit 202B are not distinguished, they are collectively referred to as the reset circuit 202.
  • the row signal generation circuit 203A and the column signal generation circuit 203B are not distinguished, they are collectively referred to as the signal generation circuit 203.
  • the second row arbiter 205A and the second column arbiter 205B are not distinguished, they are collectively referred to as the second arbiter 205.
  • the solid-state imaging device 200 based on the request signal input from the first arbiter 201 or the second arbiter 205, address information indicating the position in the pixel array unit 300 of the unit pixel 310 in which the firing of the address event is detected. And a time stamp indicating the time when the firing of the address event is detected.
  • the control circuit 220 also generates the pixel value of the unit pixel 310 to be read based on the request signal input from the second arbiter 205.
  • control circuit 220 causes the row signal generation circuit 203A and the column signal generation circuit 203B to change between "0" and "1" in a predetermined cycle or randomly (hereinafter referred to as a pattern signal).
  • enable signals (a row enable signal and a column enable signal described later) are input.
  • the bit pattern of the pattern signal (hereinafter, referred to as a row pattern signal) input to the row signal generation circuit 203A and the bit pattern of the pattern signal (hereinafter, referred to as a column pattern signal) input to the column signal generation circuit 203B are , Can be different.
  • This pattern signal may be an example of the second reset signal in the claims.
  • the solid-state imaging device 200 includes a row reset signal (for example, a signal of "0” or “1”) output from the row reset circuit 202A and a row pattern signal output from the row signal generation circuit 203A.
  • a row logical sum (OR) circuit 204A that takes the logical sum of each column, a column reset signal (for example, a signal of "0” or “1”) output from the column reset circuit 202B, and a column signal generation circuit 203B.
  • a column logical sum (OR) circuit 204B for obtaining a logical sum for each column with the column pattern signal.
  • the reset signal may be an example of the first reset signal in the claims.
  • FIG. 3 is a circuit diagram showing a configuration example of the unit pixel according to the first embodiment.
  • FIG. 4 is a waveform diagram showing a potential change of the capacitor in FIG.
  • FIG. 5 is a waveform diagram showing an output signal output from the comparator in FIG.
  • FIG. 6 is a diagram for explaining the operation of the logic circuit in FIG. Note that, in FIG. 3, for simplification of description, the first row arbiter 201A and the first column arbiter 201B are not distinguished and are referred to as the first arbiter 201, and the row reset circuit 202A and the column reset circuit 202B are not distinguished. Further, the reset circuit 202 is used as the second arbiter 205 without distinguishing between the second row arbiter 205A and the second column arbiter 205B.
  • the unit pixel 310 includes a first photodiode 311 and a charge detection unit 312 as a configuration for detecting whether or not an address event is fired.
  • the first photodiode 311 may be a photoelectric conversion element that photoelectrically converts incident light to generate charges.
  • the address event includes an on event and an off event
  • the detection result may include a 1-bit on-event detection result and a 1-bit off-event detection result.
  • the on-event fires when the light amount received by the light receiving element of the unit pixel 310 changes to a value larger than a predetermined reference value and the absolute value of the change amount exceeds a predetermined threshold value.
  • the off event is fired when the absolute value of the change amount exceeds a predetermined threshold value.
  • the charge detection unit 312 detects the firing of an address event based on the charge generated in the first photodiode 311. When the firing of the address event is detected, the charge detection unit 322 requests the request signal Req_T that requests resetting of the charges stored in the pixel value generating capacitor 314 (hereinafter, simply referred to as resetting of the unit pixel 310). Is transmitted to the first arbiter 201.
  • the charge detection unit 312 When the charge detection unit 312 inputs the response signal AcK_T to the request signal Req_T from the first arbiter 201 from the first arbiter 201, it resets itself and starts monitoring the firing of the next address event.
  • the unit pixel 310 of the self is detected in the charge detection unit 312 via the reset circuit 202 (target area).
  • a signal ROI_T indicating that it belongs to a region) may be input.
  • the unit pixel 310 includes a second photodiode 313, a capacitor 314, a reset transistor 315, a comparator 316, a logic circuit 317, and a switch 318 as a configuration for generating a pixel value.
  • the second photodiode 313 may be a photoelectric conversion element that photoelectrically converts incident light to generate charges.
  • the capacitor 314, the reset transistor 315, the comparator 316, the logic circuit 317, and the switch 318 may be, for example, an example of a generation circuit in the claims.
  • one electrode (hereinafter referred to as the first electrode) is connected to the cathode of the second photodiode 313, and the other electrode (hereinafter referred to as the second electrode) is grounded.
  • the reset signal Rst_B When the reset signal Rst_B is input to the gate of the reset transistor 315 from the reset circuit 202, the first electrode of the capacitor 314 is connected to the power supply voltage VDD, whereby a predetermined amount of charge is accumulated in the capacitor 314 (reset state). ). At that time, the charge accumulated in the second photodiode 313 may be released to the power supply voltage VDD.
  • the electric charge accumulated in the capacitor 314 is rapidly discharged, so that the potential Vint of the first electrode rapidly increases as shown by the waveform L1. Decrease. That is, when the period required for the potential Vint to decrease from the reset level V0 to the reference voltage Vref when the amount of incident light is large is T1, the period T1 is shorter than the period T0.
  • the comparator 316 compares the potential Vint of one electrode of the capacitor 314 with the reference voltage VrefH/VrefL input from the outside, and as a result, outputs the output signal Vout of “0” or “1”.
  • the comparator 316 keeps the high level (VDD level) over the period T0. While outputting the output signal Vout, when the amount of light incident on the second photodiode is large, the high-level (VDD level) output signal Vout is output over a period T1 shorter than the period T0.
  • the logic circuit 317 inputs the reset signal Rst_B from the reset circuit 202, the output signal Vout from the comparator 316, and the response signal Ack_B from the second arbiter 205, and based on the result of logical operation of these, a request signal. Req_B[H/L] is output.
  • the logic circuit 317 switches the reference voltage input to the comparator 316 between the reference voltage VrefH having a high voltage level and the reference voltage VrefL having a low voltage level based on the result of the logical operation. Is output to the switch 318.
  • the logic circuit 317 when the high-level reset signal Rst_B is input, the switching signal Refsel that switches the switch 318 so that the reference voltage VrefH is input to the comparator 316. Is output. After that, when the potential Vint of the first electrode of the capacitor 314 becomes lower than the reference voltage VrefH and the output signal Vout from the comparator 316 switches from “1” to “0”, the logic circuit 317 makes the first request signal Req_BH. Is transmitted to the second arbiter 205.
  • the logic circuit 317 inputs the response signal Ack_BH for the first request signal Req_BH from the second arbiter 205, it outputs the switching signal Refsel for switching the switch 318 so that the reference voltage VrefL is input to the comparator 316.
  • the reference voltage input to the comparator 316 switches from the reference voltage VrefH to the reference voltage VrefL, and the output signal output from the comparator 316 rises from "0" to "1".
  • the logic circuit 317 changes the second request signal Req_BL to the first signal. 2 Send to the arbiter 205.
  • the unit pixel 310 When the unit pixel 310 detects the firing of the address event, as shown in FIG. 7, the unit pixel 310 transmits a row request signal Req_TA requesting a reset to the unit pixel 310 to the first row arbiter 201A and also to the unit pixel 310.
  • a column request signal Req_TB requesting a reset is transmitted to the first column arbiter 201B.
  • the row request signal Req_TA and the column request signal Req_TB correspond to the above-mentioned request signal Req_T, and in the present description, when the row request signal Req_TA and the column request signal Req_TB are not distinguished, they are simply referred to as the request signal Req_T. ..
  • the first row arbiter 201A specifies the row address of the unit pixel 310 that is the transmission source of the row request signal Req_TA, and the row input from one or more unit pixels 310. Arbitrate the request signal Req_TA. Then, the first row arbiter 201A inputs the arbitration result to the row reset circuit 202A and also transmits the row response signal Ack_TA to the unit pixel 310 that is the transmission source of the row request signal Req_TA. Similarly, the first column arbiter 201B identifies the column address of the unit pixel 310 that is the transmission source of the column request signal Req_TB, and arbitrates the column request signal Req_TB input from one or more unit pixels 310.
  • the first column arbiter 201B inputs the arbitration result to the column reset circuit 202B and transmits the column response signal Ack_TB to the unit pixel 310 that is the transmission source of the column request signal Req_TB.
  • the row response signal Ack_TA and the column response signal Ack_TB correspond to the response signal Ack_T described above, and in the present description, when the row response signal Ack_TA and the column response signal Ack_TB are not distinguished, they are simply referred to as the response signal Ack_T. ..
  • the first row arbiter 201A and the first column arbiter 201B input the address information (row address and column address) of the unit pixel 310 in which the firing of the address event is detected to the control circuit 220.
  • the control circuit 220 generates a time stamp indicating the time when the address information is input from the first row arbiter 201A and the first column arbiter 201B, and the address information and the time stamp are sent to the DSP circuit 120 as an event detection signal. Output.
  • the output event detection signal may be stored in the frame memory 160 after being subjected to predetermined processing in the DSP circuit 120, or may be transmitted to the host 1000 via the external I/F 190.
  • the row reset circuit 202A outputs a row reset signal Rst_BA to the unit pixel 310 in which the firing of the address event is detected according to the arbitration result input from the first row arbiter 201A.
  • the column reset circuit 202B outputs a column reset signal Rst_BB to the unit pixel 310 in which the firing of the address event is detected according to the arbitration result input from the first column arbiter 201B.
  • the unit pixels 310 in which the firing of the address event has been detected are sequentially reset.
  • the row reset signal Rst_BA and the column reset signal Rst_BB correspond to the reset signal Rst_B described above, and in the present description, when the row reset signal Rst_BA and the column reset signal Rst_BB are not distinguished, they are simply referred to as the reset signal Rst_B. ..
  • the unit pixel 310 in which the capacitor 314 has been reset then, when the potential Vint of the first electrode of the capacitor 314 drops due to the exposure of the second photodiode 313 and falls below the reference voltage VrefH, as shown in FIG.
  • the request signal Req_BAH is transmitted to the second row arbiter 205A, and the column request signal Req_BBH is transmitted to the second column arbiter 205B.
  • the row request signal Req_BAH and the column request signal Req_BBH correspond to the above-mentioned request signal Req_BH, and in the present description, when the row request signal Req_BAH and the column request signal Req_BBH are not distinguished, they are simply referred to as the request signal Req_BH. ..
  • the second row arbiter 205A specifies the row address of the unit pixel 310 that is the transmission source of the row request signal Req_BAH, inputs the specified row address to the control circuit 220, and The row response signal Ack_BAH is transmitted to the unit pixel 310.
  • the second column arbiter 205B identifies the column address of the unit pixel 310 that is the transmission source of the column request signal Req_BBH, inputs the identified column address to the control circuit 220, and outputs a row response signal to the unit pixel 310. Send Ack_BBH.
  • the row response signal Ack_BAH and the column response signal Ack_BBH correspond to the above-mentioned response signal Ack_BH, and in the present description, when the row response signal Ack_BAH and the column response signal Ack_BBH are not distinguished, they are simply referred to as the response signal Ack_BH. ..
  • the unit pixel 310 After receiving the row response signal Ack_BAH and the column response signal Ack_BBH, the unit pixel 310 receives the second photodiode 313 continuously and the potential Vint of the first electrode of the capacitor 314 becomes lower than the reference voltage VrefL. As shown in, the row request signal Req_BAL is transmitted to the second row arbiter 205A, and the column request signal Req_BBL is transmitted to the second column arbiter 205B.
  • the row request signal Req_BAL and the column request signal Req_BBL correspond to the above-mentioned request signal Req_BL, and in the present description, when the row request signal Req_BAL and the column request signal Req_BBL are not distinguished, they are simply referred to as the request signal Req_BHL. ..
  • the control circuit 220 When the row request signals Req_BAH and Req_BAL and the column request signals Req_BBH and Req_BBL are input as described above, the control circuit 220 generates a time stamp indicating the time when each signal is input. To do. Then, the time difference from the timing when the row request signal Req_BAH and the column request signal Req_BBH are input to the timing when the row request signal Req_BAL and the column request signal Req_BBL are input is specified from the time stamps generated above, and is set to the specified time difference. Based on this, the pixel value of the unit pixel 310 is generated. Then, the generated pixel value is output to the DSP circuit 120 as a pixel signal. In the following description, “generating a pixel value for the unit pixel 310 and outputting it as a pixel signal” is referred to as “reading a pixel signal from the unit pixel 310”.
  • the read pixel signal may be stored in the frame memory 160 after being subjected to predetermined processing in the DSP circuit 120, or may be transmitted to the host 1000 via the external I/F 190.
  • FIG. 12 is a circuit diagram showing a schematic configuration example of the row signal generation circuit/column signal generation circuit according to the first embodiment.
  • the row signal generation circuit 203A and the column signal generation circuit 203B may have the same circuit configuration.
  • the signal generation circuit 203 includes a plurality of D-flip-flops (hereinafter simply referred to as flip-flops) 231 as shift registers provided for each row or each column, and also for each row or each column. And a plurality of logical product (AND) circuits 232 provided.
  • D-flip-flops hereinafter simply referred to as flip-flops
  • AND logical product
  • the plurality of flip-flops 231 are connected in multiple stages such that the output Q of the front-stage flip-flop 231 is input to the input D of the rear-stage flip-flop 231.
  • the row pattern signal PTNR or the column pattern signal PTNC is input from the control circuit 220 to the input D of the flip-flop 231 arranged in the first stage bit by bit.
  • the clock CLK output from the control circuit 220 or another circuit in a predetermined cycle is input to the clock terminal of each flip-flop 231.
  • the flip-flop 231 of each stage outputs 1 bit of the row pattern signal PTNR or the column pattern signal PTNC input to the input D from the control circuit 220 or the flip-flop 231 of the previous stage from the output Q in synchronization with the clock CLK. It is input to the input D of the flip-flop 231 in the subsequent stage. Therefore, the row pattern signal PTNR or the column pattern signal PTNC input to the input D of the first-stage flip-flop 231 is sequentially input to the input D of the second-stage flip-flop 231 in one clock cycle.
  • the output Q of the final stage flip-flop 231 may be connected to the input D of the initial stage flip-flop 231, for example.
  • the signal pattern signal PTNR column pattern signal PTNC may circulate in the row signal generation circuit 203A or the column signal generation circuit 203B. ..
  • the output of the flip-flop 231 at each stage is also input to one input of the AND circuit 232 provided for each row or each column.
  • the row enable signal ENR or the column enable signal ENC supplied from the control circuit 220 is input to the other input of the AND circuit 232. Therefore, each AND circuit 232 outputs the row pattern signal PTNR or the column pattern signal output from the output Q of the flip-flop 231 in each stage while the row enable signal or the column enable signal is at a high level (for example, “1”).
  • the PTNC is output to the row OR circuit 204A or the column OR circuit 204B.
  • the row OR circuit 204A provided for each row has a row reset signal Rst_BA output from the row reset circuit 202A and a row pattern signal PTNR output from the row signal generation circuit 203A.
  • the row request signal Req_TA and outputs the result to the unit pixel 310 that is the transmission source of the row request signal Req_TA.
  • the column OR circuit 204B provided for each column takes the logical sum of the column reset signal Rst_BB output from the column reset circuit 202B and the column pattern signal PTNC output from the column signal generation circuit 203B, The result is output as a column reset signal Rst_BB to the unit pixel 310 that is the transmission source of the column request signal Req_TB.
  • the reset signal Rst_B is pseudo-supplied based on the pattern signal PTN to the unit pixel 310 in which the firing of the address event is not detected. Readout becomes possible.
  • the OR circuit 204 when the row OR circuit 204A and the column OR circuit 204B are not distinguished, they are simply referred to as the OR circuit 204. Further, the reset circuit 202, the signal generation circuit 203, and the OR circuit 204 in the present embodiment may be an example of the reset control unit in the claims.
  • the luminance image acquired by the above-described present embodiment will be described in detail below with reference to the drawings.
  • the pixel array unit 300 is composed of 36 unit pixels 310 of 6 ⁇ 6 pixels in total, and image data (luminance image) of 6 ⁇ 6 pixels is stored in the frame memory 160.
  • image data luminance image
  • the frame memory 160 may be replaced with the host 1000.
  • An event may occur in which only some of the unit pixels 310X of the corresponding unit pixels 310 detect the firing of the address event and the other unit pixels 310 do not detect the firing of the address event.
  • a pixel signal is periodically read from any one or more unit pixels 310Y at a fixed read cycle described later. Then, as shown in FIG. 17, the image data G0 acquired on the basis of the firing of the address event and the image data G1 composed of the pixel signals periodically read are overlapped in the frame memory 160, for example. Then, the image data G2 in which the image data G0 and the image data G1 are integrated is created in the frame memory 160.
  • the arbitrary one or more unit pixels 310Y to be read periodically are the unit pixels 310 specified by the row pattern signal PTNR and the column pattern signal PTNC described above.
  • the missing portion of the pixels corresponding to the object OB in the image data G0 is interpolated by the image data G1. Therefore, as illustrated in FIG. 18, the object OB is more accurately copied. Thus, it becomes possible to generate high-quality image data G2.
  • the image data G0 may be, for example, image data composed of pixel signals read from the solid-state imaging device 200 within a certain period (event aggregation period).
  • a cycle of generating one image data G0 is called an event aggregation cycle
  • a cycle of reading a pixel signal from the unit pixel 310Y is called a fixed read cycle.
  • the image data G1 to be integrated with the image data G0 is not limited to one, but may be a plurality. That is, pixel signals are periodically read from a plurality of unit pixels 310Y a plurality of times within a certain event aggregation period, and a plurality of image data G1 made up of pixel signals read in each fixed read period are converted into image data G0. It is also possible to generate higher-quality image data G2 by superimposing it on.
  • unit pixels (hereinafter, referred to as periodic read target unit pixels) 310Y for periodically reading pixel signals irrespective of firing of an address event are set to “0” and “1”.
  • the case where and are specified using a pattern signal that changes in a predetermined cycle or changes randomly is illustrated.
  • the unit pixel 310Y to be periodically read is fixed will be described with an example.
  • the imaging device 100 and the solid-state imaging device 200 according to this embodiment may be the same as those according to the first embodiment.
  • the pixel array unit 300 is composed of a total of 36 unit pixels 310 of 6 ⁇ 6 pixels, and the image data of 6 ⁇ 6 pixels is stored in the frame memory 160 or the host 1000.
  • a (luminance image) is generated will be exemplified.
  • the same configurations, operations, and effects as those of the above-described embodiment will be cited, and detailed description thereof will be omitted.
  • FIG. 19 is a schematic diagram showing an example of a column pattern signal held in the column signal generation circuit in the first example.
  • the column signal generation circuit 203B outputs a column signal during the period when each flip-flop 231 outputs a specific column pattern signal PTNC.
  • the enable signal ENC is input.
  • each flip-flop 231 in the column signal generation circuit 203B is The column enable signal ENC is input to the column signal generation circuit 203B in a state in which “0”, “1”, “0”, “0”, “0”, and “0” are held in this order. ..
  • the row pattern signal PTNR held in each flip-flop 231 of the row signal generation circuit 203A when the column enable signal ENC is input to the column signal generation circuit 203B may be all “1” or “0”. And “1” may be a bit string arranged in a predetermined bit pattern, or "0" and “1” may be a bit string arranged randomly.
  • the column enable signal ENC is input to the column signal generation circuit 203B, and at the same time, the row enable signal ENR is also input to the row signal generation circuit 203A, whereby the unit pixel 310Y to be periodically read is specified.
  • the image data G0 (for example, see FIG. 17) acquired based on the firing of the address event.
  • the missing part in the image data G0 can be interpolated by the image data G1. This makes it possible to generate high-quality image data G2.
  • FIG. 21 is a schematic diagram showing an example of a row pattern signal held in the row signal generation circuit in the second example.
  • the row signal generation circuit 203A outputs a row during a period in which each flip-flop 231 outputs a specific row pattern signal PTNR.
  • the enable signal ENR is input.
  • each flip-flop 231 in the row signal generation circuit 203A is The row enable signal ENR is input to the row signal generation circuit 203A in the order of holding “0”, “1”, “0”, “0”, “0”, and “0”. ..
  • the column pattern signal PTNC held in each flip-flop 231 of the column signal generation circuit 203B when the row enable signal ENR is input to the row signal generation circuit 203A may be all “1” or “0”.
  • “1” may be a bit string arranged in a predetermined bit pattern, or "0" and “1” may be a bit string arranged randomly.
  • the row enable signal ENR is input to the row signal generation circuit 203A, and at the same time, the column enable signal ENC is input to the column signal generation circuit 203B, whereby the unit pixel 310Y to be periodically read is specified.
  • image data G0 (for example, see FIG. 17) acquired based on the firing of an address event
  • the missing part in the image data G0 can be interpolated by the image data G1. This makes it possible to generate high-quality image data G2.
  • FIG. 23 is a schematic diagram showing an example of a row pattern signal held in the row signal generation circuit 203A and a column pattern signal held in the column signal generation circuit in the third example.
  • the unit pixel 310 of 2 ⁇ 2 pixels in the upper left corner and the unit pixel 310 of 2 ⁇ 2 pixels in the lower right corner of the unit pixels 310 arranged in a matrix in the pixel array unit 300 are shown.
  • the unit pixel 310Y to be periodically read is illustrated.
  • each flip-flop 231 has a specific row in the row signal generation circuit 203A.
  • the row enable signal ENR is input while the pattern signal PTNR is output, and the column enable signal ENC is input to the column signal generation circuit 203B while each flip-flop 231 is outputting the specific column pattern signal PTNC. ..
  • the flip-flops 231 in the row signal generation circuit 203A are arranged in order from the top to '1', '1', '0', '0', '1', '1. ', and each flip-flop 231 in the column signal generation circuit 203B holds "1", “1", “0", “0", “1", “1” in order from the left.
  • the row enable signal ENR is input to the row signal generation circuit 203A
  • the column enable signal ENC is input to the column signal generation circuit 203B.
  • the unit pixel 310Y to be periodically read is specified.
  • the acquisition is performed based on the firing of the address event.
  • the missing image data G0 (for example, see FIG. 17) and the periodically acquired image data G1 are overlapped with each other, for example, in the frame memory 160 or the host 1000, so that the missing portion of the image data G0 is image data. It becomes possible to interpolate by G1. This makes it possible to generate high-quality image data G2.
  • the imaging device 100 and the solid-state imaging device 200 according to this embodiment may be the same as those according to the first embodiment.
  • the pixel array unit 300 is composed of a total of 36 unit pixels 310 of 6 ⁇ 6 pixels, and the image data of 6 ⁇ 6 pixels is stored in the frame memory 160 or the host 1000.
  • a (luminance image) is generated will be exemplified.
  • the same configurations, operations, and effects as those of the above-described embodiment will be cited, and detailed description thereof will be omitted.
  • FIG. 25 is a schematic diagram showing an example of a column pattern signal held in the column signal generation circuit in the first example.
  • the column pattern signal PTNC held by each flip-flop 231 of the column signal generation circuit 203B is left in a certain period. From 0 to 0, 0, 0, 0 and 1 in order, the column pattern signal PTNC held by each flip-flop 231 of the column signal generation circuit 203B in the next cycle is From the left, they are "0", "0", “1", "0", "0", and "0".
  • the column enable signal ENC is input to the column signal generation circuit 203B every 3 clocks CLK.
  • the column enable signal ENC is input to the column signal generation circuit 203B every time the column pattern signal PTNC of '1' is shifted to the left by three columns, so that as illustrated in FIG. It becomes possible to periodically shift the unit pixel 310Y to be periodically read by three columns in the row direction.
  • the row pattern signal PTNR held in each flip-flop 231 of the row signal generation circuit 203A when the column enable signal ENC is input to the column signal generation circuit 203B may be all “1” or “0”. And “1” may be a bit string arranged in a predetermined bit pattern, or "0" and “1” may be a bit string arranged randomly.
  • the column enable signal ENC is input to the column signal generation circuit 203B, and at the same time, the row enable signal ENR is also input to the row signal generation circuit 203A, whereby the unit pixel 310Y to be periodically read is specified.
  • the image data G0 (for example, see FIG. 17) acquired based on the firing of the address event is periodically acquired.
  • the generated image data G1 in the frame memory 160 or the host 1000 for example, it is possible to interpolate the missing part in the image data G0 by the image data G1. This makes it possible to generate high-quality image data G2.
  • the pixels forming the image data G1 that are periodically acquired are different each time, by setting a plurality of image data G1 to be integrated with the image data G0, more missing portions in the image data G0 are interpolated. It becomes possible. As a result, it is possible to generate higher quality image data G2.
  • FIG. 27 is a schematic diagram showing an example of a row pattern signal held in the row signal generation circuit in the second example.
  • the row pattern signal PTNR held by each flip-flop 231 of the row signal generation circuit 203A is increased in a certain cycle.
  • the row pattern signal PTNR held by each flip-flop 231 of the row signal generation circuit 203A in the following cycle is represented by 0', '1', '0', '0', '0', '0', '0', '0'. From top to bottom, they are "0", "0", "0", "1", "0", and "0".
  • the row enable signal ENR is input to the row signal generation circuit 203A every two clocks CLK.
  • the row enable signal ENR is input to the row signal generation circuit 203A, and as illustrated in FIG. It becomes possible to periodically shift the unit pixel 310Y to be periodically read by two rows in the column direction.
  • the column pattern signal PTNC held in each flip-flop 231 of the column signal generation circuit 203B when the row enable signal ENR is input to the row signal generation circuit 203A may be all “1” or “0”.
  • “1” may be a bit string arranged in a predetermined bit pattern, or "0" and “1” may be a bit string arranged randomly.
  • the row enable signal ENR is input to the row signal generation circuit 203A, and at the same time, the column enable signal ENC is input to the column signal generation circuit 203B, whereby the unit pixel 310Y to be periodically read is specified.
  • the image data G0 (for example, refer to FIG. 17) acquired based on the firing of the address event and the periodically acquired image data G0.
  • the generated image data G1 in the frame memory 160 or the host 1000 for example, it is possible to interpolate the missing part in the image data G0 by the image data G1. This makes it possible to generate high-quality image data G2.
  • the pixels forming the image data G1 that are periodically acquired are different each time, by setting a plurality of image data G1 to be integrated with the image data G0, more missing portions in the image data G0 are interpolated. It becomes possible. As a result, it is possible to generate higher quality image data G2.
  • FIG. 29 is a block diagram illustrating a functional configuration example of the solid-state imaging device according to the fourth embodiment.
  • the control circuit 220 includes a pseudo random number generator 240 in the same configuration as the solid-state imaging device 200 described in the first embodiment with reference to FIG. ..
  • the pseudo random number generator 240 is, for example, a digital circuit configured using a linear feedback shift register (LFSR) or the like, and generates a pseudo random number using a seed.
  • LFSR linear feedback shift register
  • the pseudo random number generator 240 holds, for example, a seed table in which a plurality of seeds are enumerated, and generates a pseudo random number using a seed corresponding to a seed number input from the outside.
  • the seed number may be designated as random or round robin from the outside of the pseudo random number generator 240, the control circuit 220, the DSP circuit 120, the host 1000, or the like, for example.
  • the pseudo random number generator 240 may not include the seed table, and the seed may be input to the pseudo random number generator 240 from outside the DSP circuit 120, the host 1000, or the like.
  • the pseudo random number generator 240 may change the seed used for each fixed read cycle, or may change the seed used for each fixed read cycle.
  • the image data G0 (for example, see FIG. 17) acquired based on the firing of the address event and the periodic
  • the image data G1 acquired in step S1 By superimposing the image data G1 acquired in step S1 on the frame memory 160 or the host 1000, for example, the missing part in the image data G0 can be interpolated by the image data G1. This makes it possible to generate high-quality image data G2.
  • the pixels forming the image data G1 that are periodically acquired are different each time, by setting a plurality of image data G1 to be integrated with the image data G0, more missing portions in the image data G0 are interpolated. It becomes possible. As a result, it is possible to generate higher quality image data G2.
  • the read cycle for the unit pixel 310Y is changed according to the number of address event firings per unit time.
  • this embodiment about the same structure, operation, and effect as the above-mentioned embodiment, it cites them and detailed description is abbreviate
  • the base embodiment is not limited to the fourth embodiment and may be another embodiment. ..
  • FIG. 30 is a block diagram illustrating a functional configuration example of the solid-state imaging device according to the fifth embodiment.
  • the solid-state imaging device 200B has the same configuration as the solid-state imaging device 200A described with reference to FIG. 29 in the fourth embodiment, and the control circuit 220 further includes an event number determination circuit 250. ..
  • the first row arbiter 201A and the first column arbiter 201B input the row request signal Req_TA and the column request signal Req_TB to the event number determination circuit 250.
  • the event number determination circuit 250 for example, based on the input row request signal Req_TA and column request signal Req_TB, the number of address events fired per unit time (for example, one event aggregation cycle) (hereinafter referred to as the actual event number. ) Is measured, and the duty ratio of the row enable signal ENR and/or the column enable signal ENC input to the row signal generation circuit 203A and/or the column signal generation circuit 203B is changed based on the measured number of actual events.
  • FIG. 31 is a flowchart showing a schematic operation example of the event number determination circuit according to the fifth embodiment.
  • the event number determination circuit 250 determines the actual event number N per unit time based on the row request signal Req_TA and the column request signal Req_TB input from the first row arbiter 201A and the first column arbiter 201B. Is counted (step S501).
  • the event number determination circuit 250 compares, for example, the actual event number N per unit time with a preset threshold value N_th (step S502). When the actual event number N is smaller than the threshold value N_th (NO in step S502), the event number determination circuit 250 sets a high duty ratio to the duty ratio of the row enable signal ENR and/or the column enable signal ENC (step S503). , And proceeds to step S505. For example, as shown in FIG. 32, the duty ratio of the row enable signal ENR and/or the column enable signal ENC is set to 50%.
  • the event number determination circuit 250 sets the duty ratio of the row enable signal ENR and/or the column enable signal ENC to a low duty ratio.
  • the setting is made (step S504), and the process proceeds to step S505.
  • the duty ratio of the row enable signal ENR and/or the column enable signal ENC is set to 25%, which is less than 50% (see FIG. 32).
  • step S505 the event number determination circuit 250 determines whether or not to end this operation, and if it ends (YES in step S505), ends this operation and does not end (NO in step S505), step The process returns to S501 and the subsequent operations are executed.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 34 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051 As a functional configuration of the integrated control unit 12050, a microcomputer 12051, a voice image output unit 12052, and an in-vehicle network I/F (Interface) 12053 are shown.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjustment and a control device such as a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 12020 receives input of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or impact mitigation of the vehicle, follow-up traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 35 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the image capturing unit 12031 includes image capturing units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image capturing units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 35 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100).
  • the closest three-dimensional object on the traveling path of the vehicle 12100 which is traveling at a predetermined speed (for example, 0 km/h or more) in the substantially same direction as the vehicle 12100, can be extracted as a preceding vehicle. it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031, the driver state detection unit 12041, and the like among the configurations described above.
  • a plurality of first photoelectric conversion elements that generate electric charges according to the amount of received light and a detection unit that detects the firing of an address event based on the electric charges generated in the first photoelectric conversion elements are arranged in a matrix.
  • the reset control unit A reset circuit for generating a first reset signal for resetting the first unit pixel; A signal generating circuit for periodically generating a second reset signal for resetting the second unit pixel; An OR circuit for ORing the reset circuit and the signal generation circuit, The solid-state imaging device according to (1) above.
  • the signal generation circuit includes a shift register in which a plurality of flip-flops are connected in multiple stages,
  • the OR circuit is provided in a one-to-one correspondence with each row and each column of the plurality of unit pixels arranged in the matrix,
  • Each of the plurality of flip-flops has a one-to-one correspondence with each row and each column of the plurality of unit pixels arranged in the matrix,
  • Each of the logical sum circuits performs a logical sum of the second reset signal output from the flip-flop corresponding to the row to which the logical sum circuit corresponds and the first reset signal output from the reset circuit.
  • the solid-state imaging device according to (2) above, which outputs the result of the logical sum to the first or second unit pixel.
  • the solid-state imaging device (4) The solid-state imaging device according to (2) or (3), wherein the signal generation circuit periodically outputs the second reset signal having a predetermined bit pattern to the OR circuit.
  • the signal generation circuit includes a row signal generation circuit that generates the second reset signal for each row in the matrix and a column signal generation circuit that generates the second reset signal for each column.
  • the solid-state imaging device according to any one of 4).
  • At least one of the row signal generation circuit and the column signal generation circuit periodically outputs the second reset signal having a fixed bit pattern to the logical sum circuit. apparatus.
  • the solid-state imaging device changes the bit pattern of the second reset signal in a predetermined cycle.
  • the control circuit counts the number of unit pixels that have detected the firing of the address event per predetermined period of the plurality of unit pixels, and the number of the unit pixels that has detected the firing of the address event is predetermined. When it is less than a threshold value, the enable signal having a first duty ratio is output to the signal generation circuit, and when the number of the unit pixels that have detected the firing of the address event is equal to or more than the predetermined threshold value, the first duty ratio.
  • a first arbitration unit that arbitrates a reading order of pixel values for the first unit pixel, The solid-state imaging device according to any one of (1) to (11), wherein the reset control unit resets the first unit pixel according to the reading order arbitrated by the first arbitration unit.
  • Each of the unit pixels includes a second photoelectric conversion element that generates electric charge according to the amount of received light, and a generation circuit that generates a detection signal for generating a pixel value based on the electric charge generated in the second photoelectric conversion element.
  • the solid-state imaging device further including: (14)
  • the generation circuit includes a capacitor having one electrode connected to the second photoelectric conversion element, a comparator for comparing a potential of the one electrode of the capacitor with a reference voltage, and the reference voltage input to the comparator.
  • a switch that switches between a first reference voltage and a second reference voltage having a voltage value lower than the first reference voltage, and a logic circuit that outputs a detection signal based on a comparison result by the comparator.
  • the solid-state imaging device 15) The first detection signal output from the logic circuit when the potential of the one electrode of the capacitor falls below the first reference voltage, and the potential of the one electrode falls below the second reference voltage.
  • the solid-state imaging device further including a second arbitration unit that generates the pixel value based on a second detection signal output from the logic circuit at that time.
  • a solid-state imaging device An optical system for forming an image of incident light on the light receiving surface of the solid-state imaging device, A memory for storing image data acquired by the solid-state imaging device, Equipped with The solid-state imaging device, A plurality of first photoelectric conversion elements that generate electric charges according to the amount of received light and a detection unit that detects the firing of an address event based on the electric charges generated in the first photoelectric conversion elements are arranged in a matrix.
  • Unit pixel of A reset control unit that resets, of the plurality of unit pixels, one or more first unit pixels in which the firing of the address event is detected; Equipped with The reset controller may periodically reset at least one second unit pixel of the plurality of unit pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

画質を向上する。実施形態に係る固体撮像装置は、それぞれ、受光量に応じた電荷を発生させる第１光電変換素子（３１１）と、前記第１光電変換素子に発生した電荷に基づいてアドレスイベントの発火を検出する検出部（３１２）とを備え、行列状に配列する複数の単位画素（３１０）と、前記複数の単位画素のうち、前記アドレスイベントの発火が検出された１以上の第１単位画素をリセットするリセット制御部（２０２）とを備え、前記リセット制御部は、前記複数の単位画素のうちの１以上の第２単位画素を周期的にリセットする。

Description

固体撮像装置及び撮像装置
　本開示は、固体撮像装置及び撮像装置に関する。
　従来より、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像装置が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像装置では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、受光量が閾値を超えたことをアドレスイベントとしてリアルタイムに検出する検出回路を設けた非同期型の固体撮像素子が提案されている。この非同期型の固体撮像装置は、ＤＶＳ（Dynamic　Vision　Sensor）とも称される。
　また、近年では、アドレスイベントの発火が検出された画素から受光光量に応じた輝度値を読み出して画像データを生成するＤＶＳも開発されてきている。
特表２０１６－５３３１４０号公報
　しかしながら、従来のＤＶＳでは、アドレスイベントが検出された画素のみが輝度値の読出し対象とされていたため、例えば、背景と移動物体とが同系色である場合や暗闇での撮影時のような、十分なコントラストが得られずに、輝度変化が生じたはずの全ての単位画素でアドレスイベントを検出できないようなシーンでは、出力される画像に虫食いのような不自然な欠落部分が含まれ、それにより、画質が低下してしまうという課題が存在した。
　そこで本開示では、画質を向上することが可能な固体撮像装置及び撮像装置を提案する。
　上記の課題を解決するために、本開示に係る一形態の固体撮像装置は、それぞれ、受光量に応じた電荷を発生させる第１光電変換素子と、前記第１光電変換素子に発生した電荷に基づいてアドレスイベントの発火を検出する検出部とを備え、行列状に配列する複数の単位画素と、前記複数の単位画素のうち、前記アドレスイベントの発火が検出された１以上の第１単位画素をリセットするリセット制御部とを備え、前記リセット制御部は、前記複数の単位画素のうちの１以上の第２単位画素を周期的にリセットする。
第１の実施形態に係る撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係る単位画素の概略構成例を示す回路図である。 図３におけるキャパシタの電位変化を示す波形図である。 図３におけるコンパレータから出力される出力信号を示す波形図である。 図３におけるロジック回路の動作を説明するための図である。 第１の実施形態に係る固体撮像装置の動作例を説明するための図である（その１）。 第１の実施形態に係る固体撮像装置の動作例を説明するための図である（その２）。 第１の実施形態に係る固体撮像装置の動作例を説明するための図である（その３）。 第１の実施形態に係る固体撮像装置の動作例を説明するための図である（その４）。 第１の実施形態に係る固体撮像装置の動作例を説明するための図である（その５）。 第１の実施形態に係る行信号生成回路／列信号生成回路の概略構成例を示す回路図である。 第１の実施形態に係る画素アレイ部の画角内をオブジェクトが通過したことを説明するための図である。 図１３に示す画角内をオブジェクトが通過した際にアドレスイベントの発火を検出する単位画素の例を示す図である。 図１４に示すアドレスイベントの発火検出により生成される画像データを説明するための図である。 第１の実施形態において周期的に取得される画像データの一例を示す図である。 第１の実施形態に係るアドレスイベントの発火に基づいて取得された画像データと周期的に取得された画像データとの重ね合わせを説明するための図である。 図１７に示す重ね合わせにより生成される画像データの一例を示す図である。 第２の実施形態の第１例において列信号生成回路に保持される列パターン信号の一例を示す模式図である。 第２の実施形態の第１例に係るアドレスイベントの発火に基づいて取得された画像データと周期的に取得された画像データとの重ね合わせを説明するための図である。 第２の実施形態の第２例において行信号生成回路に保持される行パターン信号の一例を示す模式図である。 第２の実施形態の第２例に係るアドレスイベントの発火に基づいて取得された画像データと周期的に取得された画像データとの重ね合わせを説明するための図である。 第２の実施形態の第３例において行信号生成回路に保持される行パターン信号及び列信号生成回路に保持される列パターン信号の一例を示す模式図である。 第２の実施形態の第３例に係るアドレスイベントの発火に基づいて取得された画像データと周期的に取得された画像データとの重ね合わせを説明するための図である。 第３の実施形態の第１例において列信号生成回路に保持される列パターン信号の一例を示す模式図である。 第３の実施形態の第１例において周期的に画素信号が読み出される単位画素の行方向への周期的なシフトを説明するための図である。 第３の実施形態の第２例において行信号生成回路に保持される行パターン信号の一例を示す模式図である。 第３の実施形態の第２例において周期的に画素信号が読み出される単位画素の列方向への周期的なシフトを説明するための図である。 第４の実施形態に係る固体撮像装置の機能構成例を示すブロック図である。 第５の実施形態に係る固体撮像装置の機能構成例を示すブロック図である。 第５の実施形態に係るイベント数判定回路の概略動作例を示すフローチャートである。 第５の実施形態に係る高いデューティ比のイネーブル信号の一例を示す図である。 第５の実施形態に係る低いデューティ比のイネーブル信号の一例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　撮像装置の構成例
　　　１．２　固体撮像装置の例
　　　　１．２．１　固体撮像装置の概略構成例
　　　　１．２．２　単位画素の構成例
　　　　１．２．３　固体撮像装置の基本動作例
　　　１．３　行／列信号生成回路の構成例
　　　１．４　行／列ＯＲ回路の役割
　　　１．５　第１の実施形態により取得される輝度画像
　　　１．６　作用・効果
　　２．第２の実施形態
　　　２．１　第１例
　　　２．２　第２例
　　　２．３　第３例
　　３．第３の実施形態
　　　３．１　第１例
　　　３．２　第２例
　　４．第４の実施形態
　　　４．１　固体撮像装置の機能構成例
　　　４．２　作用・効果
　　５．第５の実施形態
　　　５．１　固体撮像装置の機能構成例
　　　５．２　イベント数判定回路の動作例
　　　５．３　作用・効果
　　６．移動体への応用例
　１．第１の実施形態
　まず、第１の実施形態について、図面を参照して詳細に説明する。
　１．１　撮像装置の構成例
　図１は、第１の実施形態に係る撮像装置の概略構成例を示すブロック図である。この撮像装置１００は、例えば、輝度画像を撮像するための装置であり、図１に示すように、光学系１１０、固体撮像装置２００及びＤＳＰ（Digital　Signal　Processing）回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０及び電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定され得る。
　光学系１１０は、被写体からの光を集光して固体撮像装置２００に導くものである。固体撮像装置２００は、例えば、光電変換により発生した電荷に基づいて、画素ごとの輝度情報を生成する。また、固体撮像装置２００は、生成した画素ごとの輝度情報をＤＳＰ回路１２０に信号線２０９を介して供給する。
　ＤＳＰ回路１２０は、固体撮像装置２００からの輝度情報に対して所定の信号処理を実行する。そして、ＤＳＰ回路１２０は、処理後の輝度情報をバス１５０を介してフレームメモリ１６０などに出力する。
　表示部１３０は、例えば、フレームメモリ１６０に格納されている画像データを表示する。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro　Luminescence）パネルが想定され得る。操作部１４０は、ユーザの操作に従って操作信号を生成する。
　バス１５０は、光学系１１０、固体撮像装置２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０及び電源部１８０が互いにデータをやりとりするための共通の経路である。
　フレームメモリ１６０は、画像データを保持する。この画像データは、例えば、固体撮像装置２００で取得された画素ごとの輝度情報を、その画素の配置に応じたフレームメモリ１６０内のアドレスに格納することで、フレームメモリ１６０内に作成される。
　記憶部１７０は、撮像装置１００の各部を動作させるためのプログラムや各種設定値などの様々なデータを記憶する。電源部１８０は、固体撮像装置２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給する。
　外部インタフェース（Ｉ／Ｆ）１９０は、例えば、ＵＳＢ（Universal　Serial　Bus）やＬＡＮ（Local　Area　Network）アダプタなどの送受信部であり、外部のホスト１０００等との間でデータ等を送受信する。
　１．２　固体撮像装置の例
　つづいて、第１の実施形態に係る固体撮像装置２００について、図面を参照して詳細に説明する。
　１．２．１　固体撮像装置の概略構成例
　図２は、第１の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。図２に示すように、固体撮像装置２００は、画素アレイ部３００を備える。画素アレイ部３００には、二次元格子状（行列状ともいう）に複数の単位画素３１０が配列されている。以下の説明において、画素アレイ部３００において所定の方向（図面中、左右方向）に配列された単位画素の集合を「行」と称し、行に対して垂直な方向（図面中、上下方向）に配列された単位画素の集合を「列」と称する。
　また、固体撮像装置２００は、画素アレイ部３００に対し、行方向（図面中、左右方向）における一方の側に配置された、第１行アービタ（第１調停部）２０１Ａ、行リセット回路２０２Ａ及び行信号生成回路２０３Ａと、他方の側に配置された、第２行アービタ（第２調停部）２０５Ａとを備える。
　さらに、固体撮像装置２００は、画素アレイ部３００に対し、列方向（図面中、上下方向）における一方の側に配置された、第１列アービタ（第１調停部）２０１Ｂ、列リセット回路２０２Ｂ及び列信号生成回路２０３Ｂと、他方の側に配置された、第２列アービタ（第２調停部）２０５Ｂとを備える。
　以下の説明において、第１行アービタ２０１Ａと第１列アービタ２０１Ｂとを区別しない場合、それらをまとめて第１アービタ２０１と称する。また、行リセット回路２０２Ａと列リセット回路２０２Ｂとを区別しない場合、それらをまとめてリセット回路２０２と称する。さらに、行信号生成回路２０３Ａと列信号生成回路２０３Ｂとを区別しない場合、それらをまとめて信号生成回路２０３と称する。さらにまた、第２行アービタ２０５Ａと第２列アービタ２０５Ｂとを区別しない場合、それらをまとめて第２アービタ２０５と称する。
　さらにまた、固体撮像装置２００は、第１アービタ２０１又は第２アービタ２０５から入力されたリクエスト信号に基づいて、アドレスイベントの発火が検出された単位画素３１０の画素アレイ部３００における位置を示すアドレス情報と、アドレスイベントの発火が検出された時間を示すタイムスタンプとを生成する制御回路２２０を備える。また、制御回路２２０は、第２アービタ２０５から入力されたリクエスト信号に基づいて、読出し対象の単位画素３１０の画素値も生成する。
　さらに、制御回路２２０は、行信号生成回路２０３Ａ及び列信号生成回路２０３Ｂに対して、‘０’と‘１’とが所定の周期で変化する又はランダムに変化する信号（以下、パターン信号という）と、イネーブル信号（後述する行イネーブル信号及び列イネーブル信号）とを入力する。なお、行信号生成回路２０３Ａに入力されるパターン信号（以下、行パターン信号という）のビットパターンと、列信号生成回路２０３Ｂに入力されるパターン信号（以下、列パターン信号という）のビットパターンとは、異なっていてよい。以下の説明において、行パターン信号及び列パターン信号を区別しない場合、単にパターン信号と称する。このパターン信号は、請求の範囲における第２リセット信号の一例であってもよい。
　さらにまた、固体撮像装置２００は、行リセット回路２０２Ａから出力された行リセット信号（例えば、‘０’又は‘１’の信号）と、行信号生成回路２０３Ａから出力された行パターン信号との行ごとの論理和を取る行論理和（ＯＲ）回路２０４Ａと、列リセット回路２０２Ｂから出力された列リセット信号（例えば、‘０’又は‘１’の信号）と、列信号生成回路２０３Ｂから出力された列パターン信号との列ごとの論理和を取る列論理和（ＯＲ）回路２０４Ｂとを備える。なお、以下の説明において、行リセット信号と列リセット信号とを区別しない場合、単にリセット信号と称する。このリセット信号は、請求の範囲における第１リセット信号の一例であってもよい。
　１．２．２　単位画素の構成例
　ここで、単位画素３１０の構成例について説明する。図３は、第１の実施形態に係る単位画素の構成例を示す回路図である。図４は、図３におけるキャパシタの電位変化を示す波形図である。図５は、図３におけるコンパレータから出力される出力信号を示す波形図である。図６は、図３におけるロジック回路の動作を説明するための図である。なお、図３では、説明の簡略化のため、第１行アービタ２０１Ａと第１列アービタ２０１Ｂとを区別せずに第１アービタ２０１とし、行リセット回路２０２Ａと列リセット回路２０２Ｂとを区別せずにリセット回路２０２とし、第２行アービタ２０５Ａと第２列アービタ２０５Ｂとを区別せずに第２アービタ２０５としている。
　図３に示すように、単位画素３１０は、アドレイベントの発火の有無を検出するための構成として、第１フォトダイオード３１１と、電荷検出部３１２とを備える。第１フォトダイオード３１１は、入射光を光電変換して電荷を発生させる光電変換素子であってよい。
　ここで、上述したように、アドレスイベントには、オンイベント及びオフイベントを含み、検出結果は、１ビットのオンイベントの検出結果と１ビットのオフイベントの検出結果とが含まれ得る。
　オンイベントは、単位画素３１０の受光素子で受光した光量が所定の基準値よりも大きな値に変動した際に、その変動量の絶対値が所定の閾値を超えることで発火する。一方、オフイベントは、単位画素３１０の受光素子で受光した光量が所定の基準値よりも小さな値に変動した際に、その変動量の絶対値が所定の閾値を超えることで発火する。以下の説明では、簡略化のため、オンイベントとオフイベントとを区別せずに説明する。
　電荷検出部３１２は、第１フォトダイオード３１１に発生した電荷に基づいてアドレスイベントの発火を検出する。アドレスイベントの発火が検出された場合、電荷検出部３２２は、後述する画素値生成用のキャパシタ３１４に蓄積されている電荷のリセット（以下、単に単位画素３１０のリセットという）を要求するリクエスト信号Ｒｅｑ＿Ｔを、第１アービタ２０１へ送信する。
　電荷検出部３１２は、第１アービタ２０１からリクエスト信号Ｒｅｑ＿Ｔに対する応答信号ＡｃＫ＿Ｔを第１アービタ２０１から入力すると、自身をリセットして、次のアドレスイベントの発火の監視を開始する。
　なお、画素アレイ部３００における一部の領域のみでアドレスイベントの発火を監視する場合、電荷検出部３１２には、例えば、リセット回路２０２を介して、自身の単位画素３１０が監視対象の領域（注目領域）に属することを示す信号ＲＯＩ＿Ｔが入力されてもよい。
　また、単位画素３１０は、画素値を生成するための構成として、第２フォトダイオード３１３と、キャパシタ３１４と、リセットトランジスタ３１５と、コンパレータ３１６と、ロジック回路３１７と、スイッチ３１８とを備える。第２フォトダイオード３１３は、入射光を光電変換して電荷を発生させる光電変換素子であってよい。また、キャパシタ３１４と、リセットトランジスタ３１５と、コンパレータ３１６と、ロジック回路３１７と、スイッチ３１８とは、例えば、請求の範囲における生成回路の一例であってよい。
　キャパシタ３１４は、一方の電極（以下、第１電極という）が第２フォトダイオード３１３のカソードに接続され、他方の電極（以下、第２電極という）が接地されている。
　リセットトランジスタ３１５は、そのゲートにリセット回路２０２からリセット信号Ｒｓｔ＿Ｂが入力されると、キャパシタ３１４の第１電極を電源電圧ＶＤＤに接続することで、キャパシタ３１４に所定量の電荷を蓄積する（リセット状態）。その際、第２フォトダイオード３１３に蓄積されている電荷が電源電圧ＶＤＤへ放出されてもよい。
　ここで、キャパシタ３１４の第１電極に出現する電位の変化を、図４を用いて説明する。図４に示すように、リセットトランジスタ３１５がオン状態となってキャパシタ３１４がリセットされた状態では、第１電極には、リセットレベルＶ０の電位Ｖｉｎｔが出現する。
　この状態で、第２フォトダイオード３１３に光が入射して電荷が発生すると、キャパシタ３１４に蓄積している電荷が第２フォトダイオード３１３に発生した電荷により放電される。その際、第２フォトダイオード３１３への入射光の光量が小さいと、キャパシタ３１４に蓄積している電荷が緩やかに放電されるため、第１電極の電位Ｖｉｎｔは、波形Ｌ０に示すように、緩やかに減少する。なお、入射光量が小さい場合に電位ＶｉｎｔがリセットレベルＶ０から参照電圧Ｖｒｅｆまで減少するのに要する期間をＴ０とする。
　一方、第２フォトダイオード３１３への入射光の光量が大きいと、キャパシタ３１４に蓄積している電荷が急激に放電されるため、第１電極の電位Ｖｉｎｔは、波形Ｌ１に示すように、急激に減少する。すなわち、入射光量が大きい場合に電位ＶｉｎｔがリセットレベルＶ０から参照電圧Ｖｒｅｆまで減少するのに要する期間をＴ１とすると、期間Ｔ１は期間Ｔ０よりも短くなる。
　図３に戻り説明する。コンパレータ３１６は、キャパシタ３１４の一方の電極の電位Ｖｉｎｔと、外部から入力された参照電圧ＶｒｅｆＨ／ＶｒｅｆＬとを比較し、その結果として、‘０’又は‘１’の出力信号Ｖｏｕｔを出力する。
　これを、図４に例示した波形図に基づいて説明すると、図５に示すように、コンパレータ３１６は、第２フォトダイオードへの入射光量が小さい場合、期間Ｔ０にわたって、ハイレベル（ＶＤＤレベル）の出力信号Ｖｏｕｔを出力する一方、第２フォトダイオードへの入射光量が大きい場合、期間Ｔ０よりも短い期間Ｔ１にわたって、ハイレベル（ＶＤＤレベル）の出力信号Ｖｏｕｔを出力する。
　図３に戻り説明する。ロジック回路３１７は、リセット回路２０２からのリセット信号Ｒｓｔ＿Ｂと、コンパレータ３１６からの出力信号Ｖｏｕｔと、第２アービタ２０５からの応答信号Ａｃｋ＿Ｂとを入力し、これらを論理演算した結果に基づいて、リクエスト信号Ｒｅｑ＿Ｂ［Ｈ／Ｌ］を出力する。
　また、ロジック回路３１７は、論理演算の結果に基づいて、コンパレータ３１６に入力する参照電圧を、高い電圧レベルの参照電圧ＶｒｅｆＨと低い電圧レベルの参照電圧ＶｒｅｆＬとのいずれかに切り替えるための切替信号Ｒｅｆｓｅｌをスイッチ３１８に出力する。
　これを、図６を参照しつつ説明すると、例えば、ロジック回路３１７は、ハイレベルのリセット信号Ｒｓｔ＿Ｂが入力されると、コンパレータ３１６に参照電圧ＶｒｅｆＨが入力されるようにスイッチ３１８を切り替える切替信号Ｒｅｆｓｅｌを出力する。その後、キャパシタ３１４の第１電極の電位Ｖｉｎｔが参照電圧ＶｒｅｆＨよりも低くなり、コンパレータ３１６からの出力信号Ｖｏｕｔが‘１’から‘０’に切り替わると、ロジック回路３１７は、１回目のリクエスト信号Ｒｅｑ＿ＢＨを第２アービタ２０５へ送信する。
　また、ロジック回路３１７は、１回目のリクエスト信号Ｒｅｑ＿ＢＨに対する応答信号Ａｃｋ＿ＢＨを第２アービタ２０５から入力すると、コンパレータ３１６に参照電圧ＶｒｅｆＬが入力されるようにスイッチ３１８を切り替える切替信号Ｒｅｆｓｅｌを出力する。これにより、コンパレータ３１６に入力される参照電圧が、参照電圧ＶｒｅｆＨから参照電圧ＶｒｅｆＬに切り替わり、コンパレータ３１６から出力される出力信号が‘０’から‘１’に立ち上がる。
　その後、第１電極の電位Ｖｉｎｔが参照電圧ＶｒｅｆＬよりも低くなり、コンパレータ３１６からの出力信号Ｖｏｕｔが再び‘１’から‘０’に切り替わると、ロジック回路３１７は、２回目のリクエスト信号Ｒｅｑ＿ＢＬを第２アービタ２０５へ送信する。
　１．２．３　固体撮像装置の基本動作例
　つぎに、固体撮像装置２００の動作について説明する。図７～図１１は、第１の実施形態に係る固体撮像装置の動作例を説明するための図である。
　単位画素３１０は、アドレスイベントの発火を検出すると、図７に示すように、当該単位画素３１０に対するリセットを要求する行リクエスト信号Ｒｅｑ＿ＴＡを第１行アービタ２０１Ａへ送信するとともに、同じく当該単位画素３１０に対するリセットを要求する列リクエスト信号Ｒｅｑ＿ＴＢを第１列アービタ２０１Ｂへ送信する。行リクエスト信号Ｒｅｑ＿ＴＡ及び列リクエスト信号Ｒｅｑ＿ＴＢは、上述したリクエスト信号Ｒｅｑ＿Ｔに対応するものであり、本説明において、行リクエスト信号Ｒｅｑ＿ＴＡと列リクエスト信号Ｒｅｑ＿ＴＢとを区別しない場合、単にリクエスト信号Ｒｅｑ＿Ｔと称している。
　これに対し、図８に示すように、第１行アービタ２０１Ａは、行リクエスト信号Ｒｅｑ＿ＴＡの送信元である単位画素３１０の行アドレスを特定するとともに、１つ以上の単位画素３１０から入力された行リクエスト信号Ｒｅｑ＿ＴＡを調停する。そして、第１行アービタ２０１Ａは、その調停結果を行リセット回路２０２Ａに入力するとともに、行リクエスト信号Ｒｅｑ＿ＴＡの送信元である単位画素３１０へ行応答信号Ａｃｋ＿ＴＡを送信する。同様に、第１列アービタ２０１Ｂは、列リクエスト信号Ｒｅｑ＿ＴＢの送信元である単位画素３１０の列アドレスを特定するとともに、１つ以上の単位画素３１０から入力された列リクエスト信号Ｒｅｑ＿ＴＢを調停する。そして、第１列アービタ２０１Ｂは、その調停結果を列リセット回路２０２Ｂに入力するとともに、列リクエスト信号Ｒｅｑ＿ＴＢの送信元である単位画素３１０へ列応答信号Ａｃｋ＿ＴＢを送信する。行応答信号Ａｃｋ＿ＴＡ及び列応答信号Ａｃｋ＿ＴＢは、上述した応答信号Ａｃｋ＿Ｔに対応するものであり、本説明において、行応答信号Ａｃｋ＿ＴＡと列応答信号Ａｃｋ＿ＴＢとを区別しない場合、単に応答信号Ａｃｋ＿Ｔと称している。
　また、第１行アービタ２０１Ａ及び第１列アービタ２０１Ｂは、アドレスイベントの発火が検出された単位画素３１０のアドレス情報（行アドレス及び列アドレス）を制御回路２２０へ入力する。制御回路２２０は、第１行アービタ２０１Ａ及び第１列アービタ２０１Ｂからアドレス情報が入力された際の時間を示すタイムスタンプを生成し、これらアドレス情報及びタイムスタンプを、イベント検出信号としてＤＳＰ回路１２０へ出力する。
　出力されたイベント検出信号は、例えば、ＤＳＰ回路１２０において所定の処理が施された後、フレームメモリ１６０に格納されてもよいし、外部Ｉ／Ｆ１９０を介してホスト１０００へ送信されてもよい。
　次に、図９に示すように、行リセット回路２０２Ａは、第１行アービタ２０１Ａから入力された調停結果に従い、アドレスイベントの発火が検出された単位画素３１０へ行リセット信号Ｒｓｔ＿ＢＡを出力する。同様に、列リセット回路２０２Ｂは、第１列アービタ２０１Ｂから入力された調停結果に従い、アドレスイベントの発火が検出された単位画素３１０へ列リセット信号Ｒｓｔ＿ＢＢを出力する。これにより、アドレイベントの発火が検出された単位画素３１０が順にリセットされる。行リセット信号Ｒｓｔ＿ＢＡ及び列リセット信号Ｒｓｔ＿ＢＢは、上述したリセット信号Ｒｓｔ＿Ｂに対応するものであり、本説明において、行リセット信号Ｒｓｔ＿ＢＡと列リセット信号Ｒｓｔ＿ＢＢとを区別しない場合、単にリセット信号Ｒｓｔ＿Ｂと称している。
　キャパシタ３１４がリセットされた単位画素３１０は、その後、第２フォトダイオード３１３への露光によりキャパシタ３１４の第１電極の電位Ｖｉｎｔが降下して参照電圧ＶｒｅｆＨを下回ると、図１０に示すように、行リクエスト信号Ｒｅｑ＿ＢＡＨを第２行アービタ２０５Ａへ送信するとともに、列リクエスト信号Ｒｅｑ＿ＢＢＨを第２列アービタ２０５Ｂへ送信する。行リクエスト信号Ｒｅｑ＿ＢＡＨ及び列リクエスト信号Ｒｅｑ＿ＢＢＨは、上述したリクエスト信号Ｒｅｑ＿ＢＨに対応するものであり、本説明において、行リクエスト信号Ｒｅｑ＿ＢＡＨと列リクエスト信号Ｒｅｑ＿ＢＢＨとを区別しない場合、単にリクエスト信号Ｒｅｑ＿ＢＨと称している。
　これに対し、図１１に示すように、第２行アービタ２０５Ａは、行リクエスト信号Ｒｅｑ＿ＢＡＨの送信元である単位画素３１０の行アドレスを特定し、特定した行アドレスを制御回路２２０へ入力するとともに、当該単位画素３１０へ行応答信号Ａｃｋ＿ＢＡＨを送信する。同様に、第２列アービタ２０５Ｂは、列リクエスト信号Ｒｅｑ＿ＢＢＨの送信元である単位画素３１０の列アドレスを特定し、特定した列アドレスを制御回路２２０へ入力するとともに、当該単位画素３１０へ行応答信号Ａｃｋ＿ＢＢＨを送信する。行応答信号Ａｃｋ＿ＢＡＨ及び列応答信号Ａｃｋ＿ＢＢＨは、上述した応答信号Ａｃｋ＿ＢＨに対応するものであり、本説明において、行応答信号Ａｃｋ＿ＢＡＨと列応答信号Ａｃｋ＿ＢＢＨとを区別しない場合、単に応答信号Ａｃｋ＿ＢＨと称している。
　行応答信号Ａｃｋ＿ＢＡＨ及び列応答信号Ａｃｋ＿ＢＢＨを受け取った単位画素３１０は、その後、第２フォトダイオード３１３への継続した露光によりキャパシタ３１４の第１電極の電位Ｖｉｎｔが参照電圧ＶｒｅｆＬを下回ると、再び図１０に示すように、行リクエスト信号Ｒｅｑ＿ＢＡＬを第２行アービタ２０５Ａへ送信するとともに、列リクエスト信号Ｒｅｑ＿ＢＢＬを第２列アービタ２０５Ｂへ送信する。行リクエスト信号Ｒｅｑ＿ＢＡＬ及び列リクエスト信号Ｒｅｑ＿ＢＢＬは、上述したリクエスト信号Ｒｅｑ＿ＢＬに対応するものであり、本説明において、行リクエスト信号Ｒｅｑ＿ＢＡＬと列リクエスト信号Ｒｅｑ＿ＢＢＬとを区別しない場合、単にリクエスト信号Ｒｅｑ＿ＢＨＬと称している。
　制御回路２２０は、以上のようにして行リクエスト信号Ｒｅｑ＿ＢＡＨ及びＲｅｑ＿ＢＡＬと、列リクエスト信号Ｒｅｑ＿ＢＢＨ及びＲｅｑ＿ＢＢＬとが入力されると、ぞれぞれの信号が入力された際の時間を示すタイムスタンプを生成する。そして、行リクエスト信号Ｒｅｑ＿ＢＡＨ及び列リクエスト信号Ｒｅｑ＿ＢＢＨが入力されたタイミングから行リクエスト信号Ｒｅｑ＿ＢＡＬ及び列リクエスト信号Ｒｅｑ＿ＢＢＬが入力されたタイミングまでの時間差を、上記で生成したタイムスタンプから特定し、特定した時間差に基づいて、当該単位画素３１０の画素値を生成する。そして、生成した画素値を、画素信号としてＤＳＰ回路１２０へ出力する。なお、以下の説明において、「単位画素３１０に対して画素値を生成して画素信号として出力する」ことを、「単位画素３１０から画素信号を読み出す」という。
　読み出された画素信号は、例えば、ＤＳＰ回路１２０において所定の処理が施された後、フレームメモリ１６０に格納されてもよいし、外部Ｉ／Ｆ１９０を介してホスト１０００へ送信されてもよい。
　１．３　行／列信号生成回路の構成例
　図１２は、第１の実施形態に係る行信号生成回路／列信号生成回路の概略構成例を示す回路図である。なお、行信号生成回路２０３Ａ及び列信号生成回路２０３Ｂは、同様の回路構成であってよい。
　図１２に示すように、信号生成回路２０３は、行ごと又は列ごとに設けられたシフトレジスタとしての複数のＤ－フリップフロップ（以下、単にフリップフロップという）２３１と、同じく行ごと又は列ごとに設けられた複数の論理積（ＡＮＤ）回路２３２とを備える。
　複数のフリップフロップ２３１は、前段のフリップフロップ２３１の出力Ｑが後段のフリップフロップ２３１の入力Ｄに入力するように、多段に接続されている。
　初段に配置されたフリップフロップ２３１の入力Ｄには、制御回路２２０から行パターン信号ＰＴＮＲ又は列パターン信号ＰＴＮＣが１ビットずつ入力される。
　また、各フリップフロップ２３１のクロック端子には、制御回路２２０又は他の回路から所定周期で出力されたクロックＣＬＫが入力される。
　各段のフリップフロップ２３１は、制御回路２２０又は前段のフリップフロップ２３１から入力Ｄに入力された行パターン信号ＰＴＮＲ又は列パターン信号ＰＴＮＣの１ビットを、クロックＣＬＫに同期して出力Ｑから出力し、後段のフリップフロップ２３１の入力Ｄに入力する。したがって、初段のフリップフロップ２３１の入力Ｄに入力された行パターン信号ＰＴＮＲ又は列パターン信号ＰＴＮＣは、１クロック周期で、後段のフリップフロップ２３１の入力Ｄに順次入力される。
　なお、最終段のフリップフロップ２３１の出力Ｑは、例えば、初段のフリップフロップ２３１の入力Ｄに接続されてもよい。その場合、ある一定ビット数の行パターン信号ＰＴＮＲ又は列パターン信号ＰＴＮＣを入力した後は、号パターン信号ＰＴＮＲ列パターン信号ＰＴＮＣが行信号生成回路２０３Ａ又は列信号生成回路２０３Ｂ内を巡回してもよい。
　また、各段のフリップフロップ２３１の出力は、行ごと又は列ごとに設けられたＡＮＤ回路２３２の一方の入力にも入力される。ＡＮＤ回路２３２の他方の入力には、制御回路２２０から供給された行イネーブル信号ＥＮＲ又は列イネーブル信号ＥＮＣが入力される。したがって、各ＡＮＤ回路２３２は、行イネーブル信号又は列イネーブル信号がハイレベル（例えば、‘１’）である期間、各段のフリップフロップ２３１の出力Ｑから出力された行パターン信号ＰＴＮＲ又は列パターン信号ＰＴＮＣを、行ＯＲ回路２０４Ａ又は列ＯＲ回路２０４Ｂへ出力する。
　１．４　行／列ＯＲ回路の役割
　行ごとに設けられた行ＯＲ回路２０４Ａは、行リセット回路２０２Ａから出力された行リセット信号Ｒｓｔ＿ＢＡと、行信号生成回路２０３Ａから出力された行パターン信号ＰＴＮＲとの論理和を取り、その結果を行リセット信号Ｒｓｔ＿ＢＡとして、行リクエスト信号Ｒｅｑ＿ＴＡの送信元である単位画素３１０へ出力する。同様に、列ごとに設けられた列ＯＲ回路２０４Ｂは、列リセット回路２０２Ｂから出力された列リセット信号Ｒｓｔ＿ＢＢと、列信号生成回路２０３Ｂから出力された列パターン信号ＰＴＮＣとの論理和を取り、その結果を列リセット信号Ｒｓｔ＿ＢＢとして、列リクエスト信号Ｒｅｑ＿ＴＢの送信元である単位画素３１０へ出力する。
　このように、アドレスイベントの発火が検出されていない単位画素３１０に対しても、パターン信号ＰＴＮに基づいて擬似的にリセット信号Ｒｓｔ＿Ｂを供給することで、任意の単位画素３１０に対するリセット及び画素信号の読出しが可能となる。
　なお、以下の説明において、行ＯＲ回路２０４Ａと列ＯＲ回路２０４Ｂとを区別しない場合、単にＯＲ回路２０４と称する。また、本実施形態におけるリセット回路２０２、信号生成回路２０３及びＯＲ回路２０４は、請求の範囲におけるリセット制御部の一例であってよい。
　１．５　第１の実施形態により取得される輝度画像
　つぎに、上述した本実施形態により取得される輝度画像について、以下に図面を参照して詳細に説明する。本説明では、図１３に示すように、画素アレイ部３００の画角ＡＲに対し、棒状のオブジェクトＯＢが通過した場合を例示する。また、本説明では、簡略化のため、画素アレイ部３００が６×６画素の計３６個の単位画素３１０で構成されており、フレームメモリ１６０内に６×６画素の画像データ（輝度画像）が作成される場合を例示する。なお、フレームメモリ１６０内に代えて、ホスト１０００内としてもよい。
　画素アレイ部３００の画角ＡＲに対してオブジェクトＯＢが通過した場合において、例えば、背景とオブジェクトＯＢとが同系色であるとすると、図１４に例示するように、画角ＡＲ内のオブジェクトＯＢに相当する単位画素３１０のうちの一部の単位画素３１０Ｘのみがアドレスイベントの発火を検出し、その他の単位画素３１０がアドレスイベントの発火を検出しないという事象が発生し得る。
　そのような場合、図１５に示すように、アドレスイベントの発火に従って固体撮像装置２００から出力される画素信号よりなる画像データＧ０では、オブジェクトＯＢに対応する画素のうちの一部が虫食いのように欠落することとなる。
　そこで本実施形態では、図１６に示すように、後述する固定読出し周期で周期的に任意の１つ以上の単位画素３１０Ｙから画素信号を読み出す。そして、図１７に示すように、アドレスイベントの発火に基づいて取得された画像データＧ０と、周期的に読み出された画素信号よりなる画像データＧ１とを、例えば、フレームメモリ１６０において重ね合わせることで、フレームメモリ１６０内に画像データＧ０と画像データＧ１とが統合された画像データＧ２を作成する。なお、周期的に読み出し対象とされる任意の１つ以上の単位画素３１０Ｙとは、上述において説明した、行パターン信号ＰＴＮＲと列パターン信号ＰＴＮＣとで特定される単位画素３１０である。
　以上のような重ね合わせにより、画像データＧ０におけるオブジェクトＯＢに対応する画素のうちの欠落した部分が画像データＧ１によって補間されるため、図１８に例示するように、オブジェクトＯＢをより正確に写した、高画質の画像データＧ２を生成することが可能となる。
　なお、画像データＧ０は、例えば、ある１周期（イベント集計周期）内に固体撮像装置２００から読み出された画素信号よりなる画像データであってよい。本説明において、１つの画像データＧ０を生成する周期をイベント集計周期といい、単位画素３１０Ｙから画素信号を読み出す周期を固定読出し周期という。
　また、画像データＧ０に対して統合する画像データＧ１は、１つに限らず、複数であってよい。すなわち、あるイベント集計周期内に複数回に亘って周期的に複数の単位画素３１０Ｙから画素信号を読み出し、それぞれの固定読出し周期で読み出された画素信号よりなる複数の画像データＧ１を画像データＧ０に重ね合わせることで、より高画質な画像データＧ２を生成することも可能である。
　１．６　作用・効果
　以上のように、本実施形態によれば、アドレスイベントの発火に基づいて生成された画像データＧ０における欠落部分を周期的に読み出した画像データＧ１によって補間することが可能となるため、高画質の画像データＧ２を生成することが可能となる。
　２．第２の実施形態
　第１の実施形態では、アドレスイベントの発火とは無関係に周期的に画素信号を読み出す単位画素（以下、周期読出し対象の単位画素という）３１０Ｙを、‘０’と‘１’とが所定の周期で変化する又はランダムに変化するパターン信号を用いて特定する場合について、例示した。これに対し、第２の実施形態では、周期読出し対象の単位画素３１０Ｙを固定する場合について、例を挙げて説明する。
　なお、本実施形態に係る撮像装置１００及び固体撮像装置２００は、第１の実施形態に係るそれらと同様であってよい。また、以下の説明では、簡略化のため、画素アレイ部３００が６×６画素の計３６個の単位画素３１０で構成されており、フレームメモリ１６０又はホスト１０００内に６×６画素の画像データ（輝度画像）が生成される場合を例示する。さらに、本実施形態において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、詳細な説明を省略する。
　２．１　第１例
　まず、周期読出し対象の単位画素３１０Ｙを列単位で固定する場合について、例を挙げて説明する。
　図１９は、第１例において列信号生成回路に保持される列パターン信号の一例を示す模式図である。図１９に示すように、周期読出し対象の単位画素３１０Ｙを列単位で固定する場合、列信号生成回路２０３Ｂには、各フリップフロップ２３１が特定の列パターン信号ＰＴＮＣを出力している期間に、列イネーブル信号ＥＮＣが入力される。
　具体的には、図１９に例示するように、左から２番目の列を周期的に画素信号が読み出される単位画素３１０の列とする場合、列信号生成回路２０３Ｂにおける各フリップフロップ２３１が、左から順に、‘０’、‘１’、‘０’、‘０’、‘０’、‘０’を保持している状態のときに、列信号生成回路２０３Ｂに列イネーブル信号ＥＮＣが入力される。
　列信号生成回路２０３Ｂに列イネーブル信号ＥＮＣを入力する際に行信号生成回路２０３Ａの各フリップフロップ２３１に保持されている行パターン信号ＰＴＮＲは、全て‘１’であってもよいし、‘０’及び‘１’が所定のビットパターンで配列したビット列であってもよいし、‘０’及び‘１’がランダムに配列したビット列であってもよい。
　列信号生成回路２０３Ｂに列イネーブル信号ＥＮＣが入力されると同時に、行信号生成回路２０３Ａにも行イネーブル信号ＥＮＲが入力され、これにより、周期読出し対象の単位画素３１０Ｙが特定される。
　このように、周期読出し対象の単位画素３１０Ｙを列単位で固定した場合でも、図２０に例示するように、アドレスイベントの発火に基づいて取得された画像データＧ０（例えば、図１７参照）と、周期的に取得された画像データＧ１とを、例えば、フレームメモリ１６０やホスト１０００において重ね合わせることで、画像データＧ０における欠落した部分を画像データＧ１によって補間することが可能となる。それにより、高画質の画像データＧ２を生成することが可能となる。
　２．２　第２例
　つぎに、周期読出し対象の単位画素３１０Ｙを行単位で固定する場合について、例を挙げて説明する。
　図２１は、第２例において行信号生成回路に保持される行パターン信号の一例を示す模式図である。図２１に示すように、周期読出し対象の単位画素３１０Ｙを行単位で固定する場合、行信号生成回路２０３Ａには、各フリップフロップ２３１が特定の行パターン信号ＰＴＮＲを出力している期間に、行イネーブル信号ＥＮＲが入力される。
　具体的には、図２１に例示するように、上から２番目の行を周期的に画素信号が読み出される単位画素３１０の行とする場合、行信号生成回路２０３Ａにおける各フリップフロップ２３１が、上から順に、‘０’、‘１’、‘０’、‘０’、‘０’、‘０’を保持している状態のときに、行信号生成回路２０３Ａに行イネーブル信号ＥＮＲが入力される。
　行信号生成回路２０３Ａに行イネーブル信号ＥＮＲを入力する際に列信号生成回路２０３Ｂの各フリップフロップ２３１に保持されている列パターン信号ＰＴＮＣは、全て‘１’であってもよいし、‘０’及び‘１’が所定のビットパターンで配列したビット列であってもよいし、‘０’及び‘１’がランダムに配列したビット列であってもよい。
　行信号生成回路２０３Ａに行イネーブル信号ＥＮＲが入力されると同時に、列信号生成回路２０３Ｂにも列イネーブル信号ＥＮＣが入力され、これにより、周期読出し対象の単位画素３１０Ｙが特定される。
　このように、周期読出し対象の単位画素３１０Ｙを行単位で固定した場合でも、図２２に例示するように、アドレスイベントの発火に基づいて取得された画像データＧ０（例えば、図１７参照）と、周期的に取得された画像データＧ１とを、例えば、フレームメモリ１６０やホスト１０００において重ね合わせることで、画像データＧ０における欠落した部分を画像データＧ１によって補間することが可能となる。それにより、高画質の画像データＧ２を生成することが可能となる。
　２．３　第３例
　上述した第１例及び第２例では、周期読出し対象の単位画素３１０Ｙを行単位又は列単位で固定する場合について、例を挙げて説明した。これに対し、第３例では、周期読出し対象の単位画素３１０Ｙを、特定の単位画素３１０又は１つ以上の単位画素３１０を含む領域で固定する場合について、例を挙げて説明する。
　図２３は、第３例において行信号生成回路２０３Ａに保持される行パターン信号及び列信号生成回路に保持される列パターン信号の一例を示す模式図である。図２３には、第３例では、画素アレイ部３００に行列上に配列する単位画素３１０における左上隅の２×２画素の単位画素３１０と、右下隅の２×２画素の単位画素３１０とを、周期読出し対象の単位画素３１０Ｙとした場合が例示されている。
　図２３に示すように、周期読出し対象の単位画素３１０Ｙを特定の単位画素３１０又は１つ以上の単位画素３１０を含む領域で固定する場合、行信号生成回路２０３Ａに各フリップフロップ２３１が特定の行パターン信号ＰＴＮＲを出力している期間に行イネーブル信号ＥＮＲが入力され、列信号生成回路２０３Ｂに各フリップフロップ２３１が特定の列パターン信号ＰＴＮＣを出力している期間に列イネーブル信号ＥＮＣが入力される。
　具体的には、図２３に例示するように、行信号生成回路２０３Ａにおける各フリップフロップ２３１が上から順に、‘１’、‘１’、‘０’、‘０’、‘１’、‘１’を保持し、列信号生成回路２０３Ｂにおける各フリップフロップ２３１が左から順に、‘１’、‘１’、‘０’、‘０’、‘１’、‘１’を保持している状態のときに、行信号生成回路２０３Ａに行イネーブル信号ＥＮＲが入力され、列信号生成回路２０３Ｂに列イネーブル信号ＥＮＣが入力される。これにより、周期読出し対象の単位画素３１０Ｙが特定される。
　このように、周期読出し対象の単位画素３１０Ｙを特定の単位画素３１０又は１つ以上の単位画素３１０を含む領域で固定した場合でも、図２４に例示するように、アドレスイベントの発火に基づいて取得された画像データＧ０（例えば、図１７参照）と、周期的に取得された画像データＧ１とを、例えば、フレームメモリ１６０やホスト１０００において重ね合わせることで、画像データＧ０における欠落した部分を画像データＧ１によって補間することが可能となる。それにより、高画質の画像データＧ２を生成することが可能となる。
　３．第３の実施形態
　第２の実施形態では、周期読出し対象の単位画素３１０Ｙを列単位、行単位又は領域単位で固定する場合について、例示した。これに対し、第３の実施形態では、周期読出し対象の単位画素３１０Ｙを周期的（これを変更周期という）に変更する場合について、例を挙げて説明する。
　なお、本実施形態に係る撮像装置１００及び固体撮像装置２００は、第１の実施形態に係るそれらと同様であってよい。また、以下の説明では、簡略化のため、画素アレイ部３００が６×６画素の計３６個の単位画素３１０で構成されており、フレームメモリ１６０又はホスト１０００内に６×６画素の画像データ（輝度画像）が生成される場合を例示する。さらに、本実施形態において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、詳細な説明を省略する。
　３．１　第１例
　まず、周期読出し対象の単位画素３１０Ｙを所定の変更周期で行方向に周期的にシフトする場合について、例を挙げて説明する。
　図２５は、第１例において列信号生成回路に保持される列パターン信号の一例を示す模式図である。図２５に示すように、周期読出し対象の単位画素３１０Ｙを周期的に行方向へ３列分シフトする場合、ある周期に列信号生成回路２０３Ｂの各フリップフロップ２３１が保持する列パターン信号ＰＴＮＣを左から順に‘０’、‘０’、‘０’、‘０’、‘０’、‘１’とすると、次の周期で列信号生成回路２０３Ｂの各フリップフロップ２３１が保持する列パターン信号ＰＴＮＣは左から順に‘０’、‘０’、‘１’、‘０’、‘０’、‘０’となる。
　その場合、例えば、単位画素１３０Ｙからの画素信号の読出し周期を３クロックＣＬＫ分の周期とすると、３クロックＣＬＫごとに列イネーブル信号ＥＮＣが列信号生成回路２０３Ｂに入力される。これにより、‘１’の列パターン信号ＰＴＮＣが左方向へ３列分シフトするたびに、列イネーブル信号ＥＮＣが列信号生成回路２０３Ｂに入力されることとなるため、図２６に例示するように、周期読出し対象の単位画素３１０Ｙを周期的に行方向へ３列分シフトさせることが可能となる。
　列信号生成回路２０３Ｂに列イネーブル信号ＥＮＣを入力する際に行信号生成回路２０３Ａの各フリップフロップ２３１に保持されている行パターン信号ＰＴＮＲは、全て‘１’であってもよいし、‘０’及び‘１’が所定のビットパターンで配列したビット列であってもよいし、‘０’及び‘１’がランダムに配列したビット列であってもよい。
　列信号生成回路２０３Ｂに列イネーブル信号ＥＮＣが入力されると同時に、行信号生成回路２０３Ａにも行イネーブル信号ＥＮＲが入力され、これにより、周期読出し対象の単位画素３１０Ｙが特定される。
　このように、周期読出し対象の単位画素３１０Ｙを周期的に行方向へシフトさせた場合でも、アドレスイベントの発火に基づいて取得された画像データＧ０（例えば、図１７参照）と、周期的に取得された画像データＧ１とを、例えば、フレームメモリ１６０やホスト１０００において重ね合わせることで、画像データＧ０における欠落した部分を画像データＧ１によって補間することが可能となる。それにより、高画質の画像データＧ２を生成することが可能となる。
　また、周期的に取得される画像データＧ１を構成する画素が毎回異なるため、画像データＧ０に対して統合する画像データＧ１を複数とすることで、画像データＧ０におけるより多くの欠落部分を補間することが可能となる。それにより、より高画質な画像データＧ２を生成することが可能となる。
　３．２　第２例
　つぎに、周期読出し対象の単位画素３１０Ｙを所定の変更周期で列方向に周期的にシフトする場合について、例を挙げて説明する。
　図２７は、第２例において行信号生成回路に保持される行パターン信号の一例を示す模式図である。図２７に示すように、周期読出し対象の単位画素３１０Ｙを周期的に列方向へ２行分シフトする場合、ある周期に行信号生成回路２０３Ａの各フリップフロップ２３１が保持する行パターン信号ＰＴＮＲを上から順に‘０’、‘１’、‘０’、‘０’、‘０’、‘０’とすると、次の周期で行信号生成回路２０３Ａの各フリップフロップ２３１が保持する行パターン信号ＰＴＮＲは上から順に‘０’、‘０’、‘０’、‘１’、‘０’、‘０’となる。
　その場合、例えば、単位画素１３０Ｙからの画素信号の読出し周期を、２クロックＣＬＫ分の周期とすると、２クロックＣＬＫごとに行イネーブル信号ＥＮＲが行信号生成回路２０３Ａに入力される。これにより、‘１’の行パターン信号ＰＴＮＲが下方向へ２行分シフトするたびに、行イネーブル信号ＥＮＲが行信号生成回路２０３Ａに入力されることとなるため、図２８に例示するように、周期読出し対象の単位画素３１０Ｙを周期的に列方向へ２行分シフトさせることが可能となる。
　行信号生成回路２０３Ａに行イネーブル信号ＥＮＲを入力する際に列信号生成回路２０３Ｂの各フリップフロップ２３１に保持されている列パターン信号ＰＴＮＣは、全て‘１’であってもよいし、‘０’及び‘１’が所定のビットパターンで配列したビット列であってもよいし、‘０’及び‘１’がランダムに配列したビット列であってもよい。
　行信号生成回路２０３Ａに行イネーブル信号ＥＮＲが入力されると同時に、列信号生成回路２０３Ｂにも列イネーブル信号ＥＮＣが入力され、これにより、周期読出し対象の単位画素３１０Ｙが特定される。
　このように、周期読出し対象の単位画素３１０Ｙを周期的に列方向へシフトさせた場合でも、アドレスイベントの発火に基づいて取得された画像データＧ０（例えば、図１７参照）と、周期的に取得された画像データＧ１とを、例えば、フレームメモリ１６０やホスト１０００において重ね合わせることで、画像データＧ０における欠落した部分を画像データＧ１によって補間することが可能となる。それにより、高画質の画像データＧ２を生成することが可能となる。
　また、周期的に取得される画像データＧ１を構成する画素が毎回異なるため、画像データＧ０に対して統合する画像データＧ１を複数とすることで、画像データＧ０におけるより多くの欠落部分を補間することが可能となる。それにより、より高画質な画像データＧ２を生成することが可能となる。
　４．第４の実施形態
　第４の実施形態では、擬似乱数生成器を用いてパターン信号を生成する場合について、例を挙げて説明する。なお、本実施形態において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、詳細な説明を省略する。
　４．１　固体撮像装置の機能構成例
　図２９は、第４の実施形態に係る固体撮像装置の機能構成例を示すブロック図である。図２９に示すように、固体撮像装置２００Ａは、第１の実施形態において図３等を用いて説明した固体撮像装置２００と同様の構成において、制御回路２２０が擬似乱数生成器２４０を備えている。
　擬似乱数生成器２４０は、例えば、線形帰還シフトレジスタ（Linear　Feedback　Shift　Register：ＬＦＳＲ）等を用いて構成されたデジタル回路であり、シードを用いて擬似乱数を生成する。
　擬似乱数生成器２４０は、例えば、内部に複数のシードが羅列されたシードテーブルを保持し、外部から入力されたシード番号に対応するシードを用いて擬似乱数を生成する。なお、シード番号は、例えば、擬似乱数生成器２４０又は制御回路２２０、若しくは、ＤＳＰ回路１２０やホスト１０００等の外部からランダム又はラウンドロビンに指定されてよい。若しくは、擬似乱数生成器２４０がシードテーブルを備えず、ＤＳＰ回路１２０やホスト１０００等の外部から擬似乱数生成器２４０にシードが入力されてもよい。
　擬似乱数生成器２４０は、１つの固定読出し周期ごとに使用するシードを変更してもよいし、複数の固定読出し周期ごとに使用するシードを変更してもよい。
　４．２　作用・効果
　以上のように、周期読出し対象の単位画素３１０Ｙをランダムに変更した場合でも、アドレスイベントの発火に基づいて取得された画像データＧ０（例えば、図１７参照）と、周期的に取得された画像データＧ１とを、例えば、フレームメモリ１６０やホスト１０００において重ね合わせることで、画像データＧ０における欠落した部分を画像データＧ１によって補間することが可能となる。それにより、高画質の画像データＧ２を生成することが可能となる。
　また、周期的に取得される画像データＧ１を構成する画素が毎回異なるため、画像データＧ０に対して統合する画像データＧ１を複数とすることで、画像データＧ０におけるより多くの欠落部分を補間することが可能となる。それにより、より高画質な画像データＧ２を生成することが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．第５の実施形態
　上述した実施形態では、単位時間あたりのアドレスイベントの発火数に関わらず、周期的に単位画素３１０Ｙから画素信号を読み出す場合を例示した。ただし、例えば、単位時間あたりのアドレスイベントの発火数が多い場合、頻繁に単位画素３１０Ｙからの周期的な読出しが実行されると、データ処理量が多くなり、アドレスイベントの検出漏れ等が生じる恐れがある。
　そこで第５の実施形態では、単位時間あたりのアドレスイベントの発火数に応じて、単位画素３１０Ｙに対する読出し周期を変更する場合について、例を挙げて説明する。なお、本実施形態において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、詳細な説明を省略する。また、本実施形態では、第４の実施形態をベースとした場合を例示するが、ベースとする実施形態は、第４の実施形態に限定されず、他の実施形態とすることも可能である。
　５．１　固体撮像装置の機能構成例
　図３０は、第５の実施形態に係る固体撮像装置の機能構成例を示すブロック図である。図３０に示すように、固体撮像装置２００Ｂは、第４の実施形態において図２９を用いて説明した固体撮像装置２００Ａと同様の構成において、制御回路２２０がイベント数判定回路２５０をさらに備えている。
　本実施形態において、第１行アービタ２０１Ａ及び第１列アービタ２０１Ｂは、行リクエスト信号Ｒｅｑ＿ＴＡ及び列リクエスト信号Ｒｅｑ＿ＴＢをイベント数判定回路２５０へ入力する。イベント数判定回路２５０は、例えば、入力された行リクエスト信号Ｒｅｑ＿ＴＡ及び列リクエスト信号Ｒｅｑ＿ＴＢに基づいて、単位時間（例えば、１イベント集計周期）あたりに発火したアドレスイベントの数（以下、実イベント数という）を計測し、計測した実イベント数に基づいて、行信号生成回路２０３Ａ及び／又は列信号生成回路２０３Ｂに入力する行イネーブル信号ＥＮＲ及び／又は列イネーブル信号ＥＮＣのデューティ比を変更する。
　５．２　イベント数判定回路の動作例
　つづいて、本実施形態に係るイベント数判定回路２５０の動作例について説明する。図３１は、第５の実施形態に係るイベント数判定回路の概略動作例を示すフローチャートである。図３１に示すように、イベント数判定回路２５０は、第１行アービタ２０１Ａ及び第１列アービタ２０１Ｂから入力された行リクエスト信号Ｒｅｑ＿ＴＡ及び列リクエスト信号Ｒｅｑ＿ＴＢに基づいて、単位時間あたりの実イベント数Ｎをカウントする（ステップＳ５０１）。
　つぎに、イベント数判定回路２５０は、例えば、単位時間あたりの実イベント数Ｎと予め設定しておいた閾値Ｎ＿ｔｈとを比較する（ステップＳ５０２）。実イベント数Ｎが閾値Ｎ＿ｔｈよりも少ない場合（ステップＳ５０２のＮＯ）、イベント数判定回路２５０は、行イネーブル信号ＥＮＲ及び／又は列イネーブル信号ＥＮＣのデューティ比に高いデューティ比を設定し（ステップＳ５０３）、ステップＳ５０５へ進む。例えば、図３２に示すように、行イネーブル信号ＥＮＲ及び／又は列イネーブル信号ＥＮＣのデューティ比に５０％を設定する。
　一方、単位時間あたりの実イベント数Ｎが閾値Ｎ＿ｔｈ以上である場合（ステップＳ５０２のＹＥＳ）、イベント数判定回路２５０は、行イネーブル信号ＥＮＲ及び／又は列イネーブル信号ＥＮＣのデューティ比に低いデューティ比を設定し（ステップＳ５０４）、ステップＳ５０５へ進む。例えば、図３３に示すように、行イネーブル信号ＥＮＲ及び／又は列イネーブル信号ＥＮＣのデューティ比に、５０％（図３２参照）よりも少ない２５％を設定する。
　ステップＳ５０５では、イベント数判定回路２５０は、本動作を終了するか否かを判定し、終了する場合（ステップＳ５０５のＹＥＳ）、本動作を終了し、終了しない場合（ステップＳ５０５のＮＯ）、ステップＳ５０１へリターンして、以降の動作を実行する。
　５．３　作用・効果
　以上のように、単位時間あたりの実イベント数に応じて行イネーブル信号ＥＮＲ及び／又は列イネーブル信号ＥＮＣのデューティ比を変更することで、単位画素３１０Ｙから画素信号を読み出す周期を変更することが可能となるため、例えば、単位時間あたりのアドレスイベントの発火数が多い場合でも、データ処理量の増加によるアドレスイベントの検出漏れ等の発生を抑制することが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　６．移動体への応用例
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３５は、撮像部１２０３１の設置位置の例を示す図である。
　図３５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１や運転者状態検出部１２０４１等に適用され得る。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　それぞれ、受光量に応じた電荷を発生させる第１光電変換素子と、前記第１光電変換素子に発生した電荷に基づいてアドレスイベントの発火を検出する検出部とを備え、行列状に配列する複数の単位画素と、
　前記複数の単位画素のうち、前記アドレスイベントの発火が検出された１以上の第１単位画素をリセットするリセット制御部と、
　を備え、
　前記リセット制御部は、前記複数の単位画素のうちの１以上の第２単位画素を周期的にリセットする
　固体撮像装置。
（２）
　前記リセット制御部は、
　　前記第１単位画素をリセットするための第１リセット信号を生成するリセット回路と、
　　前記第２単位画素をリセットするための第２リセット信号を周期的に生成する信号生成回路と、
　　前記リセット回路と前記信号生成回路との論理和を取る論理和回路と、
　を備える前記（１）に記載の固体撮像装置。
（３）
　前記信号生成回路は、複数のフリップフロップが多段に接続されたシフトレジスタを備え、
　前記論理和回路は、前記行列状に配列する前記複数の単位画素の各行及び各列それぞれに一対一に設けられ、
　前記複数のフリップフロップそれぞれは、前記行列状に配列する前記複数の単位画素の各行及び各列それぞれに一対一に対応し、
　前記論理和回路それぞれは、当該論理和回路が対応する前記行に対応する前記フリップフロップから出力された前記第２リセット信号と、前記リセット回路から出力された前記第１リセット信号との論理和を取り、当該論理和の結果を前記第１又は第２単位画素に出力する
　前記（２）に記載の固体撮像装置。
（４）
　前記信号生成回路は、所定ビットパターンの前記第２リセット信号を前記論理和回路へ周期的に出力する前記（２）又は（３）に記載の固体撮像装置。
（５）
　前記信号生成回路は、前記行列における行ごとに前記第２リセット信号を生成する行信号生成回路と、列ごとに前記第２リセット信号を生成する列信号生成回路とを含む前記（２）～（４）の何れか１項に記載の固体撮像装置。
（６）
　前記行信号生成回路及び前記列信号生成回路とのうち少なくとも１つは、固定されたビットパターンの前記第２リセット信号を前記論理和回路へ周期的に出力する前記（５）に記載の固体撮像装置。
（７）
　前記信号生成回路は、前記第２リセット信号のビットパターンを所定の周期で変化させる前記（４）又は（５）に記載の固体撮像装置。
（８）
　前記信号生成回路は、ランダムなビットパターンの前記第２リセット信号を前記論理和回路へ周期的に出力する前記（４）又は（５）に記載の固体撮像装置。
（９）
　擬似乱数を生成する擬似乱数生成器をさらに備え、
　前記信号生成回路は、前記擬似乱数生成器で生成された前記擬似乱数に基づいて前記第２リセット信号を生成する
　前記（８）に記載の固体撮像装置。
（１０）
　前記第２リセット信号の出力を許可又は禁止するイネーブル信号を出力する制御回路をさらに備え、
　前記信号生成回路は、一方の入力に前記複数のフリップフロップのうちの１の出力が入力され、他方の入力に前記イネーブル信号が入力される複数の論理積回路をさらに備える
　前記（３）に記載の固体撮像装置。
（１１）
　前記制御回路は、前記複数の単位画素のうち、所定期間あたりに前記アドレスイベントの発火を検出した単位画素の数を計数し、前記アドレスイベントの発火を検出した前記単位画素の前記数が所定の閾値未満の場合、第１デューティ比の前記イネーブル信号を前記信号生成回路へ出力し、前記アドレスイベントの発火を検出した前記単位画素の前記数が前記所定の閾値以上の場合、前記第１デューティ比よりも低い第２デューティ比の前記イネーブル信号を前記信号生成回路へ出力する
　前記（１０）に記載の固体撮像装置。
（１２）
　前記第１単位画素に対する画素値の読出し順序を調停する第１調停部をさらに備え、
　前記リセット制御部は、前記第１調停部により調停された前記読出し順序に従って前記第１単位画素をリセットする
　前記（１）～（１１）の何れか１項に記載の固体撮像装置。
（１３）
　前記単位画素それぞれは、受光量に応じた電荷を発生させる第２光電変換素子と、前記第２光電変換素子に発生した電荷に基づいて画素値を生成するための検出信号を生成する生成回路とをさらに備える前記（１）～（１２）の何れか１項に記載の固体撮像装置。
（１４）
　前記生成回路は、一方の電極が前記第２光電変換素子に接続されたキャパシタと、前記キャパシタの前記一方の電極の電位と参照電圧とを比較するコンパレータと、前記コンパレータに入力される前記参照電圧を第１参照電圧と前記第１参照電圧よりも低い電圧値の第２参照電圧とのいずれかに切り替えるスイッチと、前記コンパレータによる比較結果に基づいて検出信号を出力するロジック回路とを備える前記（１３）に記載の固体撮像装置。
（１５）
　前記キャパシタの前記一方の電極の前記電位が前記第１参照電圧を下回った際に前記ロジック回路から出力された第１検出信号と、前記一方の電極の前記電位が前記第２参照電圧を下回った際に前記ロジック回路から出力された第２検出信号とに基づいて、前記画素値を生成する第２調停部をさらに備える前記（１４）に記載の固体撮像装置。
（１６）
　固体撮像装置と、
　入射光を前記固体撮像装置の受光面に結像する光学系と、
　前記固体撮像装置で取得された画像データを記憶するメモリと、
　を備え、
　前記固体撮像装置は、
　　それぞれ、受光量に応じた電荷を発生させる第１光電変換素子と、前記第１光電変換素子に発生した電荷に基づいてアドレスイベントの発火を検出する検出部とを備え、行列状に配列する複数の単位画素と、
　　前記複数の単位画素のうち、前記アドレスイベントの発火が検出された１以上の第１単位画素をリセットするリセット制御部と、
　を備え、
　前記リセット制御部は、前記複数の単位画素のうちの１以上の第２単位画素を周期的にリセットする
　撮像装置。
　１００　撮像装置
　１１０　光学系
　１２０　ＤＳＰ回路
　１３０　表示部
　１４０　操作部
　１５０　バス
　１６０　フレームメモリ
　１７０　記憶部
　１８０　電源部
　１９０　外部Ｉ／Ｆ
　２００、２００Ａ、２００Ｂ　固体撮像装置
　２０１　第１アービタ
　２０１Ａ　第１行アービタ
　２０１Ｂ　第１列アービタ
　２０２　リセット回路
　２０２Ａ　行リセット回路
　２０２Ｂ　列リセット回路
　２０３Ａ　行信号生成回路
　２０３Ｂ　列信号生成回路
　２０４Ａ　行ＯＲ回路
　２０４Ｂ　列ＯＲ回路
　２０５　第２アービタ
　２０５Ａ　第２行アービタ
　２０５Ｂ　第２列アービタ
　２０９　信号線
　２２０　制御回路
　２３１　Ｄ－フリップフロップ
　２３２　ＡＮＤ回路
　２４０　擬似乱数生成器
　２５０　イベント数判定回路
　３００　画素アレイ部
　３１０、３１０Ｘ、３１０Ｙ　単位画素
　３１１　第１フォトダイオード
　３１２　電荷検出部
　３１３　第２フォトダイオード
　３１４　キャパシタ
　３１５　リセットトランジスタ
　３１６　コンパレータ
　３１７　ロジック回路
　１０００　ホスト
　Ｇ０、Ｇ１、Ｇ２　画像データ

Claims (16)

  1. 　それぞれ、受光量に応じた電荷を発生させる第１光電変換素子と、前記第１光電変換素子に発生した電荷に基づいてアドレスイベントの発火を検出する検出部とを備え、行列状に配列する複数の単位画素と、
    　前記複数の単位画素のうち、前記アドレスイベントの発火が検出された１以上の第１単位画素をリセットするリセット制御部と、
    　を備え、
    　前記リセット制御部は、前記複数の単位画素のうちの１以上の第２単位画素を周期的にリセットする
    　固体撮像装置。
  2. 　前記リセット制御部は、
    　　前記第１単位画素をリセットするための第１リセット信号を生成するリセット回路と、
    　　前記第２単位画素をリセットするための第２リセット信号を周期的に生成する信号生成回路と、
    　　前記リセット回路と前記信号生成回路との論理和を取る論理和回路と、
    　を備える請求項１に記載の固体撮像装置。
  3. 　前記信号生成回路は、複数のフリップフロップが多段に接続されたシフトレジスタを備え、
    　前記論理和回路は、前記行列状に配列する前記複数の単位画素の各行及び各列それぞれに一対一に設けられ、
    　前記複数のフリップフロップそれぞれは、前記行列状に配列する前記複数の単位画素の各行及び各列それぞれに一対一に対応し、
    　前記論理和回路それぞれは、当該論理和回路が対応する前記行に対応する前記フリップフロップから出力された前記第２リセット信号と、前記リセット回路から出力された前記第１リセット信号との論理和を取り、当該論理和の結果を前記第１又は第２単位画素に出力する
    　請求項２に記載の固体撮像装置。
  4. 　前記信号生成回路は、所定ビットパターンの前記第２リセット信号を前記論理和回路へ周期的に出力する請求項２に記載の固体撮像装置。
  5. 　前記信号生成回路は、前記行列における行ごとに前記第２リセット信号を生成する行信号生成回路と、列ごとに前記第２リセット信号を生成する列信号生成回路とを含む請求項２に記載の固体撮像装置。
  6. 　前記行信号生成回路及び前記列信号生成回路とのうち少なくとも１つは、固定されたビットパターンの前記第２リセット信号を前記論理和回路へ周期的に出力する請求項５に記載の固体撮像装置。
  7. 　前記信号生成回路は、前記第２リセット信号のビットパターンを所定の周期で変化させる請求項４に記載の固体撮像装置。
  8. 　前記信号生成回路は、ランダムなビットパターンの前記第２リセット信号を前記論理和回路へ周期的に出力する請求項４に記載の固体撮像装置。
  9. 　擬似乱数を生成する擬似乱数生成器をさらに備え、
    　前記信号生成回路は、前記擬似乱数生成器で生成された前記擬似乱数に基づいて前記第２リセット信号を生成する
    　請求項８に記載の固体撮像装置。
  10. 　前記第２リセット信号の出力を許可又は禁止するイネーブル信号を出力する制御回路をさらに備え、
    　前記信号生成回路は、一方の入力に前記複数のフリップフロップのうちの１の出力が入力され、他方の入力に前記イネーブル信号が入力される複数の論理積回路をさらに備える
    　請求項３に記載の固体撮像装置。
  11. 　前記制御回路は、前記複数の単位画素のうち、所定期間あたりに前記アドレスイベントの発火を検出した単位画素の数を計数し、前記アドレスイベントの発火を検出した前記単位画素の前記数が所定の閾値未満の場合、第１デューティ比の前記イネーブル信号を前記信号生成回路へ出力し、前記アドレスイベントの発火を検出した前記単位画素の前記数が前記所定の閾値以上の場合、前記第１デューティ比よりも低い第２デューティ比の前記イネーブル信号を前記信号生成回路へ出力する
    　請求項１０に記載の固体撮像装置。
  12. 　前記第１単位画素に対する画素値の読出し順序を調停する第１調停部をさらに備え、
    　前記リセット制御部は、前記第１調停部により調停された前記読出し順序に従って前記第１単位画素をリセットする
    　請求項１に記載の固体撮像装置。
  13. 　前記単位画素それぞれは、受光量に応じた電荷を発生させる第２光電変換素子と、前記第２光電変換素子に発生した電荷に基づいて画素値を生成するための検出信号を生成する生成回路とをさらに備える請求項１に記載の固体撮像装置。
  14. 　前記生成回路は、一方の電極が前記第２光電変換素子に接続されたキャパシタと、前記キャパシタの前記一方の電極の電位と参照電圧とを比較するコンパレータと、前記コンパレータに入力される前記参照電圧を第１参照電圧と前記第１参照電圧よりも低い電圧値の第２参照電圧とのいずれかに切り替えるスイッチと、前記コンパレータによる比較結果に基づいて検出信号を出力するロジック回路とを備える請求項１３に記載の固体撮像装置。
  15. 　前記キャパシタの前記一方の電極の前記電位が前記第１参照電圧を下回った際に前記ロジック回路から出力された第１検出信号と、前記一方の電極の前記電位が前記第２参照電圧を下回った際に前記ロジック回路から出力された第２検出信号とに基づいて、前記画素値を生成する第２調停部をさらに備える請求項１４に記載の固体撮像装置。
  16. 　固体撮像装置と、
    　入射光を前記固体撮像装置の受光面に結像する光学系と、
    　前記固体撮像装置で取得された画像データを記憶するメモリと、
    　を備え、
    　前記固体撮像装置は、
    　　それぞれ、受光量に応じた電荷を発生させる第１光電変換素子と、前記第１光電変換素子に発生した電荷に基づいてアドレスイベントの発火を検出する検出部とを備え、行列状に配列する複数の単位画素と、
    　　前記複数の単位画素のうち、前記アドレスイベントの発火が検出された１以上の第１単位画素をリセットするリセット制御部と、
    　を備え、
    　前記リセット制御部は、前記複数の単位画素のうちの１以上の第２単位画素を周期的にリセットする
    　撮像装置。
PCT/JP2020/004411 2019-02-15 2020-02-05 固体撮像装置及び撮像装置 WO2020166457A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080013149.7A CN113454985A (zh) 2019-02-15 2020-02-05 固态成像设备与成像设备
US17/310,487 US20220191417A1 (en) 2019-02-15 2020-02-05 Solid-state imaging device and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-025531 2019-02-15
JP2019025531A JP2020136811A (ja) 2019-02-15 2019-02-15 固体撮像装置及び撮像装置

Publications (1)

Publication Number Publication Date
WO2020166457A1 true WO2020166457A1 (ja) 2020-08-20

Family

ID=72044688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004411 WO2020166457A1 (ja) 2019-02-15 2020-02-05 固体撮像装置及び撮像装置

Country Status (4)

Country Link
US (1) US20220191417A1 (ja)
JP (1) JP2020136811A (ja)
CN (1) CN113454985A (ja)
WO (1) WO2020166457A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563909B1 (en) * 2021-08-13 2023-01-24 Omnivision Technologies, Inc. Event filtering in an event sensing system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
JP2016021236A (ja) * 2014-07-14 2016-02-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． インターフェイシング装置及びユーザ入力処理方法とそのコンピュータ読出可能記録媒体並びに処理装置
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071982B2 (en) * 2001-10-24 2006-07-04 Texas Instruments Incorporated Adaptive relative and absolute address coding CMOS imager technique and system architecture
JP4367963B2 (ja) * 2007-10-24 2009-11-18 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置の駆動方法
EP3869791A1 (en) * 2016-12-30 2021-08-25 Sony Advanced Visual Sensing AG Data rate control for event-based vision sensor
CN107147856B (zh) * 2017-03-30 2019-11-22 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
JP2016021236A (ja) * 2014-07-14 2016-02-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． インターフェイシング装置及びユーザ入力処理方法とそのコンピュータ読出可能記録媒体並びに処理装置
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563909B1 (en) * 2021-08-13 2023-01-24 Omnivision Technologies, Inc. Event filtering in an event sensing system
US20230047774A1 (en) * 2021-08-13 2023-02-16 Omnivision Technologies, Inc. Event filtering in an event sensing system

Also Published As

Publication number Publication date
US20220191417A1 (en) 2022-06-16
CN113454985A (zh) 2021-09-28
JP2020136811A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
JP2020072317A (ja) センサ及び制御方法
US11924566B2 (en) Solid-state imaging device and electronic device
WO2020067410A1 (ja) データ処理装置、データ処理方法、及び、プログラム
JP7299845B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020195769A1 (ja) 物体検出装置、物体検出システム及び物体検出方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2020129657A1 (ja) センサ及び制御方法
KR102493027B1 (ko) 촬상 소자 및 그 구동 방법, 그리고 전자 기기
WO2022130888A1 (ja) 撮像装置
WO2020166457A1 (ja) 固体撮像装置及び撮像装置
CN110235434B (zh) 摄像系统、摄像装置和控制装置
US11743449B2 (en) Imaging device and electronic apparatus
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
WO2021200330A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2020090459A1 (ja) 固体撮像装置、及び電子機器
US11451737B2 (en) Imaging device
WO2018211985A1 (ja) 撮像素子、および撮像素子の制御方法、撮像装置、並びに電子機器
JP2020205507A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022014222A1 (ja) 撮像装置および撮像方法
WO2020054184A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088457A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20756450

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20756450

Country of ref document: EP

Kind code of ref document: A1