WO2022009807A1 - 撮像素子および撮像方法 - Google Patents

撮像素子および撮像方法 Download PDF

Info

Publication number
WO2022009807A1
WO2022009807A1 PCT/JP2021/025194 JP2021025194W WO2022009807A1 WO 2022009807 A1 WO2022009807 A1 WO 2022009807A1 JP 2021025194 W JP2021025194 W JP 2021025194W WO 2022009807 A1 WO2022009807 A1 WO 2022009807A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
address event
region
unit
photoelectric conversion
Prior art date
Application number
PCT/JP2021/025194
Other languages
English (en)
French (fr)
Inventor
伸 北野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202180047450.4A priority Critical patent/CN116057945A/zh
Priority to JP2022535303A priority patent/JPWO2022009807A1/ja
Priority to US18/003,808 priority patent/US20230262349A1/en
Publication of WO2022009807A1 publication Critical patent/WO2022009807A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to an image sensor and an image pickup method.
  • an asynchronous image pickup device having an address event detection circuit for detecting in real time as an address event that the amount of light of the pixel exceeds the threshold value for each pixel address has been used.
  • each address event detection circuit When each address event detection circuit detects the occurrence of an address event, it outputs a request signal requesting the output of a detection signal to that effect to an arbiter circuit called an arbiter.
  • the arbiter gives a selection right from the address event detection circuit that has transmitted the request signal earliest, and enables the output of the light receiving element signal (see, for example, Patent Document 1).
  • the above-mentioned image pickup apparatus is arbitrated in the order in which address events are detected, even if an address event with a high priority is detected, the generation of an image based on the address event may be delayed. Specifically, even when a valid address event that should be detected, such as an event accompanying the movement of the observation object, is detected, the address event caused by the previously detected noise or the like is preferentially processed. Will be done. Therefore, there is a problem that the detection of a valid address event that should be originally detected is delayed.
  • the image pickup device has a plurality of pixels, a pixel address event detection unit, a region address event detection unit, and a pixel selection unit.
  • the pixel includes a photoelectric conversion unit that performs photoelectric conversion of incident light.
  • the pixel address event detection unit detects a pixel address event, which is an address event of its own pixel, based on a change in the amount of charge generated by photoelectric conversion, which is arranged for each pixel.
  • the region address event detection unit detects a region address event, which is an address event in the region, based on a change in the amount of charge generated by photoelectric conversion in a plurality of pixels included in a predetermined region among the plurality of pixels.
  • the pixel selection unit selects a pixel based on the detected pixel address event and area address event, and causes the selected pixel to output the detection result of the pixel address event.
  • FIG. 1 is a block diagram showing a configuration example of an image pickup apparatus according to an embodiment of the present disclosure.
  • the figure is a diagram showing a configuration example of the image pickup apparatus 1.
  • the image pickup device 1 includes an image pickup lens 5, an image pickup element 2, a recording unit 3, and a control unit 4.
  • an image pickup device 1 a camera mounted on a wearable device, an in-vehicle camera, or the like is assumed.
  • the image pickup lens 5 is an example of an optical system, and captures incident light from a subject to form an image on the image pickup surface of the image pickup element 2.
  • the image sensor 2 is also called an EVS (Event-based Vision Sensor), and detects as an address event that the absolute value of the amount of change in luminance exceeds the threshold value for each of the plurality of pixels.
  • This address event is, for example, an on event indicating that the amount of increase in brightness exceeds the upper limit threshold value and an off event indicating that the amount of decrease in brightness is below the lower limit threshold value below the upper limit threshold value. including.
  • Each detection signal includes an on-event detection signal V CH (see FIG. 6) indicating the presence or absence of an on-event and an off-event detection signal V CL (see FIG. 6) indicating the presence or absence of an off-event.
  • the image sensor 2 further generates an image signal for each pixel in which the detection signal is generated.
  • a predetermined signal process such as an image recognition process is executed on the generated image signal, and the image data after the process is output to the recording unit 3 via the signal line 6.
  • the recording unit 3 records the image data from the image sensor 2.
  • the control unit 4 controls the image pickup element 2 to cause the image pickup element 2 to take an image of image data. At this time, the control unit 4 outputs the control signal to the image pickup device 2 via the signal line 7.
  • FIG. 2 is a block diagram showing a configuration example of the image pickup device according to the embodiment of the present disclosure.
  • the figure is a block diagram showing a configuration example of the image pickup device 2.
  • the image pickup device 2 in the figure includes a pixel array unit 10, a control circuit 20, an arbiter 30, and a signal processing unit 40.
  • the pixel array unit 10 is configured by arranging a plurality of pixels 100.
  • the pixel array unit 10 in the figure shows an example in which the pixels 100 are arranged in a two-dimensional matrix.
  • the pixel 100 includes a photoelectric conversion unit that performs photoelectric conversion of incident light, and detects an address event based on the amount of change in the electric charge generated by the photoelectric conversion.
  • the address event detected in the pixel 100 is referred to as a pixel address event.
  • the pixel 100 that has detected the pixel address event outputs the detection signal of the pixel address event to the control circuit 20 and the signal processing unit 40, which will be described later.
  • the control circuit 20 outputs a control signal to the pixel 100 that outputs the detection signal, and resets the pixel address event detected in the pixel 100. Further, the signal processing unit 40 performs predetermined signal processing on the detected signal.
  • the pixel 100 Prior to the output of this detection signal, the pixel 100 sends a request requesting the output of the detection signal to the arbiter 30 described later.
  • the arbiter 30 selects the pixel 100 that sent the request and outputs a response to the request. This response allows the output of the detection signal.
  • the region address event is an address event detected based on the amount of change in the charge generated by the photoelectric conversion of the pixel 100 included in a predetermined region among the plurality of pixels 100 arranged in the pixel array unit 10. Is. This region address event can be detected, for example, based on the amount of change in the total charge generated by the pixels 100 included in the predetermined region. The details of the configuration of the pixel 100 will be described later.
  • the control circuit 20 is a circuit that controls the reset of the pixel address event in each pixel 100 of the pixel array unit 10.
  • the control circuit 20 resets the pixel address event detection unit 120 by outputting a control signal for resetting the subtractor 123 of the pixel address event detection unit 120 arranged in the pixel 100, which will be described later.
  • the arbiter 30 selects the pixel 100 that sent the request.
  • the arbiter 30 selects the pixel 100 based on the pixel address event and the area address event as described above.
  • the pixel 100 that has detected the address event outputs the detection signal to the control circuit 20 and the signal processing unit 40.
  • This control signal needs to be supplied exclusively to one pixel 100. This is to prevent collisions when the detection signals are output from the plurality of pixels 100. Therefore, the arbiter 30 arbitrates the plurality of pixels 100 for which the pixel address event is detected. Specifically, the arbiter 30 detects a pixel address event, selects one of the pixels 100, and returns a response to the selected pixel 100. This response represents the result of the selection.
  • the arbiter 30 can select the pixels 100 in the order in which the requests are sent. At this time, the arbiter 30 can make a preferential selection for the specific pixel 100. For example, the arbiter 30 can select the pixel 100 included in the area where the above-mentioned area address event is detected in preference to the pixel 100 not included in the area.
  • the region in which the region address event is detected is a region in which a change in the brightness of the incident light is detected in many pixels 100. In such a region, it can be estimated that a change such as movement in the subject of the image sensor 2 has occurred. That is, it is presumed that an address event such as an event accompanying the movement of the observation object is detected in the region. Therefore, by preferentially selecting the pixels 100 in this region, it is possible to acquire an image of an observation object accompanied by movement at an early stage.
  • the pixel 100 not selected by the arbiter 30 outputs a response after the generation of the image signal of the pixel 100 included in the area where the area address event is detected is completed.
  • the priority of the pixel 100 that has detected the pixel address event can be lowered due to the influence of noise or the like. The details of the configuration of the arbiter 30 will be described later.
  • the signal processing unit 40 performs predetermined signal processing on the detection signal from the pixel 100.
  • the signal processing unit 40 can arrange such detection signals as image signals in a two-dimensional matrix and generate image data having 2 bits of information for each pixel 100. Further, the signal processing unit 40 can perform signal processing such as image recognition processing on the generated image data.
  • FIG. 3 is a diagram showing a configuration example of a pixel array unit and an arbiter according to the first embodiment of the present disclosure.
  • the figure is a diagram illustrating a configuration example of the pixel array unit 10 and the arbiter 30.
  • the pixel 100 of the pixel array unit 10 in the figure includes a photoelectric conversion unit 110 and a pixel address event detection unit 120.
  • the photoelectric conversion unit 110 performs photoelectric conversion of incident light.
  • the photoelectric conversion unit 110 can be configured by a photodiode. This photoelectric conversion generates an electric charge according to the brightness of the incident light. By applying a voltage to the photoelectric conversion unit 110, it is possible to supply an photocurrent, which is a current corresponding to the generated charge, to an external circuit.
  • the pixel address event detection unit 120 detects a pixel address event. By detecting the change in the photocurrent described above, it is possible to detect the change in the electric charge generated by the photoelectric conversion, and it is possible to detect the pixel address event based on the change in the amount of electric charge. Further, the pixel address event detection unit 120 supplies the photocurrent of the photoelectric conversion unit 110 to the region address event detection unit 320. The details of the configuration of the pixel address event detection unit 120 will be described later.
  • the arbiter 30 in the figure includes an area address event detection unit 320 and a pixel selection unit 310.
  • the region address event detection unit 320 is a region that is an address event in the region based on a change in the amount of charge generated by the photoelectric conversion of the pixel 100 included in a predetermined region among the plurality of pixels 100 of the pixel array unit 10. It detects address events. This region address event can be detected, for example, based on the change in the photocurrent in all the pixels 100 included in the predetermined region, and is based on the change in the total photocurrent of all the pixels 100 included in the region. Can be detected.
  • the pixel array unit 10 in the figure shows an example in which the area 591, which is the above-mentioned predetermined area, is arranged for each row of the pixels 100 arranged in a two-dimensional matrix.
  • the area address event detection unit 320 is arranged in each area 591, and photocurrent is supplied from the pixel 100 included in the area. This photocurrent is supplied via the signal line 103. Details of the configuration of the region address event detection unit 320 will be described later.
  • the pixel selection unit 310 selects the pixel 100 based on the pixel address event and the area address event. Further, the pixel selection unit 310 causes the selected pixel 100 to output the detection result of the pixel address event. The pixel selection unit 310 can select the pixel 100 in which the pixel address event is detected among the pixels 100 included in the area 591 in which the area address event is detected.
  • a request for requesting the output of the pixel address event detection signal is output to the pixel selection unit 310.
  • This request is output via the signal line 102.
  • the area address event detection unit 320 outputs a request to the pixel selection unit 310 when the area address event is detected in its own area 591.
  • the pixel selection unit 310 selects the pixel 100 based on these pixel address events and region address events, and outputs a response to the selected pixel 100. This response is output via the signal line 101.
  • the pixel 100 to which the response is output from the pixel selection unit 310 outputs the detection signal of the pixel address event to the signal processing unit 40 and the control circuit 20. This detection signal is output via the signal line 104.
  • the control circuit 20 outputs a control signal to the pixel 100 that outputs the detection signal, and resets the pixel 100. As a result, the detection of the pixel address event in the pixel 100 is reset, and the output of the request is stopped.
  • the pixel selection unit 310 also outputs a response to the area address event detection unit 320 of the area 591 including the selected pixel 100.
  • the area address event detection unit 320 to which this response is output is reset, and the output of the request is stopped.
  • the configuration of the area 591 is not limited to this example.
  • the area 591 can be set for each of a plurality of rows such as every two rows of the pixels 100 arranged in the pixel array unit 10.
  • FIG. 4 is a diagram showing a configuration example of a pixel address event detection unit according to the first embodiment of the present disclosure.
  • the figure is a diagram showing a configuration example of the pixel address event detection unit 120.
  • the pixel address event detection unit 120 in the figure includes a current-voltage conversion circuit 121, a buffer 122, a subtractor 123, a quantizer 124, and a transfer control unit 125.
  • the current-voltage conversion circuit 121 converts the photocurrent from the photoelectric conversion unit 110 into a voltage signal. Further, at the time of this conversion, the current-voltage conversion circuit 121 performs logarithmic compression of the voltage signal. The converted voltage signal is output to the buffer 122. The details of the configuration of the current-voltage conversion circuit 121 will be described later.
  • the buffer 122 corrects the voltage signal output from the current-voltage conversion circuit 121, and outputs this corrected signal to the subtractor 123.
  • the driving force for driving the subsequent stage can be improved by the buffer 122, and the noise isolation associated with the switching operation of the subsequent stage can be ensured.
  • the subtractor 123 obtains the amount of change in the correction signal output from the buffer 122 by the subtraction process. Then, the subtractor 123 outputs the obtained change amount as a differential signal to the quantizer 124. The details of the configuration of the subtractor 123 will be described later.
  • the quantizer 124 converts (that is, quantizes) an analog differential signal into a digital detection signal by comparing the output differential signal with a predetermined threshold value.
  • the quantizer 124 according to the embodiment compares the differential signal with each of the upper limit threshold value and the lower limit threshold value, and outputs the comparison result as a 2-bit detection signal to the transfer control unit 125.
  • the transfer control unit 125 controls the transfer of the detection signal to the signal processing unit 40 and the control circuit 20.
  • the transfer control unit 125 outputs a request to the pixel selection unit 310.
  • the transfer control unit 125 outputs the detection signal to the signal processing unit 40 and the control circuit 20.
  • FIG. 5 is a diagram showing a configuration example of the current-voltage conversion circuit according to the first embodiment of the present disclosure.
  • the figure is a circuit diagram showing a configuration example of the current-voltage conversion circuit 121.
  • the current-voltage conversion circuit 121 in the figure includes MOS transistors 501 to 505.
  • the photoelectric conversion unit 110 is further shown in the figure.
  • Vdd represents a power line that supplies power.
  • Vb1 represents a signal line that supplies a bias voltage.
  • a p-channel MOS transistor can be used for the MOS transistors 501 to 503.
  • MOS transistors 504 and 505 n-channel MOS transistors can be used.
  • the anode of the photoelectric conversion unit 110 is grounded, and the cathode is connected to the source of the MOS transistor 504 and the gate of the MOS transistor 505.
  • the source of the MOS transistor 505 is grounded and the drain is connected to the gate of the MOS transistor 504, the drain of the MOS transistor 503 and the signal line 129.
  • the gate of the MOS transistor 503 is connected to the signal line Vb1, and the source is connected to the power line Vdd.
  • the drains of the MOS transistor 504 are connected to the drain and gate of the MOS transistor 501 and the gate of the MOS transistor 502.
  • the source of the MOS transistor 501 and the source of the MOS transistor 502 are commonly connected to the power supply line Vdd.
  • the drain of the MOS transistor 502 is connected to the signal line 103.
  • the MOS transistor 504 is a MOS transistor that supplies a current to the photoelectric conversion unit 110.
  • a sink current (photocurrent) corresponding to the incident light flows through the photoelectric conversion unit 110.
  • the MOS transistor 504 supplies this sink current.
  • the gate of the MOS transistor 504 is driven by the output voltage of the MOS transistor 505, which will be described later, and outputs a source current equal to the sink current of the photoelectric conversion unit 110. Since the gate-source voltage Vgs of the MOS transistor becomes a voltage corresponding to the source current, the source voltage of the MOS transistor 504 becomes a voltage corresponding to the current of the photoelectric conversion unit 110. As a result, the current of the photoelectric conversion unit 110 is converted into a voltage signal.
  • the MOS transistor 505 is a MOS transistor that amplifies the source voltage of the MOS transistor 504. Further, the MOS transistor 503 constitutes a constant current load of the MOS transistor 505. An amplified voltage signal is output to the drain of the MOS transistor 505. This voltage signal is output to the signal line 129 and fed back to the gate of the MOS transistor 504.
  • the Vgs of the MOS transistor 504 is equal to or less than the threshold voltage
  • the source current changes exponentially with respect to the change of Vgs. Therefore, the output voltage of the MOS transistor 505 fed back to the gate of the MOS transistor 504 becomes a voltage signal in which the optical current of the photoelectric conversion unit 110 equal to the source current of the MOS transistor 504 is logarithmically compressed.
  • the MOS transistor 501 is connected between the power line Vdd and the drain of the MOS transistor 504, and the gate and drain are short-circuited. Therefore, the drain current of the MOS transistor 504, that is, the photocurrent of the photoelectric conversion unit 110 flows through the MOS transistor 501.
  • the MOS transistor 502 constitutes a current mirror circuit with the MOS transistor 501, and a current substantially equal to the drain current of the MOS transistor 501 flows. As a result, the photocurrent of the photoelectric conversion unit 110 is copied and supplied to the signal line 103 connected to the drain of the MOS transistor 502.
  • FIG. 6 is a diagram showing a configuration example of a buffer, a subtractor, and a quantizer according to the first embodiment of the present disclosure.
  • the figure is a circuit diagram showing a configuration example of a buffer 122, a subtractor 123, and a quantizer 124.
  • Vb2 and Vb3 are signal lines that supply bias voltages, respectively.
  • Vbon and Vboff are signal lines that supply voltages corresponding to the upper limit threshold value of the amount of increase in luminance and the upper limit threshold value of the amount of decrease in luminance described above in FIG.
  • a p-channel MOS transistor can be used for the MOS transistors 511 to 515.
  • An n-channel MOS transistor can be used for the MOS transistors 521 to 524.
  • the signal line 129 is connected to the gate of the MOS transistor 521, and the source of the MOS transistor 521 is grounded.
  • the gate of the MOS transistor 511 is connected to the signal line Vb2, and the source is grounded to the power line Vdd.
  • the drain of the MOS transistor 511 is connected to the drain of the MOS transistor 521 and one end of the capacitor 531.
  • the other end of the capacitor 531 is connected to the gate of the MOS transistor 512, the source of the MOS transistor 513 and one end of the capacitor 532.
  • the other end of the capacitor 532 is connected to the drain of the MOS transistor 512, the drain of the MOS transistor 513, the drain of the MOS transistor 522, the gate of the MOS transistor 514 and the gate of the MOS transistor 515.
  • the source of the MOS transistor 512 is connected to the power supply line Vdd, and the gate of the MOS transistor 513 is connected to the signal line 105.
  • the source of the MOS transistor 522 is grounded and the gate is connected to the signal line Vb3.
  • the source of the MOS transistor 514 and the source of the MOS transistor 515 are commonly connected to the power line Vdd.
  • the drain of the MOS transistor 514 is connected to the drain of the MOS transistor 523 and the signal line 128 (VCH).
  • the source of the MOS transistor 523 is grounded and the gate is connected to the signal line Vbon.
  • the drain of the MOS transistor 515 is connected to the drain of the MOS transistor 526 and the signal line 128 (VCL), the source of the MOS transistor 524 is grounded, and the gate is connected to the signal line Vboff.
  • the buffer 122 is composed of MOS transistors 511 and 521.
  • the voltage signal input via the signal line 129 is amplified by the MOS transistor 521 and output to the subtractor 123.
  • the MOS transistor 511 constitutes a drain load of the MOS transistor 521.
  • the subtractor 123 is composed of MOS transistors 512, 513 and 522 and capacitors 531 and 532.
  • the MOS transistor 512 constitutes an inverting amplifier.
  • the MOS transistor 522 constitutes a constant current load.
  • Capacitors 532 and MOS transistors 513 connected in parallel form a feedback circuit of an inverting amplifier composed of MOS transistors 512.
  • the capacitor 531 corresponds to a coupled capacitor connected to the input of the inverting amplifier.
  • the input of this inverting amplifier becomes a virtual grounding point.
  • the potential of this virtual ground terminal is set to zero for convenience.
  • the voltage signal output from the buffer 122 and applied to the capacitor 531 is defined as Vinit .
  • the MOS transistor 513 is in a conductive state, and both ends of the capacitor 532 are short-circuited.
  • the charge Q2 stored in the capacitor 532 is expressed by the following equation (3), where the capacitance of the capacitor 532 is C2 and the output voltage is V out.
  • Q2 -C2 x V out ... (3)
  • the above equation (5) represents the subtraction operation of the voltage signal, and the gain of the subtraction result is C1 / C2. Since it is usually desired to maximize the gain, it is preferable to design the capacitance C1 to be large and the capacitance C2 to be small. On the other hand, if the capacitance C2 is too small, kTC noise may increase and noise characteristics may deteriorate. Therefore, the capacitance reduction of the capacitance C2 is limited to a range in which noise can be tolerated.
  • the change in the input signal is subtracted and output. Further, the change in the input signal is integrated in the capacitor 532.
  • the reset signal is input to the gate of the MOS transistor 513 via the signal line 105, the MOS transistor 513 becomes conductive, the charge of the capacitor 532 is discharged, and the change in the integrated input signal is reset.
  • the MOS transistors 514, 515, 523 and 524 constitute the quantizer 124.
  • the MOS transistors 514 and 523 constitute a comparator and compares the output signal of the subtractor 123 with the bias voltage Vbon indicating the upper threshold. As a result of the comparison, when the output signal of the subtractor 123 exceeds Vbon, the on-event detection signal VCH is output to the transfer control unit 125 as a detection signal.
  • the MOS transistors 515 and 524 form a comparator and compare the output signal of the subtractor 123 with the bias voltage Vboff indicating the lower limit threshold. As a result of the comparison, when the output signal of the subtractor 123 is less than Vboff, the off-event detection signal VCL is output to the transfer control unit 125 as a detection signal.
  • FIG. 7 is a diagram showing a configuration example of the region address event detection unit according to the first embodiment of the present disclosure.
  • the figure is a diagram showing a configuration example of the area address event detection unit 320.
  • the region address event detection unit 320 in the figure includes a current-voltage conversion circuit 321, a buffer 322, a subtractor 323, a quantizer 324, and a transfer control unit 325.
  • the optical current of the pixel 100 included in the region 591 is input to the current-voltage conversion circuit 321 to convert the total current of these optical currents into a voltage signal and perform logarithmic compression.
  • the transfer control unit 325 exchanges requests and responses with the pixel selection unit 310. Further, the transfer control unit 325 outputs a reset signal of the subtractor 323 when a response is input. Other than this, the configuration of the transfer control unit 325 can be the same as that of the transfer control unit 125 described with reference to FIG.
  • the buffer 322, the subtractor 323 and the quantizer 324 can have the same configuration as the buffer 122, the subtractor 123 and the quantizer 124 described in FIG. 4, respectively.
  • FIG. 8 is a diagram showing a configuration example of the current-voltage conversion circuit according to the first embodiment of the present disclosure.
  • the figure is a circuit diagram showing a configuration example of the current-voltage conversion circuit 321.
  • the current-voltage conversion circuit 321 includes MOS transistors 541 to 543 and a plurality of current mirror circuits 550.
  • the circuit composed of the MOS transistors 541 to 543 converts the optical current into a voltage signal in the same manner as the current-voltage conversion circuit composed of the MOS transistors 503 to 505 described with reference to FIG.
  • the current mirror circuit 550 includes MOS transistors 551 and 552.
  • An n-channel MOS transistor can be used for the MOS transistors 551 and 552.
  • the current mirror circuit 550 includes an input terminal Ii and an output terminal Io.
  • the input terminal Ii is connected to the drain of the MOS transistor 551, the gate of the MOS transistor 551, and the gate of the MOS transistor 552.
  • the source of the MOS transistor 551 and the source of the MOS transistor 552 are grounded.
  • the drain of the MOS transistor 552 is connected to the output terminal Io.
  • a current substantially equal to the current flowing through the input terminal Ii flows into the output terminal Io. Since the photocurrent of the pixel 100 included in the area 591 flows through the input terminal Ii, the same value of the current also flows through the output terminal Io.
  • the same number of such current mirror circuits 550 as the pixels 100 included in the area 591 are arranged, and the photocurrent is input to each of the current mirror circuits 550. Since the output terminal Io of these current mirror circuits 550 is connected to the source of the MOS transistor 542, a current corresponding to the sum of the optical currents of the pixels 100 included in the region 591 flows through the MOS transistor 542. .. As a result, the current-voltage conversion circuit 321 converts the total photocurrent of the pixels 100 included in the region 591 into a voltage signal.
  • the voltage signal output from the current-voltage conversion circuit 321 is processed by the buffer 322, the subtractor 323, and the quantizer 324, and the region address event is detected.
  • FIG. 9 is a block diagram showing a configuration example of a pixel selection unit according to the first embodiment of the present disclosure.
  • the figure is a diagram showing a configuration example of the pixel selection unit 310.
  • the pixel selection unit 310 in the figure includes a region arbiter 311 and a pixel arbiter 312.
  • the area arbiter 311 mediates the request from the area address event detection unit 320.
  • the area arbiter 311 arbitrates the requests from the plurality of area address event detection units 320, and outputs the response as the arbitration result. This arbitration can be performed, for example, by selecting the area address event detection unit 320 on a first-come, first-served basis. Further, the area arbiter 311 outputs the area 591 corresponding to the selected area address event detection unit 320 to the pixel arbiter 312.
  • the pixel arbiter 312 mediates the request from the pixel address event detection unit 120.
  • the pixel arbiter 312 performs arbitration for requests from a plurality of pixel address event detection units 120, and outputs a response as the arbitration result. This arbitration can be performed, for example, by preferentially selecting a request from the pixel address event detection unit 120 included in the area 591 selected by the area arbiter 311. Specifically, when the region arbiter 311 selects the region 591, the pixel address event detection unit 120 can be selected in the pixels 100 included in the region on a first-come, first-served basis to output a response.
  • the pixel address event detection unit 120 can be selected in the first-come-first-served order of the requests in all the pixels 100 of the pixel array unit 10, and the response can be output. .. In this way, the pixel selection unit 310 can select the pixel 100 based on the pixel address event and the area address event.
  • FIG. 10 is a diagram showing an example of image data generation processing according to the first embodiment of the present disclosure.
  • the figure is a diagram showing an example of image data generation processing in the image sensor 2.
  • the pixel address event detection unit 120 detects the pixel address event in all the pixels 100 arranged in the pixel array unit 10, and the pixel selection unit 310 determines whether or not the pixel address event is detected (step S101). ). It can be determined that the pixel address event has been detected when the pixel address event is detected and the request is output by any of the pixel address event detection units 120 of the pixels 100 arranged in the pixel array unit 10. can.
  • the pixel selection unit 310 waits until this pixel address event is detected and a request is output (steps S101 and No).
  • the process of step S101 is an example of the pixel address event detection procedure described in the claims.
  • step S101 Yes
  • the pixel selection unit 310 determines whether or not the area address event is detected (step S102). It can be determined that the area address event has been detected when the area address event is detected and the request is output by any one of the plurality of area address event detection units 320.
  • the process of step S102 is an example of the area address event detection procedure described in the claims.
  • the pixel selection unit 310 selects the pixel address event detection unit 120 that detects the pixel address event and outputs the request (step S103).
  • the pixel selection unit 310 can select the pixel address event detection unit 120 on a first-come, first-served basis.
  • the pixel selection unit 310 outputs a response to the pixel address event detection unit 120 of the selected pixel 100 (step S104).
  • the pixel address event detection unit 120 to which this response is output executes the detection result output process (step S110). After that, the process proceeds to step S101.
  • the pixel selection unit 310 selects the area address event detection unit 320 that outputs the area address event (step S105).
  • the pixel selection unit 310 can select the area address event detection unit 320 on a first-come, first-served basis.
  • the pixel selection unit 310 outputs a response to the selected area address event detection unit 320 (step S106).
  • the pixel selection unit 310 determines whether or not a pixel address event has been detected in the pixels 100 in the selected area (step S107).
  • a pixel address event is detected, that is, when a request is output from the pixel address event detection unit 120 of the pixel 100 in the selected area (step S107, Yes)
  • the pixel selection unit 310 outputs the request.
  • the pixel address event detection unit 120 is selected (step S108).
  • the pixel selection unit 310 can select the pixel address event detection unit 120 on a first-come, first-served basis.
  • the pixel selection unit 310 outputs a response to the selected pixel address event detection unit 120 (step S109).
  • the pixel address event detection unit 120 to which this response is output executes the detection result output process (step S110). After that, the process from step S107 is repeated again.
  • step S107 If the pixel address event is not detected in step S107 (steps S107, No), it can be determined that the detection result is output in all the pixels 100 in which the pixel address event in the selected area is detected. In this case, the process proceeds to step S101 again.
  • the processing of steps S103 and S108 is an example of the selection procedure described in the claims.
  • FIG. 11 is a diagram showing an example of the detection result output process according to the first embodiment of the present disclosure.
  • FIG. 10 is a diagram showing an example of the detection result output process (step S110) in FIG.
  • the process in the figure shows an example of the process in the pixel address event detection unit 120.
  • the transfer control unit 125 of the pixel address event detection unit 120 to which the response is output by the pixel selection unit 310 outputs the detection signal to the signal processing unit 40 and the control circuit 20 (step S111).
  • image data is generated in the signal processing unit 40.
  • a control signal is generated in the control circuit 20 and output to the subtractor 123.
  • the subtractor 123 is reset by this control signal (step S112).
  • the process of step S111 is an example of the detection result output procedure described in the claims.
  • image data can be generated based on the detected pixel address event and area address event.
  • FIG. 12 is a diagram showing a configuration example of a pixel array unit and an arbiter according to a first modification of the first embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating the configuration of the pixel array unit 10 and the arbiter 30 in the same manner as in FIG. It differs from the pixel array unit 10 of FIG. 3 in that an area is formed for each row of pixels 100 arranged in the pixel array unit 10. For convenience, the description of the control circuit 20 and some signal lines has been omitted, and the description of the pixel 100 has been simplified.
  • the area 592 in the figure is an area arranged for each row of pixels 100 arranged in a two-dimensional matrix.
  • the area address event detection unit 330 in the figure is arranged for each area 592.
  • the photocurrent from the pixel 100 included in the area 592 is input to the area address event detection unit 330.
  • the area address event detection unit 330 can detect the area address event of the corresponding area 592.
  • the configuration of the area 591 is not limited to this example.
  • the area 592 can be set for each of a plurality of columns such as every two columns of the pixels 100 arranged in the pixel array unit 10.
  • FIG. 13 is a diagram showing a configuration example of a pixel array unit and an arbiter according to a second modification of the first embodiment of the present disclosure.
  • the figure is a diagram illustrating the configuration of the pixel array unit 10 and the arbiter 30 as in FIG. 12. It differs from the pixel array unit 10 of FIG. 12 in that an area is formed for each block of 2 rows and 2 columns of the pixels 100 arranged in the pixel array unit 10.
  • the area 593 in the figure is an area arranged for each of the four pixels 100 in 2 rows and 2 columns of the pixels 100 arranged in a two-dimensional matrix.
  • the area address event detection unit 340 in the figure is arranged for each area 593.
  • the photocurrent from the pixel 100 included in the area 593 is input to the area address event detection unit 340, and the area address event in the area 593 can be detected.
  • the configuration of the area 591 is not limited to this example.
  • the area 593 can be set for each block of different sizes of the pixels 100 arranged in the pixel array unit 10.
  • the image sensor 2 selects the pixel 100 based on the pixel address event and the region address event, and outputs a detection signal based on the pixel address event of the selected pixel 100. Output.
  • regions can be prioritized based on detected region address events. By setting the priority of the region in which the region address event is detected to be high, it is possible to preferentially generate the image data in the region where the luminance change is large. This makes it possible to suppress the delay in detecting effective events such as the movement of the observation object. It is also possible to specify a region in which such a region address event is detected as a region of interest (ROI: Region Of Interest).
  • ROI Region Of Interest
  • an ineffective event such as noise is detected as a single pixel address event for each pixel 100.
  • noise and the like can be suppressed.
  • the pixel 100 in the region where the region address event is detected is preferentially selected and the pixel address event is detected.
  • the second embodiment of the present disclosure is different from the first embodiment described above in that the pixel 100 in a region different from the region in which the region address event is detected is preferentially selected.
  • the pixel selection unit 310 in the second embodiment of the present disclosure sets the priority of the area 591 in which the area address event is detected low. For example, the pixel selection unit 310 can omit the detection of the pixel address event of the pixel 100 included in the area 591 in which the area address event is detected. This makes it possible to stop the generation of image data in a region where the luminance change is large.
  • FIG. 14 is a diagram showing a configuration example of a pixel array unit and an arbiter according to a second embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating the configuration of the pixel array unit 10 and the arbiter 30 in the same manner as in FIG. It differs from the pixel array unit 10 of FIG. 3 in that the pixel selection unit 310 outputs a reset signal to the pixel address event detection unit 120.
  • the pixel 100 is described as an example in the pixel array unit 10 in the figure.
  • the pixel selection unit 310 in the figure outputs a reset signal to the pixel address event detection unit 120 arranged in the area 591 in which the area address event is detected.
  • the pixel address event detection unit 120 in the figure stops the output of the request when the reset signal is input.
  • the pixel address event detection unit 120 in the figure can reset its own subtractor 123 when a reset signal is input.
  • FIG. 15 is a diagram showing an example of image data generation processing according to the second embodiment of the present disclosure.
  • FIG. 10 is a diagram showing an example of image data generation processing in the image sensor 2 as in FIG. 10. It differs from the image data generation process of FIG. 10 in that a process of outputting a reset signal to the pixel address event detection unit 120 (step S121) is performed after the process of step S108.
  • the pixel selection unit 310 in the figure outputs a reset signal to all the pixels 100 in the area 591 in which the area address event is detected, thereby stopping the output of the detection signal from the pixel address event detection unit 120 in the area 591. Can be made to.
  • the pixel selection unit 310 in the figure can output a response when a pixel address event is detected in the pixel 100 included in the region 591 different from the region 591 in which the region address event is detected. As a result, when strong light is applied to a part of the region 591 of the image pickup device by flicker or the like, the generation of image data in the region can be stopped.
  • the image sensor 2 resets the pixel address event detection unit 120 included in the region where the region address event is detected, and is the region where the region address event is detected. Detect pixel address events in different regions. As a result, it is possible to suppress the generation of image data based on the pixel 100 in which the pixel address event is detected by flicker or the like.
  • the pixel 100 in the region where the region address event is detected is preferentially selected and the pixel address event is detected.
  • the third embodiment of the present disclosure differs from the first embodiment described above in that it is in a standby state until an address event in a specific region is detected.
  • FIG. 16 is a diagram showing a configuration example of an arbiter according to a third embodiment of the present disclosure.
  • the figure is a diagram showing a configuration example of the arbiter 30.
  • the arbiter 30 in the figure is different from the arbiter 30 in FIG. 3 in that it further includes a specific area address event detection unit 350 and a standby control unit 360.
  • the specific region address event detection unit 350 detects an address event based on a change in the amount of charge generated by the photoelectric conversion of the photoelectric conversion unit 110 included in the specific region among all the pixels 100 arranged in the pixel array unit 10. To detect.
  • the specific area address event detection unit 350 in the figure shows an example of detecting an address event with the pixel array unit 10 as a specific area.
  • the photocurrents of all the pixels 100 included in the pixel array unit 10 are input to the specific area address event detection unit 350 in the figure, and when the amount of change in the total sum of these photocurrents exceeds a predetermined threshold value, the address is reached. Detect events.
  • the specific area address event detection unit 350 that has detected this address event can output a request in the same manner as the area address event detection unit 320.
  • the standby control unit 360 controls the standby state for stopping the output of the detection result of the pixel address event.
  • the standby control unit 360 controls the standby state based on the address event detected by the specific area address event detection unit 350. Specifically, the standby control unit 360 can shift the image pickup device 2 to the standby state when there is no output of a request from the specific area address event detection unit 350 during a preset period. The transition to the standby state can be performed, for example, by stopping the output of the response to the pixel address event detection unit 120 in the pixel selection unit 310.
  • the standby control unit 360 can return from the standby state to the normal state for generating image data.
  • the image sensor 2 detects an address event based on the change in the total photocurrent of the photoelectric conversion unit included in the specific region of the pixel array unit 10 and is in a standby state. By controlling the above, the power consumption of the image sensor 2 can be reduced.
  • image data is generated from the detection signal of the pixel address event output from the pixel 100.
  • the fourth embodiment of the present disclosure differs from the first embodiment described above in that image data is generated from an image signal generated based on incident light.
  • FIG. 17 is a diagram showing a configuration example of a pixel array unit and an arbiter according to a fourth embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating the configuration of the pixel array unit 10 and the arbiter 30 in the same manner as in FIG. It differs from the pixel array unit 10 of FIG. 3 in that the photoelectric conversion unit 130 and the image signal generation unit 140 are further arranged on the pixel 100.
  • the photoelectric conversion unit 130 can be configured by a photodiode in the same manner as the photoelectric conversion unit 110.
  • the image signal generation unit 140 generates an image signal based on the electric charge generated by the photoelectric conversion of the photoelectric conversion unit 130.
  • the image signal generation unit 140 is controlled by the control signal output from the control circuit 20 to generate an image signal, and outputs the image signal to the signal processing unit 40.
  • the pixel address event detection unit 120 in the figure outputs a detection signal to the control circuit 20 when a response is output from the pixel selection unit 310.
  • the control circuit 20 outputs a control signal to the image signal generation unit 140 of the pixel 100 that outputs this detection signal. As a result, an image signal is generated and output.
  • the image pickup device 2 can generate an image signal at the pixel 100 in which the address event is detected.
  • FIG. 18 is a diagram showing a configuration example of the image signal generation unit according to the fourth embodiment of the present disclosure.
  • the figure is a circuit diagram showing a configuration example of the image signal generation unit 140.
  • the image signal generation unit 140 includes a charge holding unit 571 and MOS transistors 561 to 564.
  • An n-channel MOS transistor can be used for the MOS transistors 561 to 564.
  • the photoelectric conversion unit 130 is further shown in the figure.
  • the anode of the photoelectric conversion unit 130 is grounded, and the cathode is connected to the source of the MOS transistor 561.
  • the drain of the MOS transistor 561 is connected to the source of the MOS transistor 562, the gate of the MOS transistor 563, and one end of the charge holding portion 571. The other end of the charge holding portion 571 is grounded.
  • the drain of the MOS transistors 562 and 563 is commonly connected to the power line Vdd, and the source of the MOS transistor 563 is connected to the drain of the MOS transistor 564.
  • the source of the MOS transistor 564 is connected to the signal line 106.
  • the gates of the MOS transistors 561, 562 and 564 are connected to the transfer signal line TR, the reset signal line RST and the selection signal line SEL, respectively.
  • the transfer signal line TR, the reset signal line RST, and the selection signal line SEL constitute the signal line 105.
  • the MOS transistor 561 is a transistor that transfers the electric charge generated by the photoelectric conversion of the photoelectric conversion unit 130 to the charge holding unit 571.
  • the charge transfer in the MOS transistor 561 is controlled by the signal transmitted by the transfer signal line TR.
  • the charge holding unit 571 is a capacitor that holds the charge transferred by the MOS transistor 561.
  • the MOS transistor 563 is a transistor that generates a signal based on the charge held in the charge holding unit 571.
  • the MOS transistor 564 is a transistor that outputs a signal generated by the MOS transistor 563 to the signal line 12 as an image signal.
  • the MOS transistor 564 is controlled by a signal transmitted by the selection signal line SEL.
  • the MOS transistor 562 is a transistor that resets the charge holding unit 571 by discharging the charge held in the charge holding unit 571 to the power supply line Vdd.
  • the reset by the MOS transistor 562 is controlled by the signal transmitted by the reset signal line RST, and is executed before the charge transfer by the MOS transistor 561.
  • the photoelectric conversion unit 130 can also be reset by conducting the MOS transistor 561. In this way, the image signal generation unit 140 converts the electric charge generated by the photoelectric conversion unit 130 into an image signal.
  • the image sensor 2 arranges the image signal generation unit 140 in the pixel 100 to generate the image signal in the pixel 100 in which the pixel address event is detected.
  • the image data By updating the image data using the generated image signal, it is possible to update only the image in the region where the brightness has changed. As a result, image data can be generated at high speed.
  • the configuration of the second embodiment can be applied to other embodiments. Specifically, the pixel selection unit 310 of FIG. 14 can be applied to the pixel selection unit 310 of FIGS. 12, 13 and 16.
  • the configuration of the third embodiment can be applied to other embodiments. Specifically, the specific area address event detection unit 350 and the standby control unit 360 of FIG. 16 can be applied to the pixel selection unit 310 of FIGS. 12 to 14.
  • the configuration of the fourth embodiment can be applied to other embodiments.
  • the image signal generation unit 140 of FIG. 17 can be applied to the pixels 100 of FIGS. 12 and 13.
  • the image pickup element 2 has a plurality of pixels 100 having a photoelectric conversion unit that performs photoelectric conversion of incident light, and an address event of its own pixel 100 based on a change in the amount of charge generated by the photoelectric conversion arranged for each pixel 100.
  • the pixel address event detection unit 120 that detects the pixel address event, and the address in the region based on the change in the amount of charge generated by the photoelectric conversion in the plurality of pixels 100 included in the predetermined region among the plurality of pixels 100.
  • the area address event detection unit 320 that detects the area address event, which is an event, selects the pixel 100 based on the detected pixel address event and the area address event, and outputs the detection result of the pixel address event to the selected pixel. It has a pixel selection unit 310.
  • the pixel 100 can be selected based on the area address event and the pixel address event, and the pixel 100 that has detected the pixel address event can be selected for each predetermined area.
  • the plurality of pixels 100 are arranged in the shape of a two-dimensional matrix.
  • a predetermined area is arranged for each row of the two-dimensional matrix.
  • a predetermined area is arranged for each column of the two-dimensional matrix.
  • the pixel address event detection unit 120 detects the pixel address event based on the change in the optical current, which is a current corresponding to the charge generated by the photoelectric conversion, and the region address event detection unit 320 detects the pixel address event.
  • the region address event is detected based on the change in the optical current of each of the plurality of pixels 100 included in the region.
  • the region address event detection unit 320 detects the region address event based on the change in the total photocurrent of each of the plurality of pixels 100 included in the region.
  • the pixel selection unit 310 selects the pixel 100 based on the pixel address event detected in the pixel 100 included in the region in which the area address event is detected.
  • the pixel selection unit 310 selects the pixel 100 based on the pixel address event detected in the pixel 100 included in the region different from the region in which the region address event is detected.
  • the pixel selection unit 310 selects the pixel 100 based on the detected pixel address event when the area address event is not detected.
  • an address event in a specific region is generated based on a change in the amount of charge generated by photoelectric conversion in the plurality of pixels 100 included in the specific region of the pixel array unit composed of the plurality of pixels 100.
  • the specific area address event detection unit 350 to detect and the standby control unit 360 that controls the standby state to stop the output of the detection result of the pixel address event in the pixel 100 based on the detection result of the specific area address event detection unit 350. Have more.
  • the specific area address event detection unit 350 detects an address event with the pixel array unit 10 as a specific area.
  • the pixel address event detection unit 120 detects a pixel address event when the amount of change in the generated charge exceeds a predetermined threshold value.
  • the region address event detection unit 320 detects a region address event when the amount of change in the electric charge generated in the plurality of pixels 100 included in the predetermined region exceeds a predetermined threshold value.
  • the image sensor 2 further includes an image signal generation unit 140 that is arranged for each pixel 100 and generates an image signal that is a signal based on a charge generated by photoelectric conversion of incident light, and the pixel selection unit 310 selects.
  • the image signal is output to the image signal generation unit 140 of the pixel 100 as a detection result of the pixel address event.
  • the image pickup method in the image pickup element 2 is a pixel address, which is a pixel address event based on a change in the amount of charge generated by the photoelectric conversion for each of a plurality of pixels 100 including a photoelectric conversion unit 110 that performs photoelectric conversion of incident light.
  • a region address event that is an address event in a region based on a pixel address event detection procedure for detecting an event and a change in the amount of charge generated by photoelectric conversion in a plurality of pixels included in a predetermined region among the plurality of pixels 100.
  • the area address event detection procedure for detecting the selection procedure for selecting the pixel 100 based on the detected pixel address event and the area address event, and the detection result output for causing the selected pixel 100 to output the detection result of the pixel address event. Including the procedure.
  • the pixel 100 can be selected based on the area address event and the pixel address event, and the pixel 100 that has detected the pixel address event can be selected for each predetermined area.
  • a plurality of pixels including a photoelectric conversion unit that performs photoelectric conversion of incident light, and A pixel address event detection unit that is arranged for each pixel and detects a pixel address event that is an address event of its own pixel based on a change in the amount of charge generated by the photoelectric conversion.
  • a region address event detection unit that detects a region address event, which is an address event in the region, based on a change in the amount of charge generated by photoelectric conversion in the plurality of pixels included in a predetermined region among the plurality of pixels.
  • An image pickup device having a pixel selection unit that selects the pixel based on the detected pixel address event and region address event and outputs the detection result of the pixel address event to the selected pixel.
  • the image pickup device according to (1) above wherein the plurality of pixels are arranged in the shape of a two-dimensional matrix.
  • the predetermined region is arranged for each row of the two-dimensional matrix.
  • the pixel address event detection unit detects the pixel address event based on the change in the photocurrent, which is a current corresponding to the electric charge generated by the photoelectric conversion.
  • the image pickup device according to any one of (1) to (4) above, wherein the region address event detection unit detects the region address event based on a change in the photocurrent of each of a plurality of pixels included in the region.
  • the region address event detection unit detects the region address event based on a change in the total photocurrent of each of a plurality of pixels included in the region.
  • the pixel selection unit selects the pixel based on the pixel address event detected in the pixel included in the region in which the region address event is detected.
  • the pixel selection unit selects the pixel based on the pixel address event detected in the pixel included in the region different from the region in which the region address event is detected (1).
  • the image pickup device according to any one of 6).
  • the image pickup device according to any one of (1) to (8) above, wherein the pixel selection unit selects the pixel based on the detected pixel address event when the area address event is not detected. .. (10) Specific detection of an address event in a specific region based on a change in the amount of charge generated by photoelectric conversion in the plurality of pixels included in the specific region of the pixel array unit composed of the plurality of pixels.
  • the image sensor described in Crab. (11) The image pickup device according to (10), wherein the specific area address event detection unit detects the address event with the pixel array unit as the specific area. (12) The image pickup according to any one of (1) to (11) above, wherein the pixel address event detection unit detects the pixel address event when the generated charge amount changes beyond a predetermined threshold value. element.
  • the region address event detection unit detects any of the region address events (1) to (12) when the amount of charge generated in the plurality of pixels changes beyond a predetermined threshold value.
  • the image pickup device according to. (14) Further having an image signal generation unit which is arranged for each pixel and generates an image signal which is a signal based on a charge generated by photoelectric conversion of the incident light.
  • the image pickup device according to any one of (1) to (13), wherein the pixel selection unit outputs the image signal to the image signal generation unit of the selected pixel as a detection result of the pixel address event.
  • a pixel address event that detects a pixel address event, which is an address event of the pixel, based on a change in the amount of charge generated by the photoelectric conversion for each of a plurality of pixels including a photoelectric conversion unit that performs photoelectric conversion of incident light.
  • Detection procedure and A region address event detection procedure for detecting a region address event, which is an address event in the region, based on a change in the amount of charge generated by photoelectric conversion in the plurality of pixels included in a predetermined region among the plurality of pixels.
  • a selection procedure for selecting the pixel based on the detected pixel address event and region address event
  • An imaging method including a detection result output procedure for outputting the detection result of the pixel address event to the selected pixel.
  • Image sensor 2 Image sensor 10 Pixel array unit 30 Arbiter 40 Signal processing unit 100 Pixel 110, 130 Photoelectric conversion unit 120 Pixel address event detection unit 140 Image signal generation unit 310 Pixel selection unit 311 Area arbiter 312 Pixel arbiter 320, 330, 340 Area address event detection unit 350 Specific area address event detection unit 360 Standby control unit 591 to 593 area

Abstract

本来検出すべき有効なアドレスイベントの検出に遅延が生じることを抑制する。撮像素子は、複数の画素（１００）と画素アドレスイベント検出部（１２０）と領域アドレスイベント検出部（３２０）と画素選択部（３１０）とを有する。画素（１００）は、入射光の光電変換を行う光電変換部（１１０）を備える。画素アドレスイベント検出部（１２０）は、画素毎に配置されて光電変換により生成される電荷量の変化に基づいて自身の画素のアドレスイベントである画素アドレスイベントを検出する。領域アドレスイベント検出部（３２０）は、複数の画素のうちの所定の領域に含まれる複数の画素における光電変換により生成される電荷量の変化に基づいて当該領域におけるアドレスイベントである領域アドレスイベントを検出する。画素選択部（３１０）は、検出された画素アドレスイベントおよび領域アドレスイベントに基づいて画素（１００）を選択して当該選択された画素に画素アドレスイベントの検出結果を出力させる。

Description

撮像素子および撮像方法
　本開示は、撮像素子および撮像方法に関する。
　近年、画素アドレス毎に、その画素の光量がしきい値を超えた旨をアドレスイベントとしてリアルタイムに検出するアドレスイベント検出回路を画素毎に設けた非同期型の撮像装置が使用されている。
　各アドレスイベント検出回路は、アドレスイベントの発生を検出した場合に、その旨を示す検出信号の出力を要求するリクエスト信号をアービタと呼ばれる調停回路へ出力する。アービタは、最も早くリクエスト信号を送信してきたアドレスイベント検出回路から選択権を与え、受光素子信号の出力を可能とする（例えば、特許文献１参照）。
特表２０１６－５３３１４０号公報
　しかしながら、上述の撮像装置は、アドレスイベントの検出順に調停されるため、優先度が高いアドレスイベントが検出された場合であっても当該アドレスイベントに基づく画像の生成が遅延する場合がある。具体的には、観察対象物の動きに伴うイベント等の本来検出すべき有効なアドレスイベントが検出された場合であっても、先に検出されたノイズなどに起因するアドレスイベントが優先的に処理されることとなる。このため、本来検出すべき有効なアドレスイベントの検出に遅延を生じるという問題がある。
　そこで、本開示では、本来検出すべき有効なアドレスイベントの検出に遅延が生じることを抑制することができる撮像素子および撮像方法を提案する。
　本開示に係る撮像素子は、複数の画素と画素アドレスイベント検出部と領域アドレスイベント検出部と画素選択部とを有する。画素は、入射光の光電変換を行う光電変換部を備える。画素アドレスイベント検出部は、画素毎に配置されて光電変換により生成される電荷量の変化に基づいて自身の画素のアドレスイベントである画素アドレスイベントを検出する。領域アドレスイベント検出部は、複数の画素のうちの所定の領域に含まれる複数の画素における光電変換により生成される電荷量の変化に基づいて当該領域におけるアドレスイベントである領域アドレスイベントを検出する。画素選択部は、検出された画素アドレスイベントおよび領域アドレスイベントに基づいて画素を選択して当該選択された画素に画素アドレスイベントの検出結果を出力させる。
本開示の実施形態に係る撮像装置の構成例を示すブロック図である。 本開示の実施形態に係る撮像素子の構成例を示す図である。 本開示の第１の実施形態に係る画素アレイ部およびアービタの構成例を示す図である。 本開示の第１の実施形態に係る画素アドレスイベント検出部の構成例を示す図である。 本開示の第１の実施形態に係る電流電圧変換回路の構成例を示す図である。 本開示の第１の実施形態に係るバッファ、減算器および量子化器の構成例を示す図である。 本開示の第１の実施形態に係る領域アドレスイベント検出部の構成例を示す図である。 本開示の第１の実施形態に係る電流電圧変換回路の構成例を示す図である。 本開示の第１の実施形態に係る画素選択部の構成例を示すブロック図である。 本開示の第１の実施形態に係る画像データ生成処理の一例を示す図である。 本開示の第１の実施形態に係る検出結果出力処理の一例を示す図である。 本開示の第１の実施形態の第１の変形例に係る画素アレイ部およびアービタの構成例を示す図である。 本開示の第１の実施形態の第２の変形例に係る画素アレイ部およびアービタの構成例を示す図である。 本開示の第２の実施形態に係る画素アレイ部およびアービタの構成例を示す図である。 本開示の第２の実施形態に係る画像データ生成処理の一例を示す図である。 本開示の第３の実施形態に係るアービタの構成例を示す図である。 本開示の第４の実施形態に係る画素アレイ部およびアービタの構成例を示す図である。 本開示の第４の実施形態に係る画像信号生成部の構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、下記の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
　＜第１の実施の形態＞
　［撮像装置の構成］
　図１は、本開示の実施形態に係る撮像装置の構成例を示すブロック図である。同図は、撮像装置１の構成例を表す図である。
　実施形態に係る撮像装置１は、撮像レンズ５と、撮像素子２と、記録部３と、制御部４とを備える。この撮像装置１としては、ウェアラブルデバイスに搭載されるカメラや、車載カメラなどが想定される。
　撮像レンズ５は、光学系の一例であり、被写体からの入射光を取り込んで撮像素子２の撮像面上に結像させる。
　撮像素子２は、ＥＶＳ（Event-based　Vision　Sensor）とも呼称され、複数の画素のそれぞれについて、輝度の変化量の絶対値がしきい値を超えた旨をアドレスイベントとして検出する。このアドレスイベントは、たとえば、輝度の上昇量が上限しきい値を超えた旨を示すオンイベントと、輝度の低下量が上限しきい値未満の下限しきい値を下回った旨を示すオフイベントとを含む。
　そして、撮像素子２は、アドレスイベントの検出結果を示す検出信号を画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号ＶＣＨ（図６参照）と、オフイベントの有無を示すオフイベント検出信号ＶＣＬ（図６参照）とを含む。
　また、撮像素子２は、検出信号が生成された画素毎に画像信号をさらに生成する。この生成された画像信号に対し、画像認識処理などの所定の信号処理を実行し、その処理後の画像データを記録部３に信号線６を介して出力する。
　記録部３は、撮像素子２からの画像データを記録する。制御部４は、撮像素子２を制御して、かかる撮像素子２に画像データを撮像させる。この際、制御部４は、制御信号を撮像素子２に信号線７を介して出力する。
　［撮像素子の構成］
　図２は、本開示の実施形態に係る撮像素子の構成例を示すブロック図である。同図は、撮像素子２の構成例を表すブロック図である。同図の撮像素子２は、画素アレイ部１０と、制御回路２０と、アービタ３０と、信号処理部４０とを備える。
　画素アレイ部１０は、複数の画素１００が配置されて構成されたものである。同図の画素アレイ部１０は、画素１００が２次元行列状に配置される例を表したものである。画素１００は、入射光の光電変換を行う光電変換部を備え、光電変換により生成された電荷の変化量に基づいてアドレスイベントの検出を行う。以下、画素１００において検出されるアドレスイベントを画素アドレスイベントと称する。
　画素アドレスイベントを検出した画素１００は、画素アドレスイベントの検出信号を後述する制御回路２０および信号処理部４０に対して出力する。制御回路２０は、検出信号を出力した画素１００に対して制御信号を出力し、画素１００において検出された画素アドレスイベントをリセットさせる。また、信号処理部４０は、検出信号に対して所定の信号処理を行う。
　この検出信号の出力に先立ち、画素１００は、後述するアービタ３０に対して検出信号の出力を要求するリクエストを送出する。アービタ３０は、リクエストを送出した画素１００を選択してリクエストに対する応答を出力する。この応答は、検出信号の出力を許可するものである。
　アービタ３０の画素１００の選択は、上述の画素アドレスイベントおよび領域アドレスイベントに基づいて行われる。ここで領域アドレスイベントとは、画素アレイ部１０に配置された複数の画素１００のうちの所定の領域に含まれる画素１００の光電変換により生成される電荷の変化量に基づいて検出されるアドレスイベントである。この領域アドレスイベントは、例えば、上記所定の領域に含まれる画素１００により生成された電荷の総和の変化量に基づいて検出することができる。画素１００の構成の詳細については後述する。
　制御回路２０は、画素アレイ部１０のそれぞれの画素１００における画素アドレスイベントのリセットを制御する回路である。この制御回路２０は、後述する画素１００に配置された画素アドレスイベント検出部１２０の減算器１２３をリセットする制御信号を出力することにより、画素アドレスイベント検出部１２０をリセットする。
　アービタ３０は、リクエストを送出した画素１００を選択するものである。このアービタ３０は、上述のように画素アドレスイベントおよび領域アドレスイベントに基づいて画素１００を選択する。上述のように、アドレスイベントを検出した画素１００は、検出信号を制御回路２０および信号処理部４０に出力する。この制御信号の供給は、１つの画素１００に対して独占的に行う必要がある。複数の画素１００における検出信号の出力の際の衝突を防ぐためである。そこで、アービタ３０が画素アドレスイベントを検出した複数の画素１００の調停を行う。具体的には、アービタ３０は、画素アドレスイベントを検出して画素１００のうちの１つを選択し、この選択した画素１００に対して応答を返す。この応答は、選択の結果を表す。
　アービタ３０は、複数の画素１００からリクエストが送出された際は、リクエストが送出された順に画素１００を選択することができる。この際、アービタ３０は、特定の画素１００に対して優先的な選択を行うことができる。例えば、アービタ３０は、上述の領域アドレスイベントが検出された領域に含まれる画素１００を当該領域に含まれない画素１００に優先して選択することができる。領域アドレスイベントが検出される領域は、多くの画素１００において入射光の輝度の変化が検出された領域である。このような領域では、撮像素子２の被写体において移動する等の変化を生じたものと推定することができる。すなわち、当該領域において観察対象物の動きに伴うイベント等のアドレスイベントが検出されたものと推定される。そこで、この領域の画素１００を優先的に選択することにより、動きを伴う観察対象物の画像を早期に取得することができる。
　これに対し、アービタ３０に選択されなかった画素１００は、領域アドレスイベントを検出した領域に含まれる画素１００の画像信号の生成の終了後に応答が出力される。例えば、ノイズ等の影響により、画素アドレスイベントを検出した画素１００の優先度を低くすることができる。アービタ３０の構成の詳細については後述する。
　信号処理部４０は、画素１００からの検出信号に対して所定の信号処理を行うものである。例えば、信号処理部４０は、かかる検出信号を画像信号として２次元行列状に配列し、画素１００毎に２ビットの情報を有する画像データを生成することができる。また、信号処理部４０は、生成した画像データに対して画像認識処理などの信号処理を行うことができる。
　［画素アレイ部およびアービタの構成］
　図３は、本開示の第１の実施形態に係る画素アレイ部およびアービタの構成例を示す図である。同図は、画素アレイ部１０およびアービタ３０の構成例を説明する図である。同図の画素アレイ部１０の画素１００は、光電変換部１１０と画素アドレスイベント検出部１２０とを備える。
　光電変換部１１０は、入射光の光電変換を行うものである。この光電変換部１１０は、フォトダイオードにより構成することができる。この光電変換により入射光の輝度に応じた電荷が生成される。この光電変換部１１０に電圧を印加することにより、生成された電荷に応じた電流である光電流を外部の回路に供給することができる。
　画素アドレスイベント検出部１２０は、画素アドレスイベントを検出するものである。上述の光電流の変化を検出することにより、光電変換により生成される電荷の変化を検出することができ、電荷量の変化に基づいて画素アドレスイベントを検出することができる。また、画素アドレスイベント検出部１２０は、光電変換部１１０の光電流を領域アドレスイベント検出部３２０に供給する。画素アドレスイベント検出部１２０の構成の詳細については後述する。
　同図のアービタ３０は、領域アドレスイベント検出部３２０と、画素選択部３１０とを備える。
　領域アドレスイベント検出部３２０は、画素アレイ部１０の複数の画素１００のうちの所定の領域に含まれる画素１００の光電変換により生成される電荷量の変化に基づいて当該領域におけるアドレスイベントである領域アドレスイベントを検出するものである。この領域アドレスイベントは、例えば、所定の領域に含まれる全ての画素１００における光電流の変化に基づいて検出することができ、当該領域に含まれる全ての画素１００の光電流の総和の変化に基づいて検出することができる。なお、同図の画素アレイ部１０は、２次元行列状に配置された画素１００の行毎に上述の所定の領域である領域５９１が配置される例を表したものである。領域アドレスイベント検出部３２０は、領域５９１毎に配置され、当該領域に含まれる画素１００から光電流が供給される。この光電流は、信号線１０３を介して供給される。領域アドレスイベント検出部３２０の構成の詳細については後述する。
　画素選択部３１０は、画素アドレスイベントおよび領域アドレスイベントに基づいて画素１００を選択するものである。また、この画素選択部３１０は、選択した画素１００に画素アドレスイベントの検出結果を出力させる。画素選択部３１０は、領域アドレスイベントが検出された領域５９１に含まれる画素１００のうちの画素アドレスイベントが検出された画素１００を選択することができる。
　同図を参照して画素１００等における信号のやりとりを説明する。画素１００の画素アドレスイベント検出部１２０が画素アドレスイベントを検出すると、画素アドレスイベントの検出信号の出力を要求するリクエストを画素選択部３１０に対して出力する。このリクエストは、信号線１０２を介して出力される。また、領域アドレスイベント検出部３２０は、自身の領域５９１において領域アドレスイベントを検出した際にリクエストを画素選択部３１０に対して出力する。画素選択部３１０は、これらの画素アドレスイベントおよび領域アドレスイベントに基づいて画素１００を選択し、選択した画素１００に対して応答を出力する。この応答は、信号線１０１を介して出力される。
　画素選択部３１０から応答が出力された画素１００は、信号処理部４０および制御回路２０に対して画素アドレスイベントの検出信号を出力する。この検出信号は、信号線１０４を介して出力される。制御回路２０は、検出信号を出力した画素１００に対して制御信号を出力し、当該画素１００をリセットする。これにより、画素１００における画素アドレスイベントの検出がリセットされ、リクエストの出力が停止される。
　また、画素選択部３１０は、選択した画素１００が含まれる領域５９１の領域アドレスイベント検出部３２０にも応答を出力する。この応答が出力された領域アドレスイベント検出部３２０はリセットされ、リクエストの出力が停止される。
　なお、領域５９１の構成は、この例に限定されない。例えば、画素アレイ部１０に配置された画素１００の２行毎等の複数の行毎に領域５９１を設定することもできる。
　［画素アドレスイベント検出部の構成］
　図４は、本開示の第１の実施形態に係る画素アドレスイベント検出部の構成例を示す図である。同図は、画素アドレスイベント検出部１２０の構成例を表す図である。同図の画素アドレスイベント検出部１２０は、電流電圧変換回路１２１と、バッファ１２２と、減算器１２３と、量子化器１２４と、転送制御部１２５とを備える。
　電流電圧変換回路１２１は、光電変換部１１０からの光電流を電圧信号に変換するものである。また、この変換の際、電流電圧変換回路１２１は、電圧信号の対数圧縮を行う。変換後の電圧信号は、バッファ１２２に対して出力される。電流電圧変換回路１２１の構成の詳細については後述する。
　バッファ１２２は、電流電圧変換回路１２１から出力される電圧信号を補正して、この補正された信号を減算器１２３に出力する。実施形態に係る画素１００では、かかるバッファ１２２によって後段を駆動する駆動力を向上させることができるとともに、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
　減算器１２３は、バッファ１２２から出力される補正信号の変化量を減算処理によって求める。そして、減算器１２３は、求めた変化量を微分信号として量子化器１２４に出力する。減算器１２３の構成の詳細については後述する。
　量子化器１２４は、出力された微分信号と所定のしきい値との比較により、アナログの微分信号をデジタルの検出信号に変換（すなわち、量子化）する。実施形態に係る量子化器１２４は、微分信号と上限しきい値および下限しきい値のそれぞれとを比較し、それらの比較結果を２ビットの検出信号として転送制御部１２５に対して出力する。
　転送制御部１２５は、検出信号の信号処理部４０および制御回路２０への転送を制御するものである。この転送制御部１２５は、量子化器１２４から検出信号が出力されると、リクエストを画素選択部３１０に対して出力する。その後、画素選択部３１０から応答が出力されると、転送制御部１２５は、検出信号を信号処理部４０および制御回路２０に対して出力する。
　［電圧電流変換回路の構成］
　図５は、本開示の第１の実施形態に係る電流電圧変換回路の構成例を示す図である。同図は、電流電圧変換回路１２１の構成例を表す回路図である。同図の電流電圧変換回路１２１は、ＭＯＳトランジスタ５０１乃至５０５を備える。なお、同図には、光電変換部１１０をさらに記載した。同図においてＶｄｄは、電源を供給する電源線を表す。Ｖｂ１は、バイアス電圧を供給する信号線を表す。ＭＯＳトランジスタ５０１乃至５０３には、ｐチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ５０４および５０５には、ｎチャネルＭＯＳトランジスタを使用することができる。
　光電変換部１１０のアノードは接地され、カソードはＭＯＳトランジスタ５０４のソースおよびＭＯＳトランジスタ５０５のゲートに接続される。ＭＯＳトランジスタ５０５のソースは接地され、ドレインはＭＯＳトランジスタ５０４のゲート、ＭＯＳトランジスタ５０３のドレインおよび信号線１２９に接続される。ＭＯＳトランジスタ５０３のゲートは、信号線Ｖｂ１に接続され、ソースは電源線Ｖｄｄに接続される。ＭＯＳトランジスタ５０４のドレインスは、ＭＯＳトランジスタ５０１のドレインおよびゲートならびにＭＯＳトランジスタ５０２のゲートに接続される。ＭＯＳトランジスタ５０１のソースおよびＭＯＳトランジスタ５０２のソースは、電源線Ｖｄｄに共通に接続される。ＭＯＳトランジスタ５０２のドレインは、信号線１０３に接続される。
　ＭＯＳトランジスタ５０４は、光電変換部１１０に電流を供給するＭＯＳトランジスタである。光電変換部１１０には、入射光に応じたシンク電流（光電流）が流れる。ＭＯＳトランジスタ５０４は、このシンク電流を供給する。この際、ＭＯＳトランジスタ５０４のゲートは、後述するＭＯＳトランジスタ５０５の出力電圧により駆動され、光電変換部１１０のシンク電流に等しいソース電流を出力する。ＭＯＳトランジスタのゲートソース間電圧Ｖｇｓがソース電流に応じた電圧となるため、ＭＯＳトランジスタ５０４のソース電圧は、光電変換部１１０の電流に応じた電圧となる。これにより、光電変換部１１０の電流が電圧信号に変換される。
　ＭＯＳトランジスタ５０５は、ＭＯＳトランジスタ５０４のソース電圧を増幅するＭＯＳトランジスタである。また、ＭＯＳトランジスタ５０３は、ＭＯＳトランジスタ５０５の定電流負荷を構成する。ＭＯＳトランジスタ５０５のドレインには、増幅された電圧信号が出力される。この電圧信号は、信号線１２９に出力されるとともに、ＭＯＳトランジスタ５０４のゲートに帰還される。ＭＯＳトランジスタ５０４のＶｇｓがしきい値電圧以下の場合には、Ｖｇｓの変化に対してソース電流は指数関数状に変化する。このため、ＭＯＳトランジスタ５０４のゲートに帰還されるＭＯＳトランジスタ５０５の出力電圧は、ＭＯＳトランジスタ５０４のソース電流と等しい光電変換部１１０の光電流が対数圧縮された電圧信号となる。
　ＭＯＳトランジスタ５０１は、電源線ＶｄｄおよびＭＯＳトランジスタ５０４のドレインの間に接続され、ゲートおよびドレインが短絡される。このため、ＭＯＳトランジスタ５０１には、ＭＯＳトランジスタ５０４のドレイン電流すなわち光電変換部１１０の光電流が流れる。ＭＯＳトランジスタ５０２は、ＭＯＳトランジスタ５０１とカレントミラー回路を構成し、ＭＯＳトランジスタ５０１のドレイン電流とほぼ等しい電流が流れる。これにより、光電変換部１１０の光電流がコピーされてＭＯＳトランジスタ５０２のドレインに接続された信号線１０３に供給される。
　［増幅部、差分検出部および量子化器の構成］
　図６は、本開示の第１の実施形態に係るバッファ、減算器および量子化器の構成例を示す図である。同図は、バッファ１２２、減算器１２３および量子化器１２４の構成例を表す回路図である。同図において、Ｖｂ２およびＶｂ３は、それぞれバイアス電圧を供給する信号線である。ＶｂｏｎおよびＶｂｏｆｆは、図１において前述した輝度の上昇量の上限しきい値および輝度の低下量の上限しきい値に相当する電圧を供給する信号線である。ＭＯＳトランジスタ５１１乃至５１５にはｐチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ５２１乃至５２４にはｎチャネルＭＯＳトランジスタを使用することができる。
　信号線１２９はＭＯＳトランジスタ５２１のゲートに接続され、ＭＯＳトランジスタ５２１のソースは接地される。ＭＯＳトランジスタ５１１のゲートは信号線Ｖｂ２に接続され、ソースは電源線Ｖｄｄに接地される。ＭＯＳトランジスタ５１１のドレインはＭＯＳトランジスタ５２１のドレインおよびキャパシタ５３１の一端に接続される。キャパシタ５３１の他の一端はＭＯＳトランジスタ５１２のゲート、ＭＯＳトランジスタ５１３のソースおよびキャパシタ５３２の一端に接続される。キャパシタ５３２の他の一端は、ＭＯＳトランジスタ５１２のドレイン、ＭＯＳトランジスタ５１３のドレイン、ＭＯＳトランジスタ５２２のドレイン、ＭＯＳトランジスタ５１４のゲートおよびＭＯＳトランジスタ５１５のゲートに接続される。
　ＭＯＳトランジスタ５１２のソースは電源線Ｖｄｄに接続され、ＭＯＳトランジスタ５１３のゲートは信号線１０５に接続される。ＭＯＳトランジスタ５２２のソースは接地され、ゲートは信号線Ｖｂ３に接続される。ＭＯＳトランジスタ５１４のソースおよびＭＯＳトランジスタ５１５のソースは電源線Ｖｄｄに共通に接続される。ＭＯＳトランジスタ５１４のドレインは、ＭＯＳトランジスタ５２３のドレインおよび信号線１２８（ＶＣＨ）に接続される。ＭＯＳトランジスタ５２３のソースは接地され、ゲートは信号線Ｖｂｏｎに接続される。ＭＯＳトランジスタ５１５のドレインは、ＭＯＳトランジスタ５２６のドレインおよび信号線１２８（ＶＣＬ）に接続され、ＭＯＳトランジスタ５２４のソースは接地され、ゲートは信号線Ｖｂｏｆｆに接続される。
　バッファ１２２は、ＭＯＳトランジスタ５１１および５２１により構成される。信号線１２９を介して入力された電圧信号がＭＯＳトランジスタ５２１により増幅されて減算器１２３に出力される。ＭＯＳトランジスタ５１１は、ＭＯＳトランジスタ５２１のドレイン負荷を構成する。
　減算器１２３は、ＭＯＳトランジスタ５１２、５１３および５２２ならびにキャパシタ５３１および５３２により構成される。ＭＯＳトランジスタ５１２は、反転増幅器を構成する。なお、ＭＯＳトランジスタ５２２は、定電流負荷を構成する。並列に接続されたキャパシタ５３２およびＭＯＳトランジスタ５１３は、ＭＯＳトランジスタ５１２からなる反転増幅器の帰還回路を構成する。また、キャパシタ５３１は反転増幅器の入力に接続される結合キャパシタに相当する。この反転増幅器の入力は、仮想接地点となる。この仮想接地端子の電位を便宜上、ゼロとする。バッファ１２２から出力されてキャパシタ５３１に印可される電圧信号をＶｉｎｉｔとする。また、初期状態においてＭＯＳトランジスタ５１３は導通状態となり、キャパシタ５３２の両端は短絡される。
　この際、キャパシタ５３１に蓄積されている電荷Ｑｉｎｉｔは、キャパシタ５３１の容量をＣ１とすると、以下の式（１）により表される。一方、キャパシタ５３２の両端は、短絡されているため、その蓄積電荷はゼロとなる。
　Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ　・・（１）
　次に、ＭＯＳトランジスタ５１３がオフされて、キャパシタ５３１のバッファ３２２側の電圧が変化してＶａｆｔｅｒになった場合を考えると、キャパシタ５３１に蓄積される電荷Ｑａｆｔｅｒは、以下の式（２）により表される。
　Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ　・・（２）
　一方、キャパシタ５３２に蓄積される電荷Ｑ２は、キャパシタ５３２の容量をＣ２、出力電圧をＶｏｕｔとすると、以下の式（３）により表される。
　Ｑ２＝－Ｃ２×Ｖｏｕｔ　・・（３）
　この際、キャパシタ５３１およびキャパシタ５３２の総電荷量は変化しないため、以下の式（４）が成立する。
　Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２　・・（４）
　そして、上記の式（４）に式（１）～（３）を代入して変形すると、以下の式（５）が得られる。
　Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）　・・（５）
　上記の式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、容量Ｃ１を大きく、容量Ｃ２を小さく設計することが好ましい。一方で、容量Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、容量Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。
　このように、入力信号の変化分が減算されて出力される。また、この入力信号の変化分は、キャパシタ５３２に積算される。信号線１０５を介してリセット信号がＭＯＳトランジスタ５１３のゲートに入力されると、ＭＯＳトランジスタ５１３が導通状態となり、キャパシタ５３２の電荷が放電され、積算された入力信号の変化分がリセットされる。
　ＭＯＳトランジスタ５１４、５１５、５２３および５２４は、量子化器１２４を構成する。ＭＯＳトランジスタ５１４および５２３は、コンパレータを構成し、減算器１２３の出力信号を上限しきい値を示すバイアス電圧Ｖｂｏｎと比較する。比較の結果、減算器１２３の出力信号がＶｂｏｎを超える際には、オンイベント検出信号ＶＣＨが検出信号として転送制御部１２５に出力される。また、ＭＯＳトランジスタ５１５および５２４は、コンパレータを構成し、減算器１２３の出力信号を下限しきい値を示すバイアス電圧Ｖｂｏｆｆと比較する。比較の結果、減算器１２３の出力信号がＶｂｏｆｆ未満の際には、オフイベント検出信号ＶＣＬが検出信号として転送制御部１２５に出力される。
　［領域アドレスイベント検出部の構成］
　図７は、本開示の第１の実施形態に係る領域アドレスイベント検出部の構成例を示す図である。同図は、領域アドレスイベント検出部３２０の構成例を表す図である。同図の領域アドレスイベント検出部３２０は、電流電圧変換回路３２１と、バッファ３２２と、減算器３２３と、量子化器３２４と、転送制御部３２５とを備える。
　電流電圧変換回路３２１には、領域５９１に含まれる画素１００の光電流が入力され、これらの光電流の総和の電流を電圧信号に変換するとともに対数圧縮を行う。
　転送制御部３２５は、画素選択部３１０との間においてリクエストおよび応答のやりとりを行う。また、転送制御部３２５は、応答が入力された際に、減算器３２３のリセット信号を出力する。これ以外の転送制御部３２５の構成は、図４において説明した転送制御部１２５と同様の構成にすることができる。
　バッファ３２２、減算器３２３および量子化器３２４は、それぞれ図４において説明したバッファ１２２、減算器１２３および量子化器１２４と同様の構成にすることができる。
　［電圧電流変換回路の構成］
　図８は、本開示の第１の実施形態に係る電流電圧変換回路の構成例を示す図である。同図は、電流電圧変換回路３２１の構成例を表す回路図である。電流電圧変換回路３２１は、ＭＯＳトランジスタ５４１乃至５４３および複数のカレントミラー回路５５０を備える。
　ＭＯＳトランジスタ５４１乃至５４３により構成される回路は、図５において説明したＭＯＳトランジスタ５０３乃至５０５により構成される電流電圧変換回路と同様に光電流を電圧信号に変換する。
　カレントミラー回路５５０は、ＭＯＳトランジスタ５５１および５５２を備える。このＭＯＳトランジスタ５５１および５５２には、ｎチャネルＭＯＳトランジスタを使用することができる。また、カレントミラー回路５５０は、入力端子Ｉｉおよび出力端子Ｉｏを備える。入力端子Ｉｉは、ＭＯＳトランジスタ５５１のドレイン、ＭＯＳトランジスタ５５１のゲートおよびＭＯＳトランジスタ５５２のゲートに接続される。ＭＯＳトランジスタ５５１のソースおよびＭＯＳトランジスタ５５２のソースは、接地される。ＭＯＳトランジスタ５５２のドレインは、出力端子Ｉｏに接続される。
　同図のカレントミラー回路５５０においては、入力端子Ｉｉに流れる電流と略等しい電流が出力端子Ｉｏに流入する。入力端子Ｉｉには、領域５９１に含まれる画素１００の光電流が流れるため、出力端子Ｉｏにも同じ値の電流が流れる。このようなカレントミラー回路５５０が、領域５９１に含まれる画素１００と同数配置され、それぞれのカレントミラー回路５５０に光電流が入力される。これらのカレントミラー回路５５０の出力端子Ｉｏは、ＭＯＳトランジスタ５４２のソースに接続されるため、ＭＯＳトランジスタ５４２には、領域５９１に含まれる画素１００の光電流の総和に相当する電流が流れることとなる。これにより、電流電圧変換回路３２１は、領域５９１に含まれる画素１００の光電流の総和を電圧信号に変換する。
　この電流電圧変換回路３２１から出力される電圧信号がバッファ３２２、減算器３２３および量子化器３２４により処理されて領域アドレスイベントが検出される。
　［画素選択部の構成］
　図９は、本開示の第１の実施形態に係る画素選択部の構成例を示すブロック図である。同図は、画素選択部３１０の構成例を表す図である。同図の画素選択部３１０は、領域アービタ３１１と、画素アービタ３１２とを備える。
　領域アービタ３１１は、領域アドレスイベント検出部３２０からのリクエストの調停を行うものである。この領域アービタ３１１は、複数の領域アドレスイベント検出部３２０からのリクエストに対して調停を行い、応答を調停結果として出力する。この調停は、例えば、リクエストの先着順に領域アドレスイベント検出部３２０選択することにより行うことができる。また、領域アービタ３１１は、選択した領域アドレスイベント検出部３２０に対応する領域５９１を画素アービタ３１２に対して出力する。
　画素アービタ３１２は、画素アドレスイベント検出部１２０からのリクエストの調停を行うものである。この画素アービタ３１２は、複数の画素アドレスイベント検出部１２０からのリクエストに対して調停を行い、応答を調停結果として出力する。この調停は、例えば、領域アービタ３１１により選択された領域５９１に含まれる画素アドレスイベント検出部１２０からのリクエストを優先的に選択して行うことができる。具体的には、領域アービタ３１１が領域５９１を選択した際には、当該領域に含まれる画素１００においてリクエストの先着順に画素アドレスイベント検出部１２０を選択して応答を出力することができる。また、領域アービタ３１１が、領域５９１の選択を行っていない場合には、画素アレイ部１０の全ての画素１００においてリクエストの先着順に画素アドレスイベント検出部１２０を選択し、応答を出力することができる。このように、画素選択部３１０は、画素アドレスイベントおよび領域アドレスイベントに基づいて画素１００の選択を行うことができる。
　［画像データ生成処理］
　図１０は、本開示の第１の実施形態に係る画像データ生成処理の一例を示す図である。同図は、撮像素子２における画像データの生成処理の一例を表す図である。まず、画素アレイ部１０に配置された全ての画素１００において画素アドレスイベント検出部１２０が画素アドレスイベントの検出を行い、画素選択部３１０は画素アドレスイベントが検出されたか否かを判断する（ステップＳ１０１）。これは、画素アレイ部１０に配置される画素１００の画素アドレスイベント検出部１２０の何れかにおいて画素アドレスイベントが検出されてリクエストが出力される場合に、画素アドレスイベントが検出されたと判断することができる。画素選択部３１０は、この画素アドレスイベントが検出されてリクエストが出力されるまで待機する（ステップＳ１０１，Ｎｏ）。なお、ステップＳ１０１の処理は、請求の範囲に記載の画素アドレスイベント検出手順の一例である。
　画素アドレスイベントが検出された際には（ステップＳ１０１，Ｙｅｓ）、画素選択部３１０は、領域アドレスイベントが検出された否かを判断する（ステップＳ１０２）。これは、複数の領域アドレスイベント検出部３２０の何れかにおいて領域アドレスイベントが検出されてリクエストが出力される場合に、領域アドレスイベントが検出されたと判断することができる。なお、ステップＳ１０２の処理は、請求の範囲に記載の領域アドレスイベント検出手順の一例である。
　領域アドレスイベントが検出されない場合には（ステップＳ１０２，Ｎｏ）、画素選択部３１０は、画素アドレスイベントを検出してリクエストを出力した画素アドレスイベント検出部１２０を選択する（ステップＳ１０３）。リクエストを出力した画素アドレスイベント検出部１２０が複数存在する場合には、画素選択部３１０は、リクエストの先着順に画素アドレスイベント検出部１２０を選択することができる。
　次に、画素選択部３１０は、選択した画素１００の画素アドレスイベント検出部１２０に応答を出力する（ステップＳ１０４）。この応答が出力された画素アドレスイベント検出部１２０は、検出結果出力処理（ステップＳ１１０）を実行する。その後、ステップＳ１０１の処理に移行する。
　ステップＳ１０２において、領域アドレスイベントが検出された場合には（ステップＳ１０２，Ｙｅｓ）、画素選択部３１０は、領域アドレスイベントを出力した領域アドレスイベント検出部３２０を選択する（ステップＳ１０５）。リクエストを出力した領域アドレスイベント検出部３２０が複数存在する場合には、画素選択部３１０は、リクエストの先着順に領域アドレスイベント検出部３２０を選択することができる。
　次に、画素選択部３１０は、選択した領域アドレスイベント検出部３２０に応答を出力する（ステップＳ１０６）。
　次に、画素選択部３１０は、選択した領域内の画素１００において画素アドレスイベントが検出されたか否かを判断する（ステップＳ１０７）。画素アドレスイベントが検出された場合、すなわち選択した領域内の画素１００の画素アドレスイベント検出部１２０からリクエストが出力されている場合には（ステップＳ１０７，Ｙｅｓ）、画素選択部３１０は、リクエストを出力した画素アドレスイベント検出部１２０を選択する（ステップＳ１０８）。リクエストを出力した画素アドレスイベント検出部１２０が複数存在する場合には、画素選択部３１０は、リクエストの先着順に画素アドレスイベント検出部１２０を選択することができる。
　次に、画素選択部３１０は、選択した画素アドレスイベント検出部１２０に応答を出力する（ステップＳ１０９）。この応答が出力された画素アドレスイベント検出部１２０は、検出結果出力処理（ステップＳ１１０）を実行する。その後、ステップＳ１０７からの処理を再度繰り返す。
　ステップＳ１０７において、画素アドレスイベントが検出されない場合には（ステップＳ１０７，Ｎｏ）、選択された領域内の画素アドレスイベントが検出された全ての画素１００において検出結果が出力されたと判断することができる。この場合には、再度ステップＳ１０１の処理に移行する。なお、ステップＳ１０３およびＳ１０８の処理は、請求の範囲に記載の選択手順の一例である。
　［検出結果出力処理］
　図１１は、本開示の第１の実施形態に係る検出結果出力処理の一例を示す図である。同図は、図１０における検出結果出力処理（ステップＳ１１０）の一例を表す図である。なお、同図の処理は、画素アドレスイベント検出部１２０における処理の一例を表したものである。まず、画素選択部３１０により応答が出力された画素アドレスイベント検出部１２０の転送制御部１２５が検出信号を信号処理部４０および制御回路２０に出力する（ステップＳ１１１）。これにより、信号処理部４０において画像データが生成される。また、制御回路２０において制御信号が生成されて減算器１２３に対して出力される。この制御信号により減算器１２３がリセットされる（ステップＳ１１２）。その後、検出結果出力処理を終了する。なお、ステップＳ１１１の処理は、請求の範囲に記載の検出結果出力手順の一例である。
　以上の処理により、検出された画素アドレスイベントおよび領域アドレスイベントに基づいて画像データを生成することができる。
　［第１の実施形態の変形例（１）］
　図１２は、本開示の第１の実施形態の第１の変形例に係る画素アレイ部およびアービタの構成例を示す図である。同図は、図３と同様に画素アレイ部１０およびアービタ３０の構成を説明する図である。画素アレイ部１０に配置された画素１００の列毎に領域が形成される点で、図３の画素アレイ部１０と異なる。便宜上、制御回路２０および一部の信号線の記載を省略し、画素１００の記載を簡略化した。
　同図の領域５９２は、２次元行列状に配置された画素１００の列毎に配置される領域である。同図の領域アドレスイベント検出部３３０は、領域５９２毎に配置される。領域アドレスイベント検出部３３０には、領域５９２に含まれる画素１００からの光電流が入力される。これにより、領域アドレスイベント検出部３３０は、対応する領域５９２の領域アドレスイベントを検出することができる。
　なお、領域５９１の構成は、この例に限定されない。例えば、画素アレイ部１０に配置された画素１００の２列毎等の複数の列毎に領域５９２を設定することもできる。
　［第１の実施形態の変形例（２）］
　図１３は、本開示の第１の実施形態の第２の変形例に係る画素アレイ部およびアービタの構成例を示す図である。同図は、図１２と同様に画素アレイ部１０およびアービタ３０の構成を説明する図である。画素アレイ部１０に配置された画素１００の２行２列のブロック毎に領域が形成される点で、図１２の画素アレイ部１０と異なる。
　同図の領域５９３は、２次元行列状に配置された画素１００の２行２列の４つの画素１００毎に配置される領域である。同図の領域アドレスイベント検出部３４０は、領域５９３毎に配置される。領域アドレスイベント検出部３４０には領域５９３に含まれる画素１００からの光電流が入力され、当該領域５９３の領域アドレスイベントを検出することができる。
　なお、領域５９１の構成は、この例に限定されない。例えば、画素アレイ部１０に配置された画素１００の異なるサイズのブロック毎に領域５９３を設定することもできる。
　このように、本開示の第１の実施形態に係る撮像素子２は、画素アドレスイベントおよび領域アドレスイベントに基づいて画素１００を選択して当該選択した画素１００の画素アドレスイベントに基づいて検出信号を出力する。これにより、領域毎に異なる処理を行うことができる。例えば、検出された領域アドレスイベントに基づいて領域に優先順位を設定することができる。領域アドレスイベントが検出された領域の優先順位を高く設定することにより、輝度変化の大きい領域の画像データを優先的に生成することができる。これにより、観察対象物の動き等の有効なイベントの検出の遅延を抑制することができる。また、このような領域アドレスイベントが検出される領域を関心領域（ＲＯＩ：Region　Of　Interest）として特定することも可能となる。
　一方、ノイズ等の有効でないイベントは、画素１００毎の単発の画素アドレスイベントとして検出される。このような有効でないイベントの優先順位を低くすることにより、ノイズ等の抑制を行うこともできる。
　＜第２の実施の形態＞
　上述の第１の実施形態は、領域アドレスイベントが検出された領域の画素１００が優先的に選択されて画素アドレスイベントが検出されていた。これに対し、本開示の第２の実施形態では、領域アドレスイベントが検出された領域とは異なる領域の画素１００が優先的に選択される点で、上述の第１の実施形態と異なる。
　本開示の第２の実施形態における画素選択部３１０は、領域アドレスイベントが検出された領域５９１の優先順位を低く設定する。例えば、画素選択部３１０は、領域アドレスイベントが検出された領域５９１に含まれる画素１００の画素アドレスイベントの検出を省略することができる。これにより、輝度変化の大きい領域の画像データの生成を停止することができる。
　［画素アレイ部およびアービタの構成］
　図１４は、本開示の第２の実施形態に係る画素アレイ部およびアービタの構成例を示す図である。同図は、図３と同様に画素アレイ部１０およびアービタ３０の構成を説明する図である。画素選択部３１０が画素アドレスイベント検出部１２０に対してリセット信号を出力する点で、図３の画素アレイ部１０と異なる。便宜上、同図の画素アレイ部１０には１つの画素１００を例として記載した。
　同図の画素選択部３１０は、領域アドレスイベントが検出された領域５９１に配置される画素アドレスイベント検出部１２０に対してリセット信号を出力する。
　同図の画素アドレスイベント検出部１２０は、リセット信号が入力されると、リクエストの出力を停止する。例えば、同図の画素アドレスイベント検出部１２０は、リセット信号が入力された際に、自身の減算器１２３のリセットを行うことができる。
　［画像データ生成処理］
　図１５は、本開示の第２の実施形態に係る画像データ生成処理の一例を示す図である。同図は、図１０と同様に、撮像素子２における画像データの生成処理の一例を表す図である。ステップＳ１０８の処理の後に、画素アドレスイベント検出部１２０にリセット信号を出力する処理（ステップＳ１２１）を行う点で、図１０の画像データの生成処理と異なる。
　同図の画素選択部３１０は、領域アドレスイベントが検出された領域５９１の全ての画素１００にリセット信号を出力することにより、当該領域５９１の画素アドレスイベント検出部１２０からの検出信号の出力を停止させることができる。一方、同図の画素選択部３１０は、領域アドレスイベントが検出された領域５９１とは異なる領域５９１に含まれる画素１００において画素アドレスイベントが検出された際に、応答を出力することができる。これにより、フリッカ等により撮像素子の一部の領域５９１に強い光が照射された際に、当該領域の画像データの生成を停止することができる。
　これ以外の撮像素子２の構成は本開示の第１の実施形態と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態に係る撮像素子２は、領域アドレスイベントが検出された領域に含まれる画素アドレスイベント検出部１２０をリセットし、領域アドレスイベントが検出された領域とは異なる領域の画素アドレスイベントを検出する。これにより、フリッカ等により画素アドレスイベントが検出された画素１００に基づく画像データの生成を抑制することができる。
　＜第３の実施の形態＞
　上述の第１の実施形態は、領域アドレスイベントが検出された領域の画素１００が優先的に選択されて画素アドレスイベントが検出されていた。これに対し、本開示の第３の実施形態では、特定の領域におけるアドレスイベントが検出されるまで待機状態になる点で、上述の第１の実施形態と異なる。
　［アービタの構成］
　図１６は、本開示の第３の実施形態に係るアービタの構成例を示す図である。同図は、アービタ３０の構成例を表す図である。同図のアービタ３０は、特定領域アドレスイベント検出部３５０および待機制御部３６０をさらに備える点で、図３のアービタ３０と異なる。
　特定領域アドレスイベント検出部３５０は、画素アレイ部１０に配置される全ての画素１００のうち特定の領域に含まれる光電変換部１１０の光電変換により生成される電荷量の変化に基づいてアドレスイベントを検出する。同図の特定領域アドレスイベント検出部３５０は、画素アレイ部１０を特定領域としてアドレスイベントを検出する例を表したものである。同図の特定領域アドレスイベント検出部３５０には、画素アレイ部１０に含まれる全ての画素１００の光電流が入力され、これらの光電流の総和の変化量が所定の閾値を超えた際にアドレスイベントを検出する。このアドレスイベントを検出した特定領域アドレスイベント検出部３５０は、領域アドレスイベント検出部３２０と同様にリクエストを出力することができる。
　待機制御部３６０は、画素アドレスイベントの検出結果の出力を停止させる待機状態を制御するものである。この待機制御部３６０は、特定領域アドレスイベント検出部３５０により検出されたアドレスイベントに基づいて待機状態の制御を行う。具体的には、待機制御部３６０は、あらかじめ設定された期間に特定領域アドレスイベント検出部３５０からのリクエストの出力がない場合に、撮像素子２を待機状態に移行させることができる。この待機状態への移行は、例えば、画素選択部３１０における画素アドレスイベント検出部１２０への応答の出力を停止させることにより行うことができる。待機状態に移行した後に特定領域アドレスイベント検出部３５０からリクエストが出力された場合には、待機制御部３６０は、待機状態から画像データの生成を行う通常の状態に復帰させることができる。
　これ以外の撮像素子２の構成は本開示の第１の実施形態と同様であるため、説明を省略する。
　このように、本開示の第３の実施形態に係る撮像素子２は、画素アレイ部１０における特定領域に含まれる光電変換部の光電流の総和の変化に基づいてアドレスイベントを検出して待機状態の制御を行うことにより、撮像素子２の消費電力を低減することができる。
　＜第４の実施の形態＞
　上述の第１の実施形態は、画素１００から出力される画素アドレスイベントの検出信号から画像データを生成していた。これに対し、本開示の第４の実施形態では、入射光に基づいて生成される画像信号から画像データを生成する点で、上述の第１の実施形態と異なる。
　［画素アレイ部およびアービタの構成］
　図１７は、本開示の第４の実施形態に係る画素アレイ部およびアービタの構成例を示す図である。同図は、図３と同様に画素アレイ部１０およびアービタ３０の構成を説明する図である。画素１００に光電変換部１３０および画像信号生成部１４０がさらに配置される点で、図３の画素アレイ部１０と異なる。
　光電変換部１３０は、光電変換部１１０と同様にフォトダイオードにより構成することができる。
　画像信号生成部１４０は、光電変換部１３０の光電変換により生成される電荷に基づいて画像信号を生成するものである。画像信号生成部１４０は、制御回路２０から出力される制御信号により制御されて画像信号を生成し、信号処理部４０に対して出力する。
　同図の画素アドレスイベント検出部１２０は、画素選択部３１０から応答が出力されると、検出信号を制御回路２０に対して出力する。制御回路２０は、この検出信号を出力した画素１００の画像信号生成部１４０に対して制御信号を出力する。これにより、画像信号が生成されて出力される。撮像素子２は、アドレスイベントが検出された画素１００において画像信号の生成を行うことができる。
　［画像信号生成部の構成］
　図１８は、本開示の第４の実施形態に係る画像信号生成部の構成例を示す図である。同図は、画像信号生成部１４０の構成例を表す回路図である。画像信号生成部１４０は、電荷保持部５７１と、ＭＯＳトランジスタ５６１乃至５６４とを備える。ＭＯＳトランジスタ５６１乃至５６４には、ｎチャネルＭＯＳトランジスタを使用することができる。なお、同図には、光電変換部１３０をさらに記載した。
　光電変換部１３０のアノードは接地され、カソードはＭＯＳトランジスタ５６１のソースに接続される。ＭＯＳトランジスタ５６１のドレインは、ＭＯＳトランジスタ５６２のソース、ＭＯＳトランジスタ５６３のゲートおよび電荷保持部５７１の一端に接続される。電荷保持部５７１の他の一端は、接地される。ＭＯＳトランジスタ５６２および５６３のドレインは電源線Ｖｄｄに共通に接続され、ＭＯＳトランジスタ５６３のソースはＭＯＳトランジスタ５６４のドレインに接続される。ＭＯＳトランジスタ５６４のソースは、信号線１０６に接続される。ＭＯＳトランジスタ５６１、５６２および５６４のゲートは、それぞれ転送信号線ＴＲ、リセット信号線ＲＳＴおよび選択信号線ＳＥＬに接続される。なお、転送信号線ＴＲ、リセット信号線ＲＳＴおよび選択信号線ＳＥＬは、信号線１０５を構成する。
　ＭＯＳトランジスタ５６１は、光電変換部１３０の光電変換により生成された電荷を電荷保持部５７１に転送するトランジスタである。ＭＯＳトランジスタ５６１における電荷の転送は、転送信号線ＴＲにより伝達される信号により制御される。電荷保持部５７１は、ＭＯＳトランジスタ５６１により転送された電荷を保持するキャパシタである。ＭＯＳトランジスタ５６３は、電荷保持部５７１に保持された電荷に基づく信号を生成するトランジスタである。ＭＯＳトランジスタ５６４は、ＭＯＳトランジスタ５６３により生成された信号を画像信号として信号線１２に出力するトランジスタである。このＭＯＳトランジスタ５６４は、選択信号線ＳＥＬにより伝達される信号により制御される。
　ＭＯＳトランジスタ５６２は、電荷保持部５７１に保持された電荷を電源線Ｖｄｄに排出することにより電荷保持部５７１をリセットするトランジスタである。このＭＯＳトランジスタ５６２によるリセットは、リセット信号線ＲＳＴにより伝達される信号により制御され、ＭＯＳトランジスタ５６１による電荷の転送の前に実行される。なお、このリセットの際、ＭＯＳトランジスタ５６１を導通させることにより、光電変換部１３０のリセットも行うことができる。このように、画像信号生成部１４０は、光電変換部１３０により生成された電荷を画像信号に変換する。
　これ以外の撮像素子２の構成は本開示の第１の実施形態と同様であるため、説明を省略する。
　このように、本開示の第４の実施形態に係る撮像素子２は、画素１００に画像信号生成部１４０を配置して画素アドレスイベントを検出した画素１００における画像信号を生成する。この生成された画像信号を使用して画像データを更新することにより、輝度が変化した領域の画像をのみを更新することができる。これにより画像データの生成を高速に行うことができる。
　なお、第２の実施形態の構成は、他の実施形態に適用することができる。具体的には、図１４の画素選択部３１０は、図１２、１３および１６の画素選択部３１０に適用することができる。
　なお、第３の実施形態の構成は、他の実施形態に適用することができる。具体的には、図１６の特定領域アドレスイベント検出部３５０および待機制御部３６０は、図１２乃至１４の画素選択部３１０に適用することができる。
　なお、第４の実施形態の構成は、他の実施形態に適用することができる。具体的には、図１７の画像信号生成部１４０は、図１２および１３の画素１００に適用することができる。
　［効果］
　撮像素子２は、入射光の光電変換を行う光電変換部を備える複数の画素１００と、画素１００毎に配置されて光電変換により生成される電荷量の変化に基づいて自身の画素１００のアドレスイベントである画素アドレスイベントを検出する画素アドレスイベント検出部１２０と、複数の画素１００のうちの所定の領域に含まれる複数の画素１００における光電変換により生成される電荷量の変化に基づいて領域におけるアドレスイベントである領域アドレスイベントを検出する領域アドレスイベント検出部３２０と、検出された画素アドレスイベントおよび領域アドレスイベントに基づいて画素１００を選択して選択された画素に画素アドレスイベントの検出結果を出力させる画素選択部３１０とを有する。
　これにより、領域アドレスイベントおよび画素アドレスイベントに基づいて画素１００を選択することができ、所定の領域毎に画素アドレスイベントを検出した画素１００を選択することができる。
　また、撮像素子２において、複数の画素１００は、２次元行列の形状に配置される。
　これにより、行列の形状の領域毎に画素アドレスイベントを検出した画素１００を選択することができる。
　また、撮像素子２において、所定の領域は、２次元行列の行毎に配置される。
　これにより、行毎に画素アドレスイベントを検出した画素１００を選択することができる。
　また、撮像素子２において、所定の領域は、２次元行列の列毎に配置される。
　これにより、列毎に画素アドレスイベントを検出した画素１００を選択することができる。
　また、撮像素子２において、画素アドレスイベント検出部１２０は、光電変換により生成される電荷に応じた電流である光電流の変化に基づいて画素アドレスイベントを検出し、領域アドレスイベント検出部３２０は、領域に含まれる複数の画素１００のそれぞれの光電流の変化に基づいて領域アドレスイベントを検出する。
　これにより、光電流の変化によりアドレスイベントを検出することができる。
　また、撮像素子２において、領域アドレスイベント検出部３２０は、領域に含まれる複数の画素１００におけるそれぞれの光電流の総和の変化に基づいて領域アドレスイベントを検出する。
　これにより、領域における光電流の総和の変化により領域アドレスイベントを検出することができる。
　また、撮像素子２において、画素選択部３１０は、領域アドレスイベントが検出された領域に含まれる画素１００において検出された画素アドレスイベントに基づいて画素１００を選択する。
　これにより、領域アドレスイベントが検出された領域に高い優先度を設定することができる。
　また、撮像素子２において、画素選択部３１０は、領域アドレスイベントが検出された領域とは異なる領域に含まれる画素１００において検出された画素アドレスイベントに基づいて画素１００を選択する。
　これにより、領域アドレスイベントが検出された領域に低い優先度を設定することができる。
　また、撮像素子２において、画素選択部３１０は、領域アドレスイベントが検出されない場合に検出された画素アドレスイベントに基づいて画素１００を選択する。
　これにより、領域アドレスイベントが検出されない領域の画素１００の画素アドレスイベントを検出することができる。
　また、撮像素子２において、複数の画素１００により構成される画素アレイ部の特定の領域に含まれる複数の画素１００における光電変換により生成される電荷量の変化に基づいて特定の領域におけるアドレスイベントを検出する特定領域アドレスイベント検出部３５０と、特定領域アドレスイベント検出部３５０の検出結果に基づいて画素１００における画素アドレスイベントの検出結果の出力を停止させる待機状態の制御を行う待機制御部３６０とをさらに有する。
　これにより、画素アドレスイベントが検出されない場合に待機状態に移行させることができ、消費電力を低減することができる。
　また、撮像素子２において、特定領域アドレスイベント検出部３５０は、画素アレイ部１０を特定の領域としてアドレスイベントを検出する。
　これにより、画素アレイ部１０の全ての画素１００において画素アドレスイベントが検出されない場合に待機状態に移行させることができる。
　また、撮像素子２において、画素アドレスイベント検出部１２０は、生成される電荷の変化量が所定の閾値を超えた場合に画素アドレスイベントを検出する。
　これにより、所定のしきい値に基づいて画素アドレスイベントを検出することができる。
　また、撮像素子２において、領域アドレスイベント検出部３２０は、所定の領域に含まれる複数の画素１００において生成される電荷の変化量が所定の閾値を超えた場合に領域アドレスイベントを検出する。
　これにより、所定のしきい値に基づいて領域アドレスイベントを検出することができる。
　また、撮像素子２において、画素１００毎に配置されて入射光の光電変換により生成される電荷に基づく信号である画像信号を生成する画像信号生成部１４０をさらに備え、画素選択部３１０は、選択した画素１００の画像信号生成部１４０に画像信号を画素アドレスイベントの検出結果として出力させる。
　これにより、領域アドレスイベントおよび画素アドレスイベントに基づいて画像信号を生成することができる。
　また、撮像素子２における撮像方法は、入射光の光電変換を行う光電変換部１１０を備える複数の画素１００毎に光電変換により生成される電荷量の変化に基づいて画素のアドレスイベントである画素アドレスイベントを検出する画素アドレスイベント検出手順と、複数の画素１００のうちの所定の領域に含まれる複数の画素における光電変換により生成される電荷量の変化に基づいて領域におけるアドレスイベントである領域アドレスイベントを検出する領域アドレスイベント検出手順と、検出された画素アドレスイベントおよび領域アドレスイベントに基づいて画素１００を選択する選択手順と、選択された画素１００に画素アドレスイベントの検出結果を出力させる検出結果出力手順とを含む。
　これにより、領域アドレスイベントおよび画素アドレスイベントに基づいて画素１００を選択することができ、所定の領域毎に画素アドレスイベントを検出した画素１００を選択することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）入射光の光電変換を行う光電変換部を備える複数の画素と、
　前記画素毎に配置されて前記光電変換により生成される電荷量の変化に基づいて自身の画素のアドレスイベントである画素アドレスイベントを検出する画素アドレスイベント検出部と、
　前記複数の画素のうちの所定の領域に含まれる複数の前記画素における光電変換により生成される電荷量の変化に基づいて当該領域におけるアドレスイベントである領域アドレスイベントを検出する領域アドレスイベント検出部と、
　前記検出された画素アドレスイベントおよび領域アドレスイベントに基づいて前記画素を選択して当該選択された画素に前記画素アドレスイベントの検出結果を出力させる画素選択部と
を有する撮像素子。
（２）前記複数の画素は、２次元行列の形状に配置される前記（１）に記載の撮像素子。
（３）前記所定の領域は、前記２次元行列の行毎に配置される前記（２）に記載の撮像素子。
（４）前記所定の領域は、前記２次元行列の列毎に配置される前記（２）に記載の撮像素子。
（５）前記画素アドレスイベント検出部は、前記光電変換により生成される電荷に応じた電流である光電流の変化に基づいて前記画素アドレスイベントを検出し、
　前記領域アドレスイベント検出部は、前記領域に含まれる複数の画素のそれぞれの光電流の変化に基づいて前記領域アドレスイベントを検出する
前記（１）から（４）の何れかに記載の撮像素子。
（６）前記領域アドレスイベント検出部は、前記領域に含まれる複数の画素のそれぞれの光電流の総和の変化に基づいて前記領域アドレスイベントを検出する前記（５）に記載の撮像素子。
（７）前記画素選択部は、前記領域アドレスイベントが検出された前記領域に含まれる前記画素において検出された前記画素アドレスイベントに基づいて前記画素を選択する前記（１）から（６）の何れかに記載の撮像素子。
（８）前記画素選択部は、前記領域アドレスイベントが検出された前記領域とは異なる領域に含まれる前記画素において検出された前記画素アドレスイベントに基づいて前記画素を選択する前記（１）から（６）の何れかに記載の撮像素子。
（９）前記画素選択部は、前記領域アドレスイベントが検出されない場合には前記検出された画素アドレスイベントに基づいて前記画素を選択する前記（１）から（８）の何れかに記載の撮像素子。
（１０）前記複数の画素により構成される画素アレイ部の特定の領域に含まれる複数の前記画素における光電変換により生成される電荷量の変化に基づいて当該特定の領域におけるアドレスイベントを検出する特定領域アドレスイベント検出部と、
　前記特定領域アドレスイベント検出部の検出結果に基づいて前記画素における画素アドレスイベントの検出結果の出力を停止させる待機状態の制御を行う待機制御部と
をさらに有する前記（１）から（９）の何れかに記載の撮像素子。
（１１）前記特定領域アドレスイベント検出部は、前記画素アレイ部を前記特定の領域として前記アドレスイベントを検出する前記（１０）に記載の撮像素子。
（１２）前記画素アドレスイベント検出部は、前記生成される電荷量が所定の閾値を超えて変化する場合に前記画素アドレスイベントを検出する前記（１）から（１１）の何れかに記載の撮像素子。
（１３）前記領域アドレスイベント検出部は、前記複数の画素において生成される電荷量が所定の閾値を超えて変化する場合に前記領域アドレスイベントを検出する前記（１）から（１２）の何れかに記載の撮像素子。
（１４）前記画素毎に配置されて前記入射光の光電変換により生成される電荷に基づく信号である画像信号を生成する画像信号生成部をさらに有し、
　前記画素選択部は、前記選択した画素の前記画像信号生成部に前記画像信号を前記画素アドレスイベントの検出結果として出力させる
前記（１）から（１３）の何れかに記載の撮像素子。
（１５）入射光の光電変換を行う光電変換部を備える複数の画素毎に前記光電変換により生成される電荷量の変化に基づいて当該画素のアドレスイベントである画素アドレスイベントを検出する画素アドレスイベント検出手順と、
　前記複数の画素のうちの所定の領域に含まれる複数の前記画素における光電変換により生成される電荷量の変化に基づいて当該領域におけるアドレスイベントである領域アドレスイベントを検出する領域アドレスイベント検出手順と、
　前記検出された画素アドレスイベントおよび領域アドレスイベントに基づいて前記画素を選択する選択手順と、
　前記選択された画素に前記画素アドレスイベントの検出結果を出力させる検出結果出力手順と
を含む撮像方法。
　　　１　撮像装置
　　　２　撮像素子
　　１０　画素アレイ部
　　３０　アービタ
　　４０　信号処理部
　１００　画素
　１１０、１３０　光電変換部
　１２０　画素アドレスイベント検出部
　１４０　画像信号生成部
　３１０　画素選択部
　３１１　領域アービタ
　３１２　画素アービタ
　３２０、３３０、３４０　領域アドレスイベント検出部
　３５０　特定領域アドレスイベント検出部
　３６０　待機制御部
　５９１～５９３　領域

Claims (15)

  1. 　入射光の光電変換を行う光電変換部を備える複数の画素と、
    　前記画素毎に配置されて前記光電変換により生成される電荷量の変化に基づいて自身の画素のアドレスイベントである画素アドレスイベントを検出する画素アドレスイベント検出部と、
    　前記複数の画素のうちの所定の領域に含まれる複数の前記画素における光電変換により生成される電荷量の変化に基づいて当該領域におけるアドレスイベントである領域アドレスイベントを検出する領域アドレスイベント検出部と、
    　前記検出された画素アドレスイベントおよび領域アドレスイベントに基づいて前記画素を選択して当該選択された画素に前記画素アドレスイベントの検出結果を出力させる画素選択部と
    を有する撮像素子。
  2. 　前記複数の画素は、２次元行列の形状に配置される請求項１に記載の撮像素子。
  3. 　前記所定の領域は、前記２次元行列の行毎に配置される請求項２に記載の撮像素子。
  4. 　前記所定の領域は、前記２次元行列の列毎に配置される請求項２に記載の撮像素子。
  5. 　前記画素アドレスイベント検出部は、前記光電変換により生成される電荷に応じた電流である光電流の変化に基づいて前記画素アドレスイベントを検出し、
    　前記領域アドレスイベント検出部は、前記領域に含まれる複数の画素のそれぞれの光電流の変化に基づいて前記領域アドレスイベントを検出する
    請求項１に記載の撮像素子。
  6. 　前記領域アドレスイベント検出部は、前記領域に含まれる複数の画素のそれぞれの光電流の総和の変化に基づいて前記領域アドレスイベントを検出する請求項５に記載の撮像素子。
  7. 　前記画素選択部は、前記領域アドレスイベントが検出された前記領域に含まれる前記画素において検出された前記画素アドレスイベントに基づいて前記画素を選択する請求項１に記載の撮像素子。
  8. 　前記画素選択部は、前記領域アドレスイベントが検出された前記領域とは異なる領域に含まれる前記画素において検出された前記画素アドレスイベントに基づいて前記画素を選択する請求項１に記載の撮像素子。
  9. 　前記画素選択部は、前記領域アドレスイベントが検出されない場合には前記検出された画素アドレスイベントに基づいて前記画素を選択する請求項１に記載の撮像素子。
  10. 　前記複数の画素により構成される画素アレイ部の特定の領域に含まれる複数の前記画素における光電変換により生成される電荷量の変化に基づいて当該特定の領域におけるアドレスイベントを検出する特定領域アドレスイベント検出部と、
    　前記特定領域アドレスイベント検出部の検出結果に基づいて前記画素における画素アドレスイベントの検出結果の出力を停止させる待機状態の制御を行う待機制御部と
    をさらに有する請求項１に記載の撮像素子。
  11. 　前記特定領域アドレスイベント検出部は、前記画素アレイ部を前記特定の領域として前記アドレスイベントを検出する請求項１０に記載の撮像素子。
  12. 　前記画素アドレスイベント検出部は、前記生成される電荷量が所定の閾値を超えて変化する場合に前記画素アドレスイベントを検出する請求項１に記載の撮像素子。
  13. 　前記領域アドレスイベント検出部は、前記所定の領域に含まれる複数の画素において生成される電荷量が所定の閾値を超えて変化する場合に前記領域アドレスイベントを検出する請求項１に記載の撮像素子。
  14. 　前記画素毎に配置されて前記入射光の光電変換により生成される電荷に基づく信号である画像信号を生成する画像信号生成部をさらに有し、
    　前記画素選択部は、前記選択した画素の前記画像信号生成部に前記画像信号を前記画素アドレスイベントの検出結果として出力させる
    請求項１に記載の撮像素子。
  15. 　入射光の光電変換を行う光電変換部を備える複数の画素毎に前記光電変換により生成される電荷量の変化に基づいて当該画素のアドレスイベントである画素アドレスイベントを検出する画素アドレスイベント検出手順と、
    　前記複数の画素のうちの所定の領域に含まれる複数の前記画素における光電変換により生成される電荷量の変化に基づいて当該領域におけるアドレスイベントである領域アドレスイベントを検出する領域アドレスイベント検出手順と、
    　前記検出された画素アドレスイベントおよび領域アドレスイベントに基づいて前記画素を選択する選択手順と、
    　前記選択された画素に前記画素アドレスイベントの検出結果を出力させる検出結果出力手順と
    を含む撮像方法。
PCT/JP2021/025194 2020-07-10 2021-07-02 撮像素子および撮像方法 WO2022009807A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180047450.4A CN116057945A (zh) 2020-07-10 2021-07-02 图像拾取元件和图像拾取方法
JP2022535303A JPWO2022009807A1 (ja) 2020-07-10 2021-07-02
US18/003,808 US20230262349A1 (en) 2020-07-10 2021-07-02 Image pickup element and image pickup method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020119454 2020-07-10
JP2020-119454 2020-07-10

Publications (1)

Publication Number Publication Date
WO2022009807A1 true WO2022009807A1 (ja) 2022-01-13

Family

ID=79552604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025194 WO2022009807A1 (ja) 2020-07-10 2021-07-02 撮像素子および撮像方法

Country Status (4)

Country Link
US (1) US20230262349A1 (ja)
JP (1) JPWO2022009807A1 (ja)
CN (1) CN116057945A (ja)
WO (1) WO2022009807A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062842A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009516476A (ja) * 2005-11-14 2009-04-16 サーノフ コーポレーション ハイブリッドのピクセル配列を有するｃｍｏｓイメージ・センサ
JP2017531865A (ja) * 2014-09-30 2017-10-26 クアルコム，インコーポレイテッド イベントベースのコンピュータビジョン計算
JP2020072471A (ja) * 2018-10-30 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009516476A (ja) * 2005-11-14 2009-04-16 サーノフ コーポレーション ハイブリッドのピクセル配列を有するｃｍｏｓイメージ・センサ
JP2017531865A (ja) * 2014-09-30 2017-10-26 クアルコム，インコーポレイテッド イベントベースのコンピュータビジョン計算
JP2020072471A (ja) * 2018-10-30 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062842A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Also Published As

Publication number Publication date
CN116057945A (zh) 2023-05-02
JPWO2022009807A1 (ja) 2022-01-13
US20230262349A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
US7715661B2 (en) Solid-state image pickup device, method of driving solid-state image pickup device and imaging apparatus
US7825967B2 (en) Column-wise clamp voltage driver for suppression of noise in an imager
KR102324713B1 (ko) 이미지 센서의 램프 신호 생성기 및 이미지 센서
US9596426B2 (en) Imaging device, imaging system, and method for driving imaging device
WO2019036237A1 (en) DETECTION CIRCUIT FOR PHOTO-SENSOR WITH STACKED SUBSTRATES
US7375751B2 (en) CMOS image sensor
US20140078336A1 (en) Imaging pixels with improved dynamic range
US10841517B2 (en) Solid-state imaging device and imaging system
US7483067B2 (en) Column-parallel sigma-delta analog-to-digital conversion for imagers
JP2016201649A (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
US10979658B2 (en) Imaging device
JP2017184185A (ja) 撮像装置、撮像システム、および、移動体
US6781627B1 (en) Solid state imaging device and electric charge detecting apparatus used for the same
KR20200113817A (ko) 이미지 센서
CN111147774B (zh) 用于电压稳定的系统和方法
WO2022009807A1 (ja) 撮像素子および撮像方法
US7750960B2 (en) System and apparatus for high dynamic range sensor
US7242429B1 (en) Method for cancellation of the effect of charge feedthrough on CMOS pixel output
US10484618B1 (en) Ultra-high dynamic range CMOS sensor
KR102107192B1 (ko) 이미지 센싱 장치
US7477306B2 (en) Method and apparatus for improving pixel output swing in imager sensors
US6972399B2 (en) Reset voltage generation circuit for CMOS imagers
CN111726547A (zh) 摄像装置
US10687004B1 (en) Low noise passive pixel readout circuit
US11509852B2 (en) Imaging device, imaging system, and method of driving imaging device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837134

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022535303

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837134

Country of ref document: EP

Kind code of ref document: A1