WO2020116185A1 - 固体撮像装置、信号処理チップ、および、電子機器 - Google Patents

固体撮像装置、信号処理チップ、および、電子機器 Download PDF

Info

Publication number
WO2020116185A1
WO2020116185A1 PCT/JP2019/045614 JP2019045614W WO2020116185A1 WO 2020116185 A1 WO2020116185 A1 WO 2020116185A1 JP 2019045614 W JP2019045614 W JP 2019045614W WO 2020116185 A1 WO2020116185 A1 WO 2020116185A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
pixel
event
solid
imaging device
Prior art date
Application number
PCT/JP2019/045614
Other languages
English (en)
French (fr)
Inventor
若林　準人
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/047,564 priority Critical patent/US11509840B2/en
Priority to CN201980054386.5A priority patent/CN112640428B/zh
Publication of WO2020116185A1 publication Critical patent/WO2020116185A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals

Definitions

  • the present technology relates to a solid-state imaging device, a signal processing chip, and an electronic device, and more particularly, to a solid-state imaging device, a signal processing chip, and an electronic device capable of utilizing a result of detection of occurrence of an event for imaging. Regarding equipment.
  • An image sensor has been proposed which outputs event data representing the occurrence of an event when the change in the brightness of a pixel is used as the event (for example, see Patent Document 1).
  • the image sensor that captures images in synchronization with the vertical sync signal and outputs the frame data in raster scan format can be called a synchronous image sensor.
  • an image sensor that outputs event data can be called an asynchronous image sensor because the pixel in which the event data has occurred is read out as needed.
  • An asynchronous image sensor is called, for example, a DVS (Dynamic Vision Sensor).
  • a method that utilizes the result of detecting the occurrence of an event with an asynchronous image sensor for imaging is desired.
  • the present technology has been made in view of such a situation, and makes it possible to utilize the result of detecting the occurrence of an event for imaging.
  • a solid-state imaging device is an event detection unit that detects a change in an electrical signal generated in each pixel of a pixel array unit as an event, and a detection area of the pixel array unit based on a detection result of the event. And a pixel signal generation unit that generates a pixel signal forming an image of a region corresponding to the region of interest.
  • the signal processing chip detects the attention area of the pixel array unit from the detection result obtained by detecting the change of the electric signal generated in each pixel of the pixel array unit as an event, and also detects the attention area.
  • An ROI information identifying unit that detects ROI information
  • an image processing unit that acquires a pixel signal of the ROI and generates an image.
  • the electronic device determines an area of interest of the pixel array section from an event detection section that detects a change in an electrical signal generated in each pixel of the pixel array section as an event, and the detection result of the event.
  • the solid-state imaging device includes a region-of-interest detection unit that detects a region of interest, and a pixel signal generation unit that generates a pixel signal forming an image of a region corresponding to the region of interest.
  • a change in an electric signal generated in each pixel of the pixel array section is detected as an event, and a region of interest of the pixel array section is detected from the detection result of the event.
  • Pixel signals forming an image of a region corresponding to the region of interest are generated.
  • the attention area of the pixel array section is detected and the attention area is specified from the detection result obtained by detecting a change in an electric signal generated in each pixel of the pixel array section as an event.
  • ROI information is output, pixel signals of the region of interest are acquired, and an image is generated.
  • the solid-state imaging device, the signal processing chip, and the electronic device may be independent devices or may be modules incorporated in other devices.
  • FIG. 2 is a block diagram showing a configuration example of the DVS chip in FIG. 1.
  • FIG. 3 is a block diagram showing a configuration example of a pixel array section in FIG. 2.
  • FIG. 4 is a circuit diagram showing a configuration example of a pixel block of FIG. 3. It is a block diagram which shows the structural example of an event detection part. It is a circuit diagram which shows the structural example of a current voltage conversion part. It is a circuit diagram which shows the structural example of a subtraction part and a quantization part. It is a block diagram which shows the other structural example of a quantization part.
  • FIG. 12 is a block diagram showing a configuration example of a pixel array section in FIG. 11.
  • FIG. 13 is a circuit diagram showing a configuration example of the pixel block of FIG. 12.
  • 6 is a flowchart illustrating an operation of the solid-state imaging device. It is a figure which shows the structural example of 2nd Embodiment of the solid-state imaging device to which this technique is applied. It is a block diagram which shows the structural example of a DVS chip, a CIS chip, and a DSP chip.
  • FIG. 22 is a block diagram showing a configuration example of a pixel array section in FIG. 21.
  • FIG. 23 is a circuit diagram showing a configuration example of the pixel block of FIG. 22.
  • FIG. 22 is a timing chart illustrating an example of the operation of the sensor unit in FIG. 21.
  • 6 is a timing chart showing driving when imaging is performed with all pixels in the pixel array section.
  • 6 is a timing chart showing driving when an image of a region of interest is taken in the pixel array section.
  • FIG. 22 is a block diagram showing another configuration example of the pixel array section of FIG. 21. It is a block diagram which shows the structural example of an imaging device as an electronic device to which this technique is applied. It is a figure which shows the usage example of an image sensor. It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a diagram showing a configuration example of a first embodiment of a solid-state imaging device to which the present technology is applied.
  • the solid-state imaging device 10 of FIG. 1 includes a first chip 11 and a second chip 12, and a relay board (interposer board) 13 on which the chips are mounted.
  • the first chip 11 is an image sensor chip that outputs event data representing the occurrence of an event when the event occurs, with a change in pixel brightness as an event.
  • the first chip 11 performs an image pickup that photoelectrically converts incident light to generate an electric signal, but does not perform image pickup in synchronization with a vertical synchronization signal to generate image data in a frame format (frame data). Rather, it generates event data that represents the occurrence of an event that is a change in the electrical signal of the pixel.
  • the second chip 12 is an image sensor that captures an image in synchronization with a vertical synchronization signal and outputs frame data that is image data in a frame format.
  • the first chip 11 Since the first chip 11 does not output the event data in synchronization with the vertical synchronization signal, it can be called an asynchronous image sensor.
  • the asynchronous image sensor is also called, for example, a DVS (Dynamic Vision Sensor).
  • the first chip 11 is referred to as the DVS chip 11 and the second chip 12 is referred to as the CIS chip 12 for easy distinction.
  • the relay board 13 includes signal wiring that relays signals between the DVS chip 11 and the CIS chip 12, and an output terminal that outputs the output signal of the solid-state imaging device 10 to the outside.
  • the output terminal is composed of, for example, a solder ball formed on the side opposite to the mounting surface of the DVS chip 11 and the CIS chip 12.
  • the DVS chip 11 detects an event that occurs in a predetermined detection target range, that is, a change in the brightness of a pixel, and based on the detected event, determines a region of interest that is a region of particular interest in the detection target range. , To the CIS chip 12.
  • the CIS chip 12 captures an image of a region of interest determined by the DVS chip 11 within a predetermined imaging target range, and outputs the captured image obtained as a result to the outside.
  • the detection target range of the DVS chip 11 and the imaging target range of the CIS chip 12 are matched by performing calibration in advance.
  • the detection range of the DVS chip 11 can be imaged by the CIS chip 12.
  • the pixels of the DVS chip 11 and the pixels of the CIS chip 12 have a one-to-one correspondence, but it does not necessarily have to be a one-to-one correspondence.
  • the relationship may be such that one pixel on one side corresponds to the N pixel on the other side (N>1).
  • FIG. 2 is a block diagram showing a configuration example of the DVS chip 11 of FIG.
  • the DVS chip 11 includes a pixel array unit 31, an arbiter 33, a memory 34, an image processing unit 35, an output unit 36, and a clock signal generation unit 37.
  • the pixel array unit 31 is configured by arranging a plurality of pixels 51 (FIG. 3) in a two-dimensional lattice pattern. Further, the pixel array section 31 is divided into a plurality of pixel blocks 41 (FIG. 3) each of which includes a predetermined number of pixels 51. In the pixel array unit 31, when a change (a voltage corresponding to that) as a photocurrent as an electric signal generated by the photoelectric conversion of the pixel 51 exceeds a predetermined threshold (including a change equal to or larger than the threshold, if necessary) Then, the change in the photocurrent is detected as an event.
  • a predetermined threshold including a change equal to or larger than the threshold, if necessary
  • the pixel array unit 31 When the pixel array unit 31 detects an event, the pixel array unit 31 outputs to the arbiter 33 a request for outputting event data indicating the occurrence of the event. Then, when the pixel array unit 31 receives a response indicating permission to output the event data from the arbiter 33, the pixel array unit 31 outputs the event data to the memory 34.
  • the change of the photocurrent generated in the pixel 51 can be grasped as the change of the light amount of the light incident on the pixel 51, the event is also called the change of the light amount of the pixel 51 (change of the light amount exceeding the threshold value). be able to.
  • the arbiter 33 arbitrates the request from the pixel block 41 that constitutes the pixel array unit 31 and returns a response indicating permission or non-permission of the output of the event data to the pixel array unit 31. In addition, the arbiter 33 outputs a reset signal for resetting event detection to the pixel array unit 31 after outputting a response indicating permission of event data output.
  • the memory 34 stores the event data from the pixel array unit 31 in a predetermined frame unit (frame volume described later).
  • the frame unit in which the memory 34 stores the event data from the pixel array unit 31 is controlled by the image processing unit 35.
  • the memory 34 Based on the clock signal supplied from the clock signal generator 37, the memory 34 adds a count value as time information indicating the (relative) time at which the event occurred to the event data and accumulates the count value. That is, the memory 34 stores event data including at least position coordinates (coordinates or the like) indicating the position of the pixel block 41 or the pixel 51 where the event has occurred, and time information indicating the time when the event has occurred.
  • the event data can include the polarity (positive or negative) of the change in light amount.
  • the image processing unit 35 performs data processing (image processing) according to the event data (frame data) in frame units stored in the memory 34, and outputs the data processing result which is the result of the data processing. For example, the image processing unit 35 extracts the contour information of the object from the event data in units of frames, and specifies the object to be detected. The image processing unit 35 determines the attention area including the specified object and outputs it to the output unit 36.
  • the output unit 36 outputs the information specifying the attention area from the image processing unit 35 to the CIS chip 12 via the relay board 13 as ROI information (Region Of Interest).
  • the clock signal generation unit 37 generates a clock signal that serves as a master clock and supplies it to the memory 34, the image processing unit 35, and the like.
  • FIG. 3 is a block diagram showing a configuration example of the pixel array section 31 of FIG.
  • the pixel array unit 31 has a plurality of pixel blocks 41.
  • the pixel block 41 includes one or more I ⁇ J pixels 51 arranged in I rows ⁇ J columns (I and J are integers), and an event detection unit 52. One or more pixels 51 in the pixel block 41 share the event detection unit 52.
  • the pixel 51 receives incident light from a subject and photoelectrically converts it to generate a photocurrent as an electric signal.
  • the pixel 51 supplies the generated photocurrent to the event detection unit 52.
  • the event detection unit 52 detects, as an event, a change in the photocurrent from each of the pixels 51 that exceeds a predetermined threshold after being reset by the reset signal from the arbiter 33.
  • the event detection unit 52 supplies the arbiter 33 (FIG. 2) with a request for outputting event data indicating the occurrence of the event. Then, when the event detection unit 52 receives a response from the arbiter 33 that the output of the event data is permitted, the event detection unit 52 outputs the event data to the memory 34.
  • Detecting a change in photocurrent exceeding a predetermined threshold as an event can be regarded as detecting an event that there is no change in photocurrent exceeding a predetermined threshold as an event.
  • FIG. 4 is a circuit diagram showing a configuration example of the pixel block 41 of FIG.
  • the pixel block 41 includes one or more pixels 51 and an event detection unit 52, as described in FIG.
  • the pixel 51 includes a photoelectric conversion element 61.
  • the photoelectric conversion element 61 is composed of, for example, a PD (Photodiode), receives incident light, photoelectrically converts it, and generates electric charges.
  • PD Photodiode
  • the I ⁇ J pixels 51 that form the pixel block 41 are connected to the event detection unit 52 that forms the pixel block 41 via the node 60. Therefore, the photocurrent generated in (the photoelectric conversion element 61 of) the pixel 51 is supplied to the event detection unit 52 via the node 60. As a result, the event detector 52 is supplied with the sum of the photocurrents of all the pixels 51 in the pixel block 41. Therefore, the event detection unit 52 detects a change in the sum of the photocurrents supplied from the I ⁇ J pixels 51 forming the pixel block 41 as an event.
  • the pixel block 41 is composed of one or more pixels 51, and the event detection section 52 is shared by the one or more pixels 51. Therefore, when the pixel block 41 is composed of a plurality of pixels 51, the number of event detecting units 52 is smaller than that in the case where one event detecting unit 52 is provided for one pixel 51. The number can be reduced, and the scale of the pixel array unit 31 can be suppressed.
  • an event detection unit 52 can be provided for each pixel 51.
  • an event is detected in the unit of the pixel block 41.
  • the event detection unit 52 is provided for each pixel 51, Events can be detected in units of 51.
  • FIG. 5 is a block diagram showing a configuration example of the event detection unit 52 of FIG.
  • the event detection unit 52 includes a current/voltage conversion unit 81, a buffer 82, a subtraction unit 83, a quantization unit 84, and a transfer unit 85.
  • the current-voltage converter 81 converts the photocurrent (sum of) from the pixels 51 into a voltage (hereinafter, also referred to as photovoltage) corresponding to the logarithm of the photocurrent, and supplies the voltage to the buffer 82.
  • the buffer 82 buffers the optical voltage from the current-voltage converter 81 and supplies it to the subtractor 83.
  • the subtraction unit 83 calculates the difference between the current optical voltage and the optical voltage at a timing that is different from the current optical timing at a timing according to the reset signal from the arbiter 33, and calculates the difference signal corresponding to the difference as a quantum signal. It is supplied to the conversion unit 84.
  • the quantizing unit 84 quantizes the difference signal from the subtracting unit 83 into a digital signal, and supplies the quantized value of the difference signal to the transfer unit 85 as event data.
  • the transfer unit 85 transfers (outputs) the event data to the memory 34 according to the event data from the quantization unit 84. That is, the transfer unit 85 supplies the arbiter 33 with a request for outputting event data. Then, when the transfer unit 85 receives, from the arbiter 33, a response to the request indicating that the output of the event data is permitted, the transfer unit 85 outputs the event data to the memory 34.
  • FIG. 6 is a circuit diagram showing a configuration example of the current-voltage conversion unit 81 of FIG.
  • the current-voltage converter 81 is composed of transistors 91 to 93.
  • transistors 91 and 93 for example, an N-type MOS FET can be adopted, and as the transistor 92, for example, a P-type MOS FET can be adopted.
  • the source of the transistor 91 is connected to the gate of the transistor 93, and the photocurrent from the pixel 51 is supplied to the connection point between the source of the transistor 91 and the gate of the transistor 93.
  • the drain of the transistor 91 is connected to the power supply VDD, and the gate thereof is connected to the drain of the transistor 93.
  • the source of the transistor 92 is connected to the power supply VDD, and its drain is connected to the connection point between the gate of the transistor 91 and the drain of the transistor 93.
  • a predetermined bias voltage Vbias is applied to the gate of the transistor 92.
  • the bias voltage Vbias turns on/off the transistor 92, and turning on/off the transistor 92 turns on/off the operation of the current-voltage converter 81.
  • the source of the transistor 93 is grounded.
  • the drain of the transistor 91 is connected to the power supply VDD side and serves as a source follower.
  • the pixel 51 (FIG. 4) is connected to the source of the transistor 91, which is a source follower, so that the transistor 91 (from the drain to the source thereof) receives the electric charge generated by the photoelectric conversion element 61 of the pixel 51.
  • Photocurrent flows.
  • the transistor 91 operates in the subthreshold region, and a photovoltage corresponding to the logarithm of the photocurrent flowing through the transistor 91 appears at the gate of the transistor 91.
  • the transistor 91 converts the photocurrent from the pixel 51 into the photovoltage corresponding to the logarithm of the photocurrent.
  • the gate of the transistor 91 is connected to the connection point between the drain of the transistor 92 and the drain of the transistor 93, and the optical voltage is output from the connection point.
  • FIG. 7 is a circuit diagram showing a configuration example of the subtraction unit 83 and the quantization unit 84 of FIG.
  • the subtraction unit 83 includes a capacitor 101, an operational amplifier 102, a capacitor 103, and a switch 104.
  • the quantizer 84 includes a comparator 111.
  • One end of the capacitor 101 is connected to the output terminal of the buffer 82 (FIG. 5), and the other end is connected to the input terminal (inverting input terminal) of the operational amplifier 102. Therefore, the optical voltage is input to the input terminal of the operational amplifier 102 via the capacitor 101.
  • the output terminal of the operational amplifier 102 is connected to the non-inverting input terminal (+) of the comparator 111.
  • the one end of the capacitor 103 is connected to the input terminal of the operational amplifier 102, and the other end is connected to the output terminal of the operational amplifier 102.
  • the switch 104 is connected to the capacitor 103 so as to turn on/off the connection between both ends of the capacitor 103.
  • the switch 104 is turned on/off according to a reset signal to turn on/off the connection between both ends of the capacitor 103.
  • the optical voltage on the buffer 82 (FIG. 5) side of the capacitor 101 when the switch 104 is turned on is represented by Vinit, and the capacity (electrostatic capacity) of the capacitor 101 is represented by C1.
  • the input terminal of the operational amplifier 102 is virtually grounded, and the charge Qinit accumulated in the capacitor 101 when the switch 104 is on is represented by the equation (1).
  • the formula (4) is established because the total amount of charge, which is the sum of the charges of the capacitor 101 and the charge of the capacitor 103, does not change before and after the switch 104 is turned off.
  • Vout -(C1/C2) ⁇ (Vafter-Vinit) ...(5)
  • the subtraction unit 83 subtracts the optical voltages Vafter and Vinit, that is, calculates the difference signal (Vout) corresponding to the difference Vafter-Vinit between the optical voltages Vafter and Vinit.
  • the subtraction gain of the subtraction unit 83 is C1/C2. Since it is usually desired to maximize the gain, it is preferable to design C1 large and C2 small. On the other hand, if C2 is too small, the kTC noise may increase and the noise characteristics may deteriorate, so the capacity reduction of C2 is limited to the range in which noise can be tolerated. Further, since the event detection unit 52 including the subtraction unit 83 is mounted for each pixel block 41, there is a restriction on the area of the capacitors C1 and C2. In consideration of these, the values of the capacitors C1 and C2 are determined.
  • the comparator 111 quantizes the difference signal by comparing the difference signal from the subtraction unit 83 with a predetermined threshold value (voltage) Vth(>0) applied to the inverting input terminal (-), and quantizes the difference signal.
  • the quantized value obtained by is output to the transfer unit 85 as event data.
  • the comparator 111 when the difference signal exceeds the threshold value Vth, the comparator 111 outputs H (High) level indicating 1 as event data indicating the occurrence of the event, and when the difference signal does not exceed the threshold value Vth, 0
  • the L (Low) level that indicates is output as event data that indicates that an event has not occurred.
  • the transfer unit 85 arbitrates the request when it is recognized that a light amount change as an event has occurred in accordance with the event data from the quantization unit 84, that is, when the difference signal (Vout) is larger than the threshold value Vth.
  • the event data for example, H level
  • the transfer unit 85 arbitrates the request when it is recognized that a light amount change as an event has occurred in accordance with the event data from the quantization unit 84, that is, when the difference signal (Vout) is larger than the threshold value Vth.
  • the data format of the event data including the position information of the pixel 51 at which the event has occurred, the time information indicating the time at which the event has occurred, and the polarity of the light intensity change as the event is, for example, a data format called AER (Address Event Representation). Can be adopted.
  • AER Address Event Representation
  • the overall gain A of the event detection unit 52 is represented by the following equation, where CG log is the gain of the current-voltage conversion unit 81, 1 is the gain of the buffer 82, and G is the gain of the quantization unit 84. ..
  • A CG log ⁇ C1/C2 ⁇ G ( ⁇ i photo _n) ...(6)
  • i photo _n represents the photocurrent of the n-th pixel 51 of the I ⁇ J pixels 51 forming the pixel block 41.
  • ⁇ in equation (6) represents a summation in which n is changed to an integer from 1 to I ⁇ J.
  • the pixel 51 can receive any light as incident light by providing an optical filter such as a color filter that transmits predetermined light.
  • the event data represents occurrence of a change in pixel value in an image in which a visible subject is reflected.
  • the event data represents the occurrence of a change in the distance to the subject.
  • the event data represents the occurrence of a change in the temperature of the subject.
  • the pixel 51 receives visible light as incident light.
  • FIG. 8 is a block diagram showing another configuration example of the quantization unit 84 of FIG.
  • the quantizing unit 84 has comparators 111 and 112, and an output unit 113.
  • the quantizing unit 84 of FIG. 8 is common to the case of FIG. 7 in having the comparator 111. However, the quantizing unit 84 of FIG. 8 is different from the case of FIG. 7 in that it additionally includes the comparator 112 and the output unit 113.
  • the event detector 52 (FIG. 5) having the quantizer 84 of FIG. 8 detects the event and the polarity of the change in light amount as the event.
  • the comparator 111 when the difference signal exceeds the threshold value Vth, the comparator 111 outputs the H level indicating 1 as event data indicating the occurrence of a positive polarity event, and the difference signal indicates the threshold value Vth. When it does not exceed, the L level indicating 0 is output as event data indicating that a positive event has not occurred.
  • the threshold value Vth′ ( ⁇ Vth) is supplied to the non-inverting input terminal (+) of the comparator 112, and the subtracting unit 83 is supplied to the inverting input terminal ( ⁇ ) of the comparator 112. Is provided.
  • the threshold value Vth' is assumed that the threshold value Vth' is equal to -Vth, for example.
  • the comparator 112 quantizes the difference signal by comparing the difference signal from the subtraction unit 83 with the threshold value Vth′ applied to the inverting input terminal ( ⁇ ), and the quantized value obtained by the quantization is Output as event data.
  • the comparator 112 when the difference signal is smaller than the threshold value Vth′ (when the absolute value of the difference signal having a negative value exceeds the threshold value Vth), the comparator 112 indicates that the H level representing 1 indicates the occurrence of the negative polarity event. Output as event data. Further, when the difference signal is not smaller than the threshold value Vth′ (when the absolute value of the difference signal having a negative value does not exceed the threshold value Vth), the comparator 112 sets the L level indicating 0 to the negative event. It is output as event data indicating that it is not.
  • the output unit 113 in accordance with the event data output by the comparators 111 and 112, outputs event data indicating the occurrence of a positive polarity event, event data indicating the occurrence of a negative polarity event, or that no event has occurred.
  • the event data represented is output to the transfer unit 85.
  • the output unit 113 when the event data from the comparator 111 is the H level indicating 1, the output unit 113 outputs the H pulse indicating +1 to the transfer unit 85 as the event data indicating the occurrence of the positive polarity event. Further, when the event data from the comparator 112 is the H level indicating 1, the output unit 113 outputs the L pulse indicating ⁇ 1 to the transfer unit 85 as the event data indicating the occurrence of the negative event. Further, when the event data from the comparators 111 and 112 are both L level indicating 0, the output unit 113 sets 0 volt (GND level) indicating 0 as event data indicating that an event has not occurred. , To the transfer unit 85.
  • the transfer unit 85 supplies a request to the arbiter 33 when it is determined that a light amount change as a positive or negative event has occurred in accordance with the event data from the output unit 113 of the quantization unit 84, and the event data After receiving the response indicating the permission of the output of, the event data (H pulse representing 1 or L pulse representing -1) representing the occurrence of the positive or negative event is output to the memory 34.
  • the quantizer 84 When the quantizer 84 has the configuration shown in FIG. 7, the occurrence of an event is output as 1 bit (0 or 1) having only positive polarity, and when the configuration shown in FIG. It is output with 5 bits (1, 0, or -1).
  • the quantization part 84 shall be comprised as shown in FIG. 8 among FIGS. 7 and 8, for example.
  • FIG. 9 is a block diagram showing a configuration example of the image processing unit 35 of FIG.
  • the image processing unit 35 includes a frame interval setting unit 131, a frame width setting unit 132, and a detection unit (attention area detection unit) 133.
  • the frame interval setting unit 131 sets a frame interval according to a user's operation or the like and supplies the frame interval to the memory 34.
  • the frame interval represents a frame interval of frame data generated according to event data, and the frame interval can be designated and set by time or the number of event data.
  • the frame interval set by the frame interval setting unit 131 is also referred to as a set frame interval.
  • the frame width setting unit 132 sets the frame width according to, for example, a user operation and supplies the frame width to the memory 34.
  • the frame width represents the time width of the event data used for generating the frame data of one frame, and the frame width can be designated and set by the time or the number of event data, like the frame interval.
  • the frame width set by the frame width setting unit 132 is also referred to as a set frame width.
  • the memory 34 generates frame data, which is image data in frame format, from the event data from the pixel array unit 31 at the set frame intervals and the set frame widths set by the frame interval setting unit 131 and the frame width setting unit 132. As a result, the event data is converted into frame data in frame units and stored.
  • the detection unit 133 identifies an object as a detection target by image processing using the frame data stored in the memory 34, for example, image recognition using pattern matching or a neural network, and extracts contour information of the object. ..
  • the image processing unit 35 outputs the information specifying the attention area as ROI information to the output unit 36 using the area including the specified object as the attention area. That is, the detection unit 133 detects the attention area using the frame data stored in the memory 34.
  • the image processing unit 35 can be configured without providing the frame width setting unit 132.
  • FIG. 10 is a diagram illustrating an example of a method of generating frame data according to event data.
  • the event data includes time information (hereinafter, also referred to as an event time) t i that represents the time when the event occurs, and position information (hereinafter, the event block of the pixel block 41) having the pixel 51 (having the event).
  • time information hereinafter, also referred to as an event time
  • position information hereinafter, the event block of the pixel block 41 having the pixel 51 (having the event).
  • the coordinates (x, y) are also included.
  • the point as event data is the time t of the event included in the event data and the position of the event. It is plotted at (coordinates as) (x, y).
  • the time t of the event included in the event data and the position (x, y, t) in the three-dimensional space represented by the position (x, y) of the event are called the spatiotemporal position of the event.
  • the event data is plotted as points at the spatiotemporal position (x, y, t) of the event.
  • the memory 34 uses, for example, a predetermined time such as a time when a frame data generation is instructed from the outside or a time when the power of the DVS chip 11 is turned on as a generation start time when the frame data generation is started. Generation of frame data corresponding to the data is started.
  • a rectangular parallelepiped with a set frame width in the time axis t direction at each set frame interval from the generation start time is referred to as a frame volume or frame unit.
  • the sizes of the frame volume in the x-axis direction and the y-axis direction are equal to the numbers of the pixel blocks 41 or the pixels 51 in the x-axis direction and the y-axis direction, for example.
  • the memory 34 generates and stores one frame of frame data according to the event data in the frame volume having the set frame width from the beginning of the set frame interval for each set frame interval.
  • the frame width and frame interval can be specified by time or the number of event data.
  • One of the frame width and the frame interval may be designated by time, and the other may be designated by the number of event data.
  • the frame data is generated, for example, by using white for the pixel (pixel value of) of the frame at the event position (x, y) included in the event data and gray for the pixel (pixel value of) of the other position of the frame. This can be done by setting a predetermined color.
  • the frame data can be generated in consideration of the polarity included in the event data. For example, if the polarity is positive, white can be set in the pixel, and if the polarity is negative, black can be set in the pixel.
  • the event data with the latest event time t can be prioritized.
  • the event data includes polarity
  • the event time t is different, but the polarities of multiple event data with the same event position (x, y) are added, and the added value obtained by the addition is added.
  • Different pixel values can be set to the pixel at the event position (x, y).
  • the frame width and the frame interval are specified by time and the frame width and the frame interval are the same, the frame volumes are in contact with each other without a gap. Also, when the frame interval is larger than the frame width, the frame volumes are arranged with a gap. When the frame width is larger than the frame interval, the frame volumes are arranged in a partially overlapped manner.
  • the frame width is the same as the frame interval and the event data is stored in the memory 34 at a predetermined set frame interval. Since the frame data stored in the memory 34 is updated at the set frame intervals and the objects are sequentially detected, the frame data update cycle is equal to the object detection cycle (object detection cycle).
  • the object to be detected is specified by image recognition using the event data accumulated in the memory 34 at a predetermined set frame interval and set frame width.
  • the memory 34 can be omitted when the object is specified by capturing the positional displacement of the event data acquired according to the above.
  • FIG. 11 is a block diagram showing a configuration example of the CIS chip 12 of FIG.
  • the CIS chip 12 includes a pixel array unit 211, a drive unit 212, an AD (Analog to Digital) conversion unit 213, an input unit 214, a control unit 215, a signal processing unit 216, and an output unit 217.
  • AD Analog to Digital
  • the pixel array unit 211 is configured by arranging a plurality of pixels 251 (FIG. 12) in a two-dimensional grid pattern.
  • the pixel array unit 211 is divided into a plurality of pixel blocks 241 (FIG. 12) each of which includes a predetermined number of pixels 251.
  • the pixel array unit 211 outputs the pixel signal generated by the photoelectric conversion of the pixel 251, to the AD conversion unit 213.
  • the drive unit 212 drives the pixel array unit 211 by supplying a control signal to the pixel array unit 211.
  • the drive unit 212 drives the pixel 251 in the attention area based on the ROI information supplied from the DVS chip 11, and supplies (outputs) the pixel signal of the pixel 251 to the AD conversion unit 213.
  • the driving unit 212 drives not only a partial region of the pixel array unit 211 but also the entire region of the pixel array unit 211 and supplies the pixel signals of the pixels 251 in the entire region to the AD conversion unit 213 (output). It is also possible to do.
  • the AD conversion unit 213 has, for example, a single-slope ADC (AD Converter) (not shown) for each column of a pixel block 241 (FIG. 12) described later.
  • the AD conversion unit 213 AD-converts the pixel signal of the pixel 251 of the pixel block 241 in each column in the ADC of each column, and supplies the signal to the signal processing unit 216.
  • the AD conversion unit 213 can perform CDS (Correlated Double Sampling) together with AD conversion of pixel signals.
  • the input unit 214 acquires the ROI information supplied from the DVS chip 11 via the relay board 13 and supplies it to the control unit 215. Further, the input unit 214 can also externally acquire data for instructing an operation mode and the like.
  • the control unit 215 receives ROI information, data instructing an operation mode, etc. from the input unit 214.
  • the control unit 215 generates a clock signal and a control signal that serve as a reference for operations of the drive unit 212, the AD conversion unit 213, and the like. Then, the control unit 215 outputs the generated clock signal and control signal to the drive unit 212, the AD conversion unit 213, and the like. For example, the control unit 215 supplies the control signal for specifying the drive region of the pixel array unit 211 to the drive unit 212 based on the ROI information acquired from the input unit 214.
  • the signal processing unit 216 performs predetermined signal processing on the pixel signals sequentially supplied from the AD conversion unit 213. For example, the signal processing unit 216 performs various digital signal processing such as black level adjustment processing, column variation correction processing, and gain adjustment processing. The signal processing unit 216 supplies the pixel signal after digital signal processing to the output unit 217.
  • the output unit 217 outputs the pixel signal from the signal processing unit 216 to the outside.
  • FIG. 12 is a block diagram showing a configuration example of the pixel array unit 211 of FIG.
  • the pixel array unit 211 has a plurality of pixel blocks 241.
  • the pixel block 241 includes I ⁇ J pixels 251 as one or more arranged in I rows ⁇ J columns (I and J are integers), and a pixel signal generation unit 252.
  • the pixel 251 of each pixel block 241 has a pixel position corresponding to the pixel 51 of each pixel block 41 of the pixel array unit 31 of the DVS chip 11.
  • the one or more pixels 251 in the pixel block 241 share the pixel signal generation unit 252.
  • a VSL Very Signal Line
  • ADC Analog to Digital Converter
  • the pixel 251 receives incident light from a subject and photoelectrically converts it to generate a photocurrent as an electric signal.
  • the pixel signal generation unit 252 generates a voltage corresponding to the photocurrent of the pixel 251 as a pixel signal and supplies it to the AD conversion unit 213 via VSL.
  • FIG. 13 is a circuit diagram showing a configuration example of the pixel block 241 of FIG.
  • the pixel block 241 includes one or more pixels 251, and a pixel signal generation unit 252, as described with reference to FIG.
  • the pixel 251 includes a photoelectric conversion element 261 and a transfer transistor 262.
  • the photoelectric conversion element 261 is composed of, for example, a PD (Photodiode), receives incident light, photoelectrically converts it, and generates electric charges.
  • PD Photodiode
  • the transfer transistor 262 is composed of, for example, an N (Negative) type MOS (Metal-Oxide-Semiconductor) FET (Field Effect Transistor).
  • the transfer transistor 262 included in the n-th pixel 251 of the I ⁇ J pixels 251 included in the pixel block 241 is turned on/off according to the control signal TRGn supplied from the driving unit 212.
  • TRGn Field Effect Transistor
  • the pixel signal generation unit 252 includes a reset transistor 271, an amplification transistor 272, a selection transistor 273, and an FD (Floating Diffusion) 274.
  • the reset transistor 271, the amplification transistor 272, and the selection transistor 273 are composed of, for example, N-type MOS FET.
  • the reset transistor 271 is turned on/off according to the control signal RST supplied from the drive unit 212 (FIG. 11).
  • the reset transistor 271 When the reset transistor 271 is turned on, the FD 274 is connected to the power supply VDD, and the electric charge accumulated in the FD 274 is discharged to the power supply VDD. As a result, the FD 274 is reset.
  • the gate of the amplification transistor 272 is connected to the FD 274, the drain is connected to the power supply VDD, and the source is connected to VSL via the selection transistor 273.
  • the amplification transistor 272 is a source follower, and outputs a voltage (electric signal) corresponding to the voltage of the FD 274 supplied to the gate to VSL via the selection transistor 273.
  • the selection transistor 273 is turned on/off according to the control signal SEL supplied from the drive unit 212.
  • the reset transistor 271 is turned on, the voltage corresponding to the voltage of the FD 274 from the amplification transistor 272 is output to VSL.
  • the FD 274 accumulates charges transferred from the photoelectric conversion element 261 of the pixel 251 via the transfer transistor 263 and converts the charges into a voltage.
  • the drive unit 212 turns on the transfer transistors 262 of the pixels 251 in the pixel block 241 in order by the control signal TRGn, and the photoelectric conversion element 261 operates.
  • the generated electric charge is transferred to the FD 274.
  • the charges transferred from (the photoelectric conversion element 261 of) the pixel 251 are accumulated.
  • the voltage corresponding to the charge accumulated in the FD 274 is output to VSL as a pixel signal of the pixel 251, via the amplification transistor 272 and the selection transistor 273.
  • the pixel signals of the pixels 251 of the pixel block 241 corresponding to the attention area are sequentially output to the VSL under the control of the driving unit 212.
  • the pixel signal output to VSL is supplied to the AD conversion unit 213 and AD-converted.
  • the transfer transistors 263 can be turned on at the same time instead of being turned on in order. In this case, the sum of the pixel signals of all the pixels 251 in the pixel block 241 can be output.
  • the pixel block 241 is composed of one or more pixels 251, and the one or more pixels 251 share the pixel signal generation unit 252. Therefore, when the pixel block 241 is composed of a plurality of pixels 251, the pixel signal generation unit 252 has The number can be reduced and the size of the pixel array portion 211 can be suppressed.
  • the pixel signal generation unit 252 can be provided for each pixel 251.
  • the pixel signal generation unit 252 is not necessary to sequentially turn on the transfer transistors 263 of the plurality of pixels 251 included in the pixel block 241, and they are turned on at the same time to generate pixel signals in units of the pixels 251. Can be detected.
  • the pixel block in each of the pixel array unit 31 of the DVS chip 11 and the pixel array unit 211 of the CIS chip 12 has one pixel.
  • the explanation will be given based on the case. That is, the pixel block 41 of the pixel array unit 31 of the DVS chip 11 has one pixel 51 and the event detection unit 52, and the pixel block 241 of the pixel array unit 211 of the CIS chip 12 has one pixel 251.
  • the following description will be made on the assumption that the pixel signal generation unit 252 and
  • the set frame interval and the set frame width set by the frame interval setting unit 131 and the frame width setting unit 132 are adjusted and then set to predetermined values in advance.
  • step S1 the pixel array unit 31 of the DVS chip 11 generates event data when an electric signal change as an event occurs in any of the plurality of pixels 51 forming the pixel array unit 31, It is supplied to the memory 34. More specifically, when the pixel array unit 31 detects an event, the pixel array unit 31 outputs to the arbiter 33 a request requesting the output of event data indicating the occurrence of the event. Then, when the pixel array unit 31 receives a response indicating permission to output the event data from the arbiter 33, the pixel array unit 31 outputs the event data to the memory 34.
  • step S2 the memory 34 converts the event data from the pixel array unit 31 into frame data by accumulating the event data in a predetermined frame unit.
  • step S3 the image processing unit 35 performs data processing according to the event data in units of frames accumulated in the memory 34, and outputs the data processing result, which is the result of the data processing, to the output unit 36. More specifically, the detection unit 133 extracts the contour information of the object from the frame data and identifies the object to be detected. Then, the detection unit 133 determines the attention area including the specified object and outputs it to the output unit 36.
  • step S4 the output unit 36 outputs the information specifying the attention area supplied from the image processing unit 35 as ROI information (Region Of Interest) to the CIS chip 12 via the relay substrate 13.
  • step S 5 the input unit 214 acquires the ROI information supplied from the DVS chip 11 via the relay board 13 and supplies the ROI information to the control unit 215.
  • the control unit 215 supplies the control signal for specifying the drive region of the pixel array unit 211 to the drive unit 212 based on the ROI information acquired from the input unit 214.
  • step S6 the pixel array unit 211 captures an image of the region of interest according to the control of the drive unit 212. That is, the driving section 212 drives the pixels 251 in the attention area based on the control signal supplied from the control section 215 that specifies the driving area of the pixel array section 211. The pixel array unit 211 supplies the pixel signal of the attention area to the AD conversion unit 213 under the control of the driving unit 212.
  • step S7 the AD conversion unit 213 converts (AD conversion) the analog pixel signals sequentially input in row units of the pixel array unit 211 into a digital signal and performs CDS, and outputs the result to the signal processing unit 216. Supply.
  • step S8 the signal processing unit 216 performs predetermined signal processing on the digital pixel signals sequentially supplied from the AD conversion unit 213 as necessary, and supplies the digital pixel signals to the output unit 217.
  • the output unit 217 outputs the digital pixel signal from the signal processing unit 216 to the outside.
  • steps S1 to S4 is executed by the DVS chip 11 of the solid-state imaging device 10, and the processing of steps S5 to S8 is executed by the CIS chip 12 of the solid-state imaging device 10.
  • the DVS chip 11 specifies an object as a detection target to determine a region of interest, and information specifying the region of interest is supplied to the CIS chip 12 as ROI information. ..
  • the CIS chip 12 captures an image of the region of interest (corresponding region) determined by the DVS chip 11, and outputs pixel signals of each pixel of the region of interest.
  • the CIS chip 12 captures an image in the entire area of the pixel array unit 211, and a pattern is obtained from the captured image. After the object to be detected is specified by image recognition such as matching and the attention area is determined, the pixel signal of each pixel in the attention area can be acquired.
  • the detection target range of the DVS chip 11 is the same as the imaging range of the pixel array unit 211 of the CIS chip 12 without being thinned, and the occurrence of an event occurs. Is output with a low bit of 1 bit or 1.5 bits (three values), so that occurrence of an event in the same imaging range as the pixel array unit 211 of the CIS chip 12 can be detected with low power consumption without loss of spatial information. be able to. Then, the CIS chip 12 can perform imaging of the attention area at high speed by performing the imaging of the attention area determined by the DVS chip 11. By driving only a partial region of the pixel array unit 211, the power consumption of the CIS chip 12 can be reduced.
  • FIG. 15 is a diagram showing a configuration example of the second embodiment of the solid-state imaging device to which the present technology is applied.
  • a DVS chip 11 that detects the occurrence of an event and outputs ROI information that specifies a region of interest
  • a CIS chip 12 that captures an image of the region of interest.
  • the solid-state imaging device 10 includes a first chip 311, a second chip 312, and a third chip 313, and a relay board (interposer board) 314 on which the chips are mounted. ing.
  • another DSP (digital signal processor) chip performs at least a part of the digital signal processing of each of the DVS chip 11 and the CIS chip 12 of the first embodiment. This is the configuration.
  • the first chip 311 is configured by a circuit excluding a part of the digital signal processing circuit of the DVS chip 11 of the first embodiment, and the second chip 312 of the first embodiment. It is configured by a circuit excluding a part of the digital signal processing circuit of the CIS chip 12.
  • the first chip 311 is referred to as a DVS chip 311
  • the second chip 312 is referred to as a CIS chip 312
  • the third chip 313 is referred to as a DSP chip 313.
  • the relay board 314 includes signal wiring that relays signals between the DVS chip 311, the CIS chip 312, and the DSP chip 313, and an output terminal that outputs the output signal of the solid-state imaging device 10 to the outside.
  • the output terminal is composed of, for example, a solder ball formed on the side opposite to the mounting surface of the DVS chip 311 or the CIS chip 312.
  • FIG. 16 is a block diagram showing a configuration example of the DVS chip 311, the CIS chip 312, and the DSP chip 313.
  • FIG. 16 parts corresponding to the respective configurations of the first embodiment shown in FIGS. 2, 9 and 11 are designated by the same reference numerals, and description thereof will be omitted as appropriate.
  • the memory 34 and the image processing unit 35 included in the DVS chip 11 of the first embodiment Comparing the DVS chip 11 of FIG. 2 of the first embodiment and the DVS chip 311 of the second embodiment, the memory 34 and the image processing unit 35 included in the DVS chip 11 of the first embodiment. , And the clock signal generator 37 has been moved to the DSP chip 313 in the second embodiment. As a result, the event data output from the pixel array unit 31 is supplied to the output unit 36, and the output unit 36 outputs the event data to the memory 34 of the DSP chip 313.
  • the CIS chip 312 of the second embodiment is configured similarly to the CIS chip 12 of FIG. 11 of the first embodiment.
  • the DSP chip 313 has an image processing unit 321 in addition to the memory 34, the image processing unit 35, and the clock signal generation unit 37.
  • the image processing unit 321 of the DSP chip 313 acquires the digital pixel signal input from the output unit 217 of the CIS chip 312.
  • the image processing unit 321 performs predetermined image processing, such as demosaic processing, on the pixel signal of the attention area input from the CIS chip 312, and outputs the resulting image (signal thereof) to the outside.
  • the image processing unit 321 may execute a part of the signal processing performed by the signal processing unit 216 of the CIS chip 312 in the first embodiment.
  • the image processing unit 321 has a memory (frame memory) that temporarily holds a pixel signal, if necessary.
  • the occurrence of an event is detected with low power consumption in the same detection target range as the imaging range and without thinning-out. Therefore, the region of interest can be imaged at high speed.
  • the power consumption can be reduced by driving only the attention area.
  • FIG. 17 is a block diagram showing a configuration example of the third embodiment of the solid-state imaging device to which the present technology is applied.
  • the solid-state imaging device 10 according to the third embodiment includes three chips, a DVS chip 311, a CIS chip 312, and a DSP chip 313.
  • a schematic perspective view of the solid-state imaging device 10 according to the third embodiment is the same as that of FIG.
  • the detection unit 341, the reliability determination unit 342, and the imaging synchronization signal generation unit 343 of the DSP chip 313 in FIG. 17 are different from those of the second embodiment, and other portions are common to the second embodiment.
  • the detection unit 133 of the image processing unit 35 of the second embodiment is replaced with the detection unit 341 in the third embodiment.
  • the set frame interval and the set frame width at the time of generating frame data are set to predetermined fixed values, but in the third embodiment, detection by the detection unit 341 is performed. The set frame interval and the set frame width are changed according to the result.
  • the detection unit 341 identifies the object as the detection target by performing image recognition using the frame data stored in the memory 34, similarly to the detection unit 133 of the second embodiment, and detects the object. Extract contour information. Then, the image processing unit 35 outputs the information specifying the attention area as the ROI information to the input unit 214 of the CIS chip 312, using the area including the specified object as the attention area.
  • the detection unit 341 supplies the recognition result of the image recognition, in other words, the detection result of the object, to the reliability determination unit 342. For example, the detection unit 341 allocates the presence or absence of object detection to 1 and 0 on a frame-by-frame basis, calculates a ratio of 1 from the latest frame to a predetermined number of frames traced back in the past as a detection rate, and outputs the detection rate to the reliability determination unit 342. To do.
  • the reliability determination unit 342 determines the reliability of object detection based on the detection rate supplied from the detection unit 341, and controls the frame unit (frame volume) in which the memory 34 stores event data.
  • the reliability determination unit 342 determines the frame rate according to the detection rate.
  • the memory 34 controls the frame interval for accumulating the event data. Specifically, the reliability determination unit 342 increases the frame interval when the detection rate supplied from the detection unit 341 is smaller than the internally stored threshold value, that is, when the object is not sufficiently detected.
  • the frame control signal to be supplied is supplied to the image processing unit 35.
  • the reliability determination unit 342 supplies the frame control signal for reducing the frame interval to the image processing unit 35. If the detection rate is smaller than the first threshold, the frame interval is changed significantly, and if the detection rate is equal to or more than the first threshold and less than the second threshold (first threshold ⁇ second threshold), the current The frame interval may be maintained, and if the detection rate is equal to or higher than the second threshold value, the frame interval may be changed to a smaller value.
  • the reliability determination unit 342 also generates an imaging cycle control signal for controlling the imaging cycle according to the frame unit in which the memory 34 stores event data, and supplies the imaging synchronization signal generation unit 343 with the imaging cycle control signal. That is, when the frame interval is short and the CIS chip 312 cannot be driven as fast as the object detection cycle (object detection cycle), the reliability determination unit 342 outputs an imaging cycle control signal for setting a large imaging cycle. It is generated and supplied to the imaging synchronization signal generation unit 343. On the other hand, when the object detection cycle is low and the imaging cycle of the CIS chip 312 can be matched with the object detection cycle, the reliability determination unit 342 determines that the imaging cycle is the same as the object detection cycle.
  • An imaging cycle control signal is generated and supplied to the imaging synchronization signal generation unit 343.
  • the imaging cycle in which the CIS chip 312 can be driven may change depending on the area size of the attention area. Therefore, even if the imaging of the CIS chip 312 can be driven at high speed in accordance with the object detection cycle due to the small area size of the attention area, the imaging synchronization signal generation unit 343 outputs the imaging cycle control signal adjusted to the object detection cycle. Is supplied to.
  • the imaging synchronization signal generation unit 343 generates an imaging synchronization signal according to the imaging cycle control signal from the reliability determination unit 342, and outputs it to the input unit 214 of the CIS chip 312.
  • a clock signal (master clock) is supplied from the clock signal generation unit 37 to the imaging synchronization signal generation unit 343.
  • the clock signal generation unit 37 supplies the generated clock signal to the imaging synchronization signal generation unit 343 as well as the output unit 36 of the DVS chip 311.
  • the imaging synchronization signal generation unit 343 is composed of, for example, a frequency dividing circuit, and generates an imaging synchronization signal by dividing the clock signal from the clock signal generation unit 37.
  • the generated imaging synchronization signal is output to the input unit 214 of the CIS chip 312.
  • the imaging synchronization signal generation section 343 When the imaging cycle control signal for setting a large imaging cycle is supplied from the reliability determination section 342, the imaging synchronization signal generation section 343 generates an imaging synchronization signal by dividing the clock signal by a predetermined division ratio.
  • the imaging cycle control signal for matching the imaging cycle with the object detection cycle is supplied from the reliability determination unit 342, the imaging synchronization signal generation unit 343 does not divide the clock signal and directly uses the CIS chip as the imaging synchronization signal. It is output to the input unit 214 of 312.
  • the imaging synchronization signal generation unit 343 does not generate an imaging synchronization signal by simply dividing the period of the clock signal from the clock signal generation unit 37 into 1/n (n>1), but the period of the clock signal. May be divided into 1/n and an imaging synchronization signal may be generated such that the video rate is 30 fps, 60 fps, or 120 fps. Whether to set to 30 fps, 60 fps, or 120 fps can be determined by, for example, user setting.
  • FIG. 18 is a flowchart illustrating processing of the solid-state imaging device 10 according to the third embodiment. For example, the process of FIG. 18 is started when the solid-state imaging device 10 is powered on.
  • the set frame interval and the set frame width as initial values are set to predetermined values in advance.
  • the pixel array unit 31 of the DVS chip 11 generates event data when an electric signal change as an event occurs in any of the plurality of pixels 51 forming the pixel array unit 31, It is supplied to the output unit 36. More specifically, when the pixel array unit 31 detects an event, the pixel array unit 31 outputs to the arbiter 33 a request requesting the output of event data indicating the occurrence of the event. Then, when the pixel array unit 31 receives a response indicating permission to output event data from the arbiter 33, the pixel array unit 31 outputs the event data to the output unit 36. The output unit 36 outputs the event data from the pixel array unit 31 to the memory 34 of the DSP chip 313.
  • step S22 the memory 34 of the DSP chip 313 converts the event data from the output unit 36 of the DVS chip 11 into frame data by accumulating the event data in a predetermined frame unit.
  • step S23 the detection unit 341 of the image processing unit 35 performs data processing according to the event data in units of frames accumulated in the memory 34, and ROI information as a result of the data processing is transmitted via the relay board 314. , To the input unit 214 of the CIS chip 312. More specifically, the detection unit 341 extracts the contour information of the object from the frame data and specifies the object to be detected. Then, the detection unit 341 determines a region of interest including the specified object, and outputs ROI information that specifies the region of interest to the input unit 214 of the CIS chip 312.
  • step S24 the detection unit 341 calculates the detection rate of the object as the recognition result of the image recognition, and supplies it to the reliability determination unit 342.
  • the object detection rate is supplied to the reliability determination unit 342 on a frame-by-frame basis, for example.
  • the reliability determination unit 342 controls the frame interval in which the memory 34 stores the event data according to the detection rate supplied from the detection unit 341.
  • the reliability determination unit 342 supplies the frame control signal for increasing the frame interval to the image processing unit 35.
  • the reliability determination unit 342 supplies the frame control signal for reducing the frame interval to the image processing unit 35.
  • the frame interval may be maintained without being changed.
  • the reliability determination unit 342 generates an imaging cycle control signal for controlling the imaging cycle according to the frame interval, and supplies the imaging cycle signal generation unit 343 with the imaging cycle control signal. Specifically, when the frame interval is short and the CIS chip 312 cannot be driven as fast as the object detection cycle, the reliability determination unit 342 generates an imaging cycle control signal that sets the imaging cycle larger than the current setting. Then, it is supplied to the imaging synchronization signal generation unit 343. On the other hand, when the object detection cycle is low and the imaging cycle of the CIS chip 312 can be matched with the object detection cycle, the reliability determination unit 342 determines that the imaging cycle is the same as the object detection cycle. An imaging cycle control signal is generated and supplied to the imaging synchronization signal generation unit 343.
  • step S27 the imaging synchronization signal generation unit 343 generates an imaging synchronization signal according to the imaging cycle control signal from the reliability determination unit 342, and outputs it to the input unit 214 of the CIS chip 312.
  • step S 28 the input unit 214 of the CIS chip 312 acquires the ROI information and the imaging synchronization signal supplied from the DSP chip 313 via the relay board 314, and supplies them to the control unit 215.
  • the ROI information is supplied from the detection unit 133 of the DSP chip 313, and the imaging synchronization signal is supplied from the imaging synchronization signal generation unit 343 of the DSP chip 313.
  • the control unit 215 supplies the control signal for specifying the drive region of the pixel array unit 211 to the drive unit 212 based on the ROI information acquired from the input unit 214.
  • the control unit 215 also supplies the imaging synchronization signal acquired from the input unit 214 to the drive unit 212, the AD conversion unit 213, and the like.
  • step S29 the pixel array unit 211 captures an image of the attention area according to the control of the drive unit 212. That is, the driving section 212 drives the pixels 251 in the attention area based on the control signal specifying the driving area of the pixel array section 211 from the input section 214. The pixel array unit 211 supplies the pixel signal of the attention area to the AD conversion unit 213 under the control of the driving unit 212.
  • step S30 the AD conversion unit 213 converts (AD conversion) the analog pixel signals sequentially input in row units of the pixel array unit 211 into a digital signal and performs CDS, and outputs the result to the signal processing unit 216. Supply.
  • step S31 the signal processing unit 216 performs predetermined signal processing on the digital pixel signals sequentially supplied from the AD conversion unit 213 as needed, and supplies the digital pixel signals to the output unit 217.
  • the output unit 217 outputs the digital pixel signal from the signal processing unit 216 to the DSP chip 313.
  • step S32 the image processing unit 321 of the DSP chip 313 performs predetermined image processing on the pixel signal from the CIS chip 312, for example, demosaic processing of the pixel signal, and outputs the result to the outside.
  • the image of the region of interest generated by the demosaic processing of the pixel signal is output to the outside.
  • step S21 is executed by the DVS chip 311, the processes of steps S22 to S27 and step S32 are executed by the DSP chip 313, and the processes of steps S28 to S31 are executed by the CIS chip 312.
  • the DVS chip 311 detects the occurrence of an event and outputs it to the DSP chip 313.
  • the event data is accumulated in a predetermined frame period, the object to be detected is specified, and the attention area is determined.
  • Information specifying the attention area is supplied to the CIS chip 312 as ROI information.
  • the CIS chip 312 captures an image of the region of interest (corresponding region) determined by the DVS chip 311 and outputs pixel signals of each pixel of the region of interest.
  • the DSP chip 313 calculates the detection rate of the object and controls the frame volume according to the detection rate. For example, when the detection rate is smaller than a predetermined threshold value, the object detection cycle is controlled so as to increase the frame interval, and when the detection rate is equal to or higher than the predetermined threshold value, the object detection period is decreased so as to reduce the frame interval. The cycle is controlled.
  • the imaging cycle of the CIS chip 312 is also controlled according to the object detection cycle adjusted according to the detection rate. That is, when the object detection cycle is high and the CIS chip 312 cannot be driven as fast as the object detection cycle, the imaging cycle control signal is generated such that the imaging cycle is longer than the object detection cycle. On the other hand, when the CIS chip 312 can be imaged at the same cycle as the object detection cycle, an imaging cycle control signal for adjusting the imaging cycle to the object detection cycle is generated.
  • the imaging synchronization signal generation unit 343 generates an imaging synchronization signal according to the imaging cycle control signal and supplies it to the CIS chip 12.
  • the cycle of the clock signal is not divided into 1/n to generate the imaging synchronization signal, but the cycle of the clock signal is divided into 1/n.
  • the solid-state imaging device 10 it is possible to detect the occurrence of an event with low power consumption in the same detection target range as the imaging range and without thinning, without loss of spatial information.
  • the region of interest can be imaged at high speed.
  • the power consumption can be reduced by driving only the attention area.
  • the frame interval (frame volume) can be controlled according to the detection rate when an object is detected, and the imaging cycle can also be controlled according to the frame interval.
  • FIG. 19 is a diagram showing a configuration example of the fourth embodiment of the solid-state imaging device to which the present technology is applied.
  • the pixels that receive light for event detection and the pixels that receive light for generating an image of the region of interest are formed on separate chips (semiconductor chips). ..
  • a pixel that receives light for detecting an event and a pixel that receives light for generating an image of a region of interest are formed on the same chip.
  • the solid-state imaging device 10 of FIG. 19 is composed of one chip in which a sensor die (substrate) 411 as a plurality of dies (substrates) and a logic die 412 are stacked.
  • the sensor die 411 has (the circuit of) the sensor unit 421, and the logic die 412 has the logic unit 422.
  • the sensor unit 421 generates event data in the same manner as the pixel array unit 31 (FIG. 2) of the DVS chip 11 described above. That is, the sensor unit 421 has a pixel that photoelectrically converts incident light to generate an electric signal, and generates event data indicating occurrence of an event that is a change in the electric signal of the pixel.
  • the sensor unit 421 generates a pixel signal similarly to the pixel array unit 211 (FIG. 11) of the CIS chip 12 described above. That is, the sensor unit 421 has a pixel that photoelectrically converts incident light to generate an electric signal, performs imaging in synchronization with the vertical synchronization signal, and outputs frame data that is image data in a frame format.
  • the sensor unit 421 can output the event data or the pixel signal independently, and also can output the pixel signal of the region of interest based on the ROI information input from the logic unit 422 based on the generated event data. it can.
  • the logic unit 422 controls the sensor unit 421 as needed. Further, the logic unit 422 is generated in accordance with data processing for generating frame data according to event data from the sensor unit 421, frame data from the sensor unit 421, or event data from the sensor unit 421. Various data processing such as image processing for frame data is performed, and event data, frame data, and data processing results obtained by performing various data processing are output.
  • the logic unit 422 includes, for example, in the configuration shown in FIG. 17, the memory 34, the image processing unit 35, the clock signal generation unit 37, the reliability determination unit 342, the image processing unit 321, and the memory 34 formed in the DSP chip 313. , And an imaging synchronization signal generation unit 343 and the like.
  • part of the sensor unit 421 can be configured in the logic die 412. Further, with respect to the logic portion 422, a part thereof can be configured as the sensor die 411.
  • the solid-state imaging device 10 includes the sensor die 411 and the logic die 412 in addition to the sensor die 411 as illustrated in FIG.
  • another logic die 413 can be laminated in three layers. Of course, it may be configured by stacking four or more layers of dies (substrates).
  • FIG. 21 is a block diagram showing a configuration example of the sensor unit 421 of FIG.
  • the sensor unit 421 includes a pixel array unit 431, a driving unit 432, an arbiter 433, an AD conversion unit 434, a signal processing unit 435, and an output unit 436.
  • the pixel array unit 431 is configured by arranging a plurality of pixels 451 (FIG. 22) in a two-dimensional lattice.
  • the pixel array unit 431 when a change (including a change equal to or more than a threshold value) exceeding a predetermined threshold value occurs in (a voltage corresponding to) a photocurrent as an electric signal generated by photoelectric conversion of the pixel 451 Then, the change in the photocurrent is detected as an event.
  • the pixel array unit 431 detects an event, the pixel array unit 431 outputs to the arbiter 433 a request for outputting event data indicating the occurrence of the event.
  • the pixel array unit 431 receives from the arbiter 433 a response indicating permission to output the event data, the pixel array unit 431 outputs the event data to the driving unit 432 and the output unit 436. Further, the pixel array unit 431 outputs the electric signal of the pixel 451 in which the event is detected to the AD conversion unit 434 as a pixel signal.
  • the drive unit 432 drives the pixel array unit 431 by supplying a control signal to the pixel array unit 431.
  • the driving unit 432 drives the pixel 451 to which the event data is output from the pixel array unit 431, and supplies (outputs) the pixel signal of the pixel 451 to the AD conversion unit 434.
  • the arbiter 433 is configured similarly to the arbiter 33 of the third embodiment. That is, the arbiter 433 arbitrates a request for output of event data from the pixel array unit 431, and returns to the pixel array unit 431 a response indicating permission or prohibition of output of event data. Further, the arbiter 433 outputs a reset signal for resetting event detection to the pixel array unit 431 after outputting a response indicating permission of event data output.
  • the AD conversion unit 434 is configured similarly to the AD conversion unit 213 of the third embodiment. That is, the AD conversion unit 434 AD-converts the pixel signal of the pixel 451 of the pixel block 441 of the column in the ADC of each column, and supplies the signal to the signal processing unit 435. Note that the AD conversion unit 434 can perform CDS as well as AD conversion of pixel signals.
  • the signal processing unit 435 is configured similarly to the signal processing unit 216 of the third embodiment. That is, the pixel signals sequentially supplied from the AD conversion unit 434 are subjected to predetermined signal processing such as black level adjustment processing and gain adjustment processing, and are supplied to the output unit 436.
  • the output unit 436 performs the same processing as the output unit 36 and the output unit 217 of the third embodiment. That is, the output unit 436 performs necessary processing on the pixel signal and the event data, and supplies it to the logic unit 422 (FIG. 19).
  • ⁇ Example of Configuration of Pixel Array Unit 431> 22 is a block diagram showing a configuration example of the pixel array unit 431 of FIG.
  • portions corresponding to those in the above-described first to third embodiments are designated by the same reference numerals, and the description of those portions will be omitted as appropriate.
  • the pixel array unit 431 has a plurality of pixel blocks 441.
  • the pixel block 441 includes I ⁇ J pixels 451 as one or more arranged in I rows ⁇ J columns (I and J are integers), an event detection unit 52, and a pixel signal generation unit 252.
  • the pixel array unit 431 includes pixels 451 different from those of the first to third embodiments, and the same event detection unit 52 and pixel signal generation unit 252 as those of the first to third embodiments.
  • the pixel 451 receives incident light from a subject and photoelectrically converts it to generate a photocurrent as an electric signal.
  • the pixel 451 supplies a photocurrent to the event detection unit 52 under the control of the drive unit 432.
  • the event detection unit 52 detects, as an event, a change in the photocurrent from each of the pixels 451 that exceeds a predetermined threshold value, under the control of the drive unit 432.
  • the event detection unit 52 supplies the arbiter 433 (FIG. 21) with a request for output of event data indicating the occurrence of the event.
  • the event detection unit 52 receives, from the arbiter 433, a response to the request indicating that the output of the event data is permitted, the event detection unit 52 outputs the event data to the drive unit 432 and the output unit 436.
  • the pixel signal generation unit 252 When an event is detected by the event detection unit 52, the pixel signal generation unit 252 generates a voltage corresponding to the photocurrent of the pixel 451 as a pixel signal according to the control of the driving unit 432, and performs AD conversion via VSL. Supply to section 434 (FIG. 21).
  • Detecting a change in photocurrent exceeding a predetermined threshold as an event can be regarded as detecting an event that there is no change in photocurrent exceeding a predetermined threshold as an event.
  • the pixel signal generation unit 252 does not generate a pixel signal when a change in the photocurrent as an event that exceeds a predetermined threshold is detected, and also when the change in the photocurrent as an event does not exceed the predetermined threshold. Can be done if detected.
  • FIG. 23 is a circuit diagram showing a configuration example of the pixel block 441 of FIG.
  • the pixel block 441 includes the pixel 451, the event detection unit 52, and the pixel signal generation unit 252, as described in FIG.
  • the pixel 451 includes a photoelectric conversion element 461, a transfer transistor 462, and a transfer transistor 463.
  • the photoelectric conversion element 461 is composed of, for example, a PD, receives incident light from a subject, photoelectrically converts it, and generates photocurrent as an electric signal.
  • the transfer transistor 462 is composed of, for example, an N-type MOS FET.
  • the transfer transistor 462 forming the n-th pixel 451 of the I ⁇ J pixels 451 forming the pixel block 441 is turned on/off according to the control signal OFGn supplied from the driving unit 432 (FIG. 21).
  • the transfer transistor 462 is turned on, the charge generated in the photoelectric conversion element 461 is transferred (supplied) to the event detection unit 52 as a photocurrent.
  • the transfer transistor 463 is composed of, for example, an N-type MOS FET.
  • the transfer transistor 463 included in the n-th pixel 451 of the I ⁇ J pixels 451 included in the pixel block 441 is turned on/off according to the control signal TRGn supplied from the driving unit 432.
  • TRGn supplied from the driving unit 432.
  • the transfer transistor 463 is turned on, the charges generated by the photoelectric conversion element 461 are transferred to the FD 274 of the pixel signal generation unit 252.
  • the I ⁇ J pixels 451 forming the pixel block 441 are connected to the event detecting unit 52 forming the pixel block 441 via the node 464. Therefore, the photocurrent generated in (the photoelectric conversion element 461 of) the pixel 451 is supplied to the event detection unit 52 via the node 464. As a result, the event detector 52 is supplied with the sum of the photocurrents of all the pixels 451 in the pixel block 441. Therefore, the event detection unit 52 detects, as an event, a change in the sum of the photocurrents supplied from the I ⁇ J pixels 451 forming the pixel block 441.
  • the pixel signal generation unit 252 includes a reset transistor 271, an amplification transistor 272, a selection transistor 273, and an FD 274, as in FIG. 13.
  • the drive unit 432 turns on the transfer transistor 462 by the control signal OFGn, and the light generated by the charge generated by the photoelectric conversion element 461 of the pixel 451 is used.
  • a current is supplied to the event detection unit 52.
  • the event detector 52 is supplied with a current that is the sum of the photocurrents of all the pixels 451 in the pixel block 441.
  • the drive unit 432 turns off the transfer transistors 462 of all the pixels 451 in the pixel block 441, and the event The supply of photocurrent to the detection unit 52 is stopped. Then, after the event is detected, when the ROI information is supplied from the logic unit 422 according to the event data from the sensor unit 421, the driving unit 432 drives the pixel 251 in the attention area. That is, the drive unit 432 sets the control signal SEL and the control signal RST to the H level to sequentially select the pixel rows in the attention area, reset the photoelectric conversion elements 461, and then start the exposure.
  • the drive unit 432 sequentially turns on the transfer transistors 463 of the pixels 451 in the pixel block 441 in the attention area by the control signal TRGn, and transfers the charges generated by the photoelectric conversion element 461 to the FD 274.
  • the FD 274 the charges transferred from (the photoelectric conversion element 461 of) the pixel 451 are accumulated.
  • the voltage corresponding to the charges accumulated in the FD 274 is output to VSL as a pixel signal of the pixel 451 via the amplification transistor 272 and the selection transistor 273.
  • an event is detected by the one or more pixels 451 and the event detection unit 52, and event data is generated.
  • the generated event data is supplied to the logic unit 422, and the attention area is determined.
  • the ROI information of the attention area is supplied from the logic unit 422 to the sensor unit 421, the pixel signals of the pixels 451 of the pixel block 441 corresponding to the attention area are generated, and are sequentially output to the VSL.
  • the pixel signal output to VSL is supplied to the AD conversion unit 434 and AD-converted.
  • the transfer transistors 463 can be simultaneously turned on instead of being turned on in order. In this case, the sum of the pixel signals of all the pixels 451 in the pixel block 441 can be output.
  • the pixel block 441 is composed of one or more pixels 451 and the one or more pixels 451 share the event detection unit 52 and the pixel signal generation unit 252. More specifically, the photoelectric conversion element 461, the transfer transistor 462, and the transfer transistor 463 of each pixel 451 included in the pixel block 441 are shared by the event detection unit 52 and the pixel signal generation unit 252. Therefore, when the pixel block 441 is composed of a plurality of pixels 451, as compared with the case where one event detection unit 52 and one pixel signal generation unit 252 are provided for one pixel 451, As a result, the number of event detection units 52 and pixel signal generation units 252 can be reduced, and the size of the pixel array unit 431 can be suppressed.
  • the event detection unit 52 can be provided for each pixel 451.
  • the event detection unit 52 is shared by a plurality of pixels 451 of the pixel block 441, an event is detected in the unit of the pixel block 441.
  • the pixels are Events can be detected in units of 451.
  • the transfer transistors 462 of each of the plurality of pixels 451 are temporarily turned on in a time division manner, so that Events can be detected in units.
  • FIG. 24 is a timing chart illustrating an example of the operation of the sensor unit 421 in FIG.
  • the driving unit 432 changes all the control signals OFGn from the L level to the H level, and turns on the transfer transistors 462 of all the pixels 451 in the pixel block 441.
  • the control signals TRGn are all at the L level, and the transfer transistors 463 of all the pixels 451 are off.
  • the event detection unit 52 when the event detection unit 52 detects an event, it outputs H-level event data according to the detection of the event.
  • the drive unit 432 sets all the control signals OFGn to the L level at the timing T2 according to the H level event data, and stops the supply of the photocurrent from the pixel 451 to the event detection unit 52. After that, the driving unit 432 drives the pixels 451 in the attention area to generate pixel signals. That is, the drive unit 432 sets the control signal SEL of the pixel 451 in the attention area to the H level, sets the control signal RST and the control signal TRG to the H level for a certain period, and discharges the charges of the photoelectric conversion element 461 to the power supply VDD. Then, reset before the start of exposure. After the exposure is completed, the drive unit 432 sets the control signal RST to the H level at timing T3 to reset the FD 274.
  • the pixel signal generation unit 252 outputs a pixel signal corresponding to the voltage of the FD 274 when the FD 274 is reset, as a reset level, and the AD conversion unit 434 performs AD conversion on the reset level.
  • the driving unit 432 sets the control signal TRG1 to the H level for a certain period of time, and the driving signal of the first pixel 451 (of the photoelectric conversion element 461) of the first pixel 451 in the pixel block 441 of the attention area is changed.
  • the charges generated by photoelectric conversion are transferred to the FD 274.
  • the pixel signal generation unit 252 outputs a pixel signal corresponding to the voltage of the FD 274 to which electric charges have been transferred from the pixel 451 as a signal level, and the AD conversion unit 434 AD-converts the signal level.
  • the AD conversion unit 434 outputs the difference between the signal level after AD conversion and the reset level to the signal processing unit 435 as a pixel signal that becomes a pixel value of an image (frame data).
  • the driving unit 432 After AD conversion of the pixel signal of the first pixel 451 in the pixel block 441 in the region of interest, the driving unit 432 sequentially sets the control signal RST and the control signal TRG2 to the H level for a certain period in the same manner as the timings T3 and T4. By doing so, the pixel signal of the second pixel 451 in the pixel block 441 of the attention area is output.
  • the same operation is performed thereafter, and the pixel signals of the respective pixels 451 in the pixel block 441 in the attention area are sequentially output.
  • the driving unit 432 sets all the control signals OFGn to the H level to transfer the transfer transistors 462 of all the pixels 451 in all the pixel blocks 441 of the pixel array unit 431. Turn on.
  • the detection of an event and the exposure (light reception) for imaging are performed in one pixel 451 in a time-sharing manner.
  • FIG. 25 is a timing chart showing driving of the pixel array unit 431 when imaging is performed with all the pixels of the pixel array unit 431.
  • the amount of data is larger between the event detection and the image pickup, and therefore the image pickup time is longer than the event detection time.
  • event detection and buffering in the memory 34 are performed in each V period. It is assumed that the exposure and the pixel reading are performed in the 2V period according to the imaging synchronization signal obtained by dividing the event detection synchronization signal by 1/2.
  • the event detection and the buffering to the memory 34 can be executed in one V period by pipeline processing.
  • a period during which image capturing exposure and pixel reading are being performed specifically, from timing T13 in FIG.
  • the 4V period until T17 is at least the event undetectable period in which no event can be detected.
  • FIG. 26 is a timing chart showing driving of the pixel array unit 431 when the pixel array unit 431 captures an image of a region of interest.
  • the imaging cycle is, for example, the event detection cycle.
  • the exposure and the pixel reading can be performed in the V period, respectively.
  • the event undetectable period is a 2V period from timing T13 to timing T15, and the event undetectable period can be shortened.
  • FIG. 26 is an example in which the imaging cycle is set to be the same as the event detection cycle. However, even when the imaging cycle is not the same as the event detection cycle, the imaging is limited to the attention area. It is possible to shorten the event undetectable period as compared with the case where imaging of all pixels is performed.
  • FIG. 27 is a block diagram showing another configuration example of the pixel array section 431 of FIG.
  • the pixel array unit 431 of FIG. 27 is one pixel block 441 in which two types of pixels 481 of pixels 481A or 481B are arranged in I rows ⁇ J columns (I and J are integers).
  • the pixel array unit 431 of FIG. 22 is different from the pixel array unit 431 of FIG. 22 in other points.
  • pixels 451 capable of both event detection and imaging (time division) were arranged in I rows ⁇ J columns (I and J are integers).
  • the pixels 481A and the pixels 481B are alternately arranged in the row direction and the column direction, and are mixed.
  • the pixel 481A is a pixel configured to have a pixel signal generation unit 252 connected to the photoelectric conversion element and for generating a pixel signal for imaging.
  • the pixel 481B is a pixel configured to connect the event detecting unit 52 to the photoelectric conversion element and for performing event detection. Since the pixel 481A for generating a pixel signal for imaging and the pixel 481B for performing event detection have the photoelectric conversion elements 461 individually and are not shared, it is possible to perform imaging and event detection at the same time. it can.
  • the pixel 481A for imaging and the pixel 481B for event detection are mixed in one pixel block 441. , Imaging and event detection can be performed simultaneously.
  • a plurality of pixels 481 forming one pixel block 441 is divided into a pixel 481A for generating a pixel signal for imaging and a pixel 481B for performing event detection.
  • the occurrence of an event is detected when the chip that performs event detection and the chip that performs imaging of the region of interest are different chips or the same chip.
  • the object to be detected is specified, the attention area is determined, the pixel signal of each pixel in the attention area is generated, and the image of the attention area is generated. Therefore, the result of detecting the occurrence of the event by the asynchronous image sensor can be utilized for imaging by the synchronous image sensor.
  • the present technology is not limited to application to the solid-state imaging device. That is, the present technology is applied to an image capturing unit (photoelectric conversion unit) such as an image capturing device such as a digital still camera or a video camera, a mobile terminal device having an image capturing function, a copying machine using a solid-state image capturing device as an image reading unit, or the like.
  • the present invention can be applied to all electronic devices using a solid-state imaging device.
  • the solid-state imaging device may be in the form of a single chip, or may be in the form of a module having an imaging function in which the imaging unit and the signal processing unit or the optical system are packaged together.
  • FIG. 28 is a block diagram showing a configuration example of an imaging device as an electronic device to which the present technology is applied.
  • the imaging device 600 of FIG. 28 includes an optical unit 601 including a lens group, a solid-state imaging device (imaging device) 602 in which the configuration of the solid-state imaging device 10 is adopted, and a DSP (Digital Signal Processor) circuit that is a camera signal processing circuit. 603 is provided.
  • the imaging device 600 also includes a frame memory 604, a display unit 605, a recording unit 606, an operation unit 607, and a power supply unit 608.
  • the DSP circuit 603, the frame memory 604, the display unit 605, the recording unit 606, the operation unit 607, and the power supply unit 608 are connected to each other via a bus line 609.
  • the optical unit 601 captures incident light (image light) from a subject and forms an image on the imaging surface of the solid-state imaging device 602.
  • the solid-state imaging device 602 converts the light quantity of the incident light imaged on the imaging surface by the optical unit 601 into an electric signal on a pixel-by-pixel basis and outputs it as a pixel signal.
  • the above-described solid-state imaging device 10 that is, the solid-state imaging device that detects the occurrence of an event, determines the attention area, and images the attention area can be used.
  • the display unit 605 is configured by a thin display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays a moving image or a still image captured by the solid-state imaging device 602.
  • the recording unit 606 records the moving image or the still image captured by the solid-state imaging device 602 in a recording medium such as a hard disk or a semiconductor memory.
  • the operation unit 607 issues operation commands for various functions of the imaging device 600 under the operation of the user.
  • the power supply unit 608 appropriately supplies various power supplies serving as operating power supplies of the DSP circuit 603, the frame memory 604, the display unit 605, the recording unit 606, and the operation unit 607 to these supply targets.
  • the solid-state imaging device 10 As described above, by using the solid-state imaging device 10 to which each of the above-described embodiments is applied as the solid-state imaging device 602, occurrence of an event is detected with low power consumption without loss of spatial information in the imaging range. Therefore, the region of interest determined based on the detected event can be imaged at high speed. Therefore, even in the image pickup apparatus 600 such as a video camera, a digital still camera, or a camera module for mobile devices such as a mobile phone, it is possible to perform image pickup of a desired attention area with low power consumption and high speed.
  • the image pickup apparatus 600 such as a video camera, a digital still camera, or a camera module for mobile devices such as a mobile phone
  • FIG. 29 is a diagram showing a usage example of an image sensor using the solid-state imaging device 10 described above.
  • the image sensor using the solid-state imaging device 10 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as described below.
  • -A device that captures images used for viewing, such as a digital camera or a portable device with a camera function-For driving in front of a car, for safe driving such as automatic stop, and recognition of the driver's condition
  • Devices used for traffic such as in-vehicle sensors that take images of the rear, surroundings, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, ranging sensors that measure the distance between vehicles, etc.
  • Devices used for home appliances such as TVs, refrigerators, and air conditioners to take images and operate the devices according to the gestures ⁇ Endoscopes, devices for taking blood vessels by receiving infrared light, etc.
  • ⁇ Security devices such as security surveillance cameras and person authentication cameras
  • ⁇ Skin measuring devices for skin and scalp A device used for beauty, such as a microscope, a device used for sports, such as an action camera or wearable camera for sports, etc.
  • a camera used to monitor the condition of fields or crops. Equipment used for agriculture
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 30 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals from various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 12020 receives input of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the image pickup unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether or not the driver is asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes a function of ADAS (Advanced Driver Assistance System) that includes collision avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, thereby It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 31 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire images in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the image capturing unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the front images acquired by the image capturing units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 31 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100).
  • the closest three-dimensional object on the traveling path of the vehicle 12100 which travels in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as a preceding vehicle. it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, which autonomously travels without depending on the operation of the driver.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified, extracted, and used for automatic avoidance of obstacles. For example, the microcomputer 12051 identifies an obstacle around the vehicle 12100 into an obstacle visible to the driver of the vehicle 12100 and an obstacle difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062.
  • a driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the image capturing units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian is present in the images captured by the imaging units 12101 to 12104. To recognize such a pedestrian, for example, a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera and a pattern matching process on a series of feature points indicating the contour of an object are performed to determine whether the pedestrian is a pedestrian.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the solid-state imaging device 10 described above can be applied as the imaging unit 12031.
  • An event detection unit that detects a change in an electric signal generated in each pixel of the pixel array unit as an event, From the detection result of the event, the attention area detection unit that detects the attention area of the pixel array unit,
  • a solid-state imaging device comprising: a pixel signal generation unit that generates a pixel signal that forms an image of an area corresponding to the attention area.
  • the solid-state imaging device identifies an object as a detection target from the event data in units of frames, and detects an area including the object as the attention area.
  • the solid-state imaging device further including a reliability determination unit that determines the reliability of object detection based on the detection rate of the object and controls the frame unit.
  • the solid-state imaging device (4), wherein the reliability determination unit further controls an imaging cycle of the pixel signal generation unit according to the frame unit.
  • (6) The solid-state imaging device any one of (3) to (5), further including an imaging synchronization signal generation unit that generates an imaging synchronization signal whose imaging cycle of the pixel signal generation unit is the same as the detection cycle of the object.
  • the solid-state imaging device according to any one of (1) to (6), further including an imaging synchronization signal generation unit that generates an imaging synchronization signal whose imaging cycle of the pixel signal generation unit is a video rate.
  • the solid-state imaging device according to any one of (1) to (7), wherein the event detection unit and the pixel signal generation unit are formed on different chips.
  • the solid-state imaging device according to any one of (1) to (7), wherein each of the event detection unit, the attention area detection unit, and the pixel signal generation unit is formed on a different chip.
  • An event detection unit that detects, as an event, a change in an electric signal generated in each pixel of the pixel array unit, From the detection result of the event, the attention area detection unit that detects the attention area of the pixel array unit,
  • a solid-state imaging device comprising: a pixel signal generation unit that generates a pixel signal that forms an image of an area corresponding to the area of interest.
  • 10 solid-state imaging device 11 1st chip (DVS chip), 12 2nd chip (CIS chip), 31 pixel array section, 34 memory, 35 image processing section, 37 clock signal generation section, 41 pixel block, 51 pixel , 52 event detection unit, 61 photoelectric conversion element, 131 frame interval setting unit, 132 frame width setting unit, 133 detection unit, 211 pixel array unit, 216 signal processing unit, 241 pixel block, 251 pixel, 252 pixel signal generation unit, 261 photoelectric conversion element, 311 first chip (DVS chip), 312 second chip (CIS chip), 313 third chip (DSP chip), 321 image processing unit, 341 detection unit, 342 reliability determination unit, 343 imaging synchronization signal generation unit, 411 sensor die, 412, 413 logic die, 431 pixel array unit, 435 signal processing unit, 441 pixel block, 451 pixels, 461 photoelectric conversion element, 481 (481A, 481B) pixels, 600 imaging device, 602 solid-state imaging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、イベントの発生を検出した結果を、撮像に活用することができるようにする固体撮像装置、信号処理チップ、および、電子機器に関する。 固体撮像装置は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、イベントの検出結果から、画素アレイ部の注目領域を検出する注目領域検出部と、注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える。本技術は、例えば、画素の電気信号の変化であるイベントを検出するセンサ等に適用できる。

Description

固体撮像装置、信号処理チップ、および、電子機器
　本技術は、固体撮像装置、信号処理チップ、および、電子機器に関し、特に、イベントの発生を検出した結果を、撮像に活用することができるようにした固体撮像装置、信号処理チップ、および、電子機器に関する。
　画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている（例えば、特許文献１を参照）。
　ここで、垂直同期信号に同期して撮像を行い、ラスタスキャン形式でフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータが発生した画素の随時読み出しを行うため、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
特表2017-535999号公報
　非同期型のイメージセンサによりイベントの発生を検出した結果を、撮像に活用する方法が望まれている。
　本技術は、このような状況に鑑みてなされたものであり、イベントの発生を検出した結果を、撮像に活用することができるようにするものである。
　本技術の第１の側面の固体撮像装置は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える。
　本技術の第２の側面の信号処理チップは、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、前記注目領域の画素信号を取得し、画像を生成する画像処理部とを備える。
　本技術の第３の側面の電子機器は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える固体撮像装置を備える。
　本技術の第１および第３の側面においては、画素アレイ部の各画素で発生する電気信号の変化がイベントとして検出され、前記イベントの検出結果から、前記画素アレイ部の注目領域が検出され、前記注目領域に対応する領域の画像を構成する画素信号が生成される。
　本技術の第２の側面においては、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域が検出されるとともに、前記注目領域を特定するROI情報が出力され、前記注目領域の画素信号が取得され、画像が生成される。
　固体撮像装置、信号処理チップ、及び、電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した固体撮像装置の第１実施の形態の構成例を示す図である。 図１のDVSチップの構成例を示すブロック図である。 図２の画素アレイ部の構成例を示すブロック図である。 図３の画素ブロックの構成例を示す回路図である。 イベント検出部の構成例を示すブロック図である。 電流電圧変換部の構成例を示す回路図である。 減算部及び量子化部の構成例を示す回路図である。 量子化部の他の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。 図１のCISチップの構成例を示すブロック図である。 図１１の画素アレイ部の構成例を示すブロック図である。 図１２の画素ブロックの構成例を示す回路図である。 固体撮像装置の動作を説明するフローチャートである。 本技術を適用した固体撮像装置の第２実施の形態の構成例を示す図である。 DVSチップ、CISチップ、および、DSPチップの構成例を示すブロック図である。 本技術を適用した固体撮像装置の第３実施の形態の構成例を示すブロック図である。 第３実施の形態に係る固体撮像装置の処理を説明するフローチャートである。 本技術を適用した固体撮像装置の第４実施の形態の構成例を示す図である。 本技術を適用した固体撮像装置の第４実施の形態のその他の構成例を示す図である。 図１９のセンサ部の構成例を示すブロック図である。 図２１の画素アレイ部の構成例を示すブロック図である。 図２２の画素ブロックの構成例を示す回路図である。 図２１のセンサ部の動作の例を説明するタイミングチャートである。 画素アレイ部の全画素で撮像を行う場合の駆動を示すタイミングチャートである。 画素アレイ部において注目領域の撮像を行う場合の駆動を示すタイミングチャートである。 図２１の画素アレイ部のその他の構成例を示すブロック図である。 本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。 イメージセンサの使用例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態（２チップ構成の固体撮像装置）
２．第２実施の形態（３チップ構成の固体撮像装置）
３．第３実施の形態（３チップ構成の固体撮像装置）
４．第４実施の形態（１チップ構成の固体撮像装置）
５．電子機器への適用例
６．移動体への応用例
＜１．第１実施の形態＞
　図１は、本技術を適用した固体撮像装置の第１実施の形態の構成例を示す図である。
　図１の固体撮像装置１０は、第１のチップ１１および第２のチップ１２と、それらが搭載された中継基板（インターポーザ基板）１３とで構成されている。
　第１のチップ１１は、画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサチップである。第１のチップ１１は、入射光の光電変換を行って電気信号を生成する撮像を行うが、垂直同期信号に同期して撮像を行い、フレーム形式の画像データ（フレームデータ）を生成するのではなく、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
　これに対して、第２のチップ１２は、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサである。
　第１のチップ１１は、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)とも呼ばれる。以下では、区別を容易にするために、第１のチップ１１を、DVSチップ１１と称し、第２のチップ１２を、CISチップ１２と称することとする。
　中継基板１３は、DVSチップ１１とCISチップ１２との間の信号を中継する信号配線と、固体撮像装置１０の出力信号を外部に出力する出力端子を備える。出力端子は、例えば、DVSチップ１１およびCISチップ１２の搭載面と反対側に形成されるはんだボール等で構成される。
　DVSチップ１１は、所定の検出対象範囲内で発生するイベント、すなわち、画素の輝度変化を検出し、検出されたイベントに基づいて、検出対象範囲内の特に注目する領域である注目領域を決定し、CISチップ１２に出力する。
　CISチップ１２は、所定の撮像対象範囲のうち、DVSチップ１１で決定された注目領域に対する撮像を行い、その結果得られる撮像画像を外部に出力する。
　ここで、DVSチップ１１の検出対象範囲と、CISチップ１２の撮像対象範囲とは、予めキャリブレーションを行うことにより、一致されている。換言すれば、DVSチップ１１の検出対象範囲は、全てCISチップ１２で撮像が可能である。また、本実施の形態では、簡単のため、DVSチップ１１の画素と、CISチップ１２の画素とが１対１に対応していることとするが、必ずしも１対１である必要はない。例えば、一方の１画素に対して、他方のN画素（N＞１）が対応しているような関係であってもよい。
＜DVSチップ１１の構成例＞
　図２は、図１のDVSチップ１１の構成例を示すブロック図である。
　DVSチップ１１は、画素アレイ部３１、アービタ３３、メモリ３４、画像処理部３５、出力部３６、及び、クロック信号生成部３７を備える。
　画素アレイ部３１は、複数の画素５１（図３）が２次元格子状に配列されて構成される。また、画素アレイ部３１は、それぞれが所定数の画素５１からなる複数の画素ブロック４１（図３）に分割される。画素アレイ部３１は、画素５１の光電変換によって生成される電気信号としての光電流（に対応する電圧）に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、メモリ３４に出力する。
　ここで、画素５１で生成される光電流の変化は、画素５１に入射する光の光量変化とも捉えることができるので、イベントは、画素５１の光量変化（閾値を超える光量変化）であるとも言うことができる。
　アービタ３３は、画素アレイ部３１を構成する画素ブロック４１からのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を画素アレイ部３１に返す。また、アービタ３３は、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、画素アレイ部３１に出力する。
　メモリ３４は、画素アレイ部３１からのイベントデータを、所定のフレーム単位（後述するフレームボリューム）で蓄積する。メモリ３４が画素アレイ部３１からのイベントデータを蓄積するフレーム単位は、画像処理部３５によって制御される。メモリ３４は、クロック信号生成部３７から供給されるクロック信号に基づいて、イベントが発生した（相対的な）時刻を表す時刻情報としてのカウント値をイベントデータに付加して蓄積する。すなわち、メモリ３４は、イベントが発生した画素ブロック４１または画素５１の位置を表す位置座標（座標等）と、イベントが発生した時刻を表す時刻情報とを少なくとも含むイベントデータを記憶する。その他、イベントデータには、光量変化の極性（正負）を含ませることができる。
　画像処理部３５は、メモリ３４に蓄積したフレーム単位のイベントデータ（フレームデータ）に応じてデータ処理（画像処理）を行い、そのデータ処理の結果であるデータ処理結果を出力する。例えば、画像処理部３５は、フレーム単位のイベントデータから、物体の輪郭情報を抽出し、検出対象である物体を特定する。画像処理部３５は、特定した物体を含む注目領域を決定し、出力部３６に出力する。
　出力部３６は、画像処理部３５からの注目領域を特定する情報を、ROI情報（Region Of Interest）として、中継基板１３を介して、CISチップ１２に出力する。
　クロック信号生成部３７は、マスタクロックとなるクロック信号を生成し、メモリ３４、画像処理部３５などに供給する。
＜画素アレイ部３１の構成例＞
　図３は、図２の画素アレイ部３１の構成例を示すブロック図である。
　画素アレイ部３１は、複数の画素ブロック４１を有する。画素ブロック４１は、I行×J列（I及びJは整数）に配列された１以上としてのI×J個の画素５１、及び、イベント検出部５２を備える。画素ブロック４１内の１以上の画素５１は、イベント検出部５２を共有している。
　画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素５１は、生成した光電流を、イベント検出部５２に供給する。
　イベント検出部５２は、アービタ３３からのリセット信号によるリセット後に、画素５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３（図２）に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ３３から受け取ると、イベントデータを、メモリ３４に出力する。
　ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。
＜画素ブロック４１の構成例＞
　図４は、図３の画素ブロック４１の構成例を示す回路図である。
　画素ブロック４１は、図３で説明したように、１以上の画素５１と、イベント検出部５２とを備える。
　画素５１は、光電変換素子６１を備える。光電変換素子６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
　画素ブロック４１を構成するI×J個の画素５１は、ノード６０を介して、その画素ブロック４１を構成するイベント検出部５２に接続されている。したがって、画素５１（の光電変換素子６１）で生成された光電流は、ノード６０を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和が供給される。したがって、イベント検出部５２では、画素ブロック４１を構成するI×J個の画素５１から供給される光電流の和の変化がイベントとして検出される。
　図３の画素アレイ部３１では、画素ブロック４１が１以上の画素５１で構成され、その１以上の画素５１で、イベント検出部５２が共有される。したがって、画素ブロック４１が、複数の画素５１で構成される場合には、１個の画素５１に対して、１個のイベント検出部５２を設ける場合に比較して、イベント検出部５２の数を少なくすることができ、画素アレイ部３１の規模を抑制することができる。
　なお、画素ブロック４１が、複数の画素５１で構成される場合、画素５１ごとに、イベント検出部５２を設けることができる。画素ブロック４１の複数の画素５１で、イベント検出部５２を共有する場合には、画素ブロック４１の単位でイベントが検出されるが、画素５１ごとに、イベント検出部５２を設ける場合には、画素５１の単位で、イベントを検出することができる。
＜イベント検出部５２の構成例＞
　図５は、図３のイベント検出部５２の構成例を示すブロック図である。
　イベント検出部５２は、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
　電流電圧変換部８１は、画素５１からの光電流（の和）を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ８２に供給する。
　バッファ８２は、電流電圧変換部８１からの光電圧をバッファリングし、減算部８３に供給する。
　減算部８３は、アービタ３３からのリセット信号に従ったタイミングで、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部８４に供給する。
　量子化部８４は、減算部８３からの差信号をディジタル信号に量子化し、差信号の量子化値を、イベントデータとして、転送部８５に供給する。
　転送部８５は、量子化部８４からのイベントデータに応じて、そのイベントデータを、メモリ３４に転送（出力）する。すなわち、転送部８５は、イベントデータの出力を要求するリクエストを、アービタ３３に供給する。そして、転送部８５は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ３３から受け取ると、イベントデータを、メモリ３４に出力する。
＜電流電圧変換部８１の構成例＞
　図６は、図５の電流電圧変換部８１の構成例を示す回路図である。
　電流電圧変換部８１は、トランジスタ９１ないし９３で構成される。トランジスタ９１及び９３としては、例えば、N型のMOS FETを採用することができ、トランジスタ９２としては、例えば、P型のMOS FETを採用することができる。
　トランジスタ９１のソースは、トランジスタ９３のゲートと接続され、トランジスタ９１のソースとトランジスタ９３のゲートとの接続点には、画素５１からの光電流が供給される。トランジスタ９１のドレインは、電源VDDに接続され、そのゲートは、トランジスタ９３のドレインに接続される。
　トランジスタ９２のソースは、電源VDDに接続され、そのドレインは、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点に接続される。トランジスタ９２のゲートには、所定のバイアス電圧Vbiasが印加される。バイアス電圧Vbiasによって、トランジスタ９２はオン／オフし、このトランジスタ９２のオン／オフにより、電流電圧変換部８１の動作もオン／オフする。
　トランジスタ９３のソースは接地される。
　電流電圧変換部８１において、トランジスタ９１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているトランジスタ９１のソースには、画素５１（図４）が接続され、これにより、トランジスタ９１（のドレインからソース）には、画素５１の光電変換素子６１で生成された電荷による光電流が流れる。トランジスタ９１は、サブスレッショルド領域で動作し、トランジスタ９１のゲートには、そのトランジスタ９１に流れる光電流の対数に対応する光電圧が現れる。以上のように、電流電圧変換部８１では、トランジスタ９１により、画素５１からの光電流が、その光電流の対数に対応する光電圧に変換される。
　電流電圧変換部８１において、トランジスタ９１のゲートは、トランジスタ９２のドレインとトランジスタ９３のドレインとの接続点に接続されており、その接続点から、光電圧が出力される。
＜減算部８３及び量子化部８４の構成例＞
　図７は、図５の減算部８３及び量子化部８４の構成例を示す回路図である。
　減算部８３は、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４を備える。量子化部８４は、コンパレータ１１１を備える。
　コンデンサ１０１の一端は、バッファ８２（図５）の出力端子に接続され、他端は、オペアンプ１０２の入力端子（反転入力端子）に接続される。したがって、オペアンプ１０２の入力端子には、コンデンサ１０１を介して光電圧が入力される。
　オペアンプ１０２の出力端子は、コンパレータ１１１の非反転入力端子(+)に接続される。
　コンデンサ１０３の一端は、オペアンプ１０２の入力端子に接続され、他端は、オペアンプ１０２の出力端子に接続される。
　スイッチ１０４は、コンデンサ１０３の両端の接続をオン／オフするように、コンデンサ１０３に接続される。スイッチ１０４は、リセット信号に従ってオン／オフすることにより、コンデンサ１０３の両端の接続をオン／オフする。
　スイッチ１０４をオンにした際のコンデンサ１０１のバッファ８２（図５）側の光電圧をVinitと表すとともに、コンデンサ１０１の容量（静電容量）をC1と表すこととする。オペアンプ１０２の入力端子は、仮想接地になっており、スイッチ１０４がオンである場合にコンデンサ１０１に蓄積される電荷Qinitは、式（１）により表される。
　Qinit = C1 ×Vinit
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　また、スイッチ１０４がオンである場合には、コンデンサ１０３の両端の接続はオフにされる（短絡される）ため、コンデンサ１０３に蓄積される電荷はゼロとなる。
　その後、スイッチ１０４がオフになった場合の、コンデンサ１０１のバッファ８２（図５）側の光電圧を、Vafterと表すこととすると、スイッチ１０４がオフになった場合にコンデンサ１０１に蓄積される電荷Qafterは、式（２）により表される。
　Qafter = C1×Vafter
　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　コンデンサ１０３の容量をC2と表すとともに、オペアンプ１０２の出力電圧をVoutと表すこととすると、コンデンサ１０３に蓄積される電荷Q2は、式（３）により表される。
　Q2 = -C2×Vout
　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　スイッチ１０４がオフする前後で、コンデンサ１０１の電荷とコンデンサ１０３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
　Qinit = Qafter + Q2
　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
　Vout = -(C1/C2)×(Vafter - Vinit)
　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　式（５）によれば、減算部８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号(Vout)の算出が行われる。式（５）によれば、減算部８３の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック４１ごとに減算部８３を含むイベント検出部５２が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
　コンパレータ１１１は、減算部８３からの差信号と、反転入力端子(-)に印加された所定の閾値（電圧）Vth(>0)とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして、転送部８５に出力する。
　例えば、コンパレータ１１１は、差信号が閾値Vthを超えている場合、1を表すH(High)レベルを、イベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すL(Low)レベルを、イベントが発生していないことを表すイベントデータとして出力する。
　転送部８５は、量子化部８４からのイベントデータに応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大である場合に、リクエストをアービタ３３に供給し、イベントデータの出力の許可を表す応答を受け取った後に、イベントの発生を表すイベントデータ（例えば、Hレベル）を、メモリ３４に出力する。
　メモリ３４は、転送部８５からのイベントデータに、そのイベントデータが表すイベントが発生した画素５１（を有する画素ブロック４１）の位置情報、及び、イベントが発生した時刻を表す時刻情報、さらには、必要に応じて、イベントとしての光量変化の極性を含めて記憶する。
　イベントが発生した画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
　なお、イベント検出部５２全体のゲインAは、電流電圧変換部８１のゲインをCGlogとし、バッファ８２のゲインを1とし、量子化部８４のゲインをGとすると、次の式により表される。
　A = CGlog・C1/C2・G（Σiphoto_n）
　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　iphoto_nは、画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１の光電流を表す。式（６）のΣは、nを、１からI×Jまでの整数に変えてとるサメーションを表す。
　なお、画素５１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。
＜量子化部８４の他の構成例＞
　図８は、図５の量子化部８４の他の構成例を示すブロック図である。
　なお、図中、図７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図８において、量子化部８４は、コンパレータ１１１及び１１２、並びに、出力部１１３を有する。
　したがって、図８の量子化部８４は、コンパレータ１１１を有する点で、図７の場合と共通する。但し、図８の量子化部８４は、コンパレータ１１２及び出力部１１３を新たに有する点で、図７の場合と相違する。
　図８の量子化部８４を有するイベント検出部５２（図５）では、イベントの他、イベントとしての光量変化の極性も検出される。
　図８の量子化部８４では、コンパレータ１１１は、差信号が閾値Vthを超えている場合、1を表すHレベルを、正極性のイベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すLレベルを、正極性のイベントが発生していないことを表すイベントデータとして出力する。
　また、図８の量子化部８４では、コンパレータ１１２の非反転入力端子(+)には、閾値Vth'(<Vth)が供給され、コンパレータ１１２の反転入力端子(-)には、減算部８３からの差信号が供給される。いま、説明を簡単にするため、閾値Vth'が、例えば、-Vthに等しいこととする。
　コンパレータ１１２は、減算部８３からの差信号と、反転入力端子(-)に印加された閾値Vth'とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして出力する。
　例えば、コンパレータ１１２は、差信号が閾値Vth'より小さい場合（負の値の差信号の絶対値が閾値Vthを超えている場合）、1を表すHレベルを、負極性のイベントの発生を表すイベントデータとして出力する。また、コンパレータ１１２は、差信号が閾値Vth'より小さくない場合（負の値の差信号の絶対値が閾値Vthを超えていない場合）、0を表すLレベルを、負極性のイベントが発生していないことを表すイベントデータとして出力する。
　出力部１１３は、コンパレータ１１１及び１１２が出力するイベントデータに応じて、正極性のイベントの発生を表すイベントデータ、負極性のイベントの発生を表すイベントデータ、又は、イベントが発生していないことを表すイベントデータを、転送部８５に出力する。
　例えば、出力部１１３は、コンパレータ１１１からのイベントデータが1を表すHレベルである場合、+1を表すHパルスを、正極性のイベントの発生を表すイベントデータとして、転送部８５に出力する。また、出力部１１３は、コンパレータ１１２からのイベントデータが1を表すHレベルである場合、-1を表すLパルスを、負極性のイベントの発生を表すイベントデータとして、転送部８５に出力する。さらに、出力部１１３は、コンパレータ１１１及び１１２からのイベントデータがいずれも0を表すLレベルである場合、0を表す0ボルト（GNDレベル）を、イベントが発生していないことを表すイベントデータとして、転送部８５に出力する。
　転送部８５は、量子化部８４の出力部１１３からのイベントデータに応じて、正極性又は負極性のイベントとしての光量変化が発生したと認められる場合、リクエストをアービタ３３に供給し、イベントデータの出力の許可を表す応答を受け取った後に、正極性又は負極性のイベントの発生を表すイベントデータ（1を表すHパルス、又は、-1を表すLパルス）を、メモリ３４に出力する。
　量子化部８４を図７の構成とした場合には、イベントの発生が正極性のみの１ビット（０または１）で出力され、図８の構成とした場合には、イベントの発生が１．５ビット（１、０、または、－１）で出力される。以下では、量子化部８４は、図７及び図８のうちの、例えば、図８に示したように構成されることとする。
＜画像処理部３５の構成例＞
　図９は、図２の画像処理部３５の構成例を示すブロック図である。
　図９において、画像処理部３５は、フレーム間隔設定部１３１、フレーム幅設定部１３２、及び、検出部（注目領域検出部）１３３を有する。
　フレーム間隔設定部１３１は、例えば、ユーザの操作等に応じて、フレーム間隔を設定し、メモリ３４に供給する。フレーム間隔とは、イベントデータに応じて生成されるフレームデータのフレームの間隔を表し、フレーム間隔は、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム間隔設定部１３１で設定されたフレーム間隔を、設定フレーム間隔ともいう。
　フレーム幅設定部１３２は、例えば、ユーザの操作等に応じて、フレーム幅を設定し、メモリ３４に供給する。フレーム幅とは、１フレームのフレームデータの生成に用いるイベントデータの時間幅を表し、フレーム幅は、フレーム間隔と同様に、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム幅設定部１３２で設定されたフレーム幅を、設定フレーム幅ともいう。
　メモリ３４は、画素アレイ部３１からのイベントデータを、フレーム間隔設定部１３１およびフレーム幅設定部１３２で設定された設定フレーム間隔および設定フレーム幅で、フレーム形式の画像データであるフレームデータを生成することにより、イベントデータをフレーム単位のフレームデータに変換して記憶する。
　検出部１３３は、メモリ３４に記憶されているフレームデータを用いた画像処理、例えば、パターンマッチングやニューラルネットワークを用いた画像認識により、検出対象としての物体を特定し、物体の輪郭情報を抽出する。画像処理部３５は、特定した物体を含む領域を注目領域として、注目領域を特定する情報を、ROI情報として、出力部３６に出力する。すなわち、検出部１３３は、メモリ３４に記憶されているフレームデータを用いて、注目領域を検出する。
　なお、フレーム幅としては、あらかじめ決められた値を採用することができる。この場合、画像処理部３５は、フレーム幅設定部１３２を設けずに構成することができる。
＜イベントデータに応じたフレームデータの生成＞
　図１０は、イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
　いま、イベントデータが、イベントが発生した時刻を表す時刻情報（以下、イベントの時刻ともいう）ti、及び、イベントが発生した画素５１（を有する画素ブロック４１）の位置情報（以下、イベントの位置ともいう）としての座標(x, y)を含むこととする。
　図１０では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置（としての座標）(x, y)にプロットされている。
　すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図１０では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
　メモリ３４は、例えば、外部からフレームデータの生成が指示された時刻や、DVSチップ１１の電源がオンにされた時刻等の所定の時刻を、フレームデータの生成を開始する生成開始時刻として、イベントデータに応じたフレームデータの生成を開始する。
　いま、生成開始時刻から、設定フレーム間隔ごとの、時間軸t方向に、設定フレーム幅の直方体をフレームボリュームまたはフレーム単位ということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素ブロック４１又は画素５１のx軸方向及びy軸方向の個数に等しい。
　メモリ３４は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅のフレームボリューム内のイベントデータに応じて、１フレームのフレームデータを生成して記憶する。
　フレーム幅及びフレーム間隔は、時間による指定とすることもできるし、イベントデータの数による指定とすることもできる。フレーム幅及びフレーム間隔の一方が、時間による指定であり、他方が、イベントデータの数による指定でもよい。
　フレームデータの生成は、例えば、イベントデータに含まれるイベントの位置(x, y)のフレームの画素（の画素値）に白色を、フレームの他の位置の画素（の画素値）にグレー等の所定の色をセットすることで行うことができる。
　その他、フレームデータの生成は、イベントデータがイベントとしての光量変化の極性を含む場合には、イベントデータに含まれる極性を考慮して行うことができる。例えば、極性が正である場合には、画素に白色をセットし、極性が負である場合には、画素に黒色をセットすることができる。
　なお、フレームボリューム内には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一のイベントデータが複数存在する場合がある。この場合、例えば、イベントの時刻tが最も新しい又は古いイベントデータを優先させることができる。また、イベントデータが極性を含む場合には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一の複数のイベントデータの極性を加算し、その加算により得られる加算値に応じた画素値を、イベントの位置(x, y)の画素にセットすることができる。
　ここで、フレーム幅及びフレーム間隔が、時間による指定であって、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。本実施の形態では、説明を簡単にするため、フレーム幅をフレーム間隔と同一とし、所定の設定フレーム間隔で、イベントデータがメモリ３４に蓄積されることとする。設定フレーム間隔でメモリ３４に蓄積されるフレームデータが更新され、物体の検出が順次行われるので、フレームデータの更新周期は物体の検出を行う周期（物体検出周期）に等しい。
　なお、本実施の形態では、所定の設定フレーム間隔および設定フレーム幅でメモリ３４に蓄積されたイベントデータを用いた画像認識により、検出対象としての物体を特定するようにしたが、例えば、時間経過に応じて取得されるイベントデータの位置変位を捉えることにより、物体を特定するような場合には、メモリ３４は省略することができる。
＜CISチップ１２の構成例＞
　図１１は、図１のCISチップ１２の構成例を示すブロック図である。
　CISチップ１２は、画素アレイ部２１１、駆動部２１２、AD(Analog to Digital)変換部２１３、入力部２１４、制御部２１５、信号処理部２１６、及び、出力部２１７を備える。
　画素アレイ部２１１は、複数の画素２５１（図１２）が２次元格子状に配列されて構成される。画素アレイ部２１１は、それぞれが所定数の画素２５１からなる複数の画素ブロック２４１（図１２）に分割される。画素アレイ部２１１は、画素２５１の光電変換によって生成される画素信号を、AD変換部２１３に出力する。
　駆動部２１２は、画素アレイ部２１１に制御信号を供給することにより、画素アレイ部２１１を駆動する。例えば、駆動部２１２は、DVSチップ１１から供給されたROI情報に基づく注目領域の画素２５１を駆動し、その画素２５１の画素信号を、AD変換部２１３に供給（出力）させる。なお、勿論、駆動部２１２は、画素アレイ部２１１の一部の領域だけでなく、画素アレイ部２１１の全領域を駆動し、全領域の画素２５１の画素信号をAD変換部２１３に供給（出力）させることも可能である。
　AD変換部２１３は、例えば、後述する画素ブロック２４１（図１２）の列ごとに、例えば、シングルスロープ型のADC(AD Converter)（図示せず）を有する。AD変換部２１３は、各列のADCにおいて、その列の画素ブロック２４１の画素２５１の画素信号をAD変換し、信号処理部２１６に供給する。なお、AD変換部２１３では、画素信号のAD変換とともに、CDS(Correlated Double Sampling)を行うことができる。
　入力部２１４は、中継基板１３を介してDVSチップ１１から供給されたROI情報を取得し、制御部２１５に供給する。また、入力部２１４は、動作モードなどを指令するデータなども、外部から取得することができる。
　制御部２１５は、ROI情報や、動作モードなどを指令するデータなどを入力部２１４から受け取る。制御部２１５は、駆動部２１２、AD変換部２１３などの動作の基準となるクロック信号や制御信号を生成する。そして、制御部２１５は、生成したクロック信号や制御信号を、駆動部２１２、AD変換部２１３等に出力する。例えば、制御部２１５は、入力部２１４から取得したROI情報に基づいて、画素アレイ部２１１の駆動領域を特定する制御信号を駆動部２１２に供給する。
　信号処理部２１６は、AD変換部２１３から順次供給される画素信号に対して、所定の信号処理を行う。例えば、信号処理部２１６は、黒レベル調整処理、列ばらつき補正処理、ゲイン調整処理などの各種のデジタル信号処理を行う。信号処理部２１６は、デジタル信号処理後の画素信号を出力部２１７に供給する。
　出力部２１７は、信号処理部２１６からの画素信号を外部に出力する。
＜画素アレイ部２１１の構成例＞
　図１２は、図１１の画素アレイ部２１１の構成例を示すブロック図である。
　画素アレイ部２１１は、複数の画素ブロック２４１を有する。画素ブロック２４１は、I行×J列（I及びJは整数）に配列された１以上としてのI×J個の画素２５１、及び、画素信号生成部２５２を備える。上述したように、各画素ブロック２４１の画素２５１は、DVSチップ１１の画素アレイ部３１の各画素ブロック４１の画素５１と、画素位置が対応している。
　画素ブロック２４１内の１以上の画素２５１は、画素信号生成部２５２を共有している。また、画素ブロック２４１の列ごとには、画素ブロック２４１とAD変換部２１３のADCとを接続するVSL(Vertical Signal Line)が配線される。
　画素２５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素信号生成部２５２は、画素２５１の光電流に対応する電圧を画素信号として生成し、VSLを介して、AD変換部２１３に供給する。
＜画素ブロック４１の構成例＞
　図１３は、図１２の画素ブロック２４１の構成例を示す回路図である。
　画素ブロック２４１は、図１２で説明したように、１以上の画素２５１、及び、画素信号生成部２５２を備える。
　画素２５１は、光電変換素子２６１、及び、転送トランジスタ２６２を備える。
　光電変換素子２６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
　転送トランジスタ２６２は、例えば、N(Negative)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)で構成される。画素ブロック２４１を構成するI×J個の画素２５１のうちのn番目の画素２５１を構成する転送トランジスタ２６２は、駆動部２１２から供給される制御信号TRGnに従ってオン／オフする。転送トランジスタ２６２がオンすることにより、光電変換素子２６１で生成された電荷は、画素信号生成部２５２のFD２７４に転送される。
　画素信号生成部２５２は、リセットトランジスタ２７１、増幅トランジスタ２７２、選択トランジスタ２７３、及び、FD(Floating Diffusion)２７４を備える。
　リセットトランジスタ２７１、増幅トランジスタ２７２、及び、選択トランジスタ２７３は、例えば、N型のMOS FETで構成される。
　リセットトランジスタ２７１は、駆動部２１２（図１１）から供給される制御信号RSTに従ってオン／オフする。リセットトランジスタ２７１がオンすることにより、FD２７４が電源VDDに接続され、FD２７４に蓄積された電荷が電源VDDに排出される。これにより、FD２７４は、リセットされる。
　増幅トランジスタ２７２のゲートは、FD２７４に、ドレインは、電源VDDに、ソースは、選択トランジスタ２７３を介してVSLに、それぞれ接続される。増幅トランジスタ２７２は、ソースフォロアになっており、ゲートに供給されるFD２７４の電圧に対応する電圧（電気信号）を、選択トランジスタ２７３を介してVSLに出力する。
　選択トランジスタ２７３は、駆動部２１２から供給される制御信号SELに従ってオン／オフする。リセットトランジスタ２７１がオンすることにより、増幅トランジスタ２７２からのFD２７４の電圧に対応する電圧が、VSLに出力される。
　FD２７４は、画素２５１の光電変換素子２６１から転送トランジスタ２６３を介して転送されてくる電荷を蓄積し、電圧に変換する。
　以上のように構成される画素２５１及び画素信号生成部２５２については、駆動部２１２は、制御信号TRGnにより、画素ブロック２４１内の画素２５１の転送トランジスタ２６２を順にオンにして、光電変換素子２６１で生成された電荷をFD２７４に転送させる。FD２７４では、画素２５１（の光電変換素子２６１）から転送される電荷が蓄積される。FD２７４に蓄積された電荷に対応する電圧は、画素２５１の画素信号として、増幅トランジスタ２７２及び選択トランジスタ２７３を介して、VSLに出力される。
　以上のように、CISチップ１２（図１１）では、駆動部２１２の制御にしたがって、注目領域に対応する画素ブロック２４１の画素２５１の画素信号が、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部２１３に供給され、AD変換される。
　ここで、画素ブロック２４１内の各画素２５１については、転送トランジスタ２６３を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック２４１内のすべての画素２５１の画素信号の和を出力することができる。
　図１２の画素アレイ部２１１では、画素ブロック２４１が１以上の画素２５１で構成され、その１以上の画素２５１で、画素信号生成部２５２が共有される。したがって、画素ブロック２４１が、複数の画素２５１で構成される場合には、１個の画素２５１に対して、１個の画素信号生成部２５２を設ける場合に比較して、画素信号生成部２５２の数を少なくすることができ、画素アレイ部２１１の規模を抑制することができる。
　なお、画素ブロック２４１が、複数の画素２５１で構成される場合においても、画素２５１ごとに画素信号生成部２５２を設けることができる。画素２５１ごとに画素信号生成部２５２を設ける場合には、画素ブロック２４１を構成する複数の画素２５１の転送トランジスタ２６３を順にオンする必要がなく、同時にオンし、画素２５１の単位で、画素信号を検出することができる。
　但し、以下では、説明を簡単にするため、特に断らない限り、DVSチップ１１の画素アレイ部３１、および、CISチップ１２の画素アレイ部２１１のいずれにおいても、画素ブロックが１個の画素を有する場合を前提に説明を行う。すなわち、DVSチップ１１の画素アレイ部３１の画素ブロック４１は、１個の画素５１とイベント検出部５２とを有し、CISチップ１２の画素アレイ部２１１の画素ブロック２４１は、１個の画素２５１と画素信号生成部２５２とを有する場合を前提に説明を行う。
＜固体撮像装置１０の処理＞
　図１４のフローチャートを参照して、固体撮像装置１０の動作を説明する。例えば、図１４の処理は、固体撮像装置１０の電源がオンされたときに開始される。
　なお、図１４の処理では、フレーム間隔設定部１３１およびフレーム幅設定部１３２が設定する設定フレーム間隔および設定フレーム幅は、調整された上で、予め所定値に設定されている。
　初めに、ステップＳ１において、DVSチップ１１の画素アレイ部３１は、画素アレイ部３１を構成する複数の画素５１のいずれかに、イベントとしての電気信号の変化が発生すると、イベントデータを生成し、メモリ３４に供給する。より詳しくは、画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、メモリ３４に出力する。
　ステップＳ２において、メモリ３４は、画素アレイ部３１からのイベントデータを、所定のフレーム単位で蓄積することにより、フレームデータに変換する。
　ステップＳ３において、画像処理部３５は、メモリ３４に蓄積されたフレーム単位のイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるデータ処理結果を、出力部３６に出力する。より詳しくは、検出部１３３が、フレームデータから、物体の輪郭情報を抽出し、検出対象となる物体を特定する。そして、検出部１３３は、特定した物体を含む注目領域を決定し、出力部３６に出力する。
　ステップＳ４において、出力部３６は、画像処理部３５から供給された注目領域を特定する情報をROI情報（Region Of Interest）として、中継基板１３を介して、CISチップ１２に出力する。
　ステップＳ５において、入力部２１４は、中継基板１３を介してDVSチップ１１から供給されたROI情報を取得し、制御部２１５に供給する。制御部２１５は、入力部２１４から取得したROI情報に基づいて、画素アレイ部２１１の駆動領域を特定する制御信号を駆動部２１２に供給する。
　ステップＳ６において、画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の撮像を行う。すなわち、駆動部２１２は、制御部２１５から供給された、画素アレイ部２１１の駆動領域を特定する制御信号に基づいて、注目領域の画素２５１を駆動する。画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の画素信号を、AD変換部２１３に供給する。
　ステップＳ７において、AD変換部２１３は、画素アレイ部２１１の行単位に順次入力されるアナログの画素信号をデジタル信号に変換（AD変換）するとともにCDSを行い、その結果を、信号処理部２１６に供給する。
　ステップＳ８において、信号処理部２１６は、AD変換部２１３から順次供給されるデジタルの画素信号に対して、必要に応じて所定の信号処理を行い、出力部２１７に供給する。出力部２１７は、信号処理部２１６からのデジタルの画素信号を外部に出力する。
　ステップＳ１乃至Ｓ４の処理は、固体撮像装置１０のDVSチップ１１によって実行され、ステップＳ５乃至Ｓ８の処理は、固体撮像装置１０のCISチップ１２によって実行される。
　DVSチップ１１では、イベントの発生が検出された場合に、検出対象としての物体を特定して注目領域が決定され、その注目領域を特定する情報が、ROI情報として、CISチップ１２に供給される。CISチップ１２では、DVSチップ１１で決定された注目領域（に対応する領域）の撮像が行われ、注目領域の各画素の画素信号が出力される。
　例えば、固体撮像装置を、一般的なCMOSイメージセンサと同様にCISチップ１２のみで構成した場合であっても、CISチップ１２で画素アレイ部２１１の全領域で撮像を行い、その撮像画像からパターンマッチング等の画像認識により検出対象となる物体を特定して注目領域を決定した後、注目領域の各画素の画素信号を取得することが可能である。
　しかしながら、注目領域を決定するために、画素アレイ部２１１の全領域で撮像を行うと、画像認識の処理負荷も大きくなり、消費電力も大きくなる。消費電力や画像認識の処理負荷を減らすために、画素アレイ部２１１の撮像画素を間引くなどして低解像度で実行する方法も考えられるが、低解像度で検出対象を検出できない場合には、さらに解像度を上げて、撮像および画像認識を再度実行する必要がある。
　これに対して、図１の固体撮像装置１０によれば、DVSチップ１１の検出対象範囲が、間引かれることなく、CISチップ１２の画素アレイ部２１１の撮像範囲と同じであり、イベントの発生を１ビットまたは１．５ビット（３値）の低ビットで出力するので、CISチップ１２の画素アレイ部２１１と同じ撮像範囲のイベントの発生を、空間情報の欠落なく、低消費電力で検出することができる。そして、CISチップ１２では、DVSチップ１１で決定された注目領域についての撮像を行うことで、注目領域の撮像を高速に行うことができる。画素アレイ部２１１の一部分の領域のみの駆動とすることで、CISチップ１２の消費電力も低減することができる。
＜２．第２実施の形態＞
　図１５は、本技術を適用した固体撮像装置の第２実施の形態の構成例を示す図である。
　図１の第１実施の形態では、イベントの発生を検出して、注目領域を特定するROI情報を出力するDVSチップ１１と、注目領域の画像を撮像するCISチップ１２との２個のチップで構成されていたが、第２実施の形態では、３個のチップで構成されている。
　第２実施の形態に係る固体撮像装置１０は、第１のチップ３１１、第２のチップ３１２、および、第３のチップ３１３と、それらが搭載された中継基板（インターポーザ基板）３１４とで構成されている。
　第２実施の形態に係る固体撮像装置１０は、第１実施の形態のDVSチップ１１およびCISチップ１２のそれぞれのデジタル信号処理の少なくとも一部を、別のDSP（digital signal processor）チップで実行するようにした構成である。
　具体的には、第１のチップ３１１は、第１実施の形態のDVSチップ１１のデジタル信号処理回路の一部を除いた回路で構成され、第２のチップ３１２は、第１実施の形態のCISチップ１２のデジタル信号処理回路の一部を除いた回路で構成される。第３のチップ３１３には、第１のチップ３１１と第２のチップ３１２とで除かれた回路が形成される。以下では、区別を容易にするために、第１のチップ３１１を、DVSチップ３１１と称し、第２のチップ３１２を、CISチップ３１２と称し、第３のチップ３１３を、DSPチップ３１３と称することとする。
　中継基板３１４は、DVSチップ３１１、CISチップ３１２、および、DSPチップ３１３間の信号を中継する信号配線と、固体撮像装置１０の出力信号を外部に出力する出力端子を備える。出力端子は、例えば、DVSチップ３１１やCISチップ３１２の搭載面と反対側に形成されるはんだボール等で構成される。
＜各チップの構成例＞
　図１６は、DVSチップ３１１、CISチップ３１２、および、DSPチップ３１３の構成例を示すブロック図である。
　図１６において、図２、図９、および、図１１で示した第１実施の形態の各構成と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　第１実施の形態の図２のDVSチップ１１と、第２実施の形態のDVSチップ３１１とを比較すると、第１実施の形態のDVSチップ１１に含まれていた、メモリ３４、画像処理部３５、および、クロック信号生成部３７が、第２実施の形態では、DSPチップ３１３に移動されている。これにより、画素アレイ部３１から出力されたイベントデータは、出力部３６に供給され、出力部３６が、イベントデータをDSPチップ３１３のメモリ３４に出力する。
　第２実施の形態のCISチップ３１２は、第１実施の形態の図１１のCISチップ１２と同様に構成されている。
　DSPチップ３１３は、メモリ３４、画像処理部３５、および、クロック信号生成部３７の他、画像処理部３２１を有する。
　DSPチップ３１３の画像処理部３２１は、CISチップ３１２の出力部２１７から入力されるデジタルの画素信号を取得する。画像処理部３２１は、CISチップ３１２から入力された注目領域の画素信号に対する所定の画像処理、例えば、デモザイク処理などを行い、その結果得られる画像（の信号）を外部に出力する。また、画像処理部３２１は、第１実施の形態ではCISチップ３１２の信号処理部２１６で行っていた信号処理の一部を実行するようにしてもよい。画像処理部３２１は、必要に応じて、画素信号を一時的に保持するメモリ（フレームメモリ）を有する。
　第２実施の形態に係る固体撮像装置１０の処理は、第１実施の形態で説明した図１４の処理と同様に実行することができるので、その説明は省略する。また、第２実施の形態に係る固体撮像装置１０の処理では、図１４で説明した処理の最後に、DSPチップ３１３の画像処理部３２１による画像処理を追加して行うことができる。
　したがって、３チップ構成とした第２実施の形態に係る固体撮像装置１０においても、撮像範囲と同じ、間引きなしの検出対象範囲で、イベントの発生を、空間情報の欠落なく、低消費電力で検出することができ、注目領域の撮像を高速に行うことができる。注目領域のみの駆動とすることで消費電力も低減することができる。
＜３．第３実施の形態＞
　図１７は、本技術を適用した固体撮像装置の第３実施の形態の構成例を示すブロック図である。
　第３実施の形態に係る固体撮像装置１０は、第２実施の形態と同様に、DVSチップ３１１、CISチップ３１２、および、DSPチップ３１３の３チップで構成される。第３実施の形態に係る固体撮像装置１０の概略斜視図は、図１５と同様であるので、図示は省略する。
　図１７のブロック図において、第２実施の形態の図１６と対応する部分については、同一の符号を付してあり、その部分の説明は適宜省略する。
　図１７のDSPチップ３１３の検出部３４１、信頼度判定部３４２、および、撮像同期信号生成部３４３が第２実施の形態と相違し、その他の部分が第２実施の形態と共通する。
　第２実施の形態の画像処理部３５の検出部１３３が、第３実施の形態では、検出部３４１に置き換えられている。
　第１および第２実施の形態では、フレームデータを生成する際の設定フレーム間隔および設定フレーム幅が予め決定された固定値とされていたが、第３の実施の形態では、検出部３４１の検出結果に応じて、設定フレーム間隔および設定フレーム幅が変更される。
　具体的には、検出部３４１は、第２実施の形態の検出部１３３と同様に、メモリ３４に記憶されているフレームデータを用いた画像認識により、検出対象としての物体を特定し、物体の輪郭情報を抽出する。そして、画像処理部３５は、特定した物体を含む領域を注目領域として、注目領域を特定する情報を、ROI情報として、CISチップ３１２の入力部２１４に出力する。
　また、検出部３４１は、画像認識の認識結果、換言すれば、物体の検出結果を、信頼度判定部３４２に供給する。例えば、検出部３４１は、フレーム単位で物体検出の有無を１および０に割り当て、最新フレームから過去に遡った所定数フレームまでの１の割合を検出率として算出し、信頼度判定部３４２に出力する。
　信頼度判定部３４２は、検出部３４１から供給される検出率により物体検出の信頼度を判定し、メモリ３４がイベントデータを蓄積するフレーム単位（フレームボリューム）を制御する。ここで、第３の実施の形態においても、フレーム幅とフレーム間隔とが同一とし、フレーム間隔の設定のみによってフレーム単位が設定されるとすると、信頼度判定部３４２は、検出率に応じて、メモリ３４がイベントデータを蓄積するフレーム間隔を制御する。具体的には、信頼度判定部３４２は、検出部３４１から供給される検出率が、内部に記憶された閾値よりも小さい場合、すなわち、物体を十分に検出できていない場合、フレーム間隔を大きくするフレーム制御信号を、画像処理部３５に供給する。一方、検出率が、内部に記憶された閾値以上である場合、信頼度判定部３４２は、フレーム間隔を小さくするフレーム制御信号を、画像処理部３５に供給する。なお、検出率が第１の閾値より小さい場合、フレーム間隔を大きく変更し、検出率が第１の閾値以上第２の閾値未満（第１の閾値＜第２の閾値）である場合、現在のフレーム間隔を維持し、検出率が第２の閾値以上である場合、フレーム間隔を小さく変更するようにしてもよい。
　また、信頼度判定部３４２は、メモリ３４がイベントデータを蓄積するフレーム単位に応じて、撮像周期を制御する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。すなわち、フレーム間隔が短く、物体を検出する周期（物体検出周期）ほど、CISチップ３１２を高速に駆動することができない場合、信頼度判定部３４２は、撮像周期を大きく設定する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。一方、物体検出周期が低速であり、CISチップ３１２の撮像周期を、物体検出周期と一致させることが可能である場合には、信頼度判定部３４２は、撮像周期が物体検出周期と同一となる撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。CISチップ３１２が駆動可能な撮像周期は、注目領域の領域サイズによっても変わり得る。したがって、注目領域の領域サイズが小さいことにより、CISチップ３１２の撮像を、物体検出周期に合わせて高速に駆動できる場合にも、物体検出周期に合わせる撮像周期制御信号が、撮像同期信号生成部３４３に供給される。
　撮像同期信号生成部３４３は、信頼度判定部３４２からの撮像周期制御信号に応じて、撮像同期信号を生成し、CISチップ３１２の入力部２１４に出力する。
　より詳しくは、撮像同期信号生成部３４３には、クロック信号生成部３７から、クロック信号（マスタクロック）が供給される。クロック信号生成部３７は、生成したクロック信号を、DVSチップ３１１の出力部３６の他、撮像同期信号生成部３４３にも供給する。
　撮像同期信号生成部３４３は、例えば、分周回路で構成され、クロック信号生成部３７からのクロック信号を分周することで、撮像同期信号を生成する。生成された撮像同期信号は、CISチップ３１２の入力部２１４に出力される。撮像同期信号生成部３４３は、撮像周期を大きく設定する撮像周期制御信号が信頼度判定部３４２から供給された場合、クロック信号を所定の分周比で分周した撮像同期信号を生成する。撮像周期を物体検出周期に合わせる撮像周期制御信号が信頼度判定部３４２から供給された場合、撮像同期信号生成部３４３は、クロック信号を分周せずに、そのまま、撮像同期信号として、CISチップ３１２の入力部２１４に出力する。
　なお、撮像同期信号生成部３４３は、クロック信号生成部３７からのクロック信号の周期を、単に1／ｎ（ｎ＞１）に分周した撮像同期信号を生成するのではなく、クロック信号の周期を1／ｎに分周し、かつ、３０fps、６０fps、または１２０fpsのビデオレートとなるような撮像同期信号を生成するようにしてもよい。３０fps、６０fps、または１２０fpsのいずれに設定するかは、例えば、ユーザ設定等で決めることができる。
＜固体撮像装置１０の処理＞
　図１８は、第３実施の形態に係る固体撮像装置１０の処理を説明するフローチャートである。例えば、図１８の処理は、固体撮像装置１０の電源がオンされたときに開始される。
　なお、図１８の処理では、初期値としての設定フレーム間隔および設定フレーム幅は、予め所定値に設定されている。
　初めに、ステップＳ２１において、DVSチップ１１の画素アレイ部３１は、画素アレイ部３１を構成する複数の画素５１のいずれかに、イベントとしての電気信号の変化が発生すると、イベントデータを生成し、出力部３６に供給する。より詳しくは、画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、出力部３６に出力する。出力部３６は、画素アレイ部３１からのイベントデータを、DSPチップ３１３のメモリ３４に出力する。
　ステップＳ２２において、DSPチップ３１３のメモリ３４は、DVSチップ１１の出力部３６からのイベントデータを、所定のフレーム単位で蓄積することにより、フレームデータに変換する。
　ステップＳ２３において、画像処理部３５の検出部３４１は、メモリ３４に蓄積されたフレーム単位のイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるROI情報を、中継基板３１４を介して、CISチップ３１２の入力部２１４に出力する。より詳しくは、検出部３４１が、フレームデータから、物体の輪郭情報を抽出し、検出対象となる物体を特定する。そして、検出部３４１は、特定した物体を含む注目領域を決定し、注目領域を特定するROI情報を、CISチップ３１２の入力部２１４に出力する。
　ステップＳ２４において、検出部３４１は、画像認識の認識結果として、物体の検出率を算出し、信頼度判定部３４２に供給する。物体の検出率は、例えば、フレーム単位に信頼度判定部３４２に供給される。
　ステップＳ２５において、信頼度判定部３４２は、検出部３４１から供給された検出率に応じて、メモリ３４がイベントデータを蓄積するフレーム間隔を制御する。検出率が閾値よりも小さく、物体を十分に検出できていない場合、信頼度判定部３４２は、フレーム間隔を大きくするフレーム制御信号を、画像処理部３５に供給する。一方、検出率が、内部に記憶された閾値以上である場合、信頼度判定部３４２は、フレーム間隔を小さくするフレーム制御信号を、画像処理部３５に供給する。なお、検出率が、内部に記憶された閾値以上である場合には、フレーム間隔は変更せずに、維持するようにしてもよい。
　ステップＳ２６において、信頼度判定部３４２は、フレーム間隔に応じて、撮像周期を制御する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。具体的には、フレーム間隔が短く、物体検出周期ほどCISチップ３１２を高速に駆動することができない場合、信頼度判定部３４２は、現在の設定より撮像周期を大きく設定する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。一方、物体検出周期が低速であり、CISチップ３１２の撮像周期を、物体検出周期と一致させることが可能である場合には、信頼度判定部３４２は、撮像周期が物体検出周期と同一となる撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。
　ステップＳ２７において、撮像同期信号生成部３４３は、信頼度判定部３４２からの撮像周期制御信号に応じて撮像同期信号を生成し、CISチップ３１２の入力部２１４に出力する。
　ステップＳ２８において、CISチップ３１２の入力部２１４は、中継基板３１４を介してDSPチップ３１３から供給されたROI情報と撮像同期信号を取得し、制御部２１５に供給する。ROI情報は、DSPチップ３１３の検出部１３３から供給され、撮像同期信号は、DSPチップ３１３の撮像同期信号生成部３４３から供給される。制御部２１５は、入力部２１４から取得したROI情報に基づいて、画素アレイ部２１１の駆動領域を特定する制御信号を駆動部２１２に供給する。また、制御部２１５は、入力部２１４から取得した撮像同期信号を、駆動部２１２やAD変換部２１３などに供給する。
　ステップＳ２９において、画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の撮像を行う。すなわち、駆動部２１２は、入力部２１４から、画素アレイ部２１１の駆動領域を特定する制御信号に基づいて、注目領域の画素２５１を駆動する。画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の画素信号を、AD変換部２１３に供給する。
　ステップＳ３０において、AD変換部２１３は、画素アレイ部２１１の行単位に順次入力されるアナログの画素信号をデジタル信号に変換（AD変換）するとともにCDSを行い、その結果を、信号処理部２１６に供給する。
　ステップＳ３１において、信号処理部２１６は、AD変換部２１３から順次供給されるデジタルの画素信号に対して、必要に応じて所定の信号処理を行い、出力部２１７に供給する。出力部２１７は、信号処理部２１６からのデジタルの画素信号をDSPチップ３１３に出力する。
　ステップＳ３２において、DSPチップ３１３の画像処理部３２１は、CISチップ３１２からの画素信号に対して所定の画像処理、例えば、画素信号のデモザイク処理などを実行して、外部に出力する。画素信号のデモザイク処理により生成された注目領域の画像が、外部に出力される。
　ステップＳ２１の処理は、DVSチップ３１１によって実行され、ステップＳ２２乃至Ｓ２７およびステップＳ３２の処理は、DSPチップ３１３によって実行され、ステップＳ２８乃至Ｓ３１の処理は、CISチップ３１２によって実行される。
　第３実施の形態によれば、DVSチップ３１１においてイベントの発生が検出され、DSPチップ３１３に出力される。DSPチップ３１３において、イベントデータが所定のフレーム期間で蓄積され、検出対象となる物体が特定されて注目領域が決定される。その注目領域を特定する情報が、ROI情報として、CISチップ３１２に供給される。CISチップ３１２では、DVSチップ３１１で決定された注目領域（に対応する領域）の撮像が行われ、注目領域の各画素の画素信号が出力される。
　DSPチップ３１３では、物体の検出率が算出され、検出率に応じてフレームボリュームが制御される。例えば、検出率が所定の閾値より小さい場合には、フレーム間隔を大きくするように物体検出周期が制御され、検出率が所定の閾値以上である場合には、フレーム間隔を小さくするように物体検出周期が制御される。
　さらに、検出率に応じて調整された物体検出周期に応じて、CISチップ３１２の撮像周期も制御される。すなわち、物体検出周期が高速で、物体検出周期ほどCISチップ３１２を高速に駆動することができない場合には、物体検出周期よりも大きい撮像周期となるように撮像周期制御信号が生成される。一方、物体検出周期と同じ周期でCISチップ３１２の撮像を行うことができる場合には、撮像周期を物体検出周期に合わせる撮像周期制御信号が生成される。撮像同期信号生成部３４３は、撮像周期制御信号にしたがい、撮像同期信号を生成し、CISチップ１２に供給する。物体検出周期よりも小さい撮像周期に制御する場合には、クロック信号の周期を、単に1／ｎに分周した撮像同期信号を生成するのではなく、クロック信号の周期を1／ｎに分周し、かつ、３０fps、６０fps、または１２０fpsのビデオレートとなるような撮像周期信号を生成することもできる。
　したがって、第３実施の形態に係る固体撮像装置１０においても、撮像範囲と同じ、間引きなしの検出対象範囲で、イベントの発生を、空間情報の欠落なく、低消費電力で検出することができ、注目領域の撮像を高速に行うことができる。注目領域のみの駆動とすることで消費電力も低減することができる。
　また、物体を検出したときの検出率に応じて、フレーム間隔（フレームボリューム）を制御することができ、さらに、フレーム間隔に応じて、撮像周期も制御することができる。
＜４．第４実施の形態＞
　図１９は、本技術を適用した固体撮像装置の第４実施の形態の構成例を示す図である。
　上述した第１乃至第３実施の形態では、イベント検出のための受光を行う画素と、注目領域の画像を生成するための受光を行う画素とが、別々のチップ（半導体チップ）に形成された。これに対して、第４実施の形態に係る固体撮像装置１０は、イベント検出のための受光を行う画素と、注目領域の画像を生成するための受光を行う画素とが同一のチップに形成される。
　図１９の固体撮像装置１０は、複数のダイ（基板）としてのセンサダイ（基板）４１１とロジックダイ４１２とが積層された１つのチップで構成される。
　センサダイ４１１には、センサ部４２１（としての回路）が構成され、ロジックダイ４１２には、ロジック部４２２が構成されている。
　センサ部４２１は、上述したDVSチップ１１の画素アレイ部３１（図２）と同様に、イベントデータを生成する。すなわち、センサ部４２１は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
　また、センサ部４２１は、上述したCISチップ１２の画素アレイ部２１１（図１１）と同様に、画素信号を生成する。すなわち、センサ部４２１は、入射光の光電変換を行って電気信号を生成する画素を有し、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力する。
　センサ部４２１は、イベントデータまたは画素信号を独立して出力することができる他、生成したイベントデータに基づいてロジック部４２２から入力されるROI情報に基づいて注目領域の画素信号を出力することができる。
　ロジック部４２２は、必要に応じて、センサ部４２１の制御を行う。また、ロジック部４２２は、センサ部４２１からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部４２１からのフレームデータ、又は、センサ部４２１からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
　ロジック部４２２は、例えば、図１７に示した構成のうち、DSPチップ３１３に形成された、メモリ３４、画像処理部３５、クロック信号生成部３７、信頼度判定部３４２、画像処理部３２１、および、撮像同期信号生成部３４３などを有する。
　なお、センサ部４２１については、その一部を、ロジックダイ４１２に構成することができる。また、ロジック部４２２については、その一部を、センサダイ４１１に構成することができる。
　また例えば、メモリ３４や、画像処理部３２１に含まれるメモリとして、大容量のメモリを備える場合などでは、図２０に示されるように、固体撮像装置１０は、センサダイ４１１とロジックダイ４１２とに加えて、もう１つのロジックダイ４１３を積層した３層で構成することができる。勿論、４層以上のダイ（基板）の積層で構成してもよい。
＜センサ部４２１の構成例＞
　図２１は、図１９のセンサ部４２１の構成例を示すブロック図である。
　センサ部４２１は、画素アレイ部４３１、駆動部４３２、アービタ４３３、AD変換部４３４、信号処理部４３５、及び、出力部４３６を備える。
　画素アレイ部４３１は、複数の画素４５１（図２２）が２次元格子状に配列されて構成される。画素アレイ部４３１は、画素４５１の光電変換によって生成される電気信号としての光電流（に対応する電圧）に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部４３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ４３３に出力する。そして、画素アレイ部４３１は、アービタ４３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、駆動部４３２及び出力部４３６に出力する。さらに、画素アレイ部４３１は、イベントが検出された画素４５１の電気信号を、画素信号として、AD変換部４３４に出力する。
　駆動部４３２は、画素アレイ部４３１に制御信号を供給することにより、画素アレイ部４３１を駆動する。例えば、駆動部４３２は、画素アレイ部４３１からイベントデータが出力された画素４５１を駆動し、その画素４５１の画素信号を、AD変換部４３４に供給（出力）させる。
　アービタ４３３は、第３実施の形態のアービタ３３と同様に構成される。すなわち、アービタ４３３は、画素アレイ部４３１からのイベントデータの出力を要求するリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を、画素アレイ部４３１に返す。また、アービタ４３３は、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、画素アレイ部４３１に出力する。
　AD変換部４３４は、第３実施の形態のAD変換部２１３と同様に構成される。すなわち、AD変換部４３４は、各列のADCにおいて、その列の画素ブロック４４１の画素４５１の画素信号をAD変換し、信号処理部４３５に供給する。なお、AD変換部４３４では、画素信号のAD変換とともに、CDSを行うことができる。
　信号処理部４３５は、第３実施の形態の信号処理部２１６と同様に構成される。すなわち、AD変換部４３４から順次供給される画素信号に対して、例えば、黒レベル調整処理、ゲイン調整処理などの所定の信号処理を行って、出力部４３６に供給する。
　出力部４３６は、第３実施の形態の出力部３６および出力部２１７と同様の処理を行う。すなわち、出力部４３６は、画素信号やイベントデータに必要な処理を施し、ロジック部４２２（図１９）に供給する。
＜画素アレイ部４３１の構成例＞
　図２２は、図２１の画素アレイ部４３１の構成例を示すブロック図である。
　図２２および図２３において、上述した第１乃至第３実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　画素アレイ部４３１は、複数の画素ブロック４４１を有する。画素ブロック４４１は、I行×J列（I及びJは整数）に配列された１以上としてのI×J個の画素４５１、イベント検出部５２、及び、画素信号生成部２５２を備える。
　すなわち、画素アレイ部４３１は、第１乃至第３実施の形態と異なる画素４５１と、第１乃至第３実施の形態と同じ、イベント検出部５２、及び、画素信号生成部２５２を備える。
　画素４５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素４５１は、駆動部４３２の制御に従って、光電流を、イベント検出部５２に供給する。
　イベント検出部５２は、駆動部４３２の制御に従って、画素４５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ４３３（図２１）に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ４３３から受け取ると、イベントデータを、駆動部４３２及び出力部４３６に出力する。
　画素信号生成部２５２は、イベント検出部５２においてイベントが検出された場合に、駆動部４３２の制御に従って、画素４５１の光電流に対応する電圧を画素信号として生成し、VSLを介して、AD変換部４３４（図２１）に供給する。
　ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。画素信号生成部２５２では、画素信号の生成を、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
＜画素ブロック４４１の構成例＞
　図２３は、図２２の画素ブロック４４１の構成例を示す回路図である。
　画素ブロック４４１は、図２２で説明したように、画素４５１、イベント検出部５２、及び、画素信号生成部２５２を備える。
　画素４５１は、光電変換素子４６１、転送トランジスタ４６２、及び、転送トランジスタ４６３を備える。
　光電変換素子４６１は、例えば、PDで構成され、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。
　転送トランジスタ４６２は、例えば、N型のMOS FETで構成される。画素ブロック４４１を構成するI×J個の画素４５１のうちのn番目の画素４５１を構成する転送トランジスタ４６２は、駆動部４３２（図２１）から供給される制御信号OFGnに従ってオン／オフする。転送トランジスタ４６２がオンすることにより、光電変換素子４６１で生成された電荷は、光電流として、イベント検出部５２に転送（供給）される。
　転送トランジスタ４６３は、例えば、N型のMOS FETで構成される。画素ブロック４４１を構成するI×J個の画素４５１のうちのn番目の画素４５１を構成する転送トランジスタ４６３は、駆動部４３２から供給される制御信号TRGnに従ってオン／オフする。転送トランジスタ４６３がオンすることにより、光電変換素子４６１で生成された電荷は、画素信号生成部２５２のFD２７４に転送される。
　画素ブロック４４１を構成するI×J個の画素４５１は、ノード４６４を介して、その画素ブロック４４１を構成するイベント検出部５２に接続されている。したがって、画素４５１（の光電変換素子４６１）で生成された光電流は、ノード４６４を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４４１内のすべての画素４５１の光電流の和が供給される。したがって、イベント検出部５２では、画素ブロック４４１を構成するI×J個の画素４５１から供給される光電流の和の変化がイベントとして検出される。
　画素信号生成部２５２は、図１３と同様に、リセットトランジスタ２７１、増幅トランジスタ２７２、選択トランジスタ２７３、及び、FD２７４を備える。
　以上のように構成される画素４５１及び画素信号生成部２５２については、駆動部４３２は、転送トランジスタ４６２を、制御信号OFGnによりオンにして、画素４５１の光電変換素子４６１で生成された電荷による光電流を、イベント検出部５２に供給させる。これにより、イベント検出部５２には、画素ブロック４４１内のすべての画素４５１の光電流の和の電流が供給される。
　画素ブロック４４１において、イベント検出部５２が、イベントとしての光電流（の和）の変化を検出すると、駆動部４３２は、その画素ブロック４４１のすべての画素４５１の転送トランジスタ４６２をオフにして、イベント検出部５２への光電流の供給を停止させる。そして、イベント検出後に、センサ部４２１からのイベントデータに応じてロジック部４２２からROI情報が供給されると、駆動部４３２は、注目領域の画素２５１を駆動する。すなわち、駆動部４３２は、制御信号SELと制御信号RSTをHレベルにして注目領域の画素行を順次選択して光電変換素子４６１をリセットした後、露光を開始させる。露光終了後に、駆動部４３２は、制御信号TRGnにより、注目領域の画素ブロック４４１内の画素４５１の転送トランジスタ４６３を順にオンにして、光電変換素子４６１で生成された電荷をFD２７４に転送させる。FD２７４では、画素４５１（の光電変換素子４６１）から転送される電荷が蓄積される。FD２７４に蓄積された電荷に対応する電圧は、画素４５１の画素信号として、増幅トランジスタ２７２及び選択トランジスタ２７３を介して、VSLに出力される。
　以上のように、センサ部４２１（図１９）では、１以上の画素４５１とイベント検出部５２とによって、イベントが検出され、イベントデータが生成される。生成されたイベントデータは、ロジック部４２２に供給され、注目領域が決定される。そして、注目領域のROI情報が、ロジック部４２２からセンサ部４２１に供給され、注目領域に対応する画素ブロック４４１の画素４５１の画素信号が生成され、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部４３４に供給され、AD変換される。第４実施の形態に係る固体撮像装置１０の処理は、図１８の処理と同様に実行することができる。
　ここで、画素ブロック４４１内の各画素４５１については、転送トランジスタ４６３を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック４４１内のすべての画素４５１の画素信号の和を出力することができる。
　図２２の画素アレイ部４３１では、画素ブロック４４１が１以上の画素４５１で構成され、その１以上の画素４５１で、イベント検出部５２及び画素信号生成部２５２が共有される。より詳しくは、画素ブロック４４１を構成する各画素４５１の光電変換素子４６１、転送トランジスタ４６２、及び、転送トランジスタ４６３が、イベント検出部５２及び画素信号生成部２５２が共有される。したがって、画素ブロック４４１が、複数の画素４５１で構成される場合には、１個の画素４５１に対して、１個のイベント検出部５２及び１個の画素信号生成部２５２を設ける場合に比較して、イベント検出部５２及び画素信号生成部２５２の数を少なくすることができ、画素アレイ部４３１の規模を抑制することができる。
　なお、画素ブロック４４１が、複数の画素４５１で構成される場合、画素４５１ごとに、イベント検出部５２を設けることができる。画素ブロック４４１の複数の画素４５１で、イベント検出部５２を共有する場合には、画素ブロック４４１の単位でイベントが検出されるが、画素４５１ごとに、イベント検出部５２を設ける場合には、画素４５１の単位で、イベントを検出することができる。
　但し、画素ブロック４４１の複数の画素４５１で、１個のイベント検出部５２を共有する場合でも、複数の画素４５１それぞれの転送トランジスタ４６２を時分割で一時的にオンにすることにより、画素４５１の単位で、イベントを検出することができる。
＜イベント検出と撮像の動作＞
　図２４は、図２１のセンサ部４２１の動作の例を説明するタイミングチャートである。
　タイミングT0において、駆動部４３２は、制御信号OFGnを全てLレベルからHレベルにして、画素ブロック４４１内の全画素４５１の転送トランジスタ４６２をオンにする。これにより、画素ブロック４４１内の全画素４５１の光電流の和が、イベント検出部５２に供給される。このとき、制御信号TRGnはすべてLレベルであり、全画素４５１の転送トランジスタ４６３はオフである。
　例えば、タイミングT1において、イベント検出部５２は、イベントを検出すると、そのイベントの検出に応じて、Hレベルのイベントデータを出力する。
　駆動部４３２は、Hレベルのイベントデータに応じて、タイミングT2において制御信号OFGnをすべてLレベルにして、画素４５１からイベント検出部５２への光電流の供給を停止させる。その後、駆動部４３２は、注目領域の画素４５１を駆動し、画素信号を生成させる。すなわち、駆動部４３２は、注目領域の画素４５１の制御信号SELをHレベルにし、制御信号RSTと制御信号TRGを一定期間だけHレベルにして、光電変換素子４６１の電荷を電源VDDに排出させることで、露光開始前のリセットを行う。露光終了後に、駆動部４３２は、タイミングT3において制御信号RSTをHレベルにして、FD２７４をリセットする。画素信号生成部２５２は、FD２７４のリセット時のFD２７４の電圧に対応する画素信号を、リセットレベルとして出力し、AD変換部４３４は、そのリセットレベルをAD変換する。
　リセットレベルのAD変換後のタイミングT4において、駆動部４３２は、制御信号TRG1を一定期間だけHレベルにして、注目領域の画素ブロック４４１内の１つ目の画素４５１（の光電変換素子４６１）の光電変換により生成された電荷を、FD２７４に転送させる。画素信号生成部２５２は、画素４５１から電荷が転送されたFD２７４の電圧に対応する画素信号を、信号レベルとして出力し、AD変換部４３４は、その信号レベルをAD変換する。
　AD変換部４３４は、AD変換後の信号レベルとリセットレベルとの差分を、画像（フレームデータ）の画素値となる画素信号として、信号処理部４３５に出力する。
　注目領域の画素ブロック４４１内の１つ目の画素４５１の画素信号のAD変換後、駆動部４３２は、タイミングT3およびT4と同様に、制御信号RSTと制御信号TRG2を一定期間だけ順にHレベルにすることで、注目領域の画素ブロック４４１内の２つ目の画素４５１の画素信号を出力させる。
　センサ部４２１では、以下、同様の動作が行われ、注目領域の画素ブロック４４１内のそれぞれの画素４５１の画素信号が順に出力される。
　画素ブロック４４１内のすべて画素４５１の画素信号が出力されると、駆動部４３２は、制御信号OFGnをすべてHレベルにして、画素アレイ部４３１の全画素ブロック４４１内の全画素４５１の転送トランジスタ４６２をオンにする。
　以上のように、センサ部４２１では、１個の画素４５１において、イベントの検出と、撮像用の露光（受光）とが、時分割で行われる。
　図２５は、画素アレイ部４３１の全画素で撮像を行う場合の画素アレイ部４３１の駆動を示すタイミングチャートである。
　画素アレイ部４３１の全画素で撮像を行う場合には、データ量は、イベント検出と撮像とでは撮像の方が大きくなるため、撮像にかかる時間は、イベント検出にかかる時間よりも長くなる。
　例えば、クロック信号生成部３７が生成するクロック信号をイベント検出同期信号として、イベント検出およびメモリ３４へのバッファリングと、画像処理部３５による画像処理（物体検出処理）とが、それぞれV期間で行われることとし、露光および画素読み出しが、それぞれ、イベント検出同期信号を１／２に分周した撮像同期信号にしたがい、2V期間で行われるとする。イベント検出およびメモリ３４へのバッファリングは、パイプライン処理により、１つのV期間で実行可能である。
　この場合、イベントの検出と、撮像用の露光とは、共有の光電変換素子４６１を用いるため、撮像用の露光と画素読み出しを行っている期間、具体的には、図２５のタイミングT13からタイミングT17までの4V期間は、少なくともイベント検出ができないイベント検出不可期間となる。
　図２６は、画素アレイ部４３１において注目領域の撮像を行う場合の画素アレイ部４３１の駆動を示すタイミングチャートである。
　これに対して、ROI情報により注目領域を指定して、注目領域の撮像を行う場合、領域が限定されるため、データ量を削減することができるので、撮像周期を、例えば、イベント検出周期と同じにすることができる。すなわち、図２６に示されるように、露光および画素読み出しを、それぞれ、V期間で行うことができるようになる。これにより、イベント検出不可期間は、タイミングT13からタイミングT15までの2V期間となり、イベント検出不可期間を短くすることが可能となる。図２６の例は、撮像周期を、例えば、イベント検出周期と同じにした場合の例であるが、イベント検出周期と同じにならない場合であっても、注目領域に限定して撮像を行うことにより、全画素の撮像を行う場合と比較して、イベント検出不可期間を短くすることが可能となる。
＜画素アレイ部４３１のその他の構成例＞
　図２７は、図２１の画素アレイ部４３１のその他の構成例を示すブロック図である。
　図２７の画素アレイ部４３１は、１個の画素ブロック４４１が、画素４８１Aまたは画素４８１Bの２種類の画素４８１をI行×J列（I及びJは整数）に配列している点で、図２２の画素アレイ部４３１と相違し、その他の点で、図２２の画素アレイ部４３１と共通する。
　図２２の画素アレイ部４３１では、イベント検出と撮像の両方が（時分割で）可能な画素４５１がI行×J列（I及びJは整数）に配列されていた。
　これに対して、図２７の画素アレイ部４３１では、画素４８１Aと画素４８１Bとが行方向および列方向に交互に配列され、混在して構成されている。画素４８１Aは、図１３の画素２５１と同様に、光電変換素子に画素信号生成部２５２が接続されて構成され、撮像用の画素信号を生成するための画素である。画素４８１Bは、図４の画素５１と同様に、光電変換素子にイベント検出部５２が接続されて構成され、イベント検出を行うための画素である。撮像用の画素信号を生成するための画素４８１Aと、イベント検出を行うための画素４８１Bとは、光電変換素子４６１を個別に有し、共有していないので、撮像とイベント検出を同時に行うことができる。
　このように、固体撮像装置１０を１つのチップで構成した場合においても、１個の画素ブロック４４１に、撮像を行う画素４８１Aと、イベント検出を行う画素４８１Bとを混在させた構成とすることで、撮像とイベント検出を同時に行うことができる。
　なお、図２７は、１個の画素ブロック４４１を構成する複数の画素４８１を、撮像用の画素信号を生成するための画素４８１Aと、イベント検出を行うための画素４８１Bとに分けた構成であるが、画素ブロック４４１単位で、撮像用の画素信号を生成するための画素ブロック４４１と、イベント検出を行うための画素ブロック４４１とに分ける構成も可能である。この場合も、撮像とイベント検出を同時に行うことができる。
　以上の固体撮像装置１０によれば、イベント検出を行うチップと、注目領域の撮像を行うチップが異なるチップである場合、および、同一チップである場合のいずれにおいても、イベントの発生が検出された場合に、検出対象となる物体を特定して注目領域が決定され、その注目領域の各画素の画素信号が生成され、注目領域の画像が生成される。したがって、非同期型のイメージセンサによりイベントの発生を検出した結果を、同期型のイメージセンサによる撮像に活用することができる。
＜５．電子機器への適用例＞
　本技術は、固体撮像装置への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像装置を用いる複写機など、画像取込部（光電変換部）に固体撮像装置を用いる電子機器全般に対して適用可能である。固体撮像装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
　図２８は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
　図２８の撮像装置６００は、レンズ群などからなる光学部６０１、固体撮像装置１０の構成が採用される固体撮像装置（撮像デバイス）６０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路６０３を備える。また、撮像装置６００は、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７、および電源部６０８も備える。DSP回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７および電源部６０８は、バスライン６０９を介して相互に接続されている。
　光学部６０１は、被写体からの入射光（像光）を取り込んで固体撮像装置６０２の撮像面上に結像する。固体撮像装置６０２は、光学部６０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置６０２として、上述した固体撮像装置１０、即ち、イベントの発生を検出して注目領域を決定し、その注目領域の撮像を行う固体撮像装置を用いることができる。
　表示部６０５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、固体撮像装置６０２で撮像された動画または静止画を表示する。記録部６０６は、固体撮像装置６０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部６０７は、ユーザによる操作の下に、撮像装置６００が持つ様々な機能について操作指令を発する。電源部６０８は、DSP回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６および操作部６０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　上述したように、固体撮像装置６０２として、上述した各実施の形態を適用した固体撮像装置１０を用いることで、撮像範囲に対して空間情報の欠落なく、低消費電力でイベントの発生を検出することができ、検出したイベントに基づいて決定した注目領域の撮像を高速に行うことができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置６００においても、所望の注目領域の撮像を低消費電力かつ高速に行うことができる。
＜イメージセンサの使用例＞
　図２９は、上述の固体撮像装置１０を用いたイメージセンサの使用例を示す図である。
　上述の固体撮像装置１０を用いたイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜６．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３１は、撮像部１２０３１の設置位置の例を示す図である。
　図３１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１として、上述の固体撮像装置１０を適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像範囲に対して空間情報の欠落なく、低消費電力でイベントの発生を検出して決定した注目領域の撮像を高速に行うことにより、適切な運転支援を行うことができる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
　前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
　前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
　を備える固体撮像装置。
（２）
　前記画素アレイ部の各画素で発生した前記イベントをフレーム単位で蓄積するメモリをさらに備え、
　前記注目領域検出部は、前記フレーム単位のイベントデータから、前記画素アレイ部の注目領域を検出する
　前記（１）に記載の固体撮像装置。
（３）
　前記注目領域検出部は、前記フレーム単位のイベントデータから、検出対象としての物体を特定し、前記物体を含む領域を、前記注目領域として検出する
　前記（２）に記載の固体撮像装置。
（４）
　前記物体の検出率により物体検出の信頼度を判定し、前記フレーム単位を制御する信頼度判定部をさらに備える
　前記（３）に記載の固体撮像装置。
（５）
　前記信頼度判定部は、さらに、前記フレーム単位に応じて、前記画素信号生成部の撮像周期を制御する
　前記（４）に記載の固体撮像装置。
（６）
　前記画素信号生成部の撮像周期が前記物体の検出周期と同一となる撮像同期信号を生成する撮像同期信号生成部をさらに備える
　前記（３）乃至（５）のいずれかに記載の固体撮像装置。
（７）
　前記画素信号生成部の撮像周期がビデオレートとなる撮像同期信号を生成する撮像同期信号生成部をさらに備える
　前記（１）乃至（６）のいずれかに記載の固体撮像装置。
（８）
　前記イベント検出部と、前記画素信号生成部とが、異なるチップに形成されている
　前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（９）
　前記イベント検出部、前記注目領域検出部、および、前記画素信号生成部のそれぞれが、異なるチップに形成されている
　前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（１０）
　前記画素信号生成部は、前記イベント検出部のチップの前記注目領域に対応する、前記画素信号生成部のチップの画素アレイ部の領域の前記画素信号を生成する
　前記（８）に記載の固体撮像装置。
（１１）
　前記イベント検出部と前記画素信号生成部とは、同一チップに形成されている
　前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（１２）
　前記画素アレイ部の各画素の光電変換素子は、前記イベント検出部と前記画素信号生成部とで共有される
　前記（１１）に記載の固体撮像装置。
（１３）
　前記画素アレイ部は、光電変換素子の電気信号を、前記イベント検出部に出力する画素と、前記画素信号生成部に出力する画素とを混在させた構成である
　前記（１１）に記載の固体撮像装置。
（１４）
　画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、
　前記注目領域の画素信号を取得し、画像を生成する画像処理部と
　を備える信号処理チップ。
（１５）
　画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
　前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
　前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
　を備える固体撮像装置
　を備える電子機器。
　１０　固体撮像装置，　１１　第１のチップ（DVSチップ），　１２　第２のチップ（CISチップ），　３１　画素アレイ部，　３４　メモリ，　３５　画像処理部，　３７　クロック信号生成部，　４１　画素ブロック，　５１　画素，　５２　イベント検出部，　６１　光電変換素子，　１３１　フレーム間隔設定部，　１３２　フレーム幅設定部，　１３３　検出部，　２１１　画素アレイ部，　２１６　信号処理部，　２４１　画素ブロック，　２５１　画素，　２５２　画素信号生成部，　２６１　光電変換素子，　３１１　第１のチップ（DVSチップ），　３１２　第２のチップ（CISチップ），　３１３　第３のチップ（DSPチップ），　３２１　画像処理部，　３４１　検出部，　３４２　信頼度判定部，　３４３　撮像同期信号生成部，　４１１　センサダイ，　４１２，４１３　ロジックダイ，　４３１　画素アレイ部，　４３５　信号処理部，　４４１　画素ブロック，　４５１　画素，　４６１　光電変換素子，　４８１（４８１A，４８１B）　画素，　６００　撮像装置，　６０２　固体撮像装置

Claims (15)

  1. 　画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
    　前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
    　前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
    　を備える固体撮像装置。
  2. 　前記画素アレイ部の各画素で発生した前記イベントをフレーム単位で蓄積するメモリをさらに備え、
    　前記注目領域検出部は、前記フレーム単位のイベントデータから、前記画素アレイ部の注目領域を検出する
    　請求項１に記載の固体撮像装置。
  3. 　前記注目領域検出部は、前記フレーム単位のイベントデータから、検出対象としての物体を特定し、前記物体を含む領域を、前記注目領域として検出する
    　請求項２に記載の固体撮像装置。
  4. 　前記物体の検出率により物体検出の信頼度を判定し、前記フレーム単位を制御する信頼度判定部をさらに備える
    　請求項３に記載の固体撮像装置。
  5. 　前記信頼度判定部は、さらに、前記フレーム単位に応じて、前記画素信号生成部の撮像周期を制御する
    　請求項４に記載の固体撮像装置。
  6. 　前記画素信号生成部の撮像周期が前記物体の検出周期と同一となる撮像同期信号を生成する撮像同期信号生成部をさらに備える
    　請求項３に記載の固体撮像装置。
  7. 　前記画素信号生成部の撮像周期がビデオレートとなる撮像同期信号を生成する撮像同期信号生成部をさらに備える
    　請求項１に記載の固体撮像装置。
  8. 　前記イベント検出部と、前記画素信号生成部とが、異なるチップに形成されている
    　請求項１に記載の固体撮像装置。
  9. 　前記イベント検出部、前記注目領域検出部、および、前記画素信号生成部のそれぞれが、異なるチップに形成されている
    　請求項１に記載の固体撮像装置。
  10. 　前記画素信号生成部は、前記イベント検出部のチップの前記注目領域に対応する、前記画素信号生成部のチップの画素アレイ部の領域の前記画素信号を生成する
    　請求項８に記載の固体撮像装置。
  11. 　前記イベント検出部と前記画素信号生成部とは、同一チップに形成されている
    　請求項１に記載の固体撮像装置。
  12. 　前記画素アレイ部の各画素の光電変換素子は、前記イベント検出部と前記画素信号生成部とで共有される
    　請求項１１に記載の固体撮像装置。
  13. 　前記画素アレイ部の各画素が、前記イベントを検出するための画素か、または、前記画素信号を生成するための画素のどちらかで構成される
    　請求項１１に記載の固体撮像装置。
  14. 　画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、
    　前記注目領域の画素信号を取得し、画像を生成する画像処理部と
    　を備える信号処理チップ。
  15. 　画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
    　前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
    　前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
    　を備える固体撮像装置
    　を備える電子機器。
PCT/JP2019/045614 2018-12-05 2019-11-21 固体撮像装置、信号処理チップ、および、電子機器 WO2020116185A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/047,564 US11509840B2 (en) 2018-12-05 2019-11-21 Solid-state imaging device, signal processing chip, and electronic apparatus
CN201980054386.5A CN112640428B (zh) 2018-12-05 2019-11-21 固态成像装置、信号处理芯片和电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018227821A JP2022028982A (ja) 2018-12-05 2018-12-05 固体撮像装置、信号処理チップ、および、電子機器
JP2018-227821 2018-12-05

Publications (1)

Publication Number Publication Date
WO2020116185A1 true WO2020116185A1 (ja) 2020-06-11

Family

ID=70975319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045614 WO2020116185A1 (ja) 2018-12-05 2019-11-21 固体撮像装置、信号処理チップ、および、電子機器

Country Status (5)

Country Link
US (1) US11509840B2 (ja)
JP (1) JP2022028982A (ja)
CN (1) CN112640428B (ja)
TW (1) TWI846754B (ja)
WO (1) WO2020116185A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075198A1 (ja) * 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置及び撮像装置
WO2022085421A1 (ja) * 2020-10-19 2022-04-28 ソニーグループ株式会社 データ処理装置および方法、並びに、データ処理システム
WO2022207466A1 (en) * 2021-03-30 2022-10-06 Sony Semiconductor Solutions Corporation Solid-state imaging device and method for operating a solid-state imaging device
WO2023058669A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
EP4240005A4 (en) * 2020-10-30 2023-10-11 Sony Semiconductor Solutions Corporation SOLID STATE IMAGING DEVICE AND ELECTRONIC INSTRUMENT
EP4275585A4 (en) * 2021-02-12 2024-06-12 Sony Group Corporation OBSERVATION DEVICE FOR MEDICAL TREATMENT, OBSERVATION DEVICE, OBSERVATION METHOD AND ADAPTER

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594526B1 (ko) * 2019-03-27 2023-10-25 애플 인크. 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처
JP2020162000A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム
CN113632453A (zh) * 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
KR20210000985A (ko) * 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
EP3930312B8 (en) * 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage
KR20220076944A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US20220272285A1 (en) * 2021-02-23 2022-08-25 Fris, Inc. Sensing and processing unit generating a trigger signal upon occurrence of specified conditions
CN114095673B (zh) * 2021-11-09 2024-06-28 深圳锐视智芯科技有限公司 一种图像输出方法、装置及计算机可读存储介质
WO2023186469A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Solid-state imaging device with differencing circuit for frame differencing
KR20240111221A (ko) * 2023-01-09 2024-07-16 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
WO2024160446A1 (en) * 2023-02-02 2024-08-08 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
JP2011087257A (ja) * 2009-10-19 2011-04-28 Panasonic Corp 半導体集積回路及び撮像装置
JP2016206310A (ja) * 2015-04-17 2016-12-08 ソニー株式会社 撮像装置およびその制御方法
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023339B1 (ko) * 2009-07-16 2011-03-18 삼성전기주식회사 이동 피사체의 자동 추적 시스템 및 그 방법
US8897602B2 (en) * 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
EP2760199B1 (en) * 2013-01-25 2019-03-27 Teledyne Innovaciones Microelectrónicas, SLU Automatic region of interest function for image sensors
EP2760198B1 (en) * 2013-01-25 2020-12-30 Teledyne Innovaciones Microelectrónicas, SLU Advanced region of interest function for image sensors
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US10007996B2 (en) * 2015-03-02 2018-06-26 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3D images formed from data acquired with a medium penetrating sensor
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
JP7064322B2 (ja) * 2017-12-06 2022-05-10 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像素子
US10345447B1 (en) * 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
JP2011087257A (ja) * 2009-10-19 2011-04-28 Panasonic Corp 半導体集積回路及び撮像装置
JP2016206310A (ja) * 2015-04-17 2016-12-08 ソニー株式会社 撮像装置およびその制御方法
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075198A1 (ja) * 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置及び撮像装置
WO2022085421A1 (ja) * 2020-10-19 2022-04-28 ソニーグループ株式会社 データ処理装置および方法、並びに、データ処理システム
EP4240005A4 (en) * 2020-10-30 2023-10-11 Sony Semiconductor Solutions Corporation SOLID STATE IMAGING DEVICE AND ELECTRONIC INSTRUMENT
EP4275585A4 (en) * 2021-02-12 2024-06-12 Sony Group Corporation OBSERVATION DEVICE FOR MEDICAL TREATMENT, OBSERVATION DEVICE, OBSERVATION METHOD AND ADAPTER
WO2022207466A1 (en) * 2021-03-30 2022-10-06 Sony Semiconductor Solutions Corporation Solid-state imaging device and method for operating a solid-state imaging device
EP4315830A1 (en) * 2021-03-30 2024-02-07 Sony Semiconductor Solutions Corporation Solid-state imaging device and method for operating a solid-state imaging device
WO2023058669A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム

Also Published As

Publication number Publication date
US20210152757A1 (en) 2021-05-20
TW202110166A (zh) 2021-03-01
US11509840B2 (en) 2022-11-22
CN112640428A (zh) 2021-04-09
TWI846754B (zh) 2024-07-01
JP2022028982A (ja) 2022-02-17
CN112640428B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
WO2020090460A1 (ja) センサ及び制御方法
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
US11582416B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
CN112913224B (zh) 固态成像元件和成像装置
US11770625B2 (en) Data processing device and data processing method
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2020129657A1 (ja) センサ及び制御方法
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
WO2019193801A1 (ja) 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2021095560A1 (ja) イベント検出装置
KR20240035570A (ko) 고체 촬상 디바이스 및 고체 촬상 디바이스 작동 방법
WO2022004289A1 (ja) 光検出装置、および電子機器
WO2024042946A1 (ja) 光検出素子
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
WO2023166848A1 (ja) 撮像装置、画像処理装置および撮像装置の制御方法
WO2024135307A1 (ja) 固体撮像装置
WO2022158246A1 (ja) 撮像装置
WO2024199929A1 (en) Sensor device and method for operating a sensor device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893813

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19893813

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP