WO2021256290A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2021256290A1
WO2021256290A1 PCT/JP2021/021302 JP2021021302W WO2021256290A1 WO 2021256290 A1 WO2021256290 A1 WO 2021256290A1 JP 2021021302 W JP2021021302 W JP 2021021302W WO 2021256290 A1 WO2021256290 A1 WO 2021256290A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
event
unit
pixels
dvs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/021302
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US18/000,655 priority Critical patent/US12289547B2/en
Priority to CN202180035596.7A priority patent/CN115668972B/zh
Priority to DE112021003310.7T priority patent/DE112021003310T5/de
Priority to KR1020227041404A priority patent/KR20230026999A/ko
Publication of WO2021256290A1 publication Critical patent/WO2021256290A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F30/00—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors
    • H10F30/20—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors
    • H10F30/21—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors the devices being sensitive to infrared, visible or ultraviolet radiation
    • H10F30/22—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors the devices being sensitive to infrared, visible or ultraviolet radiation the devices having only one potential barrier, e.g. photodiodes
    • H10F30/225—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors the devices being sensitive to infrared, visible or ultraviolet radiation the devices having only one potential barrier, e.g. photodiodes the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/804—Containers or encapsulations
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/809—Constructional details of image sensors of hybrid image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data

Definitions

  • This disclosure relates to an imaging device.
  • Non-scanning type image pickup device called DVS (Dynamic Vision Sensor) as opposed to a scanning type (synchronous type) image pickup device that performs image pickup in synchronization with a synchronization signal such as a vertical synchronization signal (for example).
  • DVS Dynamic Vision Sensor
  • scanning type synchronous type image pickup device that performs image pickup in synchronization with a synchronization signal such as a vertical synchronization signal (for example).
  • a synchronization signal such as a vertical synchronization signal (for example).
  • Patent Document 1 The non-scanning type image pickup apparatus detects an event in which the amount of change in brightness of a pixel that photoelectrically converts incident light exceeds a predetermined threshold value as an event occurrence, and outputs an event detection signal.
  • a non-scanning (asynchronous) image pickup device called DVS can not only detect the movement (moving object) of the subject by detecting the occurrence of an event, but also the gradation level according to the amount of incident light. It is desired to be able to output signals other than the event detection signal, such as the pixel signal of.
  • the present disclosure provides an image pickup apparatus capable of outputting a signal other than an event detection signal, such as a pixel signal having a gradation level according to the amount of incident light, in addition to an event detection signal indicating the occurrence of an event.
  • an event detection signal such as a pixel signal having a gradation level according to the amount of incident light
  • the imaging apparatus of the present disclosure for achieving the above object has a laminated chip structure in which at least two semiconductor chips, a first-layer semiconductor chip and a second-layer semiconductor chip, are laminated.
  • a predetermined threshold value In the semiconductor chip of the first layer, an event in which the amount of change in the brightness of the pixel exceeds a predetermined threshold value is detected as the occurrence of an event, and the event pixel that outputs the event detection signal and the amount of incident light correspond to the light amount.
  • a pixel array section is provided in which gradation pixels that output gradation level pixel signals are mixed.
  • the analog front-end portion of the event pixel that processes the event detection signal and the analog front-end portion of the gradation pixel that processes the pixel signal are the event pixel and the gradation pixel, respectively. It is provided corresponding to.
  • imaging devices of the present disclosure for achieving the above objects are It has a laminated chip structure in which at least two semiconductor chips, a first-layer semiconductor chip and a second-layer semiconductor chip, are laminated.
  • the semiconductor chip of the first layer an event in which the amount of change in the brightness of the pixel exceeds a predetermined threshold value is detected as an event occurrence, and the event pixel that outputs the event detection signal and the irradiation light from the light source unit are used.
  • a pixel array unit is provided in which distance measuring pixels including a light receiving element that receives reflected light from a distance measuring object and generates a signal in response to light received by a photon are mixed.
  • the analog front-end portion of the event pixel that processes the event detection signal and the analog front-end portion of the distance measuring pixel that processes the signal of the light receiving element are the event pixel and the distance measuring. It is provided corresponding to each of the pixels.
  • FIG. 1 is a block diagram showing an outline of a system configuration of an image pickup apparatus according to the first embodiment of the present disclosure.
  • FIG. 2A is a block diagram showing an example of the configuration of the gradation circuit
  • FIG. 2B is a block diagram showing an example of the configuration of the DVS unit.
  • FIG. 3 is a circuit diagram showing a specific example of the configuration of gradation pixels.
  • FIG. 4 is a circuit diagram showing a specific example of the configuration of DVS pixels.
  • FIG. 5 is a block diagram showing an example of the configuration of the address event detection unit.
  • FIG. 6 is a schematic view showing a laminated chip structure according to a specific example 1 in the image pickup apparatus according to the first embodiment of the present disclosure. A of FIG.
  • FIG. 7 is a diagram showing a correspondence relationship 1 between the gradation pixels and DVS pixels of the semiconductor chip of the first layer and each analog front end portion of the semiconductor chip of the second layer
  • B of FIG. 7 is a diagram. , The figure which shows the correspondence 2.
  • FIG. 8 is an image diagram showing a pixel array of gradation pixels and DVS pixels.
  • FIG. 9 is a schematic view showing a laminated chip structure according to a specific example 2 in the image pickup apparatus according to the first embodiment of the present disclosure.
  • FIG. 10A is a diagram showing a pixel arrangement according to a configuration example 1 in the image pickup apparatus according to the first embodiment of the present disclosure
  • FIG. 10B is a diagram showing a pixel arrangement according to the configuration example 2.
  • FIG. 11A is a diagram showing the pixel arrangement according to the configuration example 3 in the image pickup apparatus according to the first embodiment of the present disclosure
  • FIG. 11B is a diagram showing the pixel arrangement according to the configuration example 4.
  • a of FIG. 12 is a diagram showing an arrangement of a DVS unit according to an arrangement example 1 in the image pickup apparatus according to the first embodiment of the present disclosure and a connection relationship with an AFE for DVS
  • B of FIG. 12 is an arrangement example 2. It is a figure which shows the arrangement of the DVS unit which concerns on
  • FIG. 13 is a diagram showing an arrangement of a DVS unit according to an arrangement example 3 in the image pickup apparatus according to the first embodiment of the present disclosure and a connection relationship with an AFE for DVS, and B of FIG. 13 is an arrangement example 4. It is a figure which shows the arrangement of the DVS unit which concerns on
  • 14A is a diagram showing an outline of the laminated chip structure according to the configuration example 1
  • FIG. 14B is a diagram showing an outline of the laminated chip structure according to the configuration example 2.
  • FIG. 15 is a diagram showing an outline of the laminated chip structure according to the configuration example 3.
  • FIG. 16 is a block diagram showing an outline of the system configuration of the image pickup apparatus according to the second embodiment of the present disclosure.
  • FIG. 17 is a circuit diagram showing an example of the configuration of a basic pixel circuit of distance measuring pixels.
  • a of FIG. 18 is a schematic view showing a laminated chip structure according to a specific example 1 in the image pickup apparatus according to the second embodiment of the present disclosure
  • B of FIG. 18 is a schematic view showing a laminated chip structure according to the specific example 2.
  • FIG. 19A is a diagram showing a pixel arrangement according to a configuration example 1 in the image pickup apparatus according to the second embodiment of the present disclosure
  • FIG. 19B is a diagram showing a pixel arrangement according to the configuration example 2.
  • FIG. 20A is a diagram showing a pixel arrangement according to a configuration example 3 in the image pickup apparatus according to the second embodiment of the present disclosure
  • FIG. 20B is a diagram showing a pixel arrangement according to the configuration example 4.
  • a of FIG. 21 is a diagram showing an arrangement of a DVS unit according to an arrangement example 1 in an image pickup apparatus according to a second embodiment of the present disclosure and a connection relationship with an AFE for DVS, and B of FIG. 21 is an arrangement example 2. It is a figure which shows the arrangement of the DVS unit which concerns on
  • a of FIG. 22 is a diagram showing an arrangement of a DVS unit according to an arrangement example 3 in an image pickup apparatus according to a second embodiment of the present disclosure and a connection relationship with an AFE for DVS, and B of FIG. 22 is an arrangement example 4. It is a figure which shows the arrangement of the DVS unit which concerns on
  • FIG. 23 is a block diagram showing an outline of the system configuration of the image pickup apparatus according to the third embodiment of the present disclosure.
  • Specific example 1 (example of two-layer structure) 2-2-2.
  • Specific example 2 (example of three-layer structure) 2-3.
  • Configuration example of pixel array section 2-3-1 Configuration Example 1 (Example of arranging units composed of gradation pixels and DVS pixels side by side according to a predetermined rule) 2-3-2.
  • Configuration Example 2 (Example of arranging units including pixels for DVS side by side in units of pixel rows) 2-3-3.
  • Configuration Example 3 (Example of arranging units including pixels for DVS side by side in units of pixel rows) 2-3-4.
  • Configuration example 4 (example of arranging DVS units irregularly) 2-4.
  • Arrangement example 1 (an example in which DVS units are arranged in a square and consist of four DVS pixels) 2-4-2.
  • Arrangement example 2 (an example in which DVS units are arranged side by side in the row direction and consist of four DVS pixels) 2-4-3.
  • Arrangement example 3 (an example in which DVS units are arranged side by side in the column direction and consist of four DVS pixels) 2-4-4.
  • Arrangement example 4 (Example in which the size of the DVS unit is larger than the size of the gradation pixel) 2-5.
  • Configuration example of laminated chip structure 1 (configuration example of global shutter function) 2-5-2.
  • Configuration example of laminated chip structure 2 (configuration example of readout function) 2-5-3.
  • Configuration example 3 of laminated chip structure (configuration example of area AD) 2-6.
  • Imaging device according to the second embodiment (event pixel + ranging pixel) 3-1.
  • System configuration example 3-2. Laminated chip structure 3-2-1.
  • Specific Example 1 (Example of mounting a SPAD element on the upper chip and mounting a quench circuit on the lower chip) 3-2-2.
  • Specific Example 2 (Example in which a quench circuit and a time measuring unit are mounted on the lower chip with a plurality of SPAD elements on the upper chip as a unit) 3-3.
  • Configuration Example 1 (Example of arranging units composed of DVS pixels and ranging pixels in a matrix) 3-3-2.
  • Configuration Example 2 (Example of arranging units including pixels for DVS side by side in units of pixel rows) 3-3-3.
  • Configuration Example 3 (Example of arranging units including pixels for DVS side by side in units of pixel rows) 3-3-4.
  • Configuration example 4 (example of randomly arranging DVS units) 3-4.
  • Imaging device according to the third embodiment (event pixel + gradation pixel + ranging pixel) 5.
  • the event pixel units when a predetermined number of event pixels are used as event pixel units, the event pixel units may be arranged side by side in the pixel array unit according to a predetermined rule. can.
  • the event pixel unit may be configured to be arranged in the pixel array unit by combining a predetermined number of gradation pixels with the pixel unit. .. Further, the event pixel unit may be arranged side by side in a pixel row unit or a pixel column unit in the matrix-shaped pixel array of the pixel array unit.
  • the event pixel units are irregularly arranged in the pixel array unit.
  • the event pixels may be arranged side by side in the event pixel unit according to a predetermined rule. Specifically, the event pixels are arranged in a square, in the row direction of a matrix-like pixel array, or in a column direction in the event pixel unit. Can be done.
  • the size of the event pixel may be larger than the size of the gradation pixel. Further, the number of gradation pixels can be larger than the number of event pixels.
  • the pixel array unit includes reflection from the distance measuring object based on the irradiation light from the light source unit in addition to the event pixel and the gradation pixel. It is possible to have a configuration in which distance measuring pixels including a light receiving element that receives light and generates a signal in response to the light received by a photon are mixed.
  • the semiconductor chip on the second layer may be provided with a quench circuit for controlling the light receiving element corresponding to the distance measuring pixels.
  • the light receiving element of the distance measuring pixel is composed of an avalanche photodiode operating in the Geiger mode, preferably a single photon avalanche diode. can do.
  • the image pickup apparatus has a laminated chip structure in which at least two semiconductor chips, a semiconductor chip of the first layer and a semiconductor chip of the second layer, are laminated.
  • the pixel array unit provided on the first-layer semiconductor chip is configured by mixing event pixels and gradation pixels.
  • the event pixel is a pixel that detects an event in which the amount of change in the brightness of the pixel exceeds a predetermined threshold value as an event occurrence and outputs an event detection signal.
  • the event pixels are used in a non-scanning type (asynchronous type) image pickup device called DVS. Therefore, in the following, the event pixel may be described as a DVS pixel.
  • the gradation pixel outputs a pixel signal having a gradation level according to the amount of incident light.
  • FIG. 1 is a block diagram showing an outline of a system configuration of an image pickup apparatus according to the first embodiment of the present disclosure.
  • the image pickup apparatus 10A has a pixel array unit 11, an access control unit 12, a DVS reading unit 13, a column signal processing unit 14, a DVS signal processing unit 15, and a gradation signal processing. It has a configuration including a unit 16, a timing control unit 17, a time stamp generation unit 18, and output interfaces (I / F) 19A and 19B.
  • the pixel array unit 11 is provided with a gradation circuit 20 and a DVS unit 30 which is an event pixel unit in a mixed state.
  • the gradation circuit 20 includes a gradation pixel 21 and a gradation memory 22 for storing a pixel signal output from the gradation pixel 21.
  • the DVS unit 30 has a predetermined number of DVS pixels 31, for example, four DVS pixels 31 as a unit.
  • the DVS unit 30 processes the selector 32 that selects the event detection signal output from the four DVS pixels 31 and the event detection signal selected by the selector 32. It has an AFE (analog front end) 35 for DVS.
  • the access control unit 12 outputs various drive signals to each gradation pixel 21 of the pixel array unit 11 when reading a pixel signal having a gradation level corresponding to the amount of incident light from the gradation pixel 21. Further, when reading the event detection signal from the DVS pixel 31, the access control unit 12 outputs a row drive signal to each DVS pixel 31 of the pixel array unit 11.
  • the DVS reading unit 13 reads an event detection signal from each DVS pixel 31 of the pixel array unit 11 under the drive of the access control unit 12, and uses the read event detection signal as event data in the DVS signal processing unit 15. Supply.
  • the column signal processing unit 14 has, for example, an analog-digital converter for the number of pixel rows provided for each pixel row of the gradation pixel 21, and the pixel array unit 11 is driven by the access control unit 12.
  • the analog pixel signal (gradation brightness signal) read from each gradation pixel 21 is converted into a digital pixel signal and supplied to the gradation signal processing unit 16.
  • the DVS signal processing unit 15 outputs the event detection signal read from each DVS pixel 31 of the pixel array unit 11 after the DVS reading unit 13 performs signal processing such as adding a time stamp, which will be described later. It is output as event data to the outside of the image pickup apparatus 10A via the interface (I / F) 19A.
  • the gradation signal processing unit 16 performs signal processing such as CDS (Correlated Double Sampling) processing and time stamping, which will be described later, on the digital pixel signal output from the column signal processing unit 14. After the application, the data is output as gradation data to the outside of the image pickup apparatus 10A via the output interface (I / F) 19B.
  • CDS Correlated Double Sampling
  • time stamping which will be described later
  • the timing control unit 17 generates various timing signals, clock signals, control signals, and the like, and performs drive control of the DVS signal processing unit 15, the gradation signal processing unit 16, and the like based on the generated signals. ..
  • the time stamp generation unit 18 represents the relative time of the output timing of the event data and the pixel data with respect to the event data output from the DVS reading unit 13 and the pixel data output from the column signal processing unit 14. Generate a time stamp (time information). The generated time stamp is added to the event data in the DVS signal processing unit 15 and to the pixel data in the gradation signal processing unit 16.
  • FIG. 3 is a circuit diagram showing a specific example of the configuration of the gradation pixel 21.
  • the gradation pixel 21 has, for example, a photodiode 211 as a photoelectric conversion element.
  • the gradation pixel 21 has a transfer transistor 212, a reset transistor 213, an amplification transistor 214, and a selection transistor 215.
  • an N-type MOS type field effect transistor FET is used as the four transistors of the transfer transistor 212, the reset transistor 213, the amplification transistor 214, and the selection transistor 215.
  • FET field effect transistor
  • the combination of the conductive types of the four transistors 212 to 215 exemplified here is only an example, and is not limited to these combinations.
  • a plurality of pixel control lines are commonly wired to each gradation pixel 21 in the same pixel row for the gradation pixel 21. These plurality of pixel control lines are connected to the output end corresponding to each pixel row of the access control unit 12 shown in FIG. 1 in pixel row units.
  • various drive signals specifically, transfer signals for a plurality of pixel control lines.
  • the TRG, the reset signal RST, and the selection signal SEL are output as appropriate.
  • the anode electrode is connected to a low-potential side power supply (for example, ground), and the received light is photoelectrically converted into a light charge (here, a photoelectron) having a charge amount corresponding to the light amount, and the light thereof is converted. Accumulates electric charge.
  • the cathode electrode of the photodiode 211 is electrically connected to the gate electrode of the amplification transistor 214 via the transfer transistor 212.
  • the region in which the gate electrode of the amplification transistor 214 is electrically connected is a floating diffusion (floating diffusion region / impurity diffusion region) FD.
  • the floating diffusion FD is a charge-voltage conversion unit that converts electric charge into voltage.
  • a transfer signal TRG in which a high level (for example, V DD level) is active is given to the gate electrode of the transfer transistor 212 by the access control unit 12.
  • the transfer transistor 212 becomes conductive in response to the transfer signal TRG, is photoelectrically converted by the photodiode 211, and transfers the optical charge stored in the photodiode 211 to the floating diffusion FD.
  • the reset transistor 213 is connected between the node of the high potential side power supply voltage V DD and the floating diffusion FD.
  • a reset signal RST that activates a high level is given to the gate electrode of the reset transistor 213 by the access control unit 12.
  • the reset transistor 213 becomes conductive in response to the reset signal RST, and resets the floating diffusion FD by discarding the charge of the floating diffusion FD to the node of the voltage V DD.
  • the gate electrode is connected to the floating diffusion FD, and the drain electrode is connected to the node of the high potential side power supply voltage VDD.
  • the amplification transistor 214 serves as an input unit for a source follower that reads out a signal obtained by photoelectric conversion in the photodiode 211. That is, in the amplification transistor 214, the source electrode is connected to the signal line VSL via the selection transistor 215.
  • the amplification transistor 214 and the load current source I connected to one end of the signal line VSL form a source follower that converts the voltage of the floating diffusion FD into the potential of the signal line VSL.
  • the drain electrode is connected to the source electrode of the amplification transistor 214, and the source electrode is connected to the signal line VSL.
  • a selection signal SEL that activates a high level is given to the gate electrode of the selection transistor 215 from the access control unit 12.
  • the selection transistor 215 enters a conduction state in response to the selection signal SEL, so that the signal output from the amplification transistor 214 is transmitted to the signal line VSL with the gradation pixel 21 as the selection state.
  • the circuit configuration of the gradation pixel 21 is an example of a 4Tr configuration including a transfer transistor 212, a reset transistor 213, an amplification transistor 214, and a selection transistor 215, that is, four transistors (Tr).
  • the selection transistor 215 may be omitted, and the amplification transistor 214 may have a 3Tr configuration in which the function of the selection transistor 215 is provided. If necessary, the number of transistors may be increased to form a circuit configuration of 5Tr or more. can.
  • FIG. 4 is a circuit diagram showing a specific example of the configuration of the DVS pixel 31.
  • Each of the plurality of (for example, four) DVS pixels 31 constituting the DVS unit 30 has a photoelectric conversion unit 311 and an address event detection unit 312.
  • An arbiter portion 34 is provided as one of the peripheral circuits of the DVS pixel 31.
  • the arbiter unit 34 arbitrates the requests from each of the plurality of DVS pixels 31, and transmits a response based on the arbitration result to the DVS pixels 31.
  • the photoelectric conversion unit 311 has a photoelectric conversion element (light receiving element) 3111 and a control transistor 3112.
  • the control transistor 3112 for example, an N-type MOS (Metal Oxide Semiconductor) transistor can be used.
  • the photoelectric conversion element (light receiving element) 3111 photoelectrically converts the incident light to generate an electric charge having an electric charge corresponding to the amount of the incident light.
  • a transfer signal TRG is supplied to the gate electrode of the control transistor 3112, for example, from the access control unit 12 (see FIG. 1).
  • the control transistor 3112 supplies the charge photoelectrically converted by the photoelectric conversion element 3111 to the address event detection unit 312 in response to the transfer signal TRG.
  • the address event detection unit 312 determines whether or not an address event (hereinafter, may be simply referred to as “event”) has occurred depending on whether or not the amount of change in the photocurrent from the photoelectric conversion unit 3111 exceeds a predetermined threshold value. To detect.
  • the address event includes, for example, an on-event indicating that the amount of change in the photocurrent exceeds the upper limit threshold value and an off-event indicating that the amount of change in the photocurrent has fallen below the lower limit threshold value.
  • the event data (event detection signal) indicating the detection result of the address event is composed of, for example, one bit indicating the detection result of the on event and one bit indicating the detection result of the off event.
  • the address event detection unit 312 When an address event occurs, the address event detection unit 312 supplies a request for transmitting an event detection signal to the arbiter unit 34. Then, when the address event detection unit 312 receives the response to the request from the arbiter unit 34, the address event detection unit 312 supplies the event detection signal (event data) to the DVS reading unit 13.
  • FIG. 5 is a block diagram showing an example of the configuration of the address event detection unit 312. As shown in FIG. 5, the address event detection unit 312 according to this configuration example has a current / voltage conversion unit 3121, a buffer 3122, a subtractor 3123, a quantizer 3124, and a transfer unit 3125.
  • the current-voltage conversion unit 3121 converts the photocurrent from the photoelectric conversion unit 311 of the DVS pixel 31 into a logarithmic voltage signal.
  • the current-voltage conversion unit 3121 supplies the voltage signal converted by the current-voltage conversion unit 3121 to the buffer 3122.
  • the buffer 3122 buffers the voltage signal supplied from the current-voltage conversion unit 3121 and supplies it to the subtractor 3123.
  • a row drive signal is supplied to the subtractor 3123 from the access control unit 12 (see FIG. 1).
  • the subtractor 3123 reduces the level of the voltage signal supplied from the buffer 3122 according to the row drive signal. Then, the subtractor 3123 supplies the voltage signal after the level drop to the quantizer 3124.
  • the quantizer 3124 quantizes the voltage signal supplied from the subtractor 3123 into a digital signal and outputs it to the transfer unit 3125 as an event detection signal (event data).
  • the transfer unit 3125 transfers the event detection signal (event data) supplied from the quantizer 3124 to the arbiter unit 34 or the like.
  • the transfer unit 3125 supplies a request for transmitting an event detection signal to the arbiter unit 34.
  • the transfer unit 3125 receives the response to the request from the arbiter unit 34, the transfer unit 3125 supplies the event detection signal (event data) to the DVS reading unit 13.
  • the DVS reading unit 13 Regarding the reading of the event data from the DVS pixel 31, it is also possible to read a plurality of lines.
  • the image pickup apparatus 10A has a laminated chip structure in which at least two semiconductor chips, a semiconductor chip of the first layer and a semiconductor chip of the second layer, are laminated. A specific example of the laminated chip structure will be described below.
  • Specific example 1 is an example in which the laminated chip structure has a two-layer structure.
  • FIG. 6 shows a schematic diagram of the laminated chip structure according to the specific example 1.
  • the laminated chip structure according to the first embodiment is a two-layer structure in which the first-layer semiconductor chip 41 and the second-layer semiconductor chip 42 are laminated.
  • the semiconductor chip 41 on the first layer is provided with a pixel array unit 11 in which the gradation pixels 21 and the DVS pixels 31 are mixed. That is, the semiconductor chip 41 of the first layer is a pixel chip provided with the gradation pixel 21 and the DVS pixel 31.
  • the second-layer semiconductor chip 42 is provided with a pixel AFE (analog front end) region 44 corresponding to the pixel array unit 11 of the first-layer semiconductor chip 41.
  • the pixel AFE region 44 includes an analog front-end portion for the gradation pixel 21 including the gradation memory 22 (see A in FIG. 2), and a DVS pixel including the DVS AFE35 (see B in FIG. 2).
  • An analog front end portion for 31 is provided corresponding to the gradation pixel 21 and the DVS pixel 31. That is, the second-layer semiconductor chip 42 is a pixel AFE chip provided with the pixel AFE region 44.
  • the second layer semiconductor chip 42 further has an access control unit 12, a DVS reading unit 13, a column signal processing unit 14, a DVS signal processing unit 15, and a gradation signal processing unit 16 in the peripheral region of the pixel AFE region 44. , A timing control unit 17, a time stamp generation unit 18, and the like are provided.
  • the gradation pixels 21 and DVS pixels 31 of the first-layer semiconductor chip 41 and the analog front-end portions of the second-layer semiconductor chip 42 are metal-metal junctions including Cu-Cu junctions and through silicon vias. It is electrically connected via junctions 45A and 45B made of electrodes (Through Silicon Via: TSV), micro bumps, and the like.
  • the correspondence with the analog front end portion 35 for the pixel 31 for DVS will be described.
  • FIG. 7A is a diagram showing the correspondence 1 between the gradation pixel 21 and the DVS pixel 31 of the first layer semiconductor chip 41 and the analog front end portions 25 and 35 of the second layer semiconductor chip 42. be.
  • the DVS unit 30 is configured in the semiconductor chip 41 of the first layer, for example, with four DVS pixels 31 as a unit.
  • the DVS pixel 31 is associated with the analog front end unit 35 for the DVS pixel 31 in the unit of the DVS unit 30.
  • the gradation pixel 21 is associated with the analog front end portion 25 for the gradation pixel 21 on a one-to-one basis.
  • FIG. 7B is a diagram showing the correspondence relationship 2 between the gradation pixel 21 and the DVS pixel 31 of the first layer semiconductor chip 41 and the analog front end portions 25 and 35 of the second layer semiconductor chip 42. be.
  • the DVS unit 30 in the semiconductor chip 41 of the first layer, for example, the DVS unit 30 is composed of four DVS pixels 31, and correspondingly, the gradation pixel 21 also has four.
  • the gradation pixel unit 24 is configured in units of pixels. Then, between the semiconductor chip 41 of the first layer and the semiconductor chip 42 of the second layer, the gradation pixel unit 24 and the DVS unit 30 and the analog front end portions 25 and 35 are arranged one-to-one in unit units. It is associated with.
  • FIG. 8 shows an image diagram of a pixel array of the gradation pixel 21 and the DVS pixel 31.
  • the Bayer arrangement of R (red) / G (green) / B (blue) is exemplified for the gradation pixel 21 of the first layer semiconductor chip 41 which is the upper chip.
  • the DVS pixels 31 are partially arranged in the pixel array of the Bayer array of R / Gr / Gb / B.
  • the number of gradation pixels 21 is larger than the number of DVS pixels 31 which are event pixels. In this way, by arranging a larger number of gradation pixels 21 than the DVS pixels 31, it is possible to improve the image quality of the gradation data.
  • the analog front end portion 35 for the DVS pixel 31 is shared by the four DVS pixels 31 of vertical 2 ⁇ horizontal 2, and is used for the gradation pixel 21.
  • the analog front end portion 25 is electrically connected to the gradation pixel 21 of the upper chip in pixel units to realize a global shutter in the voltage domain.
  • Specific example 2 is an example in which the laminated chip structure has a three-layer structure.
  • FIG. 9 shows a schematic diagram of the laminated chip structure according to Specific Example 2.
  • the laminated chip structure according to the second embodiment is a three-layer structure in which the first-layer semiconductor chip 41, the second-layer semiconductor chip 42, and the third-layer semiconductor chip 43 are laminated. It has become.
  • the semiconductor chip 41 on the first layer is provided with a pixel array unit 11 in which the gradation pixels 21 and the DVS pixels 31 are mixed. That is, the semiconductor chip 41 of the first layer is a pixel chip provided with the gradation pixel 21 and the DVS pixel 31.
  • the second-layer semiconductor chip 42 is provided with a pixel AFE (analog front end) region 44 corresponding to the pixel array unit 11 of the first-layer semiconductor chip 41.
  • the pixel AFE region 44 includes an analog front-end portion for the gradation pixel 21 including the gradation memory 22 (see A in FIG. 2), and a DVS pixel including the DVS AFE35 (see B in FIG. 2).
  • An analog front end portion for 31 is provided corresponding to the gradation pixel 21 and the DVS pixel 31. That is, the second-layer semiconductor chip 42 is a pixel AFE chip provided with the pixel AFE region 44.
  • the third layer semiconductor chip 43 includes an access control unit 12, a DVS reading unit 13, a column signal processing unit 14, a DVS signal processing unit 15, a gradation signal processing unit 16, a timing control unit 17, and a time stamp generation. A portion 18 and the like are provided.
  • the first-layer semiconductor chip 41 and the second-layer semiconductor chip 42 are electrically connected via metal-metal joints including Cu-Cu joints, TSVs, microbumps, and other joint portions 45A and 45B.
  • the second-layer semiconductor chip 42 and the third-layer semiconductor chip 43 are electrically connected via metal-metal joints including Cu-Cu joints, TSVs, microbumps, and other joint portions 45B and 45C. Will be done.
  • the two-layer structure and the three-layer structure are exemplified as the laminated chip structure, but the structure is not limited to the two-layer structure and the three-layer structure, and a laminated chip structure having four or more layers is also possible. Is.
  • Configuration example 1 of the pixel array unit 11 is an example in which units composed of gradation pixels 21 and DVS pixels 31 are arranged side by side in the pixel array unit 11 according to a predetermined rule.
  • the pixel arrangement according to the configuration example 1 is shown in FIG. 10A.
  • the pixel arrangement according to the configuration example 1 is, for example, 12 gradation pixels 21 having 4 pixels (R / Gr / Gb / B) as a unit and DVS having 4 DVS pixels 31 as a unit.
  • the pixel units X in which the units 30 are arranged side by side in a square, are two-dimensionally arranged in a matrix. According to the pixel arrangement according to the configuration example 1, the gradation data and the event data can be associated with each unit.
  • Configuration example 2 is an example in which units including DVS pixels 31 are arranged side by side in units of pixel rows. The pixel arrangement according to the configuration example 2 is shown in B of FIG.
  • the pixel arrangement according to the configuration example 2 is, for example, 12 gradation pixels 21 having 4 pixels (R / Gr / Gb / B) as a unit and DVS having 4 DVS pixels 31 as a unit.
  • Pixel units X in which the units 30 are arranged side by side in a square are arranged side by side in units of pixel rows.
  • the pixel row in which the DVS pixel 31 does not exist that is, there is no defect
  • Configuration example 3 is an example in which units including DVS pixels 31 are arranged side by side in units of pixel rows. The pixel arrangement according to the configuration example 3 is shown in FIG. 11A.
  • the pixel arrangement according to the configuration example 3 is, for example, 12 gradation pixels 21 having 4 pixels (R / Gr / Gb / B) as a unit and DVS having 4 DVS pixels 31 as a unit.
  • Pixel units X in which the units 30 are arranged side by side in a square are arranged side by side in units of pixel rows.
  • the amount of event data included in the pixel row can be made uniform as compared with the case of the pixel arrangement according to the configuration example 2, so that the gradation data (R / G) with stable image quality can be arranged.
  • / B data can be acquired. This point is the same in the case of the pixel arrangement according to the configuration example 1.
  • Configuration example 4 is an example in which the DVS units 30 are arranged irregularly side by side. The pixel arrangement according to the configuration example 4 is shown in B of FIG.
  • the DVS unit 30 having four DVS pixels 31 as a unit is randomly arranged, for example, four DVS pixels 31 are arranged in a square, or the row direction / column. It is configured to be arranged side by side in the direction. According to the pixel arrangement according to the configuration example 4, high-resolution data can be restored as in the compressed sensing.
  • Arrangement example 1 is an example in which the DVS unit 30 is composed of four DVS pixels 31 arranged side by side in a square.
  • the arrangement of the DVS unit 30 according to the arrangement example 1 and the connection relationship with the DVS AFE35 are shown in FIG. 12A.
  • one DVS AFE35 having the size of four rectangular areas of the DVS pixel 31 is associated with the four DVS pixels 31 arranged side by side in a square. I try to connect electrically.
  • Arrangement example 2 is an example in which the DVS units 30 are arranged side by side in the row direction and are composed of four DVS pixels 31.
  • the arrangement of the DVS unit according to the arrangement example 2 and the connection relationship with the AFE35 for DVS are shown in B of FIG.
  • the size of the horizontally long rectangular area of four DVS pixels 31 is large with respect to the four DVS pixels 31 arranged in a horizontally long rectangular shape arranged in the row direction.
  • One DVS AFE35 is associated with each other and electrically connected.
  • Arrangement example 3 is an example in which the DVS units 30 are arranged in a row direction and are composed of four DVS pixels 31.
  • the arrangement of the DVS unit according to the arrangement example 3 and the connection relationship with the DVS AFE35 are shown in FIG. 13A.
  • Arrangement Example 3 of the DVS unit 30 the size of the vertically long rectangular area of four DVS pixels 31 is large with respect to the four DVS pixels 31 arranged in a vertically long rectangular shape arranged in the column direction.
  • One DVS AFE35 is associated with each other and electrically connected.
  • Arrangement example 4 is an example in which the size of the DVS unit 30 is larger than the size of the gradation pixel 21.
  • the arrangement of the DVS unit according to the arrangement example 4 and the connection relationship with the AFE35 for DVS are shown in B of FIG.
  • the size of the DVS unit 30 is configured to be larger than the size of the gradation pixel 21, for example, the size of four DVS pixels 31 arranged side by side in a square. is doing.
  • one DVS AFE35 having the same size as the DVS unit 30 is associated with the DVS unit 30 and electrically connected to the DVS unit 30.
  • Configuration example 1 of the laminated chip structure is a configuration example of the global shutter function.
  • the outline of the laminated chip structure according to the configuration example 1 is shown in FIG. 14A.
  • the photodiode 211, the transfer transistor 212, and the buffer 216 are two-dimensionally arranged in a matrix for each pixel on the semiconductor chip 41 of the first layer, which is the upper chip.
  • a data processing unit 217 or the like that processes a signal component (so-called D-phase data) and a reset component (so-called P-phase data) is mounted on the second-layer semiconductor chip 42, which is the lower chip, corresponding to the pixels. Will be done.
  • Configuration example 2 of the laminated chip structure is a configuration example of the reading function.
  • the outline of the laminated chip structure according to the configuration example 2 is shown in A of FIG.
  • the photodiode 211 and the transfer transistor 212 are two-dimensionally arranged in a matrix for each pixel on the semiconductor chip 41 of the first layer, which is the upper chip.
  • a reset transistor 213, an amplification transistor 214, a selection transistor 215, and the like are mounted on the second layer semiconductor chip 42, which is the lower chip, corresponding to the pixels.
  • Configuration example 3 of the laminated chip structure is a configuration example of the area AD.
  • FIG. 15 shows an outline of the laminated chip structure according to the configuration example 3.
  • the gradation pixels 21 having the circuit configuration shown in FIG. 3 are two-dimensionally arranged in a matrix on the semiconductor chip 41 of the first layer, which is the upper chip.
  • an analog-to-digital converter (ADC) 141 is mounted on the second-layer semiconductor chip 42, which is a lower chip, corresponding to the gradation pixels 21 arranged in two dimensions.
  • ADC analog-to-digital converter
  • the image pickup apparatus 10A according to the first embodiment has a configuration in which the gradation pixel 21 and the event pixel DVS pixel 31 are mixed in the pixel array unit 11. Therefore, according to the image pickup apparatus 10A according to the first embodiment, not only the event detection signal (event data) indicating the occurrence of an event but also the pixel signal (gradation data) having a gradation level according to the amount of incident light is obtained. Can be output.
  • the image pickup apparatus 10A according to the first embodiment not only the event detection signal (event data) indicating the occurrence of an event but also the pixel signal (gradation data) having a gradation level according to the amount of incident light is obtained. Can be output.
  • the image pickup apparatus 10A according to the first embodiment not only the event detection signal (event data) indicating the occurrence of an event but also the pixel signal (gradation data) having a gradation level according to the amount of incident light is obtained. Can be output.
  • the gradation pixel 21 is used. Imaging can be realized
  • the image pickup apparatus has a laminated chip structure in which at least two semiconductor chips, a semiconductor chip of the first layer and a semiconductor chip of the second layer, are laminated, and the semiconductor chip of the first layer is formed.
  • the pixel array unit provided in the above is configured to have a mixture of event pixels and ranging pixels.
  • the distance measuring pixel is a pixel including a light receiving element (photodetection element) that receives reflected light from a distance measuring object based on the irradiation light from the light source unit and generates a signal in response to the light reception of photons.
  • a light receiving element that generates a signal in response to light reception of a photon
  • a SPAD (Single Photon Avalanche Diode) element can be exemplified.
  • the SPAD element operates in a region called Geiger mode where there is no DC-like stable point in which the element is operated with a reverse voltage exceeding the breakdown voltage (yield voltage).
  • the SPAD element is exemplified here as the light receiving element of the pixel, it is not limited to the SPAD element. That is, as the light receiving element, in addition to the SPAD element, various elements operating in the Geiger mode such as APD (avalanche photodiode) and SiPM (silicon photomultiplier) can be used.
  • APD active photodiode
  • SiPM silicon photomultiplier
  • FIG. 16 is a block diagram showing an outline of the system configuration of the image pickup apparatus according to the second embodiment of the present disclosure.
  • the image pickup apparatus 10B includes a pixel array unit 11, an access control unit 12, a DVS reading unit 13, a DVS signal processing unit 15, a timing control unit 17, a time stamp generation unit 18, and an output interface (I). / F) In addition to 19A, it has a time-to-digital converter (TDC) 61, a distance measuring signal processing unit 62, and an output interface 19C.
  • TDC time-to-digital converter
  • the pixel array unit 11 is provided with a DVS unit 30 and a distance measuring pixel 50 in a mixed state.
  • the DVS unit 30 it is possible to use the one having the configuration exemplified in the first embodiment (see B in FIG. 2) including the DVS pixel 31 which is an event pixel.
  • FIG. 17 shows an example of the configuration of the basic pixel circuit of the distance measuring pixel 50.
  • the distance measuring pixel 50 has, for example, a SPAD element 51 as a light receiving element, a quench circuit 52, and a readout circuit 53.
  • the cathode electrode is connected to the first power supply, and the anode electrode is connected to the second power supply via the quench circuit 52.
  • a large voltage at which avalanche multiplication occurs that is, a voltage equal to or higher than the breakdown voltage is applied to the cathode electrode of the SPAD element 51 from the first power supply.
  • the quench circuit 52 stops the avalanche multiplication by lowering the voltage between the terminals of the SPAD element 51, that is, the voltage between the cathode electrode and the anode electrode, below the breakdown voltage of the PN diode. This operation is a so-called quenching operation.
  • the readout circuit 53 is composed of, for example, a CMOS inverter circuit including a P-type MOS transistor Q p and an N-type MOS transistor Q n , and detects the reaction edge of the MOSFET element 51.
  • the detection output of the readout circuit 53 is supplied to the time measurement unit (TDC) 61 shown in FIG. 16 as a SPAD output (pixel output).
  • the image pickup apparatus 10B includes a pixel 31 for DVS, a configuration capable of acquiring event information, and a distance measuring element 51 including a SPAD element 51 that generates a signal in response to light reception of photons. It is equipped with a pixel 50 and is configured to be capable of measuring the distance to the object to be measured (subject).
  • a measuring method for measuring the distance to the distance measuring object for example, ToF which measures the time until the light emitted from the light source unit toward the distance measuring object is reflected by the distance measuring object and returns.
  • the (Time of Flight) method can be adopted.
  • a light source unit 70 for irradiating light toward a distance measuring object is provided as an external device of the image pickup apparatus 10B according to the second embodiment.
  • a distance measuring device (system) can be configured by combining the image pickup device 10B and the light source unit 70 according to the second embodiment.
  • the light source unit 70 is composed of, for example, a semiconductor laser, and is driven by a laser drive unit (not shown) to irradiate a laser beam toward a measurement target (subject).
  • the irradiation laser light from the light source unit 70 is reflected by the object to be measured (subject), and the reflected light is incident on the distance measuring pixel 50 including the SPAD element 51.
  • the time measuring unit (TDC) 61 is based on the SPAD output output from the distance measuring pixel 50, and the time until the laser beam emitted toward the measurement object is reflected by the measurement object and returned. To measure.
  • the time measurement is executed a plurality of times, and the time is measured by detecting the position of the peak of the ToF histogram obtained by accumulating the times measured a plurality of times.
  • a method of measuring the time a method of measuring the time from the timing of irradiating the laser beam from the light source unit 70 toward the object to be measured to the timing of receiving the reflected light from the object to be measured by the distance measuring pixel 50 is used. It can be exemplified.
  • pulsed light is irradiated from the light source unit 70 at a predetermined cycle, the cycle when the distance measuring pixel 50 receives the pulsed light is detected, and the emission cycle and the light receiving cycle are defined.
  • a method of measuring time from a phase difference can be exemplified.
  • the measurement result of the time measuring unit 61 is supplied to the distance measuring signal processing unit 62.
  • the range-finding signal processing unit 62 performs predetermined signal processing on the measurement result of the time measurement unit 61, and then outputs the range-finding data via the output interface 19C.
  • the image pickup apparatus 10B according to the second embodiment for convenience, the pixel array unit 11, the access control unit 12, the DVS reading unit 13, the time measuring unit 61, the DVS signal processing unit 15, and the distance measuring unit are used.
  • the signal processing unit 62, the timing control unit 17, the time stamp generation unit 18, and the like are shown as a flat structure arranged in a plane.
  • the image pickup apparatus 10B according to the second embodiment is formed by stacking at least two semiconductor chips, that is, a semiconductor chip of the first layer and a semiconductor chip of the second layer, similarly to the image pickup apparatus 10A according to the first embodiment. It has a laminated chip structure.
  • the laminated chip structure is not limited to the two-layer structure, and the three or more layers are the same as in the case of the image pickup apparatus 10A according to the first embodiment. It is also possible to have a laminated chip structure of.
  • Specific Example 1 is an example in which the SPAD element 51 is mounted on the semiconductor chip 41 of the first layer, which is the upper chip, and the quench circuit 52 is mounted on the semiconductor chip 42 of the second layer, which is the lower chip.
  • a schematic diagram of the laminated chip structure according to Specific Example 1 is shown in FIG. 18A.
  • the laminated chip structure according to the first embodiment it is a lower chip with respect to the SPAD element 51 arranged in an array on the first layer semiconductor chip 41 which is the upper chip.
  • a quench circuit 52 and a read circuit 53 that control the quench operation of the SPAD element 51 are mounted on the semiconductor chip 42 of the second layer in a one-to-one correspondence.
  • the quench circuit 52 and the time measuring unit (TDC) 61 are attached to the semiconductor chip 42 of the second layer, which is the lower chip, in units of the plurality of SPAD elements 51 on the semiconductor chip 41 of the first layer, which is the upper chip. This is an example of mounting.
  • a schematic diagram of the laminated chip structure according to Specific Example 2 is shown in FIG. 18B.
  • the lower chip is a unit of a plurality of SPAD elements 51 arranged in an array on the first layer semiconductor chip 41 which is the upper chip.
  • the quench circuit 52, the readout circuit 53, and the time measurement unit (TDC) 61 are mounted on the second-layer semiconductor chip 42 with a one-to-one correspondence.
  • Configuration example 1 of the pixel array unit 11 is an example in which units composed of the DVS pixels 31 and the SPAD element 51 are arranged in a matrix.
  • the pixel arrangement according to the configuration example 1 is shown in A of FIG.
  • a pixel unit X in which four DVS pixels 31 and a DVS unit 30 having 12 SPAD elements 51 as a unit are arranged side by side in a square is formed in a matrix. It has a two-dimensional arrangement. According to the pixel arrangement according to the configuration example 1, the distance measurement data and the event data can be associated with each unit.
  • Configuration example 2 is an example in which units including DVS pixels 31 are arranged side by side in units of pixel rows. The pixel arrangement according to the configuration example 2 is shown in B of FIG.
  • a pixel unit X in which four DVS pixels 31 and a DVS unit 30 having 12 SPAD elements 51 as a unit are arranged in a square is arranged in a pixel row. It is configured to be arranged side by side in units. According to the pixel arrangement according to the configuration example 2, when the SPAD element 51 is accessed, the pixel row in which the DVS pixel 31 does not exist (that is, there is no defect) can be selected.
  • Configuration Example 3 is an example in which units including DVS pixels 31 are arranged side by side in units of pixel rows. The pixel arrangement according to the configuration example 3 is shown in FIG. 20A.
  • a pixel unit X in which four DVS pixels 31 and a DVS unit 30 having 12 SPAD elements 51 as a unit are arranged in a square are arranged in a pixel row. It is configured to be arranged side by side in units.
  • the amount of event data included in the pixel row can be made uniform as compared with the case of the pixel arrangement according to the configuration example 2, so that the gradation data (R / G) with stable image quality can be arranged. / B data) can be acquired. This point is the same in the case of the pixel arrangement according to the configuration example 1.
  • Configuration example 4 is an example in which the DVS units 30 are randomly arranged.
  • the pixel arrangement according to the configuration example 4 is shown in B of FIG.
  • the DVS unit 30 having four DVS pixels 31 as a unit is randomly arranged, for example, four DVS pixels 31 are arranged in a square, or the row direction / column. It is configured to be arranged side by side in the direction. According to the pixel arrangement according to the configuration example 4, high-resolution data can be restored as in the compressed sensing.
  • Arrangement example 1 is an example in which the DVS unit 30 is composed of four DVS pixels 31 arranged side by side in a square.
  • the arrangement of the DVS unit 30 according to the arrangement example 1 and the connection relationship with the DVS AFE35 are shown in FIG. 21A.
  • one DVS AFE35 having the size of four rectangular areas of the DVS pixel 31 is associated with the four DVS pixels 31 arranged side by side in a square. I try to connect electrically.
  • Arrangement example 2 is an example in which the DVS units 30 are arranged side by side in the row direction and are composed of four DVS pixels 31.
  • the arrangement of the DVS unit according to the arrangement example 2 and the connection relationship with the DVS AFE35 are shown in FIG. 21B.
  • the size of the horizontally long rectangular area of four DVS pixels 31 is large with respect to the four DVS pixels 31 arranged in a horizontally long rectangular shape arranged in the row direction.
  • One DVS AFE35 is associated with each other and electrically connected.
  • Arrangement example 3 is an example in which the DVS units 30 are arranged in a row direction and are composed of four DVS pixels 31.
  • the arrangement of the DVS unit according to the arrangement example 3 and the connection relationship with the DVS AFE35 are shown in FIG. 22A.
  • Arrangement Example 3 of the DVS unit 30 the size of the vertically long rectangular area of four DVS pixels 31 is large with respect to the four DVS pixels 31 arranged in a vertically long rectangular shape arranged in the column direction.
  • One DVS AFE35 is associated with each other and electrically connected.
  • the arrangement example 4 is an example in which the size of the DVS unit 30 is larger than the size of the distance measuring pixel 50 including the SPAD element 51.
  • the arrangement of the DVS unit according to the arrangement example 4 and the connection relationship with the DVS AFE35 are shown in FIG. 22B.
  • the size of the DVS unit 30 is larger than the size of the distance measuring pixel 50 including the SPAD element 51, for example, four DVS pixels 31 arranged side by side in a square. It is configured as a size of size.
  • one DVS AFE35 having the same size as the DVS unit 30 is associated with the DVS unit 30 and electrically connected to the DVS unit 30.
  • the image pickup apparatus 10B according to the second embodiment has a configuration in which a DVS pixel 31 which is an event pixel and a distance measuring pixel 50 including a SPAD element 51 are mixed. Therefore, according to the image pickup apparatus 10B according to the second embodiment, it is possible to output not only event data indicating the occurrence of an event but also distance measurement data which is distance information to a measurement object (subject). As a result, for example, a moving object is detected by the pixel 31 for DVS, and only the detected moving object is subjected to distance measurement based on the distance measurement data, as compared with the case where distance measurement is performed for all subjects. , It is possible to realize distance measurement with low power consumption.
  • the image pickup apparatus has a laminated chip structure in which at least two semiconductor chips, a semiconductor chip of the first layer and a semiconductor chip of the second layer, are laminated, and the semiconductor chip of the first layer is formed.
  • the pixel array unit provided in the above, event pixels, gradation pixels, and distance measuring pixels are mixed. That is, the image pickup apparatus according to the third embodiment of the present disclosure has a configuration in which the configuration of the image pickup apparatus according to the first embodiment and the configuration of the image pickup apparatus according to the second embodiment are combined.
  • FIG. 23 is a block diagram showing an outline of the system configuration of the image pickup apparatus according to the third embodiment of the present disclosure.
  • the image pickup apparatus 10C according to the third embodiment includes a pixel array unit 11, an access control unit 12, a DVS reading unit 13, a column signal processing unit 14, a DVS signal processing unit 15, a gradation signal processing unit 16, and a timing control unit 17. , A time stamp generation unit 18, and output interfaces 19A and 19B.
  • the image pickup apparatus 10C according to the third embodiment further includes a time measurement unit (TDC) 61, a distance measurement signal processing unit 62, and an output interface 19C.
  • TDC time measurement unit
  • 62 distance measurement signal processing unit
  • output interface 19C This is the configuration of the image pickup apparatus 10B according to the second embodiment shown in FIG.
  • the image pickup apparatus 10C according to the third embodiment includes a DVS pixel 31 which is an event pixel, a DVS pixel 31 which is an event pixel, and a distance measuring pixel 50 including a SPAD element 51. It has a mixed structure. Therefore, according to the image pickup apparatus 10C according to the third embodiment, not only the event data indicating the occurrence of the event but also the pixel signal (gradation data) of the gradation level according to the amount of incident light and the measurement object. Distance measurement data, which is distance information to (subject), can be output.
  • the action and effect of the first embodiment and the action and effect of the second embodiment can be obtained.
  • the gradation pixel 21 can be used without motion blur even in a dark environment.
  • imaging such as acquiring gradation data having excellent S / N.
  • the distance is measured for all subjects as compared with the case where the distance is measured. Distance measurement with low power consumption can be realized.
  • the technique according to the present disclosure has been described above based on the preferred embodiment, the technique according to the present disclosure is not limited to the embodiment.
  • the configuration and structure of the image pickup apparatus according to the third embodiment in which the pixels for gradation, the pixels for gradation, and the pixels for distance measurement are mixed are examples, and can be changed as appropriate.
  • the image pickup device according to the first embodiment, the image pickup device according to the second embodiment, or the image pickup device according to the third embodiment has various types of sensing light such as visible light, infrared light, ultraviolet light, and X-ray. Can be used for equipment. Specific examples of various devices are listed below.
  • Devices that take images for viewing such as digital cameras and portable devices with camera functions.
  • Devices used for traffic such as in-vehicle sensors that capture images of the rear, surroundings, and interior of vehicles, surveillance cameras that monitor traveling vehicles and roads, and distance measuring sensors that measure distance between vehicles.
  • Equipment used in home appliances such as TVs, refrigerators, and air conditioners to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, devices that perform angiography by receiving infrared light, etc.
  • Equipment used for medical and healthcare purposes ⁇ Equipment used for security such as surveillance cameras for crime prevention and cameras for person authentication ⁇ Skin measuring instruments for taking pictures of the skin and taking pictures of the scalp Equipment used for beauty such as microscopes ⁇ Equipment used for sports such as action cameras and wearable cameras for sports applications ⁇ Camera for monitoring the condition of fields and crops, etc.
  • Equipment used for agriculture ⁇ Equipment used for medical and healthcare purposes
  • Equipment used for security such as surveillance cameras for crime prevention and cameras for person authentication
  • Skin measuring instruments for taking pictures of the skin and taking pictures of the scalp Equipment used for beauty such as microscopes
  • Equipment used for sports such as action cameras and wearable cameras for sports applications
  • Camera for monitoring the condition of fields and crops, etc.
  • Equipment used for agriculture ⁇ Equipment used for agriculture
  • the present disclosure may also have the following configuration.
  • A. Imaging device ⁇ [A-01] It has a laminated chip structure in which at least two semiconductor chips, a semiconductor chip of the first layer and a semiconductor chip of the second layer, are laminated. In the semiconductor chip of the first layer, an event in which the amount of change in the brightness of the pixel exceeds a predetermined threshold value is detected as the occurrence of an event, and the event pixel that outputs the event detection signal and the amount of incident light correspond to the light amount.
  • a pixel array section is provided in which gradation pixels that output gradation level pixel signals are mixed.
  • the analog front-end portion of the event pixel that processes the event detection signal and the analog front-end portion of the gradation pixel that processes the pixel signal are the event pixel and the gradation pixel, respectively. It is provided corresponding to Imaging device.
  • the event pixel units are arranged side by side in the pixel array unit according to a predetermined rule.
  • the image pickup apparatus according to the above [A-01].
  • the event pixel unit is arranged in the pixel array unit as a pixel unit in combination with a predetermined number of gradation pixels.
  • the event pixel units are arranged side by side in units of pixel rows in the matrix-like pixel array of the pixel array unit.
  • the event pixel units are arranged side by side in a pixel array unit in the matrix-like pixel array of the pixel array unit.
  • [A-06] When a predetermined number of event pixels are used as an event pixel unit, The event pixel units are arranged irregularly in the pixel array section.
  • [A-07] The event pixels are arranged side by side in the event pixel unit according to a predetermined rule.
  • the image pickup apparatus according to the above [A-02].
  • A-08 The event pixels are arranged side by side in a square in the event pixel unit.
  • A-09 The event pixels are arranged side by side in the row direction of the matrix-shaped pixel array in the event pixel unit.
  • A-10 The event pixels are arranged side by side in the column direction of the matrix-shaped pixel array in the event pixel unit.
  • [A-11] The size of the event pixel is larger than the size of the gradation pixel.
  • the number of gradation pixels is larger than the number of event pixels.
  • the imaging device according to any one of the above [A-01] to the above [A-11].
  • the pixel array unit receives reflected light from the distance measuring object based on the irradiation light from the light source unit, and receives a signal in response to the light reception of photons. Pixels for distance measurement including light receiving elements that are generated are mixed.
  • the image pickup apparatus according to the above [A-01].
  • a quench circuit for controlling a light receiving element is provided on the second layer semiconductor chip corresponding to the distance measuring pixel.
  • the image pickup apparatus according to the above [A-13].
  • the light receiving element of the distance measuring pixel is composed of an avalanche photodiode operating in Geiger mode.
  • the light receiving element of the distance measuring pixel is composed of a single photon avalanche diode.
  • Imaging devices ⁇ [B-01] It has a laminated chip structure in which at least two semiconductor chips, a semiconductor chip of the first layer and a semiconductor chip of the second layer, are laminated.
  • an event in which the amount of change in the brightness of the pixel exceeds a predetermined threshold value is detected as an event occurrence, and the event pixel that outputs the event detection signal and the irradiation light from the light source unit are used.
  • a pixel array unit is provided in which distance measuring pixels including a light receiving element that receives reflected light from a distance measuring object and generates a signal in response to light received by a photon are mixed.
  • the analog front-end portion of the event pixel that processes the event detection signal and the analog front-end portion of the distance measuring pixel that processes the signal of the light receiving element are the event pixel and the distance measuring. It is provided corresponding to each of the pixels.
  • Imaging device. [B-02] The semiconductor chip on the second layer is provided with a quench circuit for controlling a light receiving element corresponding to the distance measuring pixel.
  • the light receiving element of the distance measuring pixel is composed of an avalanche photodiode operating in Geiger mode.
  • the light receiving element of the distance measuring pixel is composed of a single photon avalanche diode.
  • DVS AFE analog front end
  • 41 ... 1 Phase semiconductor chip 42 ... 2nd phase semiconductor chip, 43 ... 3rd phase semiconductor chip, 50 ... ranging circuit, 51 ... SPAD element, 52 ... quench circuit , 53 ... Read circuit, 61 ... Time measurement unit (TDC), 62 ... Distance measurement signal processing unit, 70 ... Light source unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、階調レベルの画素信号など、イベント検出信号以外の信号を出力することができる撮像装置を提供する。 本開示の撮像装置は、１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有する。１層目の半導体チップには、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力するイベント用画素、及び、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子を含む測距用画素が混在する画素アレイ部が設けられている。２層目の半導体チップには、イベント検出信号を処理するイベント用画素のアナログフロントエンド部、及び、受光素子の信号を処理する測距用画素のアナログフロントエンド部が、イベント用画素及び測距用画素のそれぞれに対応して設けられている。

Description

撮像装置
　本開示は、撮像装置に関する。
　垂直同期信号などの同期信号に同期して撮像を行う走査型（同期型）の撮像装置に対して、ＤＶＳ（Dynamic Vision Sensor）と呼ばれる非走査型（非同期型）の撮像装置がある（例えば、特許文献１参照）。非走査型の撮像装置は、入射光を光電変換する画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力する。
ＷＯ　２０１９／０８７４７１　Ａ１
　ＤＶＳと呼ばれる非走査型（非同期型）の撮像装置には、イベントの発生を検出することによって、被写体の動き（動体）を検出することができるだけでなく、入射光の光量に応じた階調レベルの画素信号など、イベント検出信号以外の信号を出力できることが望まれる。
　本開示は、イベントの発生を示すイベント検出信号の他に、入射光の光量に応じた階調レベルの画素信号など、イベント検出信号以外の信号を出力することができる撮像装置を提供することを目的とする。
　上記の目的を達成するための本開示の撮像装置は、
　１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、
　１層目の半導体チップには、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力するイベント用画素、及び、入射光の光量に応じた階調レベルの画素信号を出力する階調用画素が混在する画素アレイ部が設けられており、
　２層目の半導体チップには、イベント検出信号を処理するイベント用画素のアナログフロントエンド部、及び、画素信号を処理する階調用画素のアナログフロントエンド部が、イベント用画素及び階調用画素のそれぞれに対応して設けられている。
　上記の目的を達成するための本開示の他の撮像装置は、
　１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、
　１層目の半導体チップには、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力するイベント用画素、及び、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子を含む測距用画素が混在する画素アレイ部が設けられており、
　２層目の半導体チップには、イベント検出信号を処理するイベント用画素のアナログフロントエンド部、及び、受光素子の信号を処理する測距用画素のアナログフロントエンド部が、イベント用画素及び測距用画素のそれぞれに対応して設けられている。
図１は、本開示の第１実施形態に係る撮像装置のシステム構成の概略を示すブロック図である。 図２のＡは、階調用回路の構成の一例を示すブロック図であり、図２のＢは、ＤＶＳユニットの構成の一例を示すブロック図である。 図３は、階調用画素の構成の一具体例を示す回路図である。 図４は、ＤＶＳ用画素の構成の一具体例を示す回路図である。 図５は、アドレスイベント検出部の構成の一例を示すブロック図である。 図６は、本開示の第１実施形態に係る撮像装置における具体例１に係る積層チップ構造を示す概略図である。 図７のＡは、１層目の半導体チップの階調用画素及びＤＶＳ用画素と、２層目の半導体チップの各アナログフロントエンド部との対応関係１を示す図であり、図７のＢは、その対応関係２を示す図である。 図８は、階調用画素及びＤＶＳ用画素の画素アレイを示すイメージ図である。 図９は、本開示の第１実施形態に係る撮像装置における具体例２に係る積層チップ構造を示す概略図である。 図１０のＡは、本開示の第１実施形態に係る撮像装置における構成例１に係る画素配置を示す図であり、図１０のＢは、構成例２に係る画素配置を示す図である。 図１１のＡは、本開示の第１実施形態に係る撮像装置における構成例３に係る画素配置を示す図であり、図１１のＢは、構成例４に係る画素配置を示す図である。 図１２のＡは、本開示の第１実施形態に係る撮像装置における配置例１に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図であり、図１２のＢは、配置例２に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図である。 図１３のＡは、本開示の第１実施形態に係る撮像装置における配置例３に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図であり、図１３のＢは、配置例４に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図である。 図１４のＡは、構成例１に係る積層チップ構造の概略を示す図であり、図１４のＢは、構成例２に係る積層チップ構造の概略を示す図である。 図１５は、構成例３に係る積層チップ構造の概略を示す図である。 図１６は、本開示の第２実施形態に係る撮像装置のシステム構成の概略を示すブロック図である。 図１７は、測距用画素の基本的な画素回路の構成の一例を示す回路図である。 図１８のＡは、本開示の第２実施形態に係る撮像装置における具体例１に係る積層チップ構造を示す概略図であり、図１８のＢは、具体例２に係る積層チップ構造を示す概略図である。 図１９のＡは、本開示の第２実施形態に係る撮像装置における構成例１に係る画素配置を示す図であり、図１９のＢは、構成例２に係る画素配置を示す図である。 図２０のＡは、本開示の第２実施形態に係る撮像装置における構成例３に係る画素配置を示す図であり、図２０のＢは、構成例４に係る画素配置を示す図である。 図２１のＡは、本開示の第２実施形態に係る撮像装置における配置例１に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図であり、図２１のＢは、配置例２に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図である。 図２２のＡは、本開示の第２実施形態に係る撮像装置における配置例３に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図であり、図２２のＢは、配置例４に係るＤＶＳユニットの配置及びＤＶＳ用ＡＦＥとの接続関係を示す図である。 図２３は、本開示の第３実施形態に係る撮像装置のシステム構成の概略を示すブロック図である。
　以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像装置、全般に関する説明
２．第１実施形態に係る撮像装置（イベント用画素＋階調用画素）
　２－１．システム構成例
　　２－１－１．階調用画素の構成例
　　２－１－２．ＤＶＳ用画素の構成例
　　２－１－３．アドレスイベント検出部の構成例
　２－２．積層チップ構造
　　２－２－１．具体例１（２層構造の例）
　　２－２－２．具体例２（３層構造の例）
　２－３．画素アレイ部の構成例
　　２－３－１．構成例１（階調用画素とＤＶＳ用画素とで構成されるユニットを所定の規則に従って並べて配置する例）
　　２－３－２．構成例２（ＤＶＳ用画素を含むユニットを画素行の単位で並べて配置する例）
　　２－３－３．構成例３（ＤＶＳ用画素を含むユニットを画素列の単位で並べて配置する例）
　　２－３－４．構成例４（ＤＶＳ用ユニットを不規則に並べて配置する例）
　２－４．ＤＶＳユニットの配置例
　　２－４－１．配置例１（ＤＶＳユニットが正方形に並べて配置された４個のＤＶＳ用画素から成る例）
　　２－４－２．配置例２（ＤＶＳユニットが行方向に並べて配置された４個のＤＶＳ用画素から成る例）
　　２－４－３．配置例３（ＤＶＳユニットが列方向に並べて配置された４個のＤＶＳ用画素から成る例）
　　２－４－４．配置例４（ＤＶＳユニットのサイズが階調用画素のサイズよりも大きい例）
　２－５．階調用画素の場合の積層チップ構造の構成例
　　２－５－１．積層チップ構造の構成例１（グローバルシャッタ機能の構成例）
　　２－５－２．積層チップ構造の構成例２（読出し機能の構成例）
　　２－５－３．積層チップ構造の構成例３（エリアＡＤの構成例）
　２－６．第１実施形態の作用、効果
３．第２実施形態に係る撮像装置（イベント用画素＋測距用画素）
　３－１．システム構成例
　３－２．積層チップ構造
　　３－２－１．具体例１（上チップにＳＰＡＤ素子を搭載し、下チップにクエンチ回路を搭載する例）
　　３－２－２．具体例２（上チップ上の複数のＳＰＡＤ素子を単位として、下チップにクエンチ回路及び時間計測部を搭載する例）
　３－３．画素アレイ部の構成例
　　３－３－１．構成例１（ＤＶＳ用画素と測距用画素で構成されるユニットを行列状に配置する例）
　　３－３－２．構成例２（ＤＶＳ用画素を含むユニットを画素行の単位で並べて配置する例）
　　３－３－３．構成例３（ＤＶＳ用画素を含むユニットを画素列の単位で並べて配置する例）
　　３－３－４．構成例４（ＤＶＳ用ユニットをランダムに配置する例）
　３－４．第２実施形態の作用、効果
４．第３実施形態に係る撮像装置（イベント用画素＋階調用画素＋測距用画素）
５．変形例
６．応用例
７．本開示がとることができる構成
＜本開示の撮像装置、全般に関する説明＞
　本開示の撮像装置にあっては、所定の数のイベント用画素をイベント画素ユニットとするとき、イベント画素ユニットについて、画素アレイ部内において、所定の規則に従って並んで配置されている構成とすることができる。
　上述した好ましい構成を含む本開示の撮像装置にあっては、イベント画素ユニットについて、所定の数の階調用画素との組み合わせを画素ユニットとして、画素アレイ部内に配置されている構成とすることができる。また、イベント画素ユニットについて、画素アレイ部の行列状の画素配列において、画素行の単位、あるいは、画素列の単位で並んで配置されている構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置にあっては、所定の数のイベント用画素をイベント画素ユニットとするとき、イベント画素ユニットについて、不規則に並んで画素アレイ部内に配置されている構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置にあっては、イベント用画素について、イベント画素ユニット内において、所定の規則に従って並んで配置されている構成とすることができる。具体的には、イベント用画素について、イベント画素ユニット内において、正方形に並んで、あるいは、行列状の画素配列の行方向に並んで、あるいは、列方向に並んで配置されている構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置にあっては、イベント用画素のサイズについて、階調用画素のサイズよりも大きい構成とすることができる。また、階調用画素の数について、イベント用画素の数よりも多い構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置にあっては、画素アレイ部には、イベント画素及び階調画素の他に、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子を含む測距用画素が混在している構成とすることができる。そして、２層目の半導体チップには、受光素子を制御するクエンチ回路が、測距用画素に対応して設けられている構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置にあっては、測距用画素の受光素子について、ガイガーモードで動作するアバランシェフォトダイオードから成る、好ましくは、単一光子アバランシェダイオードから成る構成とすることができる。
＜第１実施形態に係る撮像装置＞
　本開示の第１実施形態に係る撮像装置は、１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有している。そして、１層目の半導体チップに設けられる画素アレイ部に、イベント用画素と階調用画素とを混在させた構成となっている。
　ここで、イベント用画素は、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力する画素である。イベント用画素は、ＤＶＳと呼ばれる非走査型（非同期型）の撮像装置で用いられる。従って、以下では、イベント用画素について、ＤＶＳ用画素と記述する場合がある。階調用画素は、入射光の光量に応じた階調レベルの画素信号を出力する。
［システム構成例］
　図１は、本開示の第１実施形態に係る撮像装置のシステム構成の概略を示すブロック図である。
　図１に示すように、第１実施形態に係る撮像装置１０Ａは、画素アレイ部１１、アクセス制御部１２、ＤＶＳ読出し部１３、カラム信号処理部１４、ＤＶＳ用信号処理部１５、階調用信号処理部１６、タイミング制御部１７、タイムスタンプ生成部１８、及び、出力インタフェース（Ｉ／Ｆ）１９Ａ，１９Ｂを有する構成となっている。
　画素アレイ部１１には、階調用回路２０と、イベント画素ユニットであるＤＶＳユニット３０とが混在した状態で設けられている。階調用回路２０は、図２のＡに示すように、階調用画素２１、及び、階調用画素２１から出力される画素信号を記憶する階調用メモリ２２から構成されている。ＤＶＳユニット３０は、図２のＢに示すように、所定の数のＤＶＳ用画素３１、例えば４個のＤＶＳ用画素３１を単位として有している。ＤＶＳユニット３０は、４個のＤＶＳ用画素３１の他に、４個のＤＶＳ用画素３１から出力されるイベント検出信号を選択するセレクタ３２、及び、セレクタ３２で選択されたイベント検出信号を処理するＤＶＳ用ＡＦＥ（アナログフロントエンド）３５を有している。
　アクセス制御部１２は、階調用画素２１から、入射光の光量に応じた階調レベルの画素信号を読み出す際に、画素アレイ部１１の各階調用画素２１に対して各種の駆動信号を出力する。アクセス制御部１２は、更に、ＤＶＳ用画素３１からイベント検出信号を読み出す際に、画素アレイ部１１の各ＤＶＳ用画素３１に対して行駆動信号を出力する。
　ＤＶＳ読出し部１３は、アクセス制御部１２による駆動の下に、画素アレイ部１１の各ＤＶＳ用画素３１からイベント検出信号を読み出し、その読み出したイベント検出信号をイベントデータとしてＤＶＳ用信号処理部１５に供給する。
　カラム信号処理部１４は、例えば、階調用画素２１の画素列毎に設けられた、画素列数分のアナログ－デジタル変換器を有し、アクセス制御部１２による駆動の下に、画素アレイ部１１の各階調用画素２１から読み出されるアナログの画素信号（階調用輝度信号）をデジタルの画素信号に変換し、階調用信号処理部１６に供給する。
　ＤＶＳ用信号処理部１５は、ＤＶＳ読出し部１３が、画素アレイ部１１の各ＤＶＳ用画素３１から読み出したイベント検出信号に対して、後述するタイムスタンプの付与等の信号処理を施した後、出力インタフェース（Ｉ／Ｆ）１９Ａを介して撮像装置１０Ａ外へ、イベントデータとして出力する。
　階調用信号処理部１６は、カラム信号処理部１４から出力されるデジタルの画素信号に対して、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理や、後述するタイムスタンプの付与等の信号処理を施した後、出力インタフェース（Ｉ／Ｆ）１９Ｂを介して撮像装置１０Ａ外へ、階調データとして出力する。
　タイミング制御部１７は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これら生成した信号を基に、ＤＶＳ用信号処理部１５や階調用信号処理部１６等の駆動制御を行う。
　タイムスタンプ生成部１８は、ＤＶＳ読出し部１３から出力されるイベントデータ、及び、カラム信号処理部１４から出力される画素データに対して、イベントデータや画素データの出力タイミングの相対的な時刻を表すタイムスタンプ（時間情報）を生成する。この生成されたタイムスタンプは、ＤＶＳ用信号処理部１５においてイベントデータに、階調用信号処理部１６において画素データに付与される。
　続いて、階調用画素２１及びＤＶＳ用画素３１の具体的な構成について、一具体例を挙げて説明する。
（階調用画素の構成例）
　図３は、階調用画素２１の構成の一具体例を示す回路図である。
　階調用画素２１は、光電変換素子として、例えば、フォトダイオード２１１を有している。階調用画素２１は、フォトダイオード２１１の他に、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５を有する構成となっている。
　ここでは、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５の４つのトランジスタとしては、例えば、Ｎ型のＭＯＳ型電界効果トランジスタ（Field Effect Transistor；ＦＥＴ）を用いている。但し、ここで例示した４つのトランジスタ２１２～２１５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
　この階調用画素２１に対して、複数の画素制御線が同一画素行の各階調用画素２１に対して共通に配線されている。これら複数の画素制御線は、図１に示すアクセス制御部１２の各画素行に対応した出力端に画素行単位で接続されている。アクセス制御部１２は、階調用画素２１から、入射光の光量に応じた階調レベルの画素信号を読み出す際に、複数の画素制御線に対して各種の駆動信号、具体的には、転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
　フォトダイオード２１１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１１のカソード電極は、転送トランジスタ２１２を介して増幅トランジスタ２１４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２１４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。
　転送トランジスタ２１２のゲート電極には、高レベル（例えば、ＶDDレベル）がアクティブとなる転送信号ＴＲＧがアクセス制御部１２から与えられる。転送トランジスタ２１２は、転送信号ＴＲＧに応答して導通状態となることで、フォトダイオード２１１で光電変換され、当該フォトダイオード２１１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。
　リセットトランジスタ２１３は、高電位側電源電圧ＶDDのノードとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２１３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴがアクセス制御部１２から与えられる。リセットトランジスタ２１３は、リセット信号ＲＳＴに応答して導通状態となり、フローティングディフュージョンＦＤの電荷を電圧ＶDDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。
　増幅トランジスタ２１４は、ゲート電極がフローティングディフュージョンＦＤに、ドレイン電極が高電位側電源電圧ＶDDのノードにそれぞれ接続されている。増幅トランジスタ２１４は、フォトダイオード２１１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。すなわち、増幅トランジスタ２１４は、ソース電極が選択トランジスタ２１５を介して信号線ＶＳＬに接続される。そして、増幅トランジスタ２１４と、信号線ＶＳＬの一端に接続される負荷電流源Ｉとは、フローティングディフュージョンＦＤの電圧を信号線ＶＳＬの電位に変換するソースフォロワを構成している。
　選択トランジスタ２１５は、ドレイン電極が増幅トランジスタ２１４のソース電極に接続され、ソース電極が信号線ＶＳＬに接続されている。選択トランジスタ２１５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬがアクセス制御部１２から与えられる。選択トランジスタ２１５は、選択信号ＳＥＬに応答して導通状態となることで、階調用画素２１を選択状態として増幅トランジスタ２１４から出力される信号を信号線ＶＳＬに伝達する。
　尚、上記の回路例では、階調用画素２１の回路構成として、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２１５を省略し、増幅トランジスタ２１４に選択トランジスタ２１５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の回路構成とすることもできる。
（ＤＶＳ用画素の構成例）
　図４は、ＤＶＳ用画素３１の構成の一具体例を示す回路図である。
　ＤＶＳユニット３０を構成する複数（例えば、４個）のＤＶＳ用画素３１はそれぞれ、光電変換部３１１及びアドレスイベント検出部３１２を有する構成となっている。尚、ＤＶＳ用画素３１の周辺回路の一つとして、アービタ部３４が設けられている。アービタ部３４は、複数のＤＶＳ用画素３１のそれぞれからのリクエストを調停し、調停結果に基づく応答をＤＶＳ用画素３１に送信する。
　上記の構成のＤＶＳ用画素３１において、光電変換部３１１は、光電変換素子（受光素子）３１１１及び制御トランジスタ３１１２を有する構成となっている。制御トランジスタ３１１２としては、例えば、Ｎ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタを用いることができる。
　光電変換素子（受光素子）３１１１は、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。制御トランジスタ３１１２のゲート電極には、例えばアクセス制御部１２（図１参照）から転送信号ＴＲＧが供給される。制御トランジスタ３１１２は、転送信号ＴＲＧに応答して、光電変換素子３１１１で光電変換された電荷をアドレスイベント検出部３１２に供給する。
　アドレスイベント検出部３１２は、光電変換部３１１１からの光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベント（以下、単に「イベント」と記述する場合がある）の発生の有無を検出する。アドレスイベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、アドレスイベントの検出結果を示すイベントデータ（イベント検出信号）は、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。
　アドレスイベントが発生した際に、アドレスイベント検出部３１２は、イベント検出信号の送信を要求するリクエストをアービタ部３４に供給する。そして、アドレスイベント検出部３１２は、リクエストに対する応答をアービタ部３４から受け取ると、イベント検出信号（イベントデータ）をＤＶＳ読出し部１３に供給する。
（アドレスイベント検出部の構成例）
　図５は、アドレスイベント検出部３１２の構成の一例を示すブロック図である。図５に示すように、本構成例に係るアドレスイベント検出部３１２は、電流電圧変換部３１２１、バッファ３１２２、減算器３１２３、量子化器３１２４、及び、転送部３１２５を有する構成となっている。
　電流電圧変換部３１２１は、ＤＶＳ用画素３１の光電変換部３１１からの光電流を、その対数の電圧信号に変換する。電流電圧変換部３１２１は、電流電圧変換部３１２１で変換した電圧信号をバッファ３１２２に供給する。バッファ３１２２は、電流電圧変換部３１２１から供給される電圧信号をバッファリングし、減算器３１２３に供給する。
　減算器３１２３には、アクセス制御部１２（図１参照）から行駆動信号が供給される。減算器３１２３は、行駆動信号に従って、バッファ３１２２から供給される電圧信号のレベルを低下させる。そして、減算器３１２３は、レベル低下後の電圧信号を量子化器３１２４に供給する。量子化器３１２４は、減算器３１２３から供給される電圧信号をデジタル信号に量子化してイベント検出信号（イベントデータ）として転送部３１２５に出力する。
　転送部３１２５は、量子化器３１２４から供給されるイベント検出信号（イベントデータ）をアービタ部３４等に転送する。この転送部３１２５は、アドレスイベントの発生が検出された際に、イベント検出信号の送信を要求するリクエストをアービタ部３４に供給する。そして、転送部３１２５は、リクエストに対する応答をアービタ部３４から受け取ると、イベント検出信号（イベントデータ）をＤＶＳ読出し部１３に供給する。ＤＶＳ用画素３１からのイベントデータの読出しについては、複数行読出しとすることも可能である。
［積層チップ構造］
　図１では、第１実施形態に係る撮像装置１０Ａのシステム構成について、便宜上、画素アレイ部１１、アクセス制御部１２、ＤＶＳ読出し部１３、カラム信号処理部１４、ＤＶＳ用信号処理部１５、階調用信号処理部１６、タイミング制御部１７、及び、タイムスタンプ生成部１８等が平面的に配置された、所謂、平置構造として図示している。但し、第１実施形態に係る撮像装置１０Ａは、１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有している。以下に、積層チップ構造の具体例について説明する。
（具体例１）
　具体例１は、積層チップ構造が２層構造の例である。具体例１に係る積層チップ構造の概略図を図６に示す。
　図６に示すように、具体例１に係る積層チップ構造は、１層目の半導体チップ４１及び２層目の半導体チップ４２が積層された２層構造となっている。そして、１層目の半導体チップ４１には、階調用画素２１及びＤＶＳ用画素３１が混在する画素アレイ部１１が設けられている。すなわち、１層目の半導体チップ４１は、階調用画素２１及びＤＶＳ用画素３１が設けられた画素チップである。
　２層目の半導体チップ４２には、１層目の半導体チップ４１の画素アレイ部１１に対応して画素ＡＦＥ（アナログフロントエンド）領域４４が設けられている。そして、画素ＡＦＥ領域４４には、階調用メモリ２２（図２のＡ参照）を含む階調用画素２１用のアナログフロントエンド部、及び、ＤＶＳ用ＡＦＥ３５（図２のＢ参照）を含むＤＶＳ用画素３１用のアナログフロントエンド部が、階調用画素２１及びＤＶＳ用画素３１に対応して設けられている。すなわち、２層目の半導体チップ４２は、画素ＡＦＥ領域４４が設けられた画素ＡＦＥチップである。
　２層目の半導体チップ４２には、更に、画素ＡＦＥ領域４４の周辺領域に、アクセス制御部１２、ＤＶＳ読出し部１３、カラム信号処理部１４、ＤＶＳ用信号処理部１５、階調用信号処理部１６、タイミング制御部１７、及び、タイムスタンプ生成部１８等が設けられている。尚、１層目の半導体チップ４１の階調用画素２１及びＤＶＳ用画素３１と、２層目の半導体チップ４２の各アナログフロントエンド部とは、Ｃｕ－Ｃｕ接合を含む金属－金属接合、シリコン貫通電極（Through Silicon Via：ＴＳＶ）、マイクロバンプ等から成る接合部４５Ａ，４５Ｂを介して電気的に接続される。
　ここで、上チップである１層目の半導体チップ４１の階調用画素２１及びＤＶＳ用画素３１と、下チップである２層目の半導体チップ４２の階調用画素２１用のアナログフロントエンド部２５及びＤＶＳ用画素３１用のアナログフロントエンド部３５との対応関係について説明する。
　図７のＡは、１層目の半導体チップ４１の階調用画素２１及びＤＶＳ用画素３１と、２層目の半導体チップ４２の各アナログフロントエンド部２５，３５との対応関係１を示す図である。図７のＡに示す対応関係１では、１層目の半導体チップ４１において、例えば４個のＤＶＳ用画素３１を単位としてＤＶＳユニット３０を構成している。そして、ＤＶＳ用画素３１について、ＤＶＳユニット３０の単位で、ＤＶＳ用画素３１用のアナログフロントエンド部３５と対応付けられている。また、階調用画素２１について、階調用画素２１用のアナログフロントエンド部２５と１対１で対応付けられている。
　図７のＢは、１層目の半導体チップ４１の階調用画素２１及びＤＶＳ用画素３１と、２層目の半導体チップ４２の各アナログフロントエンド部２５，３５との対応関係２を示す図である。図７のＢに示す対応関係２では、１層目の半導体チップ４１において、例えば４個のＤＶＳ用画素３１でＤＶＳユニット３０を構成し、これに対応して階調用画素２１についても４個の画素を単位として階調画素ユニット２４を構成している。そして、１層目の半導体チップ４１と２層目の半導体チップ４２との間では、階調画素ユニット２４及びＤＶＳユニット３０と、各アナログフロントエンド部２５，３５とを、ユニット単位で１対１で対応付けられている。
　図８に、階調用画素２１及びＤＶＳ用画素３１の画素アレイのイメージ図を示す。ここでは、上チップである１層目の半導体チップ４１の階調用画素２１について、Ｒ（赤色）／Ｇ（緑色）／Ｂ（青色）のベイヤー配列を例示している。図８に示すイメージ図の例では、Ｒ／Ｇｒ／Ｇｂ／Ｂのベイヤー配列の画素アレイ中に、部分的に、ＤＶＳ用画素３１が配置された構成となっている。図８から明らかなように、階調用画素２１の数は、イベント用画素であるＤＶＳ用画素３１の数よりも多い構成となっている。このように、ＤＶＳ用画素３１に比べて階調用画素２１の数を多く配置することで、階調データの画質の向上を図ることができる。
　下チップである２層目の半導体チップ４２では、ＤＶＳ用画素３１用のアナログフロントエンド部３５については、縦２×横２の４個のＤＶＳ用画素３１で共有し、階調用画素２１用のアナログフロントエンド部２５については、画素単位で上チップの階調用画素２１と電気的に接続され、電圧ドメインのグローバルシャッタを実現する。
（具体例２）
　具体例２は、積層チップ構造が３層構造の例である。具体例２に係る積層チップ構造の概略図を図９に示す。
　図９に示すように、具体例２に係る積層チップ構造は、１層目の半導体チップ４１、２層目の半導体チップ４２、及び、３層目の半導体チップ４３が積層された３層構造となっている。そして、１層目の半導体チップ４１には、階調用画素２１及びＤＶＳ用画素３１が混在する画素アレイ部１１が設けられている。すなわち、１層目の半導体チップ４１は、階調用画素２１及びＤＶＳ用画素３１が設けられた画素チップである。
　２層目の半導体チップ４２には、１層目の半導体チップ４１の画素アレイ部１１に対応して画素ＡＦＥ（アナログフロントエンド）領域４４が設けられている。そして、画素ＡＦＥ領域４４には、階調用メモリ２２（図２のＡ参照）を含む階調用画素２１用のアナログフロントエンド部、及び、ＤＶＳ用ＡＦＥ３５（図２のＢ参照）を含むＤＶＳ用画素３１用のアナログフロントエンド部が、階調用画素２１及びＤＶＳ用画素３１に対応して設けられている。すなわち、２層目の半導体チップ４２は、画素ＡＦＥ領域４４が設けられた画素ＡＦＥチップである。
　３層目の半導体チップ４３には、アクセス制御部１２、ＤＶＳ読出し部１３、カラム信号処理部１４、ＤＶＳ用信号処理部１５、階調用信号処理部１６、タイミング制御部１７、及び、タイムスタンプ生成部１８等が設けられている。尚、１層目の半導体チップ４１と２層目の半導体チップ４２とは、Ｃｕ－Ｃｕ接合を含む金属－金属接合、ＴＳＶ、マイクロバンプ等から成る接合部４５Ａ，４５Ｂを介して電気的に接続され、２層目の半導体チップ４２と３層目の半導体チップ４３とは、Ｃｕ－Ｃｕ接合を含む金属－金属接合、ＴＳＶ、マイクロバンプ等から成る接合部４５Ｂ，４５Ｃを介して電気的に接続される。
　上記の具体例では、積層チップ構造として、２層構造及び３層構造を例示したが、２層構造及び３層構造に限定されるものではなく、４層以上の積層チップ構造とすることも可能である。
［画素アレイ部の構成例］
　続いて、第１実施形態に係る撮像装置１０Ａにおける階調用画素２１及びＤＶＳ用画素３１が混在する画素アレイ部１１の構成例について説明する。
（構成例１）
　画素アレイ部１１の構成例１は、階調用画素２１とＤＶＳ用画素３１とで構成されるユニットを、画素アレイ部１１内において、所定の規則に従って並べて配置する例である。構成例１に係る画素配置を図１０のＡに示す。
　構成例１に係る画素配置は、例えば、４個の画素（Ｒ／Ｇｒ／Ｇｂ／Ｂ）を単位とする１２個の階調用画素２１、及び、４個のＤＶＳ用画素３１を単位とするＤＶＳユニット３０が正方形に並んで配置されて成る画素ユニットＸを行列状に２次元配置した構成となっている。構成例１に係る画素配置によれば、ユニット単位で階調データとイベントデータとを紐付けることができる。
（構成例２）
　構成例２は、ＤＶＳ用画素３１を含むユニットを画素行の単位で並べて配置する例である。構成例２に係る画素配置を図１０のＢに示す。
　構成例２に係る画素配置は、例えば、４個の画素（Ｒ／Ｇｒ／Ｇｂ／Ｂ）を単位とする１２個の階調用画素２１、及び、４個のＤＶＳ用画素３１を単位とするＤＶＳユニット３０が正方形に並んで配置されて成る画素ユニットＸを、画素行の単位で並べて配置した構成となっている。構成例２に係る画素配置によれば、階調用画素２１のアクセス時に、ＤＶＳ用画素３１が存在しない（即ち、欠陥がない）画素行を選択することができる。
（構成例３）
　構成例３は、ＤＶＳ用画素３１を含むユニットを画素列の単位で並べて配置する例である。構成例３に係る画素配置を図１１のＡに示す。
　構成例３に係る画素配置は、例えば、４個の画素（Ｒ／Ｇｒ／Ｇｂ／Ｂ）を単位とする１２個の階調用画素２１、及び、４個のＤＶＳ用画素３１を単位とするＤＶＳユニット３０が正方形に並んで配置されて成る画素ユニットＸを、画素列の単位で並べて配置した構成となっている。構成例３に係る画素配置によれば、構成例２に係る画素配置の場合に比べて、画素行に含まれるイベントデータ量を揃えることができるため、安定した画質の階調データ（Ｒ／Ｇ／Ｂのデータ）を取得することができる。この点については、構成例１に係る画素配置の場合も同様である。
（構成例４）
　構成例４は、ＤＶＳユニット３０を不規則に並べて配置する例である。構成例４に係る画素配置を図１１のＢに示す。
　構成例４に係る画素配置は、例えば、４個のＤＶＳ用画素３１を単位とするＤＶＳユニット３０をランダムに、例えば、４個のＤＶＳ用画素３１を正方形に並べて配置、あるいは、行方向／列方向に並べて配置した構成となっている。構成例４に係る画素配置によれば、圧縮センシングと同様に、高解像なデータを復元することができる。
［ＤＶＳユニットの配置例］
　続いて、第１実施形態に係る撮像装置１０ＡにおけるＤＶＳユニット３０の構成例について説明する。ここでは、例えば４個のＤＶＳ用画素３１を単位としてＤＶＳユニット３０を構成するとき、ＤＶＳユニット３０の配置、及び、積層チップ構造におけるＤＶＳユニット３０とＤＶＳ用ＡＦＥ（アナログフロントエンド）３５との接続関係について説明する。ＤＶＳ用画素３１は、ＤＶＳユニット３０内において、所定の規則に従って並んで配置される。
（配置例１）
　配置例１は、ＤＶＳユニット３０が正方形に並んで配置された４個のＤＶＳ用画素３１から成る例である。配置例１に係るＤＶＳユニット３０の配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図１２のＡに示す。ＤＶＳユニット３０の配置例１では、正方形に並んで配置された４個のＤＶＳ用画素３１に対し、ＤＶＳ用画素３１の４個分の矩形領域の大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
（配置例２）
　配置例２は、ＤＶＳユニット３０が行方向に並んで配置された４個のＤＶＳ用画素３１から成る例である。配置例２に係るＤＶＳユニットの配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図１２のＢに示す。ＤＶＳユニット３０の配置例２では、行方向に並んで横長の長方形状に配置された４個のＤＶＳ用画素３１に対し、ＤＶＳ用画素３１の４個分の横長の長方形の領域の大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
（配置例３）
　配置例３は、ＤＶＳユニット３０が列方向に並んで配置された４個のＤＶＳ用画素３１から成る例である。配置例３に係るＤＶＳユニットの配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図１３のＡに示す。ＤＶＳユニット３０の配置例３では、列方向に並んで縦長の長方形状に配置された４個のＤＶＳ用画素３１に対し、ＤＶＳ用画素３１の４個分の縦長の長方形の領域の大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
（配置例４）
　配置例４は、ＤＶＳユニット３０のサイズが階調用画素２１のサイズよりも大きい例である。配置例４に係るＤＶＳユニットの配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図１３のＢに示す。ＤＶＳユニット３０の配置例４では、ＤＶＳユニット３０のサイズを、階調用画素２１のサイズよりも大きい、例えば、正方形に並んで配置されたＤＶＳ用画素３１の４個分の大きさのサイズとして構成している。そして、ＤＶＳユニット３０に対して、当該ＤＶＳユニット３０と同じ大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
［階調用画素の場合の積層チップ構造の構成例］
　続いて、階調用画素２１の場合の積層チップ構造の構成例について説明する。
（積層チップ構造の構成例１）
　積層チップ構造の構成例１は、グローバルシャッタ機能の構成例である。構成例１に係る積層チップ構造の概略を図１４のＡに示す。構成例１に係る積層チップ構造では、上チップである１層目の半導体チップ４１には、フォトダイオード２１１、転送トランジスタ２１２、及び、バッファ２１６が画素毎に行列状に２次元配置される。また、下チップである２層目の半導体チップ４２には、信号成分（所謂、Ｄ相データ）及びリセット成分（所謂、Ｐ相データ）を処理するデータ処理部２１７等が画素に対応して搭載される。
（積層チップ構造の構成例２）
　積層チップ構造の構成例２は、読出し機能の構成例である。構成例２に係る積層チップ構造の概略を図１４のＡに示す。構成例２に係る積層チップ構造では、上チップである１層目の半導体チップ４１には、フォトダイオード２１１及び転送トランジスタ２１２が画素毎に行列状に２次元配置される。また、下チップである２層目の半導体チップ４２には、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５等が画素に対応して搭載される。
（積層チップ構造の構成例３）
　積層チップ構造の構成例３は、エリアＡＤの構成例である。構成例３に係る積層チップ構造の概略を図１５に示す。構成例３に係る積層チップ構造では、上チップである１層目の半導体チップ４１には、例えば図３に示す回路構成の階調用画素２１が行列状に２次元配置される。また、下チップである２層目の半導体チップ４２には、２次元配置の階調用画素２１に対応してアナログ－デジタル変換器（ＡＤＣ）１４１が搭載される。この構成がエリアＡＤの構成例である。
［第１実施形態の作用、効果］
　以上説明したように、第１実施形態に係る撮像装置１０Ａは、画素アレイ部１１に、階調用画素２１と、イベント用画素であるＤＶＳ用画素３１とを混在させた構成となっている。従って、第１実施形態に係る撮像装置１０Ａによれば、イベントの発生を示すイベント検出信号（イベントデータ）のみならず、入射光の光量に応じた階調レベルの画素信号（階調データ）を出力することができる。これにより、一例として、ＤＶＳ用画素３１で被写体の動きを検出し、イベントデータを用いて補正を行うことで、暗い環境下においても、モーションブラ―が無く、且つ、階調用画素２１を用いてＳ／Ｎに優れた階調データを取得するなど撮像を実現できる。
＜第２実施形態に係る撮像装置＞
　本開示の第２実施形態に係る撮像装置は、１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、１層目の半導体チップに設けられる画素アレイ部に、イベント用画素と測距用画素とを混在させた構成となっている。
　ここで、測距用画素は、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子（光検出素子）を含む画素である。光子の受光に応じて信号を発生する受光素子としては、例えば、ＳＰＡＤ（Single Photon Avalanche Diode：単一光子アバランシェダイオード）素子を例示することができる。ＳＰＡＤ素子は、ブレークダウン電圧（降伏電圧）を超えた逆電圧で素子を動作させる、ＤＣ的な安定点が無いガイガーモードと呼ばれる領域で動作する。
　尚、ここでは、画素の受光素子として、ＳＰＡＤ素子を例示したが、ＳＰＡＤ素子に限定されるものではない。すなわち、受光素子としては、ＳＰＡＤ素子の他に、ＡＰＤ（アバランシェフォトダイオード）や、ＳｉＰＭ（シリコンフォトマルチプライヤ）等、ガイガーモードで動作する種々の素子を用いることができる。
［システム構成例］
　図１６は、本開示の第２実施形態に係る撮像装置のシステム構成の概略を示すブロック図である。
　第２実施形態に係る撮像装置１０Ｂは、画素アレイ部１１、アクセス制御部１２、ＤＶＳ読出し部１３、ＤＶＳ用信号処理部１５、タイミング制御部１７、タイムスタンプ生成部１８、及び、出力インタフェース（Ｉ／Ｆ）１９Ａの他、時間計測部（Time-to-Digital Converter：ＴＤＣ）６１、測距用信号処理部６２、及び、出力インタフェース１９Ｃを有する構成となっている。
　画素アレイ部１１には、ＤＶＳユニット３０と測距用画素５０とが混在した状態で設けられている。ＤＶＳユニット３０としては、イベント用画素であるＤＶＳ用画素３１を含む第１実施形態で例示した構成のもの（図２のＢ参照）を用いることができる。
　測距用画素５０の基本的な画素回路の構成の一例を図１７に示す。ここでは、１画素分の基本構成を図示している。測距用画素５０は、例えば、受光素子としてのＳＰＡＤ素子５１、クエンチ回路５２、及び、読出し回路５３を有する構成となっている。
　ＳＰＡＤ素子５１は、カソード電極が第１電源に接続され、アノード電極がクエンチ回路５２を介して第２電源に接続されている。ＳＰＡＤ素子５１のカソード電極には、第１電源から、アバランシェ増倍が発生する大きな電圧、即ち、ブレークダウン電圧以上の電圧が印加される。
　クエンチ回路５２は、ＳＰＡＤ素子５１の端子間電圧、即ち、カソード電極とアノード電極との間の電圧を、ＰＮダイオードのブレークダウン電圧よりも下げることで、アバランシェ増倍を停止させる。この動作が、所謂、クエンチ動作である。
　読出し回路５３は、例えば、Ｐ型ＭＯＳトランジスタＱp及びＮ型ＭＯＳトランジスタＱnから成るＣＭＯＳインバータ回路によって構成されており、ＳＰＡＤ素子５１の反応エッジを検出する。読出し回路５３の検出出力は、ＳＰＡＤ出力（画素出力）として、図１６に示す時間計測部（ＴＤＣ）６１に供給される。
　上記の構成の第２実施形態に係る撮像装置１０Ｂでは、ＤＶＳ用画素３１を備え、イベント情報を取得可能な構成に加えて、光子の受光に応じて信号を発生するＳＰＡＤ素子５１を含む測距用画素５０を備え、測定対象物（被写体）までの距離の測定が可能な構成となっている。
　測距対象物までの距離を測定する測定法として、例えば、測距対象物に向けて光源部から照射した光が、当該測距対象物で反射されて戻ってくるまでの時間を計測するＴｏＦ（Time of Flight：飛行時間）法を採用することができる。ＴｏＦ法を採用するために、第２実施形態に係る撮像装置１０Ｂの外部装置として、測距対象物に向けて光を照射するための光源部７０が設けられている。第２実施形態に係る撮像装置１０Ｂと光源部７０との組み合わせによって測距装置（システム）を構成することができる。
　光源部７０は、例えば半導体レーザから成り、レーザ駆動部（図示せず）によって駆動されることにより、測定対象物（被写体）に向けてレーザ光を照射する。光源部７０からの照射レーザ光は、測定対象物（被写体）で反射され、その反射光は、ＳＰＡＤ素子５１を含む測距用画素５０に入射する。
　図１６に説明を戻す。時間計測部（ＴＤＣ）６１は、測距用画素５０から出力されるＳＰＡＤ出力に基づいて、測定対象物に向けて照射したレーザ光が、当該測定対象物で反射されて戻ってくるまでの時間を計測する。時間計測は複数回実行され、複数回計測された時間を積み上げたＴｏＦヒストグラムのピークの位置を検出することによって時間を計測する。
　時間計測の方法としては、光源部７０から測定対象物に向けてレーザ光を照射したタイミングから、測距用画素５０が測定対象物からの反射光を受光したタイミングまでの時間を計測する方法を例示することができる。時間計測のその他の方法として、光源部７０から所定の周期でパルス光を照射し、測距用画素５０が当該パルス光を受光した際の周期を検出し、発光の周期と受光の周期との位相差から時間を計測する方法を例示することができる。
　時間計測部６１の計測結果は、測距用信号処理部６２に供給される。測距用信号処理部６２は、時間計測部６１の計測結果に対して所定の信号処理を施した後、出力インタフェース１９Ｃを介して測距データとして出力する。
［積層チップ構造］
　図１６では、第２実施形態に係る撮像装置１０Ｂのシステム構成について、便宜上、画素アレイ部１１、アクセス制御部１２、ＤＶＳ読出し部１３、時間計測部６１、ＤＶＳ用信号処理部１５、測距用信号処理部６２、タイミング制御部１７、及び、タイムスタンプ生成部１８等が平面的に配置された平置構造として図示している。但し、第２実施形態に係る撮像装置１０Ｂは、第１実施形態に係る撮像装置１０Ａと同様に、１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有している。
　以下に、積層チップ構造の具体例について説明する。以下では、２層構造を例に挙げて説明するが、積層チップ構造としては、２層構造に限定されるものではなく、第１実施形態に係る撮像装置１０Ａの場合と同様に、３層以上の積層チップ構造とすることも可能である。
（具体例１）
　具体例１は、上チップである１層目の半導体チップ４１にＳＰＡＤ素子５１を搭載し、下チップである２層目の半導体チップ４２にクエンチ回路５２を搭載する例である。具体例１に係る積層チップ構造の概略図を図１８のＡに示す。
　図１８のＡに示すように、具体例１に係る積層チップ構造では、上チップである１層目の半導体チップ４１上にアレイ状に配置されて成るＳＰＡＤ素子５１に対して、下チップである２層目の半導体チップ４２上には、ＳＰＡＤ素子５１のクエンチ動作を制御するクエンチ回路５２及び読出し回路５３が、１対１の対応関係を持って搭載された構成となっている。
（具体例２）
　具体例２は、上チップである１層目の半導体チップ４１上の複数のＳＰＡＤ素子５１を単位として、下チップである２層目の半導体チップ４２にクエンチ回路５２及び時間計測部（ＴＤＣ）６１を搭載する例である。具体例２に係る積層チップ構造の概略図を図１８のＢに示す。
　図１８のＢに示すように、具体例２に係る積層チップ構造では、上チップである１層目の半導体チップ４１上にアレイ状に配置されて成る複数のＳＰＡＤ素子５１を単位として、下チップである２層目の半導体チップ４２上には、クエンチ回路５２、読出し回路５３、及び、時間計測部（ＴＤＣ）６１が、１対１の対応関係を持って搭載された構成となっている。
［画素アレイ部の構成例］
　続いて、第２実施形態に係る撮像装置１０ＢにおけるＤＶＳ用画素３１及び測距用画素５０が混在する画素アレイ部１１の構成例について説明する。
（構成例１）
　画素アレイ部１１の構成例１は、ＤＶＳ用画素３１とＳＰＡＤ素子５１とで構成されるユニットを行列状に配置する例である。構成例１に係る画素配置を図１９のＡに示す。
　構成例１に係る画素配置は、例えば、４個のＤＶＳ用画素３１、及び、１２個のＳＰＡＤ素子５１を単位とするＤＶＳユニット３０が正方形に並んで配置されて成る画素ユニットＸを行列状に２次元配置した構成となっている。構成例１に係る画素配置によれば、ユニット単位で測距データとイベントデータとを紐付けることができる。
（構成例２）
　構成例２は、ＤＶＳ用画素３１を含むユニットを画素行の単位で並べて配置する例である。構成例２に係る画素配置を図１９のＢに示す。
　構成例２に係る画素配置は、例えば、４個のＤＶＳ用画素３１、及び、１２個のＳＰＡＤ素子５１を単位とするＤＶＳユニット３０が正方形に並べて配置されて成る画素ユニットＸを、画素行の単位で並べて配置した構成となっている。構成例２に係る画素配置によれば、ＳＰＡＤ素子５１のアクセス時に、ＤＶＳ用画素３１が存在しない（即ち、欠陥がない）画素行を選択することができる。
（構成例３）
　構成例３は、ＤＶＳ用画素３１を含むユニットを画素列の単位で並べて配置する例である。構成例３に係る画素配置を図２０のＡに示す。
　構成例３に係る画素配置は、例えば、４個のＤＶＳ用画素３１、及び、１２個のＳＰＡＤ素子５１を単位とするＤＶＳユニット３０が正方形に並べて配置されて成る画素ユニットＸを、画素列の単位で並べて配置した構成となっている。構成例３に係る画素配置によれば、構成例２に係る画素配置の場合に比べて、画素行に含まれるイベントデータ量を揃えることができるため、安定した画質の階調データ（Ｒ／Ｇ／Ｂのデータ）を取得することができる。この点については、構成例１に係る画素配置の場合も同様である。
（構成例４）
　構成例４は、ＤＶＳユニット３０をランダムに配置する例である。構成例４に係る画素配置を図２０のＢに示す。
　構成例４に係る画素配置は、例えば、４個のＤＶＳ用画素３１を単位とするＤＶＳユニット３０をランダムに、例えば、４個のＤＶＳ用画素３１を正方形に並べて配置、あるいは、行方向／列方向に並べて配置した構成となっている。構成例４に係る画素配置によれば、圧縮センシングと同様に、高解像なデータを復元することができる。
［ＤＶＳユニットの配置例］
　続いて、第２実施形態に係る撮像装置１０ＢにおけるＤＶＳユニット３０の構成例について説明する。ここでは、例えば４個のＤＶＳ用画素３１を単位としてＤＶＳユニット３０を構成するとき、ＤＶＳユニット３０の配置、及び、積層チップ構造におけるＤＶＳユニット３０とＤＶＳ用ＡＦＥ（アナログフロントエンド）３５との接続関係について説明する。
（配置例１）
　配置例１は、ＤＶＳユニット３０が正方形に並んで配置された４個のＤＶＳ用画素３１から成る例である。配置例１に係るＤＶＳユニット３０の配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図２１のＡに示す。ＤＶＳユニット３０の配置例１では、正方形に並んで配置された４個のＤＶＳ用画素３１に対し、ＤＶＳ用画素３１の４個分の矩形領域の大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
（配置例２）
　配置例２は、ＤＶＳユニット３０が行方向に並んで配置された４個のＤＶＳ用画素３１から成る例である。配置例２に係るＤＶＳユニットの配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図２１のＢに示す。ＤＶＳユニット３０の配置例２では、行方向に並んで横長の長方形状に配置された４個のＤＶＳ用画素３１に対し、ＤＶＳ用画素３１の４個分の横長の長方形の領域の大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
（配置例３）
　配置例３は、ＤＶＳユニット３０が列方向に並んで配置された４個のＤＶＳ用画素３１から成る例である。配置例３に係るＤＶＳユニットの配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図２２のＡに示す。ＤＶＳユニット３０の配置例３では、列方向に並んで縦長の長方形状に配置された４個のＤＶＳ用画素３１に対し、ＤＶＳ用画素３１の４個分の縦長の長方形の領域の大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
（配置例４）
　配置例４は、ＤＶＳユニット３０のサイズがＳＰＡＤ素子５１を含む測距用画素５０のサイズよりも大きい例である。配置例４に係るＤＶＳユニットの配置、及び、ＤＶＳ用ＡＦＥ３５との接続関係を図２２のＢに示す。ＤＶＳユニット３０の配置例４では、ＤＶＳユニット３０のサイズを、ＳＰＡＤ素子５１を含む測距用画素５０のサイズよりも大きい、例えば、正方形に並んで配置されたＤＶＳ用画素３１の４個分の大きさのサイズとして構成している。そして、ＤＶＳユニット３０に対して、当該ＤＶＳユニット３０と同じ大きさの１つのＤＶＳ用ＡＦＥ３５を対応付けて電気的に接続するようにしている。
［第２実施形態の作用、効果］
　以上説明したように、第２実施形態に係る撮像装置１０Ｂは、イベント用画素であるＤＶＳ用画素３１と、ＳＰＡＤ素子５１を含む測距用画素５０とを混在させた構成となっている。従って、第２実施形態に係る撮像装置１０Ｂによれば、イベントの発生を示すイベントデータのみならず、測定対象物（被写体）までの距離情報である測距データを出力することができる。これにより、例えば、ＤＶＳ用画素３１で動体を検出し、その検出した動体のみ、測距データに基づいて測距を行うようにすることで、全被写体に対して測距を行う場合に比べて、低消費電力での測距を実現することができる。
＜第３実施形態に係る撮像装置＞
　本開示の第３実施形態に係る撮像装置は、１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、１層目の半導体チップに設けられる画素アレイ部に、イベント用画素、階調用画素、及び、測距用画素とを混在させた構成となっている。すなわち、本開示の第３実施形態に係る撮像装置は、第１実施形態に係る撮像装置の構成と、第２実施形態に係る撮像装置の構成とを組み合わせた構成となっている。
［システム構成例］
　図２３は、本開示の第３実施形態に係る撮像装置のシステム構成の概略を示すブロック図である。
　第３実施形態に係る撮像装置１０Ｃは、画素アレイ部１１、アクセス制御部１２、ＤＶＳ読出し部１３、カラム信号処理部１４、ＤＶＳ用信号処理部１５、階調用信号処理部１６、タイミング制御部１７、タイムスタンプ生成部１８、及び、出力インタフェース１９Ａ，１９Ｂを有する。これは、図１に示す第１実施形態に係る撮像装置１０Ａの構成である。第３実施形態に係る撮像装置１０Ｃは、更に、時間計測部（ＴＤＣ）６１、測距用信号処理部６２、及び、出力インタフェース１９Ｃを有する。これは、図１６に示す第２実施形態に係る撮像装置１０Ｂの構成である。
［第３実施形態の作用、効果］
　以上説明したように、第３実施形態に係る撮像装置１０Ｃは、イベント用画素であるＤＶＳ用画素３１、イベント用画素であるＤＶＳ用画素３１、及び、ＳＰＡＤ素子５１を含む測距用画素５０を混在させた構成となっている。従って、第３実施形態に係る撮像装置１０Ｃによれば、イベントの発生を示すイベントデータのみならず、入射光の光量に応じた階調レベルの画素信号（階調データ）、及び、測定対象物（被写体）までの距離情報である測距データを出力することができる。
　これにより、第１実施形態の作用、効果、及び、第２実施形態の作用、効果を得ることができる。具体的には、一例として、ＤＶＳ用画素３１で被写体の動きを検出し、イベントデータを用いて補正を行うことで、暗い環境下においても、モーションブラ―無しで、且つ、階調用画素２１を用いてＳ／Ｎに優れた階調データを取得するなど撮像を実現できる。また、例えば、ＤＶＳ用画素３１で動体を検出し、その検出した動体のみ、測距データに基づいて測距を行うようにすることで、全被写体に対して測距を行う場合に比べて、低消費電力での測距を実現することができる。
＜変形例＞
　以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した、イベント用画素及び階調用画素が混在する第１実施形態に係る撮像装置、イベント用画素及び測距用画素が混在する第２実施形態に係る撮像装置、並びに、イベント用画素、階調用画素、及び、測距用画素が混在する第３実施形態に係る撮像装置の構成、構造は例示であり、適宜、変更することができる。
＜応用例＞
　第１実施形態に係る撮像装置、第２実施形態に係る撮像装置、あるいは、第３実施形態に係る撮像装置は、可視光、赤外光、紫外光、Ｘ線等の光をセンシングする様々な装置に使用することができる。様々な装置の具体例について以下に列挙する。
　・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供され装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜本開示がとることができる構成＞
　尚、本開示は、以下のような構成をとることもできる。
≪Ａ．撮像装置≫
［Ａ－０１］１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、
　１層目の半導体チップには、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力するイベント用画素、及び、入射光の光量に応じた階調レベルの画素信号を出力する階調用画素が混在する画素アレイ部が設けられており、
　２層目の半導体チップには、イベント検出信号を処理するイベント用画素のアナログフロントエンド部、及び、画素信号を処理する階調用画素のアナログフロントエンド部が、イベント用画素及び階調用画素のそれぞれに対応して設けられている、
撮像装置。
［Ａ－０２］所定の数のイベント用画素をイベント画素ユニットとするとき、
　イベント画素ユニットは、画素アレイ部内において、所定の規則に従って並んで配置されている、
上記［Ａ－０１］に記載の撮像装置。
［Ａ－０３］イベント画素ユニットは、所定の数の階調用画素との組み合わせを画素ユニットとして、画素アレイ部内に配置されている、
上記［Ａ－０２］に記載の撮像装置。
［Ａ－０４］イベント画素ユニットは、画素アレイ部の行列状の画素配列において、画素行の単位で並んで配置されている、
上記［Ａ－０２］に記載の撮像装置。
［Ａ－０５］イベント画素ユニットは、画素アレイ部の行列状の画素配列において、画素列の単位で並んで配置されている、
上記［Ａ－０２］に記載の撮像装置。
［Ａ－０６］所定の数のイベント用画素をイベント画素ユニットとするとき、
　イベント画素ユニットは、不規則に並んで画素アレイ部内に配置されている、
上記［Ａ－０１］に記載の撮像装置。
［Ａ－０７］イベント用画素は、イベント画素ユニット内において、所定の規則に従って並んで配置されている、
上記［Ａ－０２］に記載の撮像装置。
［Ａ－０８］イベント用画素は、イベント画素ユニット内において、正方形に並んで配置されている、
上記［Ａ－０７］に記載の撮像装置。
［Ａ－０９］イベント用画素は、イベント画素ユニット内において、行列状の画素配列の行方向に並んで配置されている、
上記［Ａ－０７］に記載の撮像装置。
［Ａ－１０］イベント用画素は、イベント画素ユニット内において、行列状の画素配列の列方向に並んで配置されている、
上記［Ａ－０７］に記載の撮像装置。
［Ａ－１１］イベント用画素のサイズは、階調用画素のサイズよりも大きい、
上記［Ａ－０７］に記載の撮像装置。
［Ａ－１２］階調用画素の数は、イベント用画素の数よりも多い、
上記［Ａ－０１］乃至上記［Ａ－１１］のいずれかに記載の撮像装置。
［Ａ－１３］画素アレイ部には、イベント画素及び階調画素の他に、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子を含む測距用画素が混在している、
上記［Ａ－０１］に記載の撮像装置。
［Ａ－１４］２層目の半導体チップには、受光素子を制御するクエンチ回路が、測距用画素に対応して設けられている、
上記［Ａ－１３］に記載の撮像装置。
［Ａ－１５］測距用画素の受光素子は、ガイガーモードで動作するアバランシェフォトダイオードから成る、
上記［Ａ－１３］又は上記［Ａ－１４］に記載の撮像装置。
［Ａ－１６］測距用画素の受光素子は、単一光子アバランシェダイオードから成る、
上記［Ａ－１５］に記載の撮像装置。
≪Ｂ．他の撮像装置≫
［Ｂ－０１］１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、
　１層目の半導体チップには、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力するイベント用画素、及び、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子を含む測距用画素が混在する画素アレイ部が設けられており、
　２層目の半導体チップには、イベント検出信号を処理するイベント用画素のアナログフロントエンド部、及び、受光素子の信号を処理する測距用画素のアナログフロントエンド部が、イベント用画素及び測距用画素のそれぞれに対応して設けられている、
撮像装置。
［Ｂ－０２］２層目の半導体チップには、受光素子を制御するクエンチ回路が、測距用画素に対応して設けられている、
上記［Ｂ－０１］に記載の撮像装置。
［Ｂ－０３］測距用画素の受光素子は、ガイガーモードで動作するアバランシェフォトダイオードから成る、
上記［Ｂ－０１］又は上記［Ｂ－０２］に記載の撮像装置。
［Ｂ－０４］測距用画素の受光素子は、単一光子アバランシェダイオードから成る、
上記［Ｂ－０３］に記載の撮像装置。
　１０Ａ・・・第１実施形態に係る撮像装置、１０Ｂ・・・第２実施形態に係る撮像装置、１０Ｃ・・・第３実施形態に係る撮像装置、１１・・・画素アレイ部、１２・・・アクセス制御部、１３・・・ＤＶＳ制御部、１４・・・カラム信号処理部、１５・・・ＤＶＳ用信号処理部、１６・・・階調用信号処理部、１７・・・タイミング制御部、１８・・・タイムスタンプ生成部、１９Ａ，１９Ｂ・・・出力インタフェース（Ｉ／Ｆ）、２０・・・階調用回路、２１・・・階調用画素、２２・・・階調用メモリ、２４・・・階調画素ユニット、３０・・・ＤＶＳユニット（イベント画素ユニット）、３１・・・ＤＶＳ用画素、３２・・・セレクタ、３５・・・ＤＶＳ用ＡＦＥ（アナログフロントエンド）、４１・・・１相目の半導体チップ、４２・・・２相目の半導体チップ、４３・・・３相目の半導体チップ、５０・・・測距用回路、５１・・・ＳＰＡＤ素子、５２・・・クエンチ回路、５３・・・読出し回路、６１・・・時間計測部（ＴＤＣ）、６２・・・測距用信号処理部、７０・・・光源部

Claims (20)

  1. 　１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、
    　１層目の半導体チップには、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力するイベント用画素、及び、入射光の光量に応じた階調レベルの画素信号を出力する階調用画素が混在する画素アレイ部が設けられており、
    　２層目の半導体チップには、イベント検出信号を処理するイベント用画素のアナログフロントエンド部、及び、画素信号を処理する階調用画素のアナログフロントエンド部が、イベント用画素及び階調用画素のそれぞれに対応して設けられている、
    撮像装置。
  2. 　所定の数のイベント用画素をイベント画素ユニットとするとき、
    　イベント画素ユニットは、画素アレイ部内において、所定の規則に従って並んで配置されている、
    請求項１に記載の撮像装置。
  3. 　イベント画素ユニットは、所定の数の階調用画素との組み合わせを画素ユニットとして、画素アレイ部内に配置されている、
    請求項２に記載の撮像装置。
  4. 　イベント画素ユニットは、画素アレイ部の行列状の画素配列において、画素行の単位で並んで配置されている、
    請求項２に記載の撮像装置。
  5. 　イベント画素ユニットは、画素アレイ部の行列状の画素配列において、画素列の単位で並んで配置されている、
    請求項２に記載の撮像装置。
  6. 　所定の数のイベント用画素をイベント画素ユニットとするとき、
    　イベント画素ユニットは、不規則に並んで画素アレイ部内に配置されている、
    請求項１に記載の撮像装置。
  7. 　イベント用画素は、イベント画素ユニット内において、所定の規則に従って並んで配置されている、
    請求項２に記載の撮像装置。
  8. 　イベント用画素は、イベント画素ユニット内において、正方形に並んで配置されている、
    請求項７に記載の撮像装置。
  9. 　イベント用画素は、イベント画素ユニット内において、行列状の画素配列の行方向に並んで配置されている、
    請求項７に記載の撮像装置。
  10. 　イベント用画素は、イベント画素ユニット内において、行列状の画素配列の列方向に並んで配置されている、
    請求項７に記載の撮像装置。
  11. 　イベント用画素のサイズは、階調用画素のサイズよりも大きい、
    請求項７に記載の撮像装置。
  12. 　階調用画素の数は、イベント用画素の数よりも多い、
    請求項１に記載の撮像装置。
  13. 　画素アレイ部には、イベント画素及び階調画素の他に、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子を含む測距用画素が混在している、
    請求項１に記載の撮像装置。
  14. 　２層目の半導体チップには、受光素子を制御するクエンチ回路が、測距用画素に対応して設けられている、
    請求項１３に記載の撮像装置。
  15. 　測距用画素の受光素子は、ガイガーモードで動作するアバランシェフォトダイオードから成る、
    請求項１３に記載の撮像装置。
  16. 　測距用画素の受光素子は、単一光子アバランシェダイオードから成る、
    請求項１５に記載の撮像装置。
  17. 　１層目の半導体チップ及び２層目の半導体チップの少なくとも２つの半導体チップが積層されて成る積層チップ構造を有し、
    　１層目の半導体チップには、画素の輝度変化量が所定の閾値を超えた事象を、イベントの発生として検出し、イベント検出信号を出力するイベント用画素、及び、光源部からの照射光に基づく、測距対象物からの反射光を受光し、光子の受光に応じて信号を発生する受光素子を含む測距用画素が混在する画素アレイ部が設けられており、
    　２層目の半導体チップには、イベント検出信号を処理するイベント用画素のアナログフロントエンド部、及び、受光素子の信号を処理する測距用画素のアナログフロントエンド部が、イベント用画素及び測距用画素のそれぞれに対応して設けられている、
    撮像装置。
  18. 　２層目の半導体チップには、受光素子を制御するクエンチ回路が、測距用画素に対応して設けられている、
    請求項１７に記載の撮像装置。
  19. 　測距用画素の受光素子は、ガイガーモードで動作するアバランシェフォトダイオードから成る、
    請求項１７に記載の撮像装置。
  20. 　測距用画素の受光素子は、単一光子アバランシェダイオードから成る、
    請求項１９に記載の撮像装置。
PCT/JP2021/021302 2020-06-19 2021-06-04 撮像装置 Ceased WO2021256290A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/000,655 US12289547B2 (en) 2020-06-19 2021-06-04 Dynamic vision sensor imaging device
CN202180035596.7A CN115668972B (zh) 2020-06-19 2021-06-04 摄像装置
DE112021003310.7T DE112021003310T5 (de) 2020-06-19 2021-06-04 Abbildungsvorrichtung
KR1020227041404A KR20230026999A (ko) 2020-06-19 2021-06-04 촬상 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-105876 2020-06-19
JP2020105876 2020-06-19

Publications (1)

Publication Number Publication Date
WO2021256290A1 true WO2021256290A1 (ja) 2021-12-23

Family

ID=79267919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021302 Ceased WO2021256290A1 (ja) 2020-06-19 2021-06-04 撮像装置

Country Status (5)

Country Link
US (1) US12289547B2 (ja)
KR (1) KR20230026999A (ja)
CN (1) CN115668972B (ja)
DE (1) DE112021003310T5 (ja)
WO (1) WO2021256290A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11678080B2 (en) 2021-02-04 2023-06-13 Canon Kabushiki Kaisha Photoelectric conversion device and photoelectric conversion system
WO2023197755A1 (zh) * 2022-04-15 2023-10-19 浙桂(杭州)半导体科技有限责任公司 雪崩二极管控制电路及雪崩二极管传感器
WO2024209805A1 (ja) * 2023-04-03 2024-10-10 浜松ホトニクス株式会社 固体撮像装置
WO2025013929A1 (en) * 2023-07-13 2025-01-16 Sony Semiconductor Solutions Corporation Photodetector and ranging system
WO2025088984A1 (ja) * 2023-10-25 2025-05-01 キヤノン株式会社 光電変換装置及び機器

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240151414A (ko) * 2023-04-11 2024-10-18 삼성전자주식회사 저조도 환경을 고려한 적층형 하이브리드 dvs 센서 및 그 동작 방법
CN116184364B (zh) * 2023-04-27 2023-07-07 上海杰茗科技有限公司 一种iToF相机的多机干扰检测与去除方法及装置
JP2025057564A (ja) * 2023-09-28 2025-04-09 キヤノン株式会社 光電変換装置
US20250189370A1 (en) * 2023-12-12 2025-06-12 Samsung Electronics Co., Ltd. Solid-state imaging device
DE102024110955A1 (de) * 2024-04-18 2025-10-23 Basler Aktiengesellschaft Ereignisbasiertes Oberflächendetektionssystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009648A1 (en) * 2012-07-03 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the same
JP2020053827A (ja) * 2018-09-27 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020088722A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020096347A (ja) * 2018-11-29 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896666B1 (ko) * 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
JP6440844B2 (ja) * 2015-07-14 2018-12-19 オリンパス株式会社 固体撮像装置
US11280918B2 (en) * 2015-12-16 2022-03-22 Sony Corporation Imaging element, driving method, and electronic device
EP3428683B1 (en) * 2017-07-11 2019-08-28 Sick Ag Optoelectronic sensor and method for measuring a distance
US11082656B2 (en) 2017-10-30 2021-08-03 Sony Semiconductor Solutions Corporation Solid-state imaging device
CN119946453A (zh) * 2018-03-14 2025-05-06 索尼高级视觉传感股份公司 基于事件的视觉传感器及其制造方法
US11221400B2 (en) * 2018-03-27 2022-01-11 Omnivision Technologies, Inc. Dual mode stacked photomultipliers suitable for use in long range time of flight applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009648A1 (en) * 2012-07-03 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the same
JP2020053827A (ja) * 2018-09-27 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020088722A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020096347A (ja) * 2018-11-29 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11678080B2 (en) 2021-02-04 2023-06-13 Canon Kabushiki Kaisha Photoelectric conversion device and photoelectric conversion system
WO2023197755A1 (zh) * 2022-04-15 2023-10-19 浙桂(杭州)半导体科技有限责任公司 雪崩二极管控制电路及雪崩二极管传感器
WO2024209805A1 (ja) * 2023-04-03 2024-10-10 浜松ホトニクス株式会社 固体撮像装置
WO2025013929A1 (en) * 2023-07-13 2025-01-16 Sony Semiconductor Solutions Corporation Photodetector and ranging system
WO2025088984A1 (ja) * 2023-10-25 2025-05-01 キヤノン株式会社 光電変換装置及び機器

Also Published As

Publication number Publication date
US20230224605A1 (en) 2023-07-13
KR20230026999A (ko) 2023-02-27
CN115668972A (zh) 2023-01-31
DE112021003310T5 (de) 2023-04-20
CN115668972B (zh) 2025-12-19
US12289547B2 (en) 2025-04-29

Similar Documents

Publication Publication Date Title
US12289547B2 (en) Dynamic vision sensor imaging device
Takayanagi et al. HDR CMOS image sensors for automotive applications
US10741605B2 (en) Solid-state image sensor, imaging device, and electronic equipment
US12047700B2 (en) Imaging element, driving method, and electronic device
US8355068B2 (en) Solid-state image sensing device, analog-digital conversion method of solid-state image sensing device, and electronic apparatus
KR102590610B1 (ko) 촬상 소자 및 구동 방법, 및 전자 기기
US12475672B2 (en) Object recognition system and electronic apparatus
US12563314B2 (en) Imaging apparatus and electronic device
US20240363651A1 (en) Solid-state imaging device, electronic device, and distance measurement system
JP2019102618A (ja) 光検出装置、光検出システム、及び移動体
CN115699793B (zh) 摄像装置和电子设备
JPWO2016121522A1 (ja) 固体撮像装置および電子機器
US20190238764A1 (en) Solid-state imaging device, solid-state imaging device operation method, imaging apparatus, and electronic apparatus
JP2016009739A (ja) 撮像素子、電子機器
US20180048836A1 (en) Solid-state imaging device, driving method, and electronic apparatus
JP7791251B2 (ja) 光電変換装置及び光電変換システム
JP2026034825A (ja) 光電変換装置及び光電変換システム
WO2026074907A1 (ja) 光検出装置および電子機器
JP2024118040A (ja) 光電変換装置
Bardoux Review of APS technologies

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21826971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227041404

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21826971

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Ref document number: 1020227041404

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 18000655

Country of ref document: US