WO2021153254A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2021153254A1
WO2021153254A1 PCT/JP2021/001050 JP2021001050W WO2021153254A1 WO 2021153254 A1 WO2021153254 A1 WO 2021153254A1 JP 2021001050 W JP2021001050 W JP 2021001050W WO 2021153254 A1 WO2021153254 A1 WO 2021153254A1
Authority
WO
WIPO (PCT)
Prior art keywords
substrate
circuit
unit
pixel
read
Prior art date
Application number
PCT/JP2021/001050
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020227024946A priority Critical patent/KR20220134538A/ko
Priority to CN202180008083.7A priority patent/CN114930807A/zh
Priority to US17/794,011 priority patent/US20230047180A1/en
Priority to JP2021574616A priority patent/JPWO2021153254A1/ja
Priority to EP21747021.0A priority patent/EP4099684A4/en
Publication of WO2021153254A1 publication Critical patent/WO2021153254A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/04—Manufacture or treatment of semiconductor devices or of parts thereof the devices having potential barriers, e.g. a PN junction, depletion layer or carrier concentration layer
    • H01L21/18—Manufacture or treatment of semiconductor devices or of parts thereof the devices having potential barriers, e.g. a PN junction, depletion layer or carrier concentration layer the devices having semiconductor bodies comprising elements of Group IV of the Periodic Table or AIIIBV compounds with or without impurities, e.g. doping materials
    • H01L21/30—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26
    • H01L21/31—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26 to form insulating layers thereon, e.g. for masking or by using photolithographic techniques; After treatment of these layers; Selection of materials for these layers
    • H01L21/3205—Deposition of non-insulating-, e.g. conductive- or resistive-, layers on insulating layers; After-treatment of these layers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/70—Manufacture or treatment of devices consisting of a plurality of solid state components formed in or on a common substrate or of parts thereof; Manufacture of integrated circuit devices or of parts thereof
    • H01L21/71—Manufacture of specific parts of devices defined in group H01L21/70
    • H01L21/768—Applying interconnections to be used for carrying current between separate components within a device comprising conductors and dielectrics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/52—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/522—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including external interconnections consisting of a multilayer structure of conductive and insulating layers inseparably formed on the semiconductor body
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present disclosure relates to an imaging device and an imaging method.
  • an image pickup device equipped with a synchronous solid-state image sensor that images image data (frames) in synchronization with a synchronization signal such as a vertical synchronization signal has been widely used. Since the synchronous solid-state image sensor can acquire image data only every synchronization signal cycle (for example, 1/60 second), when higher speed processing is required in fields related to transportation and robots. It is difficult to deal with. Therefore, an asynchronous solid-state image sensor has been proposed for each pixel address, which is provided with an address event detection circuit for each pixel that detects in real time that the amount of light of the pixel exceeds a threshold value as an address event (for example, a patent). See Reference 1.).
  • the above-mentioned asynchronous solid-state image sensor can generate and output data at a much higher speed than the synchronous solid-state image sensor. Therefore, for example, in the field of transportation, it is possible to improve safety by executing a process of recognizing an image of a person or an obstacle at high speed.
  • the address event detection circuit has a larger circuit scale than the pixel circuit in the synchronous type, and if such a circuit is provided for each pixel, there is a problem that the mounting area increases as compared with the synchronous type.
  • the outer size of the solid-state image sensor may be determined by the size of the board with the larger circuit area, and miniaturization may not be possible. Further, since each circuit part constituting the solid-state image sensor is related to each other and the circuit area differs depending on each circuit part, each circuit part is allocated so that the mounting areas of the two stacked boards are equal. Is not easy. One of the two boards to be laminated may have a large circuit area, and the other may have a small circuit area and a large amount of free space. A large amount of free space on the board means that there is a large amount of wasted area, which leads to an increase in chip cost.
  • an imaging device and an imaging method capable of reducing a useless area on a substrate are provided.
  • an image pickup apparatus including a plurality of stacked substrates.
  • a read-only circuit that is arranged on a substrate different from the substrate on which the pixel array portion having a plurality of photoelectric conversion elements is arranged and performs a read operation of an electric signal photoelectrically converted by the plurality of photoelectric conversion elements.
  • An image pickup apparatus is provided that includes a circuit that is arranged on a substrate different from the substrate on which the read-only circuit is arranged and that performs an operation other than the operation of the read-only circuit based on the electric signal.
  • the read-only circuit is a circuit that converts an electric signal photoelectrically converted by the photoelectric conversion element into a voltage signal to adjust the gain.
  • the board on which a circuit that performs an operation other than the operation of the read-only circuit is arranged is a voltage signal output from the read-only circuit in units of two or more pixel groups arranged in the first direction of the pixel array unit. At least one of a process of converting a digital signal into a digital signal, a predetermined signal process for the digital signal, and a process of driving the plurality of photoelectric conversion elements in units of two or more pixel groups arranged in a second direction. May be done.
  • the circuit portion in which the power supply voltage exceeds a predetermined reference voltage may be arranged on the same substrate as the plurality of photoelectric conversion elements.
  • It may be arranged on a substrate on which the pixel array unit is arranged, and may include at least a part of an AD unit that digitally converts a pixel signal read from the read-only circuit.
  • the AD unit may digitally convert a pixel signal read from the read-only circuit in units of two or more pixel groups arranged in the first direction of the pixel array unit.
  • the AD unit may be separately arranged on a substrate on which the pixel array unit is arranged and a substrate other than the substrate.
  • a pixel group drive unit may be provided that is arranged on a substrate on which the pixel array unit is arranged and drives the pixel array unit in units of two or more pixel groups arranged in the second direction.
  • the pixel group drive unit may be separately arranged on a substrate on which the pixel array unit is arranged and a substrate other than the substrate.
  • the first board on which the read-only circuit is arranged and A second substrate that is laminated on the first substrate and on which the pixel array portion is arranged, A third substrate which is laminated at the same layer height as the second substrate on the first substrate and at least a part of a circuit performing an operation other than the operation of the read-only circuit is arranged may be provided. ..
  • the first substrate is larger than the second substrate,
  • the second substrate may be larger than the third substrate.
  • the first board on which the read-only circuit is arranged and A second substrate that is laminated on the first substrate and on which the pixel array portion is arranged, A third substrate which is laminated under the first substrate and at least a part of a circuit that performs an operation other than the operation of the read-only circuit is arranged may be provided.
  • a fourth substrate is provided, which is arranged at the same layer height as the third substrate.
  • a part of a circuit that performs an operation other than the operation of the read-only circuit may be arranged on the third substrate and the fourth substrate.
  • the second substrate may be larger than the third substrate and the fourth substrate.
  • the read-only circuit may be arranged on the one substrate so that at least a part thereof overlaps with the pixel array portion when the first substrate and the second substrate are viewed in a plan view from the stacking direction.
  • the read-only circuit may be provided one for each of the plurality of photoelectric conversion elements.
  • the read-only circuit may be provided in association with two or more of the photoelectric conversion elements.
  • the pixel array unit and the read-only circuit have a change amount detection unit that outputs a detection signal indicating whether or not the change amount of the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value. May be good.
  • the pixel array unit and the read-only circuit may have a pixel AD unit that converts an electric signal photoelectrically converted by each photoelectric conversion element into a digital signal.
  • the pixel array unit and the read-only circuit may have a photodetector unit that detects an incident position and an incident time of light incident on the plurality of photoelectric conversion elements.
  • a first output unit that outputs a first signal from the pixel array unit and A second output unit that outputs a second signal from the read-only circuit may be provided.
  • the plurality of substrates may be bonded by at least one of Cu-Cu bonding, TSV (Through Silicon Via), and bump bonding.
  • the substrate may be a wafer or a semiconductor chip.
  • an imaging method including a plurality of laminated substrates.
  • a step of reading out an electric signal photoelectrically converted by the plurality of photoelectric conversion elements is performed.
  • an imaging method including a step of performing an operation other than the operation of the read-only circuit based on the electric signal in a circuit arranged on a substrate different from the substrate on which the read-only circuit is arranged.
  • FIG. 2 is a schematic perspective view when the layout arrangement of FIGS. 2A and 2B is adopted. Schematic perspective view when the layout arrangement of FIGS. 3A and 3B is adopted.
  • FIG. 6 is a perspective view showing a modified example of FIG. 7A.
  • FIG. 7B is a perspective view showing a modified example of FIG. 7B.
  • the figure which shows the connection mode of each pixel circuit and each sub AFE part The figure which shows the connection mode of each pixel circuit and each sub AFE part.
  • FIG. 3 is a layout diagram of a second substrate in which chips are arranged in a direction different from that of FIG. 13A.
  • FIG. 3 is a layout diagram of a first substrate in which chips are arranged in a direction different from that of FIG. 13A.
  • the first layout figure of the 2nd substrate of a three-layer structure The first layout figure of the 1st substrate of a three-layer structure.
  • the second layout figure of the 3rd substrate of a three-layer structure The second layout figure of the 2nd substrate of a three-layer structure.
  • the second layout figure of the 1st substrate of a three-layer structure The third layout figure of the 3rd substrate of a three-layer structure.
  • the third layout figure of the 1st substrate of a three-layer structure The block diagram which shows the schematic structure of the image pickup apparatus which does not have a column processing part.
  • the figure which shows the example which one pixel circuit corresponds to one sub-AFE part.
  • the figure which shows the example which one pixel circuit corresponds to a plurality of sub-AFE units.
  • the second layout figure of the 2nd substrate in the case which does not have a column processing part.
  • the block diagram which shows an example of the address event detection circuit. A circuit diagram showing an example of the internal configuration of a current-voltage conversion circuit.
  • the flowchart which shows the processing procedure performed by the image pickup apparatus 1 by 1st Embodiment.
  • the block diagram which shows the other configuration example of the address event detection circuit The block diagram which shows the structure of the image pickup apparatus which concerns on the 2nd configuration example.
  • FIG. 1 is a block diagram showing a schematic configuration of the image pickup apparatus 1 according to the first embodiment.
  • the image pickup apparatus 1 of FIG. 1 includes a pixel array unit 2, a row drive unit 3, a column processing unit 4, a pixel AFE unit 5, a column drive unit 6, a signal processing unit 7, and a system control unit 8. I have.
  • the imaging device 1 of FIG. 1 may include an additional signal processing unit 9.
  • the pixel array unit 2 has a plurality of pixel circuits 2a arranged in the row direction and the column direction.
  • Each pixel circuit 2a has a photoelectric conversion element and a readout circuit that reads out an electric signal photoelectrically converted by the photoelectric conversion element.
  • the readout circuit is a circuit that transfers the photoelectrically converted electric signal to the pixel AFE (Analog Front End) unit, which will be described later. More specifically, the read circuit includes a transfer transistor and the like.
  • the row drive unit 3 drives each row in the pixel array unit 2 in order.
  • the row drive unit 3 drives a plurality of pixel circuits 2a (hereinafter, pixel group) connected to each row in the pixel array unit 2 row by row.
  • the row drive unit 3 has a circuit portion to which a high power supply voltage is supplied and a circuit portion to which a low power supply voltage is supplied.
  • the column processing unit 4 sequentially reads out the output signals of the plurality of pixel circuits 2a (hereinafter, pixel group) connected to each row in the pixel array unit 2 and performs analog-to-digital conversion.
  • the column processing unit 4 has a circuit portion to which a high power supply voltage is supplied and a circuit portion to which a low power supply voltage is supplied.
  • the pixel AFE unit 5 performs an operation of reading out an electric signal photoelectrically converted by a plurality of photoelectric conversion elements. More specifically, the pixel AFE unit 5 is a read-only circuit that performs an operation of comparing the voltage signal output from each pixel circuit 2a with a reference signal and quantizing it.
  • the pixel AFE unit 5 includes, for example, a reset transistor, an amplification transistor, a selection transistor, and the like.
  • the power supply voltage supplied to the pixel circuit 2a and the power supply voltage supplied to the pixel AFE unit 5 may be different. For example, the pixel AFE unit 5 is supplied with a power supply voltage having a voltage level lower than that of the pixel circuit 2a. May be done.
  • the pixel AFE unit 5 is provided in association with the pixel array unit 2. As will be described later, in the present embodiment, the pixel AFE unit 5 is arranged on a substrate different from the substrate on which the pixel array unit 2 is arranged, and the pixel AFE unit 5 and the pixel array unit 2 are arranged. It is placed in a position where it overlaps vertically. As a result, the pixel AFE unit 5 and the pixel array unit 2 can be bonded by Cu—Cu bonding, TSV (Through Silicon Via), micro bump bonding, or the like, and signals can be transmitted and received at high speed.
  • TSV Through Silicon Via
  • the pixel AFE unit 5 has a plurality of sub-AFE units 5a arranged in the row direction and the column direction, similarly to the pixel array unit 2. Each sub-AFE unit 5a converts the electric signal output from the corresponding pixel circuit 2a into a voltage signal to adjust the gain. Each sub-AFE unit 5a may even perform a process of quantizing the voltage signal.
  • the row drive unit 6 drives each row in the pixel AFE unit 5 in order.
  • the column drive unit 6 sequentially outputs voltage signals or quantization data output from a plurality of sub-AFE units 5a connected to each row in the pixel AFE unit 5 and inputs them to the signal processing unit 7.
  • the row drive unit 6 has a circuit portion to which a high power supply voltage is supplied and a circuit portion to which a low power supply voltage is supplied.
  • the signal processing unit 7 performs various signal processing on the output signal of the pixel AFE unit 5.
  • the signal processing unit 7 performs, for example, CDS (Correlated Double Sampling) processing, image recognition processing, and the like. If the signal processing unit 7 alone cannot perform all signal processing, the additional signal processing unit 9 may be used to perform further signal processing. Further, a memory (not shown) may be provided in FIG. 1 for storing data indicating the result of signal processing performed by the signal processing unit 7 or the additional signal processing unit 9.
  • the system control unit 8 controls each unit in the image pickup apparatus 1. For example, the system control unit 8 controls the timing at which the row drive unit 3 drives each row of the pixel array unit 2 and the timing at which the column processing unit 4 reads out the output of the pixel circuit 2a of each column of the pixel array unit 2. Further, the system control unit 8 controls the timing at which the row drive unit 6 drives the pixel AFE unit 5 and the timing at which the signal processing unit 7 performs signal processing.
  • Each part in the image pickup apparatus 1 according to the present embodiment is divided and arranged on a plurality of stacked substrates.
  • the present embodiment is characterized in that the free area of each substrate is reduced as much as possible.
  • the substrate in this embodiment may be a wafer or a semiconductor chip (hereinafter, simply referred to as a chip).
  • any of a WoW (Wafer on Wafer) method for laminating wafers, a CoW (Chip on Wafer) method for laminating wafers and chips, and a CoC (Chip on Chip) for laminating chips may be used. ..
  • the power supply voltage used by the image pickup device 1 differs depending on each circuit inside the image pickup device 1, for example, it is conceivable to divide the board to be mounted according to the power supply voltage level used by each circuit. For example, a board on which a circuit having a power supply voltage higher than a predetermined reference voltage level may be mounted and a board on which a circuit having a power supply voltage equal to or lower than the reference voltage level may be mounted.
  • the image pickup apparatus 1 includes a circuit for handling an analog signal and a circuit for handling a digital signal inside.
  • a circuit that handles an analog signal is easily affected by noise and the like, so it is difficult to miniaturize it.
  • circuits that handle digital signals are less likely to deteriorate in electrical characteristics even if they are miniaturized. Therefore, the board on which the circuit that handles analog signals is arranged and the board on which the circuit that handles digital signals are arranged are separated, and the board on which the circuit that handles digital signals is arranged is circuited using a miniaturization process. May be formed. By miniaturizing the circuit, a larger-scale circuit can be mounted on the board and power consumption can be reduced.
  • FIG. 2A and 2B are diagrams showing a first layout example of the two substrates 11 and 12 to be laminated. An example of laminating the substrate 12 of FIG. 2A on the substrate 11 of FIG. 2B is shown.
  • the substrate 11 in FIG. 2B may be a wafer or a chip.
  • the substrate 12 of FIG. 2A may be a wafer or a chip when the substrate 11 of FIG. 2B is a wafer, but is a chip when the substrate 11 of FIG. 2B is a chip.
  • the substrate 11 of FIG. 2B has the same size as or larger than the substrate 12 of FIG. 2A.
  • a pixel array unit 2 and a column processing unit 4 are arranged on the substrate 12 of FIG. 2A.
  • the substrate 12 of FIG. 2A and the substrate 11 of FIG. 2B are joined by a plurality of joints 13.
  • the bonding portion 13 may be bonded to both substrates with an adhesive or the like, or may be bonded by Cu—Cu bonding, TSV, microbump bonding, or the like. Since the substrate 12 of FIG. 2A is laminated on the substrate 11 of FIG. 2B, the substrate 11 of FIG. 2B may be referred to as the first substrate 11 and the substrate 12 of FIG. 2A may be referred to as the second substrate 12 in the following.
  • FIG. 2A shows an example in which the pixel array unit 2 is arranged in the substantially central portion of the second substrate 12 and the column processing unit 4 is arranged in the vicinity thereof.
  • the location is arbitrary. However, as will be described later, since the pixel array unit 2 sends and receives signals to and from the pixel AFE unit 5 arranged on another substrate, the pixel array unit 2 and the pixel AFE unit 5 are kept as close as possible to each other. It is desirable to place it. Ideally, when the substrates 11 and 12 are laminated, it is desirable that the pixel array unit 2 and the pixel AFE unit 5 are arranged so as to overlap each other. Further, it is desirable to arrange the column processing unit 4 in the vicinity of the pixel array unit 2 from the viewpoint of reducing parasitic capacitance and resistance.
  • a pixel AFE unit 5 On the first substrate 11 of FIG. 2B, a pixel AFE unit 5, a column drive unit 6, a row drive unit 3, a signal processing unit 7, and an additional signal processing unit 9 are arranged.
  • the additional signal processing unit 9 may be omitted.
  • the pixel AFE unit 5 is arranged at a position where it overlaps with the pixel array unit 2 when viewed in a plan view from the normal direction of the substrate surface in a state where the two substrates 11 and 12 are laminated.
  • the row drive unit 3 is arranged along the first end surface of the pixel AFE unit 5
  • the column drive unit 6 is arranged along the second end surface of the pixel AFE unit 5
  • the signal is arranged along the third end surface of the pixel AFE unit 5.
  • the processing unit 7 is arranged, and an additional signal processing unit 9 is arranged along the fourth end surface of the pixel AFE unit 5.
  • the system control unit 8 is arranged along the corner portion of the pixel AFE unit 5.
  • the signal processing unit 7 since the signal processing unit 7 performs signal processing using the output of the column processing unit 4, the signal processing unit 7 in the first substrate 11 of FIG. 2B is the second substrate 12 of FIG. 2A. It is arranged at a position where it overlaps with the column processing unit 4 inside. Then, the signal processing unit 7 and the column processing unit 4 are joined by Cu—Cu joining, TSV, microbump joining, or the like to transmit and receive various signals. As a result, even if the column processing unit 4 and the signal processing unit 7 are arranged on separate substrates, the signal processing unit 7 uses the output of the column processing unit 4 without being affected by the parasitic capacitance and the parasitic resistance. Signal processing can be performed quickly.
  • the free area of the first substrate 11 can be reduced, and the circuit of the first substrate 11 can be reduced.
  • the mounting area can be brought close to the circuit mounting area of the second substrate 12. Further, since the circuit mounting area of the second substrate 12 can be reduced, the substrate size of both the first substrate 11 and the second substrate 12 can be reduced, and the image pickup apparatus 1 can be miniaturized. Further, since the circuits of the boards 11 and 12 are arranged in the order in which the signals flow, the signal propagation delay time can be shortened and the board is less susceptible to noise.
  • 3A and 3B are diagrams showing a second layout example of the two substrates 11 and 12 to be laminated. Since the column processing unit 4 performs A / D conversion processing for each column, a plurality of comparators, counters, switches, memories, and the like are required. Therefore, the circuit scale of the column processing unit 4 increases as the number of columns increases. Further, the power supply voltage used may differ between the comparator and the counter in the column processing unit 4. Therefore, the column processing unit 4 is divided into two and partially arranged on each of the first substrate 11 and the second substrate 12. More specifically, in the column processing unit 4, the circuit portion using a high power supply voltage such as a comparator is arranged on the second substrate 12, and the circuit portion using a low power supply voltage such as a counter is arranged on the first substrate 11. do. As a result, the types of power supply voltages supplied to each of the first substrate 11 and the second substrate 12 can be reduced.
  • the signal processing unit 7 receives signals from both the pixel AFE unit 5 and the column processing unit 4, in FIG. 3B, the signal processing unit 7 is located between the pixel AFE unit 5 and the column processing unit 4 on the first substrate 11. Is placed.
  • the column is used. Since the processing unit 4 is arranged separately on the first board 11 and the second board 12, it is possible to suppress variations in the circuit mounting areas of the first board 11 and the second board 12, and to reduce the power supply voltage supplied to each board. Can be divided. Further, by arranging the signal processing unit 7 between the pixel AFE unit 5 and the column processing unit 4, the signal processing unit 7 and the column processing unit 4 send and receive signals, and the signal processing unit 7 and the pixel AFE unit 5 It is possible to speed up the transmission and reception of signals.
  • FIGS. 4A and 4B are diagrams showing a third layout example of the two substrates 11 and 12 to be laminated.
  • a circuit portion driven by a high voltage such as a level shifter (for example, a level shifter) and a circuit portion driven by a low voltage are arranged on separate boards. do.
  • the row drive unit 3 is provided at a position where the first substrate 11 and the second substrate 12 in FIG. 4A overlap each other.
  • the row drive unit 3 in the second substrate 12 includes a circuit portion driven by a high voltage such as a level shifter, and the row drive unit 3 in the first substrate 11 is a circuit portion driven by a low voltage such as a shift register. including.
  • the row drive units 3 of each substrate are joined by Cu—Cu joining, TSV, microbump joining, or the like.
  • the column processing unit 4 is arranged on the second substrate 12 in FIGS. 4A and 4B, the column processing unit 4 is divided into the first substrate 11 and the second substrate 12 as in FIGS. 3A and 3B. May be arranged. Alternatively, the column processing unit 4 may be arranged on the first substrate 11 instead of the second substrate 12.
  • 5A and 5B are diagrams showing a fourth layout example of the two substrates 11 and 12 to be laminated.
  • the row driving unit 3 and the column processing unit 4 are arranged on the second substrate 12. Thereby, the difference in the circuit mounting area between the first substrate 11 and the second substrate 12 can be further reduced.
  • first to fourth layout examples various layout examples can be considered.
  • the pixel array unit 2 on the second substrate 12 and the pixel AFE unit 5 on the first substrate 11 are arranged at positions where they overlap each other. Common. As a result, reading from each pixel of the pixel array unit 2 can be efficiently performed. It is only necessary that a part of the pixel array unit 2 and the pixel AFE unit 5 are vertically overlapped with each other, and the whole of the pixel array unit 2 and the pixel AFE unit 5 is not necessarily vertically overlapped. Further, the circuit mounting areas of the pixel array unit 2 and the pixel AFE unit 5 do not necessarily have to be the same.
  • FIG. 7A is a schematic perspective view when the layout arrangements of FIGS. 2A and 2B are adopted.
  • the column processing unit 4 is arranged on the second substrate 12, and the signal processing unit 7 is arranged on the first substrate 11.
  • the column processing unit 4 and the signal processing unit 7 are arranged at positions where they overlap each other. Therefore, the digital pixel data A / D converted by the column processing unit 4 can be transmitted to the signal processing unit 7 in the second substrate 12 at the shortest distance via a Cu-Cu junction or the like, and the parasitic capacitance and the parasitic resistance of the signal wiring can be transmitted. Signal processing can be performed quickly without being affected by.
  • the circuit on the first substrate 11 can be formed by a fine process.
  • FIG. 7B is a schematic perspective view when the layout arrangements of FIGS. 3A and 3B are adopted.
  • the column processing unit 4 since the column processing unit 4 is arranged on both the first substrate 11 and the second substrate 12, for example, the processing of the first half portion using the high power supply voltage of the column processing unit 4 is performed in the second half.
  • the column processing unit 4 in the substrate 12 can perform the processing of the latter half portion using the low power supply voltage, and the column processing unit 4 in the first substrate 11 can perform the processing.
  • the column processing unit 4 of the first substrate 11 and the column processing unit 4 of the second substrate 12 are arranged at positions where they overlap each other, the column processing units 4 of both substrates can quickly signal each other. Can be sent and received.
  • the pixel array unit 2 is arranged at the substantially central portion of the second substrate 12, but the arrangement location of the pixel array unit 2 is arbitrary. Further, the number of joints 13 and the arrangement location are arbitrary.
  • FIGS. 8A and 8B are modifications of FIGS. 2A and 2B.
  • 8C and 8D are modifications of FIGS. 3A and 3B.
  • the pixel array portion 2 is arranged along one end side of the second substrate 12, and the joint portion 13 is arranged along another end side facing this end side. ing.
  • the pixel AFE portion 5 is arranged so as to vertically overlap the pixel array portion 2 of the second substrate 12, and the joint portion 13 is also formed by the first substrate 11 and the second substrate 12. They are arranged so as to overlap each other.
  • FIG. 9A is a perspective view showing a modified example of FIG. 7A
  • FIG. 9B is a perspective view showing a modified example of FIG. 7B.
  • the column processing section 4 of the second substrate 12 is divided into two and arranged along the two opposite ends of the second substrate 12.
  • these two divided column processing units 4 will be referred to as a divided column processing unit 4a.
  • the signal processing unit 7 of the first substrate 11 is also divided into two and arranged along the two opposite ends of the first substrate 11.
  • these two divided signal processing units 7 will be referred to as a divided signal processing unit 7a.
  • the divided column processing unit 4a and the divided signal processing unit 7a on each end side are arranged so as to overlap each other.
  • the split column processing unit 4a and the split signal processing unit 7a are joined by Cu—Cu bonding, TSV, microbump bonding, or the like to transmit and receive various signals.
  • FIG. 9B is the same as that of FIG. 9A, and in both the first substrate 11 and the second substrate 12, two divided column processing units 4a are arranged along the two opposite ends.
  • the distance from the pixel array unit 2 to the column processing unit 4 is made as uniform as possible. Can be.
  • the distance from the pixel AFE unit 5 to the signal processing unit 7 is made as uniform as possible. can do.
  • the pixel array unit 2 and the pixel AFE unit 5 are arranged at positions where they overlap each other on the upper and lower sides of separate substrates, and the pixel array unit 2 and the pixel AFE unit 5 can be quickly variously arranged. I try to send and receive signals.
  • the pixel array unit 2 and the pixel AFE unit 5 transmit and receive various signals by Cu-Cu bonding, TSV or micro bump bonding.
  • FIGS. 10A, 10B, 10C and 10D are diagrams showing a connection mode between each pixel circuit 2a in the pixel array unit 2 and each sub-AFE unit 5a in the pixel AFE unit 5.
  • FIG. 10A an example is shown in which each pixel circuit 2a in the pixel array unit 2 and one corresponding sub-AFE unit 5a in the pixel AFE unit 5 transmit and receive various signals.
  • FIG. 10B shows an example in which a plurality of pixel circuits 2a in the pixel array unit 2 and one corresponding sub-AFE unit 5a in the pixel AFE unit 5 transmit and receive various signals.
  • FIG. 10A, 10B, 10C and 10D are diagrams showing a connection mode between each pixel circuit 2a in the pixel array unit 2 and each sub-AFE unit 5a in the pixel AFE unit 5.
  • FIG. 10B shows an example in which a plurality of pixel circuits 2a in the pixel array unit 2 and one corresponding sub-AFE unit 5a in the
  • FIG. 10C shows an example in which each pixel circuit 2a in the pixel array unit 2 and a plurality of corresponding sub-AFE units 5a in the pixel AFE unit 5 transmit and receive various signals.
  • FIG. 10D shows an example in which only a part of the pixel circuits 2a in the pixel array unit 2 and one corresponding sub-AFE unit 5a in the pixel AFE unit 5 transmit and receive various signals.
  • connection mode between the pixel array unit 2 and the pixel AFE unit 5 may be any of FIGS. 10A to 10D. As shown in FIG. 10D, depending on the pixel circuit 2a in the pixel array unit 2, the signal may not be transmitted / received to / from the pixel AFE unit 5.
  • FIG. 11 is a block diagram showing an example of the internal configuration of the column processing unit 4.
  • the column processing unit 4 has a comparator 21, an up / down counter (hereinafter, simply referred to as a counter) 23, and a memory 24 for each column signal line extending in the column direction. Further, the column processing unit 4 is provided with a DAC 22.
  • the DAC22 generates a reference signal.
  • the comparator 21 compares the voltage signal on the column signal line with the reference signal.
  • the counter 23 counts the count value over a period until the comparison result by the comparator 21 is reversed.
  • the count value of the counter 23 is held in the memory 24.
  • the digital signal indicating the count value of the counter 23 held in the memory 24 is sent to the signal processing unit 7.
  • a high power supply voltage is supplied to the circuit portion (comparator 21 or the like) above the broken line Ln1 in FIG. 11 in the column processing unit 4, whereas the circuit portion below the broken line Ln1 (counter 23 and memory 24 or the like). Is supplied with a low power supply voltage. Therefore, in FIGS. 2A and 3A described above, the high power supply voltage supply circuit portion (comparator 21 and the like) which is a part of the column processing unit 4 is arranged on the second substrate 12.
  • FIG. 12 is a block diagram showing an example of the internal configuration of the row drive unit 3.
  • the row drive unit 3 includes an address selection logic unit 25, a plurality of decoders 26, a plurality of memories 27, a plurality of level shifters 28, and a plurality of drivers 29.
  • Each driver 29 is connected to each row selection line of the pixel array unit 2.
  • the address selection logic unit 25 sends the address signal transmitted from the system control unit 8 to each decoder 26.
  • the decoder 26 decodes the address signal.
  • the signal decoded by the decoder 26 is temporarily stored in the memory 27.
  • the level shifter 28 shifts the voltage level of the data stored in the memory 27 and supplies it to the driver 29.
  • the driver 29 drives the corresponding column selection line at the timing corresponding to the address signal. Signals may be transmitted and received between the plurality of drivers 29 and the plurality of memories 27.
  • a low power supply voltage is supplied to the address selection logic unit 25, the decoder 26, and the memory 27 in the row drive unit 3. Further, a high power supply voltage is supplied to the level shifter 28 and the driver 29. Therefore, in FIG. 4A and the like described above, a part of the row drive unit 6 is arranged on the second substrate 12.
  • the substrate in this embodiment is a wafer or a chip.
  • the substrate is composed of chips, a plurality of chips may be arranged at the same layer height. More specifically, the first substrate 11 may be a wafer, the second substrate 12 may be a plurality of chips, and a plurality of chips may be laminated on the wafer by CoW (Chip on Wafer).
  • CoW Chip on Wafer
  • FIG. 13A and 13B are layout diagrams showing an example of CoW.
  • FIG. 13A shows the layout of the second substrate 12, and FIG. 13B shows the layout of the first substrate 11.
  • the first substrate 11 is a base wafer.
  • a pixel AFE unit 5, a row drive unit 3, a column drive unit 6, a column processing unit 4, a signal processing unit 7, and a system control unit 8 are arranged on the first substrate 11.
  • the second substrate 12 is composed of two chips.
  • a pixel array unit 2 is arranged on one of the chips (hereinafter, the first chip) 15.
  • a signal processing unit 7 is arranged on the other chip (hereinafter, the second chip) 16.
  • the signal processing unit 7 on the second chip 16 is arranged at a position where it vertically overlaps with the signal processing unit 7 of the first substrate 11.
  • the pixel array unit 2 on the first chip 15 is arranged at a position where it vertically overlaps with the pixel AFE unit 5 of the first substrate 11.
  • the pixel array unit 2 that handles analog signals is arranged on the first chip 15, while the signal processing unit 7 that handles digital signals is arranged on the second chip 16. Therefore, the second chip 16 can form the signal processing unit 7 by a fine process, and even if the circuit scale of the signal processing unit 7 is large, it can be mounted on the second chip 16 having a size smaller than that of the first chip 15. Further, the types of power supply voltages supplied to the first chip 15 and the second chip 16 can be different.
  • 14A and 14B are layout diagrams showing an example in which the first chip 15 and the second chip 16 are arranged in different directions from those in FIGS. 13A and 13B.
  • the layout of the first substrate 11 and the second substrate 12 in FIGS. 14A and 14B is the same as that of FIGS. 13A and 13B.
  • FIG. 15A, 15B, and 15C are diagrams showing a first layout example of the three-layer structure image pickup apparatus 1.
  • FIG. 15A shows the layout arrangement of the third substrate 14 of the uppermost layer
  • FIG. 15B shows the layout arrangement of the second substrate 12 of the second stage
  • FIG. 15C shows the layout arrangement of the first substrate 11 of the lowermost layer. ..
  • the pixel array unit 2 is arranged on the third substrate 14.
  • the pixel AFE unit 5 is arranged at a position where it vertically overlaps with the pixel array unit 2.
  • a row drive unit 3, a column drive unit 6, a column processing unit 4, a signal processing unit 7, and a system control unit 8 are arranged on the first substrate 11.
  • the free area of the first board 11 is the largest, followed by the free area of the second board 12. As described above, there are variations in the free area between the first to third substrates 14.
  • 16A, 16B and 16C are diagrams showing a second layout example of the three-layer structure image pickup apparatus 1.
  • the row drive unit 3 and the column processing unit 4 arranged on the first substrate 11 in the first layout example are arranged on the second substrate 12.
  • the column processing unit 4 and the column drive unit 6 use a high power supply voltage
  • the circuit parts that use the high power supply voltage can be integrated on the second board 12, while only the logic circuit can be arranged on the first board 11. Since the first substrate 11 can be formed by a fine process, the power consumption can be reduced.
  • FIGS. 17A, 17B and 17C are diagrams showing a third layout example of the three-layer structure image pickup apparatus 1.
  • the first substrate 11 is composed of the first chip 15 and the second chip 16.
  • a column processing unit 4 is arranged on the first chip 15, and a signal processing unit 7 and a system control unit 8 are arranged on the second chip 16.
  • the first substrate 11 is divided into two chips and the first A column processing unit 4 that uses a high power supply voltage can be arranged on the chip 15, and only a logic circuit portion can be arranged on the second chip 16.
  • the second chip 16 can be formed by a fine process, and power consumption can be reduced.
  • FIG. 18 is a block diagram showing a schematic configuration of an image pickup apparatus 1 that does not have a column processing unit 4.
  • the image pickup apparatus 1 of FIG. 18 has a configuration in which the column processing unit 4 is omitted from FIG.
  • the pixel array unit 2 of FIG. 18 is driven row by row by the row drive unit 3.
  • the electrical signals photoelectrically converted by the plurality of pixel circuits 2a connected to each row are sequentially sent to the pixel AFE unit 5. Further, when the address event detection circuit described later is provided in the pixel circuit 2a, the event detection signal detected by the address event detection unit is also sent to the pixel AFE unit 5.
  • the pixel array unit 2 is used not only for the purpose of imaging, but also for detecting an address event, detecting a light receiving position and a light receiving timing of an optical signal, and performing A / D conversion for each pixel.
  • FIG. 19A is a diagram schematically showing the generation of an address event detection signal (hereinafter referred to as a DVS: Dynamic Vision Sensor) signal when the pixel array unit 2 is used for address event detection.
  • a DVS Dynamic Vision Sensor
  • the pixel AFE unit 5 When an address event is detected in the pixel circuit 2b for detecting the address event in the pixel array unit 2 (hereinafter, referred to as the pixel circuit 2b for DVS), the pixel AFE unit 5 outputs a DVS signal.
  • FIG. 19B is a diagram schematically showing the generation of a SPAD (Single Photon Avalanche Diode) signal when the pixel array unit 2 is used for detecting the light receiving position and the light receiving timing of an optical signal.
  • SPAD Single Photon Avalanche Diode
  • the SPAD pixel circuit 2c in the pixel array unit 2 the digitized SPAD signal is output from the pixel AFE unit 5.
  • the pixel AFE unit 5 performs A / D conversion processing.
  • FIG. 19C is a diagram schematically showing the generation of a gradation signal when the pixel array unit 2 is A / D converted for each pixel.
  • pixels 2d for detecting a phase difference are provided in at least a part of the pixel array unit 2.
  • the pixel 2d for phase difference detection has a configuration in which one pixel is divided into left and right, and photoelectric conversion is performed for each divided pixel, and the difference amount of the electrical signal photoelectrically converted by both divided pixels is detected. This difference amount corresponds to the defocus amount and can be used for automatic focus adjustment and the like.
  • the above-mentioned difference amount or gradation signal is A / D converted and output by the pixel AFE unit 5.
  • FIG. 20A shows an example in which one pixel circuit 2a in the pixel array unit 2 corresponds to one sub-AFE unit 5a in the pixel AFE unit 5.
  • FIG. 20B shows an example in which a plurality of pixel circuits 2a in the pixel array unit 2 correspond to one sub-AFE unit 5a in the pixel AFE unit 5.
  • FIG. 20C shows an example in which one pixel circuit 2a in the pixel array unit 2 corresponds to a plurality of sub-AFE units 5a in the pixel AFE unit 5.
  • 21A and 21B are diagrams showing a first layout example of the image pickup apparatus 1 having no column processing unit 4.
  • 21A shows the layout arrangement of the second substrate 12
  • FIG. 21B shows the layout arrangement of the first substrate 11.
  • a pixel AFE unit 5, a row drive unit 3, a column drive unit 6, a signal processing unit 7, and a system control unit 8 are arranged on the first substrate 11.
  • the second substrate 12 has a first chip 15 and a second chip 16.
  • a pixel array unit 2 is arranged on the first chip 15.
  • a signal processing unit 7 is arranged on the second chip 16.
  • the signal processing unit 7 in the second chip 16 is arranged at a position where it vertically overlaps with the signal processing unit 7 on the first substrate 11. Since the second chip 16 can be formed by a fine process, the size of the second chip 16 can be made smaller than that of the first chip 15.
  • FIGS. 21A and 21B are diagrams showing a second layout example of the image pickup apparatus 1 having no column processing unit 4. It differs from FIG. 21A in that the memory 27 is arranged in the signal processing unit 7 arranged on the second chip 16 in the second substrate 12 shown in FIG. 22A, and other than that, the layout of the first substrate 11 is also Including, it is common with FIGS. 21A and 21B.
  • a circuit that requires a large mounting area such as a memory 27 can be realized with a relatively small chip.
  • a DVS pixel circuit 2b, a SPAD pixel circuit 2c, or a pixel circuit 2a for A / D conversion in pixel units can be provided in at least a part of the pixel array unit 2. That is, at least two of a pixel circuit 2a for imaging, a pixel circuit 2b for DVS, a pixel circuit 2c for SPAD, and a pixel circuit 2d for pixel A / D may coexist in the pixel array unit 2. ..
  • the internal configuration of the pixel AFE unit 5 may also change depending on the type of pixel circuit in the pixel array unit 2.
  • FIG. 23A is a diagram showing a first example of the pixel array unit 2.
  • the pixel array unit 2 of FIG. 23A shows an example in which a DVS pixel circuit 2b is provided as a part of the image pickup pixel circuit 2a.
  • the pixel AFE unit 5 outputs an address event detection signal (DVS signal).
  • FIG. 23B is a diagram showing a second example of the pixel array unit 2.
  • the pixel array unit 2 of FIG. 23B shows an example in which the SPAD pixel circuit 2c is provided as a part of the image pickup pixel circuit 2a. In this case, when the optical signal is detected by the SPAD pixel circuit 2c, the SPAD signal indicating the detection location and the detection timing is output from the pixel AFE unit 5.
  • FIG. 23C is a diagram showing a third example of the pixel array unit 2.
  • the pixel array unit 2 of FIG. 23C shows an example in which a pixel circuit 2a that performs A / D conversion on a pixel-by-pixel basis is provided in a part of the pixel circuit 2a for imaging.
  • the electrical signal photoelectrically converted by the pixel circuit 2a that performs A / D conversion on a pixel-by-pixel basis is sent to the pixel AFE unit 5, and the A / D-converted digital pixel data is output.
  • an address event detection circuit is provided in at least one of the pixel array unit 2 and the pixel AFE unit 5.
  • FIG. 24 is a block diagram showing an example of the address event detection circuit 300.
  • the address event detection circuit 300 of FIG. 24 includes a current-voltage conversion circuit 310, a buffer 320, a subtractor 330, a quantizer 340, and a transfer circuit 350.
  • the current-voltage conversion circuit 310 converts the photocurrent from the corresponding photodiode 221 into a voltage signal.
  • the current-voltage conversion circuit 310 supplies a voltage signal to the buffer 320.
  • the buffer 320 corrects the voltage signal from the current-voltage conversion circuit 310.
  • the buffer 320 outputs the corrected voltage signal to the subtractor 330.
  • the subtractor 330 lowers the level of the voltage signal from the buffer 320 according to the row drive signal from the row drive circuit 251.
  • the subtractor 330 supplies the lowered voltage signal to the quantizer 340.
  • the quantizer 340 quantizes the voltage signal from the subtractor 330 into a digital signal and outputs it to the transfer circuit 350 as a detection signal.
  • the transfer circuit 350 transfers the detection signal from the quantizer 340 to the signal processing circuit 240 according to the column drive signal from the column drive circuit 252.
  • the current-voltage conversion circuit 310 and the buffer 320 of FIG. 24 are mounted on the pixel array unit 2, for example, and the subtractor 330, the quantizer 340, and the transfer circuit 350 are mounted on the pixel AFE unit 5.
  • FIG. 25 is a circuit diagram showing an example of the internal configuration of the current-voltage conversion circuit 310.
  • the current-voltage conversion circuit 310 of FIG. 25 includes N-type transistors 311 and 313 and a P-type transistor 312. As these transistors, for example, MOS (Metal-Oxide-Semiconductor) transistors are used.
  • MOS Metal-Oxide-Semiconductor
  • the source of the N-type transistor 311 is connected to the cathode of the photodiode 221 and the drain is connected to the power supply terminal.
  • the P-type transistor 312 and the N-type transistor 313 are connected in series between the power supply terminal and the ground terminal. Further, the connection points of the P-type transistor 312 and the N-type transistor 313 are connected to the gate of the N-type transistor 311 and the input terminal of the buffer 320. Further, a predetermined bias voltage Vbias1 is applied to the gate of the P-type transistor 312.
  • the drains of the N-type transistors 311 and 313 are connected to the power supply side, and such a circuit is called a source follower.
  • the photocurrent from the photodiode 221 is converted into a voltage signal by these two source followers connected in a loop.
  • the P-type transistor 312 supplies a constant current to the N-type transistor 313.
  • ground of the light receiving chip 201 and the ground of the detection chip 202 are separated from each other as a countermeasure against interference.
  • FIG. 26 is a circuit diagram showing an example of the internal configuration of the subtractor 330 and the quantizer 340.
  • the subtractor 330 includes capacitors 331 and 333, a comparator 332, and a switch 334.
  • One end of the capacitor 331 is connected to the output terminal of the buffer 320, and the other end is connected to the input terminal of the inverter 332.
  • the capacitor 333 is connected in parallel to the inverter 332.
  • the switch 334 opens and closes a path connecting both ends of the capacitor 333 according to a row drive signal.
  • the inverter 332 inverts the voltage signal input via the capacitor 331.
  • the inverter 332 outputs the inverted signal to the non-inverting input terminal (+) of the comparator 332.
  • the rolling shutter type image pickup apparatus 1 since the photoelectric conversion result is transferred while scanning the pixel array unit 2 row by row, an image in which a fast-moving object is distorted and visually recognized can be obtained. Therefore, a global shutter type image pickup apparatus 1 has been proposed in which the photoelectric conversion result for one frame is stored in the memory 27 and read out from the memory 27 to generate an image.
  • FIG. 27 is a circuit diagram of the pixel circuit 2a in the global shutter type image pickup apparatus 1.
  • the pixel circuit 2a of FIG. 27 has a photoelectric conversion element 31, a transfer transistor 32, a reset transistor 33, a buffer 34, and a memory 35.
  • the memory 35 has a P-phase storage unit 35a and a D-phase storage unit 35b.
  • the P-phase storage unit 35a stores the potential at the time of reset.
  • the D-phase storage unit 35b stores the potential corresponding to the photoelectrically converted electric signal. By detecting the difference between the potential stored in the P-phase storage unit 35a and the potential stored in the D-phase storage unit 35b, the fluctuation of the potential can be offset.
  • the potentials in the P-phase storage unit 35a and the D-phase storage unit 35b are re-stored each time the image is taken.
  • the photoelectric conversion element 31, the transfer transistor 32, and the reset transistor 33 are arranged on the pixel array portion 2 of the second substrate 12 on the left side of the broken line in FIG. 27, and on the right side of the broken line, that is, the memory 35. Is arranged in the pixel AFE unit 5 in the first substrate 11.
  • FIG. 28 is a circuit diagram of the pixel circuit 2a in the rolling shutter type image pickup apparatus 1.
  • the pixel circuit 2a of FIG. 28 includes a photoelectric conversion element 31, a transfer transistor 32, a reset transistor 33, an amplification transistor 36, and a selection transistor 37.
  • the photoelectric conversion element 31 and the transfer transistor 32 are arranged on the pixel array portion 2 of the second substrate 12 on the left side of the broken line in FIG. 28, and on the right side of the broken line, that is, the reset transistor 33 and the amplification transistor.
  • the 36 and the selection transistor 37 are arranged in the pixel AFE unit 5 in the first substrate 11.
  • FIG. 29 is a circuit diagram around the area AD type pixel circuit 2a that performs A / D conversion in units of the pixel area.
  • a plurality of pixel circuits 2a are connected to one A / D converter (hereinafter referred to as ADC).
  • ADC A / D converter
  • Each pixel circuit 2a includes a photoelectric conversion element 31, a transfer transistor 32, a reset transistor 33, an amplification transistor 36, and a selection transistor 37.
  • the left side of the broken line in FIG. 29 is arranged in the pixel array unit 2 of the second substrate 12, and the ADC on the right side of the broken line is arranged in the pixel AFE unit 5 in the first substrate 11.
  • FIG. 30 is a flowchart showing a processing procedure performed by the image pickup apparatus 1 according to the first embodiment.
  • a pixel AFE unit 5 read-only circuit
  • photoelectric conversion is performed by the plurality of photoelectric conversion elements 31.
  • the operation of reading the electric signal is performed (step S1).
  • an operation other than the operation of the pixel AFE unit 5 is performed in a circuit in the substrate different from the substrate on which the pixel AFE unit 5 is arranged (step S2).
  • the pixel array unit 2 and the pixel AFE unit 5 are arranged on separate substrates, and the pixel AFE unit 5 is arranged in a circuit that performs operations other than the pixel AFE unit 5 in the image pickup apparatus 1. Place it on a board separate from the board. As a result, it is possible to suppress variations in the circuit mounting area arranged on each board, reduce the free area of each board, and reduce power consumption.
  • the types of power supply voltage supplied to each board can be reduced.
  • the wiring pattern that supplies the power supply voltage can be shortened, and power supply noise can be reduced.
  • a circuit including a circuit part that uses a high power supply voltage and a circuit part that uses a low power supply voltage such as a column processing unit 4, a row drive unit 3, and a column drive unit 6, each circuit part
  • each circuit part is arranged at a position where it overlaps vertically, and each circuit part is arranged by Cu-Cu junction, TSV, microbump junction, etc. Since they are joined, they are less affected by parasitic resistance and parasitic capacitance, and the signal propagation delay time can be shortened.
  • the pixel array unit 2 can be used not only for the purpose of imaging, but also for the purpose of detecting an address event, the purpose of detecting the light receiving position and the light receiving timing of an optical signal, the purpose of A / D conversion in pixel units, and the like.
  • Each circuit constituting the image pickup apparatus 1 can be distributed to a plurality of substrates according to the above.
  • FIG. 31 is a block diagram showing another configuration example of the address event detection circuit 300.
  • the address event detection circuit 300 according to the configuration example of FIG. 31 includes a storage unit 360 and a control unit 370 in addition to the current-voltage conversion circuit 310, the buffer 320, the subtractor 330, the quantizer 340, and the transfer circuit 350. ing.
  • the image pickup device 1 provided with the address event detection circuit 300 of FIG. 24 will be referred to as a first configuration example
  • the image pickup device 1 provided with the address event detection circuit 300 of FIG. 313 will be referred to as a second configuration example.
  • the storage unit 360 is provided between the quantizer 340 and the transfer circuit 350, and is based on the sample signal supplied from the control unit 370, and is the output of the quantizer 340, that is, in the quantizer 340.
  • the comparison result of the comparator 3341 is accumulated.
  • the storage unit 360 may be a sampling circuit such as a switch, plastic, or capacitance, or may be a digital memory circuit such as a latch or flip-flop.
  • the control unit 370 supplies a predetermined threshold voltage V th to the inverting ( ⁇ ) input terminal of the comparator 3341.
  • the threshold voltage V th supplied from the control unit 370 to the comparator 3341 may have different voltage values in time division. For example, the control unit 370 sets the threshold voltage V th1 corresponding to the on-event indicating that the amount of change in the photocurrent exceeds the upper limit threshold value and the off-event indicating that the amount of change has fallen below the lower limit threshold value.
  • one comparator 3341 can detect a plurality of types of address events.
  • the storage unit 360 uses, for example, the threshold voltage V th1 corresponding to the on-event during the period in which the threshold voltage V th2 corresponding to the off-event is supplied from the control unit 370 to the inverting (-) input terminal of the comparator 3341.
  • the comparison result of the comparator 3341 that has been used may be accumulated.
  • the storage unit 360 may be inside the pixel 216 or outside the pixel 216. Further, the storage unit 360 is not an essential component of the address event detection circuit 300. That is, the storage unit 360 may be omitted.
  • Imaging device 1 (scan method) according to the second configuration example
  • the image pickup device 210 provided with the first configuration example of the address event detection circuit 300 shown in FIG. 24 described above is an asynchronous image pickup device 1 that reads out an event by an asynchronous read-out method.
  • the event reading method is not limited to the asynchronous reading method, and may be a synchronous reading method.
  • the image pickup device 1 to which the synchronous reading method is applied is the same scan type image pickup device 1 as the normal image pickup device 1 that performs imaging at a predetermined frame rate.
  • FIG. 32 is a block diagram showing an example of the configuration of the imaging device 1 according to the second configuration example, that is, the scanning type imaging device 1, which is used as the imaging device 210 in the imaging system to which the technique according to the present disclosure is applied. be.
  • the image pickup device 210 includes a pixel array unit 211, a signal processing unit 212, a drive unit 213, a read area selection unit 214, and a signal generation. It is configured to include a unit 215.
  • the pixel array unit 211 includes a plurality of pixels 216.
  • the plurality of pixels 216 output an output signal in response to the selection signal of the read area selection unit 214.
  • Each of the plurality of pixels 216 may have a quantizer in the pixel, as shown in FIG. 24, for example.
  • the plurality of pixels 216 output an output signal corresponding to the amount of change in light intensity. As shown in FIG. 32, the plurality of pixels 216 may be two-dimensionally arranged in a matrix.
  • the drive unit 213 drives each of the plurality of pixels 216 to output the pixel signal generated by each pixel 216 to the signal processing unit 212.
  • the drive unit 213 and the signal processing unit 212 are circuit units for acquiring gradation information. Therefore, when only the event information is acquired, the drive unit 213 and the signal processing unit 212 may be omitted.
  • the read area selection unit 214 selects a part of the plurality of pixels 216 included in the pixel array unit 211. For example, the read area selection unit 214 selects any one or a plurality of rows included in the structure of the two-dimensional matrix corresponding to the pixel array unit 211. The read area selection unit 214 sequentially selects one or a plurality of rows according to a preset cycle. Further, the read area selection unit 214 may determine the selection area in response to a request from each pixel 216 of the pixel array unit 211.
  • the signal generation unit 215 generates an event signal corresponding to the active pixel that has detected an event among the selected pixels, based on the output signal of the pixel selected by the read area selection unit 214.
  • An event is an event in which the intensity of light changes.
  • An active pixel is a pixel in which the amount of change in light intensity corresponding to an output signal exceeds or falls below a preset threshold value. For example, the signal generation unit 215 compares the output signal of the pixel with the reference signal, detects the active pixel that outputs the output signal when it is larger or smaller than the reference signal, and generates an event signal corresponding to the active pixel. ..
  • the signal generation unit 215 can be configured to include, for example, a column selection circuit that arbitrates the signal entering the signal generation unit 215. Further, the signal generation unit 215 can be configured to output not only the information of the active pixel that detected the event but also the information of the inactive pixel that does not detect the event.
  • the signal generation unit 215 outputs the address information and the time stamp information (for example, (X, Y, T)) of the active pixel that detected the event through the output line 218.
  • the data output from the signal generation unit 215 may be not only address information and time stamp information but also frame format information (for example, (0, 0, 1, 0, ...)). ..
  • an analog-to-digital converter including a comparator 21, a counter 23, and a memory 27 is provided in the column processing unit 4 in a one-to-one correspondence with the pixel sequence of the pixel array unit 2.
  • ADC analog-to-digital converter
  • the present invention is not limited to this configuration example.
  • an analog-to-digital converter (ADC) may be arranged in units of a plurality of pixel trains, and the analog-to-digital converter (ADC) may be used in a time division manner among the plurality of pixel trains.
  • the analog-to-digital converter converts the analog pixel signal SIG supplied via the vertical signal line VSL into a digital signal having a larger number of bits than the above-mentioned address event detection signal. For example, if the detection signal of the address event is 2 bits, the pixel signal is converted into a digital signal of 3 bits or more (16 bits or the like).
  • the analog-to-digital converter (ADC) supplies the digital signal generated by the analog-to-digital conversion to the signal processing unit 212.
  • the image pickup apparatus 1 has a detection unit (that is, an address event detection circuit 300) that detects in real time as an address event that the amount of light of the pixel exceeds a predetermined threshold value for each pixel address.
  • a detection unit that is, an address event detection circuit 300
  • the image pickup apparatus 1 In the image pickup apparatus 1 according to the first configuration example of the asynchronous type, originally, when some event (that is, a true event) occurs in the scene, the data caused by the occurrence of the true event is acquired. However, in the asynchronous type image pickup apparatus 1, even in a scene where a true event does not occur, data may be unnecessarily acquired due to a noise event (false event) such as sensor noise. This not only reads out the noise signal, but also reduces the throughput of the signal output.
  • a noise event false event
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as a distance measuring device mounted on the body.
  • FIG. 33 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetics, and a drive circuit that drives various control target devices. To be equipped.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is provided by wired communication or wireless communication with devices or sensors inside or outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are shown.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle condition detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. Includes at least one of the sensors for detecting angular velocity, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a braking device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as head lamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 7200 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals to control the temperature of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 is used to detect, for example, the current weather or an environmental sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 34 shows an example of the installation positions of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided on the front nose and the image pickup section 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 34 shows an example of the photographing range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle outside information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is dozing or not. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input-operated by a passenger. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi).
  • GSM Global System of Mobile communications
  • WiMAX Wireless F
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-Fi wireless LAN
  • Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
  • the general-purpose communication I / F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via, for example, a base station or an access point. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian, or a store, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of lower layer IEEE802.11p and upper layer IEEE1609. May be implemented.
  • the dedicated communication I / F7630 typically includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-pedestrian (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is connected via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or an information device carried or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits and receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680. Based on the information acquired in the above, the vehicle control system 7000 is controlled according to various programs. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control for the purpose of driving or the like may be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road based on the acquired information, and may generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or turning on a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a heads-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, wearable devices such as eyeglass-type displays worn by passengers, and projectors or lamps.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to one of the control units may be connected to the other control unit, and the plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the techniques according to the present disclosure include, for example, the imaging unit 7910, 7912, 7914, 7916, 7918, the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930, and the driver state detection. It can be applied to the part 7510 and the like. Specifically, the image pickup system 10 of FIG. 1 having the image pickup apparatus 1 of the present disclosure can be applied to these image pickup units and detection units.
  • the influence of noise events such as sensor noise can be mitigated, and the occurrence of true events can be detected reliably and quickly, thus realizing safe vehicle driving. It becomes possible to do.
  • the present technology can have the following configurations.
  • An imaging device including a plurality of substrates to be laminated.
  • a read-only circuit that is arranged on a substrate different from the substrate on which the pixel array portion having a plurality of photoelectric conversion elements is arranged and performs a read operation of an electric signal photoelectrically converted by the plurality of photoelectric conversion elements.
  • An imaging device including a circuit that is arranged on a substrate different from the substrate on which the read-only circuit is arranged and that performs an operation other than the operation of the read-only circuit based on the electric signal.
  • the read-only circuit is a circuit that converts an electric signal photoelectrically converted by the photoelectric conversion element into a voltage signal to adjust the gain.
  • the board on which a circuit that performs an operation other than the operation of the read-only circuit is arranged is a voltage signal output from the read-only circuit in units of two or more pixel groups arranged in the first direction of the pixel array unit. At least one of a process of converting the digital signal into a digital signal, a predetermined signal process for the digital signal, and a process of driving the plurality of photoelectric conversion elements in units of two or more pixel groups arranged in a second direction.
  • the imaging device according to (1).
  • the circuit portion in which the power supply voltage exceeds a predetermined reference voltage is arranged on the same substrate as the plurality of photoelectric conversion elements, (1) or (1) or ( The imaging device according to 2).
  • the image pickup apparatus according to (3) which is arranged on a substrate on which the pixel array unit is arranged and includes at least a part of an AD unit that digitally converts a pixel signal read from the read-only circuit.
  • the AD unit digitally converts a pixel signal read from the read-only circuit in units of two or more pixel groups arranged in the first direction of the pixel array unit, according to (4). Imaging device.
  • a pixel group driving unit (4) to (7) which is arranged on a substrate on which the pixel array unit is arranged and drives the pixel array unit in units of two or more pixel groups arranged in the second direction.
  • the imaging apparatus according to any one of (8).
  • the first substrate is larger than the second substrate, The imaging device according to (9), wherein the second substrate is larger than the third substrate.
  • the imaging apparatus according to. (12) A fourth substrate provided at the same layer height as the third substrate is provided.
  • the read-only circuit is arranged on the one substrate so that at least a part thereof overlaps with the pixel array portion when the first substrate and the second substrate are viewed in a plan view from the stacking direction.
  • the imaging apparatus according to any one of 9) to (13).
  • the pixel array unit and the read-only circuit include a change amount detection unit that outputs a detection signal indicating whether or not the change amount of the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value.
  • the imaging apparatus according to any one of (1) to (16).
  • the imaging apparatus according to item 1.
  • a step of reading out an electric signal photoelectrically converted by the plurality of photoelectric conversion elements is performed.
  • An imaging method comprising: in a circuit arranged on a substrate different from the substrate on which the read-only circuit is arranged, a step of performing an operation other than the operation of the read-only circuit based on the electric signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Manufacturing & Machinery (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

［課題］基板上の無駄な領域を削減可能な撮像装置を提供する。 ［解決手段］積層される複数の基板を備えた撮像装置は、複数の光電変換素子を有する画素アレイ部が配置される基板とは異なる基板に配置され、前記複数の光電変換素子で光電変換された電気信号の読み出し動作を行う読み出し専用回路と、前記読み出し専用回路が配置される基板とは異なる基板に配置され、前記電気信号に基づいて前記読み出し専用回路の動作以外の動作を行う回路と、を備える。

Description

撮像装置及び撮像方法
　本開示は、撮像装置及び撮像方法に関する。
　従来より、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子を備えた撮像装置が汎用的に用いられている。同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難である。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出するアドレスイベント検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている（例えば、特許文献１参照。）。
特表２０１６－５３３１４０号公報
　上述の非同期型の固体撮像素子では、同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかしながら、アドレスイベント検出回路は、同期型における画素回路よりも回路規模が大きく、そのような回路を画素毎に設けると、実装面積が同期型と比較して増大してしまうという問題がある。
　近年、半導体の集積回路技術の進展により、二枚の基板を積層して、上下の基板間で高速に信号の送受を行うことが可能になった。よって、上述したアドレスイベント検出回路を配置した基板と、画素アレイ部を配置した基板とを積層して撮像装置を構成することも可能である。
　しかしながら、積層される二つの基板に実装される回路面積に著しく違いがある場合、回路面積の大きい方の基板のサイズによって、固体撮像素子の外形サイズが決まってしまい、小型化できないおそれがある。また、固体撮像素子を構成する各回路部分は相互に関連しており、各回路部分によって回路面積が異なるため、積層される二つの基板の実装面積が均等になるように各回路部分を割り振るのは容易ではない。積層される二つの基板の一方は回路面積が大きく、他方は回路面積が小さくて空き領域が多くなることもありえる。基板に空き領域が多いということは無駄な領域が多いことを意味し、チップコストの上昇につながる。
　そこで、本開示では、基板上の無駄な領域を削減可能な撮像装置及び撮像方法を提供するものである。
　上記の課題を解決するために、本開示によれば、積層される複数の基板を備えた撮像装置であって、
　複数の光電変換素子を有する画素アレイ部が配置される基板とは異なる基板に配置され、前記複数の光電変換素子で光電変換された電気信号の読み出し動作を行う読み出し専用回路と、
　前記読み出し専用回路が配置される基板とは異なる基板に配置され、前記電気信号に基づいて前記読み出し専用回路の動作以外の動作を行う回路と、を備える撮像装置が提供される。
　前記読み出し専用回路は、前記光電変換素子で光電変換された電気信号を電圧信号に変換してゲイン調整を行う回路であり、
　前記読み出し専用回路の動作以外の動作を行う回路が配置される前記基板は、前記画素アレイ部の第１方向に配置された２以上の画素群を単位として前記読み出し専用回路から出力された電圧信号をデジタル信号に変換する処理と、前記デジタル信号に対する所定の信号処理と、前記複数の光電変換素子を第２方向に配置された２以上の画素群を単位として駆動する処理と、の少なくとも一つを行ってもよい。
　前記読み出し専用回路の動作以外の動作を行う回路のうち、電源電圧が所定の基準電圧を超える回路部分は、前記複数の光電変換素子と同じ基板に配置されてもよい。
　前記画素アレイ部が配置される基板に配置され、前記読み出し専用回路から読み出された画素信号をデジタル変換するＡＤ部の少なくとも一部を備えてもよい。
　前記ＡＤ部は、前記画素アレイ部の第１方向に配置された２以上の画素群を単位として前記読み出し専用回路から読み出された画素信号をデジタル変換してもよい。
　前記ＡＤ部は、前記画素アレイ部が配置される基板と、それ以外の基板とに分けて配置されてもよい。
　前記画素アレイ部が配置される基板に配置され、前記画素アレイ部を第２方向に配置された２以上の画素群を単位として駆動する画素群駆動部を備えてもよい。
　前記画素群駆動部は、前記画素アレイ部が配置される基板と、それ以外の基板とに分けて配置されてもよい。
　前記読み出し専用回路が配置される第１基板と、
　前記第１基板上に積層され、前記画素アレイ部が配置される第２基板と、
　前記第１基板上の前記第２基板と同一の層高さに積層され、前記読み出し専用回路の動作以外の動作を行う回路の少なくとも一部が配置される第３基板と、を備えてもよい。
　前記第１基板は、前記第２基板よりも大きく、
　前記第２基板は、前記第３基板よりも大きくてもよい。
　前記読み出し専用回路が配置される第１基板と、
　前記第１基板上に積層され、前記画素アレイ部が配置される第２基板と、
　前記第１基板の下に積層され、前記読み出し専用回路の動作以外の動作を行う回路の少なくとも一部が配置される第３基板と、を備えてもよい。
　前記第３基板と同一の層高さに配置される第４基板を備え、
　前記第３基板及び前記第４基板には、前記読み出し専用回路の動作以外の動作を行う回路の一部ずつが配置されてもよい。
　前記第２基板は、前記第３基板及び前記第４基板よりも大きくてもよい。
　前記読み出し専用回路は、前記第１基板及び前記第２基板を積層方向から平面視したときに、前記画素アレイ部と少なくとも一部が重なるように前記１基板上に配置されてもよい。
　前記読み出し専用回路は、前記複数の光電変換素子のそれぞれに対して１つずつ設けられてもよい。
　前記読み出し専用回路は、２つ以上の前記光電変換素子に対応づけて設けられてもよい。
　前記画素アレイ部及び前記読み出し専用回路は、前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する変化量検出部を有してもよい。
　前記画素アレイ部及び前記読み出し専用回路は、個々の前記光電変換素子で光電変換された電気信号をデジタル信号に変換する画素ＡＤ部を有してもよい。
　前記が画素アレイ部及び前記読み出し専用回路は、前記複数の光電変換素子に入射された光の入射位置及び入射時刻を検出する光検出部を有してもよい。
　前記画素アレイ部から第１信号を出力する第１出力部と、
　前記読み出し専用回路から第２信号を出力する第２出力部と、を備えてもよい。
　前記複数の基板同士は、Ｃｕ－Ｃｕ接合、ＴＳＶ（Through Silicon Via）、及びバンプ接合の少なくとも一つで接合されてもよい。
　前記基板は、ウエハ又は半導体チップであってもよい。
　本開示の他の一態様によれば、積層される複数の基板を備えた撮像方法であって、
　複数の光電変換素子を有する画素アレイ部が配置される基板とは異なる基板に配置される読み出し専用回路において、前記複数の光電変換素子で光電変換された電気信号の読み出し動作を行うステップと、
　前記読み出し専用回路が配置される基板とは異なる基板に配置される回路において、前記電気信号に基づいて前記読み出し専用回路の動作以外の動作を行うステップと、を備える撮像方法が提供される。
第１の実施形態による撮像装置１の概略構成を示すブロック図。 積層される一方の基板の第１レイアウト例を示す図。 積層される他方の基板の第１レイアウト例を示す図。 積層される一方の基板の第２レイアウト例を示す図。 積層される他方の基板の第２レイアウト例を示す図。 積層される一方の基板の第３レイアウト例を示す図。 積層される他方の基板の第３レイアウト例を示す図。 積層される一方の基板の第４レイアウト例を示す図。 積層される他方の基板の第４レイアウト例を示す図。 画素アレイ部とが画素ＡＦＥ部の位置関係を示す図。 図２Ａ及び図２Ｂのレイアウト配置を採用した場合の模式的な斜視図。 図３Ａ及び図３Ｂのレイアウト配置を採用した場合の模式的な斜視図。 図２Ａの一変形例のレイアウト図。 図２Ｂの一変形例のレイアウト図。 図３Ａの一変形例のレイアウト図。 図３Ｂの一変形例のレイアウト図。 図７Ａの一変形例を示す斜視図。 図７Ｂの一変形例を示す斜視図。 各画素回路と各サブＡＦＥ部との接続態様を示す図。 各画素回路と各サブＡＦＥ部との接続態様を示す図。 各画素回路と各サブＡＦＥ部との接続態様を示す図。 各画素回路と各サブＡＦＥ部との接続態様を示す図。 カラム処理部の内部構成の一例を示すブロック図。 行駆動部の内部構成の一例を示すブロック図。 ＣｏＷ方式の第２基板のレイアウト図。 ＣｏＷ方式の第１基板のレイアウト図。 図１３Ａとは異なる方向にチップを配置した第２基板のレイアウト図。 図１３Ａとは異なる方向にチップを配置した第１基板のレイアウト図。 三層構造の第３基板の第１レイアウト図。 三層構造の第２基板の第１レイアウト図。 三層構造の第１基板の第１レイアウト図。 三層構造の第３基板の第２レイアウト図。 三層構造の第２基板の第２レイアウト図。 三層構造の第１基板の第２レイアウト図。 三層構造の第３基板の第３レイアウト図。 三層構造の第２基板の第３レイアウト図。 三層構造の第１基板の第３レイアウト図。 カラム処理部を持たない撮像装置の概略構成を示すブロック図。 アドレスイベント検出信号の生成を模式的に示す図。 ＳＰＡＤ信号の生成を模式的に示す図。 階調信号の生成を模式的に示す図。 一つの画素回路が一つのサブＡＦＥ部に対応する例を示す図。 複数の画素回路が一つのサブＡＦＥ部に対応する例を示す図。 一つの画素回路が複数のサブＡＦＥ部に対応する例を示す図。 カラム処理部を持たない場合の第２基板の第１レイアウト図。 カラム処理部を持たない場合の第１基板の第１レイアウト図。 カラム処理部を持たない場合の第２基板の第２レイアウト図。 カラム処理部を持たない場合の第１基板の第２レイアウト図。 画素アレイ部の第１例を示す図。 画素アレイ部の第２例を示す図。 画素アレイ部の第３例を示す図。 アドレスイベント検出回路の一例を示すブロック図。 電流電圧変換回路の内部構成の一例を示す回路図。 減算器及び量子化器の内部構成の一例を示す回路図。 グローバルシャッタ方式の撮像装置における画素回路の回路図。 ローリングシャッタ方式の撮像装置における画素回路の回路図。 画素領域を単位としてＡ／Ｄ変換するエリアＡＤ方式の画素回路周辺の回路図。 第１の実施形態による撮像装置１が行う処理手順を示すフローチャート。 アドレスイベント検出回路の他の構成例を示すブロック図。 第２構成例に係る撮像装置の構成を示すブロック図。 車両制御システムの概略的な構成例を示すブロック図。 撮像部及び車外情報検出部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）
　図１は第１の実施形態による撮像装置１の概略構成を示すブロック図である。図１の撮像装置１は、画素アレイ部２と、行駆動部３と、カラム処理部４と、画素ＡＦＥ部５と、列駆動部６と、信号処理部７と、システム制御部８とを備えている。場合によっては、図１の撮像装置１は、追加の信号処理部９を備えてもよい。
　画素アレイ部２は、行方向及び列方向に配置される複数の画素回路２ａを有する。各画素回路２ａは、光電変換素子と、光電変換素子で光電変換された電気信号を読み出す読み出し回路とを有する。読み出し回路は、光電変換された電気信号を後述する画素ＡＦＥ（Analog Front End）部に転送する回路である。より具体的には、読み出し回路は、転送トランジスタなどを有する。
　行駆動部３は、画素アレイ部２における各行を順に駆動する。行駆動部３により、画素アレイ部２内の各行に接続された複数の画素回路２ａ（以下、画素群）が行ごとに駆動される。後述するように、行駆動部３は、高電源電圧が供給される回路部分と、低電源電圧が供給される回路部分とを有する。
　カラム処理部４は、画素アレイ部２における各列に接続された複数の画素回路２ａ（以下、画素群）の出力信号を順に読み出してアナログ－デジタル変換を行う。後述するように、カラム処理部４は、高電源電圧が供給される回路部分と、低電源電圧が供給される回路部分とを有する。
　画素ＡＦＥ部５は、複数の光電変換素子で光電変換された電気信号の読み出し動作を行う。より具体的には、画素ＡＦＥ部５は、各画素回路２ａから出力された電圧信号を基準信号と比較して量子化する動作を行う読み出し専用回路である。画素ＡＦＥ部５は、例えば、リセットトランジスタ、増幅トランジスタ、選択トランジスタなどを有する。画素回路２ａに供給される電源電圧と、画素ＡＦＥ部５に供給される電源電圧とは異なっていてもよく、例えば画素ＡＦＥ部５には、画素回路２ａよりも低い電圧レベルの電源電圧が供給されてもよい。
　画素ＡＦＥ部５は、画素アレイ部２に対応づけて設けられる。後述するように、本実施形態では、画素アレイ部２が配置される基板とは別の基板に画素ＡＦＥ部５を配置することを念頭に置いており、画素ＡＦＥ部５と画素アレイ部２は上下に重なる位置に配置される。これにより、画素ＡＦＥ部５と画素アレイ部２を、Ｃｕ－Ｃｕ接合、ＴＳＶ（Through Silicon Via）、マイクロバンプ接合などで接合して、高速に信号を送受することができる。
　画素ＡＦＥ部５は、画素アレイ部２と同様に、行方向及び列方向に配置される複数のサブＡＦＥ部５ａを有する。各サブＡＦＥ部５ａは、対応する画素回路２ａから出力された電気信号を電圧信号に変換してゲイン調整を行う。各サブＡＦＥ部５ａは、電圧信号を量子化する処理まで行ってもよい。
　列駆動部６は、画素ＡＦＥ部５における各列を順に駆動する。列駆動部６により、画素ＡＦＥ部５内の各列に接続された複数のサブＡＦＥ部５ａから出力された電圧信号又は量子化データが順に出力されて信号処理部７に入力される。後述するように、列駆動部６は、高電源電圧が供給される回路部分と、低電源電圧が供給される回路部分とを有する。
　信号処理部７は、画素ＡＦＥ部５の出力信号に対して種々の信号処理を行う。信号処理部７は、例えばＣＤＳ（Correlated Double Sampling）処理や画像認識処理などを行う。信号処理部７だけではすべての信号処理を行えない場合は、追加の信号処理部９を利用してさらなる信号処理を行ってもよい。また、信号処理部７又は追加の信号処理部９が行った信号処理の結果を示すデータを格納する図１では不図示のメモリを備えてもよい。
　システム制御部８は、撮像装置１内の各部を制御する。例えば、システム制御部８は、行駆動部３が画素アレイ部２の各行を駆動するタイミングと、カラム処理部４が画素アレイ部２の各列の画素回路２ａの出力を読み出すタイミングを制御する。また、システム制御部８は、列駆動部６が画素ＡＦＥ部５を駆動するタイミングと、信号処理部７が信号処理を行うタイミングを制御する。
　本実施形態による撮像装置１内の各部は、積層される複数の基板に分けて配置されている。本実施形態では、各基板の空き領域をできるだけ少なくすることに特徴がある。なお、本実施形態における基板とは、ウエハでもよいし、半導体チップ（以下、単にチップと呼ぶ）でもよい。本実施形態では、ウエハ同士を積層するＷｏＷ（Wafer on Wafer）方式と、ウエハとチップを積層するＣｏＷ（Chip on Wafer）方式と、チップ同士を積層するＣｏＣ（Chip on Chip）とのいずれでもよい。
　撮像装置１は、その内部の各回路によって、使用する電源電圧が異なるため、例えば、各回路が使用する電源電圧レベルによって、実装する基板を分けることが考えられる。例えば、電源電圧が所定の基準電圧レベルより高い回路を実装する基板と、電源電圧が基準電圧レベル以下の回路を実装する基板とを分けてもよい。
　また、撮像装置１は、その内部に、アナログ信号を扱う回路と、デジタル信号を扱う回路とを含んでいる。一般に、アナログ信号を扱う回路は、ノイズ等の影響を受けやすいため、微細化するのが困難である。一方、デジタル信号を扱う回路は、微細化しても電気特性が低下するおそれは少ない。そこで、アナログ信号を扱う回路が配置された基板と、デジタル信号を扱う回路が配置された基板とに分けて、デジタル信号を扱う回路が配置された基板については、微細化プロセスを使用して回路を形成してもよい。回路の微細化により、より大規模の回路を基板内に実装できるとともに、消費電力を削減できる。
　図２Ａ及び図２Ｂは、積層される二つの基板１１，１２の第１レイアウト例を示す図である。図２Ｂの基板１１の上に、図２Ａの基板１２を積層する例を示している。図２Ｂの基板１１はウエハでもチップでもよい。図２Ａの基板１２は、図２Ｂの基板１１がウエハの場合にはウエハでもチップでもよいが、図２Ｂの基板１１がチップの場合にはチップである。このように、図２Ｂの基板１１は、図２Ａの基板１２と同一サイズか、あるいはそれ以上のサイズを有する。
　図２Ａの基板１２には、画素アレイ部２とカラム処理部４が配置されている。図２Ａの基板１２と図２Ｂの基板１１は、複数の接合部１３にて接合されている。接合部１３は、接着剤等で両基板を接合してもよいし、Ｃｕ－Ｃｕ接合、ＴＳＶ、マイクロバンプ接合などで接合してもよい。図２Ｂの基板１１の上に図２Ａの基板１２が積層されることから、以下では、図２Ｂの基板１１を第１基板１１、図２Ａの基板１２を第２基板１２と呼ぶことがある。
　図２Ａでは、第２基板１２の略中央部に画素アレイ部２を配置し、その近傍にカラム処理部４を配置する例を示しているが、画素アレイ部２とカラム処理部４の具体的な配置場所は任意である。ただし、後述するように、画素アレイ部２は、別基板に配置される画素ＡＦＥ部５との間で信号の送受を行うため、画素アレイ部２と画素ＡＦＥ部５とは、できるだけ近い距離に配置するのが望ましい。理想的には、基板１１，１２同士を積層したときに、画素アレイ部２と画素ＡＦＥ部５が上下に重なるように配置するのが望ましい。また、カラム処理部４は、画素アレイ部２の近傍に配置するのが寄生容量や寄生抵抗を減らす観点で望ましい。
　図２Ｂの第１基板１１には、画素ＡＦＥ部５と、列駆動部６と、行駆動部３と、信号処理部７と、追加の信号処理部９とが配置されている。追加の信号処理部９は、省略される場合もありえる。
　画素ＡＦＥ部５は、二つの基板１１，１２を積層した状態で、基板面の法線方向から平面視した場合に、画素アレイ部２と上下に重なる位置に配置される。画素ＡＦＥ部５の第１端面に沿って行駆動部３が配置され、画素ＡＦＥ部５の第２端面に沿って列駆動部６が配置され、画素ＡＦＥ部５の第３端面に沿って信号処理部７が配置され、画素ＡＦＥ部５の第４端面に沿って追加の信号処理部９が配置されている。また、画素ＡＦＥ部５の角部に沿ってシステム制御部８が配置されている。
　図１に示すように、信号処理部７はカラム処理部４の出力を利用して信号処理を行うため、図２Ｂの第１基板１１内の信号処理部７は、図２Ａの第２基板１２内のカラム処理部４と上下に重なる位置に配置されている。そして、信号処理部７とカラム処理部４は、Ｃｕ－Ｃｕ接合、ＴＳＶ又はマイクロバンプ接合等により、接合されて、各種信号の送受を行う。これにより、カラム処理部４と信号処理部７が別々の基板に配置されていても、信号処理部７は、寄生容量や寄生抵抗の影響を受けることなく、カラム処理部４の出力を用いて迅速に信号処理を行うことができる。
　このように、図２Ａの第１基板１１に、画素アレイ部２だけでなく、カラム処理部４を配置することで、第１基板１１の空き領域を減らすことができ、第１基板１１の回路実装面積を第２基板１２の回路実装面積に近づけることができる。また、第２基板１２の回路実装面積を減らせるため、第１基板１１と第２基板１２のいずれも基板サイズを縮小でき、撮像装置１の小型化を図ることができる。また、基板１１，１２はいずれも、信号が流れる順序に沿って、各回路を配置しているため、信号の伝搬遅延時間を短縮でき、ノイズの影響も受けにくくなる。
　図３Ａ及び図３Ｂは、積層される二つの基板１１，１２の第２レイアウト例を示す図である。カラム処理部４は、列ごとにＡ／Ｄ変換処理を行うため、複数の比較器、カウンタ、スイッチ、メモリなどが必要となる。このため、カラム処理部４の回路規模は、列数が多いほど、大きくなる。また、カラム処理部４内の比較器とカウンタでは、使用する電源電圧が異なる場合がある。そこで、カラム処理部４を二つに分けて、第１基板１１と第２基板１２のそれぞれに部分的に配置する。より具体的には、カラム処理部４のうち、比較器などの高い電源電圧を用いる回路部分は第２基板１２に配置し、カウンタなどの低い電源電圧を用いる回路部分は第１基板１１に配置する。これにより、第１基板１１と第２基板１２のそれぞれに供給する電源電圧の種類を減らすことができる。
　信号処理部７は、画素ＡＦＥ部５とカラム処理部４の双方から信号を受領するため、図３Ｂでは、第１基板１１上の画素ＡＦＥ部５とカラム処理部４の間に信号処理部７を配置している。
　このように、図３Ａ及び図３Ｂの第２レイアウト例では、カラム処理部４の回路規模が大きい場合や、カラム処理部４がその内部の回路によって使用する電源電圧レベルが異なる場合には、カラム処理部４を第１基板１１と第２基板１２に分けて配置するため、第１基板１１と第２基板１２の回路実装面積のばらつきを抑制できるとともに、基板ごとに、供給される電源電圧を分けることができる。また、信号処理部７を画素ＡＦＥ部５とカラム処理部４の間に配置することで、信号処理部７とカラム処理部４との信号の送受と、信号処理部７と画素ＡＦＥ部５との信号の送受を高速化することができる。
　図４Ａ及び図４Ｂは、積層される二つの基板１１，１２の第３レイアウト例を示す図である。第３レイアウト例では、行駆動部３を構成する回路のうち、レベルシフタ等の高電圧で駆動される回路部分（例えばレベルシフタなど）と、低電圧で駆動される回路部分とを別々の基板に配置する。
　図４Ａの第１基板１１と第２基板１２の上下に重なる位置に行駆動部３が設けられる。第２基板１２内の行駆動部３は、レベルシフタ等の高電圧で駆動される回路部分を含み、第１基板１１内の行駆動部３は、シフトレジスタ等の低電圧で駆動される回路部分を含む。各基板の行駆動部３同士は、Ｃｕ－Ｃｕ接合、ＴＳＶ、又はマイクロバンプ接合などで接合される。
　なお、図４Ａ及び図４Ｂでは、カラム処理部４を第２基板１２に配置しているが、図３Ａ及び図３Ｂと同様に、カラム処理部４を第１基板１１と第２基板１２に分けて配置してもよい。あるいは、カラム処理部４を第２基板１２ではなく、第１基板１１に配置してもよい。
　図５Ａ及び図５Ｂは、積層される二つの基板１１，１２の第４レイアウト例を示す図である。第４レイアウト例では、行駆動部３とカラム処理部４を第２基板１２に配置している。これにより、第１基板１１と第２基板１２の回路実装面積の差異をより少なくすることができる。
　上述した第１～第４レイアウト例以外にも種々のレイアウト例が考えられる。上述した第１～第４レイアウトでは、図６に示すように、第２基板１２上の画素アレイ部２と第１基板１１上の画素ＡＦＥ部５が上下に重なる位置に配置されている点で共通する。これにより、画素アレイ部２の各画素からの読み出しを効率よく行うことができる。なお、画素アレイ部２と画素ＡＦＥ部５は、それぞれの一部が上下に重なっておればよく、必ずしも全体が上下に重なっている必要はない。また、画素アレイ部２と画素ＡＦＥ部５の回路実装面積は必ずしも同一である必要はない。
　図７Ａは図２Ａ及び図２Ｂのレイアウト配置を採用した場合の模式的な斜視図である。図２Ａ及び図２Ｂの場合、第２基板１２にカラム処理部４が配置され、第１基板１１に信号処理部７が配置される。図７Ａに示すように、カラム処理部４と信号処理部７は、上下に重なる位置に配置されている。このため、カラム処理部４でＡ／Ｄ変換したデジタル画素データをＣｕ－Ｃｕ接合等を介して最短距離で第２基板１２内の信号処理部７に送信でき、信号配線の寄生容量や寄生抵抗の影響を受けることなく、迅速に信号処理を行うことができる。また、図７Ａのレイアウト配置では、第２基板１２では主にアナログ信号を扱い、第１基板１１では主にデジタル信号を扱うため、第１基板１１上の回路を微細プロセスで形成できる。
　図７Ｂは図３Ａ及び図３Ｂのレイアウト配置を採用した場合の模式的な斜視図である。図３Ａ及び図３Ｂの場合、第１基板１１と第２基板１２の双方にカラム処理部４が配置されるため、例えば、カラム処理部４の高電源電圧を利用する前半部分の処理を第２基板１２内のカラム処理部４で行い、低電源電圧を利用する後半部分の処理を第１基板１１内のカラム処理部４で行うことができる。図７Ｂに示すように、第１基板１１のカラム処理部４と第２基板１２のカラム処理部４は上下に重なる位置に配置されているため、両基板のカラム処理部４同士で迅速に信号の送受を行うことができる。
　上述した第１～第４レイアウト例では、第２基板１２の略中央部に画素アレイ部２を配置しているが、画素アレイ部２の配置場所は任意である。また、接合部１３の数や配置場所も任意である。
　図８Ａ及び図８Ｂは、図２Ａ及び図２Ｂの一変形例である。図８Ｃ及び図８Ｄは、図３Ａ及び図３Ｂの一変形例である。図８Ａ及び図８Ｃに示す第２基板１２では、画素アレイ部２が第２基板１２の一端辺に沿って配置され、この端辺に対向する別の端辺に沿って接合部１３が配置されている。図８Ｂ及び図８Ｄに示す第１基板１１では、第２基板１２の画素アレイ部２と上下に重なるように画素ＡＦＥ部５が配置され、接合部１３も第１基板１１と第２基板１２で上下に重なるように配置されている。
　上述したように、第１基板１１と第２基板１２内の各回路のレイアウト配置には、種々の変形例が考えられる。
　図９Ａは図７Ａの一変形例を示す斜視図、図９Ｂは図７Ｂの一変形例を示す斜視図である。図９Ａでは、第２基板１２のカラム処理部４を二つに分けて、第２基板１２の対向する二つの端辺に沿って配置している。以下では、これら２つの分割されたカラム処理部４を、分割カラム処理部４ａと呼ぶ。これに合わせて、第１基板１１の信号処理部７も二つに分けて、第１基板１１の対向する二つの端辺に沿って配置している。以下では、これら２つの分割された信号処理部７を、分割信号処理部７ａと呼ぶ。各端辺側の分割カラム処理部４ａと分割信号処理部７ａは、上下に重なるように配置されている。分割カラム処理部４ａと分割信号処理部７ａは、Ｃｕ－Ｃｕ接合、ＴＳＶ、又はマイクロバンプ接合等により接合されて、各種信号の送受を行う。
　図９Ｂも図９Ａと同様であり、第１基板１１と第２基板１２のいずれにおいても、対向する二つの端辺に沿って２つの分割カラム処理部４ａが配置されている。
　このように、カラム処理部４を２つに分割して、第２基板１２の対向する二つの端辺に沿って配置することにより、画素アレイ部２からカラム処理部４までの距離をできるだけ均等にすることができる。同様に、信号処理部７を２つに分割して、第２基板１２の対向する二つの端辺に沿って配置することにより、画素ＡＦＥ部５から信号処理部７までの距離をできるだけ均等にすることができる。
　図６に示したように、本実施形態では、画素アレイ部２と画素ＡＦＥ部５を別々の基板の上下に重なる位置に配置し、画素アレイ部２と画素ＡＦＥ部５とで、迅速に各種信号の送受を行うようにしている。画素アレイ部２と画素ＡＦＥ部５は、Ｃｕ－Ｃｕ接合、ＴＳＶ又はマイクロバンプ接合により各種信号を送受する。
　図１０Ａ、図１０Ｂ、図１０Ｃ及び図１０Ｄは、画素アレイ部２内の各画素回路２ａと画素ＡＦＥ部５内の各サブＡＦＥ部５ａとの接続態様を示す図である。図１０Ａの接続態様では、画素アレイ部２内の各画素回路２ａと、画素ＡＦＥ部５内の対応する一つのサブＡＦＥ部５ａとが各種信号を送受する例を示している。図１０Ｂは、画素アレイ部２内の複数の画素回路２ａと、画素ＡＦＥ部５内の対応する一つのサブＡＦＥ部５ａとが各種信号を送受する例を示している。図１０Ｃは、画素アレイ部２内の各画素回路２ａと、画素ＡＦＥ部５内の対応する複数のサブＡＦＥ部５ａとが各種信号を送受する例を示している。図１０Ｄは、画素アレイ部２内の一部の画素回路２ａのみと、画素ＡＦＥ部５内の対応する一つのサブＡＦＥ部５ａとが各種信号を送受する例を示している。
　画素アレイ部２と画素ＡＦＥ部５の接続態様は、図１０Ａ～図１０Ｄのいずれでもよい。図１０Ｄのように、画素アレイ部２内の画素回路２ａによっては、画素ＡＦＥ部５と信号の送受を行わないようにしてもよい。
　図１１はカラム処理部４の内部構成の一例を示すブロック図である。図１１に示すように、カラム処理部４は、列方向に延びるカラム信号線ごとに、比較器２１と、アップ／ダウンカウンタ（以下、単にカウンタと呼ぶ）２３と、メモリ２４とを有する。また、カラム処理部４には、ＤＡＣ２２が設けられている。
　ＤＡＣ２２は、参照信号を生成する。比較器２１は、カラム信号線上の電圧信号と参照信号とを比較する。カウンタ２３は、比較器２１による比較結果が反転するまでの期間に亘って計数値をカウントする。カウンタ２３の計数値はメモリ２４に保持される。メモリ２４に保持されたカウンタ２３の計数値を示すデジタル信号は、信号処理部７に送られる。
　カラム処理部４における図１１の破線Ｌｎ１より上の回路部分（比較器２１など）には高電源電圧が供給されるのに対して、破線Ｌｎ１より下の回路部分（カウンタ２３とメモリ２４など）には低電源電圧が供給される。このため、上述した図２Ａや図３Ａなどでは、カラム処理部４の一部である高電源電圧供給回路部分（比較器２１など）を第２基板１２に配置している。
　図１２は行駆動部３の内部構成の一例を示すブロック図である。図１２に示すように、行駆動部３は、アドレス選択論理部２５と、複数のデコーダ２６と、複数のメモリ２７と、複数のレベルシフタ２８と、複数のドライバ２９とを有する。各ドライバ２９は画素アレイ部２の各行選択線に接続されている。
　アドレス選択論理部２５は、システム制御部８から送信されたアドレス信号を各デコーダ２６に送る。デコーダ２６は、アドレス信号をデコードする。デコーダ２６でデコードされた信号はメモリ２７にいったん記憶される。レベルシフタ２８は、メモリ２７に記憶されたデータの電圧レベルをレベルシフトして、ドライバ２９に供給する。ドライバ２９は、アドレス信号に応じたタイミングで、対応する列選択線を駆動する。複数のドライバ２９と複数のメモリ２７同士で、信号の送受を行ってもよい。
　行駆動部３におけるアドレス選択論理部２５と、デコーダ２６と、メモリ２７には低電源電圧が供給される。また、レベルシフタ２８とドライバ２９には高電源電圧が供給される。このため、上述した図４Ａなどでは、列駆動部６の一部を第２基板１２に配置している。
　上述したように、本実施形態における基板は、ウエハやチップである。基板をチップで構成する場合、複数のチップを同一の層高さに配置してもよい。より具体的には、第１基板１１をウエハとし、第２基板１２を複数のチップとし、ウエハ上に、ＣｏＷ（Chip on Wafer）にて、複数のチップを積層してもよい。
　図１３Ａ及び図１３ＢはＣｏＷの一例を示すレイアウト図である。図１３Ａは第２基板１２のレイアウト、図１３Ｂは第１基板１１のレイアウトを示している。第１基板１１は、ベースとなるウエハである。第１基板１１には、画素ＡＦＥ部５と、行駆動部３と、列駆動部６と、カラム処理部４と、信号処理部７と、システム制御部８とが配置されている。第２基板１２は、２つのチップで構成されている。一方のチップ（以下、第１チップ）１５には、画素アレイ部２が配置されている。他方のチップ（以下、第２チップ）１６には、信号処理部７が配置されている。第２チップ１６上の信号処理部７は、第１基板１１の信号処理部７と上下に重なる位置に配置されている。同様に、第１チップ１５上の画素アレイ部２は、第１基板１１の画素ＡＦＥ部５と上下に重なる位置に配置されている。第１チップ１５にはアナログ信号を扱う画素アレイ部２が配置されるのに対して、第２チップ１６にはデジタル信号を扱う信号処理部７が配置されている。よって、第２チップ１６は微細プロセスで信号処理部７を形成でき、信号処理部７の回路規模が大きくても、第１チップ１５よりも小サイズの第２チップ１６に実装することができる。また、第１チップ１５と第２チップ１６に供給される電源電圧の種類を相違させることもできる。
　第１基板１１を構成する第１チップ１５と第２チップ１６の配置場所やサイズは任意である。図１４Ａ及び図１４Ｂは図１３Ａ及び図１３Ｂとは異なる方向に第１チップ１５と第２チップ１６を配置した例を示すレイアウト図である。図１４Ａ及び図１４Ｂ内の第１基板１１及び第２基板１２のレイアウトは、図１３Ａ及び図１３Ｂと同じである。
　上述した説明では、積層された二つの基板１１，１２で撮像装置１を構成する例を示したが、３つ以上の基板を積層して撮像装置１を構成してもよい。図１５Ａ、図１５Ｂ及び図１５Ｃは、３層構造の撮像装置１の第１レイアウト例を示す図である。図１５Ａは最上層の第３基板１４のレイアウト配置を示し、図１５Ｂは二段目の第２基板１２のレイアウト配置を示し、図１５Ｃは最下層の第１基板１１のレイアウト配置を示している。
　第３基板１４には画素アレイ部２が配置されている。第２基板１２には、画素アレイ部２と上下に重なる位置に画素ＡＦＥ部５が配置されている。第１基板１１には、行駆動部３と、列駆動部６と、カラム処理部４と、信号処理部７と、システム制御部８とが配置されている。第１レイアウト例では、第１基板１１の空き領域が最も多く、次に第２基板１２の空き領域が多い。このように、第１～第３基板１４で、空き領域にばらつきがある。
　図１６Ａ、図１６Ｂ及び図１６Ｃは、３層構造の撮像装置１の第２レイアウト例を示す図である。第２レイアウト例では、図１６Ｂに示すように、第１レイアウト例で第１基板１１に配置されていた行駆動部３とカラム処理部４が第２基板１２に配置されている。これにより、第２基板１２と第３基板１４の空き領域のばらつきを抑制できる。また、カラム処理部４と列駆動部６は高電源電圧を使用するため、高電源電圧を使用する回路部分を第２基板１２に集約させる一方で、第１基板１１はロジック回路のみを配置でき、第１基板１１を微細なプロセスで形成できることから、低消費電力化を図れる。
　図１７Ａ、図１７Ｂ及び図１７Ｃは、３層構造の撮像装置１の第３レイアウト例を示す図である。第３レイアウト例では、第１基板１１を第１チップ１５と第２チップ１６で構成している。第１チップ１５にはカラム処理部４が配置され、第２チップ１６には信号処理部７とシステム制御部８が配置されている。第３レイアウト例では、高電源電圧を使用するカラム処理部４と行駆動部３を第２基板１２に配置する空き領域がない場合に、第１基板１１を２つのチップに分けて、第１チップ１５には高電源電圧を使用するカラム処理部４を配置し、第２チップ１６にはロジック回路部分のみを配置することができる。これにより、第２チップ１６を微細なプロセスで形成でき、消費電力を削減できる。
　上述した説明では、カラム処理部４を有する撮像装置１の例を挙げたが、カラム処理部４を持たない撮像装置１も考えられる。このような撮像装置１にも本実施形態は適用可能である。
　図１８はカラム処理部４を持たない撮像装置１の概略構成を示すブロック図である。図１８の撮像装置１は、図１からカラム処理部４を省略した構成になっている。図１８の画素アレイ部２は、行駆動部３によって、行ごとに駆動される。各行に接続された複数の画素回路２ａで光電変換された電気信号は、順に画素ＡＦＥ部５に送られる。また、画素回路２ａ内に、後述するアドレスイベント検出回路が設けられている場合、アドレスイベント検出部で検出されたイベント検出信号も、画素ＡＦＥ部５に送られる。
　画素アレイ部２は、撮像目的で用いられる場合の他、アドレスイベント検出用や、光信号の受光位置及び受光タイミング検出用や、画素ごとにＡ／Ｄ変換する用途などに用いられる。
　図１９Ａは画素アレイ部２をアドレスイベント検出用に用いる場合のアドレスイベント検出信号（以下、ＤＶＳ：Dynamic Vision Sensor）信号と呼ぶ）の生成を模式的に示す図である。画素アレイ部２内のアドレスイベント検出用の画素回路２ｂ（以下、ＤＶＳ用画素回路２ｂと呼ぶ）でアドレスイベントが検出されると、画素ＡＦＥ部５からＤＶＳ信号が出力される。
　図１９Ｂは画素アレイ部２を光信号の受光位置及び受光タイミング検出用に用いる場合のＳＰＡＤ（Single Photon Avalanche Diode）信号の生成を模式的に示す図である。画素アレイ部２内のＳＰＡＤ用画素回路２ｃで光信号が検出されると、画素ＡＦＥ部５からデジタル化されたＳＰＡＤ信号が出力される。画素ＡＦＥ部５では、Ａ／Ｄ変換処理が行われる。
　図１９Ｃは画素アレイ部２を画素ごとにＡ／Ｄ変換する場合の階調信号の生成を模式的に示す図である。画素アレイ部２内の少なくとも一部には、例えば位相差検出用の画素２ｄが設けられる。位相差検出用の画素２ｄは、１つの画素を左右に分割した構成になっており、分割画素ごとに光電変換し、両方の分割画素で光電変換された電気信号の差分量を検出する。この差分量は、デフォーカス量に相当し、自動焦点調節などに用いることができる。上述した差分量または階調信号は、画素ＡＦＥ部５にてＡ／Ｄ変換されて出力される。
　カラム処理部４を持たない場合の画素アレイ部２内の各画素回路２ａと、画素ＡＦＥ部５内の各サブＡＦＥ部５ａとの対応関係には複数通りが考えられる。図２０Ａは画素アレイ部２内の一つの画素回路２ａが画素ＡＦＥ部５内の一つのサブＡＦＥ部５ａに対応する例を示している。図２０Ｂは画素アレイ部２内の複数の画素回路２ａが画素ＡＦＥ部５内の一つのサブＡＦＥ部５ａに対応する例を示している。図２０Ｃは画素アレイ部２内の一つの画素回路２ａが画素ＡＦＥ部５内の複数のサブＡＦＥ部５ａに対応する例を示している。
　図２１Ａ及び図２１Ｂはカラム処理部４を持たない撮像装置１の第１レイアウト例を示す図である。図２１Ａは第２基板１２のレイアウト配置を示し、図２１Ｂは第１基板１１のレイアウト配置を示している。第１基板１１には、画素ＡＦＥ部５と、行駆動部３と、列駆動部６と、信号処理部７と、システム制御部８とが配置されている。第２基板１２は、第１チップ１５と第２チップ１６を有する。第１チップ１５には、画素アレイ部２が配置されている。第２チップ１６には、信号処理部７が配置されている。第２チップ１６内の信号処理部７は、第１基板１１上の信号処理部７と上下に重なる位置に配置されている。第２チップ１６は微細プロセスで形成できるため、第２チップ１６のサイズは第１チップ１５よりも小さくできる。
　図２２Ａ及び図２２Ｂはカラム処理部４を持たない撮像装置１の第２レイアウト例を示す図である。図２２Ａに示す第２基板１２内の第２チップ１６に配置される信号処理部７にメモリ２７が配置されている点で、図２１Ａと異なっており、その他は、第１基板１１のレイアウトも含めて図２１Ａ及び図２１Ｂと共通する。第２チップ１６に微細プロセスを用いることで、メモリ２７のような大きな実装面積が必要な回路も、比較的小さいチップで実現できる。
　画素アレイ部２の少なくとも一部に、ＤＶＳ用画素回路２ｂを設けたり、あるいはＳＰＡＤ用画素回路２ｃを設けたり、画素単位でＡ／Ｄ変換する画素回路２ａを設けることができる。すなわち、画素アレイ部２には、撮像用の画素回路２ａと、ＤＶＳ用画素回路２ｂと、ＳＰＡＤ用画素回路２ｃと、画素Ａ／Ｄ用画素回路２ｄとの少なくとも二つが混在していてもよい。画素アレイ部２内の画素回路の種類に応じて、画素ＡＦＥ部５の内部構成も変わり得る。
　図２３Ａは画素アレイ部２の第１例を示す図である。図２３Ａの画素アレイ部２は、撮像用の画素回路２ａの一部にＤＶＳ用画素回路２ｂを設ける例を示している。この場合、ＤＶＳ用画素回路２ｂでアドレスイベントが検出されると、画素ＡＦＥ部５からアドレスイベント検出信号（ＤＶＳ信号）が出力される。
　図２３Ｂは画素アレイ部２の第２例を示す図である。図２３Ｂの画素アレイ部２は、撮像用の画素回路２ａの一部にＳＰＡＤ用画素回路２ｃを設ける例を示している。この場合、ＳＰＡＤ用画素回路２ｃで光信号が検出されると、検出場所及び検出タイミングを示すＳＰＡＤ信号が画素ＡＦＥ部５から出力される。
　図２３Ｃは、画素アレイ部２の第３例を示す図である。図２３Ｃの画素アレイ部２は、撮像用の画素回路２ａの一部に画素単位でＡ／Ｄ変換する画素回路２ａを設ける例を示している。この場合、画素単位でＡ／Ｄ変換する画素回路２ａで光電変換された電気信号は、画素ＡＦＥ部５に送られて、Ａ／Ｄ変換されたデジタル画素データが出力される。
　画素アレイ部２と画素ＡＦＥ部５にてアドレスイベントを検出する場合、画素アレイ部２と画素ＡＦＥ部５の少なくとも一方にアドレスイベント検出回路が設けられる。
　図２４はアドレスイベント検出回路３００の一例を示すブロック図である。図２４のアドレスイベント検出回路３００は、電流電圧変換回路３１０、バッファ３２０、減算器３３０、量子化器３４０および転送回路３５０を備える。
　電流電圧変換回路３１０は、対応するフォトダイオード２２１からの光電流を電圧信号に変換するものである。この電流電圧変換回路３１０は、電圧信号をバッファ３２０に供給する。
　バッファ３２０は、電流電圧変換回路３１０からの電圧信号を補正するものである。このバッファ３２０は、補正後の電圧信号を減算器３３０に出力する。
　減算器３３０は、行駆動回路２５１からの行駆動信号に従ってバッファ３２０からの電圧信号のレベルを低下させるものである。この減算器３３０は、低下後の電圧信号を量子化器３４０に供給する。
　量子化器３４０は、減算器３３０からの電圧信号をデジタル信号に量子化して検出信号として転送回路３５０に出力するものである。
　転送回路３５０は、列駆動回路２５２からの列駆動信号に従って、検出信号を量子化器３４０から信号処理回路２４０に転送するものである。
　図２４の電流電圧変換回路３１０とバッファ３２０は例えば画素アレイ部２に実装され、減算器３３０、量子化器３４０及び転送回路３５０は画素ＡＦＥ部５に実装される。
　図２５は電流電圧変換回路３１０の内部構成の一例を示す回路図である。図２５の電流電圧変換回路３１０は、Ｎ型トランジスタ３１１および３１３とＰ型トランジスタ３１２とを備える。これらのトランジスタとして、例えば、ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。
　Ｎ型トランジスタ３１１のソースはフォトダイオード２２１のカソードに接続され、ドレインは電源端子に接続される。Ｐ型トランジスタ３１２およびＮ型トランジスタ３１３は、電源端子と接地端子との間において、直列に接続される。また、Ｐ型トランジスタ３１２およびＮ型トランジスタ３１３の接続点は、Ｎ型トランジスタ３１１のゲートとバッファ３２０の入力端子とに接続される。また、Ｐ型トランジスタ３１２のゲートには、所定のバイアス電圧Ｖｂｉａｓ１が印加される。
　Ｎ型トランジスタ３１１および３１３のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、フォトダイオード２２１からの光電流は電圧信号に変換される。また、Ｐ型トランジスタ３１２は、一定の電流をＮ型トランジスタ３１３に供給する。
　また、受光チップ２０１のグランドと検出チップ２０２のグランドとは、干渉対策のために互いに分離されている。
　図２６は減算器３３０及び量子化器３４０の内部構成の一例を示す回路図である。減算器３３０は、コンデンサ３３１および３３３と、コンパレータ３３２と、スイッチ３３４とを備えている。
　コンデンサ３３１の一端は、バッファ３２０の出力端子に接続され、他端は、インバータ３３２の入力端子に接続される。コンデンサ３３３は、インバータ３３２に並列に接続される。スイッチ３３４は、コンデンサ３３３の両端を接続する経路を行駆動信号に従って開閉するものである。
　インバータ３３２は、コンデンサ３３１を介して入力された電圧信号を反転するものである。このインバータ３３２は反転した信号をコンパレータ３３２の非反転入力端子（＋）に出力する。
　ところで、ローリングシャッタ方式の撮像装置１では、画素アレイ部２を行ごとに走査しながら、光電変換結果を転送するため、動きの速い物体が歪んで視認される画像が得られる。このため、１フレーム分の光電変換結果をメモリ２７に蓄積しておき、メモリ２７から読み出して撮像画像を生成するグローバルシャッタ方式の撮像装置１が提案されている。
　図２７はグローバルシャッタ方式の撮像装置１における画素回路２ａの回路図である。図２７の画素回路２ａは、光電変換素子３１と、転送トランジスタ３２と、リセットトランジスタ３３と、バッファ３４と、メモリ３５とを有する。メモリ３５は、Ｐ相記憶部３５ａと、Ｄ相記憶部３５ｂとを有する。
　Ｐ相記憶部３５ａには、リセット時の電位が記憶される。Ｄ相記憶部３５ｂには、光電変換された電気信号に応じた電位が記憶される。Ｐ相記憶部３５ａに記憶された電位と、Ｄ相記憶部３５ｂに記憶された電位との差分を検出することで、電位の変動分を相殺できる。Ｐ相記憶部３５ａとＤ相記憶部３５ｂ内の電位は、撮像のたびに記憶し直される。
　本実施形態では、図２７の破線よりも左側、すなわち、光電変換素子３１、転送トランジスタ３２、リセットトランジスタ３３を第２基板１２の画素アレイ部２に配置し、破線よりも右側、すなわち、メモリ３５を第１基板１１内の画素ＡＦＥ部５に配置する。
　図２８はローリングシャッタ方式の撮像装置１における画素回路２ａの回路図である。図２８の画素回路２ａは、光電変換素子３１と、転送トランジスタ３２と、リセットトランジスタ３３と、増幅トランジスタ３６と、選択トランジスタ３７とを有する。
　本実施形態では、図２８の破線よりも左側、すなわち、光電変換素子３１と転送トランジスタ３２を第２基板１２の画素アレイ部２に配置し、破線よりも右側、すなわち、リセットトランジスタ３３、増幅トランジスタ３６及び選択トランジスタ３７を第１基板１１内の画素ＡＦＥ部５に配置する。
　図２９は画素領域を単位としてＡ／Ｄ変換するエリアＡＤ方式の画素回路２ａ周辺の回路図である。図２９の画素回路２ａは、一つのＡ／Ｄ変換器（以下、ＡＤＣ）に複数の画素回路２ａが接続されている。各画素回路２ａは、光電変換素子３１と、転送トランジスタ３２と、リセットトランジスタ３３と、増幅トランジスタ３６と、選択トランジスタ３７とを有する。
　本実施形態では、図２９の破線よりも左側を第２基板１２の画素アレイ部２に配置し、破線よりも右側のＡＤＣを第１基板１１内の画素ＡＦＥ部５に配置する。
　図３０は第１の実施形態による撮像装置１が行う処理手順を示すフローチャートである。まず、複数の複数の光電変換素子３１を有する画素アレイ部２が配置される基板とは異なる基板に配置される画素ＡＦＥ部５（読み出し専用回路）にて、複数の光電変換素子３１で光電変換された電気信号の読出し動作を行う（ステップＳ１）。
　次に、画素ＡＦＥ部５が配置される基板とは異なる基板内の回路にて、画素ＡＦＥ部５の動作以外の動作を行う（ステップＳ２）。
　このように、本実施形態では、画素アレイ部２と画素ＡＦＥ部５を別個の基板に配置し、撮像装置１内の画素ＡＦＥ部５以外の動作を行う回路を、画素ＡＦＥ部５が配置される基板とは別個の基板に配置する。これにより、各基板に配置される回路実装面積のばらつきを抑制でき、各基板の空き領域を削減でき、消費電力の削減が図れる。
　例えば、高電源電圧を使用する回路が配置される基板と、低電源電圧を使用する回路が配置される基板とを分けることで、各基板に供給される電源電圧の種類を減らすことができ、電源電圧を供給する配線パターンを短くでき、電源ノイズを削減できる。より具体的には、カラム処理部４、行駆動部３、列駆動部６など、高電源電圧を使用する回路部分と、低電源電圧を使用する回路部分とを含む回路については、各回路部分を複数の基板に分けて配置することで、基板サイズや消費電力の削減が図れる。
　また、信号の送受を行う複数の回路部分を複数の基板に分けて配置する場合、各回路部分を上下に重なる位置に配置し、Ｃｕ－Ｃｕ接合、ＴＳＶ、マイクロバンプ接合等で各回路部分を接合するため、寄生抵抗や寄生容量の影響を受けにくくなり、信号伝搬遅延時間も短縮できる。
　また、アナログ回路を含む回路が配置される基板と、デジタル回路が配置される基板とを分けることで、デジタル回路が配置される基板については、最先端の微細プロセスを利用して回路を形成でき、基板サイズを縮小できるとともに、基板での消費電力を削減できる。
　画素アレイ部２は、撮像目的だけでなく、アドレスイベントを検出する目的や、光信号の受光位置及び受光タイミングを検出する目的や、画素単位でＡ／Ｄ変換する目的などに利用でき、各目的に合わせて、撮像装置１を構成する各回路を複数の基板に振り分けることができる。
　（第２の実施形態）
　上述した第１の実施形態では、例えば図２４のアドレスイベント検出回路３００を備えた撮像装置１について説明したが、アドレスイベント検出回路３００の内部構成は、必ずしも図２４に限定されない。図３１はアドレスイベント検出回路３００の他の構成例を示すブロック図である。図３１の構成例に係るアドレスイベント検出回路３００は、電流電圧変換回路３１０、バッファ３２０、減算器３３０、量子化器３４０、及び、転送回路３５０の他に、記憶部３６０及び制御部３７０を備えている。以下では、図２４のアドレスイベント検出回路３００を備える撮像装置１を第１構成例と呼び、図３１３のアドレスイベント検出回路３００を備える撮像装置１を第２構成例と呼ぶ。
　記憶部３６０は、量子化器３４０と転送回路３５０との間に設けられており、制御部３７０から供給されるサンプル信号に基づいて、量子化器３４０の出力、即ち、量子化器３４０内のコンパレータ３３４１の比較結果を蓄積する。記憶部３６０は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。
　制御部３７０は、コンパレータ３３４１の反転（－）入力端子に対して所定の閾値電圧Ｖthを供給する。制御部３７０からコンパレータ３３４１に供給される閾値電圧Ｖthは、時分割で異なる電圧値であってもよい。例えば、制御部３７０は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Ｖth1、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Ｖth2を異なるタイミングで供給することで、１つのコンパレータ３３４１で複数種類のアドレスイベントの検出が可能になる。
　記憶部３６０は、例えば、制御部３７０からコンパレータ３３４１の反転（－）入力端子に、オフイベントに対応する閾値電圧Ｖth2が供給されている期間に、オンイベントに対応する閾値電圧Ｖth1を用いたコンパレータ３３４１の比較結果を蓄積するようにしてもよい。尚、記憶部３６０は、画素２１６の内部にあってもよいし、画素２１６の外部にあってもよい。また、記憶部３６０は、アドレスイベント検出回路３００の必須の構成要素ではない。すなわち、記憶部３６０は、無くてもよい。
［第２構成例に係る撮像装置１（スキャン方式）］
　上述した図２４に示すアドレスイベント検出回路３００の第１構成例を備えた撮像装置２１０は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置１である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置１は、所定のフレームレートで撮像を行う通常の撮像装置１と同じ、スキャン方式の撮像装置１である。
　図３２は、本開示に係る技術が適用される撮像システムにおける撮像装置２１０として用いられる、第２構成例に係る撮像装置１、即ち、スキャン方式の撮像装置１の構成の一例を示すブロック図である。
　図３２に示すように、本開示の撮像装置１としての第２構成例に係る撮像装置２１０は、画素アレイ部２１１、信号処理部２１２、駆動部２１３、読出し領域選択部２１４、及び、信号生成部２１５を備える構成となっている。
　画素アレイ部２１１は、複数の画素２１６を含む。複数の画素２１６は、読出し領域選択部２１４の選択信号に応答して出力信号を出力する。複数の画素２１６のそれぞれについては、例えば図２４に示すように、画素内に量子化器を持つ構成とすることもできる。複数の画素２１６は、光の強度の変化量に対応する出力信号を出力する。複数の画素２１６は、図３２に示すように、行列状に２次元配置されていてもよい。
　駆動部２１３は、複数の画素２１６のそれぞれを駆動して、各画素２１６で生成された画素信号を信号処理部２１２に出力させる。尚、駆動部２１３及び信号処理部２１２については、階調情報を取得するための回路部である。従って、イベント情報のみを取得する場合は、駆動部２１３及び信号処理部２１２は無くてもよい。
　読出し領域選択部２１４は、画素アレイ部２１１に含まれる複数の画素２１６のうちの一部を選択する。例えば、読出し領域選択部２１４は、画素アレイ部２１１に対応する２次元行列の構造に含まれる行のうちのいずれか１つもしくは複数の行を選択する。読出し領域選択部２１４は、予め設定された周期に応じて１つもしくは複数の行を順次選択する。また、読出し領域選択部２１４は、画素アレイ部２１１の各画素２１６からのリクエストに応じて選択領域を決定してもよい。
　信号生成部２１５は、読出し領域選択部２１４によって選択された画素の出力信号に基づいて、選択された画素のうちのイベントを検出した活性画素に対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された閾値を超える、又は、下回る画素である。例えば、信号生成部２１５は、画素の出力信号を基準信号と比較し、基準信号よりも大きい又は小さい場合に出力信号を出力する活性画素を検出し、当該活性画素に対応するイベント信号を生成する。
　信号生成部２１５については、例えば、信号生成部２１５に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部２１５については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報も出力する構成とすることができる。
　信号生成部２１５からは、出力線２１８を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報（例えば、（Ｘ，Ｙ，Ｔ））が出力される。但し、信号生成部２１５から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報（例えば、（０，０，１，０，・・・））であってもよい。
［カラム処理部の構成例］
　図１１では、カラム処理部４内に、画素アレイ部２の画素列に対して、１対１の対応関係で、比較器２１、カウンタ２３及びメモリ２７からなるアナログ－デジタル変換器（ＡＤＣ）を配置する構成例を例示したが、この構成例に限定されるものではない。例えば、複数の画素列を単位としてアナログ－デジタル変換器（ＡＤＣ）を配置し、当該アナログ－デジタル変換器（ＡＤＣ）を複数の画素列間で時分割で用いる構成とすることもできる。
　アナログ－デジタル変換器（ＡＤＣ）は、垂直信号線ＶＳＬを介して供給されるアナログの画素信号ＳＩＧを、先述したアドレスイベントの検出信号よりもビット数の多いデジタル信号に変換する。例えば、アドレスイベントの検出信号を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。アナログ－デジタル変換器（ＡＤＣ）は、アナログ－デジタル変換で生成したデジタル信号を信号処理部２１２に供給する。
［ノイズイベントについて］
　ところで、第１構成例に係る撮像装置１は、画素アドレス毎に、その画素の光量が所定の閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出部（即ち、アドレスイベント検出回路３００）を少なくとも一部の画素回路２ａに設けることが可能な非同期型の撮像装置１である。
　この非同期型の第１構成例に係る撮像装置１では、本来、シーンの中で何らかのイベント（即ち、真イベント）が発生したとき、当該真イベントの発生に起因するデータの取得が行われる。しかし、非同期型の撮像装置１では、真イベントの発生の無いシーンでも、センサノイズ等のノイズイベント（偽イベント）に起因して、無駄に、データの取得が行われる場合がある。これにより、ノイズ信号が読み出されてしまうだけでなく、信号出力のスループットを低下させることになる。
＜本開示に係る技術の適用例＞
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
［移動体］
　図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　尚、図３４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　尚、図３３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８や、車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０や、運転者状態検出部７５１０等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置１を有する図１の撮像システム１０を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
　なお、本技術は以下のような構成を取ることができる。
　（１）積層される複数の基板を備えた撮像装置であって、
　複数の光電変換素子を有する画素アレイ部が配置される基板とは異なる基板に配置され、前記複数の光電変換素子で光電変換された電気信号の読み出し動作を行う読み出し専用回路と、
　前記読み出し専用回路が配置される基板とは異なる基板に配置され、前記電気信号に基づいて前記読み出し専用回路の動作以外の動作を行う回路と、を備える撮像装置。
　（２）前記読み出し専用回路は、前記光電変換素子で光電変換された電気信号を電圧信号に変換してゲイン調整を行う回路であり、
　前記読み出し専用回路の動作以外の動作を行う回路が配置される前記基板は、前記画素アレイ部の第１方向に配置された２以上の画素群を単位として前記読み出し専用回路から出力された電圧信号をデジタル信号に変換する処理と、前記デジタル信号に対する所定の信号処理と、前記複数の光電変換素子を第２方向に配置された２以上の画素群を単位として駆動する処理と、の少なくとも一つを行う、（１）に記載の撮像装置。
　（３）前記読み出し専用回路の動作以外の動作を行う回路のうち、電源電圧が所定の基準電圧を超える回路部分は、前記複数の光電変換素子と同じ基板に配置される、（１）又は（２）に記載の撮像装置。
　（４）前記画素アレイ部が配置される基板に配置され、前記読み出し専用回路から読み出された画素信号をデジタル変換するＡＤ部の少なくとも一部を備える、（３）に記載の撮像装置。
　（５）前記ＡＤ部は、前記画素アレイ部の第１方向に配置された２以上の画素群を単位として前記読み出し専用回路から読み出された画素信号をデジタル変換する、（４）に記載の撮像装置。
　（６）前記ＡＤ部は、前記画素アレイ部が配置される基板と、それ以外の基板とに分けて配置される、（４）又は（５）に記載の撮像装置。
　（７）前記画素アレイ部が配置される基板に配置され、前記画素アレイ部を第２方向に配置された２以上の画素群を単位として駆動する画素群駆動部を備える、（４）乃至（６）のいずれか一項に記載の撮像装置。
　（８）前記画素群駆動部は、前記画素アレイ部が配置される基板と、それ以外の基板とに分けて配置される、（７）に記載の撮像装置。
　（９）前記読み出し専用回路が配置される第１基板と、
　前記第１基板上に積層され、前記画素アレイ部が配置される第２基板と、
　前記第１基板上の前記第２基板と同一の層高さに積層され、前記読み出し専用回路の動作以外の動作を行う回路の少なくとも一部が配置される第３基板と、を備える、（１）乃至（８）のいずれか一項に記載の撮像装置。
　（１０）前記第１基板は、前記第２基板よりも大きく、
　前記第２基板は、前記第３基板よりも大きい、（９）に記載の撮像装置。
　（１１）前記読み出し専用回路が配置される第１基板と、
　前記第１基板上に積層され、前記画素アレイ部が配置される第２基板と、
　前記第１基板の下に積層され、前記読み出し専用回路の動作以外の動作を行う回路の少なくとも一部が配置される第３基板と、を備える、（１）乃至（８）のいずれか一項に記載の撮像装置。
　（１２）前記第３基板と同一の層高さに配置される第４基板を備え、
　前記第３基板及び前記第４基板には、前記読み出し専用回路の動作以外の動作を行う回路の一部ずつが配置される、（１１）に記載の撮像装置。
　（１３）前記第２基板は、前記第３基板及び前記第４基板よりも大きい、（１２）に記載の撮像装置。
　（１４）前記読み出し専用回路は、前記第１基板及び前記第２基板を積層方向から平面視したときに、前記画素アレイ部と少なくとも一部が重なるように前記１基板上に配置される、（９）乃至（１３）のいずれか一項に記載の撮像装置。
　（１５）前記読み出し専用回路は、前記複数の光電変換素子のそれぞれに対して１つずつ設けられる、（９）乃至（１４）のいずれか一項に記載の撮像装置。
　（１６）前記読み出し専用回路は、２つ以上の前記光電変換素子に対応づけて設けられる、（９）乃至（１４）のいずれか一項に記載の撮像装置。
　（１７）前記画素アレイ部及び前記読み出し専用回路は、前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する変化量検出部を有する、（１）乃至（１６）のいずれか一項に記載の撮像装置。
　（１８）前記画素アレイ部及び前記読み出し専用回路は、個々の前記光電変換素子で光電変換された電気信号をデジタル信号に変換する画素ＡＤ部を有する、（１）乃至（１６）のいずれか一項に記載の撮像装置。
　（１９）前記が画素アレイ部及び前記読み出し専用回路は、前記複数の光電変換素子に入射された光の入射位置及び入射時刻を検出する光検出部を有する、（１）乃至（１６）のいずれか一項に記載の撮像装置。
　（２０）前記画素アレイ部から第１信号を出力する第１出力部と、
　前記読み出し専用回路から第２信号を出力する第２出力部と、を備える、（１）乃至（１９）のいずれか一項に記載の撮像装置。
　（２１）前記複数の基板同士は、Ｃｕ－Ｃｕ接合、ＴＳＶ（Through Silicon Via）、及びバンプ接合の少なくとも一つで接合される、（１）乃至（２０）のいずれか一項に記載の撮像装置。
　（２２）前記基板は、ウエハ又は半導体チップである、（１）乃至（２１）のいずれか一項に記載の撮像装置。
　（２３）積層される複数の基板を備えた撮像方法であって、
　複数の光電変換素子を有する画素アレイ部が配置される基板とは異なる基板に配置される読み出し専用回路において、前記複数の光電変換素子で光電変換された電気信号の読み出し動作を行うステップと、
　前記読み出し専用回路が配置される基板とは異なる基板に配置される回路において、前記電気信号に基づいて前記読み出し専用回路の動作以外の動作を行うステップと、を備える撮像方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１　撮像装置、２　画素アレイ部、３　行駆動部、４　カラム処理部、５　画素ＡＦＥ部、６　列駆動部、７　信号処理部、８　システム制御部、９　信号処理部、１１　第１基板、１２　第２基板、２１　比較器、２３　アップ／ダウンカウンタ、２４　メモリ、２５　アドレス選択論理部、２６　デコーダ、２７　メモリ、２８　レベルシフタ、２９　ドライバ、３００　アドレスイベント検出回路、３１　光電変換素子、３２　転送トランジスタ、３３　リセットトランジスタ、３６　増幅トランジスタ、３７　選択トランジスタ、２１０　撮像装置、２１１　画素アレイ部、２１２　信号処理部、２１３　駆動部、２１４　読み出し領域選択部、２１５　信号生成部、３１０　電流電圧変換回路、３２０　バッファ、３３０　減算器、３４０　量子化器、３５０　転送回路、４００　アドレスイベント検出部、４１０　電流電圧変換部、４２０　バッファ、４３０　減算器、４３１、４３３　コンデンサ、４３２　インバータ、４３４　スイッチ、４４０　量子化器、４４１　コンパレータ、４５０　転送部、１２０３１　撮像部

Claims (23)

  1. 　積層される複数の基板を備えた撮像装置であって、
    　複数の光電変換素子を有する画素アレイ部が配置される基板とは異なる基板に配置され、前記複数の光電変換素子で光電変換された電気信号の読み出し動作を行う読み出し専用回路と、
    　前記読み出し専用回路が配置される基板とは異なる基板に配置され、前記電気信号に基づいて前記読み出し専用回路の動作以外の動作を行う回路と、を備える撮像装置。
  2. 　前記読み出し専用回路は、前記光電変換素子で光電変換された電気信号を電圧信号に変換してゲイン調整を行う回路であり、
    　前記読み出し専用回路の動作以外の動作を行う回路が配置される前記基板は、前記画素アレイ部の第１方向に配置された２以上の画素群を単位として前記読み出し専用回路から出力された電圧信号をデジタル信号に変換する処理と、前記デジタル信号に対する所定の信号処理と、前記複数の光電変換素子を第２方向に配置された２以上の画素群を単位として駆動する処理と、の少なくとも一つを行う、請求項１に記載の撮像装置。
  3. 　前記読み出し専用回路の動作以外の動作を行う回路のうち、電源電圧が所定の基準電圧を超える回路部分は、前記複数の光電変換素子と同じ基板に配置される、請求項１に記載の撮像装置。
  4. 　前記画素アレイ部が配置される基板に配置され、前記読み出し専用回路から読み出された画素信号をデジタル変換するＡＤ部の少なくとも一部を備える、請求項３に記載の撮像装置。
  5. 　前記ＡＤ部は、前記画素アレイ部の第１方向に配置された２以上の画素群を単位として前記読み出し専用回路から読み出された画素信号をデジタル変換する、請求項４に記載の撮像装置。
  6. 　前記ＡＤ部は、前記画素アレイ部が配置される基板と、それ以外の基板とに分けて配置される、請求項４に記載の撮像装置。
  7. 　前記画素アレイ部が配置される基板に配置され、前記画素アレイ部を第２方向に配置された２以上の画素群を単位として駆動する画素群駆動部を備える、請求項４に記載の撮像装置。
  8. 　前記画素群駆動部は、前記画素アレイ部が配置される基板と、それ以外の基板とに分けて配置される、請求項７に記載の撮像装置。
  9. 　前記読み出し専用回路が配置される第１基板と、
    　前記第１基板上に積層され、前記画素アレイ部が配置される第２基板と、
    　前記第１基板上の前記第２基板と同一の層高さに積層され、前記読み出し専用回路の動作以外の動作を行う回路の少なくとも一部が配置される第３基板と、を備える、請求項１に記載の撮像装置。
  10. 　前記第１基板は、前記第２基板よりも大きく、
    　前記第２基板は、前記第３基板よりも大きい、請求項９に記載の撮像装置。
  11. 　前記読み出し専用回路が配置される第１基板と、
    　前記第１基板上に積層され、前記画素アレイ部が配置される第２基板と、
    　前記第１基板の下に積層され、前記読み出し専用回路の動作以外の動作を行う回路の少なくとも一部が配置される第３基板と、を備える、請求項１に記載の撮像装置。
  12. 　前記第３基板と同一の層高さに配置される第４基板を備え、
    　前記第３基板及び前記第４基板には、前記読み出し専用回路の動作以外の動作を行う回路の一部ずつが配置される、請求項１１に記載の撮像装置。
  13. 　前記第２基板は、前記第３基板及び前記第４基板よりも大きい、請求項１２に記載の撮像装置。
  14. 　前記読み出し専用回路は、前記第１基板及び前記第２基板を積層方向から平面視したときに、前記画素アレイ部と少なくとも一部が重なるように前記１基板上に配置される、請求項９に記載の撮像装置。
  15. 　前記読み出し専用回路は、前記複数の光電変換素子のそれぞれに対して１つずつ設けられる、請求項９に記載の撮像装置。
  16. 　前記読み出し専用回路は、２つ以上の前記光電変換素子に対応づけて設けられる、請求項９に記載の撮像装置。
  17. 　前記画素アレイ部及び前記読み出し専用回路は、前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する変化量検出部を有する、請求項１に記載の撮像装置。
  18. 　前記画素アレイ部及び前記読み出し専用回路は、個々の前記光電変換素子で光電変換された電気信号をデジタル信号に変換する画素ＡＤ部を有する、請求項１に記載の撮像装置。
  19. 　前記画素アレイ部及び前記読み出し専用回路は、前記複数の光電変換素子に入射された光の入射位置及び入射時刻を検出する光検出部を有する、請求項１に記載の撮像装置。
  20. 　前記画素アレイ部から第１信号を出力する第１出力部と、
    　前記読み出し専用回路から第２信号を出力する第２出力部と、を備える、請求項１に記載の撮像装置。
  21. 　前記複数の基板同士は、Ｃｕ－Ｃｕ接合、ＴＳＶ（Through Silicon Via）、及びバンプ接合の少なくとも一つで接合される、請求項１に記載の撮像装置。
  22. 　前記基板は、ウエハ又は半導体チップである、請求項１に記載の撮像装置。
  23. 　積層される複数の基板を備えた撮像方法であって、
    　複数の光電変換素子を有する画素アレイ部が配置される基板とは異なる基板に配置される読み出し専用回路において、前記複数の光電変換素子で光電変換された電気信号の読み出し動作を行うステップと、
    　前記読み出し専用回路が配置される基板とは異なる基板に配置される回路において、前記電気信号に基づいて前記読み出し専用回路の動作以外の動作を行うステップと、を備える撮像方法。
PCT/JP2021/001050 2020-01-31 2021-01-14 撮像装置及び撮像方法 WO2021153254A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020227024946A KR20220134538A (ko) 2020-01-31 2021-01-14 촬상 장치 및 촬상 방법
CN202180008083.7A CN114930807A (zh) 2020-01-31 2021-01-14 摄像装置和摄像方法
US17/794,011 US20230047180A1 (en) 2020-01-31 2021-01-14 Imaging device and imaging method
JP2021574616A JPWO2021153254A1 (ja) 2020-01-31 2021-01-14
EP21747021.0A EP4099684A4 (en) 2020-01-31 2021-01-14 IMAGING DEVICE AND IMAGING METHODS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020015168 2020-01-31
JP2020-015168 2020-01-31

Publications (1)

Publication Number Publication Date
WO2021153254A1 true WO2021153254A1 (ja) 2021-08-05

Family

ID=77078846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001050 WO2021153254A1 (ja) 2020-01-31 2021-01-14 撮像装置及び撮像方法

Country Status (7)

Country Link
US (1) US20230047180A1 (ja)
EP (1) EP4099684A4 (ja)
JP (1) JPWO2021153254A1 (ja)
KR (1) KR20220134538A (ja)
CN (1) CN114930807A (ja)
TW (1) TW202137540A (ja)
WO (1) WO2021153254A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058283A1 (ja) * 2021-10-06 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 センサ装置
WO2023120317A1 (ja) * 2021-12-22 2023-06-29 キヤノン株式会社 半導体デバイス、光電変換システム、移動体
WO2024122351A1 (en) * 2022-12-07 2024-06-13 Sony Semiconductor Solutions Corporation Distance measuring device and manufacturing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4192003B1 (en) * 2021-12-02 2024-03-27 Gpixel NV High dynamic range image sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128284A (ja) * 2013-11-29 2015-07-09 キヤノン株式会社 撮像装置及び携帯電話機
JP2016533140A (ja) 2013-09-16 2016-10-20 クロノカム 動的な、単一光ダイオードの画素回路およびその作動方法
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6362482B1 (en) * 1997-09-16 2002-03-26 Advanced Scientific Concepts, Inc. High data rate smart sensor technology
EP2088451B1 (en) * 2008-02-05 2016-01-06 PANalytical B.V. Imaging detector
JP5606182B2 (ja) * 2010-06-30 2014-10-15 キヤノン株式会社 固体撮像装置
JP2012049597A (ja) * 2010-08-24 2012-03-08 Nikon Corp 撮像装置
CN103650476B (zh) * 2011-05-12 2018-05-01 德普伊辛迪斯制品公司 对具有最小纵向互连的混合图像传感器使用堆叠方案的像素阵列区域最优化
US8890047B2 (en) * 2011-09-21 2014-11-18 Aptina Imaging Corporation Stacked-chip imaging systems
JP5930158B2 (ja) * 2011-11-21 2016-06-08 オリンパス株式会社 固体撮像装置、固体撮像装置の制御方法、および撮像装置
US9607971B2 (en) * 2012-06-04 2017-03-28 Sony Corporation Semiconductor device and sensing system
US9343497B2 (en) * 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
US9318640B2 (en) * 2013-03-15 2016-04-19 Taiwan Semiconductor Manufacturing Company, Ltd. Method and apparatus for image sensor packaging
US10012534B2 (en) * 2014-07-02 2018-07-03 The Johns Hopkins University Photodetection circuit having at least one counter operative in response to a mode switching circuit and operating method thereof
KR102632643B1 (ko) * 2015-07-24 2024-02-02 소니 세미컨덕터 솔루션즈 가부시키가이샤 이미지 센서 및 전자 기기
JP7001274B2 (ja) * 2016-03-15 2022-01-19 ダートマス カレッジ クラスタ並列読み出しを有する、スタック型の裏面照明型量子イメージセンサ
JP6919154B2 (ja) * 2016-03-31 2021-08-18 ソニーグループ株式会社 固体撮像素子、撮像装置、および電子機器
JP6746476B2 (ja) * 2016-11-24 2020-08-26 キヤノン株式会社 撮像装置、撮像システム、および、移動体
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
CN118590781A (zh) * 2017-11-06 2024-09-03 索尼半导体解决方案公司 摄像装置
WO2019130702A1 (ja) * 2017-12-27 2019-07-04 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP6704944B2 (ja) * 2018-02-09 2020-06-03 キヤノン株式会社 撮像装置、撮像システム、移動体
JP6635222B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
EP3882972A4 (en) * 2018-11-16 2022-04-20 Sony Semiconductor Solutions Corporation SEMICONDUCTOR IMAGING DEVICE AND IMAGING DEVICE
TW202029724A (zh) * 2018-12-07 2020-08-01 日商索尼半導體解決方案公司 固體攝像裝置、固體攝像方法及電子機器
US20210051284A1 (en) * 2019-08-12 2021-02-18 Semiconductor Components Industries, Llc Imaging systems and methods for performing analog domain regional pixel level feature extraction
KR20220156296A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 이미지 센서
US20230217128A1 (en) * 2021-12-31 2023-07-06 Samsung Electronics Co., Ltd. Flexible computational image sensor with compressive sensing capability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533140A (ja) 2013-09-16 2016-10-20 クロノカム 動的な、単一光ダイオードの画素回路およびその作動方法
JP2015128284A (ja) * 2013-11-29 2015-07-09 キヤノン株式会社 撮像装置及び携帯電話機
WO2019087471A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4099684A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058283A1 (ja) * 2021-10-06 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 センサ装置
WO2023120317A1 (ja) * 2021-12-22 2023-06-29 キヤノン株式会社 半導体デバイス、光電変換システム、移動体
WO2024122351A1 (en) * 2022-12-07 2024-06-13 Sony Semiconductor Solutions Corporation Distance measuring device and manufacturing method

Also Published As

Publication number Publication date
KR20220134538A (ko) 2022-10-05
CN114930807A (zh) 2022-08-19
TW202137540A (zh) 2021-10-01
EP4099684A4 (en) 2023-07-05
JPWO2021153254A1 (ja) 2021-08-05
EP4099684A1 (en) 2022-12-07
US20230047180A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
WO2021153254A1 (ja) 撮像装置及び撮像方法
US11895398B2 (en) Imaging device and imaging system
US11683606B2 (en) Imaging device and electronic equipment
US20230276141A1 (en) Imaging device and imaging method
CN113647089B (zh) 成像系统
WO2021256095A1 (ja) 撮像装置及び撮像方法
TWI788818B (zh) 攝像裝置及攝像方法
JPWO2020153123A1 (ja) 撮像装置及び電子機器
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2024203526A1 (ja) 光検出装置及び電子機器
WO2023248855A1 (ja) 光検出装置及び電子機器
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2024075492A1 (ja) 固体撮像装置及び比較装置
WO2024106169A1 (ja) 光検出素子及び電子機器
US12131552B2 (en) Imaging system, method for controlling imaging system, and object recognition system
WO2022186040A1 (ja) 撮像装置、その駆動方法、および電子機器
WO2024070523A1 (ja) 光検出素子及び電子機器
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2024154616A1 (ja) 光検出装置及び電子機器
US20220172488A1 (en) Imaging system, method for controlling imaging system, and object recognition system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747021

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574616

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021747021

Country of ref document: EP

Effective date: 20220831