WO2022190644A1 - 撮像装置、電子機器、および信号処理方法 - Google Patents

撮像装置、電子機器、および信号処理方法 Download PDF

Info

Publication number
WO2022190644A1
WO2022190644A1 PCT/JP2022/001540 JP2022001540W WO2022190644A1 WO 2022190644 A1 WO2022190644 A1 WO 2022190644A1 JP 2022001540 W JP2022001540 W JP 2022001540W WO 2022190644 A1 WO2022190644 A1 WO 2022190644A1
Authority
WO
WIPO (PCT)
Prior art keywords
substrate
pixel
imaging device
wiring
signal
Prior art date
Application number
PCT/JP2022/001540
Other languages
English (en)
French (fr)
Inventor
大輔 齋藤
克彦 半澤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP22766612.0A priority Critical patent/EP4307654A1/en
Priority to US18/263,042 priority patent/US20240088175A1/en
Priority to CN202280018061.3A priority patent/CN116965054A/zh
Priority to JP2023505170A priority patent/JPWO2022190644A1/ja
Priority to KR1020237028992A priority patent/KR20230154181A/ko
Publication of WO2022190644A1 publication Critical patent/WO2022190644A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/7821—Tightly coupled to memory, e.g. computational memory, smart memory, processor in memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to imaging devices, electronic devices, and signal processing methods.
  • DNN deep neural networks
  • the present disclosure provides an imaging device, an electronic device, and a signal processing method capable of reducing power consumption.
  • An imaging device performs a product-sum operation on an input signal based on a first substrate, on which a pixel array unit that outputs pixel signals obtained by photoelectrically converting incident light in a first direction, and pixel signals.
  • a second substrate on which a memory array portion is arranged for outputting a convolution signal indicative of the result in a second direction. At least portions of the first substrate and the second substrate overlap each other.
  • the first direction may intersect the second direction.
  • a metal shield wiring may be further provided between the first substrate and the second substrate.
  • At least one of the pixel signal and the convolution signal may be an analog signal.
  • a pixel control circuit that controls the pixel array section; a pixel signal processing circuit for processing the pixel signals read out from the pixel array section; a CIM input control circuit that controls the memory array section; A CIM readout circuit for processing the convolved signal read out from the memory array section may be further provided.
  • the pixel control circuit is arranged in a direction parallel to the first direction,
  • the pixel signal processing circuit is arranged in a direction perpendicular to the first direction,
  • the CIM input control circuit is arranged in a direction parallel to the second direction;
  • the CIM readout circuitry may be arranged in a direction perpendicular to the second direction.
  • a third substrate on which the pixel control circuit and the pixel signal processing circuit are arranged may be further provided.
  • the third substrate may be arranged between the first substrate and the second substrate, or the second substrate may be arranged between the first substrate and the third substrate.
  • the pixel control circuit and the CIM readout circuit are arranged opposite to each other with the memory array section interposed therebetween, and the pixel signal processing circuit and the CIM input control circuit are arranged in the memory array section. may be arranged opposite to each other with the .
  • a plurality of the memory array units may be arranged in at least one of the first direction and the second direction.
  • a plane area of the memory array section may be rectangular, and the second direction may be a long side direction of the rectangle.
  • a plane area of the memory array section may be rectangular, and the second direction may be a short side direction of the rectangle.
  • the pixel array section and the pixel signal processing circuit may be electrically connected at respective central portions of the first substrate and the second substrate.
  • the width of the first readout wiring for reading out the pixel signal is different from the width of the second readout wiring for reading out the convolution signal,
  • the width of the metal shield wiring may be the same as or wider than the width of the wide readout wiring among the first readout wiring and the second readout wiring.
  • the metal shield wiring may be multi-layer wiring, and a part of each metal shield wiring may overlap.
  • the metal shield wiring may be arranged near the wide readout wiring among the first readout wiring and the second readout wiring.
  • the metal shield wiring may be perpendicular to the first readout wiring and the second readout wiring.
  • a switch for switching an output destination of the image signal generated by the pixel signal processing circuit to the CIM input control circuit or the input/output unit may be further provided.
  • An electronic device performs a product-sum operation on an input signal based on a first substrate, on which a pixel array unit that outputs pixel signals obtained by photoelectrically converting incident light in a first direction, and pixel signals.
  • a second substrate on which a memory array portion is arranged for outputting a convolution signal indicating a result in a second direction, wherein at least a portion of the first substrate and the second substrate overlap each other.
  • a signal processing method includes outputting in a first direction pixel signals obtained by photoelectrically converting incident light in a pixel array portion arranged on a first substrate;
  • a memory array portion arranged on a second substrate at least partially overlapping with the first substrate outputs a convolution signal indicating a result of sum-of-products operation of an input signal based on a pixel signal in a second direction.
  • FIG. 1 is a block diagram showing the configuration of an imaging device according to a first embodiment;
  • FIG. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 1st Embodiment.
  • FIG. 10 is a diagram showing another example of a tiling structure;
  • FIG. 10 is a diagram showing yet another example of a tiling structure;
  • FIG. 4 is a cross-sectional view schematically showing a bonding configuration between a first substrate and a second substrate;
  • FIG. 4 is a cross-sectional view schematically showing another form of bonding between the first substrate and the second substrate;
  • FIG. 3 is a diagram showing an example of an equivalent circuit diagram of pixels arranged in a pixel array section;
  • FIG. 3 is a diagram showing an example of an equivalent circuit diagram of pixels arranged in a pixel array section;
  • FIG. 10 is a diagram showing another example of a pixel array section;
  • FIG. 3 is a diagram showing an example of an equivalent circuit diagram of pixels arranged in a pixel array section;
  • FIG. 3 is a diagram showing an example of an equivalent circuit diagram of pixels arranged in a pixel array section;
  • FIG. 3 is a diagram showing an example of an equivalent circuit diagram of pixels arranged in a pixel array section;
  • 3 is a diagram showing an example of the circuit configuration of an ADC included in the pixel signal processing circuit;
  • FIG. 3 is a diagram showing a schematic circuit configuration of a memory array section;
  • FIG. FIG. 3 is a cross-sectional view showing an example of an arrangement relationship between readout wirings in the first embodiment;
  • 4 is a cross-sectional view showing another example of the layout relationship between readout wirings in the first embodiment;
  • FIG. 1 It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 2nd Embodiment. FIG.
  • FIG. 3 is a cross-sectional view showing an example of the layout relationship of metal shield wiring with respect to readout wiring;
  • FIG. 3 is a cross-sectional view showing an example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 3 is a cross-sectional view showing an example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 3 is a cross-sectional view showing an example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 3 is a cross-sectional view showing an example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 3 is a cross-sectional view showing an example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 3 is a cross-sectional view showing an example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 3 is a cross-sectional view showing an example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 3 is a
  • FIG. 10 is a plan view showing another example of the arrangement relationship between readout wirings and metal shield wirings;
  • FIG. 11 is a cross-sectional view showing an example of the arrangement relationship between readout wirings in the second embodiment;
  • FIG. 11 is a cross-sectional view showing another example of the arrangement relationship between readout wirings in the second embodiment;
  • It is a figure which shows an example of the circuit layout of the imaging device which concerns on 3rd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 3rd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 3rd Embodiment. It is a figure which shows an example of the circuit layout of the imaging device which concerns on 3rd Embodiment.
  • FIG. 11 is a cross-sectional view showing an example of the arrangement relationship between readout wirings in the third embodiment
  • FIG. 12 is a cross-sectional view showing another example of the arrangement relationship between readout wirings in the third embodiment
  • FIG. 11 is a block diagram showing the configuration of an imaging device according to a fourth embodiment
  • FIG. It is a figure which shows an example of a structure of the electronic device which concerns on 5th Embodiment.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • FIG. 1 is a block diagram showing the configuration of an imaging device according to the first embodiment.
  • the imaging device 1 shown in FIG. a CIM reading circuit 23 , a signal processing circuit 31 , a memory 32 , and an input/output unit 33 .
  • a plurality of pixels are two-dimensionally arranged in the pixel array section 11 .
  • Each pixel generates a pixel signal S12 by photoelectrically converting incident light based on a plurality of types of pixel control signals S11 from the pixel control circuit 12 .
  • each pixel outputs a pixel signal S12 to the pixel signal processing circuit 13 in one direction.
  • a circuit configuration example of the pixel will be described later.
  • the pixel control circuit 12 is composed of, for example, a shift register, and inputs a pixel control signal S11 to each pixel of the pixel array section 11 via pixel drive wiring (not shown in FIG. 1). By this pixel control signal S11, the pixel control circuit 12 sequentially selects and scans each pixel of the pixel array section 11, and outputs the pixel signal S12 of each pixel to the pixel signal processing circuit 13.
  • FIG. 1 A pixel control circuit 12
  • the pixel signal processing circuit 13 performs CDS (Correlated Double Sampling) processing for removing pixel-specific fixed pattern noise, AD (Analog to Digital) conversion processing.
  • CDS Correlated Double Sampling
  • AD Analog to Digital
  • the horizontal driving circuit 14 is composed of, for example, a shift register, and sequentially outputs horizontal scanning pulses to the pixel signal processing circuit 13 .
  • the image signal S13 held in the pixel signal processing circuit 13 is sequentially output to the CIM reading circuit 23 .
  • the logic circuit 15 receives a clock signal input from the outside and data instructing an operation mode, etc., and controls the operation of the imaging apparatus 1 as a whole. For example, the logic circuit 15 generates a vertical synchronizing signal, a horizontal synchronizing signal, etc. based on the input clock signal, and controls the pixel control circuit 12, the pixel signal processing circuit 13, the horizontal driving circuit 14, the CIM input control circuit 22, and to the CIM reading circuit 23 and the like.
  • a plurality of memory cells are two-dimensionally arranged in the memory array section 21 .
  • the memory array unit 21 unidirectionally outputs a convolution signal S15 indicating the result of analog or digital sum-of-products operation using a plurality of memory cells to the CIM reading circuit 23 .
  • a circuit configuration example of the memory array section 21 will be described later.
  • the CIM input control circuit 22 is composed of, for example, a shift register, and outputs a memory cell control signal S14 associated with the image signal S13 to each memory cell of the memory array section 21 via memory cell drive wiring (not shown in FIG. 1). Enter With this memory cell control signal S14, the CIM input control circuit 22 selects and scans each memory cell of the memory array section 21 one by one or all at once, and uses the memory value of each memory cell to perform a sum-of-products operation to generate a convolution signal S15. is output to the CIM reading circuit 23 .
  • the CIM reading circuit 23 performs AD conversion processing and the like on the convoluted signal S15 read from the memory array section 21 .
  • the convolution signal S16 processed by the CIM readout circuit 23 is input to the signal processing circuit 31 .
  • the convoluted signal S16 may be intermediate data in the middle of image recognition.
  • the signal processing circuit 31 performs conversion processing using an activation function, pooling processing, etc. on the convolution signal S16 input from the CIM reading circuit 23, and outputs the processing result to the input/output unit 33. Part of these processes may be performed by the memory array section 21 or may be performed by the CIM reading circuit 23 . When the signal processing is performed multiple times, the CIM reading circuit 23 may perform several times of signal processing, and then the signal processing circuit 31 may perform the remaining times of signal processing. By sharing the signal processing between the CIM reading circuit 23 and the signal processing circuit 31 in this way, concentration of the processing load can be avoided.
  • the signal processing circuit 31 causes the memory 32 to store parameters and the like input from an external image processing device via the input/output unit 33, and appropriately performs signal processing based on instructions from the external image processing device. You can choose and act.
  • the memory 32 stores data such as parameters required for signal processing performed by the signal processing circuit 31 .
  • the memory 32 may also have a frame memory for storing image signals in processing such as demosaicing, for example.
  • the input/output unit 33 outputs the signals that are sequentially input from the signal processing circuit 31 to an external image processing device, such as a subsequent ISP (Image Signal Processor).
  • the input/output unit 33 also supplies signals and parameters input from an external image processing device to the signal processing circuit 31 and the logic circuit 15 . Further, the input/output unit 33 writes the data values indicating the learning results provided from the outside to the memory cells of the memory array unit 21, and also reflects the results calculated by the signal processing circuit 31 to the input/output unit 33. It is also possible to update learning results through
  • FIG. 2A to 2G are diagrams showing an example of the circuit layout of the imaging device 1.
  • the pixel array section 11 is arranged on the first substrate 101 and the memory array section 21 is arranged on the second substrate 102 .
  • Each circuit of the imaging device 1 is also arranged on the second substrate 102 .
  • the first substrate 101 and the second substrate 102 are, for example, silicon substrates, and are stacked on top of each other. In order to minimize the substrate area, the first substrate 101 and the second substrate 102 do not need to overlap entirely, but only partially overlap each other.
  • two directions parallel to the first substrate 101 and the second substrate 102 and perpendicular to each other are defined as the X direction and the Y direction, respectively.
  • a direction orthogonal to the X direction and the Y direction, in other words, the stacking direction of the first substrate 101 and the second substrate 102 is defined as the Z direction.
  • the pixel signal S12 is output from the pixel array section 11 in the X direction, and the convolution signal S15 is output from the memory array section 21 in the Y direction perpendicular to the X direction.
  • the readout wiring (output wiring) for the pixel signal S12 is perpendicular to the readout wiring (output wiring) for the convolution signal S15.
  • the output direction of the pixel signal S12 may be any direction that crosses the output direction of the convolution signal S15.
  • the pixel signal processing circuit 13 is arranged in a direction perpendicular to the output direction of the X pixel signal S12, and the pixel control circuit 12 is arranged in a direction parallel to the output direction of the X pixel signal S12. That is, the pixel signal processing circuit 13 and the pixel control circuit 12 are arranged perpendicular to each other.
  • the CIM input control circuit 22 is arranged in a direction parallel to the output direction of the convolved signal S15
  • the CIM readout circuit 23 is arranged in a direction perpendicular to the output direction of the convolved signal S15. That is, the CIM input control circuit 22 and the CIM readout circuit 23 are also arranged perpendicular to each other.
  • the logic circuit 15 is arranged between the pixel signal processing circuit 13 and the memory array section 21 .
  • the position of the logic circuit 15 is different from the layout shown in FIG. 2A.
  • logic circuit 15 is arranged between pixel control circuit 12 and memory array section 21 .
  • the position of the logic circuit 15 is not limited to the positions shown in FIGS. 2A and 2B, and may be arranged in a space within the second substrate 102 as appropriate.
  • the shape of the planar region of the memory array section 21 is different from the layout shown in FIG. 2A.
  • the plane area of the memory array section 21 is a rectangle with the X direction as the short side direction and the Y direction as the long side direction.
  • the plane area of the memory array section 21 shown in FIG. 2B is a rectangle with the long side in the X direction and the short side in the Y direction.
  • the plane area of the memory array section 21 may be square, and is determined according to the specifications of the sum-of-products operation. For example, when the number of convolutions (the number of additions) of the sum-of-products operation is large, a long read wiring is required. In this case, the rectangular shape of the memory array section 21 shown in FIG. 2A is preferable.
  • the CIM input control circuit 22 is arranged between the memory array section 21 and the pixel signal processing circuit 13 .
  • the memory array section 21 is arranged in a region away from the central region of the second substrate 102 in the X direction. Therefore, the center of the memory array section 21 is displaced from the center of the pixel array section 11 in the X direction.
  • the center position of the pixel array section 11 and the center position of the memory array section 21 may be optimized according to the layout of the signal wiring and power supply wiring. Therefore, the center position of each array section need not be positioned on a straight line extending in the Z direction, and may be shifted in the X or Y direction.
  • the output directions of the pixel signal S12 are multiple directions of the +X direction and the -X direction.
  • the ⁇ X direction is the direction rotated 180 degrees from the X direction.
  • the pixel signal processing circuits 13a and 13b are arranged opposite to each other with the memory array section 21 interposed therebetween in the X direction.
  • the pixel signal processing circuit 13a processes the pixel signal S12 output from the pixel array section 11 in the +X direction.
  • the pixel signal processing circuit 13b processes the pixel signal S12 output from the pixel array section 11 in the -X direction.
  • the output direction of the convolution signal S15 is also in the multiple directions of the +Y direction and the ⁇ Y direction.
  • the -Y direction is a direction rotated 180 degrees from the +Y direction.
  • the pixel control circuit 12a and the pixel control circuit 12b are arranged facing each other with the memory array section 21 interposed therebetween.
  • the pixel control circuit 12a controls the pixels that output the pixel signal S12 in the +X direction.
  • the pixel control circuit 12b controls pixels that output the pixel signal S12 in the -X direction.
  • the CIM input control circuit 22a and the CIM input control circuit 22b are also arranged facing each other with the memory array section 21 interposed therebetween.
  • the CIM input control circuit 22a inputs to the memory array section 21 an input signal S14 associated with the image signal S13 processed by the pixel signal processing circuit 13a.
  • the CIM input control circuit 22b inputs to the memory array section 21 an input signal S14 associated with the image signal S13 processed by the pixel signal processing circuit 13b.
  • the CIM readout circuit 23a and the CIM readout circuit 23b are also arranged facing each other with the memory array section 21 interposed therebetween.
  • the CIM reading circuit 23a processes the convolution signal S15 output from the memory array section 21 in the -Y direction.
  • the CIM reading circuit 23b processes the convolution signal S15 output from the memory array section 21 in the +Y direction.
  • the pixel signal S12 is transmitted toward the central portion of the pixel array portion 11, ie, the central portion of the first substrate 1010.
  • the pixel signal processing circuit 13 is arranged in the central portion of the second substrate 102 . Thereby, the pixel array section 11 and the pixel signal processing circuit 13 are electrically connected at the respective central portions of the first substrate 101 and the second substrate 102 .
  • FIG. 2G is an example of a so-called tiling structure layout in which a plurality of memory array units 21 are arranged in the Y direction.
  • the CIM readout circuit 23 is composed of multiplexers and shared by a plurality of memory array units 21 . Therefore, the convolution signal S15 output from each memory array section 21 is collectively processed by the CIM reading circuit 23 .
  • FIG. 3A is a diagram showing another example of the tiling structure.
  • a plurality of memory array sections 21 are arranged not only in the Y direction but also in the X direction.
  • a plurality of memory array units 21 are arranged two-dimensionally.
  • the convolution signals S15 output from each memory array section 21 are collectively processed by the CIM reading circuit 23.
  • FIG. 3B is a diagram showing yet another example of the tiling structure.
  • a CIM readout circuit 23 is arranged for each of the plurality of memory array units 21 .
  • the convolution signals S15 output from each memory array section 21 are individually processed by a plurality of CIM readout circuits 23.
  • FIG. 3B is a diagram showing yet another example of the tiling structure.
  • a CIM readout circuit 23 is arranged for each of the plurality of memory array units 21 .
  • the convolution signals S15 output from each memory array section 21 are individually processed by a plurality of CIM readout circuits 23.
  • FIG. 4A is a cross-sectional view schematically showing the joining form between the first substrate 101 and the second substrate 102.
  • a plurality of through electrodes 111 formed on the first substrate 101 and a plurality of connection terminals 112 formed on the second substrate 102 are joined.
  • the through electrodes 111 and the connection terminals 112 can be made of metal such as copper.
  • a gap between the first substrate 101 and the second substrate 102 is filled with an insulating film.
  • the through electrode 111 penetrates the first substrate 101 and is electrically connected to the pixel array section 11 via a wiring layer (not shown) including various wirings.
  • the connection terminals 112 are formed on the surface of the second substrate 102 (the bonding surface with the first substrate 101).
  • the connection terminals 112 are connected to the pixel control circuit 12 and the pixel signal processing circuit 13 arranged on the second substrate 102 via various wiring layers (not shown).
  • the pixel control signal S11 of the pixel control circuit 12 is transmitted from the connection terminal 112 to each pixel of the pixel array section 11 through the through electrode 111.
  • the pixel signal S12 of each pixel is transmitted to the pixel signal processing circuit 13 from another through electrode 111 through another connection terminal 112 .
  • FIG. 4B is a cross-sectional view schematically showing another form of bonding between the first substrate 101 and the second substrate 102.
  • FIG. 4B In the bonding form shown in FIG. 4B, a plurality of connection terminals 121 (first connection terminals) formed on the first substrate 101 and a plurality of connection terminals 112 (second connection terminals) formed on the second substrate 102 are connected. It is a so-called Cu--Cu joint.
  • the connection terminal 121 can be formed of a metal such as copper in the same manner as the connection terminal 112, and is electrically connected to the pixel array section 11 via wiring (not shown). Also in this bonding mode, the gap between the first substrate 101 and the second substrate 102 is filled with an insulating film.
  • the pixel control signal S11 of the pixel control circuit 12 is transmitted from the connection terminal 112 to each pixel of the pixel array section 11 through the connection terminal 121 . Also, the pixel signal S12 of each pixel is transmitted from another connection terminal 121 to the pixel signal processing circuit 13 through another connection terminal 112 .
  • the pixel array section 11 is formed above the through electrodes 111 or the connection terminals 121 .
  • a circuit group including the pixel control circuit 12 and the pixel signal processing circuit 13 is formed in a layer below the connection terminal 112 .
  • 5A to 5E are diagrams showing examples of equivalent circuit diagrams of pixels arranged in the pixel array section 11.
  • FIG. The circuit configuration of the pixel shown in each drawing will be described below.
  • a pixel 50 a shown in FIG. 5A has a photodiode 51 , a transfer transistor 52 , a reset transistor 53 , an amplification transistor 54 and a selection transistor 55 .
  • the photodiode 51 is a photoelectric conversion unit that generates and accumulates charges (signal charges) according to the amount of light received.
  • the photodiode 51 has an anode terminal grounded and a cathode terminal connected to the transfer transistor 52 .
  • the transfer transistor 52 reads the charge from the photodiode 51 and transfers it to the amplification transistor 54 when turned on by a transfer signal that is one of the pixel control signals S11.
  • a transfer signal that is one of the pixel control signals S11
  • the reset transistor 53 is turned on by a reset signal, which is one of the pixel control signals S11, the charge accumulated in the photodiode 51 is discharged to the power supply, thereby resetting the potential of the photodiode 51 .
  • the amplification transistor 54 outputs a pixel signal S12 corresponding to the amount of charge accumulated in the photodiode 51 to the selection transistor 55 .
  • the selection transistor 55 outputs the pixel signal S12 to the readout wiring 56 when turned on by a selection signal that is one of the pixel control signals S11.
  • the pixel signal S ⁇ b>12 is transmitted to the pixel signal processing circuit 13 via the readout wiring 56 .
  • a pixel 50b shown in FIG. 5B has two photodiodes 51a and 51b. Charges generated by photoelectric conversion of photodiode 51a are temporarily held in memory transistor 57a and capacitor 58a. The held charges are transferred to the amplification transistor 54 by the transfer transistor 52a. On the other hand, charges generated by photoelectric conversion of the photodiode 51b are temporarily held in the memory transistor 57b and the capacitor 58b. The retained charges are transferred to the amplification transistor 54 by the transfer transistor 52b.
  • the amplification transistor 54 outputs to the selection transistor 55 a pixel signal S12 corresponding to the amount of charge transferred from the transfer transistor 52a or the transfer transistor 52b.
  • the selection transistor 55 outputs the pixel signal S12 to the readout wiring 56 .
  • the pixel signal S ⁇ b>12 is transmitted to the pixel signal processing circuit 13 via the readout wiring 56 .
  • a reset transistor 53 resets the potential of each of the photodiodes 51a and 51b.
  • a pixel 50c shown in FIG. 5C is an example of a so-called PWM (Pulse Wide Modulation) pixel.
  • a slope signal S11a which is one of the pixel control signals S11, is input to the gate of a P-channel MOS transistor 59 in the pixel 50c.
  • the MOS transistor 59 is connected in series with the amplification transistor 54 .
  • the selection transistor 55 outputs a PWM pixel signal S12 indicating the result of comparison between the output of the MOS transistor 59 and the output of the amplification transistor 54 to the readout line 56 .
  • the pixel signal S ⁇ b>12 is transmitted to the pixel signal processing circuit 13 via the readout wiring 56 .
  • the photodiodes 51a to 51c each have a photoelectric conversion film 511, a transparent electrode 512, and a lower electrode 513.
  • the photoelectric conversion film 511 is an organic photoelectric conversion film or an inorganic photoelectric conversion film.
  • the transparent electrode 512 is arranged on the upper surface of the photoelectric conversion film 511 .
  • the lower electrode 513 is arranged on the upper surface of the photoelectric conversion film 511 . That is, the transparent electrode 512 is sandwiched between the transparent electrode 512 and the lower electrode 513 .
  • the photoelectric conversion film 511 controls the voltage of the transparent electrode 512 to realize a global shutter.
  • the charges photoelectrically converted by the photoelectric conversion films 511 of the photodiodes 51a to 51c are transferred to the amplification transistors 54 by the transfer transistors 52a to 52c, respectively.
  • the amplification transistor 54 outputs a pixel signal S12 corresponding to the charge amount accumulated in the photodiode 51 to the selection transistor 55 .
  • the selection transistor 55 outputs the pixel signal S12 to the readout wiring 56 .
  • the pixel signal S ⁇ b>12 is transmitted to the pixel signal processing circuit 13 via the readout wiring 56 .
  • the potential of each photodiode is reset by a reset transistor 53 .
  • a pixel 50e shown in FIG. 5E is an example of a DVS (Dynamic Vision Sensor) pixel that outputs changes in brightness.
  • Pixel 50 e has logarithmic conversion circuitry 510 , buffer circuitry 520 , subtraction circuitry 530 and quantization circuitry 540 .
  • the logarithmic conversion circuit 510 has a photodiode 51 , an N-channel MOS transistor 514 , a P-channel MOS transistor 515 , and an N-channel MOS transistor 516 .
  • Photodiode 51 and MOS transistor 514 are connected in series.
  • MOS transistors 515 and 516 are also connected in series.
  • the gate of MOS transistor 514 is connected to the drain of MOS transistor 515 and the drain of MOS transistor 516 .
  • the logarithmic conversion circuit 510 converts the charge photoelectrically converted by the photodiode 51 into a logarithmic output voltage Vlog.
  • the buffer circuit 520 has a P-channel MOS transistor 521 and a P-channel MOS transistor 522 . MOS transistor 521 and MOS transistor 522 are connected in series. Buffer circuit 520 outputs a source follower voltage VSF obtained by performing impedance conversion on voltage Vlog input to the gate of MOS transistor 522 .
  • the subtraction circuit 530 has a P-channel MOS transistor 531 , a P-channel MOS transistor 532 , an N-channel MOS transistor 533 , a capacitor 534 and a capacitor 535 .
  • MOS transistor 532 and MOS transistor 533 are connected in series.
  • a capacitor 534 is connected to the gate of the MOS transistor 532 .
  • MOS transistor 531 and capacitor 535 are connected in parallel between the gate and drain of MOS transistor 532 .
  • Subtraction circuit 530 outputs a differential voltage Vdiff from the previous signal.
  • the quantization circuit 540 has a P-channel MOS transistor 541 , an N-channel MOS transistor 542 , a P-channel MOS transistor 543 , and an N-channel MOS transistor 544 .
  • MOS transistor 541 and MOS transistor 542 are connected in series.
  • MOS transistors 543 and 544 are also connected in series.
  • Quantization circuit 540 compares differential voltage Vdiff input to the gates of MOS transistors 541 and 543 with two threshold values. After that, the comparison result (VO(+), VO(-)) is transmitted to the pixel signal processing circuit 13 via the read wiring 56 as the pixel signal S12.
  • the pixel signal processing circuit 13 determines "+1", "0" and "-1" based on the pixel signal S12.
  • the pixels arranged in the pixel array section 11 are not limited to the pixels 50a to 50e shown in FIGS. 5A to 5E.
  • the pixel array section 11 may have so-called convolution pixels that add the pixel signals S12 of each pixel.
  • a polarization sensor or a multispectral sensor may be arranged in the pixel array section 11 .
  • the polarization sensor further has a diffraction element that polarizes the light incident on the photodiode 51 .
  • the multispectral sensor further has a color filter that color separates the light incident on the photodiode 51 .
  • FIG. 6 is a diagram showing an example of the circuit configuration of an ADC (Analog to Digital Converter) included in the pixel signal processing circuit 13.
  • ADC Analog to Digital Converter
  • FIG. 6 has multiple comparators 131 , multiple counters 132 , and multiple latch circuits 133 .
  • the non-inverting input terminal of the comparator 131 receives the pixel signal S12 of the pixel 50 corresponding to one of the pixels 50a to 50e described above.
  • a triangular wave ramp signal RAMP is input to the inverting input terminal.
  • Each comparator 131 outputs a comparison result between the pixel signal S12 and the ramp signal RAMP.
  • Each counter 132 is connected to the output terminal of the comparator 131 .
  • Each counter 132 counts the change time of the output level of the comparator 131 .
  • Each latch circuit 133 holds the count result of each counter 132 .
  • the ADC included in the pixel signal processing circuit 13 is not limited to the single slope ADC shown in FIG.
  • the pixel signal processing circuit 13 includes, for example, a pixel ADC that processes the pixel signal S12 for each pixel, a column ADC that counts the comparison time of a plurality of comparators 131 with one counter 132, a double integration type ADC that has an integration circuit, a sequential A comparison type (SAR) ADC, a delta-sigma type ADC, or the like may be included.
  • the resolution of the ADC can be appropriately selected within the range of 1 bit to 12 bits, for example.
  • FIG. 7 is a diagram showing a schematic circuit configuration of the memory array section 21. As shown in FIG. As shown in FIG. 7, a plurality of memory cells 71 are two-dimensionally arranged in the memory array section 21 . Each memory cell 71 is arranged near the intersection of the signal wiring 72 and the readout wiring 73 . Note that the memory cells 71 may be arranged three-dimensionally. In this case, multiple memory cells 71 are arranged in the X, Y, and Z directions.
  • the memory cell 71 includes, for example, a resistance change memory (ReRAM: Resistive Random Access Memory), a phase change memory (PCM: Phase Change Memory), a magnetoresistive memory (MRAM: Magneto resistive Random Memory), or a ferroelectric memory ( FeRAM: Ferroelectric Random Access Memory) can be applied. Also, the memory cell 71 may be an SRAM (Static Random Access Memory) or a non-volatile memory.
  • ReRAM Resistive Random Access Memory
  • PCM Phase Change Memory
  • MRAM Magnetoresistive memory
  • FeRAM Ferroelectric Random Access Memory
  • the memory cells 71 hold memory values (eg, +1, -1, 0.5).
  • the memory array section 21 multiplies the memory value of each memory cell 71 by the signal value of the memory cell control signal S14 input as an input signal from the CIM input control circuit 22 via the signal wiring 72 . Subsequently, the memory array unit 21 sequentially adds the multiplication results through the readout wiring 73 row by row or column by column. As a result, the digital convolution signal S15 indicating the sum-of-products operation result is read out to the CIM reading circuit 23.
  • the convolution signal S15 is of analog type, after the input signal via the signal wiring 72 and the memory value are multiplied, the charge is added on the readout wiring 73, and the convolution signal S15 is read out to the CIM readout circuit 23. .
  • input signals can be input to all the signal wirings 72 at once, and if the CIM readout circuit 23 is a column ADC, it is also possible to read out the convolution signal S15 from all the readout wirings 73 at once. .
  • FIG. 8A is a cross-sectional view showing an example of the arrangement relationship between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convoluted signal S15.
  • the readout wiring 56 is arranged on the bottom (back) side of the first substrate 101
  • the readout wiring 73 is arranged on the top (front) side of the second substrate 102 . Therefore, the readout wiring 56 and the readout wiring 73 are arranged such that a part of each thereof faces each other in the stacking direction (Z direction).
  • FIG. 8B is a cross-sectional view showing another example of the arrangement relationship between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convoluted signal S15.
  • the readout wiring 56 is arranged on the bottom (back) side of the first substrate 101
  • the readout wiring 73 is arranged on the bottom (back) side of the second substrate 102 . Therefore, the readout wiring 73 is arranged so as to face the readout wiring 56 with the second substrate 102 interposed therebetween.
  • a shield is preferably provided.
  • the second substrate 102 is preferably thin in order to reduce the size of the imaging device 1 .
  • the second substrate 102 is made of a material suitable for shielding interference noise between the readout wiring 56 and the readout wiring 73 and has a sufficient thickness for noise shielding.
  • the first substrate 101 on which the pixel array section 11 is formed and the second substrate 102 on which the memory array section 21 is formed are laminated. Due to the stacked arrangement of the pixel array section 11 and the memory array section 21, the transmission distance of the pixel signal S12 from the pixel array section 11 to the memory array section 21 is shortened. As a result, the power consumption of the imaging device 1 can be reduced. In addition, the lamination arrangement described above contributes to miniaturization of the layout of the entire chip, and this miniaturization also contributes to low power consumption of the imaging device 1 .
  • interference noise may occur between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convolution signal S15. .
  • the readout wiring 56 and the readout wiring 73 are arranged to cross each other. That is, the output direction of the pixel signal S12 is crossed with the output direction of the convolution signal S15. Therefore, interference noise between the readout wiring 56 and the readout wiring 73 can be reduced. As a result, the quality of both the pixel signal S12 and the convoluted signal S15 is improved, so that it is possible to improve the computational accuracy of the DNN.
  • the second embodiment will be described below, focusing on the differences from the first embodiment.
  • the same reference numerals are assigned to the same components as in the first embodiment, and detailed description thereof will be omitted.
  • FIGS. 9A to 9G are diagrams showing an example of the circuit layout of the imaging device according to the second embodiment. For space reasons, only the pixel control circuit 12, the pixel signal processing circuit 13, the logic circuit 15, the CIM input control circuit 22, and the CIM readout circuit 23 are shown on the second substrate 102 in each figure, and other circuits are shown. is omitted.
  • the output direction of the pixel signal S12 is parallel to the output direction of the convolution signal S15. That is, the readout wiring 56 (output wiring) for the pixel signal S12 is parallel to the readout wiring 73 (output wiring) for the convolution signal S15.
  • metal is provided between the first substrate 101 and the second substrate 102 in order to suppress interference noise generated between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convoluted signal S15.
  • a shield wiring 81 is arranged.
  • the metal shield wiring 81 contains metal such as aluminum (Al), copper (Cu), or tungsten (W).
  • the potential of the metal shield wiring 81 may be the power supply potential of the first substrate 101 or the second substrate 102, or may be the ground potential. Considering power supply noise, the metal shield wiring 81 is preferably grounded.
  • the shape of the planar region of the memory array section 21 is different from the layout shown in FIG. 9A.
  • the plane area of the memory array section 21 is a rectangle with the X direction as the short side direction and the Y direction as the long side direction.
  • the planar area shown in FIG. 9B is a rectangle with the long side in the X direction and the short side in the Y direction.
  • the plane area of the memory array section 21 may be square, which is determined according to the specifications of the sum-of-products operation. For example, when the number of output channels of the convoluted signal S15 is large, a large number of read wirings 73 are required. In this case, the rectangular shape of the memory array section 21 shown in FIG. 9A is preferable.
  • the position of the CIM input control circuit 22 and the position of the CIM readout circuit 23 on the second substrate 102 are different.
  • the CIM input control circuit 22 is arranged along the output direction of the convolved signal S15.
  • the CIM readout circuit 23 is arranged between the memory array section 21 and the pixel signal processing circuit 13b.
  • the output direction of the pixel signal S12 may be multiple directions of the +X direction and the ⁇ X direction.
  • the processing of the pixel signal S12 may be distributed to the pixel signal processing circuit 13a and the pixel signal processing circuit 13b according to the output direction of the pixel signal S12.
  • the positions of the CIM input control circuit 22 and the CIM readout circuit 23 are switched on the second substrate 102 .
  • the pixel signal S12 and the convolution signal S15 may be output in multiple directions.
  • the pixel signal S12 is transmitted toward the central portion of the pixel array section 11, ie, the central portion of the first substrate 1010, similarly to the layout shown in FIG. 2F.
  • the pixel signal processing circuit 13 is arranged in the central portion of the second substrate 102 . Thereby, the pixel array section 11 and the pixel signal processing circuit 13 are electrically connected at the respective central portions of the first substrate 101 and the second substrate 102 .
  • a tiling structure may be employed in which a plurality of memory array sections 21 are arranged in the Y direction on the second substrate 102 .
  • a plurality of memory array units 21 may employ a tiling structure arranged not only in the Y direction but also in the X direction (see FIG. 3A), and the CIM readout circuit 23 is arranged in the memory array unit 21 may be provided (see FIG. 3B).
  • 10A to 10F are cross-sectional views showing an example of the layout relationship of the metal shield wiring 81 with respect to the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convolution signal S15.
  • the width W1 of the readout wiring 56 is wider than the width W2 of the readout wiring 73.
  • the width W3 of the metal shield wiring 81 is the same as that of the wide readout wiring 56 .
  • the width W3 of the metal shield wiring 81 is the same as the width W2 of the readout wiring 73.
  • the width W3 of the metal shield wiring 81 is the widest among the readout wiring 56, the readout wiring 73, and the metal shield wiring 81. In FIG. In this case, interference noise can be further reduced than with the read wiring 73 shown in FIG. 10A.
  • the metal shield wiring 81 is multilayer wiring in which metal shield wiring 81a and metal shield wiring 81b are laminated.
  • the metal shield wiring 81a and the metal shield wiring 81b are staggered in the Y direction so as to partially overlap each other. Therefore, there is no gap between the metal shield wirings between the readout wiring 56 and the readout wiring 73 . In this case, interference noise can be reduced more than the readout wiring 73 shown in FIG. 10B.
  • the number of layers of the metal shield wiring 81 is not limited to two layers, and may be three layers or more.
  • the number of readout wirings 56 is greater than the number of readout wirings 73 .
  • the width W2 of the readout wiring 73 is wider than the width W1 of the readout wiring 56 .
  • the width W3 of the metal shield wiring 81 is less than the width of the wide readout wiring (the readout wiring 73 in FIG. 10D) that is likely to generate interference noise. equal to or wider than the width of As a result, even if the number of wirings between the readout wirings 56 and the readout wirings 73 is different, the interference noise can be effectively reduced.
  • the center pitch P1 of the readout wirings 56 is smaller than the center pitch P2 of the readout wirings 73 .
  • the width W2 of the readout wiring 73 is wider than the width W1 of the readout wiring 56 .
  • the width W3 of the metal shield wiring 81 is less than the width of the wide readout wiring (the readout wiring 73 in FIG. 10E) that is likely to generate interference noise. equal to or wider than the width of
  • the center pitch P3 of the metal shield wiring 81 is also the same as the center pitch of the wide readout wiring. As a result, even if the center pitch between the readout wiring 56 and the readout wiring 73 is different, the interference noise can be effectively reduced.
  • the width W2 of the readout wiring 73 is wider than the width W1 of the readout wiring 56. Further, the distance D1 between the readout wiring 56 and the metal shield wiring 81 is larger than the distance D2 between the readout wiring 73 and the metal shield wiring 81 . In this way, when the widths of the readout wiring 56 and the readout wiring 73 are different, the metal shield wiring 81 is placed near the wide readout wiring (the readout wiring 73 in FIG. 10E) where interference noise is likely to occur. placed in As a result, interference noise can be reduced more effectively than when the interval D1 and the interval D2 are equal, that is, when the metal shield wiring 81 is arranged between the readout wiring 56 and the readout wiring 73. .
  • FIG. 11 is a plan view showing another example of the arrangement relationship of the metal shield wiring 81 with respect to the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convolution signal S15.
  • the metal shield wiring 81b and the metal shield wiring 81b extend in the X direction parallel to the readout wiring 56 and the readout wiring 73 .
  • the metal shield wiring 81 a and the metal shield wiring 81 b extend in the Y direction perpendicular to the readout wiring 56 and the readout wiring 73 . That is, the metal shield wiring 81a and the metal shield wiring 81b are perpendicular to the output direction of the image signal S13 and the convolution signal S15.
  • the metal shield wiring 81a and the metal shield wiring 81b are arranged with being shifted in the X direction so that each part overlaps. This eliminates the gap between the metal shield wirings between the readout wiring 56 and the readout wiring 73 . Therefore, interference noise can be further reduced.
  • FIG. 12A is a cross-sectional view showing an example of the arrangement relationship between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convolution signal S15 in this embodiment.
  • the readout wiring 56 is arranged on the bottom side of the first substrate 101 and the readout wiring 73 is arranged on the top side of the second substrate 102 . Therefore, the readout wiring 56 and the readout wiring 73 are arranged so as to face each other in the stacking direction (Z direction) with the metal shield wiring 81 interposed therebetween.
  • FIG. 12B is a cross-sectional view showing another example of the arrangement relationship between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convoluted signal S15.
  • the readout wiring 56 is arranged on the bottom (back) side of the first substrate 101
  • the readout wiring 73 is arranged on the bottom (back) side of the second substrate 102 . Therefore, the readout wiring 73 is arranged so as to face the readout wiring 56 with the second substrate 102 and the metal shield wiring 81 interposed therebetween.
  • the second substrate 102 is formed of a material suitable for shielding interference noise between the readout wiring 56 and the readout wiring 73, and is also made of a material sufficient for noise shielding. thickness.
  • the first substrate 101 and the second substrate 102 are laminated, so that the transmission of the pixel signal S12 from the pixel array section 11 to the memory array section 21 is possible. Shorter distance. As a result, the power consumption of the imaging device 1 can be reduced.
  • the lamination arrangement described above contributes to miniaturization of the layout of the entire chip, and this miniaturization also contributes to low power consumption of the imaging device 1 .
  • a metal shield wiring 81 is arranged between the readout wiring 56 and the readout wiring 73 . Therefore, interference noise between both wirings can be reduced. As a result, the quality of both the pixel signal S12 and the convoluted signal S15 is improved, so that it is possible to improve the computational accuracy of the DNN.
  • the metal shield wiring 81 described in the second embodiment may be provided in the imaging device 1 according to the first embodiment described above. In this case, interference noise between the readout wiring 56 and the readout wiring 73 can be further reduced.
  • FIG. 13A to 13D are diagrams showing an example of the circuit layout of the imaging device according to the third embodiment.
  • the pixel array section 11 is arranged on the first substrate 101.
  • a memory array section 21 a CIM input control circuit 22 and a CIM reading circuit 23 are arranged on the second substrate 102 .
  • the imaging device according to this embodiment also has a third substrate 103 .
  • a pixel control circuit 12 , a pixel signal processing circuit 13 , and a logic circuit 15 are arranged on the third substrate 103 .
  • the third substrate 103 is laminated between the first substrate 101 and the second substrate 102.
  • the pixel signal processing circuit 13 also includes a single slope ADC that processes the pixel signal processing circuit 13 in units of pixel columns.
  • the third substrate 103 is laminated between the first substrate 101 and the second substrate 102 as in FIG. 13A.
  • the pixel signal processing circuit 13 includes a pixel ADC that processes the pixel signal processing circuit 13 for each pixel. Therefore, the area occupied by the pixel signal processing circuit 13 in the third substrate 103 is larger than the area of the pixel signal processing circuit 13 shown in FIG. 13A.
  • FIG. 13C is the same as FIG. 13A except that the positions of the second substrate 102 and the third substrate 103 are switched. That is, in FIG. 13C, the second substrate 102 is laminated between the first substrate 101 and the third substrate 103 .
  • FIG. 13D is the same as FIG. 13B except that the positions of the second substrate 102 and the third substrate 103 are switched.
  • the stacking order of the second substrate 102 and the third substrate 103 may be reversed.
  • FIG. 14A is a cross-sectional view showing an example of the arrangement relationship between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convolution signal S15 in this embodiment.
  • the readout wiring 56 and the readout wiring 73 are arranged as shown in FIG. 14A. , are arranged to face each other in the stacking direction with the third substrate 103 interposed therebetween.
  • a signal wiring 80 for transmitting the image signal S13 processed by the pixel signal processing circuit 13 to the CIM input control circuit 22 is formed on the third substrate 103 .
  • the signal wiring 80 is preferably perpendicular to the readout wiring 73 as well as the readout wiring 56 .
  • FIG. 14B is a cross-sectional view showing another example of the arrangement relationship between the readout wiring 56 for the pixel signal S12 and the readout wiring 73 for the convolution signal S15 in this embodiment.
  • the readout wiring 56 and the readout wiring 73 are partially laminated. They are arranged so as to face each other in the direction (Z direction).
  • the signal wiring 80 is preferably perpendicular to the readout wiring 73 as with the readout wiring 56 . Thereby, interference noise between the signal wiring 80 and the readout wiring 73 can be reduced.
  • the circuit elements constituting the imaging device on four or more substrates that are stacked one on top of the other.
  • the first substrate 101 on which the pixel array section 11 is mounted is arranged in the uppermost layer, the other substrates are arranged in any order.
  • the transmission distance of the pixel signal S12 from the pixel array section 11 to the memory array section 21 is becomes shorter. As a result, the power consumption of the imaging device 1 can be reduced.
  • the readout wiring 56 and the readout wiring 73 intersect each other, so interference noise between both wirings can be reduced.
  • both the quality of the pixel signal S12 and the convolution signal S15 are improved, so that it is possible to improve the calculation accuracy of the DNN.
  • FIG. 15 is a block diagram showing the configuration of an imaging device according to the fourth embodiment.
  • the imaging device 4 according to this embodiment further includes a switch 41 in addition to the components of the imaging device 1 according to the first embodiment.
  • the switch 41 is arranged between the pixel signal processing circuit 13 and the CIM input control circuit 22 .
  • the switch 41 When performing a sum-of-products operation on image data, the switch 41 connects the pixel signal processing circuit 13 and the CIM input control circuit 22 under the control of the logic circuit 15 .
  • the switch 41 When the image signal S13 is output to the outside of the imaging device 4, the switch 41 connects the pixel signal processing circuit 13 and the input/output unit 33 under the control of the logic circuit 15. FIG. In this case, the image signal S13 is output through the input/output unit 33 to the outside.
  • the switch 41 is provided between the pixel signal processing circuit 13 and the CIM input control circuit 22 in this embodiment, it may be provided inside the CIM input control circuit 22 .
  • the switch 41 can switch the output destination of the image signal S13 generated by the pixel signal processing circuit 13 to the CIM input control circuit 22 or the input/output unit 33. Therefore, the destination of the image signal S13 can be selected according to the purpose of use.
  • FIG. 16 is a diagram illustrating an example of the configuration of an electronic device according to the fifth embodiment.
  • the electronic device 200 according to this embodiment is a camera system, and as shown in FIG. .
  • the lens 220 forms an image of incident light (image light) on the imaging surface.
  • the drive circuit 230 has a timing generator (not shown) that generates various timing signals including start pulses and clock pulses for driving circuits in the imaging device 210, and drives the imaging device 210 with predetermined timing signals.
  • the signal processing circuit 240 performs predetermined signal processing on the output signal of the imaging device 210 .
  • the image signal processed by the signal processing circuit 240 is recorded in a recording medium such as a memory. Image information recorded on a recording medium is hard-copied by a printer or the like. Also, the image signal processed by the signal processing circuit 240 is displayed as a moving image on a monitor such as a liquid crystal display.
  • the imaging device according to each of the embodiments described above as the imaging device 210 in the electronic device 200 such as a digital still camera, a highly accurate imaging function can be realized.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010 , body system control unit 12020 , vehicle exterior information detection unit 12030 , vehicle interior information detection unit 12040 , and integrated control unit 12050 .
  • a microcomputer 12051 , an audio/image output unit 12052 , and an in-vehicle network I/F (Interface) 12053 are illustrated as the functional configuration of the integrated control unit 12050 .
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062 and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 18 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 18 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging range 1211212113 indicates the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors
  • the imaging range 12114 indicates the imaging range of the rear bumper or
  • the imaging range of the imaging unit 12104 provided in the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied, for example, to the imaging unit 12031 among the configurations described above.
  • the imaging devices according to the first to fourth embodiments can be applied to the imaging unit 12031.
  • FIG. By applying the technology according to the present disclosure, it is possible to obtain a captured image with low-noise imaging performance, so that image quality can be improved.
  • this technique can take the following structures. (1) a first substrate on which a pixel array section for outputting, in a first direction, pixel signals obtained by photoelectrically converting incident light is arranged; a second substrate on which a memory array unit is arranged for outputting a convolution signal indicating a result of sum-of-products operation of the input signal based on the pixel signal in a second direction; An imaging device, wherein at least a portion of the first substrate and the second substrate overlap each other. (2) The imaging device according to (1), wherein the first direction intersects the second direction. (3) the first direction is parallel to the second direction; The imaging device according to (1), further comprising a metal shield wiring arranged between the first substrate and the second substrate.
  • the imaging device according to any one of (1) to (3), wherein at least one of the pixel signal and the convolved signal is an analog signal.
  • a pixel control circuit that controls the pixel array section; a pixel signal processing circuit for processing the pixel signals read out from the pixel array section; a CIM input control circuit that controls the memory array section;
  • the imaging apparatus according to any one of (1) to (4), further comprising a CIM readout circuit that processes the convolved signal read out from the memory array section.
  • the pixel control circuit is arranged in a direction parallel to the first direction;
  • the pixel signal processing circuit is arranged in a direction perpendicular to the first direction, the CIM input control circuit is arranged in a direction parallel to the second direction;
  • the third substrate is disposed between the first substrate and the second substrate, or the second substrate is disposed between the first substrate and the third substrate; 7) The imaging device described in 7).
  • the pixel control circuit and the CIM readout circuit are arranged opposite to each other with the memory array section interposed therebetween, and the pixel signal processing circuit and the CIM input control circuit
  • the image pickup apparatus according to (5) which are arranged to face each other with the memory array section interposed therebetween.
  • (12) The imaging device according to (3) wherein the planar area of the memory array section is a rectangle, and the second direction is a short side direction of the rectangle.
  • the imaging device according to (5) wherein the pixel array section and the pixel signal processing circuit are electrically connected at respective central portions of the first substrate and the second substrate.
  • the width of the first readout wiring for reading out the pixel signal is different from the width of the second readout wiring for reading out the convolution signal;
  • the width of the metal shield wiring is the same as or wider than the width of the wide readout wiring among the first readout wiring and the second readout wiring.
  • the metal shield wiring is a multi-layer wiring, and each metal shield wiring partially overlaps with each other.
  • imaging device 11 pixel array unit 12: pixel control circuit 13: pixel signal processing circuit 21: memory array unit 22: CIM input control circuit 23: CIM readout circuit 33: input/output unit 41: switch 56: readout wiring 73: Readout wiring 81: Metal shield wiring 101: First substrate 102: Second substrate 103: Third substrate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］消費電力を低減することが可能な撮像装置を提供する。 ［解決手段］本開示の一実施形態に係る撮像装置は、入射光を光電変換した画素信号を第１方向に出力する画素アレイ部が配置される第１基板と、画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力するメモリアレイ部が配置される第２基板と、を備える。第１基板および第２基板の少なくとも一部が互いに重なり合う。

Description

撮像装置、電子機器、および信号処理方法
　本開示は、撮像装置、電子機器、および信号処理方法に関する。
　近年、画像認識や、物体位置検出等の高度なタスクを実現するために、ディープニューラルネットワーク（ＤＮＮ）をハードウェアに実装して演算を行うプロセッサが実用化されている。ＤＮＮの演算方法として、非ノイマン型演算器であるメモリアレイ上で演算を行うＣＩＭ（Computing in memory）が注目を集めている。
特開２０２０－１１３８０９号公報
　撮像機能を有する画素アレイと、積和演算機能を有するメモリアレイとを組み合わせたＤＮＮを行う場合、画素アレイからメモリアレイまでの信号伝送距離が長いと、消費電力が増大する。
　本開示は、消費電力を低減することが可能な撮像装置、電子機器、および信号処理方法を提供する。
　本開示の一実施形態に係る撮像装置は、入射光を光電変換した画素信号を第１方向に出力する画素アレイ部が配置される第１基板と、画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力するメモリアレイ部が配置される第２基板と、を備える。第１基板および第２基板の少なくとも一部が互いに重なり合う。
　前記第１方向が前記第２方向と交差してもよい。
　前記第１方向が前記第２方向と平行であり、
　前記第１基板と前記第２基板との間に配置されるメタルシールド配線をさらに備えていてもよい。
　前記画素信号および前記畳み込み信号の少なくとも一方がアナログ信号であってもよい。
　前記画素アレイ部を制御する画素制御回路と、
　前記画素アレイ部から読み出した前記画素信号を処理する画素信号処理回路と、
　前記メモリアレイ部を制御するＣＩＭ入力制御回路と、
　前記メモリアレイ部から読み出した前記畳み込み信号を処理するＣＩＭ読み出し回路と、をさらに備えていてもよい。
　前記画素制御回路は、前記第１方向に平行な方向に配置され、
　前記画素信号処理回路は、前記第１方向に垂直な方向に配置され、
　前記ＣＩＭ入力制御回路は、前記第２方向に平行な方向に配置され、
　前記ＣＩＭ読み出し回路は、前記第２方向に垂直な方向に配置されてもよい。
　前記画素制御回路および前記画素信号処理回路が配置される第３基板をさらに備えていてもよい。
　前記第３基板が前記第１基板と前記第２基板との間に配置されるか、または前記第２基板が前記第１基板と前記第３基板との間に配置されてもよい。
　前記第２基板において、前記画素制御回路と前記ＣＩＭ読み出し回路とが、前記メモリアレイ部を挟んで互いに対向配置され、かつ、前記画素信号処理回路と前記ＣＩＭ入力制御回路とが、前記メモリアレイ部を挟んで互いに対向配置されてもよい。
　複数の前記メモリアレイ部が、前記第１方向と前記第２方向の少なくとも一方に配列されてもよい。
　前記メモリアレイ部の平面領域が矩形であり、前記第２方向が前記矩形の長辺方向であってもよい。
　前記メモリアレイ部の平面領域が矩形であり、前記第２方向が前記矩形の短辺方向であってもよい。
　前記画素アレイ部および前記画素信号処理回路が、前記第１基板および前記第２基板の各々の中央部で電気的に接続されてもよい。
　前記画素信号を読み出すための第１読み出し配線の幅が、前記畳み込み信号を読み出すための第２読み出し配線の幅と異なり、
　前記メタルシールド配線の幅が、前記第１読み出し配線および前記第２読み出し配線の中で幅広の読み出し配線の幅と同じかまたは広くてもよい。
　前記メタルシールド配線が、多層配線であり、各々のメタルシールド配線の一部が重なり合っていてもよい。
　前記メタルシールド配線は、前記第１読み出し配線および前記第２読み出し配線の中で幅広の読み出し配線の近くに配置されてもよい。
　前記メタルシールド配線は、前記第１読み出し配線および前記第２読み出し配線に垂直であってもよい。
　信号を入出力する入出力部と、
　前記画素信号処理回路で生成された画像信号の出力先を、前記ＣＩＭ入力制御回路または前記入出力部に切り替えるスイッチと、をさらに備えていてもよい。
　本開示の一実施形態に係る電子機器は、入射光を光電変換した画素信号を第１方向に出力する画素アレイ部が配置される第１基板と、画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力するメモリアレイ部が配置される第２基板と、を有し、第１基板および第２基板の少なくとも一部が互いに重なり合う撮像装置を備える。
　本開示の一実施形態に係る信号処理方法は、
　第１基板に配置される画素アレイ部で入射光を光電変換した画素信号を第１方向に出力し、
　少なくとも一部が第１基板と重なり合う第２基板に配置されるメモリアレイ部で、画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力する。
第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第１実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第１実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第１実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第１実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第１実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第１実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 タイリング構造の別の一例を示す図である。 タイリング構造のさらに別の一例を示す図である。 第１基板と第２基板との接合形態を概略的に示す断面図である。 第１基板と第２基板との別の接合形態を概略的に示す断面図である。 画素アレイ部に配列される画素の等価回路図の一例を示す図である。 画素アレイ部に配列される画素の等価回路図の一例を示す図である。 画素アレイ部に配列される画素の等価回路図の一例を示す図である。 画素アレイ部に配列される画素の等価回路図の一例を示す図である。 画素アレイ部に配列される画素の等価回路図の一例を示す図である。 画素信号処理回路に含まれるのＡＤＣの回路構成の一例を示す図である。 メモリアレイ部の概略的な回路構成を示す図である。 第１実施形態における読み出し配線同士の配置関係の一例を示す断面図である。 第１実施形態における読み出し配線同士の配置関係の別の一例を示す断面図である。 第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 読み出し配線に対するメタルシールド配線の配置関係の一例を示す断面図である。 読み出し配線とメタルシールド配線の配置関係の一例を示す断面図である。 読み出し配線とメタルシールド配線の配置関係の一例を示す断面図である。 読み出し配線とメタルシールド配線の配置関係の一例を示す断面図である。 読み出し配線とメタルシールド配線の配置関係の一例を示す断面図である。 読み出し配線とメタルシールド配線の配置関係の一例を示す断面図である。 読み出し配線とメタルシールド配線の配置関係の別の一例を示す平面図である。 第２実施形態における読み出し配線同士の配置関係の一例を示す断面図である。 第２実施形態における読み出し配線同士の配置関係の別の一例を示す断面図である。 第３実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第３実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第３実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第３実施形態に係る撮像装置の回路レイアウトの一例を示す図である。 第３実施形態における読み出し配線同士の配置関係の一例を示す断面図である。 第３実施形態における読み出し配線同士の配置関係の別の一例を示す断面図である。 第４実施形態に係る撮像装置の構成を示すブロック図である。 第５実施形態に係る電子機器の構成の一例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
　（第１実施形態）
　図１は、第１実施形態に係る撮像装置の構成を示すブロック図である。図１に示す撮像装置１は、画素アレイ部１１と、画素制御回路１２と、画素信号処理回路１３と、水平駆動回路１４と、ロジック回路１５と、メモリアレイ部２１と、ＣＩＭ入力制御回路２２と、ＣＩＭ読み出し回路２３と、信号処理回路３１と、メモリ３２と、入出力部３３と、を備える。
　画素アレイ部１１には、複数の画素が２次元状に配置されている。各画素は、画素制御回路１２からの複数種の画素制御信号Ｓ１１に基づいて、入射光を光電変換した画素信号Ｓ１２を生成する。また、各画素は、画素信号Ｓ１２を画素信号処理回路１３へ一方向に出力する。画素の回路構成例については、後述する。
　画素制御回路１２は、例えばシフトレジスタによって構成され、画素駆動配線（図１には不図示）を介して画素アレイ部１１の各画素に画素制御信号Ｓ１１を入力する。この画素制御信号Ｓ１１によって、画素制御回路１２は、画素アレイ部１１の各画素を順次に選択して走査し、各画素の画素信号Ｓ１２を画素信号処理回路１３へ出力させる。
　画素信号処理回路１３は、画素アレイ部１１から読み出した画素信号Ｓ１２に対して、画素固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling：相関２重サンプリング)処理や、ＡＤ（Analog to Digital）変換処理を行う。画素信号処理回路１３で処理された画像信号Ｓ１３は、ＣＩＭ入力制御回路２２に入力される。
　水平駆動回路１４は、例えばシフトレジスタによって構成され、水平走査パルスを画素信号処理回路１３に順次出力する。これにより、例えば、画素信号処理回路１３に保持されている画像信号Ｓ１３が、ＣＩＭ読み出し回路２３に向けて順次出力される。
　ロジック回路１５は、外部から入力されるクロック信号と、動作モードなどを指令するデータを受け取り、撮像装置１全体の動作を制御する。例えば、ロジック回路１５は、入力されたクロック信号に基づいて、垂直同期信号や水平同期信号などを生成し、画素制御回路１２、画素信号処理回路１３、水平駆動回路１４、ＣＩＭ入力制御回路２２、およびＣＩＭ読み出し回路２３などに供給する。
　メモリアレイ部２１には、複数のメモリセルが２次元状に配置されている。メモリアレイ部２１は、複数のメモリセルを用いてアナログ方式またはデジタル方式で積和演算した結果を示す畳み込み信号Ｓ１５をＣＩＭ読み出し回路２３に向けて一方向に出力する。メモリアレイ部２１の回路構成例については、後述する。
　ＣＩＭ入力制御回路２２は、例えばシフトレジスタによって構成され、メモリセル駆動配線（図１には不図示）を介してメモリアレイ部２１の各メモリセルに画像信号Ｓ１３に関連付けられたメモリセル制御信号Ｓ１４を入力する。このメモリセル制御信号Ｓ１４によって、ＣＩＭ入力制御回路２２は、メモリアレイ部２１の各メモリセルを順次または一括に選択して走査し、各メモリセルのメモリ値を用いて積和演算した畳み込み信号Ｓ１５をＣＩＭ読み出し回路２３へ出力させる。
　ＣＩＭ読み出し回路２３は、メモリアレイ部２１から読み出した畳み込み信号Ｓ１５に対して、ＡＤ変換処理等を行う。ＣＩＭ読み出し回路２３で処理された畳み込み信号Ｓ１６は、信号処理回路３１に入力される。畳み込み信号Ｓ１６は、画像認識の途中段階である中間データであってもよい。
　信号処理回路３１は、ＣＩＭ読み出し回路２３から入力された畳み込み信号Ｓ１６に対して、活性化関数による変換処理、プーリング処理等を行い、処理結果を入出力部３３に出力する。なお、これらの処理の一部は、メモリアレイ部２１で行われてもよいし、ＣＩＭ読み出し回路２３で行われてもよい。また、信号処理を複数回行う場合には、数回分の信号処理をＣＩＭ読み出し回路２３で行った後、残りの回数分の信号処理を信号処理回路３１で行ってもよい。このように、ＣＩＭ読み出し回路２３と信号処理回路３１との間で信号処理を分担することによって、処理負荷の集中を回避することができる。
　さらに、信号処理回路３１は、入出力部３３を介して外部の画像処理装置から入力されたパラメータなどをメモリ３２に記憶させたり、外部の画像処理装置からの指示に基づいて、信号処理を適宜選択したり、実行したりすることができる。
　メモリ３２は、信号処理回路３１が行う信号処理に必要となるパラメータなどのデータを記憶する。また、メモリ３２は、例えば、デモザイク処理などの処理において画像信号を記憶するためのフレームメモリを有していてもよい。
　入出力部３３は、信号処理回路３１から順次入力される信号を、外部の画像処理装置、例えば、後段のＩＳＰ(Image Signal Processor)などに出力する。また、入出力部３３は、外部の画像処理装置から入力される信号やパラメータを、信号処理回路３１やロジック回路１５へ供給する。さらに、入出力部３３は、外部から提供された学習結果を示すデータ値をメモリアレイ部２１のメモリセルに書き込み、また、信号処理回路３１で計算された結果を反映して、入出力部３３を通して学習結果を更新することも可能である。
　図２Ａ～図２Ｇは、撮像装置１の回路レイアウトの一例を示す図である。本実施形態では、画素アレイ部１１が第１基板１０１に配置され、メモリアレイ部２１が第２基板１０２に配置される。第２基板１０２には、撮像装置１の各回路も配置される。第１基板１０１および第２基板１０２は、例えばシリコン基板であり、互いに重なり合って積層される。基板面積を最小化するために、第１基板１０１および第２基板１０２は、全体的に重なり合う必要はなく、少なくとも一部同士が重なり合っていればよい。
　なお、図２Ａ～図２Ｇでは、第１基板１０１および第２基板１０２に平行であり、かつ互いに直交する２つの方向をＸ方向、およびＹ方向とそれぞれ規定する。また、Ｘ方向およびＹ方向に直交する方向、換言すると第１基板１０１および第２基板１０２の積層方向をＺ方向と規定する。また、各図の第２基板１０２には、スペースの都合上、画素制御回路１２、画素信号処理回路１３、ロジック回路１５、ＣＩＭ入力制御回路２２、およびＣＩＭ読み出し回路２３のみを示し、他の回路の記載を省略している。
　本実施形態では、図２Ａ～図２Ｇに示すように、画素信号Ｓ１２は、画素アレイ部１１からＸ方向に出力され、畳み込み信号Ｓ１５が、メモリアレイ部２１からＸ方向に垂直なＹ方向に出力される。すなわち、画素信号Ｓ１２の読み出し配線（出力配線）が、畳み込み信号Ｓ１５の読み出し配線（出力配線）に垂直である。ただし、画素信号Ｓ１２の出力方向は、畳み込み信号Ｓ１５の出力方向に交差する方向であればよい。
　図２Ａでは、画素信号処理回路１３は、Ｘ画素信号Ｓ１２の出力方向に垂直な方向に配置され、かつ、画素制御回路１２は、Ｘ画素信号Ｓ１２の出力方向に平行な方向に配置される。すなわち、画素信号処理回路１３および画素制御回路１２は、互いに垂直な方向に配置される。また、ＣＩＭ入力制御回路２２は、畳み込み信号Ｓ１５の出力方向に平行な方向に配置され、かつ、ＣＩＭ読み出し回路２３は、畳み込み信号Ｓ１５の出力方向に垂直な方向に配置される。すなわち、ＣＩＭ入力制御回路２２およびＣＩＭ読み出し回路２３も、互いに垂直な方向に配置される。ロジック回路１５は、画素信号処理回路１３とメモリアレイ部２１との間に配置される。
　図２Ｂでは、ロジック回路１５の位置が図２Ａに示すレイアウトと異なっている。このレイアウトでは、ロジック回路１５は、画素制御回路１２とメモリアレイ部２１との間に配置される。しかし、ロジック回路１５の位置は、図２Ａおよび図２Ｂに示す位置に制限されず、第２基板１０２内のスペースに適宜配置すればよい。
　また、図２Ｂでは、メモリアレイ部２１の平面領域の形状が図２Ａに示すレイアウトと異なる。図２Ａでは、メモリアレイ部２１の平面領域は、Ｘ方向を短辺方向、Ｙ方向を長辺方向とする矩形である。一方、図２Ｂに示す平面領域は、メモリアレイ部２１の平面領域は、Ｘ方向を長辺方向、Ｙ方向を短辺方向とする矩形である。メモリアレイ部２１の平面領域は、正方形であってもよく、積和演算の仕様に応じて決定される。例えば、積和演算の畳み込み数（加算数）が多い場合には、長い読み出し配線が必要になる。この場合、図２Ａに示すメモリアレイ部２１の矩形が好ましい。
　図２Ｃでは、ＣＩＭ入力制御回路２２が、メモリアレイ部２１と画素信号処理回路１３との間に配置される。また、メモリアレイ部２１は、第２基板１０２の中央領域からＸ方向に外れた領域に配置される。そのため、メモリアレイ部２１の中心は、画素アレイ部１１の中心からＸ方向にずれている。画素アレイ部１１の中心位置とメモリアレイ部２１の中心位置とは、信号配線や電源配線のレイアウトに応じて最適化すればよい。そのため、各アレイ部の中心位置は、Ｚ方向に延びる一直線上に位置する必要はなく、Ｘ方向またはＹ方向にずれていてもよい。
　図２Ｄでは、画素信号Ｓ１２の出力方向は、＋Ｘ方向および－Ｘ方向の多方向である。－Ｘ方向はＸ方向に１８０度回転した方向である。また、第２基板１０２には、画素信号処理回路１３ａと画素信号処理回路１３ｂとが、メモリアレイ部２１をＸ方向に挟んで互いに対向配置されている。画素信号処理回路１３ａは、画素アレイ部１１から＋Ｘ方向に出力された画素信号Ｓ１２を処理する。画素信号処理回路１３ｂは、画素アレイ部１１から－Ｘ方向に出力された画素信号Ｓ１２を処理する。
　図２Ｅでは、画素信号Ｓ１２の出力方向が、＋Ｘ方向および－Ｘ方向の多方向であるのに加えて、畳み込み信号Ｓ１５の出力方向も、＋Ｙ方向および－Ｙ方向の多方向である。－Ｙ方向は、＋Ｙ方向から１８０度回転した方向である。また、第２基板１０２には、画素制御回路１２ａおよび画素制御回路１２ｂがメモリアレイ部２１を挟んで互いに対向配置される。画素制御回路１２ａは、＋Ｘ方向に画素信号Ｓ１２を出力する画素を制御する。画素制御回路１２ｂは、－Ｘ方向に画素信号Ｓ１２を出力する画素を制御する。
　また、第２基板１０２には、ＣＩＭ入力制御回路２２ａおよびＣＩＭ入力制御回路２２ｂもメモリアレイ部２１を挟んで互いに対向配置される。ＣＩＭ入力制御回路２２ａは、画素信号処理回路１３ａで処理された画像信号Ｓ１３に関連付けられた入力信号Ｓ１４をメモリアレイ部２１へ入力する。ＣＩＭ入力制御回路２２ｂは、画素信号処理回路１３ｂで処理された画像信号Ｓ１３に関連付けられた入力信号Ｓ１４をメモリアレイ部２１へ入力する。
　さらに、ＣＩＭ読み出し回路２３ａおよびＣＩＭ読み出し回路２３ｂもメモリアレイ部２１を挟んで互いに対向配置される。ＣＩＭ読み出し回路２３ａは、メモリアレイ部２１から－Ｙ方向に出力された畳み込み信号Ｓ１５を処理する。ＣＩＭ読み出し回路２３ｂは、メモリアレイ部２１から＋Ｙ方向に出力された畳み込み信号Ｓ１５を処理する。
　図２Ｆでは、第１基板１０１において、画素信号Ｓ１２が、画素アレイ部１１の中央部、すなわち第１基板１０１０の中央部に向かって伝送される。また、画素信号処理回路１３は、第２基板１０２の中央部に配置される。これにより、画素アレイ部１１および画素信号処理回路１３は、第１基板１０１および第２基板１０２の各々の中央部で電気的に接続される。
　図２Ｇは、複数のメモリアレイ部２１をＹ方向に配列する、いわゆるタイリング構造のレイアウトの一例である。このレイアウトでは、ＣＩＭ読み出し回路２３が、マルチプレクサで構成され、複数のメモリアレイ部２１に対して共有される。そのため、各メモリアレイ部２１から出力された畳み込み信号Ｓ１５は、ＣＩＭ読み出し回路２３で一括的に処理される。
　図３Ａは、タイリング構造の別の一例を示す図である。図３Ａに示すタイリング構造では、複数のメモリアレイ部２１が、Ｙ方向だけでなくＸ方向にも配列されている。換言すると、複数のメモリアレイ部２１が、２次元状に配列されている。このタイリング構造でも、各メモリアレイ部２１から出力された畳み込み信号Ｓ１５は、ＣＩＭ読み出し回路２３で一括的に処理される。
　図３Ｂは、タイリング構造のさらに別の一例を示す図である。図３Ｂに示すタイリング構造では、複数のメモリアレイ部２１の各々に対して、ＣＩＭ読み出し回路２３が配置される。このタイリング構造では、各メモリアレイ部２１から出力された畳み込み信号Ｓ１５は、複数のＣＩＭ読み出し回路２３で個別に処理される。
　図４Ａは、第１基板１０１と第２基板１０２との接合形態を概略的に示す断面図である。図４Ａでは、第１基板１０１に形成された複数の貫通電極１１１と、第２基板１０２に形成された複数の接続端子１１２とが接合される。貫通電極１１１および接続端子１１２は、例えば銅等の金属で形成することができる。なお、第１基板１０１と第２基板１０２との隙間は、絶縁膜で埋められている。
　貫通電極１１１は、第１基板１０１を貫通し、種々の配線を含む配線層（不図示）を介して画素アレイ部１１に電気的に接続される。接続端子１１２は、第２基板１０２の表面（第１基板１０１との接合面）に形成される。接続端子１１２は、種々の配線層（不図示）を介して第２基板１０２に配置された画素制御回路１２および画素信号処理回路１３と接続される。
　図４Ａに示す接合形態では、画素制御回路１２の画素制御信号Ｓ１１は、接続端子１１２から貫通電極１１１を通じて画素アレイ部１１の各画素に伝送される。また、各画素の画素信号Ｓ１２は、別の貫通電極１１１から別の接続端子１１２を通じて画素信号処理回路１３へ伝送される。
　図４Ｂは、第１基板１０１と第２基板１０２との別の接合形態を概略的に示す断面図である。図４Ｂに示す接合形態は、第１基板１０１に形成された複数の接続端子１２１（第１接続端子）と、第２基板１０２に形成された複数の接続端子１１２（第２接続端子）とが接合される、いわゆるＣｕ－Ｃｕ接合である。接続端子１２１は、接続端子１１２と同世に銅等の金属で形成することができ、不図示の配線を介して画素アレイ部１１に電気的に接続される。なお、この接合形態でも、第１基板１０１と第２基板１０２との隙間は、絶縁膜で埋められている。
　図４Ｂに示す接合形態では、画素制御回路１２の画素制御信号Ｓ１１は、接続端子１１２から接続端子１２１を通じて画素アレイ部１１の各画素に伝送される。また、各画素の画素信号Ｓ１２は、別の接続端子１２１から別の接続端子１１２を通じて画素信号処理回路１３へ伝送される。
　なお、図４Ａおよび図４Ｂでは省略されているが、画素アレイ部１１は、貫通電極１１１または接続端子１２１よりも上層に形成される。また、画素制御回路１２および画素信号処理回路１３を含む回路群は、接続端子１１２よりも下層に形成される。
　図５Ａ～図５Ｅは、画素アレイ部１１に配列される画素の等価回路図の一例を示す図である。以下、各図に記載の画素の回路構成を説明する。
　図５Ａに示す画素５０ａは、フォトダイオード５１、転送トランジスタ５２、リセットトランジスタ５３、増幅トランジスタ５４、および選択トランジスタ５５を有する。
　フォトダイオード５１は、受光量に応じた電荷（信号電荷）を生成し、蓄積する光電変換部である。フォトダイオード５１のアノード端子が接地されているとともに、カソード端子が転送トランジスタ５２に接続されている。
　転送トランジスタ５２は、画素制御信号Ｓ１１の一つである転送信号によりオンされたとき、フォトダイオード５１から電荷を読み出して増幅トランジスタ５４へ転送する。リセットトランジスタ５３は、画素制御信号Ｓ１１の一つであるリセット信号によりオンされたとき、フォトダイオード５１に蓄積されている電荷が電源に排出されることで、フォトダイオード５１の電位をリセットする。
　増幅トランジスタ５４は、フォトダイオード５１に蓄積された電荷量に応じた画素信号Ｓ１２を選択トランジスタ５５へ出力する。選択トランジスタ５５は、画素制御信号Ｓ１１の一つである選択信号によりオンされると、画素信号Ｓ１２を読み出し配線５６へ出力する。画素信号Ｓ１２は、読み出し配線５６を介して画素信号処理回路１３へ伝送される。
　図５Ｂに示す画素５０ｂは、２つのフォトダイオード５１ａ、５１ｂを有する。フォトダイオード５１ａの光電変換により生成された電荷は、メモリトランジスタ５７ａおよびキャパシタ５８ａに一時的に保持される。保持された電荷は、転送トランジスタ５２ａによって、増幅トランジスタ５４へ転送される。一方、フォトダイオード５１ｂの光電変換により生成された電荷は、メモリトランジスタ５７ｂおよびキャパシタ５８ｂに一時的に保持される。保持された電荷は、転送トランジスタ５２ｂによって、増幅トランジスタ５４へ転送される。
　増幅トランジスタ５４は、転送トランジスタ５２ａまたは転送トランジスタ５２ｂから転送された電荷量に応じた画素信号Ｓ１２を選択トランジスタ５５へ出力する。選択トランジスタ５５は、画素信号Ｓ１２を読み出し配線５６へ出力する。画素信号Ｓ１２は、読み出し配線５６を介して画素信号処理回路１３へ伝送される。フォトダイオード５１ａ、５１ｂの各々の電位は、リセットトランジスタ５３によって、リセットされる。
　図５Ｃに示す画素５０ｃは、いわゆるＰＷＭ（Pulse Wide Modulation）画素の一例である。画素５０ｃでは、画素制御信号Ｓ１１の一つであるスロープ信号Ｓ１１ａが、Ｐチャネル型のＭＯＳトランジスタ５９のゲートに入力される。ＭＯＳトランジスタ５９は、増幅トランジスタ５４と直列に接続されている。選択トランジスタ５５は、ＭＯＳトランジスタ５９の出力と、増幅トランジスタ５４の出力との比較結果を示すＰＷＭ方式の画素信号Ｓ１２を読み出し配線５６へ出力する。画素信号Ｓ１２は、読み出し配線５６を介して画素信号処理回路１３へ伝送される。
　図５Ｄに示す画素５０ｄでは、フォトダイオード５１ａ～フォトダイオード５１ｃが、光電変換膜５１１と、透明電極５１２と、下部電極５１３と、を有する。光電変換膜５１１は、有機光電変換膜または無機光電変換膜である。透明電極５１２は、光電変換膜５１１の上面に配置されている。下部電極５１３は、光電変換膜５１１の上面に配置されている。すなわち、透明電極５１２は、透明電極５１２と下部電極５１３との間に挟まれている。例えば、光電変換膜５１１が、透明電極５１２の電圧をコントロールすることで、グローバルシャッタが実現されている。
　フォトダイオード５１ａ～フォトダイオード５１ｃの光電変換膜５１１で光電変換された電荷は、転送トランジスタ５２ａ～転送トランジスタ５２ｃによって、それぞれ増幅トランジスタ５４へ転送される。増幅トランジスタ５４は、フォトダイオード５１に蓄積された電荷量に応じた画素信号Ｓ１２を選択トランジスタ５５へ出力する。選択トランジスタ５５は、画素信号Ｓ１２を読み出し配線５６へ出力する。画素信号Ｓ１２は、読み出し配線５６を介して画素信号処理回路１３へ伝送される。各フォトダイオードの電位は、リセットトランジスタ５３によって、リセットされる。
　図５Ｅに示す画素５０ｅは、明るさの変化を出力するＤＶＳ（Dynamic Vision Sensor）画素の一例である。画素５０ｅは、対数変換回路５１０、バッファ回路５２０、減算回路５３０、および量子化回路５４０を有する。
　対数変換回路５１０は、フォトダイオード５１と、Ｎチャネル型のＭＯＳトランジスタ５１４と、Ｐチャネル型のＭＯＳトランジスタ５１５と、Ｎチャネル型のＭＯＳトランジスタ５１６と、を有する。フォトダイオード５１およびＭＯＳトランジスタ５１４は、直列に接続されている。また、ＭＯＳトランジスタ５１５およびＭＯＳトランジスタ５１６も直列に接続されている。さらに、ＭＯＳトランジスタ５１４のゲートが、ＭＯＳトランジスタ５１５のドレインおよびＭＯＳトランジスタ５１６のドレインに接続されている。対数変換回路５１０では、フォトダイオード５１で光電変換された電荷を、対数出力の電圧Ｖｌｏｇに変換する。
　バッファ回路５２０は、Ｐチャネル型のＭＯＳトランジスタ５２１と、Ｐチャネル型のＭＯＳトランジスタ５２２と、を有する。ＭＯＳトランジスタ５２１およびＭＯＳトランジスタ５２２は、直列に接続されている。バッファ回路５２０は、ＭＯＳトランジスタ５２２のゲートに入力された電圧Ｖｌｏｇに対してインピーダンス変換を行ったソースフォロワ電圧ＶＳＦを出力する。
　減算回路５３０は、Ｐチャネル型のＭＯＳトランジスタ５３１と、Ｐチャネル型のＭＯＳトランジスタ５３２と、Ｎチャネル型のＭＯＳトランジスタ５３３と、キャパシタ５３４と、キャパシタ５３５と、を有する。ＭＯＳトランジスタ５３２およびＭＯＳトランジスタ５３３は直列に接続されている。ＭＯＳトランジスタ５３２のゲートには、キャパシタ５３４が接続されている。ＭＯＳトランジスタ５３２のゲートとドレインとの間には、ＭＯＳトランジスタ５３１よびキャパシタ５３５が並列に接続されている。減算回路５３０は、前の信号との差分電圧Ｖｄｉｆｆを出力する。
　量子化回路５４０は、Ｐチャネル型のＭＯＳトランジスタ５４１と、Ｎチャネル型のＭＯＳトランジスタ５４２と、Ｐチャネル型のＭＯＳトランジスタ５４３と、Ｎチャネル型のＭＯＳトランジスタ５４４と、を有する。ＭＯＳトランジスタ５４１およびＭＯＳトランジスタ５４２が直列に接続されている。また、ＭＯＳトランジスタ５４３およびＭＯＳトランジスタ５４４も直列に接続されている。量子化回路５４０では、ＭＯＳトランジスタ５４１およびＭＯＳトランジスタ５４３の各々のゲートに入力された差分電圧Ｖｄｉｆｆと２つのしきい値と比較される。その後、比較結果（ＶＯ（＋）、ＶＯ（－））が画素信号Ｓ１２として読み出し配線５６を介して画素信号処理回路１３に伝送される。画素信号処理回路１３は、画素信号Ｓ１２に基づいて、「＋１」、「０」、「－１」を判定する。
　画素アレイ部１１に配列される画素は、図５Ａ～図５Ｅに示す画素５０ａ～画素５０ｅに限定されない。例えば、画素アレイ部１１には、各画素の画素信号Ｓ１２を加算する、いわゆる畳み込み画素が配列されていてもよい。また、画素アレイ部１１には、上述したＣＭＯＳイメージセンサやＤＶＳの他に、偏光センサまたはマルチスペクトルセンサが配列されていてもよい。
　偏光センサは、フォトダイオード５１に入射する光を偏光する回析素子をさらに有する。一方、マルチスペクトルセンサは、フォトダイオード５１に入射する光を色分解するカラーフィルタをさらに有する。
　図６は、画素信号処理回路１３に含まれるのＡＤＣ（Analog to Digital Converter）の回路構成の一例を示す図である。図６に示すＡＤＣは、複数のコンパレータ１３１と、複数のカウンタ１３２と、複数のラッチ回路１３３と、を有する。
　コンパレータ１３１の非反転入力端子には、上述した画素５０ａ～５０ｅのいずれかに相当する画素５０の画素信号Ｓ１２が入力される。反転入力端子には、三角波のランプ信号ＲＡＭＰが入力される。各コンパレータ１３１は、画素信号Ｓ１２とランプ信号ＲＡＭＰとの比較結果を出力する。各カウンタ１３２は、コンパレータ１３１の出力端子に接続されている。各カウンタ１３２は、コンパレータ１３１の出力レベルの変化時間をカウントする。各ラッチ回路１３３は、各カウンタ１３２のカウント結果を保持する。
　なお、画素信号処理回路１３に含まれるＡＤＣは、図６に示すシングルスロープＡＤＣに限定されない。画素信号処理回路１３は、例えば、画素ごとに画素信号Ｓ１２を処理する画素ＡＤＣ、１つのカウンタ１３２で複数のコンパレータ１３１の比較時間をカウントするカラムＡＤＣ、積分回路を有する２重積分型ＡＤＣ、逐次比較型（ＳＡＲ）ＡＤＣ、またはΔΣ型ＡＤＣ等を含んでいてもよい。また、ＡＤＣの解像度も、例えば１ビット～１２ビットの範囲内で適宜選択することができる。
　図７は、メモリアレイ部２１の概略的な回路構成を示す図である。図７に示すように、メモリアレイ部２１には、複数のメモリセル７１が２次元状に配置されている。各メモリセル７１は、信号配線７２と読み出し配線７３との交点近傍に配置される。なお、メモリセル７１は、３次元状に配置されていてもよい。この場合、複数のメモリセル７１が、Ｘ方向、Ｙ方向、およびＺ方向に配置される。
　メモリセル７１には、例えば、抵抗変化型メモリ（ＲｅＲＡＭ：Resistive Random Access Memory）、相変化メモリ（ＰＣＭ：Phase Change Memory）、磁気抵抗メモリ（ＭＲＡＭ：Magneto resistive Random Memory）、または強誘電体メモリ（ＦｅＲＡＭ：Ferroelectric Random Access Memory）などを適用することができる。また、メモリセル７１は、ＳＲＡＭ（Static Random Access Memory）や、不揮発性メモリであってもよい。
　メモリセル７１には、メモリ値（例えば、＋１、－１、０．５）が保持されている。メモリアレイ部２１は、各メモリセル７１のメモリ値と、ＣＩＭ入力制御回路２２から信号配線７２を介して入力信号として入力されるメモリセル制御信号Ｓ１４の信号値と、を乗算する。続いて、メモリアレイ部２１は、乗算結果を、読み出し配線７３を通じて行単位または列単位で順次に加算する。これにより、積和演算結果を示すデジタル方式の畳み込み信号Ｓ１５が、ＣＩＭ読み出し回路２３に読み出される。畳み込み信号Ｓ１５がアナログ方式の場合には、信号配線７２を介した入力信号とメモリ値が乗算された後、読み出し配線７３上で、電荷が加算されて畳み込み信号Ｓ１５がＣＩＭ読み出し回路２３に読み出される。このとき、全ての信号配線７２に一括で入力信号を入力することができ、ＣＩＭ読み出し回路２３がカラムＡＤＣの場合には、全ての読み出し配線７３から一括で畳み込み信号Ｓ１５を読み出すことも可能となる。
　図８Ａは、画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３の配置関係の一例を示す断面図である。図８Ａでは、読み出し配線５６は、第１基板１０１の底面（裏面）側に配置され、読み出し配線７３は、第２基板１０２の上面（表面）側に配置される。そのため、読み出し配線５６および読み出し配線７３は、各々の一部が積層方向（Ｚ方向）で互いに対向するように配置される。
　図８Ｂは、画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３の配置関係の別の一例を示す断面図である。図８Ｂでは、読み出し配線５６は、第１基板１０１の底面（裏面）側に配置される一方で、読み出し配線７３は、第２基板１０２の底面（裏面）側に配置される。そのため、読み出し配線７３は、第２基板１０２を挟んで読み出し配線５６と対向するように配置される。図８Ｂにおいて、第２基板１０２が、ガラス基板等の絶縁基板である場合、シールドが設けられていることが好ましい。また、第１基板１０１と第２基板１０２とは、積層されるため、撮像装置１の小型化のために第２基板１０２は、薄い方が好ましい。ただし、第２基板１０２は、読み出し配線５６と読み出し配線７３との間における干渉ノイズを遮蔽するのに適した材料で形成し、また、ノイズ遮蔽に十分な厚さを確保することが好ましい。
　以上説明した本実施形態によれば、画素アレイ部１１が形成された第１基板１０１と、メモリアレイ部２１が形成された第２基板１０２とが、積層されている。画素アレイ部１１およびメモリアレイ部２１の積層配置によって、画素アレイ部１１からメモリアレイ部２１までの画素信号Ｓ１２の伝送距離が短くなる。これにより、撮像装置１の低電力化を実現することができる。また、上記積層配置は、チップ全体のレイアウトの小型化に寄与し、この小型化も撮像装置１の低電力化に貢献する。
　その一方で、画素アレイ部１１とメモリアレイ部２１とが積層配置されると、画素信号Ｓ１２の読み出し配線５６と、畳み込み信号Ｓ１５の読み出し配線７３との間で干渉ノイズが発生する可能性がある。
　そこで、本実施形態では、読み出し配線５６と読み出し配線７３とを互いに交差して配置させる。すなわち、画素信号Ｓ１２の出力方向を、畳み込み信号Ｓ１５の出力方向に交差させる。そのため、読み出し配線５６と読み出し配線７３との間における干渉ノイズを低減することができる。その結果、画素信号Ｓ１２および畳み込み信号Ｓ１５の両方の品質が向上するため、ＤＮＮの演算精度を高めることが可能となる。
　（第２実施形態）
　以下、第２実施形態について、第１実施形態と異なる点を中心に説明する。本実施形態では、第１実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図９Ａ～図９Ｇは、第２実施形態に係る撮像装置の回路レイアウトの一例を示す図である。なお、各図の第２基板１０２には、スペースの都合上、画素制御回路１２、画素信号処理回路１３、ロジック回路１５、ＣＩＭ入力制御回路２２、およびＣＩＭ読み出し回路２３のみを示し、他の回路の記載を省略している。
　本実施形態では、図９Ａ～図９Ｇに示すように、画素信号Ｓ１２の出力方向は、畳み込み信号Ｓ１５の出力方向に平行である。すなわち、画素信号Ｓ１２の読み出し配線５６（出力配線）が、畳み込み信号Ｓ１５の読み出し配線７３（出力配線）に平行である。
　さらに、本実施形態では、画素信号Ｓ１２の読み出し配線５６と畳み込み信号Ｓ１５の読み出し配線７３との間で発生する干渉ノイズを抑制するために、第１基板１０１と第２基板１０２との間にメタルシールド配線８１が配置される。メタルシールド配線８１は、例えばアルミニウム（Ａｌ）、銅（Ｃｕ）、またはタングステン（Ｗ）等の金属を含む。メタルシールド配線８１の電位は、第１基板１０１または第２基板１０２の電源電位であってもよいし、接地電位であってもよい。電源ノイズを考慮すると、メタルシールド配線８１は、接地されていることが好ましい。
　図９Ａに示すレイアウトを図２Ａに示すレイアウトと対比すると、第２基板１０２においてＣＩＭ入力制御回路２２の位置とＣＩＭ読み出し回路２３の位置が入れ替わっている。
　図９Ｂに示すレイアウトを図２Ｂに示すレイアウトと対比すると、第２基板１０２においてＣＩＭ入力制御回路２２の位置とＣＩＭ読み出し回路２３の位置が入れ替わっている。
　また、図９Ｂでは、メモリアレイ部２１の平面領域の形状が図９Ａに示すレイアウトと異なる。図９Ａでは、メモリアレイ部２１の平面領域は、Ｘ方向を短辺方向、Ｙ方向を長辺方向とする矩形である。一方、図９Ｂに示す平面領域は、メモリアレイ部２１の平面領域は、Ｘ方向を長辺方向、Ｙ方向を短辺方向とする矩形である。
　本実施形態においても、メモリアレイ部２１の平面領域は、正方形であってもよく、積和演算の仕様に応じて決定される。例えば、畳み込み信号Ｓ１５の出力チャネル数が多い場合には、多数の読み出し配線７３が必要になる。この場合、図９Ａに示すメモリアレイ部２１の矩形が好ましい。
　図９Ｃに示すレイアウトを図２Ｃに示すレイアウトと対比すると、第２基板１０２においてＣＩＭ入力制御回路２２の位置とＣＩＭ読み出し回路２３の位置が入れ替わっている。このレイアウトでも、メモリアレイ部２１の中心は、画素アレイ部１１の中心からＸ方向にずれているが、画素アレイ部１１の中心位置とメモリアレイ部２１の中心位置とは、信号配線や電源配線のレイアウトに応じて最適化すればよい。
　図９Ｄに示すレイアウトを図２Ｄに示すレイアウトと対比すると、第２基板１０２においてＣＩＭ入力制御回路２２の位置とＣＩＭ読み出し回路２３の位置が異なっている。ＣＩＭ入力制御回路２２は、畳み込み信号Ｓ１５の出力方向に沿って配置される。一方、ＣＩＭ読み出し回路２３は、メモリアレイ部２１と画素信号処理回路１３ｂとの間に配置される。本実施形態においても、画素信号Ｓ１２の出力方向は、＋Ｘ方向および－Ｘ方向の多方向であってもよい。また、画素信号Ｓ１２の出力方向に応じて、画素信号Ｓ１２の処理を、画素信号処理回路１３ａと画素信号処理回路１３ｂとに分散してもよい。
　図９Ｅに示すレイアウトを図２Ｅに示すレイアウトと対比すると、第２基板１０２においてＣＩＭ入力制御回路２２の位置とＣＩＭ読み出し回路２３の位置が入れ替わっている。本実施形態でも、このレイアウトに示すように、画素信号Ｓ１２および畳み込み信号Ｓ１５の各々の出力方向が多方向であってもよい。
　図９Ｆでは、図２Ｆに示すレイアウト同様に、画素信号Ｓ１２が、画素アレイ部１１の中央部、すなわち第１基板１０１０の中央部に向かって伝送される。また、画素信号処理回路１３は、第２基板１０２の中央部に配置される。これにより、画素アレイ部１１および画素信号処理回路１３は、第１基板１０１および第２基板１０２の各々の中央部で電気的に接続される。
　図９Ｇに示すレイアウトを図２Ｇに示すレイアウトと対比すると、第２基板１０２においてＣＩＭ入力制御回路２２の位置とＣＩＭ読み出し回路２３の位置が入れ替わっている。本実施形態でも、第２基板１０２において、複数のメモリアレイ部２１をＹ方向に配列するタイリング構造を採用してもよい。また、本実施形態でも、複数のメモリアレイ部２１が、Ｙ方向だけでなくＸ方向にも配列されるタイリング構造を採用してもよく（図３Ａ参照）、ＣＩＭ読み出し回路２３がメモリアレイ部２１毎に設けられていてもよい（図３Ｂ参照）。
　図１０Ａ～図１０Ｆは、画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３に対するメタルシールド配線８１の配置関係の一例を示す断面図である。
　図１０Ａでは、読み出し配線５６の幅Ｗ１は、読み出し配線７３の幅Ｗ２よりも広い。そのため、メタルシールド配線８１の幅Ｗ３は、幅広の読み出し配線５６と同じである。なお、読み出し配線７３の幅Ｗ２が読み出し配線５６の幅Ｗ１よりも広い場合には、メタルシールド配線８１の幅Ｗ３は、読み出し配線７３の幅Ｗ２と同じになる。
　図１０Ｂでは、読み出し配線５６、読み出し配線７３、およびメタルシールド配線８１の中でメタルシールド配線８１の幅Ｗ３が最も広い。この場合、図１０Ａに示す読み出し配線７３よりも、より一層干渉ノイズを低減することができる。
　図１０Ｃでは、メタルシールド配線８１が、メタルシールド配線８１ａおよびメタルシールド配線８１ｂを積層した多層配線である。メタルシールド配線８１ａおよびメタルシールド配線８１ｂは、各々の一部が重なり合うように、Ｙ方向にずらして配置される。そのため、読み出し配線５６と読み出し配線７３との間において、メタルシールド配線同士の隙間が無くなる。この場合、図１０Ｂに示す読み出し配線７３よりも、より一層干渉ノイズを低減することができる。なお、メタルシールド配線８１の層数は、２層に限定されず、３層以上であってもよい。
　図１０Ｄでは、読み出し配線５６の数が、読み出し配線７３の数よりも多い。また、読み出し配線７３の幅Ｗ２は、読み出し配線５６の幅Ｗ１よりも広い。このように、読み出し配線５６と読み出し配線７３との間における配線数が異なる場合には、メタルシールド配線８１の幅Ｗ３は、干渉ノイズが発生しやすい幅広の読み出し配線（図１０Ｄでは読み出し配線７３）の幅と同じかまたは広くなる。その結果、読み出し配線５６と読み出し配線７３との間における配線数が異なっていても、干渉ノイズを効果的に低減することができる。
　図１０Ｅでは、読み出し配線５６の中心ピッチＰ１が、読み出し配線７３の中心ピッチＰ２よりも小さい。また、読み出し配線７３の幅Ｗ２は、読み出し配線５６の幅Ｗ１よりも広い。このように、読み出し配線５６と読み出し配線７３との間における中心ピッチが異なる場合には、メタルシールド配線８１の幅Ｗ３は、干渉ノイズが発生しやすい幅広の読み出し配線（図１０Ｅでは読み出し配線７３）の幅と同じかまたは広くなりる。さらに、メタルシールド配線８１の中心ピッチＰ３も、幅広の読み出し配線の中心ピッチと同じになる。その結果、読み出し配線５６と読み出し配線７３との間における中心ピッチが異なっていても、干渉ノイズを効果的に低減することができる。
　図１０Ｆでは、読み出し配線７３の幅Ｗ２は、読み出し配線５６の幅Ｗ１よりも広い。さらに、読み出し配線５６とメタルシールド配線８１との間隔Ｄ１は、読み出し配線７３とメタルシールド配線８１との間隔Ｄ２よりも大きい。このように、読み出し配線５６と読み出し配線７３との間における幅が異なっている場合には、メタルシールド配線８１は、干渉ノイズが発生しやすい幅広の読み出し配線（図１０Ｅでは読み出し配線７３）の近くに配置される。その結果、間隔Ｄ１と間隔Ｄ２とが等しい場合、すなわち、読み出し配線５６と読み出し配線７３との中間にメタルシールド配線８１を配置する形態に比べて、干渉ノイズをより効果的に低減することができる。
　図１１は、画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３に対するメタルシールド配線８１の配置関係の別の一例を示す平面図である。
　上述した図１０Ｃでは、メタルシールド配線８１ｂおよびメタルシールド配線８１ｂは、読み出し配線５６および読み出し配線７３と平行にＸ方向に延びる。一方、図１１では、メタルシールド配線８１ａおよびメタルシールド配線８１ｂは、読み出し配線５６および読み出し配線７３に垂直なＹ方向に延びる。すなわち、メタルシールド配線８１ａおよびメタルシールド配線８１ｂは、画像信号Ｓ１３および畳み込み信号Ｓ１５の出力方向に垂直である。
　また、図１１では、メタルシールド配線８１ａおよびメタルシールド配線８１ｂは、各々の一部が重なり合うようにＸ方向にずらして配置される。これにより、読み出し配線５６と読み出し配線７３との間において、メタルシールド配線同士の隙間が無くなる。よって、より一層干渉ノイズを低減することができる。
　図１２Ａは、本実施形態における画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３の配置関係の一例を示す断面図である。図１２Ａでは、読み出し配線５６は、第１基板１０１の底面側に配置され、読み出し配線７３は、第２基板１０２の上面側に配置される。そのため、読み出し配線５６および読み出し配線７３は、メタルシールド配線８１を挟んで積層方向（Ｚ方向）で互いに対向するように配置される。
　図１２Ｂは、画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３の配置関係の別の一例を示す断面図である。図１２Ｂでは、読み出し配線５６は、第１基板１０１の底面（裏面）側に配置される一方で、読み出し配線７３は、第２基板１０２の底面（裏面）側に配置される。そのため、読み出し配線７３は、第２基板１０２およびメタルシールド配線８１を挟んで読み出し配線５６と対向するように配置される。この場合も、図８Ｂに示す配置と同様に、第２基板１０２は、読み出し配線５６と読み出し配線７３との間における干渉ノイズを遮蔽するのに適した材料で形成し、また、ノイズ遮蔽に十分な厚さを確保することが好ましい。
　以上説明した本実施形態においても、第１実施形態と同様に、第１基板１０１と第２基板１０２とが積層されているので、画素アレイ部１１からメモリアレイ部２１までの画素信号Ｓ１２の伝送距離が短くなる。これにより、撮像装置１の低電力化を実現することができる。また、上記積層配置は、チップ全体のレイアウトの小型化に寄与し、この小型化も撮像装置１の低電力化に貢献する。
　その一方で、本実施形態では、画素信号Ｓ１２の読み出し配線５６と、畳み込み信号Ｓ１５の読み出し配線７３とが互いに平行であるため、両配線間で干渉ノイズが発生する可能性がある。
　そこで、本実施形態では、読み出し配線５６と読み出し配線７３との間にメタルシールド配線８１を配置させる。そのため、両配線間の干渉ノイズを低減することができる。その結果、画素信号Ｓ１２および畳み込み信号Ｓ１５の両方の品質が向上するため、ＤＮＮの演算精度を高めることが可能となる。
　なお、第２実施形態で説明したメタルシールド配線８１は、上述した第１実施形態に係る撮像装置１に設けられていてもよい。この場合、読み出し配線５６と読み出し配線７３との間における干渉ノイズをより一層低減することが可能となる。
　（第３実施形態）
　以下、第３実施形態について、第１実施形態と異なる点を中心に説明する。本実施形態では、第１実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図１３Ａ～図１３Ｄは、第３実施形態に係る撮像装置の回路レイアウトの一例を示す図である。
　図１３Ａ～図１３Ｄでは、第１基板１０１には、画素アレイ部１１が配置される。また、第２基板１０２には、メモリアレイ部２１、ＣＩＭ入力制御回路２２、およびＣＩＭ読み出し回路２３が配置される。さらに、本実施形態に係る撮像装置は、第３基板１０３も有する。第３基板１０３には、画素制御回路１２、画素信号処理回路１３、およびロジック回路１５が配置される。
　図１３Ａでは、第３基板１０３は、第１基板１０１と第２基板１０２との間に積層される。また、画素信号処理回路１３は、画素列単位で画素信号処理回路１３を処理するシングルスロープＡＤＣを含む。
　図１３Ｂでも、図１３Ａと同様に、第３基板１０３は第１基板１０１と第２基板１０２との間に積層される。その一方で、画素信号処理回路１３は、画素ごとに画素信号処理回路１３を処理する画素ＡＤＣを含む。そのため、第３基板１０３内に占める画素信号処理回路１３の面積が、図１３Ａに示す画素信号処理回路１３の面積よりも大きい。
　図１３Ｃは、第２基板１０２と第３基板１０３との位置が入れ替わっている点を除いて図１３Ａと同じである。すなわち、図１３Ｃでは、第１基板１０１と第３基板１０３との間に第２基板１０２が積層される。
　図１３Ｄは、第２基板１０２と第３基板１０３との位置が入れ替わっている点を除いて図１３Ｂと同じである。本実施形態では、画素アレイ部１１を搭載した第１基板１０１が最上層に配置されれば、第２基板１０２および第３基板１０３の積層順序は入れ替わってもよい。
　図１４Ａは、本実施形態における画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３の配置関係の一例を示す断面図である。図１３Ａおよび図１３Ｂに示すように、第３基板１０３が第１基板１０１と第２基板１０２との間に積層される場合には、図１４Ａに示すように、読み出し配線５６および読み出し配線７３は、各々の一部が第３基板１０３を挟んで積層方向で互いに対向するように配置される。
　また、第３基板１０３には、画素信号処理回路１３で処理された画像信号Ｓ１３をＣＩＭ入力制御回路２２へ伝送するための信号配線８０が形成されている。信号配線８０と読み出し配線７３との間における干渉ノイズを低減するため、信号配線８０も、読み出し配線５６と同様に、読み出し配線７３に垂直であることが好ましい。
　図１４Ｂは、本実施形態における画素信号Ｓ１２の読み出し配線５６および畳み込み信号Ｓ１５の読み出し配線７３の配置関係の別の一例を示す断面図である。図１３Ｃおよび図１３Ｄに示すように、第２基板１０２が第１基板１０１と第３基板１０３との間に積層される場合には、読み出し配線５６および読み出し配線７３は、各々の一部が積層方向（Ｚ方向）で互いに対向するように配置される。なお、この場合も、信号配線８０は、読み出し配線５６と同様に、読み出し配線７３に垂直であることが好ましい。これにより、信号配線８０と読み出し配線７３との間における干渉ノイズを低減することができる。なお、本実施形態では、撮像装置を構成する回路要素を、互いに積層された４つ以上の基板に配置することも可能である。この場合、画素アレイ部１１を搭載した第１基板１０１が、最上層に配置されれば、他の基板の配置は、順不同である。
　以上説明した本実施形態によれば、第１基板１０１と第２基板１０２と、第３基板１０３とが積層されているので、画素アレイ部１１からメモリアレイ部２１までの画素信号Ｓ１２の伝送距離が短くなる。これにより、撮像装置１の低電力化を実現することができる。
　また、本実施形態では、第１実施形態と同様に、読み出し配線５６と読み出し配線７３とが互いに交差しているので、両配線間の干渉ノイズを低減することができる。その結果、特に、画素信号Ｓ１２および畳み込み信号Ｓ１５の両方の品質が向上するため、ＤＮＮの演算精度を高めることが可能となる。
　（第４実施形態）
　図１５は、第４実施形態に係る撮像装置の構成を示すブロック図である。本実施形態に係る撮像装置４は、第１実施形態に係る撮像装置１の構成要素に加えて、スイッチ４１をさらに備える。
　スイッチ４１は、画素信号処理回路１３とＣＩＭ入力制御回路２２との間に配置される。
　画像データを積和演算する場合には、スイッチ４１は、ロジック回路１５の制御に基づいて、画素信号処理回路１３とＣＩＭ入力制御回路２２とを接続する。また、画像信号Ｓ１３を撮像装置４の外部へ出力する場合には、スイッチ４１は、ロジック回路１５の制御に基づいて、画素信号処理回路１３と入出力部３３とを接続する。この場合、画像信号Ｓ１３は、入出力部３３を介して外部へ出力される。なお、本実施形態では、スイッチ４１は、画素信号処理回路１３とＣＩＭ入力制御回路２２との間に設けられているが、ＣＩＭ入力制御回路２２内に設けられていてもよい。
　以上説明した本実施形態では、スイッチ４１が、画素信号処理回路１３で生成された画像信号Ｓ１３の出力先を、ＣＩＭ入力制御回路２２または入出力部３３に切り替えることができる。そのため、使用目的に応じて画像信号Ｓ１３の提供先を選択することができる。
　（第５実施形態）
　図１６は、第５実施形態に係る電子機器の構成の一例を示す図である。本実施形態に係る電子機器２００は、カメラシステムであり、図１６に示すように、撮像装置２１０と、レンズ２２０と、駆動回路(ＤＲＶ)２３０と、信号処理回路(ＰＲＣ)２４０と、を備える。
　撮像装置２１０には、上述した第１実施形態～第４実施形態に係る撮像装置のいずれかを適用することができる。レンズ２２０は、入射光（像光）を撮像面上に結像させる。
　駆動回路２３０は、撮像装置２１０内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(不図示)を有し、所定のタイミング信号で撮像装置２１０を駆動する。
　また、信号処理回路２４０は、撮像装置２１０の出力信号に対して所定の信号処理を施す。信号処理回路２４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路２４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
　上述した本実施形態によれば、デジタルスチルカメラ等の電子機器２００において、上述した各実施形態に係る撮像装置を撮像装置２１０として搭載することで、高精度な撮像機能を実現することができる。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば撮像部１２０３１に適用され得る。具体的には、第１実施形態～第４実施形態に係る撮像装置は、撮像部１２０３１に適用することができる。本開示に係る技術を適用することにより、低ノイズの撮像性能を有する撮影画像を得ることができるため、画像品質を向上することが可能になる。
　なお、本技術は以下のような構成を取ることができる。
（１）　入射光を光電変換した画素信号を第１方向に出力する画素アレイ部が配置される第１基板と、
　前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力するメモリアレイ部が配置される第２基板と、を備え、
　前記第１基板および前記第２基板の少なくとも一部が互いに重なり合う、撮像装置。
（２）　前記第１方向が前記第２方向と交差する、（１）に記載の撮像装置。
（３）　前記第１方向が前記第２方向と平行であり、
　前記第１基板と前記第２基板との間に配置されるメタルシールド配線をさらに備える、（１）に記載の撮像装置。
（４）　前記画素信号および前記畳み込み信号の少なくとも一方がアナログ信号である、（１）から（３）のいずれかに記載の撮像装置。
（５）　前記画素アレイ部を制御する画素制御回路と、
　前記画素アレイ部から読み出した前記画素信号を処理する画素信号処理回路と、
　前記メモリアレイ部を制御するＣＩＭ入力制御回路と、
　前記メモリアレイ部から読み出した前記畳み込み信号を処理するＣＩＭ読み出し回路と、をさらに備える、（１）から（４）のいずれかに記載の撮像装置。
（６）　前記画素制御回路は、前記第１方向に平行な方向に配置され、
　前記画素信号処理回路は、前記第１方向に垂直な方向に配置され、
　前記ＣＩＭ入力制御回路は、前記第２方向に平行な方向に配置され、
　前記ＣＩＭ読み出し回路は、前記第２方向に垂直な方向に配置される、（５）に記載の撮像装置。
（７）　前記画素制御回路および前記画素信号処理回路が配置される第３基板をさらに備える、（５）に記載の撮像装置。
（８）　前記第３基板が前記第１基板と前記第２基板との間に配置されるか、または前記第２基板が前記第１基板と前記第３基板との間に配置される、（７）に記載の撮像装置。
（９）　前記第２基板において、前記画素制御回路と前記ＣＩＭ読み出し回路とが、前記メモリアレイ部を挟んで互いに対向配置され、かつ、前記画素信号処理回路と前記ＣＩＭ入力制御回路とが、前記メモリアレイ部を挟んで互いに対向配置される、（５）に記載の撮像装置。
（１０）　複数の前記メモリアレイ部が、前記第１方向と前記第２方向の少なくとも一方に配列される、（１）から（９）のいずれかに記載の撮像装置。
（１１）　前記メモリアレイ部の平面領域が矩形であり、前記第２方向が前記矩形の長辺方向である、（２）に記載の撮像装置。
（１２）　前記メモリアレイ部の平面領域が矩形であり、前記第２方向が前記矩形の短辺方向である、（３）に記載の撮像装置。
（１３）　前記画素アレイ部および前記画素信号処理回路が、前記第１基板および前記第２基板の各々の中央部で電気的に接続される、（５）に記載の撮像装置。
（１４）　前記画素信号を読み出すための第１読み出し配線の幅が、前記畳み込み信号を読み出すための第２読み出し配線の幅と異なり、
　前記メタルシールド配線の幅が、前記第１読み出し配線および前記第２読み出し配線の中で幅広の読み出し配線の幅と同じかまたは広い、（３）に記載の撮像装置。
（１５）　前記メタルシールド配線が、多層配線であり、各々のメタルシールド配線の一部が重なり合っている、（１４）に記載の撮像装置。
（１６）　前記メタルシールド配線は、前記第１読み出し配線および前記第２読み出し配線の中で幅広の読み出し配線の近くに配置される、（１４）に記載の撮像装置。
（１７）　前記メタルシールド配線は、前記第１読み出し配線および前記第２読み出し配線に垂直である、（１４）に記載の撮像装置。
（１８）　信号を入出力する入出力部と、
　前記画素信号処理回路で生成された画像信号の出力先を、前記ＣＩＭ入力制御回路または前記入出力部に切り替えるスイッチと、をさらに備える、（５）に記載の撮像装置。
（１９）　入射光を光電変換した画素信号を第１方向に出力する画素アレイ部が配置される第１基板と、前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力するメモリアレイ部が配置される第２基板と、を有し、前記第１基板および前記第２基板の少なくとも一部が互いに重なり合う撮像装置を備える、電子機器。
（２０）　第１基板に配置される画素アレイ部で入射光を光電変換した画素信号を第１方向に出力し、
　少なくとも一部が前記第１基板と重なり合う第２基板に配置されるメモリアレイ部で、前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力する、
　信号処理方法。
　１、４：撮像装置
　１１：画素アレイ部
　１２：画素制御回路
　１３：画素信号処理回路
　２１：メモリアレイ部
　２２：ＣＩＭ入力制御回路
　２３：ＣＩＭ読み出し回路
　３３：入出力部
　４１：スイッチ
　５６：読み出し配線
　７３：読み出し配線
　８１：メタルシールド配線
　１０１：第１基板
　１０２：第２基板
　１０３：第３基板

Claims (20)

  1. 　入射光を光電変換した画素信号を第１方向に出力する画素アレイ部が配置される第１基板と、
    　前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力するメモリアレイ部が配置される第２基板と、を備え、
    　前記第１基板および前記第２基板の少なくとも一部が互いに重なり合う、撮像装置。
  2. 　前記第１方向が前記第２方向と交差する、請求項１に記載の撮像装置。
  3. 　前記第１方向が前記第２方向と平行であり、
    　前記第１基板と前記第２基板との間に配置されるメタルシールド配線をさらに備える、請求項１に記載の撮像装置。
  4. 　前記画素信号および前記畳み込み信号の少なくとも一方がアナログ信号である、請求項１に記載の撮像装置。
  5. 　前記画素アレイ部を制御する画素制御回路と、
    　前記画素アレイ部から読み出した前記画素信号を処理する画素信号処理回路と、
    　前記メモリアレイ部を制御するＣＩＭ入力制御回路と、
    　前記メモリアレイ部から読み出した前記畳み込み信号を処理するＣＩＭ読み出し回路と、をさらに備える、請求項１に記載の撮像装置。
  6. 　前記画素制御回路は、前記第１方向に平行な方向に配置され、
    　前記画素信号処理回路は、前記第１方向に垂直な方向に配置され、
    　前記ＣＩＭ入力制御回路は、前記第２方向に平行な方向に配置され、
    　前記ＣＩＭ読み出し回路は、前記第２方向に垂直な方向に配置される、請求項５に記載の撮像装置。
  7. 　前記画素制御回路および前記画素信号処理回路が配置される第３基板をさらに備える、請求項５に記載の撮像装置。
  8. 　前記第３基板が前記第１基板と前記第２基板との間に配置されるか、または前記第２基板が前記第１基板と前記第３基板との間に配置される、請求項７に記載の撮像装置。
  9. 　前記第２基板において、前記画素制御回路と前記ＣＩＭ読み出し回路とが、前記メモリアレイ部を挟んで互いに対向配置され、かつ、前記画素信号処理回路と前記ＣＩＭ入力制御回路とが、前記メモリアレイ部を挟んで互いに対向配置される、請求項５に記載の撮像装置。
  10. 　複数の前記メモリアレイ部が、前記第１方向と前記第２方向の少なくとも一方に配列される、請求項１に記載の撮像装置。
  11. 　前記メモリアレイ部の平面領域が矩形であり、前記第２方向が前記矩形の長辺方向である、請求項２に記載の撮像装置。
  12. 　前記メモリアレイ部の平面領域が矩形であり、前記第２方向が前記矩形の短辺方向である、請求項３に記載の撮像装置。
  13. 　前記画素アレイ部および前記画素信号処理回路が、前記第１基板および前記第２基板の各々の中央部で電気的に接続される、請求項５に記載の撮像装置。
  14. 　前記画素信号を読み出すための第１読み出し配線の幅が、前記畳み込み信号を読み出すための第２読み出し配線の幅と異なり、
    　前記メタルシールド配線の幅が、前記第１読み出し配線および前記第２読み出し配線の中で幅広の読み出し配線の幅と同じかまたは広い、請求項３に記載の撮像装置。
  15. 　前記メタルシールド配線が、多層配線であり、各々のメタルシールド配線の一部が重なり合っている、請求項１４に記載の撮像装置。
  16. 　前記メタルシールド配線は、前記第１読み出し配線および前記第２読み出し配線の中で幅広の読み出し配線の近くに配置される、請求項１４に記載の撮像装置。
  17. 　前記メタルシールド配線は、前記第１読み出し配線および前記第２読み出し配線に垂直である、請求項１４に記載の撮像装置。
  18. 　信号を入出力する入出力部と、
    　前記画素信号処理回路で生成された画像信号の出力先を、前記ＣＩＭ入力制御回路または前記入出力部に切り替えるスイッチと、をさらに備える、請求項５に記載の撮像装置。
  19. 　入射光を光電変換した画素信号を第１方向に出力する画素アレイ部が配置される第１基板と、前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力するメモリアレイ部が配置される第２基板と、を有し、前記第１基板および前記第２基板の少なくとも一部が互いに重なり合う撮像装置を備える、電子機器。
  20. 　第１基板に配置される画素アレイ部で入射光を光電変換した画素信号を第１方向に出力し、
    　少なくとも一部が前記第１基板と重なり合う第２基板に配置されるメモリアレイ部で、前記画素信号に基づく入力信号を積和演算した結果を示す畳み込み信号を第２方向に出力する、
    　信号処理方法。
PCT/JP2022/001540 2021-03-08 2022-01-18 撮像装置、電子機器、および信号処理方法 WO2022190644A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP22766612.0A EP4307654A1 (en) 2021-03-08 2022-01-18 Imaging device, electronic apparatus, and signal processing method
US18/263,042 US20240088175A1 (en) 2021-03-08 2022-01-18 Imaging device, electronic device, and signal processing method
CN202280018061.3A CN116965054A (zh) 2021-03-08 2022-01-18 成像装置、电子装置和信号处理方法
JP2023505170A JPWO2022190644A1 (ja) 2021-03-08 2022-01-18
KR1020237028992A KR20230154181A (ko) 2021-03-08 2022-01-18 촬상 장치, 전자 기기 및 신호 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-036638 2021-03-08
JP2021036638 2021-03-08

Publications (1)

Publication Number Publication Date
WO2022190644A1 true WO2022190644A1 (ja) 2022-09-15

Family

ID=83226562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001540 WO2022190644A1 (ja) 2021-03-08 2022-01-18 撮像装置、電子機器、および信号処理方法

Country Status (7)

Country Link
US (1) US20240088175A1 (ja)
EP (1) EP4307654A1 (ja)
JP (1) JPWO2022190644A1 (ja)
KR (1) KR20230154181A (ja)
CN (1) CN116965054A (ja)
TW (1) TW202236841A (ja)
WO (1) WO2022190644A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117857942A (zh) * 2024-03-07 2024-04-09 珠海燧景科技有限公司 读出电路、图像传感器及摄像系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017209221A1 (ja) * 2016-05-31 2017-12-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法、カメラモジュール、並びに電子機器
JP2020113809A (ja) 2019-01-08 2020-07-27 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017209221A1 (ja) * 2016-05-31 2017-12-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法、カメラモジュール、並びに電子機器
JP2020113809A (ja) 2019-01-08 2020-07-27 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路

Also Published As

Publication number Publication date
US20240088175A1 (en) 2024-03-14
JPWO2022190644A1 (ja) 2022-09-15
KR20230154181A (ko) 2023-11-07
CN116965054A (zh) 2023-10-27
EP4307654A1 (en) 2024-01-17
TW202236841A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
JP7418934B2 (ja) 光検出素子、電子機器
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
TW202015395A (zh) 固態攝像裝置及其驅動方法以及電子機器
US11863892B2 (en) Imaging unit and electronic apparatus with first and second light blocking films
WO2022190644A1 (ja) 撮像装置、電子機器、および信号処理方法
US11670625B2 (en) Imaging unit having a stacked structure and electronic apparatus including the imaging unit
WO2022219928A1 (ja) 撮像装置、電子機器、および信号処理方法
JP2020035916A (ja) 撮像装置および電子機器
CN114830633A (zh) 固态摄像元件和电子设备
US20220021853A1 (en) Imaging element and electronic apparatus
WO2023119953A1 (ja) 撮像装置、電子機器、および信号処理方法
JP7129983B2 (ja) 撮像装置
WO2020071103A1 (ja) 半導体装置およびその製造方法、撮像素子
WO2023021780A1 (ja) 撮像装置、電子機器及び情報処理方法
WO2024043068A1 (ja) 固体撮像素子および電子機器
WO2024127854A1 (ja) 撮像素子、撮像素子の製造方法、電子機器
WO2023013178A1 (ja) 固体撮像装置及び電子機器
WO2022158278A1 (ja) 撮像素子、撮像装置
WO2023079999A1 (ja) 撮像素子、電子機器
WO2022209226A1 (ja) 撮像素子、電子機器
WO2022249731A1 (ja) 撮像装置及び電子機器
WO2023032284A1 (ja) 固体撮像装置
WO2023195262A1 (ja) 光検出装置、測距装置、および電子機器
JP2023154356A (ja) 光検出装置および測距装置ならびに撮像装置
TW202422894A (zh) 光偵測器及距離量測裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766612

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023505170

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18263042

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280018061.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022766612

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022766612

Country of ref document: EP

Effective date: 20231009