WO2022059499A1 - 固体撮像装置及び電子機器 - Google Patents

固体撮像装置及び電子機器 Download PDF

Info

Publication number
WO2022059499A1
WO2022059499A1 PCT/JP2021/032248 JP2021032248W WO2022059499A1 WO 2022059499 A1 WO2022059499 A1 WO 2022059499A1 JP 2021032248 W JP2021032248 W JP 2021032248W WO 2022059499 A1 WO2022059499 A1 WO 2022059499A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
chip
drive
rgb
Prior art date
Application number
PCT/JP2021/032248
Other languages
English (en)
French (fr)
Inventor
公康 椎名
慶 中川
敦史 鈴木
駿太朗 泉
耕平 山田
Original Assignee
ソニーグループ株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180051009.3A priority Critical patent/CN115943639A/zh
Priority to DE112021004903.8T priority patent/DE112021004903T5/de
Priority to KR1020237006234A priority patent/KR20230069909A/ko
Priority to US18/017,526 priority patent/US12035063B2/en
Priority to EP21869186.3A priority patent/EP4216279A4/en
Publication of WO2022059499A1 publication Critical patent/WO2022059499A1/ja
Priority to US18/660,673 priority patent/US20240348951A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14618—Containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • This disclosure relates to a solid-state image sensor and an electronic device.
  • Patent Documents 1 and 2 disclose a technique for acquiring a color image of visible light and a monochrome image of infrared light by using an image sensor that detects visible light and an image sensor that detects infrared light. Has been done.
  • the present disclosure proposes a solid-state image sensor and an electronic device capable of improving the accuracy of the result obtained by processing the information acquired by different sensors in an integrated manner.
  • the solid-state imaging device has a first sensor that detects light in the first wavelength band and light in a second wavelength band different from the first wavelength band.
  • the first sensor includes a second sensor for detecting, the first sensor includes a first pixel for detecting the light of the first wavelength band in the incident light, and the second sensor is the first pixel of the incident light. It is provided with a second pixel for detecting the light of the second wavelength band transmitted through the light.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge-Coupled Device
  • FIG. 1 is a block diagram showing a schematic configuration example of an electronic device equipped with an image sensor according to the first embodiment.
  • the electronic device 1 includes, for example, an image pickup lens 2, an image sensor 100, a storage unit 3, and a processor 4.
  • the image pickup lens 2 is an example of an optical system that collects incident light and forms an image on the light receiving surface of the image sensor 100.
  • the light receiving surface may be a surface on which the photoelectric conversion elements in the image sensor 100 are arranged.
  • the image sensor 100 photoelectrically converts the incident light to generate image data. Further, the image sensor 100 executes predetermined signal processing such as noise reduction and white balance adjustment on the generated image data.
  • the storage unit 3 is composed of, for example, a flash memory, a DRAM (Dynamic Random Access Memory), a SRAM (Static Random Access Memory), or the like, and records image data or the like input from the image sensor 100.
  • the processor 4 is configured by using, for example, a CPU (Central Processing Unit) or the like, and may include an application processor that executes an operating system, various application software, and the like, a GPU (Graphics Processing Unit), a baseband processor, and the like.
  • the processor 4 executes various processes as necessary for the image data input from the image sensor 100, the image data read from the storage unit 3, and the like, displays the image to the user, and establishes a predetermined network. Send to the outside via.
  • a CPU Central Processing Unit
  • the processor 4 executes various processes as necessary for the image data input from the image sensor 100, the image data read from the storage unit 3, and the like, displays the image to the user, and establishes a predetermined network. Send to the outside via.
  • the processor 4 integrates the color image read from the RGB pixel 10 described later and the monochrome image (IR image) read from the IR pixel 20 to perform distance measurement processing and recognition processing. Various processes such as can be executed.
  • FIG. 2 is a block diagram showing a schematic configuration example of a CMOS type image sensor according to the first embodiment.
  • the image sensor 100 has, for example, a stack structure in which a semiconductor chip on which a pixel array portion 101 is formed and a semiconductor chip on which a peripheral circuit is formed are laminated.
  • Peripheral circuits may include, for example, a pixel drive circuit 102, a signal processing circuit 103, a column drive circuit 104, and a system control unit 105.
  • the image sensor 100 further includes a data processing unit 108 and a data storage unit 109.
  • the data processing unit 108 and the data storage unit 109 may be provided on the same semiconductor chip as the peripheral circuit, or may be provided on another semiconductor chip.
  • unit pixels (hereinafter, may be simply referred to as “pixels”) 110 having a photoelectric conversion element that generates and stores electric charges according to the amount of received light are in the row direction and the column direction, that is, , Has a structure arranged in a two-dimensional grid pattern in a matrix.
  • the row direction means the arrangement direction of the pixels in the pixel row (in the drawing, the horizontal direction)
  • the column direction means the arrangement direction of the pixels in the pixel row (in the drawing, the vertical direction).
  • the pixel drive line LD is wired along the row direction for each pixel row and the vertical signal line VSL is wired along the column direction for each pixel row with respect to the matrix-shaped pixel array.
  • the pixel drive line LD transmits a control signal for driving when reading a signal from a pixel.
  • the pixel drive lines LD are shown as wiring one by one, but the wiring is not limited to one by one.
  • One end of the pixel drive line LD is connected to the output end corresponding to each line of the pixel drive circuit 102.
  • the pixel drive circuit 102 is composed of a shift register, an address decoder, and the like, and drives each pixel of the pixel array unit 101 simultaneously for all pixels or in line units. That is, the pixel drive circuit 102 constitutes a drive unit that controls the operation of each pixel of the pixel array unit 101 together with the system control unit 105 that controls the pixel drive circuit 102. Although the specific configuration of the pixel drive circuit 102 is not shown, it generally includes two scanning systems, a read scanning system and a sweep scanning system.
  • the read-scanning system selectively scans the unit pixels of the pixel array unit 101 row by row in order to read a signal from the unit pixels.
  • the signal read from the unit pixel is an analog signal.
  • the sweep scan system performs sweep scan for the read row on which read scan is performed by the read scan system, ahead of the read scan by the exposure time.
  • the photoelectric conversion element is reset by sweeping out unnecessary charges from the photoelectric conversion element of the unit pixel of the read row. Then, by sweeping out (resetting) unnecessary charges with this sweeping scanning system, a so-called electronic shutter operation is performed.
  • the electronic shutter operation refers to an operation in which the electric charge of the photoelectric conversion element is discarded and a new exposure is started (charge accumulation is started).
  • the signal read by the read operation by the read scanning system corresponds to the amount of light received after the read operation or the electronic shutter operation immediately before that.
  • the period from the read timing by the immediately preceding read operation or the sweep timing by the electronic shutter operation to the read timing by the current read operation is the charge accumulation period (also referred to as an exposure period) in the unit pixel.
  • the signal output from each unit pixel of the pixel row selectively scanned by the pixel drive circuit 102 is input to the signal processing circuit 103 through each of the vertical signal lines VSL for each pixel column.
  • the signal processing circuit 103 performs predetermined signal processing on the signal output from each pixel of the selected row through the vertical signal line VSL for each pixel row of the pixel array unit 101, and temporarily processes the pixel signal after the signal processing. Hold on.
  • the signal processing circuit 103 performs at least noise reduction processing, for example, CDS (Correlated Double Sampling) processing and DDS (Double Data Sampling) processing as signal processing.
  • CDS Correlated Double Sampling
  • DDS Double Data Sampling
  • the CDS process removes pixel-specific fixed pattern noise such as reset noise and threshold variation of the amplification transistor in the pixel.
  • the signal processing circuit 103 also has, for example, an AD (analog-digital) conversion function, and converts an analog pixel signal read from a photoelectric conversion element into a digital signal and outputs the signal.
  • AD analog-digital
  • the column drive circuit 104 is composed of a shift register, an address decoder, and the like, and a read circuit (hereinafter referred to as a pixel circuit) corresponding to the pixel sequence of the signal processing circuit 103 is sequentially selected.
  • a read circuit hereinafter referred to as a pixel circuit
  • the system control unit 105 is configured by a timing generator or the like that generates various timing signals, and based on the various timings generated by the timing generator, the pixel drive circuit 102, the signal processing circuit 103, and the column drive circuit 104. Drive control such as.
  • the data processing unit 108 has at least an arithmetic processing function, and performs various signal processing such as arithmetic processing on the image signal output from the signal processing circuit 103.
  • the data storage unit 109 temporarily stores the data necessary for the signal processing in the data processing unit 108.
  • the image data output from the data processing unit 108 may be, for example, executed by a processor 4 or the like in an electronic device 1 equipped with an image sensor 100, or transmitted to the outside via a predetermined network. You may.
  • the unit pixel 110 includes an RGB pixel for acquiring a color image of the three primary colors of RGB and an IR pixel for acquiring a monochrome image of infrared (IR) light.
  • an RGB pixel may correspond to an example of a first pixel in a claim range
  • an IR pixel may correspond to an example of a second pixel in a claim range
  • a sensor including an RGB pixel may correspond to a second pixel in the claim range. It may correspond to an example of one sensor, and a sensor including an IR pixel may correspond to an example of a second sensor within the scope of the claim.
  • Visible light containing the three primary colors of RGB may correspond to, for example, an example of light in the first wavelength band in the claims
  • IR light may correspond to, for example, an example of light in the second wavelength band in the claims. obtain.
  • the reference numeral is 31.
  • FIG. 3 is a schematic diagram showing a schematic configuration example of the pixel array unit according to the present embodiment.
  • unit pixels 110 having a structure in which unit pixels 110 composed of RGB pixels 10 and IR pixels 20 are arranged along the incident direction of light are arranged in a two-dimensional grid pattern. It has a configuration. That is, in the present embodiment, the RGB pixels 10 and the IR pixels 20 are located in the direction perpendicular to the arrangement direction (planar direction) of the unit pixels 110, and the RGB pixels 10 are located on the upstream side in the optical path of the incident light.
  • the light transmitted through the image is configured to enter the IR pixel 20 located on the downstream side of the RGB pixel 10.
  • the photoelectric conversion unit PD2 of the IR pixel 20 is arranged on the surface side opposite to the incident surface of the incident light in the photoelectric conversion unit PD1 of the RGB pixel 10.
  • the optical axes of the incident light of the RGB pixels 10 and the IR pixels 20 arranged along the incident direction of the light are coincident or substantially the same.
  • the photoelectric conversion unit PD1 constituting the RGB pixel 10 is composed of an organic material and the photoelectric conversion unit PD2 constituting the IR pixel 20 is composed of a semiconductor material such as silicon will be exemplified.
  • both the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2 may be made of a semiconductor material, or both the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2 may be made of an organic material, or the photoelectric conversion unit may be made of an organic material.
  • the part PD1 may be made of a semiconductor material, and the photoelectric conversion part PD2 may be made of an organic material.
  • at least one of the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2 may be made of a photoelectric conversion material different from the organic material and the semiconductor material.
  • FIG. 4 is a circuit diagram showing a schematic configuration example of a unit pixel according to the present embodiment.
  • the unit pixel 110 includes one RGB pixel 10 and one IR pixel 20.
  • the RGB pixel 10 includes, for example, a photoelectric conversion unit PD1, a transfer gate 11, a floating diffusion region FD1, a reset transistor 12, an amplification transistor 13, and a selection transistor 14.
  • a selection control line included in the pixel drive line LD is connected to the gate of the selection transistor 14, and a reset control line included in the pixel drive line LD is connected to the gate of the reset transistor 12, which will be described later.
  • a transfer control line included in the pixel drive line LD is connected to the storage electrode (see the storage electrode 37 in FIG. 8). Further, a vertical signal line VSL1 having one end connected to the signal processing circuit 103 is connected to the drain of the amplification transistor 13 via the selection transistor 14.
  • the reset transistor 12, the amplification transistor 13, and the selection transistor 14 are collectively referred to as a pixel circuit.
  • the pixel circuit may include a stray diffusion region FD1 and / or a transfer gate 11.
  • the photoelectric conversion unit PD1 is made of, for example, an organic material, and performs photoelectric conversion of incident light.
  • the transfer gate 11 transfers the electric charge generated in the photoelectric conversion unit PD1.
  • the floating diffusion region FD1 accumulates the electric charge transferred by the transfer gate 11.
  • the amplification transistor 13 causes a pixel signal having a voltage value corresponding to the electric charge stored in the stray diffusion region FD1 to appear on the vertical signal line VSL1.
  • the reset transistor 12 emits the electric charge accumulated in the stray diffusion region FD1.
  • the selection transistor 14 selects the RGB pixel 10 to be read.
  • the anode of the photoelectric conversion unit PD1 is grounded, and the cascade is connected to the transfer gate 11.
  • the details of the transfer gate 11 will be described later with reference to FIG. 8, but the transfer gate 11 includes, for example, a storage electrode 37 and a read electrode 36.
  • a voltage for collecting the electric charge generated in the photoelectric conversion unit PD1 in the semiconductor layer 35 in the vicinity of the storage electrode 37 is applied to the storage electrode 37 via the transfer control line.
  • a voltage for causing the electric charge collected in the semiconductor layer 35 in the vicinity of the storage electrode 37 to flow out through the reading electrode 36 is applied to the storage electrode 37 via the transfer control line.
  • the electric charge flowing out through the read electrode 36 is accumulated in the stray diffusion region FD1 configured by the wiring structure connecting the read electrode 36, the source of the reset transistor 12, and the gate of the amplification transistor 13.
  • the drain of the reset transistor 12 may be connected to, for example, a power supply line to which a reset voltage lower than the power supply voltage VDD or the power supply voltage VDD is supplied.
  • the source of the amplification transistor 13 may be connected to the power line via, for example, a constant current circuit (not shown).
  • the drain of the amplification transistor 13 is connected to the source of the selection transistor 14, and the drain of the selection transistor 14 is connected to the vertical signal line VSL1.
  • the floating diffusion region FD1 converts the accumulated electric charge into a voltage having a voltage value corresponding to the amount of the electric charge.
  • the floating diffusion region FD1 may be, for example, a grounding capacitance.
  • the present invention is not limited to this, and the stray diffusion region FD1 is added by intentionally connecting a capacitor or the like to a node to which the drain of the transfer gate 11 and the source of the reset transistor 12 and the gate of the amplification transistor 13 are connected. It may be a capacity or the like.
  • the vertical signal line VSL1 is connected to an AD (Analog-to-Digital) conversion circuit 103A provided for each column (that is, for each vertical signal line VSL1) in the signal processing circuit 103.
  • the AD conversion circuit 103A includes, for example, a comparator and a counter, and has a reference voltage such as a single slope or a lamp shape input from an external reference voltage generation circuit (DAC (Digital-to-Analog Converter)) and a vertical signal. By comparing with the pixel signal appearing on the line VSL1, the analog pixel signal is converted into the digital pixel signal.
  • the AD conversion circuit 103A may be provided with, for example, a CDS (Correlated Double Sampling) circuit and may be configured to be able to reduce kTC noise and the like.
  • the IR pixel 20 includes, for example, a photoelectric conversion unit PD2, a transfer transistor 21, a floating diffusion region FD2, a reset transistor 22, an amplification transistor 23, a selection transistor 24, and an emission transistor 25. That is, in the IR pixel 20, the transfer gate 11 in the RGB pixel 10 is replaced with the transfer transistor 21, and the emission transistor 25 is added.
  • connection relationship between the stray diffusion region FD2, the reset transistor 22 and the amplification transistor 23 with respect to the transfer transistor 21 may be the same as the connection relationship between the stray diffusion region FD1, the reset transistor 12 and the amplification transistor 13 with respect to the transfer gate 11 in the RGB pixel 10. .. Further, the connection relationship between the amplification transistor 23, the selection transistor 24, and the vertical signal line VSL2 may be the same as the connection relationship between the amplification transistor 13 and the selection transistor 14 and the vertical signal line VSL1 in the RGB pixel 10.
  • the source of the transfer transistor 21 is connected to, for example, the cathode of the photoelectric conversion unit PD2, and the drain is connected to the floating diffusion region FD2. Further, a transfer control line included in the pixel drive line LD is connected to the gate of the transfer transistor 21.
  • the source of the emission transistor 25 may be connected to, for example, the cathode of the photoelectric conversion unit PD2, and the drain may be connected to a power supply line to which a reset voltage lower than the power supply voltage VDD or the power supply voltage VDD is supplied. Further, the emission control line included in the pixel drive line LD is connected to the gate of the emission transistor 25.
  • the reset transistor 22, the amplification transistor 23, and the selection transistor 24 are collectively referred to as a pixel circuit.
  • This pixel circuit may include one or more of the stray diffusion region FD2, the transfer transistor 21, and the emission transistor 25.
  • the photoelectric conversion unit PD2 is made of, for example, a semiconductor material, and performs photoelectric conversion of incident light.
  • the transfer transistor 21 transfers the electric charge generated in the photoelectric conversion unit PD2.
  • the floating diffusion region FD2 accumulates the electric charge transferred by the transfer transistor 21.
  • the amplification transistor 23 causes a pixel signal having a voltage value corresponding to the electric charge accumulated in the stray diffusion region FD2 to appear on the vertical signal line VSL2.
  • the reset transistor 22 emits the electric charge accumulated in the stray diffusion region FD2.
  • the selection transistor 24 selects the IR pixel 20 to be read.
  • the anode of the photoelectric conversion unit PD2 is grounded, and the cascade is connected to the transfer transistor 21.
  • the drain of the transfer transistor 21 is connected to the source of the reset transistor 22 and the gate of the amplification transistor 23, and the wiring structure connecting these constitutes the floating diffusion layer FD2.
  • the electric charge flowing out from the photoelectric conversion unit PD2 via the transfer transistor 21 is accumulated in the floating diffusion region FD2.
  • the floating diffusion region FD2 converts the accumulated electric charge into a voltage having a voltage value corresponding to the amount of the electric charge.
  • the floating diffusion region FD2 may be, for example, a grounding capacity.
  • the present invention is not limited to this, and the stray diffusion region FD2 is added by intentionally connecting a capacitor or the like to a node to which the drain of the transfer transistor 21, the source of the reset transistor 22, and the gate of the amplification transistor 23 are connected. It may be a capacity or the like.
  • the discharge transistor 25 is turned on when the charge accumulated in the photoelectric conversion unit PD2 is discharged and the photoelectric conversion unit PD2 is reset. As a result, the electric charge accumulated in the photoelectric conversion unit PD2 flows out to the power supply line via the discharge transistor 25, and the photoelectric conversion unit PD2 is reset to an unexposed state.
  • the vertical signal line VSL2 is connected to the AD conversion circuit 103B provided for each column (that is, for each vertical signal line VSL2) in the signal processing circuit 103.
  • the AD conversion circuit 103B may have the same configuration as the AD conversion circuit 103A.
  • FIG. 5 is a circuit diagram showing a schematic configuration example of a unit pixel according to the first modification of the present embodiment.
  • the unit pixel 110-1 is configured so that the vertical signal lines VSL1 and VSL2 are connected to the common AD conversion circuit 103A in the same configuration as the unit pixel 110 shown in FIG. .. Therefore, in the first modification, a switch circuit 131 for switching the vertical signal line connected to the AD conversion circuit 103A to either the vertical signal lines VSL1 or VSL2 is provided.
  • the switch circuit 131 may be provided, for example, on the same semiconductor substrate as the pixel circuit of the RGB pixels 10 and / or the IR pixels 20, or may be provided on the semiconductor substrate on which the signal processing circuit 103 is arranged.
  • control signal for controlling the switch circuit 131 may be supplied from the pixel drive circuit 102, the column drive circuit 104, or another configuration (for example, the processor 4 in FIG. 1). May be done.
  • the circuit scale of the signal processing circuit 103 can be reduced, so that the image sensor 100 can be made smaller and have higher resolution by improving the area efficiency.
  • FIG. 6 is a circuit diagram showing a schematic configuration example of a unit pixel according to the second modification of the present embodiment.
  • the unit pixel 110-2 connects the vertical signal lines VSL1 and VSL2 to one of the two AD conversion circuits 103A and 103B, respectively, in the same configuration as the unit pixel 110 shown in FIG. It is configured to be able to. Therefore, in the second modification, the switch circuit 132 that switches the vertical signal line connected to the AD conversion circuit 103A to either the vertical signal lines VSL1 or VSL2 and the vertical signal line connected to the AD conversion circuit 103B are vertical.
  • a switch circuit 133 for switching to either the signal line VSL1 or VSL2 is provided.
  • the switch circuits 132 and 133 may be provided, for example, on the same semiconductor substrate as the pixel circuit of the RGB pixel 10 and / or the IR pixel 20, or may be provided on the semiconductor substrate on which the signal processing circuit 103 is arranged. , They may be provided on a semiconductor substrate different from these. Further, the control signal for controlling the switch circuits 132 and 133 may be supplied from the pixel drive circuit 102, the column drive circuit 104, or another configuration (for example, the processor 4 in FIG. 1). It may be supplied from.
  • FIG. 7 is a circuit diagram showing a schematic configuration example of a unit pixel according to the third modification of the present embodiment.
  • the unit pixel 110-3 has a configuration similar to that of the unit pixel 110-2 shown in FIG. 6 with respect to the RGB pixel 10, and a plurality of RGB pixels 10-1 to 10-N (N is 2 or more).
  • a so-called pixel-sharing circuit structure that shares the floating diffusion region FD1, the reset transistor 12, the amplification transistor 13, and the selection transistor 14 in the floating diffusion region FD1).
  • the unit pixel 110-3 also has the same configuration as the unit pixel 110-2 shown in FIG.
  • the floating diffusion region FD2 has a plurality of IR pixels 20-1 to 20-N. It has a so-called pixel-sharing circuit structure that shares the reset transistor 22, the amplification transistor 23, and the selection transistor 24.
  • the number of RGB pixels 10-1 to 10-N and the number of IR pixels 20-1 to 20-N do not necessarily have to match.
  • FIG. 8 is a cross-sectional view showing an example of a cross-sectional structure of the image sensor according to the first embodiment.
  • FIG. 8 an example of the cross-sectional structure of the semiconductor chip in which the photoelectric conversion units PD1 and PD2 are formed in the unit pixel 110 will be described.
  • a so-called back-illuminated cross-sectional structure in which the incident surface of light is the back surface side (opposite the element forming surface) of the semiconductor substrate 50 is exemplified, but the present invention is not limited to this, and the incident surface of light is incident. It may have a so-called surface-illuminated cross-sectional structure in which the surface is the surface side (element forming surface side) of the semiconductor substrate 50.
  • the photoelectric conversion materials of the photoelectric conversion units PD1 and PD2 are organic materials and semiconductors. One or both of the materials (also referred to as inorganic materials) may be used.
  • the image sensor 100 uses the same semiconductor substrate 50 for the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2. It may have a built-in cross-sectional structure, or it may have a cross-sectional structure in which a semiconductor substrate in which the photoelectric conversion unit PD1 is built and a semiconductor substrate in which the photoelectric conversion unit PD2 is built are bonded together. Further, one of the photoelectric conversion units PD1 and PD2 may have a cross-sectional structure formed in the semiconductor substrate 50 and the other in the semiconductor layer formed on the back surface or the front surface of the semiconductor substrate 50. ..
  • the photoelectric conversion unit PD2 of the IR pixel 20 is formed on the semiconductor substrate 50, and the RGB pixels are formed on the back surface side (opposite the element forming surface) of the semiconductor substrate 50. It has a structure provided with a photoelectric conversion unit PD1.
  • the back surface of the semiconductor substrate 50 is located on the upper side of the paper surface, and the front surface is located on the lower side.
  • a semiconductor material such as silicon (Si) may be used.
  • Si silicon
  • the present invention is not limited to this, and various semiconductor materials including compound semiconductors such as GaAs, InGaAs, InP, AlGaAs, InGaP, AlGaInP, and InGaAsP may be used.
  • the photoelectric conversion unit PD1 of the RGB pixel 10 is provided on the back surface side of the semiconductor substrate 50 with the insulating layer 53 interposed therebetween.
  • the photoelectric conversion unit PD1 includes, for example, a photoelectric conversion film 34 made of an organic material, a transparent electrode 33 arranged so as to sandwich the photoelectric conversion film 34, and a semiconductor layer 35.
  • the transparent electrode 33 provided on the upper side of the paper surface with respect to the photoelectric conversion film 34 (hereinafter, the upper side of the paper surface is the upper surface side and the lower side is the lower surface side) functions as, for example, the anode of the photoelectric conversion unit PD1.
  • the semiconductor layer 35 provided on the lower surface side functions as a cathode of the photoelectric conversion unit PD1.
  • the semiconductor layer 35 that functions as a cathode is electrically connected to the readout electrode 36 formed in the insulating layer 53.
  • the readout electrode 36 is electrically drawn out to the surface (lower surface) side of the semiconductor substrate 50 by connecting to the wirings 61, 62, 63, and 64 penetrating the insulating layer 53 and the semiconductor substrate 50.
  • the wiring 64 is electrically connected to the floating diffusion region FD1 shown in FIG.
  • a storage electrode 37 is provided on the lower surface side of the semiconductor layer 35 that functions as a cathode with an insulating layer 53 interposed therebetween. Although not shown in FIG. 8, the storage electrode 37 is connected to the transfer control line in the pixel drive line LD, and as described above, the charge generated in the photoelectric conversion unit PD1 at the time of exposure is stored in the storage electrode 37. A voltage for collecting the electric charge is applied to the semiconductor layer 35 in the vicinity, and at the time of reading, a voltage is applied for causing the electric charge collected in the semiconductor layer 35 in the vicinity of the storage electrode 37 to flow out through the reading electrode 36.
  • the readout electrode 36 and the storage electrode 37 may be a transparent conductive film like the transparent electrode 33.
  • a transparent conductive film such as indium tin oxide (ITO) or zinc oxide (IZO) may be used.
  • ITO indium tin oxide
  • IZO zinc oxide
  • the present invention is not limited to these, and various conductive films may be used as long as the conductive film can transmit light in the wavelength band to be detected by the photoelectric conversion unit PD2.
  • the semiconductor layer 35 for example, a transparent semiconductor layer such as IGZO may be used.
  • IGZO a transparent semiconductor layer
  • the present invention is not limited to these, and various semiconductor layers may be used as long as they are semiconductor layers capable of transmitting light in the wavelength band to be detected by the photoelectric conversion unit PD2.
  • an insulating film such as a silicon oxide film (SiO 2 ) or a silicon nitride film (SiN) may be used.
  • SiO 2 silicon oxide film
  • SiN silicon nitride film
  • the present invention is not limited to these, and various insulating films may be used as long as they can transmit light in the wavelength band to be detected by the photoelectric conversion unit PD2.
  • a color filter 31 is provided on the upper surface side of the transparent electrode 33 that functions as an anode with a sealing film 32 interposed therebetween.
  • the sealing film 32 is made of an insulating material such as silicon nitride (SiN), and these atoms are prevented from diffusing atoms such as aluminum (Al) and titanium (Ti) from the transparent electrode 33. May include.
  • the color filters 31 will be described later. For example, for one RGB pixel 10, a color filter 31 that selectively transmits light having a specific wavelength component is provided. However, when a monochrome pixel for acquiring luminance information is provided instead of the RGB pixel 10 for acquiring color information, the color filter 31 may be omitted.
  • the photoelectric conversion unit PD2 of the IR pixel 20 has, for example, a p-type semiconductor region 43 formed in the p-well region 42 of the semiconductor substrate 50 and an n-type semiconductor region 44 formed near the center of the p-type semiconductor region 43. Be prepared.
  • the n-type semiconductor region 44 functions as, for example, a charge storage region for accumulating charges (electrons) generated by photoelectric conversion, and the p-type semiconductor region 43 collects charges generated by photoelectric conversion in the n-type semiconductor region 44. Functions as a region to form a potential gradient for.
  • an IR filter 41 that selectively transmits IR light is arranged on the light incident surface side of the photoelectric conversion unit PD2.
  • the IR filter 41 may be arranged, for example, in the insulating layer 53 provided on the back surface side of the semiconductor substrate 50.
  • a fine uneven structure is provided on the light incident surface of the semiconductor substrate 50 in order to suppress the reflection of the incident light (IR light in this example).
  • This uneven structure may be a so-called moth-eye structure, or may be a uneven structure having a different size and pitch from the moth-eye structure.
  • a vertical transistor 45 that functions as a transfer transistor 21 and a stray diffusion region FD2 that functions as a charge storage portion are provided on the surface (lower surface of the paper surface) side of the semiconductor substrate 50, that is, on the element forming surface side.
  • the gate electrode of the vertical transistor 45 reaches from the surface of the semiconductor substrate 50 to the n-type semiconductor region 44, and is a part of the wirings 65 and 66 (a part of the transfer control line of the pixel drive line LD) formed in the interlayer insulating film 56. ) Is connected to the pixel drive circuit 102.
  • the electric charge flowing out through the vertical transistor 45 is accumulated in the stray diffusion region FD2.
  • the floating diffusion region FD2 is connected to the source of the reset transistor 22 and the gate of the amplification transistor 23 via the wirings 67 and 68 formed in the interlayer insulating film 56.
  • the reset transistor 22, the amplification transistor 23, and the selection transistor 24 may be provided on the element forming surface of the semiconductor substrate 50, or may be provided on a semiconductor substrate different from the semiconductor substrate 50.
  • FIG. 8 illustrates a case where two vertical transistors 45 (transfer transistors 21) are provided for one photoelectric conversion unit PD2, but the present invention is not limited to this, and one vertical transistor is not limited to this. 45 may be provided, or three or more vertical transistors 45 may be provided.
  • the case where two floating diffusion regions FD2 are provided for one photoelectric conversion unit PD2 is exemplified, but the present invention is not limited to this, and one floating diffusion region FD2 may be provided. Three or more floating diffusion regions FD2 may be provided.
  • the semiconductor substrate 50 is provided with a pixel separation unit 54 that electrically separates between a plurality of unit pixels 110, and a photoelectric conversion unit PD2 is provided in each region partitioned by the pixel separation unit 54. ..
  • the pixel separation unit 54 has, for example, a grid shape interposed between a plurality of unit pixels 110, and each photoelectric.
  • the conversion unit PD2 is formed in each region partitioned by the pixel separation unit 54.
  • a reflective film that reflects light such as tungsten (W) or aluminum (Al) may be used.
  • the incident light that has entered the photoelectric conversion unit PD2 can be reflected by the pixel separation unit 54, so that the optical path length of the incident light in the photoelectric conversion unit PD2 can be lengthened.
  • the pixel separation unit 54 by forming the pixel separation unit 54 with a light reflection structure, it is possible to reduce leakage of light to adjacent pixels, so that it is possible to further improve image quality, distance measurement accuracy, and the like.
  • the configuration in which the pixel separation unit 54 has a light reflection structure is not limited to the configuration using a reflective film, and can be realized, for example, by using a material having a refractive index different from that of the semiconductor substrate 50 for the pixel separation unit 54. can.
  • a fixed charge film 55 is provided between the semiconductor substrate 50 and the pixel separation unit 54.
  • the fixed charge film 55 uses, for example, a high dielectric having a negative fixed charge so that a positive charge (hole) storage region is formed at the interface with the semiconductor substrate 50 and the generation of dark current is suppressed. It is formed. Since the fixed charge film 55 is formed so as to have a negative fixed charge, an electric field is applied to the interface with the semiconductor substrate 138 due to the negative fixed charge, and a positive charge (hole) storage region is formed.
  • the fixed charge film 55 can be formed of, for example, a hafnium oxide film (HfO 2 film). Further, the fixed charge film 55 can be formed so as to contain at least one of other oxides such as hafnium, zirconium, aluminum, tantalum, titanium, magnesium, yttrium, and lanthanoid element.
  • hafnium oxide film HfO 2 film
  • other oxides such as hafnium, zirconium, aluminum, tantalum, titanium, magnesium, yttrium, and lanthanoid element.
  • FIG. 8 illustrates a case where the pixel separating portion 54 has a so-called FTI (Full Trench Isolation) structure in which the pixel separating portion 54 reaches from the front surface to the back surface of the semiconductor substrate 50, but the present invention is not limited to this, and for example, pixels. It is possible to adopt various element separation structures such as a so-called DTI (Deep Trench Isolation) structure in which the separation portion 54 is formed from the back surface or the front surface of the semiconductor substrate 50 to the vicinity of the middle part of the semiconductor substrate 50.
  • FTI Frull Trench Isolation
  • the upper surface of the flattening film 52 is flattened by, for example, CMP (Chemical Mechanical Polishing), and an on-chip lens 51 for each unit pixel 110 is provided on the flattened upper surface.
  • the on-chip lens 51 of each unit pixel 110 has a curvature that collects incident light on the photoelectric conversion units PD1 and PD2.
  • the positional relationship between the on-chip lens 51, the color filter 31, the IR filter 41, and the photoelectric conversion unit PD2 in each unit pixel 110 is adjusted according to, for example, the distance (image height) from the center of the pixel array unit 101. May (pupil correction).
  • a light-shielding film may be provided to prevent light incident obliquely from leaking to adjacent pixels.
  • the light-shielding film may be located above the pixel separation portion 54 provided inside the semiconductor substrate 50 (upstream side in the optical path of the incident light).
  • the position of the light-shielding film may be adjusted according to, for example, the distance (image height) from the center of the pixel array unit 101.
  • Such a light-shielding film may be provided in, for example, the sealing film 32 or the flattening film 52.
  • a light-shielding material such as aluminum (Al) or tungsten (W) may be used as the material of the light-shielding film.
  • the layer structure of the photoelectric conversion film 34 can have the following structure. However, in the case of a laminated structure, the stacking order can be changed as appropriate.
  • n-type organic semiconductor examples include fullerenes and fullerene derivatives (for example, fullerenes such as C60, C70 and C74 (higher-order fullerenes, encapsulated fullerenes, etc.) or fullerenes derivatives (eg, fullerene fluorides, PCBM fullerene compounds, fullerene multimers, etc.).
  • fullerenes and fullerene derivatives for example, fullerenes such as C60, C70 and C74 (higher-order fullerenes, encapsulated fullerenes, etc.) or fullerenes derivatives (eg, fullerene fluorides, PCBM fullerene compounds, fullerene multimers, etc.).
  • fullerenes and fullerene derivatives for example, fullerenes such as C60, C70 and C74 (higher-order fullerenes, encapsulated fullerenes, etc.) or fuller
  • n-type organic semiconductor examples include heterocyclic compounds containing a nitrogen atom, an oxygen atom, and a sulfur atom, such as a pyridine derivative, a pyrazine derivative, a pyrimidine derivative, a triazine derivative, a quinoline derivative, a quinoxalin derivative, an isoquinolin derivative, and an acridin.
  • Derivatives phenazine derivatives, phenanthroline derivatives, tetrazole derivatives, pyrazole derivatives, imidazole derivatives, thiazole derivatives, oxazole derivatives, imidazole derivatives, benzimidazole derivatives, benzotriazole derivatives, benzoxazole derivatives, benzoxazole derivatives, carbazole derivatives, benzofuran derivatives, dibenzofuran derivatives , Subporphyrazine derivative, polyphenylene vinylene derivative, polybenzothianazole derivative, polyfluorene derivative and the like as a part of the molecular skeleton, organic molecule, organic metal complex and subphthalocyanine derivative can be mentioned.
  • Examples of the group contained in the fullerene derivative include a halogen atom; a linear, branched or cyclic alkyl group or phenyl group; a group having a linear or condensed aromatic compound; a group having a halide; a partial fluoroalkyl group; Fluoroalkyl group; silylalkyl group; silylalkoxy group; arylsilyl group;arylsulfanyl group;alkylsulfanyl group;arylsulfonyl group;alkylsulfonyl group;arylsulfide group;alkylsulfide group;amino group;alkylamino group;arylamino group Hydroxy group; alkoxy group; acylamino group; acyloxy group; carbonyl group; carboxy group; carboxoamide group; carboalkoxy group; acyl group; sulfonyl group; cyano group; nitro group; group having
  • the film thickness of the photoelectric conversion film 34 made of the above organic materials is not limited to the following values, but is, for example, 1 ⁇ 10-8 m (meters) to 5 ⁇ 10-7 . m, preferably 2.5 ⁇ 10 -8 m to 3 ⁇ 10 -7 m, more preferably 2.5 ⁇ 10 -8 m to 2 ⁇ 10 -7 m, and even more preferably 1 ⁇ 10 -7 . M to 1.8 ⁇ 10-7 m can be exemplified.
  • Organic semiconductors are often classified into p-type and n-type, but p-type means that holes are easily transported, and n-type means that electrons are easily transported, and they are inorganic. It is not limited to the interpretation that it has holes or electrons as a majority carrier of thermal excitation like a semiconductor.
  • Examples of the material constituting the photoelectric conversion film 34 that photoelectrically converts light having a green wavelength include rhodamine-based dyes, melancyanine-based dyes, quinacridone derivatives, subphthalocyanine-based dyes (subphthalocyanine derivatives), and the like.
  • examples of the material constituting the photoelectric conversion film 34 for photoelectric conversion of blue light include coumalic acid dye, tris-8-hydroxyquinolialuminum (Alq3), and melanin-based dye.
  • examples of the material constituting the photoelectric conversion film 34 for photoelectric conversion of red light include a phthalocyanine dye and a subphthalocyanine dye (subphthalocyanine derivative).
  • the photoelectric conversion film 34 it is also possible to use a panchromatic photosensitive organic photoelectric conversion film that is sensitive to almost all visible light from the ultraviolet region to the red region.
  • FIGS. 9A and 9B are views showing a planar layout example of each layer of the pixel array portion according to the present embodiment
  • FIG. 9A shows a planar layout example of the on-chip lens 51
  • FIG. 9B shows a planar layout example of the color filter 31
  • (C) shows an example of a planar layout of the storage electrode 37
  • (D) shows an example of a planar layout of the photoelectric conversion unit PD2.
  • FIGS. 9A to 9D show an example of a planar layout of a surface parallel to the element forming surface of the semiconductor substrate 50.
  • a pixel that selectively detects the wavelength component of red (R) (hereinafter referred to as R pixel 10r) and a pixel that selectively detects the wavelength component of green (hereinafter referred to as G pixel 10g).
  • R pixel 10r a pixel that selectively detects the wavelength component of red
  • G pixel 10g a pixel that selectively detects the wavelength component of green
  • a 2 ⁇ 2 pixel Bayer array composed of a pixel (hereinafter referred to as B pixel 10b) that selectively detects light having a wavelength component of blue (B) is used as a unit array.
  • the on-chip lens 51, the color filter 31, the storage electrode 37, and the photoelectric conversion unit PD2 are provided for one unit pixel 110.
  • one storage electrode 37 corresponds to one RGB pixel 10
  • one photoelectric conversion unit PD2 corresponds to one IR pixel 20.
  • the RGB pixel 10 and the IR pixel 20 are coaxial with each other with respect to the incident light. Since it is possible to improve the property, it is possible to suppress the spatial deviation that occurs between the color image and the monochrome image. Thereby, it becomes possible to improve the accuracy of the result obtained by processing the information (color image and monochrome image) acquired by different sensors in an integrated manner.
  • FIG. 10 is a plan view showing a wiring example of a pixel drive line for an RGB pixel according to the present embodiment
  • FIG. 11 is a plan view showing a wiring example of a pixel drive line for an IR pixel according to the present embodiment.
  • the pixel drive circuit 102 includes an RGB drive circuit 160 for driving the RGB pixels 10 and an IR drive circuit 170 for driving the IR pixels 20.
  • the RGB drive line LD1 connecting the RGB drive circuit 160 and the transfer gate 11 of the RGB pixel 10, the reset transistor 12, and the selection transistor 14, the transfer transistor 21, the reset transistor 22, and the selection transistor 24 of the IR drive circuit 170 and the IR pixel 20.
  • the IR drive line LD2 connecting the discharge transistor 25 and the IR drive line LD2 may be wired so as to be orthogonal to each other, for example.
  • the present invention is not limited to this, and the RGB drive line LD1 and the IR drive line LD2 may be wired in parallel. In that case, the RGB drive circuit 160 and the IR drive circuit 170 may supply various control signals to the pixel array unit 101 from the same side or from different sides.
  • FIG. 12 is a diagram showing an example of a laminated structure of image sensors according to the present embodiment.
  • the image sensor 100 has a structure in which a pixel chip 140 and a circuit chip 150 are stacked one above the other.
  • the pixel chip 140 is, for example, a semiconductor chip including a pixel array unit 101 in which unit pixels 110 including RGB pixels 10 and IR pixels 20 are arranged
  • the circuit chip 150 is, for example, a semiconductor in which the pixel circuits shown in FIG. 3 are arranged. It is a chip.
  • the pixel chip 140 may correspond to an example of a first chip in the claims
  • the circuit chip may correspond to an example of a second chip in the claims.
  • the bonding between the pixel chip 140 and the circuit chip 150 for example, so-called direct bonding, in which each bonding surface is flattened and the two are bonded by an intramolecular force, can be used.
  • the present invention is not limited to this, and for example, so-called Cu-Cu bonding in which copper (Cu) electrode pads formed on the bonding surfaces of each other are bonded to each other, or other bump bonding or the like can be used. ..
  • connection portion such as a TSV (Through-Silicon Via) that penetrates the semiconductor substrate.
  • Connections using TSVs include, for example, a so-called twin TSV system in which two TSVs, a TSV provided on the pixel chip 140 and a TSV provided from the pixel chip 140 to the circuit chip 150, are connected on the outer surface of the chip, or a pixel.
  • a so-called shared TSV method or the like, in which both are connected by a TSV penetrating from the chip 140 to the circuit chip 150, can be adopted.
  • the drive system for the RGB pixel 10 may correspond to an example of the first drive system in the claims
  • the drive system for the IR pixel 20 may correspond to an example of the second drive system in the claims
  • the reading system for the RGB pixel 10 may correspond to an example of the first reading unit in the claims
  • the reading system for the IR pixel 20 may correspond to an example of the second reading unit in the claims. ..
  • the drive system for the RGB pixel 10 and the drive system for the IR pixel 20 are separately provided, and the read system for the RGB pixel 10 and the read system for the IR pixel 20 are provided separately. A case where they are provided separately will be described.
  • 13 and 14 are plan views showing a layout example according to the first example, FIG. 13 shows a plan layout example of the pixel chip 140, and FIG. 14 shows a plan layout example of the circuit chip 150. ..
  • the pixel chip 140 has an RGB drive line LD1 for the RGB pixel 10 and an IR drive line LD2 for the IR pixel 20 for each unit pixel 110 of the pixel array unit 101.
  • the RGB drive line LD1 and the IR drive line LD2 may extend in the row direction or may extend in the column direction as shown in FIG. Further, the RGB drive line LD1 and the IR drive line LD2 may extend from the same direction or may extend from different directions.
  • the RGB drive line LD1 may extend in the horizontal direction (row direction) from the right side of the paper surface, and the IR drive line LD2 may extend in the vertical direction (column direction) from the upper side of the paper surface.
  • each unit pixel 110 the RGB pixel 10 is connected to the vertical signal line VSL1, and the IR pixel 20 is connected to the vertical signal line VSL2 different from the vertical signal line VSL1.
  • the vertical signal lines VSL1 and VSL2 may extend in the column direction or may extend in the row direction as shown in FIG. Further, the vertical signal lines VSL1 and VSL2 may extend from the same direction or may extend from different directions.
  • the pixel drive circuit 102 shown in FIG. 1 is composed of an RGB drive circuit 160 and an IR drive circuit 170.
  • the signal processing circuit 103 is composed of an RGB signal processing circuit 181 and an IR signal processing circuit 191
  • the data processing unit 108 is composed of an RGB data processing unit 182 and an IR data processing unit 192.
  • the RGB drive circuit 160 is connected to the RGB pixel 10 of each unit pixel 110 in the pixel chip 140 via the RGB drive line LD1.
  • the IR drive circuit 170 is connected to the IR pixel 20 of each unit pixel 110 in the pixel chip 140 via the IR drive line LD2.
  • the RGB drive circuit 160 includes a TG drive unit 161 that supplies a transfer control signal to the transfer gate 11, an RST drive unit 162 that supplies a reset control signal to the reset transistor 12, and a SEL drive that supplies a selection control signal to the selection transistor 14.
  • the RGB pixel 10 is driven by supplying the control signal to the RGB pixel 10 via the RGB drive line LD1 including the unit 164. As a result, a pixel signal appears on the vertical signal line VSL1 connected to the RGB pixel 10.
  • the IR drive circuit 170 includes a TG drive unit 171 that supplies a transfer control signal to the transfer transistor 21, an RST drive unit 172 that supplies a reset control signal to the reset transistor 22, and a SEL drive that supplies a selection control signal to the selection transistor 24.
  • the IR pixel 20 is driven by including the unit 174 and the OFG drive unit 175 that supplies the emission control signal to the emission transistor 25, and supplying the control signal to the IR pixel 20 via the IR drive line LD2. As a result, a pixel signal appears on the vertical signal line VSL2 connected to the IR pixel 20.
  • the RGB signal processing circuit 181 is connected to the vertical signal line VSL1.
  • the RGB signal processing circuit 181 generates a digital color image signal by converting the pixel signal appearing on the vertical signal line VSL1 into a digital pixel signal.
  • the RGB data processing unit 182 executes various arithmetic processes described above as the processing of the data processing unit 108 on the digital color image signal output from the RGB signal processing circuit 181 and transfers the result to, for example, the processor 4. Output.
  • the IR signal processing circuit 191 is connected to the vertical signal line VSL2.
  • the IR signal processing circuit 191 generates a digital monochrome image signal by converting a pixel signal appearing on the vertical signal line VSL1 into a digital pixel signal.
  • the IR data processing unit 192 executes various arithmetic processes described above as the processing of the data processing unit 108 on the digital monochrome image signal output from the IR signal processing circuit 191 and outputs the result to, for example, the processor 4. Output.
  • the RGB drive circuit 160 for driving the RGB pixel 10 and the IR drive circuit 170 for driving the IR pixel 20 form different drive systems independently of each other, and RGB.
  • 192 and 192 constitute different reading systems that are independent of each other.
  • the pixel signal can be read out simultaneously or substantially simultaneously from the RGB pixel 10 and the IR pixel 20 in the same unit pixel 110, so that the color image obtained from the RGB pixel 10 and the IR pixel 20 can be obtained. It is possible to suppress a time lag with the monochrome image (IR image) to be obtained. As a result, it is possible to improve the accuracy of the obtained result by processing the information (color image and monochrome image) acquired by different sensors in an integrated manner.
  • the RGB drive circuit 160 and the IR drive circuit 170 constituting the drive system are arranged on one side of the circuit chip 150 (the region from the center to the left in FIG. 14), and the RGB drive system constitutes the readout system.
  • the signal processing circuit 181 and the RGB data processing unit 182, and the IR signal processing circuit 191 and the IR data processing unit 192 are arranged on the other side of the circuit chip 150 (the region on the right side of the center in FIG. 14). In this way, by arranging the layout so that the drive system and the readout system are integrated separately, it is possible to base the layout of the existing circuit chip, so that the layout design efficiency of the circuit chip 150 can be improved. Is possible.
  • the drive system for the RGB pixel 10 and the drive system for the IR pixel 20 are separately provided, and the read system and the IR for the RGB pixel 10 are provided separately.
  • the reading system for the pixel 20 is provided separately will be described.
  • 15 and 16 are plan views showing a layout example according to the second example, FIG. 15 shows a plan layout example of the pixel chip 140, and FIG. 16 shows a plan layout example of the circuit chip 150. ..
  • FIG. 15 shows a connection portion 141 for electrically connecting various elements provided on the pixel chip 140 to the elements on the circuit chip 150 side.
  • the RGB drive line LD1 is connected to the left end side connection portion 141
  • the IR drive line LD2 is connected to the right end side connection portion 141
  • the vertical signal line VSL1 is connected to the lower connection portion 141.
  • the vertical signal line VSL2 is connected to the upper connection portion 141.
  • the pixel drive circuit 102 is composed of the RGB drive circuit 160 and the IR drive circuit 170
  • the signal processing circuit 103 is the RGB signal processing circuit 181.
  • the data processing unit 108 is composed of an RGB data processing unit 182 and an IR data processing unit 192.
  • the RGB drive circuit 160 is arranged close to the left side of the circuit chip 150, and is connected to the connection portion 151 at the left end of the circuit chip 150, for example.
  • the IR drive circuit 170 is arranged close to the right side of the circuit chip 150, for example, and is connected to the connection portion 151 at the right end of the circuit chip 150.
  • the reading system of the RGB signal processing circuit 181 and the RGB data processing unit 182 and the IR signal processing circuit 191 and the IR data processing unit 192 is arranged in the center of the circuit chip 150, and is connected to the upper / lower end connection unit 151 of the circuit chip 150. Be connected.
  • the positions of the RGB drive circuit 160 and the IR drive circuit 170 may be interchanged.
  • the positions of the RGB signal processing circuit 181 and the RGB data processing unit 182 and the IR signal processing circuit 191 and the IR data processing unit 192 may be interchanged.
  • connection portion 141 of the pixel chip 140 and the connection portion 151 of the circuit chip 150 are electrically connected by, for example, TSV, Cu—Cu bonding, bump bonding, or the like penetrating the semiconductor substrate. This may be the same for other examples.
  • FIG. 16 illustrates a case where the RGB signal processing circuit 181 is connected to the connection portion 151 at the lower end of the circuit chip 150 and the IR signal processing circuit 191 is connected to the connection portion 151 at the upper end of the circuit chip 150.
  • both the RGB signal processing circuit 181 and the IR signal processing circuit 191 may be connected to the connection portion 151 arranged at the upper end or the lower end of the circuit chip 150. In that case, the connection portion 151 that is not connected can be omitted.
  • the RGB drive circuit 160 and the IR drive circuit 170 are arranged separately on the left and right sides of the circuit chip 150.
  • the connection configuration to the RGB pixel 10 on the pixel chip 140 side and the connection configuration to the IR pixel 20 can be dispersed to the left and right, so that the density of wiring and connection terminals is alleviated. It becomes possible. As a result, it is possible to suppress deterioration of characteristics due to coupling between wirings and the like.
  • connection portion 151 of the RGB drive circuit 160 and the connection portion 151 of the IR drive circuit 170 are arranged at the left and right ends of the circuit chip 150, the average wiring length from the RGB drive circuit 160 to the RGB pixel 10 is obtained. Since it is possible to substantially match the average wiring length from the IR drive circuit 170 to the IR pixel 20, more accurate control is possible.
  • the drive system and the readout system for the RGB pixel 10 and the drive system and the readout system for the IR pixel 20 have different configurations, so that the same unit pixel is used. It is possible to read pixel signals simultaneously or substantially simultaneously from the RGB pixels 10 and the IR pixels 20 in 110. As a result, it is possible to suppress a time lag between the color image obtained from the RGB pixel 10 and the monochrome image (IR image) obtained from the IR pixel 20, so that the information acquired by different sensors is integrated. It is possible to improve the accuracy of the obtained result by processing the image.
  • the drive system for the RGB pixel 10 and the drive system for the IR pixel 20 are separately provided, and the drive system for the RGB pixel 10 is provided separately.
  • the reading system and the reading system for the IR pixel 20 are separately provided will be described.
  • 17 and 18 are plan views showing a layout example according to the third example, FIG. 17 shows a plan layout example of the pixel chip 140, and FIG. 18 shows a plan layout example of the circuit chip 150. ..
  • the RGB drive line LD1 and the IR drive line LD2 are in the same layout as the planar layout according to the second example described with reference to FIG. , Is connected to the connection portion 141 arranged on the same end side (right end side in this example) of the pixel chip 140.
  • the planar layout of the circuit chip 150 according to the third example is the same layout as the planar layout according to the second example described with reference to FIG. 16, in which the RGB signal processing circuit 181 and the RGB data processing unit are used.
  • a readout system consisting of 182, an IR signal processing circuit 191 and an IR data processing unit 192 is arranged close to one end side (left end side in this example) of the circuit chip 150, and the RGB drive circuit 160 and the IR drive circuit 170 are arranged.
  • the drive system consisting of the above is arranged closer to the other end side (right end side in this example) of the circuit chip.
  • the RGB drive circuit 160 and the IR drive circuit 170 are arranged so that their respective connection portions 151 face each other.
  • the positions of the RGB drive circuit 160 and the IR drive circuit 170 may be interchanged.
  • the positions of the RGB signal processing circuit 181 and the RGB data processing unit 182 and the IR signal processing circuit 191 and the IR data processing unit 192 may be interchanged.
  • the RGB drive circuit 160 and the IR drive circuit 170 are arranged to face each other, whereby the connection portions 151 are arranged close to each other. According to such a configuration, the wiring length from the RGB drive circuit 160 to the RGB pixel 10 and the wiring length from the IR drive circuit 170 to the IR pixel 20 can be substantially matched, so that the wiring length is higher. Control is possible.
  • the drive system and the readout system for the RGB pixel 10 and the drive system and the readout system for the IR pixel 20 have different configurations independently of each other. It is possible to read pixel signals simultaneously or substantially simultaneously from the RGB pixels 10 and the IR pixels 20 in the same unit pixel 110. As a result, it is possible to suppress a time lag between the color image obtained from the RGB pixel 10 and the monochrome image (IR image) obtained from the IR pixel 20, so that the information acquired by different sensors is integrated. It is possible to improve the accuracy of the obtained result by processing the image.
  • Example 4 a case where a part of the reading system for the RGB pixel 10 and a part of the reading system for the IR pixel 20 are shared will be described.
  • the drive system for the RGB pixel 10 and the drive system for the IR pixel 20 may be provided separately as in the first to third examples.
  • the case where the second example is used as a base is illustrated, but the present invention is not limited to this, and other examples can be used as a base.
  • 19 and 20 are plan views showing a layout example according to the fourth example, FIG. 19 shows a plan layout example of the pixel chip 140, and FIG. 20 shows a plan layout example of the circuit chip 150. ..
  • the RGB drive line LD1 and the IR drive line LD2 are in the same layout as the planar layout according to the second example described with reference to FIG. , It is pulled out toward the same end (lower end in this example) of the pixel chip 140.
  • the extracted RGB drive line LD1 and IR drive line LD2 are connected to a common vertical signal line VSL via a switch circuit 131 provided outside the pixel array unit 101.
  • This vertical signal line VSL is connected to a connection portion 141 arranged on the lower end side of the pixel chip 140.
  • circuit chip 150 As shown in FIG. 20, in the circuit chip 150 according to the fourth example, a common signal processing circuit 210 shared by the RGB pixels 10 and the IR pixels 20 is provided as the signal processing circuit 103.
  • the common signal processing circuit 210 is connected to a connection unit 151 arranged on the lower end side of the circuit chip 150, generates a digital color image signal from the pixel signal read from the RGB pixel 10, and is an RGB data processing unit. It is input to 182, a digital monochrome image signal is generated from the pixel signal read from the IR pixel 20, and is input to the IR data processing unit 192.
  • the RGB pixel 10 and the IR pixel 20 share the common signal processing circuit 210.
  • the circuit scale of the signal processing circuit 103 can be reduced as compared with the case where the individual signal processing circuits 181 and 191 are provided, so that the occupied area of the signal processing circuit 103 in the circuit chip 150 can be reduced. It will be possible.
  • the vertical signal line of the pixel chip 140 is provided. Since it is possible to reduce the number of connecting portions 141 and 151 for electrically routing to the circuit chip 150 by half, the occupied area of the connecting portion 141 in the pixel chip 140 and the occupied area of the connecting portion 151 in the circuit chip 150 can be reduced. It can be reduced.
  • the reading for the RGB pixel 10 and the reading for the IR pixel 20 may be executed, for example, in a time division manner.
  • both the vertical signal line VSL1 and the vertical signal line VSL2 may be connected to the common signal processing circuit 210 on the circuit chip 150 side via the connection portion 151.
  • Example 5 a case where a part of the drive system for the RGB pixel 10 and a part of the drive system for the IR pixel 20 are shared will be described.
  • the reading system for the RGB pixel 10 and the reading system for the IR pixel 20 may be provided separately as in the first to third examples.
  • the case where the first example is used as a base is illustrated, but the present invention is not limited to this, and other examples can be used as a base.
  • 21 and 22 are plan views showing a layout example according to the fifth example, FIG. 21 shows a plan layout example of the pixel chip 140, and FIG. 22 shows a plan layout example of the circuit chip 150. ..
  • the RGB drive line LD1 and the common drive line LD3 are connected to the RGB pixel 10 of each unit pixel 110, and the IR pixel.
  • the IR drive line LD2 and the common drive line LD3 are connected to 20. That is, in the fifth example, the common drive line LD3 is shared by the RGB pixels 10 and the IR pixels 20.
  • the common drive line LD3 may extend in the row direction or may extend in the column direction.
  • the RGB drive line LD1, the IR drive line LD2, and the common drive line LD3 may extend from the same direction or may extend from different directions.
  • the pixel drive circuit 102 includes an RGB drive circuit 160, an IR drive circuit 170, and a common drive circuit 200.
  • the common drive circuit 200 includes an RST drive unit 202 in which the RST drive unit 162 in the RGB drive circuit 160 and the RST drive unit 172 in the IR drive circuit 170 are shared, and the SEL drive unit 164 and the IR drive circuit 170 in the RGB drive circuit 160.
  • the SEL drive unit 204 is provided in common with the SEL drive unit 174 in the above.
  • the RGB drive circuit 160 omits the RST drive unit 162 and the SEL drive unit 164, and the IR drive circuit 170 omits the RST drive unit 172 and the SEL drive unit 174.
  • the common drive circuit 200 may correspond to, for example, an example of a third drive unit in the claims.
  • the RST drive unit 202 of the common drive circuit 200 supplies a reset control signal to both the reset transistor 12 of the RGB pixel 10 and the reset transistor 22 of the IR pixel 20 via the common drive line LD3. Further, the SEL drive unit 204 supplies a selection control signal to both the selection transistor 14 of the RGB pixel 10 and the selection transistor 24 of the IR pixel 20 via the common drive line LD3.
  • a part of the RGB drive circuit 160 and the IR drive circuit 170 is shared. As a result, it is possible to improve the synchronism between the drive control for the RGB pixel 10 and the drive control for the IR pixel. Therefore, a color image obtained from the RGB pixel 10 and a monochrome image (IR image) obtained from the IR pixel 20. It is possible to further suppress the time lag with.
  • the circuit scale of the pixel drive circuit 102 is larger than that in the case of providing the individual RGB drive circuit 160 and the IR drive circuit 170. It can be reduced. As a result, the area occupied by the pixel drive circuit 102 in the circuit chip 150 can be reduced.
  • Example 6 a case where a part of the drive system for the RGB pixel 10 and a part of the drive system for the IR pixel 20 are shared will be described as in the fifth example.
  • the case where the fifth example is used as a base is illustrated, but the present invention is not limited to this, and other examples can be used as a base.
  • 23 and 24 are plan views showing a layout example according to the sixth example, FIG. 23 shows a plan layout example of the pixel chip 140, and FIG. 24 shows a plan layout example of the circuit chip 150. ..
  • the planar layout of the pixel chip 140 according to the sixth example may be the same as the planar layout example of the pixel chip 140 according to the fifth example illustrated in FIG. 21.
  • FIG. 23 shows a connection portion 141 for electrically connecting various elements provided on the pixel chip 140 to the elements on the circuit chip 150 side.
  • the RGB drive line LD1 is connected to the left connection portion 141
  • the IR drive line LD2 and the common drive line LD3 are connected to the right end side connection portion 141
  • the vertical signal line VSL1 is on the lower side.
  • the vertical signal line VSL2 is connected to the upper connecting portion 141.
  • the pixel drive circuit 102 is composed of the RGB drive circuit 160, the IR drive circuit 170, and the common drive circuit 200, and the signal processing circuit 103 is the same as in the fifth example. It is composed of an RGB signal processing circuit 181 and an IR signal processing circuit 191.
  • the data processing unit 108 is composed of an RGB data processing unit 182 and an IR data processing unit 192.
  • the RGB drive circuit 160 is arranged close to the left side of the circuit chip 150, and is connected to the connection portion 151 at the left end of the circuit chip 150, for example.
  • the IR drive circuit 170 and the common drive circuit 200 are arranged close to the right side of the circuit chip 150 and connected to the connection portion 151 at the right end of the circuit chip 150, for example.
  • the IR drive circuit 170 and the common drive circuit 200 are arranged so that their respective connection portions 151 face each other.
  • the positions of the RGB drive circuit 160, the IR drive circuit 170, and the common drive circuit 200 may be interchanged.
  • the RGB drive circuit 160, the IR drive circuit 170, and the common drive circuit 200 are separately arranged on the left and right sides of the circuit chip 150. According to such a configuration, the connection configuration to the RGB pixel 10 on the pixel chip 140 side and the connection configuration to the IR pixel 20 can be dispersed to the left and right. It is possible to alleviate the congestion of wiring and connection terminals. As a result, it is possible to suppress deterioration of characteristics due to coupling between wirings and the like.
  • connection portion 151 of the RGB drive circuit 160, the connection portion 151 of the IR drive circuit 170, and the connection portion 151 of the common drive circuit 200 are arranged at the left and right ends of the circuit chip 150, the RGB drive circuit 160 and the common drive Since it is possible to substantially match the average wiring length from the circuit 200 to the RGB pixel 10 with the average wiring length from the IR drive circuit 170 and the common drive circuit 200 to the IR pixel 20, the accuracy is higher. Can be controlled.
  • the drive control for the RGB pixel 10 and the drive control for the IR pixel are performed. It is possible to improve the simultaneity of the two, and thereby it is possible to further suppress the temporal deviation between the color image obtained from the RGB pixel 10 and the monochrome image (IR image) obtained from the IR pixel 20. ..
  • the area occupied by the pixel drive circuit 102 in the circuit chip 150 can be reduced.
  • a part of the drive system for the RGB pixel 10 and a part of the drive system for the IR pixel 20 are shared. Will be explained.
  • the case where the 6th example is used as a base is illustrated, but the case is not limited to this, and other examples can be used as a base.
  • 25 and 26 are plan views showing a layout example according to the seventh example, FIG. 25 shows a plan layout example of the pixel chip 140, and FIG. 26 shows a plan layout example of the circuit chip 150. ..
  • the RGB pixels 10 of each unit pixel 110 are arranged on the vertical signal line VSL1 connected to the connection portion 141 arranged on the lower end side of the paper surface and on the upper end side of the paper surface. It is connected to any of the vertical signal lines VSL3 connected to the connection portion 141.
  • the vertical signal line VSL1 extends in the column direction, for example, and is electrically routed to the circuit chip 150 side via a connection portion 141 arranged at the lower end of the pixel chip 140.
  • the vertical signal line VSL3 extends in the column direction, for example, and is electrically routed to the circuit chip 150 side via a connection portion 141 arranged at the upper end of the pixel chip 140.
  • Whether the RGB pixel 10 is connected to the vertical signal line VSL1 or the vertical signal line VSL3 is determined by, for example, the wavelength component to be detected by each RGB pixel 10 (that is, the color filter 31 assigned to each RGB pixel 10). It may be determined based on (type of). For example, when the array of the color filter 31 is configured by the Bayer arrangement, the RGB pixel 10 for detecting the wavelength component of red (R) and the RGB pixel 10 for detecting the wavelength component of blue (B) are connected to the vertical signal line VSL1. , The RGB pixel 10 for detecting the wavelength component of green (G) may be configured to be connected to the vertical signal line VSL3.
  • connection is not limited to this, and for example, the RGB pixels 10 in the odd column or the odd row are connected to the vertical signal line VSL1, and the RGB pixels 10 in the even column or the even row are connected to the vertical signal line VSL3.
  • the lower half of the RGB pixels 10 in the pixel array unit 101 can be connected to the vertical signal line VSL1, and the upper half of the RGB pixels 10 can be connected to the vertical signal line VSL3.
  • the pixel drive circuit 102 is composed of the RGB drive circuit 160, the IR drive circuit 170, and the common drive circuit 200, as in the sixth example.
  • the signal processing circuit 103 includes an RGB signal processing circuit 181 and a common signal processing circuit 210.
  • the data processing unit 108 includes an RGB data processing unit 182 and an IR data processing unit 192.
  • the common signal processing circuit 210 may correspond to, for example, another example of the second readout unit in the claims.
  • Pixel signals from some of the RGB pixels 10 are input to the common signal processing circuit 210 via the vertical signal line VSL3. Further, a pixel signal from the IR pixel 20 is also input to the common signal processing circuit 210.
  • the common signal processing circuit 210 generates a digital color image signal from the analog pixel signal input from the vertical signal line VSL3 and inputs it to the RGB data processing unit 182, and the analog pixel signal input from the vertical signal line VSL2.
  • a digital monochrome image signal is generated from and input to the IR data processing unit 192.
  • the reading from the RGB pixel 10 is distributed to the RGB signal processing circuit 181 and the common signal processing circuit 210.
  • the reading operation for the plurality of RGB pixels 10 can be executed in parallel, so that the reading speed of the color image can be improved.
  • the reading from the RGB pixel 10 is parallelized is illustrated, but the present invention is not limited to this, and it is also possible to configure the reading from the IR pixel 20 to be parallelized.
  • a part of the reading system for the RGB pixel 10 and a part of the reading system for the IR pixel 20 are shared, and a part of the driving system for the RGB pixel 10 is used.
  • a case where a part of the drive system for the IR pixel 20 is shared will be described.
  • the eighth example the case where the common reading system is based on the fourth example and the common driving system is based on the sixth example is illustrated, but the present invention is not limited to this, and other examples. It is also possible to base it on.
  • 27 and 28 are plan views showing a layout example according to the seventh example, FIG. 27 shows a plan layout example of the pixel chip 140, and FIG. 28 shows a plan layout example of the circuit chip 150. ..
  • the RGB drive line LD1 is the left end of the pixel chip 140.
  • the IR drive line LD2 is pulled out from the connection portion 141 arranged at the upper end, and the common drive line LD3 is pulled out from the connection portion 141 arranged at the right end.
  • the switch circuit 131 in the fourth example is omitted in the seventh example, the switch circuit 131 may be provided for the vertical signal lines VSL1 and VSL2 as described with reference to FIG.
  • the RGB drive circuit 160 is arranged on the left side of the circuit chip 150, the IR drive circuit 170 is arranged on the upper center side, and the common drive circuit 200 is arranged on the right side, and common signal processing is performed.
  • the circuit 210, the RGB data processing unit 182, and the IR data processing unit 192 are arranged on the lower center side.
  • the RGB drive circuit 160 In this way, in a configuration in which a part of the reading system for the RGB pixel 10 and the IR pixel 20 is shared, when a part of the drive system for the RGB pixel 10 and the IR pixel 20 is further shared, the RGB drive circuit 160 The connection unit 151 connected to the IR drive circuit 170, the connection unit 151 connected to the common drive circuit 200, and the connection unit 151 connected to the common signal processing circuit 210. It can be distributed on the four sides of the circuit chip 150. As a result, it is possible to alleviate the congestion of wiring and connection terminals, and it is possible to suppress deterioration of characteristics due to coupling between wirings and the like.
  • the area occupied by the signal processing circuit 103 in the circuit chip 150 can be reduced by sharing the common signal processing circuit 210 between the RGB pixels 10 and the IR pixels 20. It will be possible. Further, in the seventh example, as in the sixth example, since a part of the RGB drive circuit 160 and the IR drive circuit 170 is shared, the drive control for the RGB pixel 10 and the drive control for the IR pixel are simultaneously performed. It is possible to improve the property, and thereby it is possible to further suppress the temporal deviation between the color image obtained from the RGB pixel 10 and the monochrome image (IR image) obtained from the IR pixel 20.
  • Example 9 a case where the drive system for the RGB pixel 10 and the drive system for the IR pixel 20 are shared will be described.
  • the reading system for the RGB pixel 10 and the reading system for the IR pixel 20 may be provided separately.
  • the case where the first example is used as a base is illustrated, but the present invention is not limited to this, and other examples can be used as a base.
  • 29 and 30 are plan views showing a layout example according to the ninth example, FIG. 29 shows a plan layout example of the pixel chip 140, and FIG. 30 shows a plan layout example of the circuit chip 150. ..
  • the RGB drive line LD1 and the IR drive line LD2 are arranged in the same layout as the planar layout according to the first example described with reference to FIG. , Is replaced with the common drive line LD3 shared by the RGB pixel 10 and the IR pixel 20.
  • the pixel drive circuit 102 is composed of a common drive circuit 200 shared by the RGB pixels 10 and the IR pixels 20.
  • the common drive circuit 200 includes a TG drive unit 201 that supplies a transfer control signal to the transfer gate 11 of the RGB pixel 10 and the transfer transistor 21 of the IR pixel 20, the reset transistor 12 of the RGB pixel 10, and the IR pixel 20.
  • the RST drive unit 202 that supplies the reset control signal to the reset transistor 22 of the above
  • the SEL drive unit 204 that supplies the selection control signal to the selection transistor 14 of the RGB pixel 10 and the selection transistor 24 of the IR pixel 20, and the IR pixel 20.
  • It is provided with an OFG drive unit 205 for supplying an emission control signal to the emission transistor 25 of the above.
  • the RGB drive circuit 160 and the IR drive circuit 170 are shared. As a result, it is possible to further improve the simultaneity between the drive control for the RGB pixel 10 and the drive control for the IR pixel. Therefore, the color image obtained from the RGB pixel 10 and the monochrome image (IR image) obtained from the IR pixel 20. ) And the time lag can be further suppressed.
  • the circuit scale of the pixel drive circuit 102 can be significantly reduced as compared with the case where the individual RGB drive circuit 160 and the IR drive circuit 170 are provided. It will be possible. As a result, the area occupied by the pixel drive circuit 102 in the circuit chip 150 can be further reduced.
  • Example 10 in the tenth example, in the plane layout exemplified in the ninth example, the plane layout in which the connection portions 141 and 151 are arranged on the pixel chip 140 and the circuit chip 150 is exemplified.
  • 31 and 32 are plan views showing a layout example according to the tenth example, FIG. 31 shows a plan layout example of the pixel chip 140, and FIG. 32 shows a plan layout example of the circuit chip 150. ..
  • the common drive line LD3 may be connected to the connection portion 141 arranged at the left end of the pixel chip 140, and the vertical signal line VSL1 is arranged at the lower end of the pixel chip 140. It may be connected to the connection portion 141, and the vertical signal line VSL2 may be connected to the connection portion arranged at the upper end of the pixel chip 140.
  • the present invention is not limited to this, and the vertical signal lines VSL1 and VSL2 and the common drive line LD3 may extend in the column direction or may extend in the row direction, respectively. Further, the vertical signal lines VSL1 and VSL2 and the common drive line LD3 may extend from the same direction or may extend from different directions.
  • connection portion 151 in the circuit chip 150 may be arranged so as to correspond to the arrangement of the connection portion 141 in the pixel chip 140. Such correspondence may be the same for other examples.
  • the image sensor 100 is a two-layer laminated chip configured by laminating a pixel chip 140 and a circuit chip 150.
  • the laminated structure of the image sensor 100 is not limited to two layers, and may be one layer or three or more layers. Therefore, in the eleventh example, a case where the image sensor 100 is a three-layer laminated chip will be described.
  • the case where the tenth example is used as a base is illustrated, but the present invention is not limited to this, and other examples can be used as a base.
  • 33 to 35 are plan views showing a layout example according to the eleventh example, FIG. 33 shows a plan layout example of the upper layer pixel chip 140A, and FIG. 34 shows a plan layout example of the lower layer pixel chip 140B. 35 shows an example of a planar layout of the circuit chip 150.
  • the pixel chip 140 has an upper layer pixel chip 140A arranged on the incident surface side of light and a lower layer pixel chip 140B arranged on the circuit chip 150 side. It has a two-layer structure that is bonded together.
  • Upper pixel chip 140A For example, the light receiving unit 110A in each unit pixel 110 is arranged on the upper layer pixel chip 140A.
  • the arrangement of the light receiving unit 110A may be a two-dimensional grid like the arrangement of the unit pixels 110 in the pixel array unit 101.
  • the light receiving unit 110A includes, for example, the photoelectric conversion unit PD1 and the transfer gate 11 of the RGB pixel 10 and the photoelectric conversion unit PD2 and the transfer transistor 21 of the IR pixel 20 in the configuration of the unit pixel 110 illustrated in FIG. obtain. That is, the RGB pixel 10A in FIG. 33 may include the photoelectric conversion unit PD1 and the transfer gate 11, and the IR pixel 20A may include the photoelectric conversion unit PD2, the transfer transistor 21, and the emission transistor 25.
  • the drive line LD3a in the common drive line LD3 is connected to the transfer gate 11 of the RGB pixel 10A, the transfer transistor 21 of the IR pixel 20A, and the emission transistor 25 via the connection portion 141A arranged at the left end of the upper layer pixel chip 140A. Will be done.
  • Lower pixel chip 140B For example, the pixel circuit 110B in each unit pixel 110 is arranged on the lower layer pixel chip 140B.
  • the arrangement of the pixel circuit 110B may be a two-dimensional grid like the arrangement of the unit pixels 110 in the pixel array unit 101.
  • the pixel circuit 110B includes, for example, the reset transistor 12 of the RGB pixel 10, the floating diffusion region FD1, the amplification transistor 13 and the selection transistor 14, and the reset transistor 22 of the IR pixel 20 in the configuration of the unit pixel 110 illustrated in FIG.
  • the stray diffusion region FD2, the amplification transistor 23 and the selection transistor 24 may be included. That is, the RGB pixel 10B in FIG. 34 may include a reset transistor 12, a stray diffusion region FD1, an amplification transistor 13 and a selection transistor 14, and the IR pixel 20B includes a reset transistor 22, a stray diffusion region FD2, and an amplification transistor 23. And the selection transistor 24 may be included.
  • the drive line LD3b in the common drive line LD3 is connected to the reset transistor 12 of the RGB pixel 10B and the reset transistor 22 of the IR pixel 20B via the connection portion 141B arranged at the left end of the lower layer pixel chip 140B.
  • the drive line LD3b is connected to the selection transistor 14 of the RGB pixel 10B and the selection transistor 24 of the IR pixel 20B via the connection portion 141B.
  • the vertical signal lines VSL1 and VSL2 for reading the pixel signals from the RGB pixels 10 and the IR pixels 20, respectively, may be provided on the lower layer pixel chip 140B.
  • the vertical signal line VSL1 for reading the pixel signal from the RGB pixel 10 is connected to the connection portion 141B arranged at the lower end of the lower layer pixel chip 140B
  • the vertical signal line VSL2 for reading the pixel signal from the IR pixel 20 is the lower layer. It may be connected to the connection portion 141B arranged at the upper end of the pixel chip 140B.
  • circuit chip 150 The planar layout of the circuit chip 150 according to the eleventh example may be the same as the planar layout of the circuit chip 150 illustrated in the tenth example, for example.
  • the common drive line LD3 extending from the common drive circuit 200 includes the drive lines LD3a and LD3b.
  • the photoelectric conversion unit PD1 and the transfer gate 11 in the RGB pixel 10 and the reset transistor 12, the stray diffusion region FD1, the amplification transistor 13 and the selection transistor 14 are the upper layer pixel chip 140A and the lower layer pixel chip. It is divided into 140B and arranged. As a result, the light receiving surface of the photoelectric conversion unit PD1 in the upper layer pixel chip 140A can be enlarged, so that the effective light receiving area for incident light can be expanded to improve the photoelectric conversion efficiency (quantum efficiency), and the RGB pixels can be expanded. It is possible to increase the resolution of 10 and the like.
  • the photoelectric conversion unit PD2 the transfer transistor 21 and the emission transistor 25 in the IR pixel 20, the reset transistor 22, the stray diffusion region FD2, the amplification transistor 23 and the selection transistor 24 are formed in the upper layer pixel chip 140A and the lower layer pixel chip 140B. By arranging them separately, it is possible to improve the photoelectric conversion efficiency and increase the resolution.
  • the RGB pixels 10 and the IR pixels 20 in the pixel array unit 101 are configured by the all-pixel simultaneous drive method (so-called global shutter method)
  • the RGB pixels 10 and the IR pixels 20 are used. Since it is possible to arrange the types of transistors constituting the pixel circuit 110B, it is also possible to simplify the wiring layout of the common drive line LD3.
  • a circuit chip 250 in which the frame memory 252 as illustrated in FIG. 36 is arranged may be added to form a three-layer structure.
  • the color image data processed by the RGB data processing unit 182 can be stored in the frame memory 252 via the signal line SL1
  • the monochrome image data processed by the IR data processing unit 192 is a signal. It may be stored in the frame memory 252 via the line SL2.
  • the circuit chip 250 may be arranged between the pixel chip 140 and the circuit chip 150, or may be arranged on the side opposite to the pixel chip 140 with the circuit chip 150 interposed therebetween. Further, when the image sensor 100 has a laminated structure of four or more layers, the circuit chips 150 and 250 may be arranged in any of the second and subsequent layers.
  • the photoelectric conversion unit PD1 of the RGB pixel 10 and the photoelectric conversion unit PD2 of the IR pixel 20 are arranged in the incident direction of the light.
  • the pixel signal can be read out simultaneously or substantially simultaneously from the RGB pixel 10 and the IR pixel 20 in the same unit pixel 110, the color image obtained from the RGB pixel 10 and the IR pixel 20 can be obtained. It is possible to suppress a time lag with the monochrome image (IR image) to be obtained. Thereby, it is possible to improve the accuracy of the result obtained by processing the information (color image and monochrome image) acquired by different sensors in an integrated manner.
  • the unit pixel 310 includes an RGB pixel for acquiring a color image of the three primary colors of RGB and an IR pixel for acquiring a monochrome image of infrared (IR) light.
  • RGB pixels 10 are arranged according to, for example, a Bayer arrangement.
  • FIG. 37 is a schematic diagram showing a schematic configuration example of the pixel array unit according to the present embodiment.
  • the pixel array unit 101 has two unit pixels 310 having a structure in which one IR pixel 20 is arranged in the incident direction of light for four RGB pixels 10 arranged in two rows and two columns. It has a structure arranged in a dimensional grid pattern. That is, in the present embodiment, one IR pixel 20 for each of the four RGB pixels 10 is located in the direction perpendicular to the arrangement direction (planar direction) of the unit pixels 310, and is on the upstream side in the optical path of the incident light. The light transmitted through the four RGB pixels 10 located in is incident on one IR pixel 20 located on the downstream side of the four RGB pixels 10. Therefore, in the present embodiment, the optical axis of the incident light of the IR pixel 20 and the unit array of the Bayer array composed of the four RGB pixels 10 are coincident or substantially the same.
  • FIG. 38 is a circuit diagram showing a schematic configuration example of unit pixels according to the present embodiment. Note that FIG. 38 is based on the unit pixel 110-2 according to the second modification described with reference to FIG. 6 in the first embodiment, but the present invention is not limited to this, and the unit pixels 110 to 110-3 are not limited thereto. It is also possible to base it on any of the above.
  • the unit pixel 310 includes a plurality of RGB pixels 10-1 to 10-N (N is 4 in FIG. 37) and one IR pixel 20.
  • the plurality of RGB pixels 10 are one pixel as in the third modification described with reference to FIG. 7 in the first embodiment. It is possible to share a circuit (reset transistor 12, floating diffusion region FD1, amplification transistor 13 and selection transistor 14) (pixel sharing). Therefore, in the present embodiment, a plurality of RGB pixels 10-1 to 10-N share a pixel circuit including a reset transistor 12, a stray diffusion region FD1, an amplification transistor 13, and a selection transistor 14. That is, in the present embodiment, a plurality of photoelectric conversion units PD1 and transfer gate 11 are connected to the common floating diffusion region FD1.
  • FIG. 39 is a cross-sectional view showing an example of a cross-sectional structure of an image sensor according to the present embodiment.
  • FIG. 37 a case where each unit pixel 310 is composed of four RGB pixels 10 arranged in two rows and two columns and one IR pixel 20 will be described as an example.
  • FIG. 8 an example of the cross-sectional structure will be described focusing on the semiconductor chip on which the photoelectric conversion units PD1 and PD2 in the unit pixel 310 are formed.
  • duplicate description will be omitted by quoting them.
  • the on-chip lens 51, the color filter 31, and the storage electrode 37 are four in two rows and two columns. (However, two of the four are shown in FIG. 39), thereby forming four RGB pixels 10.
  • the four RGB pixels 10 in each unit pixel 310 may form a basic array of Bayer arrays.
  • FIG. 40 is a diagram showing a plane layout example of each layer of the pixel array portion according to the present embodiment, (A) shows a plane layout example of the on-chip lens 51, and (B) is a color. An example of the planar layout of the filter 31 is shown, (C) shows an example of the planar layout of the storage electrode 37, and (D) shows an example of the planar layout of the photoelectric conversion unit PD2.
  • FIGS. 40A to 40D show an example of a plane layout of a surface parallel to the element forming surface of the semiconductor substrate 50.
  • one on-chip lenses 51 As shown in FIGS. 40A to 40D, in the present embodiment, four on-chip lenses 51, four color filters 31, and four storage electrodes 37 are provided for one unit pixel 310.
  • One photoelectric conversion unit PD2 is provided.
  • one storage electrode 37 corresponds to one RGB pixel 10
  • one photoelectric conversion unit PD2 corresponds to one IR pixel 20.
  • each RGB pixel 10 and IR Since it is possible to improve the coaxiality with respect to the incident light with the pixel 20, it is possible to suppress the spatial deviation that occurs between the color image and the monochrome image. Thereby, it becomes possible to improve the accuracy of the result obtained by processing the information (color image and monochrome image) acquired by different sensors in an integrated manner.
  • FIG. 41 is a diagram showing an example of a planar layout of each layer of the pixel array portion according to a modification of the on-chip lens of the second embodiment, and (A) is a planar layout of the on-chip lens 51 as in FIG. 40.
  • An example is shown, (B) shows an example of a planar layout of the color filter 31, (C) shows an example of a planar layout of the storage electrode 37, and (D) shows an example of a planar layout of the photoelectric conversion unit PD2.
  • two on-chip lenses 51 arranged in the row direction in a part of the unit pixels 310 among the plurality of unit pixels 310 are two. It has been replaced by one on-chip lens 351 of 2 ⁇ 1 pixels straddling the RGB pixels 10.
  • the two RGB pixels 10 sharing the on-chip lens 351 are provided with a color filter 31 that selectively transmits the same wavelength component.
  • the color filter 31b that selectively transmits the blue (B) wavelength component originally in the Bayer arrangement selectively transmits the green (G) wavelength component. It is replaced with a color filter 31g for transmitting, whereby the color filter 31 of the two RGB pixels 10 sharing the on-chip lens 351 is unified into the color filter 31g.
  • the pixel value of the wavelength component that should be originally detected according to the Bayer array may be interpolated from the pixel values of the surrounding pixels, for example.
  • Various methods such as linear interpolation may be used for this pixel interpolation.
  • the present invention is not limited to this, and two on-chip lenses 51 arranged in the column direction are shared. It is also possible to make various modifications such as a configuration in which all four on-chip lenses 51 included in one unit pixel 310 are replaced with one on-chip lens. In that case, a color filter 31 that selectively transmits the same wavelength component may be used as the color filter 31 of the RGB pixels 10 that share the on-chip lens.
  • the sharing of the on-chip lens 51 between adjacent RGB pixels 10 is not limited to the second embodiment, but can be applied to the first embodiment as well.
  • the Bayer array is exemplified as the filter array of the color filter 31, but the present invention is not limited thereto.
  • a 3x3 pixel color filter array used in the X-Trans (registered trademark) CMOS sensor a 4x4 pixel quadbayer array (also called a quadra array), or a white RGB color filter in the Bayer array.
  • Various filter arrays such as a combined 4 ⁇ 4 pixel color filter array (also referred to as a white RGB array) may be used.
  • FIGS. 40 and 41 are diagrams showing a planar layout example of each layer of the pixel array portion according to a modification of the color filter arrangement of the second embodiment, and (A) is an on-chip lens 51 as in FIGS. 40 and 41.
  • (B) shows a plane layout example of the color filter 31
  • (C) shows a plane layout example of the storage electrode 37
  • (D) shows a plane layout example of the photoelectric conversion unit PD2.
  • each color filter 31 in the Bayer array of 2 ⁇ 2 pixels is divided into 2 ⁇ 2 pixels as a whole.
  • a quadra array of 4 ⁇ 4 pixels is illustrated.
  • the color filters 31 in the above are originally aligned, there is no need to make changes to the arrangement of the color filters 31, and therefore there is no need to perform pixel interpolation.
  • the color image and the IR pixels obtained from the RGB pixels 10 can be read out at the same time. It is possible to suppress a time lag with the monochrome image (IR image) obtained from 20. Thereby, it is possible to improve the accuracy of the result obtained by processing the information (color image and monochrome image) acquired by different sensors in an integrated manner.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 43 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the vehicle interior information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 44 is a diagram showing an example of the installation position of the image pickup unit 12031.
  • the image pickup unit 12031 has image pickup units 12101, 12102, 12103, 12104, and 12105.
  • the image pickup units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the image pickup unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 44 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
  • At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like that autonomously travels without relying on the driver's operation.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
  • pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the image pickup unit 12031 among the configurations described above.
  • the image pickup unit 12101, 12102, 12103, 12104, 12105 and the like illustrated in FIG. 44 may be mounted on the vehicle 12100.
  • information acquired by different sensors for example, a color image and a monochrome image
  • can be processed in an integrated manner It is possible to improve the accuracy of the resulting results.
  • the present technology can also have the following configurations.
  • the first sensor that detects light in the first wavelength band A second sensor that detects light in a second wavelength band different from the first wavelength band, and Equipped with The first sensor includes a first pixel that detects light in the first wavelength band in incident light.
  • the second sensor is a solid-state image sensor including a second pixel that detects light in the second wavelength band that has passed through the first pixel of the incident light.
  • the first pixel includes a first photoelectric conversion unit that photoelectrically converts light in the first wavelength band.
  • the second pixel includes a second photoelectric conversion unit that photoelectrically converts light in the second wavelength band.
  • the solid-state image sensor according to (1) wherein the second photoelectric conversion unit is arranged on the surface side of the first photoelectric conversion unit opposite to the incident surface of the light in the first wavelength band.
  • the first chip is connected to a third chip including the first photoelectric conversion unit and the second photoelectric conversion unit, a first pixel circuit connected to the first photoelectric conversion unit, and a second photoelectric conversion unit.
  • the solid-state image pickup device which is a laminated chip configured by joining a fourth chip provided with a second pixel circuit.
  • the drive unit A first drive unit that supplies a control signal to the first pixel, A second drive unit that supplies a control signal to the second pixel, Including The reading unit is A first reading unit that reads out the first pixel signal generated by the first pixel, and A second readout unit that reads out the second pixel signal generated by the second pixel,
  • the solid-state image sensor according to (3) or (4) above.
  • the first drive unit and the second drive unit are arranged in adjacent regions of the second chip.
  • the first reading unit and the second reading unit are arranged in adjacent regions near the center of the second chip.
  • the first drive unit and the second drive unit are divided into two regions sandwiching the region in which the first read unit and the second read unit are arranged in the second chip (5).
  • the solid-state image sensor according to. (8)
  • the first drive unit, the second drive unit, and the third drive unit are arranged in adjacent regions of the second chip.
  • the solid-state image sensor according to (8), wherein the first reading unit and the second reading unit are arranged in adjacent regions of the second chip.
  • the first drive unit and the second reading unit are adjacent regions in the second chip and are adjacent to the region in which the two of the first driving unit and the third driving unit are arranged. Placed in the area The remaining one of the first drive unit to the third drive unit is from the first drive unit with a region of the second chip in which the first read unit and the second read unit are arranged.
  • the solid-state image sensor according to (8) wherein the two of the third drive units are arranged in a region opposite to the region in which the two are arranged.
  • the drive unit supplies a control signal common to the first pixel and the second pixel, and supplies the control signal.
  • the reading unit is A first reading unit that reads out the first pixel signal generated by the first pixel, and A second readout unit that reads out the second pixel signal generated by the second pixel, The solid-state image sensor according to (3) or (4) above.
  • the drive unit A first drive unit that supplies a control signal to the first pixel, A second drive unit that supplies a control signal to the second pixel, Including The solid-state image pickup device according to (3) or (4), wherein the reading unit reads a first pixel signal generated by the first pixel and a second pixel signal generated by the second pixel.
  • the reading unit is arranged in an adjacent region near the center of the second chip.
  • the solid-state image pickup device wherein the first drive unit and the second drive unit are divided into two regions sandwiching the region in which the read unit is arranged in the second chip.
  • the drive unit A first drive unit that supplies a control signal to the first pixel, A second drive unit that supplies a control signal to the second pixel, A third drive unit that supplies a control signal common to the first pixel and the second pixel, and Including The reading unit is A first reading unit that reads out a first pixel signal generated by a part of the plurality of first pixels, A second reading unit that reads out a first pixel signal generated by the rest of the plurality of first pixels and a second pixel signal generated by the second pixel.
  • the solid-state image pickup device according to (3) or (4) above.
  • a part of the plurality of first pixels is connected to the first reading unit via a first signal line extending in a third direction in the first chip, and the rest is connected to the first reading unit in the third direction.
  • the drive unit A first drive unit that supplies a control signal to the first pixel, A second drive unit that supplies a control signal to the second pixel, A third drive unit that supplies a control signal common to the first pixel and the second pixel, and Including The solid-state image pickup device according to (3) or (4), wherein the reading unit reads a first pixel signal generated by the first pixel and a second pixel signal generated by the second pixel.
  • the first drive line that supplies the control signal output from the drive unit to the first pixel extends in the first direction in the first chip.
  • the second drive line that supplies the control signal output from the drive unit to the second pixel extends in the second direction orthogonal to the first direction in the first chip (3) to (16).
  • the solid-state image sensor according to any one of the above.
  • the solid-state image pickup device according to any one of (1) to (17), wherein the first sensor includes a plurality of the first pixels with respect to one second pixel in the second sensor.
  • a fifth chip having a frame memory for holding the data output from the reading unit is provided.
  • the fifth chip is described in (3) or (4) above, wherein the fifth chip is joined between the first chip and the second chip, or on the opposite side of the second chip with the second chip interposed therebetween.
  • the solid-state image sensor according to any one of (1) to (19), A processor that processes the first image data acquired by the first sensor and output from the solid-state image sensor and the second image data acquired by the second sensor and output from the solid-state image sensor. Electronic equipment equipped with.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

異なるセンサにより取得された情報を統合的に処理することで得られた結果の精度を向上する。実施形態に係る固体撮像装置は、第１波長帯の光を検出する第１センサと、前記第１波長帯とは異なる第２波長帯の光を検出する第２センサとを備え、前記第１センサは、入射光における前記第１波長帯の光を検出する第１画素（１１０）を備え、前記第２センサは、前記入射光のうちの前記第１画素を透過した前記第２波長帯の光を検出する第２画素（１１０）を備える。

Description

固体撮像装置及び電子機器
　本開示は、固体撮像装置及び電子機器に関する。
　近年、自動車やロボットなど移動体の自律化やＩｏＴ（Internet　of　Things）等の普及に伴い、複数種類のセンサで取得された情報を統合的に処理するセンサフュージョン技術の発展が強く求められている。例えば、特許文献１及び２には、可視光を検出するイメージセンサと赤外光を検出するイメージセンサとを用いて、可視光のカラー画像と赤外光のモノクロ画像とを取得する技術が開示されている。
特開２０２０－２１８５５号公報 特開２０１８－１２５８４８号公報
　しかしながら、従来では、異なるセンサにより取得された情報の間で同時性や同軸性が確保されていないため、これらの情報を統合的に処理することで得られた結果の精度が低下してしまう可能性があった。例えば、カラー画像を取得するイメージセンサと、モノクロ画像を取得するイメージセンサとに別々のセンサチップが用いられる場合、カラー画像とモノクロ画像との間に空間的なズレが発生し、それにより、処理結果の精度が低下してしまう場合が存在した。また、例えば、カラー画像を取得するイメージセンサと、モノクロ画像を取得するイメージセンサとが異なるタイミングで駆動される場合、カラー画像とモノクロ画像との間に時間的なズレが発生し、それにより、処理結果の精度が低下してしまう場合が存在した。
　そこで本開示は、異なるセンサにより取得された情報を統合的に処理することで得られた結果の精度を向上することが可能な固体撮像装置及び電子機器を提案する。
　上記の課題を解決するために、本開示に係る一形態の固体撮像装置は、第１波長帯の光を検出する第１センサと、前記第１波長帯とは異なる第２波長帯の光を検出する第２センサとを備え、前記第１センサは、入射光における前記第１波長帯の光を検出する第１画素を備え、前記第２センサは、前記入射光のうちの前記第１画素を透過した前記第２波長帯の光を検出する第２画素を備える。
第１の実施形態に係るイメージセンサを搭載した電子機器の概略構成例を示すブロック図である。 第１の実施形態に係るＣＭＯＳ型のイメージセンサの概略構成例を示すブロック図である。 第１の実施形態に係る単位画素の概略構成例を示す模式図である。 第１の実施形態に係る単位画素の概略構成例を示す回路図である。 第１の実施形態の第１の変形例に係る単位画素の概略構成例を示す回路図である。 第１の実施形態の第２の変形例に係る単位画素の概略構成例を示す回路図である。 第１の実施形態の第３の変形例に係る単位画素の概略構成例を示す回路図である。 第１の実施形態に係るイメージセンサの断面構造例を示す断面図である。 第１の実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図である。 第１の実施形態に係るＲＧＢ画素に対する画素駆動線の配線例を示す平面図である。 第１の実施形態に係るＩＲ画素に対する画素駆動線の配線例を示す平面図である。 第１の実施形態に係るイメージセンサの積層構造例を示す図である。 第１の実施形態の第１例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第１例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第２例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第２例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第３例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第３例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第４例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第４例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第５例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第５例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第６例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第６例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第７例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第７例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第８例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第８例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第９例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第９例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第１０例に係る画素チップの平面レイアウト例を示す図である。 第１の実施形態の第１０例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第１１例に係る上層画素チップの平面レイアウト例を示す図である。 第１の実施形態の第１１例に係る下層画素チップの平面レイアウト例を示す図である。 第１の実施形態の第１１例に係る回路チップの平面レイアウト例を示す図である。 第１の実施形態の第１１例の変形例に係る回路チップの平面レイアウト例を示す図である。 第２の実施形態に係る単位画素の概略構成例を示す模式図である。 第２の実施形態に係る単位画素の概略構成例を示す回路図である。 第２の実施形態に係るイメージセンサの断面構造例を示す断面図である。 第２の実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図である。 第２の実施形態のオンチップレンズの変形例に係る画素アレイ部の各層の平面レイアウト例を示す図である。 第２の実施形態のカラーフィルタ配列の変形例に係る画素アレイ部の各層の平面レイアウト例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　電子機器の構成例
　　　１．２　イメージセンサの構成例
　　　１．３　画素アレイ部の構成例
　　　１．４　単位画素の回路構成例
　　　１．５　回路構成の変形例
　　　　１．５．１　第１の変形例
　　　　１．５．２　第２の変形例
　　　　１．５．３　第３の変形例
　　　１．６　単位画素の断面構造例
　　　１．７　有機材料
　　　１．８　平面構造例
　　　１．９　画素駆動線の配線例
　　　１．１０　イメージセンサの積層構造例
　　　１．１１　画素駆動及び読出し方式
　　　　１．１１．１　第１例
　　　　１．１１．２　第２例
　　　　１．１１．３　第３例
　　　　１．１１．４　第４例
　　　　１．１１．５　第５例
　　　　１．１１．６　第６例
　　　　１．１１．７　第７例
　　　　１．１１．８　第８例
　　　　１．１１．９　第９例
　　　　１．１１．１０　第１０例
　　　　１．１１．１１　第１１例
　　　１．１２　作用・効果
　　２．第２の実施形態
　　　２．１　画素アレイ部の構成例
　　　２．２　単位画素の回路構成例
　　　２．３　単位画素の断面構造例
　　　２．４　平面構造例
　　　２．５　オンチップレンズの変形例
　　　２．６　カラーフィルタ配列の変形例
　　　２．７　作用・効果
　　３．移動体への応用例
　１．第１の実施形態
　まず、第１の実施形態に係る固体撮像装置（以下、イメージセンサという）及び電子機器について、図面を参照して詳細に説明する。なお、本実施形態では、ＣＭＯＳ（Complementary　Metal-Oxide　Semiconductor）型のイメージセンサに本実施形態に係る技術を適用した場合を例示するが、これに限定されず、例えば、ＣＣＤ（Charge-Coupled　Device）型のイメージセンサやＴｏＦ（Time-of-Flight）センサやＥＶＳ（Event　Vision　Sensor）など、光電変換素子を備える種々のセンサに本実施形態に係る技術を適用することが可能である。
　１．１　電子機器の構成例
　図１は、第１の実施形態に係るイメージセンサを搭載した電子機器の概略構成例を示すブロック図である。図１に示すように、電子機器１は、例えば、撮像レンズ２と、イメージセンサ１００と、記憶部３と、プロセッサ４とを備える。
　撮像レンズ２は、入射光を集光してその像をイメージセンサ１００の受光面に結像する光学系の一例である。受光面とは、イメージセンサ１００における光電変換素子が配列する面であってよい。イメージセンサ１００は、入射光を光電変換して画像データを生成する。また、イメージセンサ１００は、生成した画像データに対し、ノイズ除去やホワイトバランス調整等の所定の信号処理を実行する。
　記憶部３は、例えば、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）やＳＲＡＭ（Static　Random　Access　Memory）等で構成され、イメージセンサ１００から入力された画像データ等を記録する。
　プロセッサ４は、例えば、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行するアプリケーションプロセッサや、ＧＰＵ（Graphics　Processing　Unit）やベースバンドプロセッサなどが含まれ得る。プロセッサ４は、イメージセンサ１００から入力された画像データや記憶部３から読み出した画像データ等に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワークを介して外部へ送信したりする。
　また、プロセッサ４は、後述するＲＧＢ画素１０から読み出されたカラー画像と、ＩＲ画素２０から読み出されたモノクロ画像（ＩＲ画像）とを統合的に処理することで、測距処理や認識処理などの種々の処理を実行し得る。
　１．２　イメージセンサの構成例
　図２は、第１の実施形態に係るＣＭＯＳ型のイメージセンサの概略構成例を示すブロック図である。
　本実施形態に係るイメージセンサ１００は、例えば、画素アレイ部１０１が形成された半導体チップと、周辺回路が形成された半導体チップとが積層されたスタック構造を有する。周辺回路には、例えば、画素駆動回路１０２、信号処理回路１０３、カラム駆動回路１０４及びシステム制御部１０５が含まれ得る。
　イメージセンサ１００は更に、データ処理部１０８及びデータ格納部１０９を備えている。データ処理部１０８及びデータ格納部１０９は、周辺回路と同じ半導体チップに設けられてもよいし、別の半導体チップに設けられてもよい。
　画素アレイ部１０１は、受光した光量に応じた電荷を生成しかつ蓄積する光電変換素子を有する単位画素（以下、単に「画素」と記述する場合もある）１１０が行方向及び列方向に、すなわち、行列状に２次元格子状に配置された構成を有する。ここで、行方向とは画素行の画素の配列方向（図面中、横方向）をいい、列方向とは画素列の画素の配列方向（図面中、縦方向）をいう。単位画素の具体的な回路構成や画素構造の詳細については後述する。
　画素アレイ部１０１では、行列状の画素配列に対し、画素行ごとに画素駆動線ＬＤが行方向に沿って配線され、画素列ごとに垂直信号線ＶＳＬが列方向に沿って配線されている。画素駆動線ＬＤは、画素から信号を読み出す際の駆動を行うための制御信号を伝送する。図２では、画素駆動線ＬＤが１本ずつの配線として示されているが、１本ずつに限られるものではない。画素駆動線ＬＤの一端は、画素駆動回路１０２の各行に対応した出力端に接続されている。
　画素駆動回路１０２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１０１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、画素駆動回路１０２は、当該画素駆動回路１０２を制御するシステム制御部１０５と共に、画素アレイ部１０１の各画素の動作を制御する駆動部を構成している。この画素駆動回路１０２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系との２つの走査系を備えている。
　読出し走査系は、単位画素から信号を読み出すために、画素アレイ部１０１の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の単位画素の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系で不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応している。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における電荷の蓄積期間（露光期間ともいう）となる。
　画素駆動回路１０２によって選択走査された画素行の各単位画素から出力される信号は、画素列ごとに垂直信号線ＶＳＬの各々を通して信号処理回路１０３に入力される。信号処理回路１０３は、画素アレイ部１０１の画素列ごとに、選択行の各画素から垂直信号線ＶＳＬを通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
　具体的には、信号処理回路１０３は、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated　Double　Sampling：相関二重サンプリング）処理や、ＤＤＳ（Double　Data　Sampling）処理を行う。例えば、ＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。信号処理回路１０３は、その他にも、例えば、ＡＤ（アナログ－デジタル）変換機能を備え、光電変換素子から読み出され得たアナログの画素信号をデジタル信号に変換して出力する。
　カラム駆動回路１０４は、シフトレジスタやアドレスデコーダなどによって構成され、信号処理回路１０３の画素列に対応する読出し回路（以下、画素回路という）を順番に選択する。このカラム駆動回路１０４による選択走査により、信号処理回路１０３において画素回路ごとに信号処理された画素信号が順番に出力される。
　システム制御部１０５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、画素駆動回路１０２、信号処理回路１０３、及び、カラム駆動回路１０４などの駆動制御を行う。
　データ処理部１０８は、少なくとも演算処理機能を有し、信号処理回路１０３から出力される画像信号に対して演算処理等の種々の信号処理を行う。データ格納部１０９は、データ処理部１０８での信号処理にあたって、その処理に必要なデータを一時的に格納する。
　なお、データ処理部１０８から出力された画像データは、例えば、イメージセンサ１００を搭載する電子機器１におけるプロセッサ４等において所定の処理が実行されたり、所定のネットワークを介して外部へ送信されたりしてもよい。
　１．３　画素アレイ部の構成例
　次に、画素アレイ部１０１の構成例について説明する。なお、ここでは、単位画素１１０が、ＲＧＢ三原色のカラー画像を取得するためのＲＧＢ画素と、赤外（ＩＲ）光のモノクロ画像を取得するためのＩＲ画素とを含む場合を例示に挙げる。例えば、ＲＧＢ画素は、請求の範囲における第１画素の一例に相当し得、ＩＲ画素は、請求の範囲における第２画素の一例に相当し得、ＲＧＢ画素を含むセンサは、請求の範囲における第１センサの一例に相当し得、ＩＲ画素を含むセンサは、請求の範囲における第２センサの一例に相当し得る。また、ＲＧＢ三原色を含む可視光は、例えば、請求の範囲における第１波長帯の光の一例に相当し得、ＩＲ光は、例えば、請求の範囲における第２波長帯の光の一例に相当し得る。
　また、図３及び以下では、ＲＧＢ三原色を構成する各色成分の光を透過させるカラーフィルタ３１ｒ、３１ｇ又は３１ｂを区別しない場合、その符号が３１とされている。
　図３は、本実施形態に係る画素アレイ部の概略構成例を示す模式図である。図３に示すように、画素アレイ部１０１は、ＲＧＢ画素１０とＩＲ画素２０とからなる単位画素１１０が光の入射方向に沿って配列した構造を備える単位画素１１０が２次元格子状に配列した構成を備える。すなわち、本実施形態では、ＲＧＢ画素１０とＩＲ画素２０とが単位画素１１０の配列方向（平面方向）に対して垂直方向に位置されており、入射光の光路における上流側に位置するＲＧＢ画素１０を透過した光が、このＲＧＢ画素１０の下流側に位置するＩＲ画素２０に入射するように構成されている。このような構成によれば、ＲＧＢ画素１０の光電変換部ＰＤ１における入射光の入射面と反対側の面側にＩＲ画素２０の光電変換部ＰＤ２が配置される。それにより、本実施形態では、光の入射方向に沿って配列するＲＧＢ画素１０とＩＲ画素２０との入射光の光軸が一致又は略一致している。
　なお、本実施形態では、ＲＧＢ画素１０を構成する光電変換部ＰＤ１を有機材料で構成し、ＩＲ画素２０を構成する光電変換部ＰＤ２をシリコンなどの半導体材料で構成する場合を例示するが、これに限定されるものではない。例えば、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が半導体材料で構成されてもよいし、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が有機材料で構成されてもよいし、光電変換部ＰＤ１が半導体材料で構成され、光電変換部ＰＤ２が有機材料で構成されてもよい。若しくは、光電変換部ＰＤ１と光電変換部ＰＤ２との少なくとも一方が有機材料及び半導体材料とは異なる光電変換材料で構成されてもよい。
　１．４　単位画素の回路構成例
　次に、単位画素１１０の回路構成例について説明する。図４は、本実施形態に係る単位画素の概略構成例を示す回路図である。図４に示すように、単位画素１１０は、ＲＧＢ画素１０と、ＩＲ画素２０とを１つずつ備える。
　（ＲＧＢ画素１０）
　ＲＧＢ画素１０は、例えば、光電変換部ＰＤ１と、転送ゲート１１と、浮遊拡散領域ＦＤ１と、リセットトランジスタ１２と、増幅トランジスタ１３と、選択トランジスタ１４とを備える。
　選択トランジスタ１４のゲートには、画素駆動線ＬＤに含まれる選択制御線が接続され、リセットトランジスタ１２のゲートには、画素駆動線ＬＤに含まれるリセット制御線が接続され、転送ゲート１１の後述する蓄積電極（図８の蓄積電極３７参照）には、画素駆動線ＬＤに含まれる転送制御線が接続される。また、増幅トランジスタ１３のドレインには、信号処理回路１０３に一端が接続される垂直信号線ＶＳＬ１が選択トランジスタ１４を介して接続される。
　以下の説明において、リセットトランジスタ１２、増幅トランジスタ１３及び選択トランジスタ１４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散領域ＦＤ１及び／又は転送ゲート１１が含まれてもよい。
　光電変換部ＰＤ１は、例えば有機材料で構成され、入射した光を光電変換する。転送ゲート１１は、光電変換部ＰＤ１に発生した電荷を転送する。浮遊拡散領域ＦＤ１は、転送ゲート１１が転送した電荷を蓄積する。増幅トランジスタ１３は、浮遊拡散領域ＦＤ１に蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬ１に出現させる。リセットトランジスタ１２は、浮遊拡散領域ＦＤ１に蓄積された電荷を放出する。選択トランジスタ１４は、読出し対象のＲＧＢ画素１０を選択する。
　光電変換部ＰＤ１のアノードは、接地されており、カソ－ドは、転送ゲート１１に接続される。転送ゲート１１は、その詳細については後述において図８を用いて説明するが、例えば、蓄積電極３７と読出し電極３６とを備える。露光時には、光電変換部ＰＤ１に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が、転送制御線を介して蓄積電極３７に印加される。読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が、転送制御線を介して蓄積電極３７に印加される。
　読出し電極３６を介して流出した電荷は、読出し電極３６と、リセットトランジスタ１２のソースと、増幅トランジスタ１３のゲートとを接続する配線構造によって構成される浮遊拡散領域ＦＤ１に蓄積される。なお、リセットトランジスタ１２のドレインは、例えば、電源電圧ＶＤＤや電源電圧ＶＤＤよりも低いリセット電圧が供給される電源線に接続されてもよい。
　増幅トランジスタ１３のソースは、例えば、不図示の定電流回路等を介して電源線に接続されてよい。増幅トランジスタ１３のドレインは、選択トランジスタ１４のソースに接続され、選択トランジスタ１４のドレインは、垂直信号線ＶＳＬ１に接続される。
　浮遊拡散領域ＦＤ１は、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散領域ＦＤ１は、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散領域ＦＤ１は、転送ゲート１１のドレインとリセットトランジスタ１２のソースと増幅トランジスタ１３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量等であってもよい。
　垂直信号線ＶＳＬ１は、信号処理回路１０３においてカラム毎（すなわち、垂直信号線ＶＳＬ１毎）に設けられたＡＤ（Analog-to-Digital）変換回路１０３Ａに接続される。ＡＤ変換回路１０３Ａは、例えば、比較器とカウンタとを備え、外部の基準電圧生成回路（ＤＡＣ（Digital-to-Analog　Converter））から入力されたシングルスロープやランプ形状等の基準電圧と、垂直信号線ＶＳＬ１に出現した画素信号とを比較することで、アナログの画素信号をデジタルの画素信号に変換する。なお、ＡＤ変換回路１０３Ａは、例えば、ＣＤＳ（Correlated　Double　Sampling）回路などを備え、ｋＴＣノイズ等を低減可能に構成されていてもよい。
　（ＩＲ画素２０）
　ＩＲ画素２０は、例えば、光電変換部ＰＤ２と、転送トランジスタ２１と、浮遊拡散領域ＦＤ２と、リセットトランジスタ２２と、増幅トランジスタ２３と、選択トランジスタ２４と、排出トランジスタ２５とを備える。すなわち、ＩＲ画素２０では、ＲＧＢ画素１０における転送ゲート１１が転送トランジスタ２１に置き換えられるとともに、排出トランジスタ２５が追加されている。
　転送トランジスタ２１に対する浮遊拡散領域ＦＤ２、リセットトランジスタ２２及び増幅トランジスタ２３の接続関係は、ＲＧＢ画素１０における転送ゲート１１に対する浮遊拡散領域ＦＤ１、リセットトランジスタ１２及び増幅トランジスタ１３の接続関係と同様であってよい。また、増幅トランジスタ２３と選択トランジスタ２４と垂直信号線ＶＳＬ２との接続関係も、ＲＧＢ画素１０における増幅トランジスタ１３と選択トランジスタ１４と垂直信号線ＶＳＬ１との接続関係と同様であってよい。
　転送トランジスタ２１のソースは、例えば、光電変換部ＰＤ２のカソードに接続され、ドレインは浮遊拡散領域ＦＤ２に接続される。また、転送トランジスタ２１のゲートには、画素駆動線ＬＤに含まれる転送制御線が接続される。
　排出トランジスタ２５のソースは、例えば、光電変換部ＰＤ２のカソードに接続され、ドレインは、電源電圧ＶＤＤや電源電圧ＶＤＤよりも低いリセット電圧が供給される電源線に接続されてよい。また、排出トランジスタ２５のゲートには、画素駆動線ＬＤに含まれる排出制御線が接続される。
　以下の説明において、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散領域ＦＤ２、転送トランジスタ２１及び排出トランジスタ２５のうちの１つ以上が含まれてもよい。
　光電変換部ＰＤ２は、例えば半導体材料で構成され、入射した光を光電変換する。転送トランジスタ２１は、光電変換部ＰＤ２に発生した電荷を転送する。浮遊拡散領域ＦＤ２は、転送トランジスタ２１が転送した電荷を蓄積する。増幅トランジスタ２３は、浮遊拡散領域ＦＤ２に蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬ２に出現させる。リセットトランジスタ２２は、浮遊拡散領域ＦＤ２に蓄積された電荷を放出する。選択トランジスタ２４は、読出し対象のＩＲ画素２０を選択する。
　光電変換部ＰＤ２のアノードは、接地されており、カソ－ドは、転送トランジスタ２１に接続される。転送トランジスタ２１のドレインは、リセットトランジスタ２２のソースおよび増幅トランジスタ２３のゲートに接続されており、これらを接続する配線構造が、浮遊拡散層ＦＤ２を構成する。光電変換部ＰＤ２から転送トランジスタ２１を介して流出した電荷は、浮遊拡散領域ＦＤ２に蓄積される。
　浮遊拡散領域ＦＤ２は、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散領域ＦＤ２は、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散領域ＦＤ２は、転送トランジスタ２１のドレインとリセットトランジスタ２２のソースと増幅トランジスタ２３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量等であってもよい。
　排出トランジスタ２５は、光電変換部ＰＤ２に蓄積された電荷を排出して、光電変換部ＰＤ２をリセットする際にオン状態とされる。それにより、光電変換部ＰＤ２に蓄積された電荷が排出トランジスタ２５を介して電源線へ流出し、光電変換部ＰＤ２が露光されていない状態にリセットされる。
　垂直信号線ＶＳＬ２は、垂直信号線ＶＳＬ１と同様、信号処理回路１０３においてカラム毎（すなわち、垂直信号線ＶＳＬ２毎）に設けられたＡＤ変換回路１０３Ｂに接続される。ＡＤ変換回路１０３Ｂは、ＡＤ変換回路１０３Ａと同様の構成であってよい。
　１．５　回路構成の変形例
　続いて、図４に示す単位画素１１０の回路構成の変形例について、いくつか例を挙げて説明する。
　１．５．１　第１の変形例
　図５は、本実施形態の第１の変形例に係る単位画素の概略構成例を示す回路図である。図５に示すように、単位画素１１０－１は、図４に示す単位画素１１０と同様の構成において、垂直信号線ＶＳＬ１及びＶＳＬ２が共通のＡＤ変換回路１０３Ａに接続されるように構成されている。そこで、第１の変形例では、ＡＤ変換回路１０３Ａに接続される垂直信号線を、垂直信号線ＶＳＬ１及びＶＳＬ２のいずれかに切り替えるスイッチ回路１３１が設けられる。スイッチ回路１３１は、例えば、ＲＧＢ画素１０及び／又はＩＲ画素２０の画素回路と同じ半導体基板に設けられてもよいし、信号処理回路１０３が配置された半導体基板に設けられてもよいし、これらとは異なる半導体基板に設けられてもよい。また、スイッチ回路１３１を制御する制御信号は、画素駆動回路１０２から供給されてもよいし、カラム駆動回路１０４から供給されてもよいし、他の構成（例えば図１におけるプロセッサ４等）から供給されてもよい。
　このような構成によれば、信号処理回路１０３の回路規模を縮小することが可能となるため、面積効率の向上によるイメージセンサ１００の小型化や高解像度化等が可能となる。
　１．５．２　第２の変形例
　図６は、本実施形態の第２の変形例に係る単位画素の概略構成例を示す回路図である。図６に示すように、単位画素１１０－２は、図４に示す単位画素１１０と同様の構成において、垂直信号線ＶＳＬ１及びＶＳＬ２それぞれを２つのＡＤ変換回路１０３Ａ及び１０３Ｂのうちのいずれかに接続できるように構成されている。そこで、第２の変形例では、ＡＤ変換回路１０３Ａに接続される垂直信号線を垂直信号線ＶＳＬ１及びＶＳＬ２のいずれかに切り替えるスイッチ回路１３２と、ＡＤ変換回路１０３Ｂに接続される垂直信号線を垂直信号線ＶＳＬ１及びＶＳＬ２のいずれかに切り替えるスイッチ回路１３３とが設けられる。スイッチ回路１３２及び１３３は、例えば、ＲＧＢ画素１０及び／又はＩＲ画素２０の画素回路と同じ半導体基板に設けられてもよいし、信号処理回路１０３が配置された半導体基板に設けられてもよいし、これらとは異なる半導体基板に設けられてもよい。また、スイッチ回路１３２及び１３３を制御する制御信号は、画素駆動回路１０２から供給されてもよいし、カラム駆動回路１０４から供給されてもよいし、他の構成（例えば図１におけるプロセッサ４等）から供給されてもよい。
　このような構成によれば、カラム毎に使用するＡＤ変換回路１０３Ａ及び１０３Ｂを選択することが可能となるため、例えばストリーキングなどのノイズ発生による画質低下を抑制することが可能となる。
　１．５．３　第３の変形例
　図７は、本実施形態の第３の変形例に係る単位画素の概略構成例を示す回路図である。図７に示すように、単位画素１１０－３は、ＲＧＢ画素１０に関し、図６に示す単位画素１１０－２と同様の構成において、複数のＲＧＢ画素１０－１～１０－Ｎ（Ｎは２以上の整数）で、浮遊拡散領域ＦＤ１、リセットトランジスタ１２、増幅トランジスタ１３及び選択トランジスタ１４を共有する、いわゆる画素共有の回路構造を備える。また、単位画素１１０－３は、ＩＲ画素２０に関しても同様に、図６に示す単位画素１１０－２と同様の構成において、複数のＩＲ画素２０－１～２０－Ｎで、浮遊拡散領域ＦＤ２、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４を共有する、いわゆる画素共有の回路構造を備える。なお、ＲＧＢ画素１０－１～１０－Ｎの数と、ＩＲ画素２０－１～２０－Ｎの数とは、必ずしも一致していなくてもよい。
　このような構成とすることで、ＨＤＲ（High　Dynamic　Range）での読出しとＬＤＲ（Low　Dynamic　Range）での読出しとを状況に応じて切り替えることが可能となるため、低照度時や高照度時における画質の劣化を抑制することが可能となる。なお、本説明では、図６を用いて説明した第２の変形例をベースとした場合を例示したが、これに限定されず、図４や図５に示された単位画素１１０及び単位画素１１０－１をベースとすることも可能である。
　１．６　単位画素の断面構造例
　次に、図８を参照して、第１の実施形態に係るイメージセンサ１００の断面構造例を説明する。図８は、第１の実施形態に係るイメージセンサの断面構造例を示す断面図である。ここでは、単位画素１１０における光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。
　また、以下の説明では、光の入射面が半導体基板５０の裏面側（素子形成面と反対側）である、いわゆる裏面照射型の断面構造を例示するが、これに限定されず、光の入射面が半導体基板５０の表面側（素子形成面側）である、いわゆる表面照射型の断面構造であってもよい。さらに、本説明では、ＲＧＢ画素１０の光電変換部ＰＤ１に有機材料が用いられた場合を例示するが、上述したように、光電変換部ＰＤ１及びＰＤ２それぞれの光電変換材料には、有機材料及び半導体材料（無機材料ともいう）のうちの一方若しくは両方が用いられてよい。
　なお、光電変換部ＰＤ１の光電変換材料及び光電変換部ＰＤ２の光電変換材料の両方に半導体材料を用いる場合、イメージセンサ１００は、光電変換部ＰＤ１と光電変換部ＰＤ２とが同一の半導体基板５０に作り込まれた断面構造を有してもよいし、光電変換部ＰＤ１が作り込まれた半導体基板と光電変換部ＰＤ２が作り込まれた半導体基板とが貼り合わされた断面構造を有してもよいし、光電変換部ＰＤ１及びＰＤ２のうちの一方が半導体基板５０に作り込まれ、他方が半導体基板５０の裏面又は表面上に形成された半導体層に作り込まれた断面構造を有してもよい。
　図８に示すように、本実施形態では、半導体基板５０にＩＲ画素２０の光電変換部ＰＤ２が形成され、半導体基板５０の裏面側（素子形成面と反対側）の面上に、ＲＧＢ画素の光電変換部ＰＤ１が設けられた構造を備える。なお、図８では、説明の都合上、半導体基板５０の裏面が紙面中上側に位置し、表面が下側に位置している。
　半導体基板５０には、例えば、シリコン（Ｓｉ）などの半導体材料が用いられてよい。ただし、これに限定されず、ＧａＡｓ、ＩｎＧａＡｓ、ＩｎＰ、ＡｌＧａＡｓ、ＩｎＧａＰ、ＡｌＧａＩｎＰ、ＩｎＧａＡｓＰ等の化合物半導体を含む種々の半導体材料が用いられてよい。
　（ＲＧＢ画素１０）
　ＲＧＢ画素１０の光電変換部ＰＤ１は、絶縁層５３を挟んで、半導体基板５０の裏面側に設けられている。光電変換部ＰＤ１は、例えば、有機材料により構成された光電変換膜３４と、光電変換膜３４を挟むように配置された透明電極３３及び半導体層３５とを備える。光電変換膜３４に対して紙面中上側（以降、紙面中上側を上面側とし、下側を下面側とする）に設けられた透明電極３３は、例えば、光電変換部ＰＤ１のアノードとして機能し、下面側に設けられた半導体層３５は、光電変換部ＰＤ１のカソードとして機能する。
　カソードとして機能する半導体層３５は、絶縁層５３中に形成された読出し電極３６に電気的に接続される。読出し電極３６は、絶縁層５３及び半導体基板５０を貫通する配線６１、６２、６３及び６４に接続することで、半導体基板５０の表面（下面）側にまで電気的に引き出されている。なお、図８には示されていないが、配線６４は、図４に示す浮遊拡散領域ＦＤ１に電気的に接続されている。
　カソードとして機能する半導体層３５の下面側には、絶縁層５３を挟んで蓄積電極３７が併設される。図８には示されていないが、蓄積電極３７は、画素駆動線ＬＤにおける転送制御線に接続されており、上述したように、露光時には、光電変換部ＰＤ１に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が印加され、読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が印加される。
　読出し電極３６及び蓄積電極３７は、透明電極３３と同様に、透明な導電膜であってよい。透明電極３３並びに読出し電極３６及び蓄積電極３７には、例えば、酸化インジウムスズ（ＩＴＯ）や酸化亜鉛（ＩＺＯ）などの透明導電膜が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ２が検出対象とする波長帯の光を透過させ得る導電膜であれば、種々の導電膜が使用されてよい。
　また、半導体層３５には、例えば、ＩＧＺＯなどの透明な半導体層が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ２が検出対象とする波長帯の光を透過させ得る半導体層であれば、種々の半導体層が使用されてよい。
　さらに、絶縁層５３は、例えば、シリコン酸化膜（ＳｉＯ２）やシリコン窒化膜（ＳｉＮ）などの絶縁膜が使用されてよい。ただし、これらに限定されず、光電変換部ＰＤ２が検出対象とする波長帯の光を透過させ得る絶縁膜であれば、種々の絶縁膜が使用されてよい。
　アノードとして機能する透明電極３３の上面側には、封止膜３２を挟んでカラーフィルタ３１が設けられる。封止膜３２は、例えば、窒化シリコン（ＳｉＮ）などの絶縁材料で構成され、透明電極３３からアルミニウム（Ａｌ）やチタニウム（Ｔｉ）などの原子が拡散することを防止するために、これらの原子を含み得る。
　カラーフィルタ３１の配列については後述において説明するが、例えば、１つのＲＧＢ画素１０に対しては、特定の波長成分の光を選択的に透過させるカラーフィルタ３１が設けられる。ただし、色情報を取得するＲＧＢ画素１０の代わりに輝度情報を取得するモノクロ画素を設ける場合には、カラーフィルタ３１が省略されてもよい。
　（ＩＲ画素２０）
　ＩＲ画素２０の光電変換部ＰＤ２は、例えば、半導体基板５０におけるｐウェル領域４２に形成されたｐ型半導体領域４３と、ｐ型半導体領域４３の中央付近に形成されたｎ型半導体領域４４とを備える。ｎ型半導体領域４４は、例えば、光電変換により発生した電荷（電子）を蓄積する電荷蓄積領域として機能し、ｐ型半導体領域４３は、光電変換により発生した電荷をｎ型半導体領域４４内に集めるための電位勾配を形成する領域として機能する。
　光電変換部ＰＤ２の光入射面側には、例えば、ＩＲ光を選択的に透過させるＩＲフィルタ４１が配置される。ＩＲフィルタ４１は、例えば、半導体基板５０の裏面側に設けられた絶縁層５３内に配置されてよい。ＩＲフィルタ４１を光電変換部ＰＤ２の光入射面に配置することで、光電変換部ＰＤ２への可視光の入射を抑制することが可能となるため、可視光に対するＩＲ光のＳ／Ｎ比を改善することができる。それにより、ＩＲ光のより正確な検出結果を得ることが可能となる。
　半導体基板５０の光入射面には、入射光（本例ではＩＲ光）の反射を抑制するために、例えば、微細な凹凸構造が設けられている。この凹凸構造は、いわゆるモスアイ構造と称される構造であってもよいし、モスアイ構造とはサイズやピッチが異なる凹凸構造であってもよい。
　半導体基板５０の表面（紙面中下面）側、すなわち、素子形成面側には、転送トランジスタ２１として機能する縦型トランジスタ４５と、電荷蓄積部として機能する浮遊拡散領域ＦＤ２とが設けられる。縦型トランジスタ４５のゲート電極は、半導体基板５０の表面からｎ型半導体領域４４にまで達しており、層間絶縁膜５６に形成された配線６５及び６６（画素駆動線ＬＤの転送制御線の一部）を介して画素駆動回路１０２に接続されている。
　縦型トランジスタ４５を介して流出した電荷は、浮遊拡散領域ＦＤ２に蓄積される。浮遊拡散領域ＦＤ２は、層間絶縁膜５６に形成された配線６７及び６８を介して、リセットトランジスタ２２のソース及び増幅トランジスタ２３のゲートに接続される。なお、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４は、半導体基板５０の素子形成面に設けられてもよいし、半導体基板５０とは異なる半導体基板に設けられてもよい。
　なお、図８には、１つの光電変換部ＰＤ２に対して２つの縦型トランジスタ４５（転送トランジスタ２１）が設けられた場合が例示されているが、これに限定されず、１つの縦型トランジスタ４５が設けられてもよいし、３以上の縦型トランジスタ４５が設けられてもよい。同様に、１つの光電変換部ＰＤ２に対して２つの浮遊拡散領域ＦＤ２が設けられた場合が例示されているが、これに限定されず、１つの浮遊拡散領域ＦＤ２が設けられてもよいし、３以上の浮遊拡散領域ＦＤ２が設けられてもよい。
　（画素分離構造）
　半導体基板５０には、複数の単位画素１１０の間を電気的に分離する画素分離部５４が設けられており、この画素分離部５４で区画された各領域内に、光電変換部ＰＤ２が設けられる。例えば、半導体基板５０の裏面（図中上面）側からイメージセンサ１００を見た場合、画素分離部５４は、例えば、複数の単位画素１１０の間に介在する格子形状を有しており、各光電変換部ＰＤ２は、この画素分離部５４で区画された各領域内に形成されている。
　画素分離部５４には、例えば、タングステン（Ｗ）やアルミニウム（Ａｌ）などの光を反射する反射膜が用いられてもよい。それにより、光電変換部ＰＤ２内に進入した入射光を画素分離部５４で反射させることが可能となるため、光電変換部ＰＤ２内での入射光の光路長を長くすることが可能となる。加えて、画素分離部５４を光反射構造とすることで、隣接画素への光の漏れ込みを低減することが可能となるため、画質や測距精度等をより向上させることも可能となる。なお、画素分離部５４を光反射構造とする構成は、反射膜を用いる構成に限定されず、例えば、画素分離部５４に半導体基板５０とは異なる屈折率の材料を用いることでも実現することができる。
　半導体基板５０と画素分離部５４との間には、例えば、固定電荷膜５５が設けられる。固定電荷膜５５は、例えば、半導体基板５０との界面部分において正電荷（ホール）蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜５５が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板１３８との界面に電界が加わり、正電荷（ホール）蓄積領域が形成される。
　固定電荷膜５５は、例えば、ハフニウム酸化膜（ＨｆＯ２膜）で形成することができる。また、固定電荷膜５５は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも１つを含むように形成することができる。
　なお、図８には、画素分離部５４が半導体基板５０の表面から裏面にまで達する、いわゆるＦＴＩ（Full　Trench　Isolation）構造を有する場合が例示されているが、これに限定されず、例えば、画素分離部５４が半導体基板５０の裏面又は表面から半導体基板５０の中腹付近まで形成された、いわゆるＤＴＩ（Deep　Trench　Isolation）構造など、種々の素子分離構造を採用することが可能である。
　（瞳補正）
　カラーフィルタ３１の上面上には、シリコン酸化膜やシリコン窒化膜などによる平坦化膜５２が設けられる。平坦化膜５２の上面上は、例えば、ＣＭＰ（Chemical　Mechanical　Polishing）により平坦化され、この平坦化された上面上には、単位画素１１０ごとのオンチップレンズ５１が設けられる。各単位画素１１０のオンチップレンズ５１は、入射光を光電変換部ＰＤ１及びＰＤ２に集めるような曲率を備えている。なお、各単位画素１１０におけるオンチップレンズ５１、カラーフィルタ３１、ＩＲフィルタ４１、光電変換部ＰＤ２の位置関係は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい（瞳補正）。
　また、図８に示す構造において、斜めに入射した光が隣接画素へ漏れ込むことを防止するための遮光膜が設けられてもよい。遮光膜は、半導体基板５０の内部に設けられた画素分離部５４の上方（入射光の光路における上流側）に位置し得る。ただし、瞳補正をする場合、遮光膜の位置は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい。このような遮光膜は、例えば、封止膜３２内や平坦化膜５２内に設けられてよい。また、遮光膜の材料には、例えば、アルミニウム（Ａｌ）やタングステン（Ｗ）などの遮光材料が用いられてよい。
　１．７　有機材料
　第１の実施形態において、光電変換膜３４の材料に有機系半導体を用いる場合、光電変換膜３４の層構造は、以下のような構造とすることが可能である。ただし、積層構造の場合、その積層順は適宜入れ替えることが可能である。
（１）ｐ型有機半導体の単層構造
（２）ｎ型有機半導体の単層構造
（３－１）ｐ型有機半導体層／ｎ型有機半導体層の積層構造
（３－２）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）／ｎ型有機半導体層の積層構造
（３－３）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（３－４）ｎ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（４）ｐ型有機半導体とｐ型有機半導体との混合層（バルクヘテロ構造）
　ここで、ｐ型有機半導体としては、ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、ピレン誘導体、ペリレン誘導体、テトラセン誘導体、ペンタセン誘導体、キナクリドン誘導体、チオフェン誘導体、チエノチオフェン誘導体、ベンゾチオフェン誘導体、ベンゾチエノベンゾチオフェン誘導体、トリアリルアミン誘導体、カルバゾール誘導体、ペリレン誘導体、ピセン誘導体、クリセン誘導体、フルオランテン誘導体、フタロシアニン誘導体、サブフタロシアニン誘導体、サブポルフィラジン誘導体、複素環化合物を配位子とする金属錯体、ポリチオフェン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を挙げることができる。
　ｎ型有機半導体としては、フラーレン及びフラーレン誘導体〈例えば、Ｃ６０や、Ｃ７０，Ｃ７４等のフラーレン（高次フラーレン、内包フラーレン等）又はフラーレン誘導体（例えば、フラーレンフッ化物やＰＣＢＭフラーレン化合物、フラーレン多量体等）〉、ｐ型有機半導体よりもＨＯＭＯ及びＬＵＭＯが大きい（深い）有機半導体、透明な無機金属酸化物を挙げることができる。
　ｎ型有機半導体として、具体的には、窒素原子、酸素原子、硫黄原子を含有する複素環化合物、例えば、ピリジン誘導体、ピラジン誘導体、ピリミジン誘導体、トリアジン誘導体、キノリン誘導体、キノキサリン誘導体、イソキノリン誘導体、アクリジン誘導体、フェナジン誘導体、フェナントロリン誘導体、テトラゾール誘導体、ピラゾール誘導体、イミダゾール誘導体、チアゾール誘導体、オキサゾール誘導体、イミダゾール誘導体、ベンズイミダゾール誘導体、ベンゾトリアゾール誘導体、ベンズオキサゾール誘導体、ベンズオキサゾール誘導体、カルバゾール誘導体、ベンゾフラン誘導体、ジベンゾフラン誘導体、サブポルフィラジン誘導体、ポリフェニレンビニレン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を分子骨格の一部に有する有機分子、有機金属錯体やサブフタロシアニン誘導体を挙げることができる。
　フラーレン誘導体に含まれる基等として、ハロゲン原子；直鎖、分岐若しくは環状のアルキル基若しくはフェニル基；直鎖若しくは縮環した芳香族化合物を有する基；ハロゲン化物を有する基；パーシャルフルオロアルキル基；パーフルオロアルキル基；シリルアルキル基；シリルアルコキシ基；アリールシリル基；アリールスルファニル基；アルキルスルファニル基；アリールスルホニル基；アルキルスルホニル基；アリールスルフィド基；アルキルスルフィド基；アミノ基；アルキルアミノ基；アリールアミノ基；ヒドロキシ基；アルコキシ基；アシルアミノ基；アシルオキシ基；カルボニル基；カルボキシ基；カルボキソアミド基；カルボアルコキシ基；アシル基；スルホニル基；シアノ基；ニトロ基；カルコゲン化物を有する基；ホスフィン基；ホスホン基；これらの誘導体を挙げることができる。
　以上のような有機系材料から構成された光電変換膜３４の膜厚としては、次の値に限定されるものではないが、例えば、１×１０－８ｍ（メートル）乃至５×１０－７ｍ、好ましくは、２．５×１０－８ｍ乃至３×１０－７ｍ、より好ましくは、２．５×１０－８ｍ乃至２×１０－７ｍ、一層好ましくは、１×１０－７ｍ乃至１．８×１０－７ｍを例示することができる。尚、有機半導体は、ｐ型、ｎ型と分類されることが多いが、ｐ型とは正孔を輸送し易いという意味であり、ｎ型とは電子を輸送し易いという意味であり、無機半導体のように熱励起の多数キャリアとして正孔又は電子を有しているという解釈に限定されるものではない。
　緑色の波長の光を光電変換する光電変換膜３４を構成する材料としては、例えば、ローダミン系色素、メラシアニン系色素、キナクリドン誘導体、サブフタロシアニン系色素（サブフタロシアニン誘導体）等を挙げることができる。
　また、青色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、クマリン酸色素、トリス－８－ヒドリキシキノリアルミニウム（Ａｌｑ３）、メラシアニン系色素等を挙げることができる。
　さらに、赤色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、フタロシアニン系色素、サブフタロシアニン系色素（サブフタロシアニン誘導体）を挙げることができる。
　さらにまた、光電変換膜３４としては、紫外域から赤色域にかけて略全ての可視光に対して感光するパンクロマチックな感光性有機光電変換膜を用いることも可能である。
　１．８　平面構造例
　次に、本実施形態に係る画素アレイ部の平面構造例について説明する。図９は、本実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図であり、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。なお、図９において、（Ａ）～（Ｄ）は、半導体基板５０の素子形成面と平行な面の平面レイアウト例を示している。また、本説明では、赤色（Ｒ）の波長成分を選択的に検出する画素（以下、Ｒ画素１０ｒという）と、緑色（Ｇ）の波長成分を選択的に検出する画素（以下、Ｇ画素１０ｇという）と、青色（Ｂ）の波長成分の光を選択的に検出する画素（以下、Ｂ画素１０ｂという）とより構成された２×２画素のベイヤー配列を単位配列とする場合を例示する。
　図９の（Ａ）～（Ｄ）に示すように、本実施形態では、１つの単位画素１１０に対して、オンチップレンズ５１と、カラーフィルタ３１と、蓄積電極３７と、光電変換部ＰＤ２とが１つずつ設けられている。なお、本説明において、１つの蓄積電極３７は１つのＲＧＢ画素１０に相当し、１つの光電変換部ＰＤ２は１つのＩＲ画素２０に相当する。
　このように、１つの単位画素１１０において、１つのＲＧＢ画素１０と１つのＩＲ画素２０とを入射光の進行方向に沿って配列させることで、ＲＧＢ画素１０とＩＲ画素２０との入射光に対する同軸性を向上することが可能となるため、カラー画像とモノクロ画像との間に発生する空間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　１．９　画素駆動線の配線例
　次に、単位画素１１０と画素駆動回路１０２とを接続する画素駆動線ＬＤの配線例について説明する。図１０は、本実施形態に係るＲＧＢ画素に対する画素駆動線の配線例を示す平面図であり、図１１は、本実施形態に係るＩＲ画素に対する画素駆動線の配線例を示す平面図である。
　図１０及び図１１に示すように、本実施形態に係る画素駆動回路１０２は、ＲＧＢ画素１０を駆動するＲＧＢ駆動回路１６０と、ＩＲ画素２０を駆動するＩＲ駆動回路１７０とを備える。ＲＧＢ駆動回路１６０とＲＧＢ画素１０の転送ゲート１１、リセットトランジスタ１２及び選択トランジスタ１４とを接続するＲＧＢ駆動線ＬＤ１と、ＩＲ駆動回路１７０とＩＲ画素２０の転送トランジスタ２１、リセットトランジスタ２２、選択トランジスタ２４及び排出トランジスタ２５とを接続するＩＲ駆動線ＬＤ２とは、例えば、直行するように配線されてもよい。ただし、これに限定されず、ＲＧＢ駆動線ＬＤ１とＩＲ駆動線ＬＤ２とは、平行に配線されてもよい。その場合、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とは、各種制御信号を、画素アレイ部１０１に対して同一の側から供給してもよいし、異なる側から供給してもよい。
　１．１０　イメージセンサの積層構造例
　図１２は、本実施形態に係るイメージセンサの積層構造例を示す図である。図１２に示すように、イメージセンサ１００は、画素チップ１４０と回路チップ１５０とが上下に積層された構造を備える。画素チップ１４０は、例えば、ＲＧＢ画素１０及びＩＲ画素２０を含む単位画素１１０が配列する画素アレイ部１０１を備える半導体チップであり、回路チップ１５０は、例えば、図３に示す画素回路が配列する半導体チップである。例えば、画素チップ１４０は、請求の範囲における第１チップの一例に相当し得、回路チップは、請求の範囲における第２チップの一例に相当し得る。
　画素チップ１４０と回路チップ１５０との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅（Ｃｕ）製の電極パッド同士をボンディングする、いわゆるＣｕ－Ｃｕ接合や、その他、バンプ接合などを用いることも可能である。
　また、画素チップ１４０と回路チップ１５０とは、例えば、半導体基板を貫通するＴＳＶ（Through-Silicon　Via）などの接続部を介して電気的に接続される。ＴＳＶを用いた接続には、例えば、画素チップ１４０に設けられたＴＳＶと画素チップ１４０から回路チップ１５０にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインＴＳＶ方式や、画素チップ１４０から回路チップ１５０まで貫通するＴＳＶで両者を接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。
　ただし、画素チップ１４０と回路チップ１５０との接合にＣｕ－Ｃｕ接合やバンプ接合を用いた場合には、Ｃｕ－Ｃｕ接合部やバンプ接合部を介して両者が電気的に接続されてもよい。
　１．１１　画素駆動及び読出し方式
　次に、ＲＧＢ画素１０及びＩＲ画素の駆動方式及び読出し方式について、イメージセンサ１００を構成する各半導体チップ（画素チップ１４０及び回路チップ１５０）のレイアウト例とともに、いくつか例を挙げて説明する。なお、以下では、説明の簡略化のため、図２に示す構成におけるカラム駆動回路１０４、システム制御部１０５及びデータ格納部１０９等を省略する。省略された各構成は、画素チップ１４０に設けられてもよいし、回路チップ１５０に設けられてもよいし、これらとは異なる半導体チップに設けられてもよい。また、以下の説明で使用する図面において、＃ｎ（ｎは１以上の整数）は、画素駆動線ＬＤ及び垂直信号線ＶＳＬの図面を跨いだ接続関係を示している。さらに、以下の説明において、特に説明されていない構成、動作及び効果は、他の例と同様であってよい。
　また、以下の説明において、例えば、ＲＧＢ画素１０に対する駆動系は、請求の範囲における第１駆動系の一例に相当し得、ＩＲ画素２０に対する駆動系は、請求の範囲における第２駆動系の一例に相当し得、ＲＧＢ画素１０に対する読出し系は、請求の範囲における第１読出し部の一例に相当し得、ＩＲ画素２０に対する読出し系は、請求の範囲における第２読出し部の一例に相当し得る。
　１．１１．１　第１例
　第１例では、ＲＧＢ画素１０に対する駆動系とＩＲ画素２０に対する駆動系とが別々に設けられ、且つ、ＲＧＢ画素１０に対する読出し系とＩＲ画素２０に対する読出し系とが別々に設けられた場合について説明する。図１３及び図１４は、第１例に係るレイアウト例を示す平面図であり、図１３は、画素チップ１４０の平面レイアウト例を示し、図１４は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図１３に示すように、第１例では、画素チップ１４０は、画素アレイ部１０１の各単位画素１１０に対し、ＲＧＢ画素１０用のＲＧＢ駆動線ＬＤ１と、ＩＲ画素２０用のＩＲ駆動線ＬＤ２とが別々に配線されたレイアウトを有する。ＲＧＢ駆動線ＬＤ１及びＩＲ駆動線ＬＤ２は、図１３のように行方向に延在していてもよいし、列方向に延在していてもよい。また、ＲＧＢ駆動線ＬＤ１及びＩＲ駆動線ＬＤ２は、同一方向から延在していてもよいし、異なる方向から延在していてもよい。例えば、ＲＧＢ駆動線ＬＤ１が紙面中右側から横方向（行方向）に延在し、ＩＲ駆動線ＬＤ２が紙面中上側から縦方向（列方向）に延在していてもよい。
　また、各単位画素１１０において、ＲＧＢ画素１０は、垂直信号線ＶＳＬ１に接続され、ＩＲ画素２０は、垂直信号線ＶＳＬ１とは異なる垂直信号線ＶＳＬ２に接続される。垂直信号線ＶＳＬ１及びＶＳＬ２は、図１３のように列方向に延在していてもよいし、行方向に延在していてもよい。また、垂直信号線ＶＳＬ１及びＶＳＬ２は、同一方向から延在していてもよいし、異なる方向から延在していてもよい。
　（回路チップ１５０）
　図１４に示すように、第１例では、図１に示す画素駆動回路１０２が、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とから構成されている。また、信号処理回路１０３が、ＲＧＢ信号処理回路１８１とＩＲ信号処理回路１９１とから構成され、データ処理部１０８が、ＲＧＢデータ処理部１８２とＩＲデータ処理部１９２とから構成されている。
　ＲＧＢ駆動回路１６０は、ＲＧＢ駆動線ＬＤ１を介して画素チップ１４０における各単位画素１１０のＲＧＢ画素１０に接続される。ＩＲ駆動回路１７０は、ＩＲ駆動線ＬＤ２を介して画素チップ１４０における各単位画素１１０のＩＲ画素２０に接続される。
　ＲＧＢ駆動回路１６０は、転送ゲート１１に転送制御信号を供給するＴＧ駆動部１６１と、リセットトランジスタ１２にリセット制御信号を供給するＲＳＴ駆動部１６２と、選択トランジスタ１４に選択制御信号を供給するＳＥＬ駆動部１６４とを含み、ＲＧＢ駆動線ＬＤ１を介してＲＧＢ画素１０に上記制御信号を供給することで、ＲＧＢ画素１０を駆動する。これにより、ＲＧＢ画素１０に接続された垂直信号線ＶＳＬ１に画素信号が出現する。
　ＩＲ駆動回路１７０は、転送トランジスタ２１に転送制御信号を供給するＴＧ駆動部１７１と、リセットトランジスタ２２にリセット制御信号を供給するＲＳＴ駆動部１７２と、選択トランジスタ２４に選択制御信号を供給するＳＥＬ駆動部１７４と、排出トランジスタ２５に排出制御信号を供給するＯＦＧ駆動部１７５とを含み、ＩＲ駆動線ＬＤ２を介してＩＲ画素２０に上記制御信号を供給することで、ＩＲ画素２０を駆動する。これにより、ＩＲ画素２０に接続された垂直信号線ＶＳＬ２に画素信号が出現する。
　ＲＧＢ信号処理回路１８１は、垂直信号線ＶＳＬ１に接続される。ＲＧＢ信号処理回路１８１は、垂直信号線ＶＳＬ１に出現した画素信号をデジタルの画素信号に変換することで、デジタルのカラー画像信号を生成する。
　ＲＧＢデータ処理部１８２は、ＲＧＢ信号処理回路１８１から出力されたデジタルのカラー画像信号に対して、上述においてデータ処理部１０８の処理として説明した各種演算処理を実行し、その結果を例えばプロセッサ４へ出力する。
　ＩＲ信号処理回路１９１は、垂直信号線ＶＳＬ２に接続される。ＩＲ信号処理回路１９１は、垂直信号線ＶＳＬ１に出現した画素信号をデジタルの画素信号に変換することで、デジタルのモノクロ画像信号を生成する。
　ＩＲデータ処理部１９２は、ＩＲ信号処理回路１９１から出力されたデジタルのモノクロ画像信号に対して、上述においてデータ処理部１０８の処理として説明した各種演算処理を実行し、その結果を例えばプロセッサ４へ出力する。
　このように、第１例では、ＲＧＢ画素１０を駆動するためのＲＧＢ駆動回路１６０と、ＩＲ画素２０を駆動するためのＩＲ駆動回路１７０とが、互いに独立した異なる駆動系を構成するとともに、ＲＧＢ画素１０から画素信号を読み出して各種処理を実行するＲＧＢ信号処理回路１８１及びＲＧＢデータ処理部１８２と、ＩＲ画素２０から画素信号を読み出して各種処理を実行するＩＲ信号処理回路１９１及びＩＲデータ処理部１９２とが、互いに独立した異なる読出し系を構成する。このような構成によれば、同じ単位画素１１０におけるＲＧＢ画素１０及びＩＲ画素２０から同時又は略同時に画素信号を読み出すことが可能となるため、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレを抑制することが可能となる。その結果、異なるセンサにより取得された情報（カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　また、第１例では、駆動系を構成するＲＧＢ駆動回路１６０及びＩＲ駆動回路１７０が、回路チップ１５０における片側（図１４では、中央から左よりの領域）に配置され、読出し系を構成するＲＧＢ信号処理回路１８１及びＲＧＢデータ処理部１８２と、ＩＲ信号処理回路１９１及びＩＲデータ処理部１９２とが、回路チップ１５０における他方の片側（図１４では、中央より右側の領域）に配置されている。このように、駆動系と読出し系とを別々にまとめるようなレイアウトとすることで、既存の回路チップのレイアウトをベースとすることが可能となるため、回路チップ１５０のレイアウト設計効率を向上することが可能となる。
　１．１１．２　第２例
　第２例では、第１例と同様に、ＲＧＢ画素１０に対する駆動系とＩＲ画素２０に対する駆動系とが別々に設けられ、且つ、ＲＧＢ画素１０に対する読出し系とＩＲ画素２０に対する読出し系とが別々に設けられた場合について説明する。図１５及び図１６は、第２例に係るレイアウト例を示す平面図であり、図１５は、画素チップ１４０の平面レイアウト例を示し、図１６は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図１５に示すように、第２例に係る画素チップ１４０の平面レイアウトは、図１３に例示した第１例に係る画素チップ１４０の平面レイアウト例と同様であってよい。ただし、図１５では、画素チップ１４０に設けられた各種素子を回路チップ１５０側の素子に電気的に接続するための接続部１４１が示されている。また、図１５では、図面中、ＲＧＢ駆動線ＬＤ１が左端側の接続部１４１に接続され、ＩＲ駆動線ＬＤ２が右端側の接続部１４１に接続され、垂直信号線ＶＳＬ１が下側の接続部１４１に接続され、垂直信号線ＶＳＬ２が上側の接続部１４１に接続されている。
　（回路チップ１５０）
　図１６に示すように、第２例では、第１例と同様に、画素駆動回路１０２が、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とから構成され、信号処理回路１０３が、ＲＧＢ信号処理回路１８１とＩＲ信号処理回路１９１とから構成され、データ処理部１０８が、ＲＧＢデータ処理部１８２とＩＲデータ処理部１９２とから構成されている。
　第２例において、ＲＧＢ駆動回路１６０は、例えば、回路チップ１５０の左側に寄せて配置され、回路チップ１５０の左端の接続部１５１に接続される。一方、ＩＲ駆動回路１７０は、例えば、回路チップ１５０の右側に寄せて配置され、回路チップ１５０の右端の接続部１５１に接続される。ＲＧＢ信号処理回路１８１及びＲＧＢデータ処理部１８２とＩＲ信号処理回路１９１及びＩＲデータ処理部１９２との読出し系は、回路チップ１５０の中央に配置され、回路チップ１５０の上／下端の接続部１５１に接続される。なお、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とは、位置が入れ替わってもよい。同様に、ＲＧＢ信号処理回路１８１及びＲＧＢデータ処理部１８２と、ＩＲ信号処理回路１９１及びＩＲデータ処理部１９２とは、位置が入れ替わってもよい。
　（チップ間接続構成）
　画素チップ１４０の接続部１４１と回路チップ１５０の接続部１５１とは、上述したように、例えば、半導体基板を貫通するＴＳＶやＣｕ－Ｃｕ接合やバンプ接合などにより電気的に接続される。これは、他の例についても同様であってよい。なお、図１６には、ＲＧＢ信号処理回路１８１が回路チップ１５０の下端の接続部１５１に接続され、ＩＲ信号処理回路１９１が回路チップ１５０の上端の接続部１５１に接続された場合が例示されているが、これに限定されず、ＲＧＢ信号処理回路１８１及びＩＲ信号処理回路１９１の両方が回路チップ１５０の上端又は下端に配置された接続部１５１に接続されてもよい。その場合、接続されない接続部１５１は省略することができる。
　このように、第２例では、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とが回路チップ１５０の左右に分かれて配置されている。このような構成によれば、画素チップ１４０側のＲＧＢ画素１０への接続構成とＩＲ画素２０への接続構成とを左右に分散することが可能となるため、配線や接続端子の密集を緩和することが可能となる。それにより、配線間等のカップリングによる特性劣化を抑制することが可能となる。
　また、ＲＧＢ駆動回路１６０の接続部１５１とＩＲ駆動回路１７０の接続部１５１とが回路チップ１５０の左右端に配置されているため、ＲＧＢ駆動回路１６０からＲＧＢ画素１０までの平均的な配線長と、ＩＲ駆動回路１７０からＩＲ画素２０までの平均的な配線長とを略一致させることが可能となるため、より高精度の制御が可能となる。
　さらに、第２例によれば、第１例と同様に、ＲＧＢ画素１０に対する駆動系及び読出し系と、ＩＲ画素２０に対する駆動系及び読出し系とが互いに独立した異なる構成であるため、同じ単位画素１１０におけるＲＧＢ画素１０及びＩＲ画素２０から同時又は略同時に画素信号を読み出すことが可能となる。それにより、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレを抑制することが可能となるため、異なるセンサにより取得された情報を統合的に処理することで得られた結果の精度を向上することが可能となる。
　１．１１．３　第３例
　第３例では、第１例及び第２例と同様に、ＲＧＢ画素１０に対する駆動系とＩＲ画素２０に対する駆動系とが別々に設けられ、且つ、ＲＧＢ画素１０に対する読出し系とＩＲ画素２０に対する読出し系とが別々に設けられた場合について説明する。図１７及び図１８は、第３例に係るレイアウト例を示す平面図であり、図１７は、画素チップ１４０の平面レイアウト例を示し、図１８は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図１７に示すように、第３例に係る画素チップ１４０の平面レイアウトは、図１５を用いて説明した第２例に係る平面レイアウトと同様のレイアウトにおいて、ＲＧＢ駆動線ＬＤ１及びＩＲ駆動線ＬＤ２が、画素チップ１４０における同一の端側（本例では、右端側）に配置された接続部１４１に接続されている。
　（回路チップ１５０）
　図１８に示すように、第３例に係る回路チップ１５０の平面レイアウトは、図１６を用いて説明した第２例に係る平面レイアウトと同様のレイアウトにおいて、ＲＧＢ信号処理回路１８１及びＲＧＢデータ処理部１８２とＩＲ信号処理回路１９１及びＩＲデータ処理部１９２とからなる読出し系が、回路チップ１５０の一方の端側（本例では左端側）に寄せて配置され、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とからなる駆動系が、回路チップの他の端側（本例では右端側）に寄せて配置されている。ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とは、それぞれの接続部１５１が対向するように配置されている。なお、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とは、位置が入れ替わってもよい。同様に、ＲＧＢ信号処理回路１８１及びＲＧＢデータ処理部１８２と、ＩＲ信号処理回路１９１及びＩＲデータ処理部１９２とは、位置が入れ替わってもよい。
　このように、第３例では、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とが対向して配置され、それにより、それぞれの接続部１５１が近接して配置される。このような構成によれば、ＲＧＢ駆動回路１６０からＲＧＢ画素１０までの配線長と、ＩＲ駆動回路１７０からＩＲ画素２０までの配線長とを略一致させることが可能となるため、より高精度の制御が可能となる。
　また、第３例によれば、第１例及び第２例と同様に、ＲＧＢ画素１０に対する駆動系及び読出し系と、ＩＲ画素２０に対する駆動系及び読出し系とが互いに独立した異なる構成であるため、同じ単位画素１１０におけるＲＧＢ画素１０及びＩＲ画素２０から同時又は略同時に画素信号を読み出すことが可能となる。それにより、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレを抑制することが可能となるため、異なるセンサにより取得された情報を統合的に処理することで得られた結果の精度を向上することが可能となる。
　１．１１．４　第４例
　第４例では、ＲＧＢ画素１０に対する読出し系の一部とＩＲ画素２０に対する読出し系の一部とが共通化された場合について説明する。なお、第４例では、ＲＧＢ画素１０に対する駆動系とＩＲ画素２０に対する駆動系とは、第１例～第３例と同様に、別々に設けられてよい。また、第４例では、第２例をベースとした場合を例示するが、これに限定されず、他の例をベースとすることも可能である。図１９及び図２０は、第４例に係るレイアウト例を示す平面図であり、図１９は、画素チップ１４０の平面レイアウト例を示し、図２０は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図１９に示すように、第４例に係る画素チップ１４０の平面レイアウトは、図１５を用いて説明した第２例に係る平面レイアウトと同様のレイアウトにおいて、ＲＧＢ駆動線ＬＤ１及びＩＲ駆動線ＬＤ２が、画素チップ１４０における同一の端（本例では、下端）に向けて引き出されている。引き出されたＲＧＢ駆動線ＬＤ１とＩＲ駆動線ＬＤ２とは、画素アレイ部１０１外に設けられたスイッチ回路１３１を介して、共通の垂直信号線ＶＳＬに接続される。この垂直信号線ＶＳＬは、画素チップ１４０の下端側に配置された接続部１４１に接続されている。
　（回路チップ１５０）
　図２０に示すように、第４例に係る回路チップ１５０では、信号処理回路１０３として、ＲＧＢ画素１０及びＩＲ画素２０とで共有される共通信号処理回路２１０が設けられる。共通信号処理回路２１０は、回路チップ１５０の下端側に配置された接続部１５１に接続されており、ＲＧＢ画素１０から読み出された画素信号からデジタルのカラー画像信号を生成してＲＧＢデータ処理部１８２に入力し、ＩＲ画素２０から読み出された画素信号からでデジタルのモノクロ画像信号を生成してＩＲデータ処理部１９２に入力する。
　このように、第４例では、ＲＧＢ画素１０とＩＲ画素２０とが共通信号処理回路２１０を共用する。それにより、個別の信号処理回路１８１及び１９１を設ける場合よりも、信号処理回路１０３の回路規模を縮小することが可能となるため、回路チップ１５０における信号処理回路１０３の占有面積を縮小することが可能となる。
　また、共通信号処理回路２１０に接続される垂直信号線を垂直信号線ＶＳＬ１及び垂直信号線ＶＳＬ２のいずれかに切り替えるためのスイッチ回路１３１を画素チップ１４０に設けることで、画素チップ１４０の垂直信号線を回路チップ１５０まで電気的に引き回すための接続部１４１及び１５１を半分に削減することが可能となるため、画素チップ１４０における接続部１４１の占有面積及び回路チップ１５０における接続部１５１の占有面積を縮小することが可能となる。
　なお、ＲＧＢ画素１０とＩＲ画素２０とで共通信号処理回路２１０を共用する場合、ＲＧＢ画素１０に対する読出しとＩＲ画素２０に対する読出しとは、例えば、時分割で実行されてよい。
　また、第４例では、共通信号処理回路２１０に接続される垂直信号線をスイッチ回路１３１を用いて垂直信号線ＶＳＬ１及び垂直信号線ＶＳＬ２のいずれかに切り替える場合を例示したが、これに限定されず、垂直信号線ＶＳＬ１及び垂直信号線ＶＳＬ２の両方が、接続部１５１を介して回路チップ１５０側の共通信号処理回路２１０に接続されてもよい。
　１．１１．５　第５例
　第５例では、ＲＧＢ画素１０に対する駆動系の一部とＩＲ画素２０に対する駆動系の一部とが共通化された場合について説明する。なお、第５例では、ＲＧＢ画素１０に対する読出し系とＩＲ画素２０に対する読出し系とは、第１例～第３例と同様に、別々に設けられてよい。また、第５例では、第１例をベースとした場合を例示するが、これに限定されず、他の例をベースとすることも可能である。図２１及び図２２は、第５例に係るレイアウト例を示す平面図であり、図２１は、画素チップ１４０の平面レイアウト例を示し、図２２は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図２１に示すように、第５例では、第１例に係る平面レイアウトと同様のレイアウトにおいて、各単位画素１１０のＲＧＢ画素１０にＲＧＢ駆動線ＬＤ１と共通駆動線ＬＤ３とが接続され、ＩＲ画素２０にＩＲ駆動線ＬＤ２と共通駆動線ＬＤ３とが接続される。すなわち、第５例では、共通駆動線ＬＤ３がＲＧＢ画素１０とＩＲ画素２０とで共用される。共通駆動線ＬＤ３は、ＲＧＢ駆動線ＬＤ１及びＩＲ駆動線ＬＤ２と同様に、行方向に延在していてもよいし、列方向に延在していてもよい。また、ＲＧＢ駆動線ＬＤ１、ＩＲ駆動線ＬＤ２及び共通駆動線ＬＤ３は、同一方向から延在していてもよいし、異なる方向から延在していてもよい。
　（回路チップ１５０）
　図２２に示すように、第５例では、画素駆動回路１０２が、ＲＧＢ駆動回路１６０と、ＩＲ駆動回路１７０と、共通駆動回路２００とから構成される。共通駆動回路２００は、ＲＧＢ駆動回路１６０におけるＲＳＴ駆動部１６２とＩＲ駆動回路１７０におけるＲＳＴ駆動部１７２とを共通化したＲＳＴ駆動部２０２と、ＲＧＢ駆動回路１６０におけるＳＥＬ駆動部１６４とＩＲ駆動回路１７０におけるＳＥＬ駆動部１７４とを共通化したＳＥＬ駆動部２０４とを備える。したがって、ＲＧＢ駆動回路１６０からは、ＲＳＴ駆動部１６２及びＳＥＬ駆動部１６４が省略され、ＩＲ駆動回路１７０からは、ＲＳＴ駆動部１７２及びＳＥＬ駆動部１７４が省略される。この共通駆動回路２００は、例えば、請求の範囲における第３駆動部の一例に相当し得る。
　共通駆動回路２００のＲＳＴ駆動部２０２は、共通駆動線ＬＤ３を介して、ＲＧＢ画素１０のリセットトランジスタ１２及びＩＲ画素２０のリセットトランジスタ２２の両方にリセット制御信号を供給する。また、ＳＥＬ駆動部２０４は、共通駆動線ＬＤ３を介して、ＲＧＢ画素１０の選択トランジスタ１４及びＩＲ画素２０の選択トランジスタ２４の両方に選択制御信号を供給する。
　このように、第５例では、ＲＧＢ駆動回路１６０及びＩＲ駆動回路１７０のうちの一部が共通化される。それにより、ＲＧＢ画素１０に対する駆動制御とＩＲ画素に対する駆動制御との同時性を向上させることが可能となるため、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレをより抑制することが可能となる。
　また、ＲＧＢ駆動回路１６０の一部とＩＲ駆動回路１７０の一部とが共通化されるため、個別のＲＧＢ駆動回路１６０及びＩＲ駆動回路１７０を設ける場合よりも、画素駆動回路１０２の回路規模を縮小することが可能となる。それにより、回路チップ１５０における画素駆動回路１０２の占有面積を縮小することが可能となる。
　１．１１．６　第６例
　第６例では、第５例と同様に、ＲＧＢ画素１０に対する駆動系の一部とＩＲ画素２０に対する駆動系の一部とが共通化された場合について説明する。なお、第６例では、第５例をベースとした場合を例示するが、これに限定されず、他の例をベースとすることも可能である。図２３及び図２４は、第６例に係るレイアウト例を示す平面図であり、図２３は、画素チップ１４０の平面レイアウト例を示し、図２４は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図２３に示すように、第６例に係る画素チップ１４０の平面レイアウトは、図２１に例示した第５例に係る画素チップ１４０の平面レイアウト例と同様であってよい。ただし、図２３では、画素チップ１４０に設けられた各種素子を回路チップ１５０側の素子に電気的に接続するための接続部１４１が示されている。また、図２３では、図面中、ＲＧＢ駆動線ＬＤ１が左側の接続部１４１に接続され、ＩＲ駆動線ＬＤ２及び共通駆動線ＬＤ３が右端側の接続部１４１に接続され、垂直信号線ＶＳＬ１が下側の接続部１４１に接続され、垂直信号線ＶＳＬ２が上側の接続部１４１に接続されている。
　（回路チップ１５０）
　図２４に示すように、第６例では、第５例と同様に、画素駆動回路１０２が、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０と共通駆動回路２００とから構成され、信号処理回路１０３が、ＲＧＢ信号処理回路１８１とＩＲ信号処理回路１９１とから構成され、データ処理部１０８が、ＲＧＢデータ処理部１８２とＩＲデータ処理部１９２とから構成されている。
　第６例において、ＲＧＢ駆動回路１６０は、例えば、回路チップ１５０の左側に寄せて配置され、回路チップ１５０の左端の接続部１５１に接続される。一方、ＩＲ駆動回路１７０及び共通駆動回路２００は、例えば、回路チップ１５０の右側に寄せて配置され、回路チップ１５０の右端の接続部１５１に接続される。ＩＲ駆動回路１７０と共通駆動回路２００とは、それぞれの接続部１５１が対向するように配置されている。なお、ＲＧＢ駆動回路１６０、ＩＲ駆動回路１７０及び共通駆動回路２００は、位置が入れ替わってもよい。
　このように、第６例では、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０と共通駆動回路２００とが回路チップ１５０の左右に分かれて配置されている。このような構成によれば、画素チップ１４０側のＲＧＢ画素１０への接続構成とＩＲ画素２０への接続構成とを左右に分散することが可能となるため、上述した第２例と同様に、配線や接続端子の密集を緩和することが可能となる。それにより、配線間等のカップリングによる特性劣化を抑制することが可能となる。
　また、ＲＧＢ駆動回路１６０の接続部１５１とＩＲ駆動回路１７０の接続部１５１と共通駆動回路２００の接続部１５１とが回路チップ１５０の左右端に配置されているため、ＲＧＢ駆動回路１６０及び共通駆動回路２００からＲＧＢ画素１０までの平均的な配線長と、ＩＲ駆動回路１７０及び共通駆動回路２００からＩＲ画素２０までの平均的な配線長とを略一致させることが可能となるため、より高精度の制御が可能となる。
　さらに、第６例によれば、第５例と同様に、ＲＧＢ駆動回路１６０及びＩＲ駆動回路１７０のうちの一部が共通化されるため、ＲＧＢ画素１０に対する駆動制御とＩＲ画素に対する駆動制御との同時性を向上させることが可能となり、それにより、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレをより抑制することが可能となる。
　さらにまた、ＲＧＢ駆動回路１６０の一部とＩＲ駆動回路１７０の一部とが共通化されるため、回路チップ１５０における画素駆動回路１０２の占有面積を縮小することが可能となる。
　１．１１．７　第７例
　第７例では、第５例及び第６例と同様に、ＲＧＢ画素１０に対する駆動系の一部とＩＲ画素２０に対する駆動系の一部とが共通化された場合について説明する。なお、第７例では、第６例をベースとした場合を例示するが、これに限定されず、他の例をベースとすることも可能である。図２５及び図２６は、第７例に係るレイアウト例を示す平面図であり、図２５は、画素チップ１４０の平面レイアウト例を示し、図２６は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図２５に示すように、第７例では、各単位画素１１０のＲＧＢ画素１０が、紙面中下端側に配置された接続部１４１に接続する垂直信号線ＶＳＬ１と、紙面中上端側に配置された接続部１４１に接続する垂直信号線ＶＳＬ３とのいずれかに接続される。垂直信号線ＶＳＬ１は、例えば、列方向に延在し、画素チップ１４０の下端に配置された接続部１４１を介して回路チップ１５０側に電気的に引き回される。一方、垂直信号線ＶＳＬ３は、例えば、列方向に延在し、画素チップ１４０の上端に配置された接続部１４１を介して回路チップ１５０側に電気的に引き回される。
　ＲＧＢ画素１０が垂直信号線ＶＳＬ１と垂直信号線ＶＳＬ３とのいずれに接続されるかは、例えば、各ＲＧＢ画素１０が検出対象とする波長成分（すなわち、各ＲＧＢ画素１０に割り当てられたカラーフィルタ３１の種類）に基づいて決定されてもよい。例えば、カラーフィルタ３１のアレイをベイヤー配列で構成した場合、赤色（Ｒ）の波長成分を検出するＲＧＢ画素１０及び青色（Ｂ）の波長成分を検出するＲＧＢ画素１０を垂直信号線ＶＳＬ１に接続し、緑色（Ｇ）の波長成分を検出するＲＧＢ画素１０を垂直信号線ＶＳＬ３に接続するように構成されてもよい。ただし、このような接続関係に限定されず、例えば、奇数列又は奇数行のＲＧＢ画素１０を垂直信号線ＶＳＬ１に接続し、偶数列又は偶数行のＲＧＢ画素１０を垂直信号線ＶＳＬ３に接続したり、画素アレイ部１０１における下半分のＲＧＢ画素１０を垂直信号線ＶＳＬ１に接続し、上半分のＲＧＢ画素１０を垂直信号線ＶＳＬ３に接続したりなど、種々変形することが可能である。
　（回路チップ１５０）
　図２６に示すように、第７例では、第６例と同様に、画素駆動回路１０２が、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０と共通駆動回路２００とから構成される。一方、信号処理回路１０３は、ＲＧＢ信号処理回路１８１と共通信号処理回路２１０とから構成される。データ処理部１０８は、ＲＧＢデータ処理部１８２とＩＲデータ処理部１９２とから構成される。共通信号処理回路２１０は、例えば、請求の範囲における第２読出し部の他の一例に相当し得る。
　共通信号処理回路２１０には、一部のＲＧＢ画素１０からの画素信号が垂直信号線ＶＳＬ３を介して入力される。また、共通信号処理回路２１０には、ＩＲ画素２０からの画素信号も入力される。共通信号処理回路２１０は、垂直信号線ＶＳＬ３から入力されたアナログの画素信号からデジタルのカラー画像信号を生成してＲＧＢデータ処理部１８２に入力し、垂直信号線ＶＳＬ２から入力されたアナログの画素信号からでデジタルのモノクロ画像信号を生成してＩＲデータ処理部１９２に入力する。
　このように、第７例では、ＲＧＢ画素１０からの読出しがＲＧＢ信号処理回路１８１と共通信号処理回路２１０とに分散される。それにより、複数のＲＧＢ画素１０に対する読出し動作を並列に実行することが可能となるため、カラー画像の読出し速度を向上することが可能となる。
　なお、第７例では、ＲＧＢ画素１０からの読出しを並列化した場合を例示したが、これに限定されず、ＩＲ画素２０からの読出しを並列化するように構成することも可能である。
　１．１１．８　第８例
　第８例では、ＲＧＢ画素１０に対する読出し系の一部とＩＲ画素２０に対する読出し系の一部とが共通化され、且つ、ＲＧＢ画素１０に対する駆動系の一部とＩＲ画素２０に対する駆動系の一部とが共通化された場合について説明する。なお、第８例では、読出し系の共通化については第４例をベースとし、駆動系の共通化については第６例をベースとした場合を例示するが、これに限定されず、他の例をベースとすることも可能である。図２７及び図２８は、第７例に係るレイアウト例を示す平面図であり、図２７は、画素チップ１４０の平面レイアウト例を示し、図２８は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図２７に示すように、第７例に係る画素チップ１４０の平面レイアウトでは、図２３を用いて説明した第６例に係る平面レイアウトと同様のレイアウトにおいて、ＲＧＢ駆動線ＬＤ１が画素チップ１４０の左端に配置された接続部１４１から引き出され、ＩＲ駆動線ＬＤ２が上端に配置された接続部１４１から引き出され、共通駆動線ＬＤ３が右端に配置された接続部１４１から引き出されている。なお、第７例では、第４例におけるスイッチ回路１３１が省略されているが、図１９を用いて説明したように、垂直信号線ＶＳＬ１及びＶＳＬ２に対してスイッチ回路１３１が設けられてもよい。
　（回路チップ１５０）
　図２８に示すように、第４例では、ＲＧＢ駆動回路１６０が回路チップ１５０における左側に配置され、ＩＲ駆動回路１７０が中央上側に配置され、共通駆動回路２００が右側に配置され、共通信号処理回路２１０とＲＧＢデータ処理部１８２とＩＲデータ処理部１９２とが中央下側に配置されている。
　このように、ＲＧＢ画素１０及びＩＲ画素２０に対する読出し系の一部を共通化した構成において、ＲＧＢ画素１０及びＩＲ画素２０に対する駆動系の一部をさらに共通化した場合には、ＲＧＢ駆動回路１６０に接続される接続部１５１と、ＩＲ駆動回路１７０に接続される接続部１５１と、共通駆動回路２００に接続される接続部１５１と、共通信号処理回路２１０に接続される接続部１５１とを、回路チップ１５０の４辺に分散することが可能となる。それにより、配線や接続端子の密集を緩和することが可能となるため、配線間等のカップリングによる特性劣化を抑制することが可能となる。
　また、第７例では、第４例と同様に、ＲＧＢ画素１０とＩＲ画素２０とで共通信号処理回路２１０を共用することで、回路チップ１５０における信号処理回路１０３の占有面積を縮小することが可能となる。さらに、第７例では、第６例と同様に、ＲＧＢ駆動回路１６０及びＩＲ駆動回路１７０のうちの一部が共通化されるため、ＲＧＢ画素１０に対する駆動制御とＩＲ画素に対する駆動制御との同時性を向上させることが可能となり、それにより、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレをより抑制することが可能となる。
　さらにまた、駆動系の一部と読出し系の一部とが共通化されるため、回路チップ１５０における画素駆動回路１０２及び信号処理回路１０３の占有面積を縮小することが可能となる。
　１．１１．９　第９例
　第９例では、ＲＧＢ画素１０に対する駆動系とＩＲ画素２０に対する駆動系とが共通化された場合について説明する。なお、第９例では、ＲＧＢ画素１０に対する読出し系とＩＲ画素２０に対する読出し系とは、別々に設けられてよい。また、第９例では、第１例をベースとした場合を例示するが、これに限定されず、他の例をベースとすることも可能である。図２９及び図３０は、第９例に係るレイアウト例を示す平面図であり、図２９は、画素チップ１４０の平面レイアウト例を示し、図３０は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図２９に示すように、第９例に係る画素チップ１４０の平面レイアウトでは、図１３を用いて説明した第１例に係る平面レイアウトと同様のレイアウトにおいて、ＲＧＢ駆動線ＬＤ１及びＩＲ駆動線ＬＤ２が、ＲＧＢ画素１０及びＩＲ画素２０で共用される共通駆動線ＬＤ３に置き換えられている。
　（回路チップ１５０）
　図３０に示すように、第９例では、画素駆動回路１０２が、ＲＧＢ画素１０及びＩＲ画素２０で共用される共通駆動回路２００から構成されている。本例において、共通駆動回路２００は、ＲＧＢ画素１０の転送ゲート１１とＩＲ画素２０の転送トランジスタ２１とに転送制御信号を供給するＴＧ駆動部２０１と、ＲＧＢ画素１０のリセットトランジスタ１２とＩＲ画素２０のリセットトランジスタ２２とにリセット制御信号を供給するＲＳＴ駆動部２０２と、ＲＧＢ画素１０の選択トランジスタ１４とＩＲ画素２０の選択トランジスタ２４とに選択制御信号を供給するＳＥＬ駆動部２０４と、ＩＲ画素２０の排出トランジスタ２５とに排出制御信号を供給するＯＦＧ駆動部２０５とを備える。
　このように、第９例では、ＲＧＢ駆動回路１６０及びＩＲ駆動回路１７０が共通化される。それにより、ＲＧＢ画素１０に対する駆動制御とＩＲ画素に対する駆動制御との同時性をより向上させることが可能となるため、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレをより抑制することが可能となる。
　また、ＲＧＢ駆動回路１６０とＩＲ駆動回路１７０とが共通化されるため、個別のＲＧＢ駆動回路１６０及びＩＲ駆動回路１７０を設ける場合よりも、画素駆動回路１０２の回路規模を大幅に縮小することが可能となる。それにより、回路チップ１５０における画素駆動回路１０２の占有面積をより縮小することが可能となる。
　１．１１．１０　第１０例
　第１０例では、第９例で例示した平面レイアウトにおいて、画素チップ１４０及び回路チップ１５０に接続部１４１及び１５１を配置した平面レイアウトを例示する。図３１及び図３２は、第１０例に係るレイアウト例を示す平面図であり、図３１は、画素チップ１４０の平面レイアウト例を示し、図３２は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ１４０）
　図３１に示すように、第１０例において、例えば、共通駆動線ＬＤ３は画素チップ１４０の左端に配置された接続部１４１に接続されてよく、垂直信号線ＶＳＬ１は画素チップ１４０の下端に配置された接続部１４１に接続されてよく、垂直信号線ＶＳＬ２は画素チップ１４０の上端に配置された接続部に接続されてよい。ただし、これに限定されず、垂直信号線ＶＳＬ１及びＶＳＬ２並びに共通駆動線ＬＤ３は、それぞれ列方向に延在していてもよいし、行方向に延在していてもよい。また、垂直信号線ＶＳＬ１及びＶＳＬ２並びに共通駆動線ＬＤ３は、同一方向から延在していてもよいし、異なる方向から延在していてもよい。
　（回路チップ１５０）
　図３０に示すように、回路チップ１５０における接続部１５１は、画素チップ１４０における接続部１４１の配置と対応するように配置されてよい。このような対応関係は、他の例についても同様であってよい。
　１．１１．１１　第１１例
　上述した第１例～第１０例では、イメージセンサ１００が画素チップ１４０と回路チップ１５０とを貼り合わせることで構成された２層の積層チップである場合を例示したが、イメージセンサ１００の積層構造は２層に限定されず、１層又は３層以上であってもよい。そこで、第１１例では、イメージセンサ１００を３層の積層チップとした場合について説明する。なお、第１１例では、第１０例をベースとした場合を例示するが、これに限定されず、他の例をベースとすることも可能である。図３３～図３５は、第１１例に係るレイアウト例を示す平面図であり、図３３は、上層画素チップ１４０Ａの平面レイアウト例を示し、図３４は、下層画素チップ１４０Ｂの平面レイアウト例を示し、図３５は、回路チップ１５０の平面レイアウト例を示している。
　（画素チップ）
　図３３及び図３４に例示するように、第１１例では、画素チップ１４０が、光の入射面側に配置される上層画素チップ１４０Ａと、回路チップ１５０側に配置される下層画素チップ１４０Ｂとを貼り合わせた２層構造を有する。
　・上層画素チップ１４０Ａ
　上層画素チップ１４０Ａには、例えば、各単位画素１１０における受光部１１０Ａが配置される。受光部１１０Ａの配列は、画素アレイ部１０１における単位画素１１０の配列と同様に、２次元格子状であってよい。
　受光部１１０Ａには、例えば、図４に例示した単位画素１１０の構成における、ＲＧＢ画素１０の光電変換部ＰＤ１及び転送ゲート１１と、ＩＲ画素２０の光電変換部ＰＤ２及び転送トランジスタ２１とが含まれ得る。すなわち、図３３におけるＲＧＢ画素１０Ａには、光電変換部ＰＤ１及び転送ゲート１１が含まれ得、ＩＲ画素２０Ａには、光電変換部ＰＤ２、転送トランジスタ２１及び排出トランジスタ２５が含まれ得る。
　ＲＧＢ画素１０Ａの転送ゲート１１とＩＲ画素２０Ａの転送トランジスタ２１及び排出トランジスタ２５とには、上層画素チップ１４０Ａの左端に配置された接続部１４１Ａを介して、共通駆動線ＬＤ３における駆動線ＬＤ３ａが接続される。
　・下層画素チップ１４０Ｂ
　下層画素チップ１４０Ｂには、例えば、各単位画素１１０における画素回路１１０Ｂが配置される。画素回路１１０Ｂの配列は、画素アレイ部１０１における単位画素１１０の配列と同様に、２次元格子状であってよい。
　画素回路１１０Ｂには、例えば、図４に例示した単位画素１１０の構成における、ＲＧＢ画素１０のリセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４と、ＩＲ画素２０のリセットトランジスタ２２、浮遊拡散領域ＦＤ２、増幅トランジスタ２３及び選択トランジスタ２４とが含まれ得る。すなわち、図３４におけるＲＧＢ画素１０Ｂには、リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４が含まれ得、ＩＲ画素２０Ｂには、リセットトランジスタ２２、浮遊拡散領域ＦＤ２、増幅トランジスタ２３及び選択トランジスタ２４が含まれ得る。
　ＲＧＢ画素１０Ｂのリセットトランジスタ１２とＩＲ画素２０Ｂのリセットトランジスタ２２とには、下層画素チップ１４０Ｂの左端に配置された接続部１４１Ｂを介して、共通駆動線ＬＤ３における駆動線ＬＤ３ｂが接続される。同様に、ＲＧＢ画素１０Ｂの選択トランジスタ１４とＩＲ画素２０Ｂの選択トランジスタ２４とには、接続部１４１Ｂを介して駆動線ＬＤ３ｂが接続される。
　また、ＲＧＢ画素１０及びＩＲ画素２０からそれぞれ画素信号を読み出すための垂直信号線ＶＳＬ１及びＶＳＬ２は、下層画素チップ１４０Ｂに設けられてよい。例えば、ＲＧＢ画素１０から画素信号を読み出すための垂直信号線ＶＳＬ１は下層画素チップ１４０Ｂの下端に配置された接続部１４１Ｂに接続され、ＩＲ画素２０から画素信号を読み出すための垂直信号線ＶＳＬ２は下層画素チップ１４０Ｂの上端に配置された接続部１４１Ｂに接続されてよい。
　（回路チップ１５０）
　第１１例に係る回路チップ１５０の平面レイアウトは、例えば、第１０例で例示した回路チップ１５０の平面レイアウトと同様であってよい。なお、共通駆動回路２００から延在する共通駆動線ＬＤ３には、駆動線ＬＤ３ａ及びＬＤ３ｂが含まれている。
　このように、第１１例では、ＲＧＢ画素１０における光電変換部ＰＤ１及び転送ゲート１１と、リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４とが、上層画素チップ１４０Ａと下層画素チップ１４０Ｂに分かれて配置される。それにより、上層画素チップ１４０Ａにおける光電変換部ＰＤ１の受光面を拡大することが可能となるため、入射光に対する有効受光面積を拡大して光電変換効率（量子効率）を向上させることや、ＲＧＢ画素１０の高解像度化などが可能となる。同様に、ＩＲ画素２０における光電変換部ＰＤ２、転送トランジスタ２１及び排出トランジスタ２５と、リセットトランジスタ２２、浮遊拡散領域ＦＤ２、増幅トランジスタ２３及び選択トランジスタ２４とが、上層画素チップ１４０Ａと下層画素チップ１４０Ｂに分かれて配置されることにより、光電変換効率の向上や高解像度化が可能となる。
　また、本例では、画素アレイ部１０１における全てのＲＧＢ画素１０とＩＲ画素２０との両方を全画素同時駆動方式（いわゆる、グローバルシャッタ方式）の構成とした場合、ＲＧＢ画素１０とＩＲ画素２０とで画素回路１１０Ｂを構成するトランジスタの種類をそろえることが可能となるため、共通駆動線ＬＤ３の配線レイアウトを簡易化することも可能である。
　（変形例）
　なお、第１１例では、画素チップ１４０を２層構造にして全体で３層構造とした場合を例示したが、これに限定されない。例えば、画素チップ１４０と回路チップ１５０の他に、図３６に例示するようなフレームメモリ２５２が配置された回路チップ２５０を追加した３層構造とすることも可能である。このような構成では、例えば、ＲＧＢデータ処理部１８２で処理されたカラー画像データが信号線ＳＬ１を介してフレームメモリ２５２内に格納され得、ＩＲデータ処理部１９２で処理されたモノクロ画像データが信号線ＳＬ２を介してフレームメモリ２５２内に格納され得る。
　このように、イメージセンサ１００内にフレームメモリ２５２を組み込むことで、高速読出しが可能な高性能イメージセンサを実現することが可能である。その場合、回路チップ２５０は、画素チップ１４０と回路チップ１５０との間に配置されてもよいし、回路チップ１５０を挟んで画素チップ１４０とは反対側に配置されてもよい。また、イメージセンサ１００を４層以上の積層構造とした場合には、回路チップ１５０及び２５０は、２層目以降のどの層に配置されてもよい。
　１．１２　作用・効果
　以上のように、第１の実施形態によれば、光の入射方向にＲＧＢ画素１０の光電変換部ＰＤ１とＩＲ画素２０の光電変換部ＰＤ２とが配置される。それにより、ＲＧＢ画素１０とＩＲ画素２０との入射光に対する同軸性を向上することが可能となるため、カラー画像とモノクロ画像との間に発生する空間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　また、一部の例では、同じ単位画素１１０におけるＲＧＢ画素１０及びＩＲ画素２０から同時又は略同時に画素信号を読み出すことが可能であるため、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することも可能となる。
　２．第２の実施形態
　次に、第２の実施形態について図面を参照して詳細に説明する。なお、以下の説明では、上述した実施形態と同様の構成については、それらを引用することで、重複する説明を省略する。
　上述した第１の実施形態では、１つのＲＧＢ画素１０に対して１つのＩＲ画素２０が対応付けられている場合を例に挙げた。これに対し、第２の実施形態では、１つのＩＲ画素２０に対して複数のＲＧＢ画素１０が対応付けられている場合を例に挙げる。
　２．１　画素アレイ部の構成例
　まず、本実施形態に係る画素アレイ部１０１の構成例について説明する。なお、ここでは、第１の実施形態と同様に、単位画素３１０が、ＲＧＢ三原色のカラー画像を取得するためのＲＧＢ画素と、赤外（ＩＲ）光のモノクロ画像を取得するためのＩＲ画素とを含む場合を例示に挙げる。また、ＲＧＢ画素１０は、例えば、ベイヤー配列に従って配列しているものとする。
　図３７は、本実施形態に係る画素アレイ部の概略構成例を示す模式図である。図３７に示すように、画素アレイ部１０１は、２行２列に配列した４つのＲＧＢ画素１０に対して１つのＩＲ画素２０が光の入射方向に配置された構造を備える単位画素３１０が２次元格子状に配列した構成を備える。すなわち、本実施形態では、４つのＲＧＢ画素１０に対して１つのＩＲ画素２０が、単位画素３１０の配列方向（平面方向）に対して垂直方向に位置されており、入射光の光路における上流側に位置する４つのＲＧＢ画素１０を透過した光が、これら４つのＲＧＢ画素１０の下流側に位置する１つのＩＲ画素２０に入射するように構成されている。したがって、本実施形態では、４つのＲＧＢ画素１０で構成されたベイヤー配列の単位配列とＩＲ画素２０との入射光の光軸が一致又は略一致している。
　２．２　単位画素の回路構成例
　図３８は、本実施形態に係る単位画素の概略構成例を示す回路図である。なお、図３８では、第１の実施形態において図６を用いて説明した第２の変形例に係る単位画素１１０－２をベースとしているが、これに限定されず、単位画素１１０～１１０－３のいずれをベースとすることも可能である。
　図３８に示すように、単位画素３１０は、複数のＲＧＢ画素１０－１～１０－Ｎ（図３７では、Ｎは４）と、１つのＩＲ画素２０とを備える。このように、１つの単位画素３１０が複数のＲＧＢ画素１０を備える場合、第１の実施形態において図７を用いて説明した第３の変形例のように、複数のＲＧＢ画素１０で１つの画素回路（リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４）を共有することが可能である（画素共有）。そこで、本実施形態では、複数のＲＧＢ画素１０－１～１０－Ｎが、リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４よりなる画素回路を共有する。すなわち、本実施形態では、共通の浮遊拡散領域ＦＤ１に複数の光電変換部ＰＤ１及び転送ゲート１１が接続されている。
　２．３　単位画素の断面構造例
　図３９は、本実施形態に係るイメージセンサの断面構造例を示す断面図である。なお、本説明では、図３７と同様に、各単位画素３１０が２行２列に配列した４つのＲＧＢ画素１０と、１つのＩＲ画素２０とから構成されている場合を例に挙げる。また、以下の説明では、図８と同様に、単位画素３１０における光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。さらに、以下の説明において、第１の実施形態において図８を用いて説明したイメージセンサ１００の断面構造と同様の構造については、それらを引用することで、重複する説明を省略する。
　図３９に示すように、本実施形態では、図８に例示した断面構造と同様の断面構造において、オンチップレンズ５１と、カラーフィルタ３１と、蓄積電極３７とが、２行２列の４つ（ただし、図３９では４つのうちの２つが示されている）に分割され、それにより、４つのＲＧＢ画素１０が構成されている。なお、各単位画素３１０における４つのＲＧＢ画素１０は、ベイヤー配列の基本配列を構成していてよい。
　２．４　平面構造例
　図４０は、本実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図であり、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。なお、図４０において、（Ａ）～（Ｄ）は、半導体基板５０の素子形成面と平行な面の平面レイアウト例を示している。
　図４０の（Ａ）～（Ｄ）に示すように、本実施形態では、１つの単位画素３１０に対して、４つのオンチップレンズ５１と、４つのカラーフィルタ３１と、４つの蓄積電極３７と、１つの光電変換部ＰＤ２とが設けられている。なお、本説明において、１つの蓄積電極３７は１つのＲＧＢ画素１０に相当し、１つの光電変換部ＰＤ２は１つのＩＲ画素２０に相当する。
　このように、１つの単位画素１１０において、４つのＲＧＢ画素１０よりなるベイヤー配列の基本配列と１つのＩＲ画素２０とを入射光の進行方向に沿って配列させることで、各ＲＧＢ画素１０とＩＲ画素２０との入射光に対する同軸性を向上することが可能となるため、カラー画像とモノクロ画像との間に発生する空間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　２．５　オンチップレンズの変形例
　上述した第２の実施形態では、１つのＲＧＢ画素１０に対して１つのオンチップレンズ５１を設けた場合を例示したが、これに限定されず、複数のＲＧＢ画素１０に対して１つのオンチップレンズを設けることも可能である。図４１は、第２の実施形態のオンチップレンズの変形例に係る画素アレイ部の各層の平面レイアウト例を示す図であり、図４０と同様に、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。
　図４１に示すオンチップレンズの変形例では、（Ａ）に示すように、複数の単位画素３１０のうちの一部の単位画素３１０において行方向に配列する２つのオンチップレンズ５１が、２つのＲＧＢ画素１０に跨る２×１画素の１つのオンチップレンズ３５１に置き換えられている。また、図４１の（Ｂ）に示すように、オンチップレンズ３５１を共有する２つのＲＧＢ画素１０には、同じ波長成分を選択的に透過させるカラーフィルタ３１が設けられる。図４１の（Ｂ）に示す例では、左上の単位画素３１０において、本来ベイヤー配列における青色（Ｂ）の波長成分を選択的に透過させるカラーフィルタ３１ｂが緑色（Ｇ）の波長成分を選択的に透過させるカラーフィルタ３１ｇに置き換えられ、これにより、オンチップレンズ３５１を共有する２つのＲＧＢ画素１０のカラーフィルタ３１がカラーフィルタ３１ｇに統一されている。
　なお、このようにカラーフィルタ３１が置き換えられたＲＧＢ画素１０については、ベイヤー配列に従って本来検出すべき波長成分の画素値が、例えば、周囲の画素の画素値から補間されてよい。この画素補間には、線形補間など、種々の手法が用いられてよい。
　また、オンチップレンズの変形例では、行方向に並ぶ２つのオンチップレンズ５１が共通化された場合を例示するが、これに限定されず、列方向に並ぶ２つのオンチップレンズ５１が共通化された構成や、１つの単位画素３１０に含まれる４つのオンチップレンズ５１の全てが１つのオンチップレンズに置き換えられた構成など、種々変形することも可能である。その場合、オンチップレンズを共有するＲＧＢ画素１０のカラーフィルタ３１には、同じ波長成分を選択的に透過させるカラーフィルタ３１が用いられてよい。
　さらに、隣接するＲＧＢ画素１０間でのオンチップレンズ５１の共有化は、第２の実施形態に限られず、第１の実施形態に対しても適用することが可能である。
　２．６　カラーフィルタ配列の変形例
　また、上述した実施形態及びその変形例では、カラーフィルタ３１のフィルタ配列として、ベイヤー配列を例示したが、これに限定されない。例えば、Ｘ－Ｔｒａｎｓ（登録商標）ＣＭＯＳセンサで採用されている３×３画素のカラーフィルタ配列や、４×４画素のクアッドベイヤー配列（クワドラ配列ともいう）や、ベイヤー配列にホワイトＲＧＢカラーフィルタを組み合わせた４×４画素のカラーフィルタ配列（ホワイトＲＧＢ配列ともいう）など、種々のフィルタ配列が用いられてよい。
　図４２は、第２の実施形態のカラーフィルタ配列の変形例に係る画素アレイ部の各層の平面レイアウト例を示す図であり、図４０及び図４１と同様に、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。
　図４２に示すカラーフィルタ配列の変形例では、（Ｂ）に示すように、カラーフィルタ配列として、２×２画素のベイヤー配列における個々のカラーフィルタ３１が２×２画素に分割された、全体で４×４画素のクワドラ配列が例示されている。このようなクワドラ配列では、図４２の（Ａ）に示すように、隣接する２つのＲＧＢ画素１０でオンチップレンズ５１を共通化した場合でも、（Ｂ）に示すように、これらのＲＧＢ画素１０におけるカラーフィルタ３１が元々揃っているため、カラーフィルタ３１の配列に変更を加える必要がなく、そのため、画素補間を行う必要も存在しない。
　２．７　作用・効果
　以上のように、第２の実施形態によれば、光の入射方向に４つのＲＧＢ画素１０の４つの光電変換部ＰＤ１と１つのＩＲ画素２０の１つの光電変換部ＰＤ２とが配置される。そのような構成の場合でも、第１の実施形態と同様に、各ＲＧＢ画素１０とＩＲ画素２０との入射光に対する同軸性を向上することが可能となるため、カラー画像とモノクロ画像との間に発生する空間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　また、第１の実施形態と同様に、同じ単位画素１１０におけるＲＧＢ画素１０及びＩＲ画素２０から同時又は略同時に画素信号を読み出すことも可能であるため、ＲＧＢ画素１０から得られるカラー画像とＩＲ画素２０から得られるモノクロ画像（ＩＲ画像）との時間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することも可能となる。
　その他の構成、動作及び効果は、上述した第１の実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　３．移動体への応用例
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４４は、撮像部１２０３１の設置位置の例を示す図である。
　図４４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図４４に例示する撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等として、車両１２１００に搭載されてよい。撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等に本開示に係る技術を適用することにより、異なるセンサにより取得された情報（例えば、カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１波長帯の光を検出する第１センサと、
　前記第１波長帯とは異なる第２波長帯の光を検出する第２センサと、
　を備え、
　前記第１センサは、入射光における前記第１波長帯の光を検出する第１画素を備え、
　前記第２センサは、前記入射光のうちの前記第１画素を透過した前記第２波長帯の光を検出する第２画素を備える
　固体撮像装置。
（２）
　前記第１画素は、前記第１波長帯の光を光電変換する第１光電変換部を備え、
　前記第２画素は、前記第２波長帯の光を光電変換する第２光電変換部を備え、
　前記第２光電変換部は、前記第１光電変換部における前記第１波長帯の光の入射面と反対側の面側に配置されている
　前記（１）に記載の固体撮像装置。
（３）
　前記第１画素及び前記第２画素を備える第１チップと、
　前記第１画素及び前記第２画素を駆動する駆動部と、前記第１画素及び前記第２画素から画素信号を読み出す読出し部とを備える第２チップと、
　を備え、
　前記第１チップと前記第２チップとは、互いに接合されることで構成された積層チップである
　前記（２）に記載の固体撮像装置。
（４）
　前記第１チップは、前記第１光電変換部及び前記第２光電変換部を備える第３チップと、前記第１光電変換部に接続された第１画素回路及び前記第２光電変換部に接続された第２画素回路を備える第４チップとを接合することで構成された積層チップである
　前記（３）に記載の固体撮像装置。
（５）
　前記駆動部は、
　　前記第１画素に制御信号を供給する第１駆動部と、
　　前記第２画素に制御信号を供給する第２駆動部と、
　を含み、
　前記読出し部は、
　　前記第１画素が生成した第１画素信号を読み出す第１読出し部と、
　　前記第２画素が生成した第２画素信号を読み出す第２読出し部と、
　を含む
　前記（３）又は（４）に記載の固体撮像装置。
（６）
　前記第１駆動部と前記第２駆動部とは、前記第２チップにおける隣接する領域に配置され、
　前記第１読出し部と前記第２読出し部とは、前記第２チップにおける隣接する領域に配置される
　前記（５）に記載の固体撮像装置。
（７）
　前記第１読出し部及び前記第２読出し部は、前記第２チップにおける中央寄りの隣接する領域に配置され、
　前記第１駆動部及び前記第２駆動部は、前記第２チップにおける前記第１読出し部及び前記第２読出し部が配置された前記領域を挟む２つの領域に分かれて配置される
　前記（５）に記載の固体撮像装置。
（８）
　前記駆動部は、前記第１画素及び前記第２画素に共通の制御信号を供給する第３駆動部をさらに備える
　前記（５）に記載の固体撮像装置。
（９）
　前記第１駆動部と前記第２駆動部と前記第３駆動部とは、前記第２チップにおける隣接する領域に配置され、
　前記第１読出し部と前記第２読出し部とは、前記第２チップにおける隣接する領域に配置される
　前記（８）に記載の固体撮像装置。
（１０）
　前記第１駆動部から前記第３駆動部のうちの２つは、前記第２チップにおける隣接する領域に配置され、
　前記第１読出し部と前記第２読出し部とは、前記第２チップにおける隣接する領域であって前記第１駆動部から前記第３駆動部のうちの前記２つが配置された前記領域と隣接する前記領域に配置され、
　前記第１駆動部から前記第３駆動部のうちの残りの１つは、前記第２チップにおける前記第１読出し部及び前記第２読出し部が配置された領域を挟んで前記第１駆動部から前記第３駆動部のうちの前記２つが配置された前記領域と反対側の領域に配置される
　前記（８）に記載の固体撮像装置。
（１１）
　前記駆動部は、前記第１画素及び前記第２画素に共通の制御信号を供給し、
　前記読出し部は、
　　前記第１画素が生成した第１画素信号を読み出す第１読出し部と、
　　前記第２画素が生成した第２画素信号を読み出す第２読出し部と、
　を含む
　前記（３）又は（４）に記載の固体撮像装置。
（１２）
　前記駆動部は、
　　前記第１画素に制御信号を供給する第１駆動部と、
　　前記第２画素に制御信号を供給する第２駆動部と、
　を含み、
　前記読出し部は、前記第１画素が生成した第１画素信号及び前記第２画素が生成した第２画素信号を読み出す
　前記（３）又は（４）に記載の固体撮像装置。
（１３）
　前記読出し部は、前記第２チップにおける中央寄りの隣接する領域に配置され、
　前記第１駆動部及び前記第２駆動部は、前記第２チップにおける前記読出し部が配置された前記領域を挟む２つの領域に分かれて配置される
　前記（１２）に記載の固体撮像装置。
（１４）
　前記駆動部は、
　　前記第１画素に制御信号を供給する第１駆動部と、
　　前記第２画素に制御信号を供給する第２駆動部と、
　　前記第１画素及び前記第２画素に共通の制御信号を供給する第３駆動部と、
　を含み、
　前記読出し部は、
　　複数の前記第１画素の一部が生成した第１画素信号を読み出す第１読出し部と、
　　前記複数の第１画素の残りが生成した第１画素信号及び前記第２画素が生成した第２画素信号を読み出す第２読出し部と、
　を含む
　前記（３）又は（４）に記載の固体撮像装置。
（１５）
　前記複数の第１画素のうちの前記一部は、前記第１チップにおいて第３方向に延在する第１信号線を介して前記第１読出し部に接続され、前記残りは、前記第３方向とは反対方向の第４方向に延在する第２信号線を介して前記第２読出し部に接続される
　前記（１４）に記載の固体撮像装置。
（１６）
　前記駆動部は、
　　前記第１画素に制御信号を供給する第１駆動部と、
　　前記第２画素に制御信号を供給する第２駆動部と、
　　前記第１画素及び前記第２画素に共通の制御信号を供給する第３駆動部と、
　を含み、
　前記読出し部は、前記第１画素が生成した第１画素信号及び前記第２画素が生成した第２画素信号を読み出す
　前記（３）又は（４）に記載の固体撮像装置。
（１７）
　前記駆動部から出力された制御信号を前記第１画素に供給する第１駆動線は、前記第１チップにおいて第１方向に延在し、
　前記駆動部から出力された制御信号を前記第２画素に供給する第２駆動線は、前記第１チップにおいて前記第１方向と直行する第２方向に延在する
　前記（３）～（１６）の何れか１つに記載の固体撮像装置。
（１８）
　前記第１センサは、前記第２センサにおける１つの前記第２画素に対して複数の前記第１画素を備える
　前記（１）～（１７）の何れか１つに記載の固体撮像装置。
（１９）
　前記読出し部から出力されたデータを保持するフレームメモリを備える第５チップをさらに備え、
　前記第５チップは、前記第１チップと前記第２チップとの間、又は、前記第２チップを挟んで前記第１チップと反対側に接合されている
　前記（３）又は（４）に記載の固体撮像装置。
（２０）
　前記（１）～（１９）の何れか１つに記載の固体撮像装置と、
　前記第１センサによって取得されて前記固体撮像装置から出力された第１画像データと、前記第２センサによって取得されて前記固体撮像装置から出力された第２画像データとを処理するプロセッサと、
　を備える電子機器。
　１　電子機器
　２　撮像レンズ
　３　記憶部
　４　プロセッサ
　１０、１０－１～１０－Ｎ、１０Ａ、１０Ｂ　ＲＧＢ画素
　１１　転送ゲート
　１２、２２　リセットトランジスタ
　１３、２３　増幅トランジスタ
　１４、２４　選択トランジスタ
　２０、２０－１～２０－Ｎ、２０Ａ、２０Ｂ　ＩＲ画素
　２５　排出トランジスタ
　３１、３１ｒ、３１ｇ、３１ｂ　カラーフィルタ
　３２　封止膜
　３３　透明電極
　３４　光電変換膜
　３５　半導体層
　３６　読出し電極
　３７　蓄積電極
　４１　ＩＲフィルタ
　４２　ｐウェル領域
　４３　ｐ型半導体領域
　４４　ｎ型半導体領域
　４５　縦型トランジスタ
　５０　半導体基板
　５１、３５１　オンチップレンズ
　５２　平坦化膜
　５３　絶縁層
　５４　画素分離部
　５５　固定電荷膜
　５６　層間絶縁膜
　６１～６８　配線
　１００　固体撮像装置（イメージセンサ）
　１０１　画素アレイ部
　１０２　画素駆動回路
　１０３　信号処理回路
　１０３Ａ　ＡＤ変換回路
　１０４　カラム駆動回路
　１０５　システム制御部
　１０８　データ処理部
　１０９　データ格納部
　１１０、１１０－１～１１０－３、３１０　単位画素
　１１０Ａ　受光部
　１１０Ｂ　画素回路
　１３１、１３２、１３３　スイッチ回路
　１４０　画素チップ
　１４１、１４１Ａ、１４１Ｂ、１５１、２５１　接続部
　１５０、２５０　回路チップ
　１６０　ＲＧＢ駆動回路
　１６１、１７１、２０１　ＴＧ駆動部
　１６２、１７２、２０２　ＲＳＴ駆動部
　１６４、１７４、２０４　ＳＥＬ駆動部
　１７０　ＩＲ駆動回路
　１７５、２０５　ＯＦＧ駆動部
　１８１　ＲＧＢ信号処理回路
　１８２　ＲＧＢデータ処理部
　１９１　ＩＲ信号処理回路
　１９２　ＩＲデータ処理部
　２００　共通駆動回路
　２５２　フレームメモリ
　２１０　共通信号処理回路
　ＦＤ１、ＦＤ２　浮遊拡散領域
　ＬＤ　画素駆動線
　ＬＤ１　ＲＧＢ駆動線
　ＬＤ２　ＩＲ駆動線
　ＬＤ３　共通駆動線
　ＬＤ３ａ、ＬＤ３ｂ　駆動線
　ＰＤ１、ＰＤ２　光電変換部
　ＳＬ１、ＳＬ２　信号線
　ＶＳＬ、ＶＳＬ１、ＶＳＬ２、ＶＳＬ３　垂直信号線

Claims (20)

  1. 　第１波長帯の光を検出する第１センサと、
    　前記第１波長帯とは異なる第２波長帯の光を検出する第２センサと、
    　を備え、
    　前記第１センサは、入射光における前記第１波長帯の光を検出する第１画素を備え、
    　前記第２センサは、前記入射光のうちの前記第１画素を透過した前記第２波長帯の光を検出する第２画素を備える
    　固体撮像装置。
  2. 　前記第１画素は、前記第１波長帯の光を光電変換する第１光電変換部を備え、
    　前記第２画素は、前記第２波長帯の光を光電変換する第２光電変換部を備え、
    　前記第２光電変換部は、前記第１光電変換部における前記第１波長帯の光の入射面と反対側の面側に配置されている
    　請求項１に記載の固体撮像装置。
  3. 　前記第１画素及び前記第２画素を備える第１チップと、
    　前記第１画素及び前記第２画素を駆動する駆動部と、前記第１画素及び前記第２画素から画素信号を読み出す読出し部とを備える第２チップと、
    　を備え、
    　前記第１チップと前記第２チップとは、互いに接合されることで構成された積層チップである
    　請求項２に記載の固体撮像装置。
  4. 　前記第１チップは、前記第１光電変換部及び前記第２光電変換部を備える第３チップと、前記第１光電変換部に接続された第１画素回路及び前記第２光電変換部に接続された第２画素回路を備える第４チップとを接合することで構成された積層チップである
    　請求項３に記載の固体撮像装置。
  5. 　前記駆動部は、
    　　前記第１画素に制御信号を供給する第１駆動部と、
    　　前記第２画素に制御信号を供給する第２駆動部と、
    　を含み、
    　前記読出し部は、
    　　前記第１画素が生成した第１画素信号を読み出す第１読出し部と、
    　　前記第２画素が生成した第２画素信号を読み出す第２読出し部と、
    　を含む
    　請求項３に記載の固体撮像装置。
  6. 　前記第１駆動部と前記第２駆動部とは、前記第２チップにおける隣接する領域に配置され、
    　前記第１読出し部と前記第２読出し部とは、前記第２チップにおける隣接する領域に配置される
    　請求項５に記載の固体撮像装置。
  7. 　前記第１読出し部及び前記第２読出し部は、前記第２チップにおける中央寄りの隣接する領域に配置され、
    　前記第１駆動部及び前記第２駆動部は、前記第２チップにおける前記第１読出し部及び前記第２読出し部が配置された前記領域を挟む２つの領域に分かれて配置される
    　請求項５に記載の固体撮像装置。
  8. 　前記駆動部は、前記第１画素及び前記第２画素に共通の制御信号を供給する第３駆動部をさらに備える
    　請求項５に記載の固体撮像装置。
  9. 　前記第１駆動部と前記第２駆動部と前記第３駆動部とは、前記第２チップにおける隣接する領域に配置され、
    　前記第１読出し部と前記第２読出し部とは、前記第２チップにおける隣接する領域に配置される
    　請求項８に記載の固体撮像装置。
  10. 　前記第１駆動部から前記第３駆動部のうちの２つは、前記第２チップにおける隣接する領域に配置され、
    　前記第１読出し部と前記第２読出し部とは、前記第２チップにおける隣接する領域であって前記第１駆動部から前記第３駆動部のうちの前記２つが配置された前記領域と隣接する前記領域に配置され、
    　前記第１駆動部から前記第３駆動部のうちの残りの１つは、前記第２チップにおける前記第１読出し部及び前記第２読出し部が配置された領域を挟んで前記第１駆動部から前記第３駆動部のうちの前記２つが配置された前記領域と反対側の領域に配置される
    　請求項８に記載の固体撮像装置。
  11. 　前記駆動部は、前記第１画素及び前記第２画素に共通の制御信号を供給し、
    　前記読出し部は、
    　　前記第１画素が生成した第１画素信号を読み出す第１読出し部と、
    　　前記第２画素が生成した第２画素信号を読み出す第２読出し部と、
    　を含む
    　請求項３に記載の固体撮像装置。
  12. 　前記駆動部は、
    　　前記第１画素に制御信号を供給する第１駆動部と、
    　　前記第２画素に制御信号を供給する第２駆動部と、
    　を含み、
    　前記読出し部は、前記第１画素が生成した第１画素信号及び前記第２画素が生成した第２画素信号を読み出す
    　請求項３に記載の固体撮像装置。
  13. 　前記読出し部は、前記第２チップにおける中央寄りの隣接する領域に配置され、
    　前記第１駆動部及び前記第２駆動部は、前記第２チップにおける前記読出し部が配置された前記領域を挟む２つの領域に分かれて配置される
    　請求項１２に記載の固体撮像装置。
  14. 　前記駆動部は、
    　　前記第１画素に制御信号を供給する第１駆動部と、
    　　前記第２画素に制御信号を供給する第２駆動部と、
    　　前記第１画素及び前記第２画素に共通の制御信号を供給する第３駆動部と、
    　を含み、
    　前記読出し部は、
    　　複数の前記第１画素の一部が生成した第１画素信号を読み出す第１読出し部と、
    　　前記複数の第１画素の残りが生成した第１画素信号及び前記第２画素が生成した第２画素信号を読み出す第２読出し部と、
    　を含む
    　請求項３に記載の固体撮像装置。
  15. 　前記複数の第１画素のうちの前記一部は、前記第１チップにおいて第３方向に延在する第１信号線を介して前記第１読出し部に接続され、前記残りは、前記第３方向とは反対方向の第４方向に延在する第２信号線を介して前記第２読出し部に接続される
    　請求項１４に記載の固体撮像装置。
  16. 　前記駆動部は、
    　　前記第１画素に制御信号を供給する第１駆動部と、
    　　前記第２画素に制御信号を供給する第２駆動部と、
    　　前記第１画素及び前記第２画素に共通の制御信号を供給する第３駆動部と、
    　を含み、
    　前記読出し部は、前記第１画素が生成した第１画素信号及び前記第２画素が生成した第２画素信号を読み出す
    　請求項３に記載の固体撮像装置。
  17. 　前記駆動部から出力された制御信号を前記第１画素に供給する第１駆動線は、前記第１チップにおいて第１方向に延在し、
    　前記駆動部から出力された制御信号を前記第２画素に供給する第２駆動線は、前記第１チップにおいて前記第１方向と直行する第２方向に延在する
    　請求項３に記載の固体撮像装置。
  18. 　前記第１センサは、前記第２センサにおける１つの前記第２画素に対して複数の前記第１画素を備える
    　請求項１に記載の固体撮像装置。
  19. 　前記読出し部から出力されたデータを保持するフレームメモリを備える第５チップをさらに備え、
    　前記第５チップは、前記第１チップと前記第２チップとの間、又は、前記第２チップを挟んで前記第１チップと反対側に接合されている
    　請求項３に記載の固体撮像装置。
  20. 　請求項１に記載の固体撮像装置と、
    　前記第１センサによって取得されて前記固体撮像装置から出力された第１画像データと、前記第２センサによって取得されて前記固体撮像装置から出力された第２画像データとを処理するプロセッサと、
    　を備える電子機器。
PCT/JP2021/032248 2020-09-16 2021-09-02 固体撮像装置及び電子機器 WO2022059499A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202180051009.3A CN115943639A (zh) 2020-09-16 2021-09-02 固态成像装置和电子设备
DE112021004903.8T DE112021004903T5 (de) 2020-09-16 2021-09-02 Solid-state-bildgebungsvorrichtung und elektronische einrichtung
KR1020237006234A KR20230069909A (ko) 2020-09-16 2021-09-02 고체 촬상 장치 및 전자 기기
US18/017,526 US12035063B2 (en) 2020-09-16 2021-09-02 Solid-state imaging device and electronic apparatus
EP21869186.3A EP4216279A4 (en) 2020-09-16 2021-09-02 SOLID STATE IMAGING DEVICE AND ELECTRONIC DEVICE
US18/660,673 US20240348951A1 (en) 2020-09-16 2024-05-10 Solid-state imaging device and electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020155715A JP2022049487A (ja) 2020-09-16 2020-09-16 固体撮像装置及び電子機器
JP2020-155715 2020-09-16

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US18/017,526 A-371-Of-International US12035063B2 (en) 2020-09-16 2021-09-02 Solid-state imaging device and electronic apparatus
US18/660,673 Continuation US20240348951A1 (en) 2020-09-16 2024-05-10 Solid-state imaging device and electronic apparatus

Publications (1)

Publication Number Publication Date
WO2022059499A1 true WO2022059499A1 (ja) 2022-03-24

Family

ID=80776927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032248 WO2022059499A1 (ja) 2020-09-16 2021-09-02 固体撮像装置及び電子機器

Country Status (8)

Country Link
US (2) US12035063B2 (ja)
EP (1) EP4216279A4 (ja)
JP (1) JP2022049487A (ja)
KR (1) KR20230069909A (ja)
CN (1) CN115943639A (ja)
DE (1) DE112021004903T5 (ja)
TW (1) TW202215839A (ja)
WO (1) WO2022059499A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051674A (ja) * 2011-08-02 2013-03-14 Canon Inc 周辺回路を配置しチップ面積増大を抑制した撮像素子及び撮像装置
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
WO2013145753A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像素子および撮像装置
JP2016058532A (ja) * 2014-09-09 2016-04-21 ソニー株式会社 固体撮像素子、並びに、電子機器
JP2016058866A (ja) * 2014-09-09 2016-04-21 オリンパス株式会社 撮像素子および内視鏡装置
JP2018037479A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および電子装置
JP2018085645A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 撮像装置、撮像システム、および、移動体
JP2018125848A (ja) 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置
WO2019131965A1 (ja) * 2017-12-27 2019-07-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子
WO2019240121A1 (ja) * 2018-06-15 2019-12-19 ソニー株式会社 固体撮像素子、固体撮像装置、電子機器、及び、固体撮像素子の製造方法
JP2020021855A (ja) 2018-08-01 2020-02-06 日本放送協会 撮像素子およびその製造方法
WO2020080327A1 (ja) * 2018-10-17 2020-04-23 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5556823B2 (ja) * 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
EP3288081B1 (en) * 2015-04-24 2022-07-27 Sony Group Corporation Solid state image sensor and electronic device comprising the same
JPWO2018008062A1 (ja) 2016-07-04 2019-04-18 オリンパス株式会社 蛍光観察装置および蛍光観察内視鏡装置
DE112019002526T5 (de) * 2018-05-18 2021-04-08 Sony Semiconductor Solutions Corporation Bildgebungselement, elektronische einrichtung und verfahren zum ansteuern eines bildgebungselements
KR20220010891A (ko) * 2020-07-20 2022-01-27 삼성전자주식회사 이미지 센서 및 전자 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051674A (ja) * 2011-08-02 2013-03-14 Canon Inc 周辺回路を配置しチップ面積増大を抑制した撮像素子及び撮像装置
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
WO2013145753A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像素子および撮像装置
JP2016058532A (ja) * 2014-09-09 2016-04-21 ソニー株式会社 固体撮像素子、並びに、電子機器
JP2016058866A (ja) * 2014-09-09 2016-04-21 オリンパス株式会社 撮像素子および内視鏡装置
JP2018037479A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および電子装置
JP2018085645A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 撮像装置、撮像システム、および、移動体
JP2018125848A (ja) 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置
WO2019131965A1 (ja) * 2017-12-27 2019-07-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子
WO2019240121A1 (ja) * 2018-06-15 2019-12-19 ソニー株式会社 固体撮像素子、固体撮像装置、電子機器、及び、固体撮像素子の製造方法
JP2020021855A (ja) 2018-08-01 2020-02-06 日本放送協会 撮像素子およびその製造方法
WO2020080327A1 (ja) * 2018-10-17 2020-04-23 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4216279A4

Also Published As

Publication number Publication date
KR20230069909A (ko) 2023-05-19
JP2022049487A (ja) 2022-03-29
US12035063B2 (en) 2024-07-09
DE112021004903T5 (de) 2023-07-27
TW202215839A (zh) 2022-04-16
US20240348951A1 (en) 2024-10-17
CN115943639A (zh) 2023-04-07
US20230362518A1 (en) 2023-11-09
EP4216279A1 (en) 2023-07-26
EP4216279A4 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
TWI834734B (zh) 固態成像裝置及成像裝置
US11810932B2 (en) Solid-state imaging device and imaging device
TW202015395A (zh) 固態攝像裝置及其驅動方法以及電子機器
WO2021054183A1 (en) Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
JP2022546154A (ja) 固体撮像デバイス及び共有回路要素を備えた撮像デバイス
US20240305908A1 (en) Solid-state imaging device and imaging system
CN112868103A (zh) 固态摄像设备和摄像设备
KR20230073185A (ko) 고체 촬상 장치 및 전자 기기
US11521998B2 (en) Solid-state imaging device and imaging device
US20220375975A1 (en) Imaging device
WO2022059499A1 (ja) 固体撮像装置及び電子機器
WO2022059525A1 (ja) 固体撮像装置及び認識システム
WO2022059515A1 (ja) 固体撮像装置及び認識システム
JP2023503765A (ja) 撮像デバイス及び撮像装置、並びにそれらの方法
WO2023181657A1 (ja) 光検出装置及び電子機器
WO2022065186A1 (ja) 固体撮像装置及び電子機器
KR20240112900A (ko) 광 검출 장치, 전자 기기 및 광 검출 시스템
JP2024152342A (ja) 半導体装置および機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869186

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021869186

Country of ref document: EP

Effective date: 20230417