WO2022091698A1 - 撮像装置及び情報処理装置 - Google Patents

撮像装置及び情報処理装置 Download PDF

Info

Publication number
WO2022091698A1
WO2022091698A1 PCT/JP2021/036501 JP2021036501W WO2022091698A1 WO 2022091698 A1 WO2022091698 A1 WO 2022091698A1 JP 2021036501 W JP2021036501 W JP 2021036501W WO 2022091698 A1 WO2022091698 A1 WO 2022091698A1
Authority
WO
WIPO (PCT)
Prior art keywords
photoelectric conversion
unit
image pickup
conversion unit
light
Prior art date
Application number
PCT/JP2021/036501
Other languages
English (en)
French (fr)
Inventor
恭範 佃
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/249,356 priority Critical patent/US20230387175A1/en
Publication of WO2022091698A1 publication Critical patent/WO2022091698A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present technology relates to an image pickup device and an information processing device, and more particularly to a technical field of an image pickup device and an information processing device having a laminated photoelectric conversion unit.
  • the image pickup apparatus has photoelectric conversion elements that perform photoelectric conversion with light in different wavelength ranges, and has a plurality of photoelectric conversion units stacked in the light incident direction and the photoelectric conversion of the different photoelectric conversion units. It is provided with a charge holding unit that holds the charge accumulated in the element. This makes it possible to share and use the charge holding unit for the photoelectric conversion elements of different laminated photoelectric conversion units.
  • the image pickup apparatus may be configured to include a charge reset unit that resets the charge accumulated in the charge holding unit. This makes it possible to share and use the charge reset unit that resets the charge accumulated in the charge holding unit.
  • the charge holding unit is configured to hold the charge accumulated in the photoelectric conversion element arranged opposite to the light incident direction in different photoelectric conversion units. Can be considered. As a result, since the photoelectric conversion elements arranged so as to face each other overlap in the light incident direction, it is possible to reduce the deviation of the pixels of the respective photoelectric conversion units.
  • the first photoelectric conversion unit and the second photoelectric conversion unit are sequentially laminated along the light incident direction, and the first photoelectric conversion unit is a specific one.
  • the second photoelectric conversion unit has a photoelectric conversion element using an organic material that receives light in the wavelength range and performs photoelectric conversion
  • the second photoelectric conversion unit has a photoelectric conversion element that uses an inorganic material that receives light and performs photoelectric conversion. Is conceivable. As a result, the attenuation of the transmitted light in the first photoelectric conversion unit is small, so that the efficiency of photoelectric conversion in the second photoelectric conversion unit can be improved.
  • the image pickup apparatus includes a charge discharging unit that discharges the charge accumulated in the photoelectric conversion element of the second photoelectric conversion unit. This makes it possible to reset the electric charge accumulated in the photoelectric conversion element of the second photoelectric conversion unit.
  • the photoelectric conversion unit in the photoelectric conversion unit, a first photoelectric conversion unit and a second photoelectric conversion unit are sequentially laminated along the light incident direction, and the first photoelectric conversion unit is visible light. It is conceivable that the second photoelectric conversion unit has a photoelectric conversion element that receives infrared light and performs photoelectric conversion. This makes it possible to increase the efficiency of photoelectric conversion in the first photoelectric conversion unit as compared with the second photoelectric conversion unit.
  • the image pickup apparatus includes a distance signal processing unit that generates a distance image indicating the distance to an object based on the charge photoelectrically converted by the photoelectric conversion element of the second photoelectric conversion unit. It is conceivable to have a different configuration. This makes it possible to acquire an image based on visible light and a distance image showing the distance to the object.
  • the photoelectric conversion element of the second photoelectric conversion unit has a larger light receiving area than the photoelectric conversion element of the first photoelectric conversion unit. This makes it possible to increase the amount of charge in the second photoelectric conversion unit, which is farther from the object and has lower photoelectric efficiency than the first photoelectric conversion unit.
  • the image pickup apparatus may be configured to include a drive control unit that transfers the charges accumulated in the photoelectric conversion elements of different photoelectric conversion units to the charge holding units at different timings. .. This makes it possible to sequentially acquire the charges generated by photoelectric conversion by the photoelectric conversion elements of the different photoelectric conversion units stacked.
  • the information processing device includes an image pickup device that captures an image and an information processing unit that executes a predetermined process based on the image captured by the image pickup device, and the image pickup devices have different wavelengths from each other.
  • Each has a photoelectric conversion element that performs photoelectric conversion by light in the region, and holds a plurality of photoelectric conversion units stacked in the light incident direction and charge retention that holds the charge accumulated in the photoelectric conversion element of the different photoelectric conversion unit. It is equipped with a part. This makes it possible to share and use the photoelectric holding unit for different laminated photoelectric conversion units.
  • the first photoelectric conversion unit and the second photoelectric conversion unit are stacked in order along the light incident direction, and the first photoelectric conversion unit is visible.
  • the second photoelectric conversion unit has a photoelectric conversion element that receives light and performs photoelectric conversion
  • the second photoelectric conversion unit has a photoelectric conversion element that receives infrared light and performs photoelectric conversion. This makes it possible to perform processing based on an image based on visible light and an image showing the distance to an object based on infrared light.
  • the image pickup device includes a visible signal processing unit that generates a visible image based on the charge photoelectrically converted by the photoelectric conversion element of the first photoelectric conversion unit, and the first photoelectric conversion unit.
  • the photoelectric conversion unit includes a distance signal processing unit that generates a distance image indicating the distance to an object based on the charge photoelectrically converted by the photoelectric conversion element, and the information processing unit is based on the visible image. Therefore, it is conceivable to configure the configuration to determine whether to capture the distance image. This makes it possible to switch whether or not to capture a distance image depending on the object reflected in the visible image.
  • the image pickup device includes a visible signal processing unit that generates a visible image based on the charge photoelectrically converted by the photoelectric conversion element of the first photoelectric conversion unit, and the first photoelectric conversion unit.
  • the photoelectric conversion unit includes a distance signal processing unit that generates a distance image indicating the distance to an object based on the charge photoelectrically converted by the photoelectric conversion element, and the information processing unit is based on the distance image. Therefore, it is conceivable to configure the configuration to determine whether to capture the visible image. This makes it possible to switch whether or not to capture the distance image depending on the object reflected in the distance image.
  • FIG. 1 is a block diagram for explaining a configuration example of an image pickup apparatus 1 as a first embodiment according to the present technology.
  • the image pickup apparatus 1 includes an image pickup unit 2, a light emitting unit 3, a control unit 4, an image processing unit 5, and a memory 6.
  • the image pickup unit 2, the light emitting unit 3, and the control unit 4 are formed on the same substrate and are configured as a sensing module 7.
  • the image pickup device 1 is a device that captures an image based on visible light and an image based on infrared light.
  • an image based on visible light is referred to as a visible image
  • an image based on infrared light is referred to as a distance image.
  • the light emitting unit 3 has one or a plurality of light emitting elements as a light source, and emits irradiation light Li to the object Ob. Specifically, in this example, the light emitting unit 3 emits infrared light having a wavelength in the range of 780 nm to 1000 nm as the irradiation light Li.
  • the control unit 4 controls the light emission operation of the irradiation light Li by the light emitting unit 3. Specifically, in this example, the light emitting unit 3 repeatedly emits pulsed light at a predetermined cycle as irradiation light Li.
  • the image pickup unit 2 has a plurality of photoelectric conversion units stacked, as will be described in detail later.
  • the image pickup unit 2 has two photoelectric conversion units laminated.
  • the image pickup unit 2 receives the reflected light Lr emitted from the light emitting unit 3 and reflected by the object Ob at one of the photoelectric conversion units, and the indirect ToF (Time of Flight) is based on the phase difference between the reflected light Lr and the irradiation light Li. : Light flight time) method distance information is output as a distance image.
  • the distance to the object Ob is calculated based on the phase difference between the irradiation light Li with respect to the object Ob and the reflected light Lr obtained by reflecting the irradiation light Li with the object Ob. It is a method. Therefore, it can be said that in the distance image, information indicating the distance to the object Ob is shown in each pixel.
  • the image pickup unit 2 receives the visible light Lv reflected by the object Ob at the other photoelectric conversion unit, and outputs a visible image based on the received visible light.
  • the image processing unit 5 inputs the visible image and the distance image obtained by the image pickup unit 2, performs predetermined signal processing such as compression coding, and outputs the image to the memory 6.
  • the memory 6 is a storage device such as a flash memory, an SSD (Solid State Drive), or an HDD (Hard Disk Drive), and stores a visible image and a distance image processed by the image processing unit 5.
  • FIG. 2 is a block diagram showing an example of the internal circuit configuration of the image pickup unit 2.
  • FIG. 3 is a schematic view showing the arrangement of pixels.
  • the image pickup unit 2 includes a pixel array unit 11, a transfer gate drive unit 12, a vertical drive unit 13, a system control unit 14, a column processing unit 15, a horizontal drive unit 16, a visible signal processing unit 17, and a visible signal processing unit 17.
  • a distance signal processing unit 18 is provided.
  • a first photoelectric conversion unit 30 and a second photoelectric conversion unit 31 each having a photoelectric conversion element that performs photoelectric conversion with light in different wavelength ranges are laminated in the light incident direction. ing.
  • the first photoelectric conversion unit 30 and the second photoelectric conversion unit 31 a plurality of pixels are arranged two-dimensionally in a matrix in the row direction and the column direction.
  • the first photoelectric conversion unit 30 is arranged on the object Ob side, that is, on the light receiving surface side with respect to the second photoelectric conversion unit 31.
  • the row direction means the arrangement direction of the pixels in the horizontal direction
  • the column direction means the arrangement direction of the pixels in the vertical direction.
  • the row direction is the horizontal direction and the column direction is the vertical direction.
  • the first pixel P1 (organic photoelectric conversion element 30a) is two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the first pixel P1 has an organic photoelectric conversion element 30a using an organic material that receives light of a specific color (wavelength range) and performs photoelectric conversion.
  • the first pixel P1 has an organic photoelectric conversion element 30a that receives visible light of R (red), G (green), and B (blue) and performs photoelectric conversion.
  • the organic photoelectric conversion element 30a that receives R (red) visible light and performs photoelectric conversion is referred to as “R”, and organic photoelectric conversion that receives G (green) visible light and performs photoelectric conversion.
  • the element 30a is referred to as "G”
  • the organic photoelectric conversion element 30a that receives visible light of B (blue) and performs photoelectric conversion is referred to as "B".
  • the organic photoelectric conversion element 30a (first pixel P1) that receives and converts visible light of R (red), G (green), and B (blue), respectively, is arranged in a bayer arrangement, for example. Has been done.
  • the organic photoelectric conversion element 30a that receives visible light of R (red), G (green), and B (blue) and performs photoelectric conversion may be arranged in another arrangement. .. Further, even if the first photoelectric conversion unit 30 is arranged with an organic photoelectric conversion element 30a that receives and converts visible light of R (red), G (green), and B (blue) without separating them. good.
  • the first pixel P1 having an inorganic photoelectric conversion element using an inorganic material such as silicon may be arranged.
  • the pixel array unit 11 arranges a color filter that transmits only visible light of, for example, R (red), G (green), and B (blue) on the object Ob side of the first photoelectric conversion unit 30. do it.
  • a plurality of second pixels P2 are two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the second pixel P2 has a photodiode PD as an inorganic photoelectric conversion element using an inorganic material that receives infrared light and performs photoelectric conversion.
  • the photodiode PD that receives infrared light and performs photoelectric conversion is also referred to as “IR”.
  • the light receiving area of the photodiode PD is larger than the light receiving area of the organic photoelectric conversion element 30a.
  • the light receiving area of the photodiode PD has an area corresponding to four times the light receiving area of the organic photoelectric conversion element 30a. Therefore, the second pixel P2 has an area corresponding to four of the first pixel P1, that is, four times the area of the first pixel P1.
  • the pixel block PB which is a set of one second pixel P2 and four first pixels P1 arranged to face one second pixel P2, is in the row direction. It can also be said that they are arranged two-dimensionally in the column direction.
  • the row drive lines 20 are wired along the row direction for each row of the pixel block PB. Further, in the pixel array unit 11, gate drive lines 21 are wired along the row direction for each row of pixel block PBs. Further, in the pixel array unit 11, vertical signal lines 22 are wired along the row direction for each row of pixel block PBs.
  • the row drive line 20 transmits a drive signal for driving when reading a signal charge from the first pixel P1 or the second pixel P2.
  • the row drive line 20 is shown as one wiring, but the wiring is not limited to one.
  • One end of the row drive line 20 is connected to the output end corresponding to each row of the vertical drive unit 13.
  • the system control unit 14 is configured by a timing generator or the like that generates various timing signals, and the transfer gate drive unit 12, the vertical drive unit 13, and the column processing unit 15 are based on the various timing signals generated by the timing generator. , And drive control of the horizontal drive unit 16 and the like.
  • the transfer gate drive unit 12 drives the organic photoelectric conversion element 30a and the transfer gate element (transfer transistor TG) described later through the gate drive line 21 under the control of the system control unit 14. Therefore, the system control unit 14 supplies the transfer gate drive unit 12 with the CLK input from the control unit 4 shown in FIG. 1, and the transfer gate drive unit 12 converts the organic photoelectric conversion based on this clock CLK. It drives the element 30a and the transfer gate element.
  • the vertical drive unit 13 is composed of a shift register, an address decoder, and the like, and drives the first pixel P1 and the second pixel P2 of the pixel array unit 11 simultaneously for all pixels or in line units. That is, the vertical drive unit 13 constitutes a drive control unit that controls the operation of the first pixel P1 and the second pixel P2 of the pixel array unit 11 together with the system control unit 14 that controls the vertical drive unit 13.
  • the charge-based signal is input to the column processing unit 15 through the corresponding vertical signal line 22.
  • the column processing unit 15 performs predetermined signal processing on the detection signal read from the first pixel P1 or the second pixel P2 through the vertical signal line 22, and temporarily holds the detection signal after the signal processing. ..
  • the column processing unit 15 performs noise reduction processing, A / D (Analog to Digital) conversion processing, and the like as signal processing.
  • the horizontal drive unit 16 is composed of a shift register, an address decoder, and the like, and sequentially selects unit circuits corresponding to the pixel block PB columns of the column processing unit 15. By the selective scanning by the horizontal drive unit 16, the detection signals signal-processed for each unit circuit in the column processing unit 15 are sequentially output.
  • the visible signal processing unit 17 has at least an arithmetic processing function, and for the detection signal read from the first pixel P1 and output from the column processing unit 15, correction processing between color channels, white balance correction, and aberration correction are performed. , Shading correction and other signal processing are performed to generate a visible image.
  • the distance signal processing unit 18 has at least an arithmetic processing function, and has various processing such as distance calculation processing corresponding to the indirect ToF method for the detection signal read from the second pixel P2 and output from the column processing unit 15. Signal processing is performed and distance information is calculated (to generate a distance image).
  • a known method can be used, and the description thereof is omitted here.
  • FIG. 4 is a cross-sectional view for explaining the schematic structure of the pixel array unit 11.
  • the pixel array unit 11 includes a semiconductor substrate 32 and a wiring layer 33 formed on the surface Ss side of the semiconductor substrate 32.
  • the semiconductor substrate 32 is made of, for example, silicon (Si), and is formed with a thickness of, for example, about 1 ⁇ m to 6 ⁇ m.
  • a photodiode PD as an inorganic photoelectric conversion element is formed in the region of the second pixel P2 of the second photoelectric conversion unit 31.
  • the adjacent photodiode PDs are electrically separated by the pixel-to-pixel separation unit 34.
  • the wiring layer 33 is formed on the surface Ss side of the semiconductor substrate 32, and is configured to have wiring 33a laminated in a plurality of layers via an interlayer insulating film 33b.
  • a pixel transistor which will be described later, is driven via the wiring 33a formed on the wiring layer 33.
  • a fixed charge film 35 having a fixed charge is formed so as to surround the photodiode PD.
  • a high refractive index material film or a high dielectric film having a negative charge can be used.
  • an oxide or a nitride containing at least one element of hafnium (Hf), aluminum (Al), zirconium (Zr), tantalum (Ta) and titanium (Ti) is applied. be able to.
  • the film forming method include a CVD method (Chemical Vapor Deposition), a sputtering method, and an ALD method (Atomic Layer Deposition).
  • a SiO2 (silicon oxide) film that reduces the interface state during film formation can be simultaneously formed to a film thickness of about 1 nm.
  • silicon or nitrogen (N) may be added to the material of the fixed charge film 35 as long as the insulating property is not impaired. The concentration is appropriately determined as long as the insulating property of the film is not impaired.
  • An insulating layer 36 is formed around the fixed charge film 35.
  • the first photoelectric conversion unit 30, the sealing film 37, the flattening film 38, and the microlens (on-chip lens) 39 are laminated in this order on the insulating layer 36.
  • the first photoelectric conversion unit 30 (organic photoelectric conversion element 30a) includes a photoelectric conversion layer 40, a first electrode 41, a charge storage electrode 42, and a second electrode 43.
  • the first electrode 41 and the charge storage electrode 42 are arranged to face the photoelectric conversion layer 40 so as to be separated from each other in the insulating layer 36.
  • the second electrode 43 is arranged on the photoelectric conversion layer 40.
  • One organic photoelectric conversion element 30a is formed in the region of each first pixel P1 of the first photoelectric conversion unit 30.
  • the first electrode 41, the charge storage electrode 42, and the second electrode 43 are transparent electrodes such as ITO or IZO.
  • the first electrode 41 is connected to the photoelectric conversion layer 40 and is also connected to the wiring 44 penetrating the wiring 33a of the wiring layer 33.
  • a pixel transistor (transfer transistor TG, reset transistor RST, OF (overflow) gate transistor OFG, amplification transistor AMP, selection transistor SEL) and a floating diffusion FD are also formed in the first pixel P1 and the second pixel P2.
  • FIG. 4 omits the illustration of these pixel transistors and the floating diffusion FD.
  • the conductor and the floating diffusion FD that function as the electrodes (gate, drain, and source electrodes) of the pixel transistor are formed in the vicinity of the surface Ss of the semiconductor substrate 32 in the wiring layer 33.
  • the material of the insulating layer 36 is preferably formed of a material having a refractive index different from that of the fixed charge film 35, and for example, silicon oxide, silicon nitride, silicon oxynitride, resin and the like can be used. Further, a material having a characteristic of having no positive fixed charge or having a small positive fixed charge can be used for the insulating layer 36.
  • the sealing film 37 an insulator containing aluminum (Al) or titanium (Ti) can be used.
  • the flattening film 38 is formed on the sealing film 37, whereby the surface of the semiconductor substrate 32 on the back surface Sb side is flattened.
  • an organic material such as a resin can be used.
  • the microlens 39 is formed on the flattening film 38 for each first pixel P1.
  • the incident light is focused, and the focused light is efficiently incident on the organic photoelectric conversion element 30a and the photodiode PD.
  • a light-shielding portion 45 between pixels and a filter portion 46 are provided in the insulating layer 36.
  • the inter-pixel shading portion 45 is formed in a grid pattern on the back surface Sb side of the semiconductor substrate 32 so as to open the photodiode PD of each second pixel P2. That is, the inter-pixel shading portion 45 is formed at a position corresponding to the inter-pixel separation portion 34.
  • any material capable of light-shielding may be used, and for example, tungsten (W), aluminum (Al), or copper (Cu) can be used.
  • the inter-pixel shading unit 45 prevents light that should be incident on only one second pixel P2 from leaking into the other second pixel P2 between adjacent second pixels P2.
  • the filter unit 46 is formed with a wavelength filter that transmits light in a predetermined wavelength range.
  • Examples of the wavelength filter here include a wavelength filter that blocks visible light and transmits infrared light.
  • the image pickup apparatus 1 provided with the pixel array unit 11 as described above, light is irradiated from the back surface Sb side of the semiconductor substrate 32, and the light in a predetermined wavelength range transmitted through the microlens 39 is organic in the first photoelectric conversion unit 30.
  • a signal charge is generated by photoelectric conversion by the photoelectric conversion element 30a.
  • the signal charge obtained by the photoelectric conversion is output via the pixel transistor formed on the surface Ss side of the semiconductor substrate 32 and the vertical signal line 22 formed as the predetermined wiring 33a in the wiring layer 33. Ru.
  • the image pickup apparatus 1 provided with the pixel array unit 11
  • light is irradiated from the back surface Sb side of the semiconductor substrate 32
  • the infrared light transmitted through the first photoelectric conversion unit 30 and the filter unit 46 is the second photoelectric conversion unit 31.
  • a signal charge is generated by photoelectric conversion with the photodiode PD of.
  • the signal charge obtained by the photoelectric conversion is output via the pixel transistor formed on the surface Ss side of the semiconductor substrate 32 and the vertical signal line 22 formed as the predetermined wiring 33a in the wiring layer 33. Ru.
  • FIG. 5 is a diagram showing an equivalent circuit of the pixel block PB in the pixel array unit 11.
  • the pixel block PB includes four organic photoelectric conversion elements 30a (first pixel P1) and one photodiode PD (second pixel P2).
  • organic photoelectric conversion elements 30a1, 30a2, 30a3 and 30a4 are referred to as organic photoelectric conversion elements 30a1, 30a2, 30a3 and 30a4 as shown in FIG.
  • the pixel block PB includes one reset transistor RST, one floating diffusion FD, one transfer transistor TG, one OF gate transistor OFG, one amplification transistor AMP, and one selection transistor SEL.
  • the reset transistor RST, the transfer transistor TG, the OF gate transistor OFG, the amplification transistor AMP, and the selection transistor SEL are composed of, for example, an N-type MOS transistor.
  • the drain is connected to the reference potential VDD (constant current source), and the reset signal SRST is input to the gate.
  • the first electrode 41 of the organic photoelectric conversion elements 30a1, 30a2, 30a3 and 30a4 are connected to the source of the reset transistor RST.
  • the reset transistor RST becomes conductive when the reset signal SRST supplied to the gate is turned on, and resets the potential of the floating diffusion FD to the reference potential VDD.
  • the reset signal SRST is supplied from, for example, the vertical drive unit 13.
  • the organic photoelectric conversion element 30a a positive potential is applied to the first electrode 41 and a negative potential is applied to the second electrode 43 by the vertical drive unit 13.
  • photoelectric conversion occurs in the photoelectric conversion layer 40 due to the incident light.
  • the holes generated by the photoelectric conversion are sent out from the second electrode 43 to the outside.
  • the potential of the first electrode 41 is higher than the potential of the second electrode 43, the electrons generated by the photoelectric conversion are attracted to the charge storage electrode 42, and the photoelectric conversion layer 40 facing the charge storage electrode 42 Stop in the area. That is, the signal charge is accumulated in the photoelectric conversion layer 40. At this time, the electrons generated inside the photoelectric conversion layer 40 do not move toward the first electrode 41.
  • the potential in the region of the photoelectric conversion layer 40 facing the charge storage electrode 42 becomes a more negative value.
  • the floating diffusion FD functions as a charge holding unit that temporarily holds the signal charge transferred from the organic photoelectric conversion element 30a.
  • the OF gate transistor OFG is provided as a charge discharging unit for discharging the charge accumulated in the photodiode PD, and becomes conductive when the OF gate signal SOFG supplied to the gate is turned on.
  • the OF gate transistor OFG becomes conductive, the photodiode PD is clamped to a predetermined reference potential VDD and the accumulated charge is reset.
  • the OF gate signal SOFG is supplied from, for example, the vertical drive unit 13.
  • the transfer transistor TG becomes conductive when the transfer drive signal STG supplied to the gate is turned on, and transfers the signal charge stored in the photodiode PD to the floating diffusion FD.
  • the floating diffusion FD functions as a charge holding unit that temporarily holds the signal charge transferred from the photodiode PD.
  • the source is connected to the vertical signal line 22 via the selection transistor SEL, and the drain is connected to the reference potential VDD (constant current source) to form a source follower circuit.
  • VDD constant current source
  • the selection transistor SEL is connected between the source of the amplification transistor AMP and the vertical signal line 22, and becomes conductive when the selection signal SSEL supplied to the gate is turned on, and the signal charge held in the floating diffusion FD is transferred. , Output to the vertical signal line 22 via the amplification transistor AMP.
  • the selection signal SSEL is supplied from the vertical drive unit 13 via the row drive line 20.
  • one floating diffusion FD, one selection transistor SEL, and one amplification transistor AMP are provided for each pixel block PB. That is, the floating diffusion FD, the selection transistor SEL, and the amplification transistor AMP are shared by the first photoelectric conversion unit 30 and the second photoelectric conversion unit 31.
  • FIG. 6 is a diagram illustrating an operation timing chart in the pixel block PB.
  • an operation including a reset operation A1, a light receiving operation A2, and a transfer operation A3 is performed in the order of the organic photoelectric conversion elements 30a1, 30a2, 30a3, 30a4, and the photodiode PD. That is, charges are transferred to the organic photoelectric conversion elements 30a1, 30a2, 30a3, 30a4, and the photodiode PD at different timings.
  • the reset operation A1 is performed on the organic photoelectric conversion element 30a1.
  • the reset transistor RST is turned on (conducting state), a predetermined potential is applied to the first electrode 41, and a potential lower than that of the first electrode 41 is applied to the charge storage electrode 42. As a result, the accumulated charges of the organic photoelectric conversion element 30a1 and the floating diffusion FD are reset.
  • the light receiving operation A2 of the organic photoelectric conversion element 30a1 is started.
  • a positive potential is applied to the first electrode 41, and a negative potential is applied to the second electrode 43.
  • a predetermined potential is applied to the first electrode 41, and a potential lower than that of the first electrode 41 is applied to the charge storage electrode 42.
  • the signal charge (stored charge) stored in the organic photoelectric conversion element 30a1 is transferred to the floating diffusion FD.
  • the reset operation A1, the light receiving operation A2 and the transfer operation A3 of the organic photoelectric conversion element 30a1 are completed, the reset operation A1, the light receiving operation A2 and the transfer operation A3 of the organic photoelectric conversion element 30a2 are started.
  • the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the organic photoelectric conversion element 30a2 are completed, the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the organic photoelectric conversion element 30a3 are started.
  • the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the organic photoelectric conversion element 30a3 are completed, the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the organic photoelectric conversion element 30a4 are started.
  • the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the organic photoelectric conversion elements 30a2, 30a3, and 30a4 are the same as the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the organic photoelectric conversion element 30a. Is omitted.
  • the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the organic photoelectric conversion element 30a4 are completed, the reset operation A1, the light receiving operation A2, and the transfer operation A3 of the photodiode PD are started.
  • the reset operation A1 of the photodiode PD is started, the OF gate transistor OFG, the reset transistor RST, and the transfer transistor TG are turned on (conducting state). As a result, the accumulated charges of the photodiode PD and the floating diffusion FD are reset.
  • the operation of turning on and off the transfer transistor TG is repeated a predetermined number of times (in this example, about several thousand to tens of thousands of times).
  • the charge is accumulated in the photodiode PD while the transfer transistor TG is off, and the charge is transferred from the photodiode PD to the floating diffusion FD while the transfer transistor TG is on.
  • each second pixel P2 of the pixel array unit 11 is selected line-sequentially.
  • the selection transistor SEL is turned on.
  • the electric charge accumulated in the floating diffusion FD is output to the column processing unit 15 via the vertical signal line 22.
  • FIG. 7 is a diagram illustrating a timing chart of the operation of the plurality of photodiodes PD in the second photoelectric conversion unit 31.
  • the distance information by the indirect ToF method is output based on the phase difference between the reflected light Lr and the irradiation light Li in the infrared light received by the photodiode PD.
  • photodiodes PD1, PD2, PD3 and PD4 as shown in FIG.
  • the control unit 4 controls the light emission operation of the irradiation light Li by the light emitting unit 3.
  • the irradiation light Li light whose intensity is modulated so that the intensity changes in a predetermined cycle is used.
  • pulsed light is repeatedly emitted as irradiation light Li at a predetermined cycle.
  • emission cycle Cl the emission cycle of such pulsed light.
  • the light emission period Cl is set to be relatively high speed, for example, from several tens of MHz to several hundreds of MHz.
  • the system control unit 14 controls the vertical drive unit 13 based on the clock CLK to perform a reset operation A1 for turning on the reset transistor RST connected to the photodiodes PD1, PD2, PD3 and PD4.
  • the system control unit 14 turns on the OF gate transistor OFG and the transfer transistor TG connected to the photodiodes PD1, PD2, PD3 and PD4, respectively.
  • the system control unit 14 causes the photodiode PD1 to perform the light receiving operation A2 in the 1/4 light emission cycle Cl in synchronization with the light emission operation of the irradiation light Li, and performs the transfer operation A3 in the 3/4 light emission cycle Cl. Repeat the control cycle.
  • system control unit 14 causes the photodiode PD2 to perform the light receiving operation A2 in the 1/4 emission cycle Cl after delaying the photodiode PD2 by 1/4 emission cycle Cl, and transfers the photodiode PD2 in the 3/4 emission cycle Cl.
  • the control cycle for performing operation A3 is repeated.
  • system control unit 14 causes the photodiode PD2 to perform the light receiving operation A2 in the 1/4 emission cycle Cl after delaying the photodiode PD2 by 1/2 emission cycle Cl, and transfers the photodiode PD2 in the 3/4 emission cycle Cl.
  • the control cycle for performing operation A3 is repeated.
  • system control unit 14 causes the photodiode PD2 to perform the light receiving operation A2 in the 1/4 emission cycle Cl after delaying the photodiode PD2 by 3/4 emission cycle Cl, and transfers the photodiode PD2 in the 3/4 emission cycle Cl.
  • the control cycle for performing operation A3 is repeated.
  • the distance signal processing unit 18 calculates the distance information by the indirect ToF method using four phases based on the signal charges (detection signals) obtained from the photodiodes PD1, PD2, PD3 and PD4 (distance image). Generate).
  • the method of calculating the distance information by the indirect ToF method using four phases a known method can be used, and the description thereof is omitted here.
  • FIG. 8 is a schematic view showing a configuration example of the pixel array unit 11 as the second embodiment.
  • FIG. 9 is a diagram illustrating a timing chart of the operation of the plurality of photodiodes PD in the second photoelectric conversion unit 31 as the second embodiment.
  • the same parts as those already described will be designated by the same reference numerals and the description thereof will be omitted.
  • the system control unit 14 controls the vertical drive unit 13 based on the clock CLK, and performs a reset operation A1 to turn on the reset transistor RST connected to the photodiodes PD1 and PD2 in synchronization with the on of the reset transistor RST.
  • the system control unit 14 turns on the OF gate transistor OFG and the transfer transistor TG connected to the photodiodes PD1 and PD2.
  • the system control unit 14 controls the photodiode PD1 to perform the light receiving operation A2 in the 1/2 light emitting cycle Cl and the transfer operation A3 in the 1/2 light emitting cycle Cl in synchronization with the light emitting operation of the irradiation light Li. Repeat the cycle.
  • system control unit 14 causes the photodiode PD2 to perform the light receiving operation A2 in the 1/2 emission cycle Cl after delaying the photodiode PD2 by 1/2 emission cycle Cl, and transfers the photodiode PD2 in the 1/2 emission cycle Cl.
  • the control cycle for performing operation A3 is repeated.
  • the distance signal processing unit 18 calculates distance information (generates a distance image) by an indirect ToF method using two phases based on the signal charges (detection signals) obtained from the photodiodes PD1 and PD2.
  • a known method can be used, and the description thereof is omitted here.
  • the embodiment is not limited to the specific examples described above, and configurations as various modified examples can be adopted.
  • the first photoelectric conversion unit 30 has a first pixel P1 including an organic photoelectric conversion element 30a
  • the second photoelectric conversion unit 31 has a second pixel including a photodiode PD.
  • the configuration of the first photoelectric conversion unit 30 and the second photoelectric conversion unit 31 does not matter as long as they have photoelectric conversion elements that photoelectrically convert light in different wavelength ranges from each other.
  • the first pixel P1 may be a photodiode.
  • a transfer transistor for transferring the signal charge generated by photoelectric conversion in the first pixel P1 to the floating diffusion FD may be provided.
  • the transfer transistor connected to the first pixel P1 may be turned on during the transfer operation A3.
  • the first photoelectric conversion unit 30 has a photoelectric conversion layer 40 that receives visible light of R (red), G (green), and B (blue) and performs photoelectric conversion.
  • One pixel P1 is arranged in a Bayer array.
  • the first pixel P1 may be formed by laminating a photoelectric conversion layer 40 that receives visible light of R (red), G (green), and B (blue) and performs photoelectric conversion. That is, the first pixel P1 may be provided with three photoelectric conversion layers 40 that receive and photoelectrically convert visible light of R (red), G (green), and B (blue), respectively.
  • the image pickup apparatus 1 derives the distance information by the indirect ToF method.
  • the image pickup apparatus 1 may directly derive the distance information by the ToF method.
  • the timing of operation of the photodiode PD may be other than those shown in the first embodiment and the second embodiment.
  • the second pixel P2 has a light receiving area corresponding to four of the first pixel P1.
  • the second pixel P2 may have the same light receiving area as the first pixel P1, may be larger than the first pixel P1, or may be smaller than the first pixel P1.
  • the reset transistor RST, the floating diffusion FD, the transfer transistor TG, the OF gate transistor OFG, the amplification transistor AMP, and the selection transistor SEL are provided one by one for each pixel block PB. I made it.
  • at least one floating diffusion FD may be provided for each pixel block PB. Therefore, for example, the reset transistor RST may be provided not for each pixel block PB but for each organic photoelectric conversion element 30a and the photodiode PD.
  • the image pickup apparatus 1 continuously and alternately acquires the visible image and the distance image.
  • the image pickup apparatus 1 continuously acquires only one of the visible image and the distance image, or acquires the other at a predetermined timing while continuously acquiring only one of the visible image and the distance image. You may do it.
  • the image pickup apparatus 1 may continuously operate only the first photoelectric conversion unit 30 to continuously acquire only visible images.
  • the image pickup apparatus 1 may continuously operate only the second photoelectric conversion unit 31 to continuously acquire only the distance image.
  • the image pickup device 1 of the first embodiment, the second embodiment and the modification described above can be applied to an information processing device such as a digital still camera, a digital video camera, a mobile phone, and a personal computer.
  • FIG. 10 is a block diagram for explaining a configuration example of the information processing apparatus 100.
  • the information processing device 100 includes an image pickup device 1, an information processing unit 101, and a storage unit 102.
  • the information processing unit 101 is composed of a microcomputer having a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory). The information processing unit 101 appropriately controls the image pickup device 1 and the storage unit 102.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the storage unit 102 is, for example, a storage device such as a flash memory, an SSD (Solid State Drive), or an HDD (Hard Disk Drive).
  • a storage device such as a flash memory, an SSD (Solid State Drive), or an HDD (Hard Disk Drive).
  • FIG. 11 is a flowchart showing the flow of information processing in the first example.
  • the information processing unit 101 executes face recognition processing as a first example of information processing.
  • the storage unit 102 stores the authentication information about the face to be authenticated in advance.
  • the information processing unit 101 extracts the positions of feature points such as the mouth, nose, and eyes of the face from the visible image obtained by capturing the face to be authenticated by the image pickup device 1. Further, the information processing unit 101 derives the distance of the extracted feature points from the distance image obtained by capturing the face to be authenticated by the image pickup device 1. Then, the positions and distances of the derived feature points are stored in the storage unit 102 as authentication information.
  • the information processing unit 101 controls the image pickup apparatus 1 to acquire a visible image in step S1.
  • the information processing unit 101 executes an extraction process for extracting a human face from the acquired visible image, and determines whether or not the face has been extracted from the visible image. If it is not determined in step S2 that the face is extracted from the visible image, the process returns to step S1.
  • the information processing unit 101 controls the image pickup apparatus 1 to acquire the distance image in step S3. After that, in step S4, the information processing unit 101 derives the feature points and the distances of the feature points from the acquired visible image and distance image.
  • step S5 the information processing unit 101 executes an authentication process for comparing the authentication information stored in the storage unit 102 with the feature points derived in step S4 and the distances between the feature points.
  • a known method can be used for the authentication process, and the description thereof is omitted here.
  • the information processing device 100 can execute high-precision face recognition processing using the image pickup device 1. Further, since the information processing apparatus 100 captures only a visible image until a face is detected, the processing load can be reduced.
  • FIG. 12 is a flowchart showing the flow of information processing in the second example.
  • the information processing unit 101 executes monitoring processing as a second example of information processing.
  • the information processing unit 101 controls the image pickup apparatus 1 to acquire a distance image and stores it in the storage unit 102 in step S11.
  • the distance image at least the distance image captured last time may be stored in the storage unit 102, and when the new distance image is stored in the storage unit 102, the distance image already stored in the storage unit 102 is stored. You may delete it.
  • step S12 the information processing unit 101 compares the acquired distance image with, for example, the previous distance image stored in the storage unit 102, and determines whether a preset difference is detected.
  • a preset difference is detected.
  • step S12 If it is not determined in step S12 that there is a difference, the process is returned to step S11. On the other hand, when it is determined in step S12 that there is a difference, the information processing unit 101 controls the image pickup apparatus 1 to acquire a visible image and stores it in the storage unit 102 in step S13.
  • the visible image can be stored in the storage unit 102 at the timing when some object is newly reflected, and the visible image is stored in the storage unit 102 at other timings. It can be prevented from being remembered in. Therefore, the information processing apparatus 100 can reduce the amount of data stored in the storage unit 102. Further, since only the distance image is stored in the storage unit 102 while it is said that some object is not newly reflected, the personal information stored can be reduced as compared with the case where the visible image is stored. can.
  • the embodiment is not limited to the specific examples described above, and configurations as various modified examples can be adopted.
  • the face recognition process is executed, and in the second example, the monitoring process is executed.
  • the information processing device 100 may execute any process as long as it performs a predetermined process using the visible image and the distance image captured by the image pickup device 1.
  • the image pickup apparatus 1 as an embodiment has photoelectric conversion elements (for example, an organic photoelectric conversion element 30a and a photodiode PD) that perform photoelectric conversion by light in different wavelength ranges from each other, and have light incident directions.
  • a plurality of photoelectric conversion units (for example, the first photoelectric conversion unit 30 and the second photoelectric conversion unit 31) laminated on the same surface, and a charge holding unit (for example, a charge holding unit) that holds the charges accumulated in the photoelectric conversion elements of different photoelectric conversion units. It is equipped with a floating diffusion FD).
  • the image pickup apparatus 1 can be used by sharing the photoelectric holding unit with respect to the photoelectric conversion elements of the different photoelectric conversion units stacked. Therefore, in the image pickup apparatus 1, it is not necessary to provide a charge holding unit for each photoelectric conversion element of the different photoelectric conversion units stacked, and the configuration can be simplified.
  • the image pickup apparatus 1 as an embodiment, it is conceivable to have a configuration including a charge reset unit (reset transistor RST) that resets the charge accumulated in the charge holding unit.
  • the image pickup apparatus 1 can share and use the charge reset unit that resets the charge accumulated in the charge holding unit. Therefore, in the image pickup apparatus 1, it is not necessary to provide a charge reset unit for each photoelectric conversion element of the different photoelectric conversion units stacked, and the configuration can be simplified.
  • the charge holding unit holds the charge accumulated in the photoelectric conversion elements arranged opposite to each other in the light incident direction in different photoelectric conversion units. ..
  • the photoelectric conversion elements arranged so as to face each other overlap in the light incident direction, it is possible to reduce the displacement of the pixels of the photoelectric conversion units. Therefore, it is not necessary for the image pickup apparatus 1 to perform position correction between the acquired visible image and the distance image, and the processing load can be reduced by the amount that the processing is not performed. Further, since the image pickup apparatus 1 does not need to be provided with a processing apparatus for performing position correction, the structure can be simplified.
  • the first photoelectric conversion unit and the second photoelectric conversion unit are sequentially laminated along the light incident direction, and the first photoelectric conversion unit has a specific wavelength range. It has a photoelectric conversion element (for example, an organic photoelectric conversion element 30a) using an organic material that receives light and performs photoelectric conversion, and the second photoelectric conversion unit uses an inorganic material that receives light and performs photoelectric conversion. It is conceivable to have a configuration having a photoelectric conversion element (for example, a photodiode PD).
  • a photoelectric conversion element for example, a photodiode PD
  • the image pickup apparatus 1 since the attenuation of the transmitted light in the first photoelectric conversion unit is small, it is possible to increase the efficiency (sensitivity) of the photoelectric conversion in the second photoelectric conversion unit. Therefore, the image pickup apparatus 1 can acquire high-definition distance information (distance image) in the photoelectric conversion element of the second photoelectric conversion unit.
  • the image pickup apparatus 1 as an embodiment may be configured to include a charge discharge unit (for example, an OF gate transistor OFG) that discharges the charge accumulated in the photoelectric conversion element of the second photoelectric conversion unit. ..
  • a charge discharge unit for example, an OF gate transistor OFG
  • the image pickup apparatus 1 can accurately reset the electric charge accumulated in the photoelectric conversion element of the second photoelectric conversion unit. Therefore, the image pickup apparatus 1 can acquire high-definition distance information (distance image) in the photoelectric conversion element of the second photoelectric conversion unit.
  • the first photoelectric conversion unit and the second photoelectric conversion unit are sequentially laminated along the light incident direction, and the first photoelectric conversion unit receives visible light.
  • the second photoelectric conversion unit has a photoelectric conversion element that receives infrared light and performs photoelectric conversion.
  • the image pickup apparatus 1 can increase the efficiency of photoelectric conversion in the first photoelectric conversion unit as compared with the second photoelectric conversion unit. Therefore, the image pickup apparatus 1 can acquire high-definition visible information in the photoelectric conversion element of the first photoelectric conversion unit.
  • the image pickup apparatus 1 as an embodiment includes a distance signal processing unit 18 that generates a distance image showing a distance to an object based on the charge photoelectrically converted by the photoelectric conversion element of the second photoelectric conversion unit. It is conceivable to have a different configuration. As a result, the image pickup apparatus 1 can acquire a visible image based on visible light and a distance image showing the distance to the object. Therefore, the image pickup apparatus 1 can acquire a visible image based on visible light and a distance image showing a distance to an object with a simple configuration.
  • the photoelectric conversion element of the second photoelectric conversion unit has a larger light receiving area than the photoelectric conversion element of the first photoelectric conversion unit.
  • the image pickup apparatus 1 can increase the amount of electric charge in the second photoelectric conversion unit, which is farther from the object and has lower photoelectric efficiency than the first photoelectric conversion unit. Therefore, the image pickup apparatus 1 can acquire high-definition distance information in the photoelectric conversion element of the second photoelectric conversion unit.
  • the image pickup apparatus 1 as an embodiment may be configured to include a drive control unit that transfers the charges accumulated in the photoelectric conversion elements of different photoelectric conversion units to the charge holding units at different timings.
  • the image pickup apparatus 1 can sequentially acquire the electric charges generated by photoelectric conversion by the photoelectric conversion elements of the different photoelectric conversion units stacked. Therefore, in the image pickup apparatus 1, it is not necessary to provide a charge holding unit for each photoelectric conversion element of the different photoelectric conversion units stacked, and the configuration can be simplified.
  • the information processing device 100 includes an image pickup device 1 that captures an image and an information processing unit 101 that executes a predetermined process based on the image captured by the image pickup device.
  • the apparatus has a photoelectric conversion element (for example, an organic photoelectric conversion element 30a, a photodiode PD) that performs photoelectric conversion with light in different wavelength ranges, and a plurality of photoelectric conversion units (for example, for example) stacked in the light incident direction.
  • the first photoelectric conversion unit 30 and the second photoelectric conversion unit 31) are provided with a charge holding unit (for example, a floating diffusion FD) that holds the charges accumulated in the photoelectric conversion elements of different photoelectric conversion units.
  • the information processing apparatus 100 can share and use the photoelectric holding unit with respect to the stacked different photoelectric conversion units. Therefore, in the information processing apparatus 100, it is not necessary to provide a charge holding unit for each photoelectric conversion element of the different photoelectric conversion units stacked, and the configuration can be simplified.
  • the first photoelectric conversion unit and the second photoelectric conversion unit are stacked in order along the light incident direction, and the first photoelectric conversion unit emits visible light. It is conceivable to have a photoelectric conversion element that receives light and performs photoelectric conversion, and the second photoelectric conversion unit has a photoelectric conversion element that receives infrared light and performs photoelectric conversion. As a result, the information processing apparatus 100 can perform processing based on a visible image based on visible light and an image showing a distance to an object based on infrared light. Therefore, the information processing apparatus 100 can acquire high-definition visible information in the photoelectric conversion element of the first photoelectric conversion unit.
  • the image pickup apparatus includes a visible signal processing unit that generates a visible image based on the charge photoelectrically converted by the photoelectric conversion element of the first photoelectric conversion unit, and a second photoelectric conversion unit. It is equipped with a distance signal processing unit that generates a distance image showing the distance to an object based on the charge photoelectrically converted by the photoelectric conversion element of the unit, and the information processing unit captures a distance image based on the visible image. It is conceivable to have a configuration that determines whether or not to do so. As a result, the information processing apparatus 100 can switch whether or not to capture a distance image depending on the object reflected in the visible image. Therefore, when it is not necessary to acquire the visible image, the information processing apparatus 100 does not acquire the visible image, so that the processing load can be reduced.
  • the image pickup apparatus includes a visible signal processing unit that generates a visible image based on the charge photoelectrically converted by the photoelectric conversion element of the first photoelectric conversion unit, and a second photoelectric conversion unit. It is equipped with a distance signal processing unit that generates a distance image showing the distance to an object based on the charge photoelectrically converted by the photoelectric conversion element of the unit, and the information processing unit captures a visible image based on the distance image. It is conceivable to have a configuration that determines whether or not to do so. As a result, the information processing apparatus 100 can switch whether or not to capture the distance image depending on the object reflected in the distance image. Therefore, when it is not necessary to acquire the visible image, the information processing apparatus 100 does not acquire the distance image, so that the processing load can be reduced.
  • the present technology can also adopt the following configurations.
  • the image pickup apparatus according to (1) which includes a charge reset unit that resets the charge accumulated in the charge holding unit.
  • the charge holding unit is The image pickup apparatus according to (1) or (2), which retains the electric charge accumulated in the photoelectric conversion element arranged in different photoelectric conversion units so as to face each other in the light incident direction.
  • a first photoelectric conversion unit and a second photoelectric conversion unit are stacked in order along the light incident direction.
  • the first photoelectric conversion unit has the photoelectric conversion element using an organic material that receives light in a specific wavelength range and performs photoelectric conversion.
  • the image pickup apparatus according to any one of (1) to (3), wherein the second photoelectric conversion unit has the photoelectric conversion element using an inorganic material that receives light and performs photoelectric conversion.
  • the image pickup apparatus according to (4) which includes a charge discharging unit that discharges the charge accumulated in the photoelectric conversion element of the second photoelectric conversion unit.
  • a first photoelectric conversion unit and a second photoelectric conversion unit are stacked in order along the light incident direction.
  • the first photoelectric conversion unit has the photoelectric conversion element that receives visible light and performs photoelectric conversion.
  • the image pickup apparatus according to any one of (1) to (5), wherein the second photoelectric conversion unit has the photoelectric conversion element that receives infrared light and performs photoelectric conversion.
  • the image pickup apparatus comprising a drive control unit for transferring charges accumulated in the photoelectric conversion element of the different photoelectric conversion units to the charge holding unit at different timings.
  • An image pickup device that captures images and It is provided with an information processing unit that executes a predetermined process based on the image captured by the image pickup device.
  • the image pickup device A plurality of photoelectric conversion units stacked in the light incident direction, each having a photoelectric conversion element that performs photoelectric conversion with light in different wavelength ranges, and An information processing device including a charge holding unit that holds a charge accumulated in the photoelectric conversion element of the photoelectric conversion unit that is different from each other.
  • the photoelectric conversion unit a first photoelectric conversion unit and a second photoelectric conversion unit are stacked in order along the light incident direction.
  • the first photoelectric conversion unit has the photoelectric conversion element that receives visible light and performs photoelectric conversion.
  • the information processing apparatus according to (10), wherein the second photoelectric conversion unit has the photoelectric conversion element that receives infrared light and performs photoelectric conversion.
  • the image pickup device A visible signal processing unit that generates a visible image based on the electric charge photoelectrically converted by the photoelectric conversion element of the first photoelectric conversion unit.
  • a distance signal processing unit that generates a distance image showing a distance to an object based on the electric charge photoelectrically converted by the photoelectric conversion element of the second photoelectric conversion unit is provided.
  • the information processing apparatus determines whether to capture the distance image based on the visible image.
  • the image pickup device A visible signal processing unit that generates a visible image based on the electric charge photoelectrically converted by the photoelectric conversion element of the first photoelectric conversion unit.
  • a distance signal processing unit that generates a distance image showing a distance to an object based on the electric charge photoelectrically converted by the photoelectric conversion element of the second photoelectric conversion unit is provided.
  • the information processing apparatus determines whether to capture the visible image based on the distance image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術に係る撮像装置は、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、異なる光電変換部の光電変換素子に蓄積された電荷を保持する電荷保持部とを備えたものである。

Description

撮像装置及び情報処理装置
　本技術は、撮像装置及び情報処理装置に関するものであり、特には、積層された光電変換部を備えた撮像装置及び情報処理装置の技術分野に関する。
　撮像装置としては、光電変換部が積層された固体撮像素子を備えたものが提案されている。このような撮像装置では、光電変換部の各光電変換素子で光電変換し生成された信号電荷を読み出す回路が、光電変換素子ごとに設けられている（例えば、下記特許文献１を参照）。
特開２０１５－１２８１３１号公報
　特許文献１に記載の撮像装置では、積層された光電変換部の光電変換素子ごとに、信号電荷を保持する電荷保持部としてのフローティングディフュージョンが設けられることになる。しかしながら、積層された光電変換部の光電変換素子ごとに電荷保持部を設けるとなると、構成が複雑になる。
　本技術は上記事情に鑑み為されたものであり、構成を簡素化することを目的とする。
　本技術に係る撮像装置は、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えたものである。
　これにより、積層された異なる光電変換部の光電変換素子に対して電荷保持部を共有して使用することが可能となる。
　上記した本技術に係る撮像装置においては、前記電荷保持部に蓄積された電荷をリセットする電荷リセット部を備えた構成とすることが考えられる。
　これにより、電荷保持部に蓄積された電荷をリセットする電荷リセット部を共有して使用することが可能となる。
　上記した本技術に係る撮像装置においては、前記電荷保持部は、異なる前記光電変換部において前記光入射方向に対向して配置される前記光電変換素子に蓄積された電荷を保持する構成とすることが考えられる。
　これにより、対向して配置される光電変換素子は光入射方向に重なっているため、それぞれの光電変換部の画素のずれを低減することが可能である。
　上記した本技術に係る撮像装置においては、前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、前記第１光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた光電変換素子を有し、前記第２光電変換部は、光を受光して光電変換する無機材料を用いた光電変換素子を有する構成とすることが考えられる。
　これにより、第１光電変換部における透過光の減衰が少ないため、第２光電変換部における光電変換の効率を高めることが可能となる。
　上記した本技術に係る撮像装置においては、前記第２光電変換部の前記光電変換素子に蓄積された電荷を排出する電荷排出部を備えた構成とすることが考えられる。
　これにより、第２光電変換部の光電変換素子に蓄積された電荷をリセットすることが可能となる。
　上記した本技術に係る撮像装置においては、前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、前記第１光電変換部は、可視光を受光して光電変換する光電変換素子を有し、前記第２光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
　これにより、第１光電変換部では第２光電変換部よりも光電変換の効率を高めることが可能となる。
　上記した本技術に係る撮像装置においては、前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部を備えた構成とすることが考えられる。
　これにより、可視光に基づく画像、及び、対象物までの距離を示す距離画像を取得することが可能となる。
　上記した本技術に係る撮像装置においては、前記第２光電変換部の前記光電変換素子は、前記第１光電変換部の前記光電変換素子よりも受光面積が大きい構成とすることが考えられる。
　これにより、第１光電変換部よりも対象物から遠く光電効率が低い第２光電変換部において電荷量を多くすることが可能となる。
　上記した本技術に係る撮像装置においては、異なる前記光電変換部の前記光電変換素子に蓄積された電荷を異なるタイミングで前記電荷保持部に転送する駆動制御部を備えた構成とすることが考えられる。
　これにより、積層された異なる光電変換部の光電変換素子で光電変換し生成された電荷を順次取得することが可能となる。
　本技術に係る情報処理装置は、画像を撮像する撮像装置と、前記撮像装置で撮像された前記画像に基づいて所定の処理を実行する情報処理部とを備え、前記撮像装置は、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えたものである。
　これにより、積層された異なる光電変換部に対して光電保持部を共有して使用することが可能となる。
　上記した本技術に係る情報処理装置においては、前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、前記第１光電変換部は、可視光を受光して光電変換する光電変換素子を有し、前記第２光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
　これにより、可視光に基づく画像と、赤外光に基づく対象物までの距離を示す画像とに基づいて、処理を行うことが可能となる。
　上記した本技術に係る情報処理装置においては、前記撮像装置は、前記第１光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、前記情報処理部は、前記可視画像に基づいて、前記距離画像を撮像するかを決定する構成とすることが考えられる。
　これにより、可視画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
　上記した本技術に係る情報処理装置においては、前記撮像装置は、前記第１光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、前記情報処理部は、前記距離画像に基づいて、前記可視画像を撮像するかを決定する構成とすることが考えられる。
　これにより、距離画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
本技術に係る撮像装置の構成例を説明するためのブロック図である。 撮像部の内部回路構成例を示したブロック図である。 画素の配置を示した概略図である。 画素アレイ部の概略構造を説明するための断面図である。 画素アレイ部における画素ブロックの等価回路を示した図である。 画素ブロックにおける動作のタイミングチャートを説明する図である。 第２光電変換部における複数のフォトダイオードの動作のタイミングチャートを説明する図である。 第二実施形態としての画素アレイ部の構成例を示した概略図である。 第二実施形態としての第２光電変換部における複数のフォトダイオードの動作のタイミングチャートを説明する図である。 情報処理装置の構成例を説明するためのブロック図である。 第一例における情報処理の流れを示すフローチャートである。 第二例における情報処理の流れを示すフローチャートである。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
［1-1．撮像装置の構成］
［1-2．センサ部の回路構成］
［1-3．画素アレイ部の構造］
［1-4．画素アレイ部の回路構成］
＜２．第二実施形態＞
＜３．変形例＞
＜４．情報処理装置への適用＞
［4-1．情報処理装置の構成］
［4-2．第一例］
［4-3．第二例］
［4-4．変形例］
＜５．実施形態のまとめ＞
＜６．本技術＞
＜１．第一実施形態＞
［1-1．撮像装置の構成］
　図１は、本技術に係る第一実施形態としての撮像装置１の構成例を説明するためのブロック図である。
　図１に示すように、撮像装置１は、撮像部２、発光部３、制御部４、画像処理部５、及びメモリ６を備えている。本例では、撮像部２、発光部３、及び制御部４は同一基板上に形成され、センシングモジュール７として構成される。
　撮像装置１は、可視光に基づく画像、及び、赤外光に基づく画像を撮像する装置とされる。以下、可視光に基づく画像を可視画像、赤外光に基づく画像を距離画像と表記する。
　発光部３は、光源として一又は複数の発光素子を有し、対象物Ｏｂに対して照射光Ｌｉを発する。具体的に、本例では、発光部３は、照射光Ｌｉとして波長が７８０nmから１０００nmの範囲の赤外光を発光する。
　制御部４は、発光部３による照射光Ｌｉの発光動作を制御する。具体的に、本例では、発光部３は、照射光Ｌｉとして、パルス光を所定周期で繰り返し発光する。
　撮像部２は、詳しくは後述するように複数の光電変換部が積層されている。本例では、撮像部２は、２個の光電変換部が積層されている。撮像部２は、発光部３から発光され対象物Ｏｂで反射された反射光Ｌｒを一方の光電変換部で受光し、反射光Ｌｒと照射光Ｌｉの位相差に基づいて間接ＴｏＦ（Time of Flight：光飛行時間）方式による距離情報を距離画像として出力する。なお、間接ＴｏＦ方式は、対象物Ｏｂに対する照射光Ｌｉと、照射光Ｌｉが対象物Ｏｂで反射されて得られる反射光Ｌｒとの位相差に基づいて対象物Ｏｂまでの距離を算出する測距方式である。従って、距離画像は、対象物Ｏｂまでの距離を示す情報が各画素に示されていると言える。
　また、撮像部２は、対象物Ｏｂで反射した可視光Ｌｖを他方の光電変換部で受光し、受光した可視光に基づく可視画像を出力する。
　画像処理部５は、撮像部２で得られた可視画像及び距離画像が入力され、例えば圧縮符号化等の所定の信号処理を施してメモリ６に出力する。
　メモリ６は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、画像処理部５で処理された可視画像及び距離画像を記憶する。
［1-2．センサ部の回路構成］
　図２は、撮像部２の内部回路構成例を示したブロック図である。図３は、画素の配置を示した概略図である。
　図２に示すように、撮像部２は、画素アレイ部１１、転送ゲート駆動部１２、垂直駆動部１３、システム制御部１４、カラム処理部１５、水平駆動部１６、可視信号処理部１７、及び距離信号処理部１８を備えている。
　画素アレイ部１１は、図３に示すように、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有する第１光電変換部３０及び第２光電変換部３１が光入射方向に積層されている。第１光電変換部３０及び第２光電変換部３１は、複数の画素が行方向及び列方向の行列状に２次元に配列されている。第１光電変換部３０は、第２光電変換部３１よりも対象物Ｏｂ側、すなわち、受光面側に配置されている。
　ここで、行方向とは、水平方向の画素の配列方向を言い、列方向とは、垂直方向の画素の配列方向を言う。図２中では、行方向を横方向、列方向を縦方向としている。
　第１光電変換部３０では、第１画素Ｐ１（有機光電変換素子３０ａ）が行方向及び列方向の行列状に２次元に配列されている。第１画素Ｐ１は、特定の色（波長域）の光を受光して光電変換する有機材料を用いた有機光電変換素子３０ａを有している。本例では、第１画素Ｐ１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光を受光して光電変換する有機光電変換素子３０ａを有している。なお、図３では、Ｒ（赤）の可視光を受光して光電変換する有機光電変換素子３０ａを「Ｒ」と表記し、Ｇ（緑）の可視光を受光して光電変換する有機光電変換素子３０ａを「Ｇ」と表記し、Ｂ（青）の可視光を受光して光電変換する有機光電変換素子３０ａを「Ｂ」と表記する。
　第１光電変換部３０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光をそれぞれ受光して光電変換する有機光電変換素子３０ａ（第１画素Ｐ１）が例えばベイヤ配列で配置されている。なお、第１光電変換部３０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光を受光して光電変換する有機光電変換素子３０ａが他の配列で配置されていてもよい。また、第１光電変換部３０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光を分けることなく受光して光電変換する有機光電変換素子３０ａが配置されるようにしてもよい。また、第１光電変換部３０では、シリコンなどの無機材料を用いた無機光電変換素子を有する第１画素Ｐ１が配列されるようにしてもよい。この場合、画素アレイ部１１は、第１光電変換部３０よりも対象物Ｏｂ側に、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の可視光のみをそれぞれ透過するカラーフィルタを配置すればよい。
　第２光電変換部３１は、複数の第２画素Ｐ２が行方向及び列方向の行列状に２次元に配列されている。第２画素Ｐ２は、赤外光を受光して光電変換する無機材料を用いた無機光電変換素子としてのフォトダイオードＰＤを有している。なお、図３では、赤外光を受光して光電変換するフォトダイオードＰＤを「ＩＲ」とも表記する。
　フォトダイオードＰＤの受光面積は、有機光電変換素子３０ａの受光面積よりも大きい。本例では、フォトダイオードＰＤの受光面積は、有機光電変換素子３０ａの受光面積の４倍に相当する面積を有する。従って、第２画素Ｐ２は、第１画素Ｐ１の４個分、すなわち、第１画素Ｐ１の４倍に相当する面積を有する。
　そして、画素アレイ部１１では、４個の第１画素Ｐ１（有機光電変換素子３０ａ）と、１個の第２画素Ｐ２（フォトダイオードＰＤ）とが光入射方向に対向して配置されている。従って、画素アレイ部１１では、１個の第２画素Ｐ２と、１個の第２画素Ｐ２と対向して配置される４個の第１画素Ｐ１とを一組とする画素ブロックＰＢが行方向及び列方向に２次元に配置されているとも言える。
　画素アレイ部１１においては、画素ブロックＰＢの行ごとに行駆動線２０がそれぞれ行方向に沿って配線される。また、画素アレイ部１１においては、画素ブロックＰＢの列ごとにゲート駆動線２１がそれぞれ列方向に沿って配線されている。また、画素アレイ部１１は、画素ブロックＰＢの列ごとに垂直信号線２２がそれぞれ列方向に沿って配線されている。
　例えば、行駆動線２０は、第１画素Ｐ１又は第２画素Ｐ２から信号電荷を読み出す際の駆動を行うための駆動信号を伝送する。なお、図２では、行駆動線２０について１本の配線として示しているが、１本に限られるものではない。行駆動線２０の一端は、垂直駆動部１３の各行に対応した出力端に接続されている。
　システム制御部１４は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、該タイミングジェネレータで生成された各種のタイミング信号を基に、転送ゲート駆動部１２、垂直駆動部１３、カラム処理部１５、及び水平駆動部１６などの駆動制御を行う。
　転送ゲート駆動部１２は、システム制御部１４の制御に基づき、ゲート駆動線２１を通じて、有機光電変換素子３０ａ及び後述する転送ゲート素子（転送トランジスタＴＧ）を駆動する。このため、システム制御部１４は、転送ゲート駆動部１２に対し、図１に示した制御部４より入力されるＣＬＫを供給し、転送ゲート駆動部１２は、このクロックＣＬＫに基づいて有機光電変換素子３０ａ及び転送ゲート素子を駆動する。
　垂直駆動部１３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１の第１画素Ｐ１及び第２画素Ｐ２を全画素同時或いは行単位等で駆動する。すなわち、垂直駆動部１３は、垂直駆動部１３を制御するシステム制御部１４と共に、画素アレイ部１１の第１画素Ｐ１及び第２画素Ｐ２の動作を制御する駆動制御部を構成している。
　垂直駆動部１３による駆動制御に応じて第１画素Ｐ１又は第２画素Ｐ２から出力される（読み出される）検出信号、具体的には、画素ブロックＰＢごとに設けられたフローティングディフュージョンに蓄積された信号電荷に応じた信号は、対応する垂直信号線２２を通してカラム処理部１５に入力される。カラム処理部１５は、第１画素Ｐ１又は第２画素Ｐ２から垂直信号線２２を通して読み出された検出信号に対して所定の信号処理を行うとともに、信号処理後の検出信号を一時的に保持する。具体的には、カラム処理部１５は、信号処理としてノイズ除去処理やＡ／Ｄ（Analog to Digital）変換処理などを行う。
　水平駆動部１６は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１５の画素ブロックＰＢ列に対応する単位回路を順番に選択する。この水平駆動部１６による選択走査により、カラム処理部１５において単位回路ごとに信号処理された検出信号が順番に出力される。
　可視信号処理部１７は、少なくとも演算処理機能を有し、第１画素Ｐ１から読み出されカラム処理部１５から出力される検出信号に対して、色チャンネル間の補正処理、ホワイトバランス補正、収差補正、シェーディング補正等の信号処理を行い、可視画像を生成する。
　距離信号処理部１８は、少なくとも演算処理機能を有し、第２画素Ｐ２から読み出されカラム処理部１５から出力される検出信号に対して、間接ＴｏＦ方式に対応した距離の算出処理等の種々の信号処理を行い、距離情報を算出する（距離画像を生成する）。なお、検出信号に基づいて間接ＴｏＦ方式による距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
［1-3．画素アレイ部の構造］
　図４は、画素アレイ部１１の概略構造を説明するための断面図である。
　図４に示すように、画素アレイ部１１は、半導体基板３２と、半導体基板３２の表面Ｓｓ側に形成された配線層３３とを備えている。
　半導体基板３２は、例えばシリコン（Ｓｉ）で構成され、例えば１μｍから６μｍ程度の厚みを有して形成されている。半導体基板３２内において、第２光電変換部３１の第２画素Ｐ２の領域には、無機光電変換素子としてのフォトダイオードＰＤが形成されている。隣接するフォトダイオードＰＤ間は、画素間分離部３４により電気的に分離されている。
　配線層３３は、半導体基板３２の表面Ｓｓ側に形成されており、層間絶縁膜３３ｂを介して複数層に積層された配線３３ａを有して構成されている。配線層３３に形成される配線３３ａを介して、後述する画素トランジスタが駆動される。
　半導体基板３２の裏面Ｓｂには、固定電荷を有する固定電荷膜３５が、フォトダイオードＰＤを囲むように形成されている。
　固定電荷膜３５としては、負の電荷を有する高屈折率材料膜、又は高誘電体膜を用いることができる。具体的な材料としては、例えば、ハフニウム（Ｈｆ）、アルミニウム（Ａｌ）、ジルコニウム（Ｚｒ）、タンタル（Ｔａ）及びチタン（Ｔｉ）のうち少なくとも何れかの元素を含む酸化物又は窒化物を適用することができる。成膜方法としては、例えば、ＣＶＤ法（Chemical Vapor Deposition：化学気相成長法）、スパッタリング法、ＡＬＤ法（Atomic Layer Deposition：原子層蒸着法）等が挙げられる。なお、ＡＬＤ法を用いれば、成膜中に界面準位を低減するＳｉＯ２（酸化シリコン）膜を同時に１ｎｍ程度の膜厚に形成することができる。
　なお、固定電荷膜３５の材料には、絶縁性を損なわない範囲で膜中にシリコンや窒素（Ｎ）が添加されていてもよい。その濃度は、膜の絶縁性が損なわれない範囲で適宜決定される。このように、シリコンや窒素（Ｎ）が添加されることによって、膜の耐熱性やプロセス中におけるイオン注入の阻止能力を上げることが可能になる。
　固定電荷膜３５の周りには、絶縁層３６が形成されている。絶縁層３６上には、第１光電変換部３０、封止膜３７、平坦化膜３８、及びマイクロレンズ（オンチップレンズ）３９がこの順序で積層されている。
　第１光電変換部３０（有機光電変換素子３０ａ）は、光電変換層４０、第１電極４１、電荷蓄積用電極４２、及び第２電極４３を備えている。第１電極４１及び電荷蓄積用電極４２は、絶縁層３６内において離隔するように光電変換層４０に対向して配置されている。第２電極４３は、光電変換層４０上に配置されている。第１光電変換部３０の各第１画素Ｐ１の領域には、１個の有機光電変換素子３０ａが形成されることになる。
　第１電極４１、電荷蓄積用電極４２及び第２電極４３は、例えば、ＩＴＯ又はＩＺＯ等の透明電極である。第１電極４１は、光電変換層４０に接続されるとともに、配線層３３の配線３３ａまで貫通した配線４４に接続されている。
　なお、第１画素Ｐ１及び第２画素Ｐ２には、画素トランジスタ（転送トランジスタＴＧ、リセットトランジスタＲＳＴ、ＯＦ（オーバーフロー）ゲートトランジスタＯＦＧ、増幅トランジスタＡＭＰ、選択トランジスタＳＥＬ）及びフローティングディフュージョンＦＤも形成されるが、図４ではそれら画素トランジスタ及びフローティングディフュージョンＦＤについての図示は省略している。ここで、画素トランジスタの電極（ゲート、ドレイン、ソースの各電極）として機能する導電体及びフローティングディフュージョンＦＤは、配線層３３における半導体基板３２の表面Ｓｓ近傍に形成される。
　絶縁層３６の材料としては、固定電荷膜３５とは異なる屈折率を有する材料で形成することが好ましく、例えば、酸化シリコン、窒化シリコン、酸窒化シリコン、樹脂などを用いることができる。また、正の固定電荷を持たない、又は正の固定電荷が少ないという特徴を持つ材料を絶縁層３６に用いることができる。
　封止膜３７は、アルミニウム（Ａｌ）又はチタン（Ｔｉ）を含む絶縁体を用いることができる。
　平坦化膜３８は、封止膜３７上に形成され、これにより半導体基板３２の裏面Ｓｂ側の面が平坦とされる。平坦化膜３８の材料としては、例えば、樹脂などの有機材料を用いることができる。
　マイクロレンズ３９は、平坦化膜３８上において第１画素Ｐ１ごとに形成されている。マイクロレンズ３９では入射光が集光され、集光された光が有機光電変換素子３０ａ及びフォトダイオードＰＤに効率良く入射する。
　また、絶縁層３６内には、画素間遮光部４５、及び、フィルタ部４６が設けられている。
　画素間遮光部４５は、半導体基板３２の裏面Ｓｂ側において、各第２画素Ｐ２のフォトダイオードＰＤを開口するように格子状に形成されている。すなわち、画素間遮光部４５は、画素間分離部３４に対応する位置に形成されている。
　画素間遮光部４５を構成する材料としては、遮光が可能な材料であればよく、例えば、タングステン（Ｗ）、アルミニウム（Ａｌ）又は銅（Ｃｕ）を用いることができる。
　画素間遮光部４５により、隣接する第２画素Ｐ２間において、一方の第２画素Ｐ２にのみ入射されるべき光が他方の第２画素Ｐ２に漏れ込んでしまうことの防止が図られる。
　フィルタ部４６は、所定の波長域の光を透過する波長フィルタが形成されている。ここでの波長フィルタとしては、例えば、可視光を遮断し赤外光を透過する波長フィルタを挙げることができる。
　上記のような画素アレイ部１１を備えた撮像装置１では、半導体基板３２の裏面Ｓｂ側から光が照射され、マイクロレンズ３９を透過した所定の波長域の光が第１光電変換部３０の有機光電変換素子３０ａにて光電変換されることにより、信号電荷が生成される。そして、光電変換により得られた信号電荷が、半導体基板３２の表面Ｓｓ側に形成された画素トランジスタを経由し、配線層３３における所定の配線３３ａとして形成された垂直信号線２２を介して出力される。
　また、画素アレイ部１１を備えた撮像装置１では、半導体基板３２の裏面Ｓｂ側から光が照射され、第１光電変換部３０及びフィルタ部４６を透過した赤外光が第２光電変換部３１のフォトダイオードＰＤにて光電変換されることにより、信号電荷が生成される。そして、光電変換により得られた信号電荷が、半導体基板３２の表面Ｓｓ側に形成された画素トランジスタを経由し、配線層３３における所定の配線３３ａとして形成された垂直信号線２２を介して出力される。
［1-4．画素アレイ部の回路構成］
　図５は、画素アレイ部１１における画素ブロックＰＢの等価回路を示した図である。
　図５に示すように、画素ブロックＰＢは、４個の有機光電変換素子３０ａ（第１画素Ｐ１）、及び、１個のフォトダイオードＰＤ（第２画素Ｐ２）を備える。
　ここで、画素ブロックＰＢにおける４個の有機光電変換素子３０ａを区別する場合、図５に示すように、有機光電変換素子３０ａ１、３０ａ２、３０ａ３及び３０ａ４と表記する。
　また、画素ブロックＰＢは、リセットトランジスタＲＳＴ、フローティングディフュージョンＦＤ、転送トランジスタＴＧ、ＯＦゲートトランジスタＯＦＧ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬをそれぞれ１個ずつ備える。
　リセットトランジスタＲＳＴ、転送トランジスタＴＧ、ＯＦゲートトランジスタＯＦＧ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬは、例えば、Ｎ型のＭＯＳトランジスタで構成される。
　リセットトランジスタＲＳＴは、ドレインが基準電位ＶＤＤ（定電流源）に接続され、ゲートにリセット信号ＳＲＳＴが入力される。また、リセットトランジスタＲＳＴのソースには、有機光電変換素子３０ａ１、３０ａ２、３０ａ３及び３０ａ４の第１電極４１、転送トランジスタＴＧのソース、及び、フローティングディフュージョンＦＤが接続される。
　リセットトランジスタＲＳＴは、ゲートに供給されるリセット信号ＳＲＳＴがオンとされると導通状態となり、フローティングディフュージョンＦＤの電位を基準電位ＶＤＤにリセットする。
　なお、リセット信号ＳＲＳＴは、例えば垂直駆動部１３より供給される。
　有機光電変換素子３０ａは、垂直駆動部１３によって、第１電極４１に正の電位が印加され、第２電極４３に負の電位が印加される。有機光電変換素子３０ａでは、入射された光によって光電変換層４０において光電変換が生じる。光電変換によって生成した正孔は、第２電極４３から外部へと送出される。一方、第１電極４１の電位が第２電極４３の電位よりも高いため、光電変換によって生成した電子は、電荷蓄積用電極４２に引き付けられ、電荷蓄積用電極４２と対向した光電変換層４０の領域に止まる。即ち、光電変換層４０に信号電荷が蓄積される。このとき、光電変換層４０の内部に生成した電子が、第１電極４１に向かって移動することはない。光電変換の時間経過に伴い、電荷蓄積用電極４２と対向した光電変換層４０の領域における電位は、より負側の値となる。
　その後、垂直駆動部１３によって、第１電極４１に所定の電位が印加され、電荷蓄積用電極４２に第１電極４１よりも低い電位が印加される。これによって、電荷蓄積用電極４２と対向した光電変換層４０の領域に止まっていた電子は、第１電極４１を介して信号電荷としてフローティングディフュージョンＦＤへと転送される。このとき、フローティングディフュージョンＦＤは、有機光電変換素子３０ａから転送された信号電荷を一時保持する電荷保持部として機能する。
　ＯＦゲートトランジスタＯＦＧは、フォトダイオードＰＤに蓄積された電荷を排出するために電荷排出部として設けられており、ゲートに供給されるＯＦゲート信号ＳＯＦＧがオンされると導通状態となる。フォトダイオードＰＤは、ＯＦゲートトランジスタＯＦＧが導通状態となると、所定の基準電位ＶＤＤにクランプされて蓄積電荷がリセットされる。
　なお、ＯＦゲート信号ＳＯＦＧは、例えば垂直駆動部１３より供給される。
　転送トランジスタＴＧは、ゲートに供給される転送駆動信号ＳＴＧがオンされると導通状態となり、フォトダイオードＰＤに蓄積されている信号電荷をフローティングディフュージョンＦＤに転送する。このとき、フローティングディフュージョンＦＤは、フォトダイオードＰＤから転送された信号電荷を一時保持する電荷保持部として機能する。
　増幅トランジスタＡＭＰは、ソースが選択トランジスタＳＥＬを介して垂直信号線２２に接続され、ドレインが基準電位ＶＤＤ（定電流源）に接続されて、ソースフォロワ回路を構成する。
　選択トランジスタＳＥＬは、増幅トランジスタＡＭＰのソースと垂直信号線２２との間に接続され、ゲートに供給される選択信号ＳＳＥＬがオンとされると導通状態となり、フローティングディフュージョンＦＤに保持された信号電荷を、増幅トランジスタＡＭＰを介して垂直信号線２２に出力する。
　なお、選択信号ＳＳＥＬは、行駆動線２０を介して垂直駆動部１３より供給される。
　このように、画素アレイ部１１では、画素ブロックＰＢごとに、フローティングディフュージョンＦＤ、選択トランジスタＳＥＬ及び増幅トランジスタＡＭＰが１個ずつ設けられている。すなわち、フローティングディフュージョンＦＤ、選択トランジスタＳＥＬ及び増幅トランジスタＡＭＰは、第１光電変換部３０及び第２光電変換部３１で共有されている。
　図６は、画素ブロックＰＢにおける動作のタイミングチャートを説明する図である。
　次に、画素ブロックＰＢにおける動作について簡単に説明する。
　画素ブロックＰＢでは、有機光電変換素子３０ａ１、３０ａ２、３０ａ３、３０ａ４、及び、フォトダイオードＰＤの順にリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３を含む動作が行われる。すなわち、有機光電変換素子３０ａ１、３０ａ２、３０ａ３、３０ａ４、及び、フォトダイオードＰＤは異なるタイミングで電荷が転送される。まず、画素ブロックＰＢでは、有機光電変換素子３０ａ１についてリセット動作Ａ１が行われる。例えばリセットトランジスタＲＳＴがオン（導通状態）とされ、第１電極４１に所定の電位が印加され、電荷蓄積用電極４２に第１電極４１よりも低い電位が印加される。これにより、有機光電変換素子３０ａ１、フローティングディフュージョンＦＤの蓄積電荷がリセットされる。
　蓄積電荷のリセット後、有機光電変換素子３０ａ１の受光動作Ａ２が開始される。ここでは、第１電極４１に正の電位が印加され、第２電極４３に負の電位が印加される。
　その後、転送動作Ａ３では、第１電極４１に所定の電位が印加され、電荷蓄積用電極４２に第１電極４１よりも低い電位が印加される。これにより、有機光電変換素子３０ａ１に蓄積された信号電荷（蓄積電荷）がフローティングディフュージョンＦＤに転送される。
　その後、画素アレイ部１１の全画素ブロックＰＢが、線順次に選択される。選択された画素ブロックＰＢでは、選択トランジスタＳＥＬがオンされる。これにより、フローティングディフュージョンＦＤに蓄積された信号電荷が垂直信号線２２を介してカラム処理部１５に出力される。
　このように、有機光電変換素子３０ａ１のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が終了すると、有機光電変換素子３０ａ２のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が開始される。また、有機光電変換素子３０ａ２のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が終了すると、有機光電変換素子３０ａ３のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が開始される。また、有機光電変換素子３０ａ３のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が終了すると、有機光電変換素子３０ａ４のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が開始される。なお、有機光電変換素子３０ａ２、３０ａ３、３０ａ４のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３は、有機光電変換素子３０ａのリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３と同様であるため、その説明は省略する。
　有機光電変換素子３０ａ４のリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が終了すると、フォトダイオードＰＤのリセット動作Ａ１、受光動作Ａ２及び転送動作Ａ３が開始される。フォトダイオードＰＤのリセット動作Ａ１が開始されると、ＯＦゲートトランジスタＯＦＧ、リセットトランジスタＲＳＴ、転送トランジスタＴＧがオン（導通状態）とされる。これにより、フォトダイオードＰＤ、フローティングディフュージョンＦＤの蓄積電荷がリセットされる。
　そして、受光動作Ａ２及び転送動作Ａ３では、転送トランジスタＴＧをオン及びオフする動作が所定回数（本例では数千回から数万回程度）繰り返される。ここでは、転送トランジスタＴＧがオフしている間にフォトダイオードＰＤに電荷が蓄積され、転送トランジスタＴＧがオンしている間にフォトダイオードＰＤからフローティングディフュージョンＦＤに電荷が転送される。その後、画素アレイ部１１の各第２画素Ｐ２が、線順次に選択される。選択された第２画素Ｐ２では、選択トランジスタＳＥＬがオンされる。これにより、フローティングディフュージョンＦＤに蓄積された電荷が垂直信号線２２を介してカラム処理部１５に出力される。
　以上で、１回の動作が終了し、次の動作が実行される。
　図７は、第２光電変換部３１における複数のフォトダイオードＰＤの動作のタイミングチャートを説明する図である。
　上記したように、フォトダイオードＰＤで受光した赤外光における反射光Ｌｒと照射光Ｌｉの位相差に基づいて間接ＴｏＦ方式による距離情報を出力する。
　本件では、２行×２列＝４個のフォトダイオードＰＤが異なる位相で動作制御される。ここで、行方向及び列方向に隣接する４個のフォトダイオードＰＤを区別する場合、図７に示されるように、フォトダイオードＰＤ１、ＰＤ２、ＰＤ３及びＰＤ４と表記する。
　制御部４は、発光部３による照射光Ｌｉの発光動作を制御する。間接ＴｏＦ方式の場合、照射光Ｌｉとしては所定の周期で強度が変化するように強度変調された光が用いられる。具体的に、本例では、図７に示すように、照射光Ｌｉとして、パルス光を所定周期で繰り返し発光する。以下、このようなパルス光の発光周期のことを「発光周期Ｃｌ」と表記する。
　ここで、間接ＴｏＦ方式において、発光周期Ｃｌは、例えば数十ＭHzから数百ＭHz程度と比較的高速とされる。
　システム制御部１４は、クロックＣＬＫに基づき垂直駆動部１３を制御して、フォトダイオードＰＤ１、ＰＤ２、ＰＤ３及びＰＤ４に接続されたリセットトランジスタＲＳＴをオンさせるリセット動作Ａ１を行う。ここでは、システム制御部１４は、フォトダイオードＰＤ１、ＰＤ２、ＰＤ３及びＰＤ４にそれぞれ接続されたＯＦゲートトランジスタＯＦＧ、転送トランジスタＴＧをオンさせる。
　その後、システム制御部１４は、フォトダイオードＰＤ１について、照射光Ｌｉの発光動作に同期して、１／４発光周期Ｃｌで受光動作Ａ２を行わせ、３／４発光周期Ｃｌで転送動作Ａ３を行わせる制御サイクルを繰り返す。
　また、システム制御部１４は、フォトダイオードＰＤ２について、フォトダイオードＰＤ１よりも１／４発光周期Ｃｌ遅らせた後に、１／４発光周期Ｃｌで受光動作Ａ２を行わせ、３／４発光周期Ｃｌで転送動作Ａ３を行わせる制御サイクルを繰り返す。
　また、システム制御部１４は、フォトダイオードＰＤ２について、フォトダイオードＰＤ１よりも１／２発光周期Ｃｌ遅らせた後に、１／４発光周期Ｃｌで受光動作Ａ２を行わせ、３／４発光周期Ｃｌで転送動作Ａ３を行わせる制御サイクルを繰り返す。
　また、システム制御部１４は、フォトダイオードＰＤ２について、フォトダイオードＰＤ１よりも３／４発光周期Ｃｌ遅らせた後に、１／４発光周期Ｃｌで受光動作Ａ２を行わせ、３／４発光周期Ｃｌで転送動作Ａ３を行わせる制御サイクルを繰り返す。
　このように、フォトダイオードＰＤ１、ＰＤ２、ＰＤ３及びＰＤ４の受光動作Ａ２及び転送動作Ａ３をそれぞれ９０度ずつ異ならせる。そして、距離信号処理部１８は、フォトダイオードＰＤ１、ＰＤ２、ＰＤ３及びＰＤ４から得られた信号電荷（検出信号）に基づいて、４相を用いた間接ＴｏＦ方式で距離情報を算出する（距離画像を生成する）。なお、４相を用いた間接ＴｏＦ方式で距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
＜２．第二実施形態＞
　図８は、第二実施形態としての画素アレイ部１１の構成例を示した概略図である。図９は、第二実施形態としての第２光電変換部３１における複数のフォトダイオードＰＤの動作のタイミングチャートを説明する図である。
　なお、以下の説明において、既に説明済みとなった部分と同様となる部分は同一符号を付して説明を省略する。
　第二実施形態においては、図８に示す２行×１列＝２個のフォトダイオードＰＤ（ＰＤ１、ＰＤ２）が異なる位相で動作される。
　システム制御部１４は、クロックＣＬＫに基づき垂直駆動部１３を制御して、リセットトランジスタＲＳＴのオンと同期して、フォトダイオードＰＤ１及びＰＤ２に接続されたリセットトランジスタＲＳＴをオンさせるリセット動作Ａ１を行う。ここでは、システム制御部１４は、フォトダイオードＰＤ１及びＰＤ２に接続されたＯＦゲートトランジスタＯＦＧ、転送トランジスタＴＧをオンさせる。
　システム制御部１４は、フォトダイオードＰＤ１について、照射光Ｌｉの発光動作に同期して、１／２発光周期Ｃｌで受光動作Ａ２を行わせ、１／２発光周期Ｃｌで転送動作Ａ３を行わせる制御サイクルを繰り返す。
　また、システム制御部１４は、フォトダイオードＰＤ２について、フォトダイオードＰＤ１よりも１／２発光周期Ｃｌ遅らせた後に、１／２発光周期Ｃｌで受光動作Ａ２を行わせ、１／２発光周期Ｃｌで転送動作Ａ３を行わせる制御サイクルを繰り返す。
　このように、フォトダイオードＰＤ１及びＰＤ２の受光動作Ａ２及び転送動作Ａ３をそれぞれ１８０度ずつ異ならせる。そして、距離信号処理部１８は、フォトダイオードＰＤ１及びＰＤ２から得られた信号電荷（検出信号）に基づいて、２相を用いた間接ＴｏＦ方式で距離情報を算出する（距離画像を生成する）。なお、２相を用いた間接ＴｏＦ方式で距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
＜３．変形例＞
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
　第一実施形態及び第二実施形態において、第１光電変換部３０は、有機光電変換素子３０ａを含む第１画素Ｐ１を有し、第２光電変換部３１は、フォトダイオードＰＤを含む第２画素Ｐ２を有するようにした。しかしながら、第１光電変換部３０及び第２光電変換部３１は、互いに異なる波長域の光を光電変換する光電変換素子を有していれば、その構成は問わない。
　例えば、第１画素Ｐ１は、フォトダイオードであってもよい。この場合、第１画素Ｐ１で光電変換することにより生成された信号電荷をフローティングディフュージョンＦＤに転送させるための転送トランジスタが設けられるようにしてもよい。第１画素Ｐ１に接続される転送トランジスタは、転送動作Ａ３時にオンされるようにすればよい。
　第一実施形態及び第二実施形態においては、第１光電変換部３０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光を受光し光電変換する光電変換層４０を有する第１画素Ｐ１がベイヤ配列で配置されるようにした。しかしながら、第１画素Ｐ１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光を受光し光電変換する光電変換層４０が積層されて形成されてもよい。すなわち、第１画素Ｐ１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光をそれぞれ受光し光電変換する３個の光電変換層４０が設けられるようにしてもよい。
　第一実施形態及び第二実施形態において、撮像装置１は、間接ＴｏＦ方式による距離情報を導出するようにした。しかしながら、撮像装置１は、直接ＴｏＦ方式による距離情報を導出するようにしてもよい。また、フォトダイオードＰＤの動作のタイミングは、第一実施形態及び第二実施形態で示した以外であってもよい。
　第一実施形態及び第二実施形態において、第２画素Ｐ２は、第１画素Ｐ１の４個分に相当する受光面積を有するようにした。しかしながら、第２画素Ｐ２は、第１画素Ｐ１と同一の受光面積でもよく、第１画素Ｐ１より大きくてもよく、また、第１画素Ｐ１より小さくてもよい。
　第一実施形態及び第二実施形態において、リセットトランジスタＲＳＴ、フローティングディフュージョンＦＤ、転送トランジスタＴＧ、ＯＦゲートトランジスタＯＦＧ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬは、画素ブロックＰＢごとに、それぞれ１個ずつ備えるようにした。しかしながら、少なくとも、フローティングディフュージョンＦＤが画素ブロックＰＢごとに１個ずつ備えるようにすればよい。従って、例えばリセットトランジスタＲＳＴは、画素ブロックＰＢごとではなく、有機光電変換素子３０ａ及びフォトダイオードＰＤごとに設けられていてもよい。
　第一実施形態及び第二実施形態において、撮像装置１は、可視画像及び距離画像を連続して交互に取得するようにした。しかしながら、撮像装置１は、可視画像及び距離画像の一方のみを連続して取得したり、可視画像及び距離画像の一方のみを連続して取得している間の所定のタイミングで他方を取得するようにしてもよい。例えば、撮像装置１は、第１光電変換部３０のみを連続して動作させて可視画像のみを連続して取得してもよい。また、撮像装置１は、第２光電変換部３１のみを連続して動作させて距離画像のみを連続して取得してもよい。
＜４．情報処理装置への適用＞
［4-1．情報処理装置の構成］
　上述した第一実施形態、第二実施形態及び変形例の撮像装置１は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、パーソナルコンピュータなどの情報処理装置に適応することができる。
　図１０は、情報処理装置１００の構成例を説明するためのブロック図である。
　図１０に示すように、情報処理装置１００は、撮像装置１、情報処理部１０１、記憶部１０２を備えている。
　情報処理部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を有するマイクロコンピュータによって構成されている。情報処理部１０１は、撮像装置１及び記憶部１０２を適宜制御する。
　記憶部１０２は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などの記憶装置である。
［4-2．第一例］
　図１１は、第一例における情報処理の流れを示すフローチャートである。
　情報処理部１０１は、情報処理の第一例として顔認証処理を実行する。第一例の顔認証処理においては、記憶部１０２には、予め認証対象の顔に関する認証情報が記憶されている。具体的には、情報処理部１０１は、撮像装置１によって認証対象の顔を撮像した可視画像から、顔の口、鼻、目などの特徴点の位置を抽出する。また、情報処理部１０１は、抽出した特徴点の距離を、撮像装置１によって認証対象の顔を撮像した距離画像から導出する。そして、導出した特徴点の位置及び距離を認証情報として記憶部１０２に記憶しておく。
　情報処理部１０１は、顔認証処理を開始すると、ステップＳ１で、撮像装置１を制御して可視画像を取得する。ステップＳ２で情報処理部１０１は、取得した可視画像から人の顔を抽出する抽出処理を実行し、可視画像から顔が抽出されたかを判定する。
　ステップＳ２において可視画像から顔が抽出されたと判定されなかった場合にはステップＳ１に処理を戻す。一方、ステップＳ２において可視画像から顔が抽出されたと判定された場合、ステップＳ３で情報処理部１０１は、撮像装置１を制御して距離画像を取得する。その後、ステップＳ４で情報処理部１０１は、取得した可視画像及び距離画像から、特徴点及び特徴点の距離を導出する。ステップＳ５で情報処理部１０１は、記憶部１０２に記憶された認証情報と、ステップＳ４で導出した特徴点及び特徴点の距離とを比較する認証処理を実行する。なお、認証処理は公知の手法を用いることができ、ここでの説明は省略する。
　これにより、情報処理装置１００では、撮像装置１を用いて高精度な顔認証処理を実行することができる。また、情報処理装置１００は、顔が検出されるまで可視画像のみを撮像するため、処理負荷を低減することができる。
［4-3．第二例］
　図１２は、第二例における情報処理の流れを示すフローチャートである。
　情報処理部１０１は、情報処理の第二例として監視処理を実行する。情報処理部１０１は、監視処理を開始すると、ステップＳ１１で、撮像装置１を制御して距離画像を取得し、記憶部１０２に記憶する。なお、距離画像は、少なくとも前回撮像された距離画像が記憶部１０２に記憶されていればよく、新たな距離画像を記憶部１０２に記憶させる際に、既に記憶部１０２に記憶された距離画像を削除するようにしてもよい。
　ステップＳ１２で情報処理部１０１は、取得した距離画像と、記憶部１０２に記憶されている例えば前回の距離画像とを比較し、予め設定された差分が検出されたかを判定する。ここでは、例えば、２個の距離画像のそれぞれ対応する画素の距離情報に基づいて、何かしらの物体が新たに写り込んでいるかが判定される。
　ステップＳ１２において差分があると判定されなかった場合にはステップＳ１１に処理を戻す。一方、ステップＳ１２において差分があると判定された場合、ステップＳ１３で情報処理部１０１は、撮像装置１を制御して可視画像を取得し、記憶部１０２に記憶する。
　これにより、情報処理装置１００では、何かしらの物体が新たに写り込んでいるとされるタイミングに亘って可視画像を記憶部１０２に記憶することができ、それ以外のタイミングで可視画像が記憶部１０２に記憶されないようにすることができる。よって、情報処理装置１００は、記憶部１０２に記憶されるデータ容量を削減することができる。また、何かしらの物体が新たに写り込んでいないとされている間は距離画像のみが記憶部１０２に記憶されるため、可視画像が記憶される場合に比べて記憶される個人情報を減らすことができる。
［4-4．変形例］
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
　第一例においては顔認証処理を実行し、第二例においては監視処理を実行するようにした。しかしながら、情報処理装置１００は、撮像装置１で撮像される可視画像及び距離画像を使用した所定の処理を行うようにすれば、どのような処理を実行してもよい。
＜５．実施形態のまとめ＞
　以上で説明したように実施形態としての撮像装置１は、互いに異なる波長域の光により光電変換を行う光電変換素子（例えば、有機光電変換素子３０ａ、フォトダイオードＰＤ）をそれぞれ有し、光入射方向に積層された複数の光電変換部（例えば、第１光電変換部３０、第２光電変換部３１）と、異なる光電変換部の光電変換素子に蓄積された電荷を保持する電荷保持部（例えば、フローティングディフュージョンＦＤ）とを備えたものである。
　これにより、撮像装置１は、積層された異なる光電変換部の光電変換素子に対して光電保持部を共有して使用することが可能となる。
　従って、撮像装置１は、積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
　また、実施形態としての撮像装置１においては、電荷保持部に蓄積された電荷をリセットする電荷リセット部（リセットトランジスタＲＳＴ）を備えた構成にすることが考えられる。
　これにより、撮像装置１は、電荷保持部に蓄積された電荷をリセットする電荷リセット部を共有して使用することが可能となる。
　従って、撮像装置１は、積層された異なる光電変換部の光電変換素子ごとに電荷リセット部を設ける必要がなくなり、構成を簡素化することができる。
　さらに、実施形態としての撮像装置１においては、電荷保持部は、異なる光電変換部において光入射方向に対向して配置される光電変換素子に蓄積された電荷を保持する構成とすることが考えられる。
　これにより、撮像装置１は、対向して配置される光電変換素子は光入射方向に重なっているため、それぞれの光電変換部の画素のずれを低減することが可能である。
　従って、撮像装置１は、取得された可視画像と距離画像との位置補正を行う必要がなく、その処理を行わない分だけ処理負荷を低減することができる。
　また、撮像装置１は、位置補正を行うための処理装置を設ける必要がないため、構造を簡素化することができる。
　さらに、実施形態としての撮像装置１においては、光電変換部は、光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、第１光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた光電変換素子（例えば、有機光電変換素子３０ａ）を有し、第２光電変換部は、光を受光して光電変換する無機材料を用いた光電変換素子（例えば、フォトダイオードＰＤ）を有する構成とすることが考えられる。
　これにより、撮像装置１は、第１光電変換部における透過光の減衰が少ないため、第２光電変換部における光電変換の効率（感度）を高めることが可能となる。
　従って、撮像装置１は、第２光電変換部の光電変換素子において高精細の距離情報（距離画像）を取得することができる。
　さらに、実施形態としての撮像装置１においては、第２光電変換部の光電変換素子に蓄積された電荷を排出する電荷排出部（例えば、ＯＦゲートトランジスタＯＦＧ）を備えた構成とすることが考えられる。
　これにより、撮像装置１は、第２光電変換部の光電変換素子に蓄積された電荷を精度良くリセットすることが可能となる。
　従って、撮像装置１は、第２光電変換部の光電変換素子において高精細の距離情報（距離画像）を取得することができる。
　さらに、実施形態としての撮像装置１においては、光電変換部は、光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、第１光電変換部は、可視光を受光して光電変換する光電変換素子を有し、第２光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
　これにより、撮像装置１は、第１光電変換部では第２光電変換部よりも光電変換の効率を高めることが可能となる。
　従って、撮像装置１は、第１光電変換部の光電変換素子において高精細の可視情報を取得することができる。
　さらに、実施形態としての撮像装置１においては、第２光電変換部の光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部１８を備えた構成とすることが考えられる。
　これにより、撮像装置１は、可視光に基づく可視画像、及び、対象物までの距離を示す距離画像を取得することが可能となる。
　従って、撮像装置１は、可視光に基づく可視画像、及び、対象物までの距離を示す距離画像を、簡素な構成で取得することができる。
　さらに、実施形態としての撮像装置１においては、第２光電変換部の光電変換素子は、第１光電変換部の光電変換素子よりも受光面積が大きい構成とすることが考えられる。
　これにより、撮像装置１は、第１光電変換部よりも対象物から遠く光電効率が低い第２光電変換部において電荷量を多くすることが可能となる。
　従って、撮像装置１は、第２光電変換部の光電変換素子において高精細の距離情報を取得することができる。
　さらに、実施形態としての撮像装置１においては、異なる光電変換部の光電変換素子に蓄積された電荷を異なるタイミングで電荷保持部に転送する駆動制御部を備えた構成とすることが考えられる。
　これにより、撮像装置１は、積層された異なる光電変換部の光電変換素子で光電変換し生成された電荷を順次取得することが可能となる。
　従って、撮像装置１は、積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
　以上で説明したように実施形態としての情報処理装置１００は、画像を撮像する撮像装置１と、撮像装置で撮像された画像に基づいて所定の処理を実行する情報処理部１０１とを備え、撮像装置は、互いに異なる波長域の光により光電変換を行う光電変換素子（例えば、有機光電変換素子３０ａ、フォトダイオードＰＤ）をそれぞれ有し、光入射方向に積層された複数の光電変換部（例えば、第１光電変換部３０、第２光電変換部３１）と、異なる光電変換部の光電変換素子に蓄積された電荷を保持する電荷保持部（例えば、フローティングディフュージョンＦＤ）とを備えたものである。
　これにより、情報処理装置１００は、積層された異なる光電変換部に対して光電保持部を共有して使用することが可能となる。
　従って、情報処理装置１００は、積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
　また、実施形態としての情報処理装置１００においては、光電変換部は、光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、第１光電変換部は、可視光を受光して光電変換する光電変換素子を有し、第２光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
　これにより、情報処理装置１００は、可視光に基づく可視画像と、赤外光に基づく対象物までの距離を示す画像とに基づいて、処理を行うことが可能となる。
　従って、情報処理装置１００は、第１光電変換部の光電変換素子において高精細の可視情報を取得することができる。
　さらに、実施形態としての情報処理装置１００においては、撮像装置は、第１光電変換部の光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、第２光電変換部の光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、情報処理部は、可視画像に基づいて、距離画像を撮像するかを決定する構成とすることが考えられる。
　これにより、情報処理装置１００は、可視画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
　従って、情報処理装置１００は、可視画像を取得する必要がない場合には、可視画像を取得しなくなるため、処理負荷を低減することができる。
　上記した本技術に係る情報処理装置１００においては、撮像装置は、第１光電変換部の光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、第２光電変換部の光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、情報処理部は、距離画像に基づいて、可視画像を撮像するかを決定する構成とすることが考えられる。
　これにより、情報処理装置１００は、距離画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
　従って、情報処理装置１００は、可視画像を取得する必要がない場合には、距離画像を取得しなくなるため、処理負荷を低減することができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜６．本技術＞
　なお本技術は以下のような構成も採ることができる。
（１）
　互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
　異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
　撮像装置。
（２）
　前記電荷保持部に蓄積された電荷をリセットする電荷リセット部を備えた
　（１）に記載の撮像装置。
（３）
　前記電荷保持部は、
　異なる前記光電変換部において前記光入射方向に対向して配置される前記光電変換素子に蓄積された電荷を保持する
　（１）又は（２）に記載の撮像装置。
（４）
　前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、
　前記第１光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた前記光電変換素子を有し、
　前記第２光電変換部は、光を受光して光電変換する無機材料を用いた前記光電変換素子を有する
　（１）から（３）の何れかに記載の撮像装置。
（５）
　前記第２光電変換部の前記光電変換素子に蓄積された電荷を排出する電荷排出部を備えた
　（４）に記載の撮像装置。
（６）
　前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、
　前記第１光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
　前記第２光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
　（１）から（５）の何れかに記載の撮像装置。
（７）
　前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部を備えた
　（６）に記載の撮像装置。
（８）
　前記第２光電変換部の前記光電変換素子は、前記第１光電変換部の前記光電変換素子よりも受光面の面積が大きい
　（６）又は（７）に記載の撮像装置。
（９）
　異なる前記光電変換部の前記光電変換素子に蓄積された電荷を異なるタイミングで前記電荷保持部に転送する駆動制御部を備えた
　（１）から（８）の何れかに記載の撮像装置。
（１０）
　画像を撮像する撮像装置と、
　前記撮像装置で撮像された前記画像に基づいて所定の処理を実行する情報処理部とを備え、
　前記撮像装置は、
　互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
　異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
　情報処理装置。
（１１）
　前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、
　前記第１光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
　前記第２光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
　（１０）に記載の情報処理装置。
（１２）
　前記撮像装置は、
　前記第１光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
　前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
　前記情報処理部は、前記可視画像に基づいて、前記距離画像を撮像するかを決定する
　（１１）に記載の情報処理装置。
（１３）
　前記撮像装置は、
　前記第１光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
　前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
　前記情報処理部は、前記距離画像に基づいて、前記可視画像を撮像するかを決定する
　（１１）に記載の情報処理装置。
１　撮像装置
２　撮像部
３　発光部
４　制御部
５　画像処理部
６　メモリ
１１　画素アレイ部
１４　システム制御部
１７　可視信号処理部
１８　距離信号処理部
３０　第１光電変換部
３０ａ　有機光電変換素子
３１　第２光電変換部
４０　光電変換層
４１　第１電極
４２　電荷蓄積用電極
４３　第２電極
１００　情報処理装置
１０１　情報処理部
ＦＤ　フローティングディフュージョン
ＯＦＧ　ＯＦゲートトランジスタ

Claims (13)

  1. 　互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
    　異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
    　撮像装置。
  2. 　前記電荷保持部に蓄積された電荷をリセットする電荷リセット部を備えた
    　請求項１に記載の撮像装置。
  3. 　前記電荷保持部は、
    　異なる前記光電変換部において前記光入射方向に対向して配置される前記光電変換素子に蓄積された電荷を保持する
    　請求項１に記載の撮像装置。
  4. 　前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、
    　前記第１光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた前記光電変換素子を有し、
    　前記第２光電変換部は、光を受光して光電変換する無機材料を用いた前記光電変換素子を有する
    　請求項１に記載の撮像装置。
  5. 　前記第２光電変換部の前記光電変換素子に蓄積された電荷を排出する電荷排出部を備えた
    　請求項４に記載の撮像装置。
  6. 　前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、
    　前記第１光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
    　前記第２光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
    　請求項１に記載の撮像装置。
  7. 　前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部を備えた
    　請求項６に記載の撮像装置。
  8. 　前記第２光電変換部の前記光電変換素子は、前記第１光電変換部の前記光電変換素子よりも受光面積が大きい
    　請求項６に記載の撮像装置。
  9. 　異なる前記光電変換部の前記光電変換素子に蓄積された電荷を異なるタイミングで前記電荷保持部に転送する駆動制御部を備えた
    　請求項１に記載の撮像装置。
  10. 　画像を撮像する撮像装置と、
    　前記撮像装置で撮像された前記画像に基づいて所定の処理を実行する情報処理部とを備え、
    　前記撮像装置は、
    　互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
    　異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
    　情報処理装置。
  11. 　前記光電変換部は、前記光入射方向に沿って第１光電変換部及び第２光電変換部が順に積層され、
    　前記第１光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
    　前記第２光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
    　請求項１０に記載の情報処理装置。
  12. 　前記撮像装置は、
    　前記第１光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
    　前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
    　前記情報処理部は、前記可視画像に基づいて、前記距離画像を撮像するかを決定する
    　請求項１１に記載の情報処理装置。
  13. 　前記撮像装置は、
    　前記第１光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
    　前記第２光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
    　前記情報処理部は、前記距離画像に基づいて、前記可視画像を撮像するかを決定する
    　請求項１１に記載の情報処理装置。
PCT/JP2021/036501 2020-11-02 2021-10-01 撮像装置及び情報処理装置 WO2022091698A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/249,356 US20230387175A1 (en) 2020-11-02 2021-10-01 Imaging apparatus and information processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020183642A JP2022073575A (ja) 2020-11-02 2020-11-02 撮像装置及び情報処理装置
JP2020-183642 2020-11-02

Publications (1)

Publication Number Publication Date
WO2022091698A1 true WO2022091698A1 (ja) 2022-05-05

Family

ID=81382407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036501 WO2022091698A1 (ja) 2020-11-02 2021-10-01 撮像装置及び情報処理装置

Country Status (3)

Country Link
US (1) US20230387175A1 (ja)
JP (1) JP2022073575A (ja)
WO (1) WO2022091698A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054252A (ja) * 2004-08-10 2006-02-23 Sony Corp 固体撮像装置
JP2011029337A (ja) * 2009-07-23 2011-02-10 Sony Corp 固体撮像装置とその製造方法、及び電子機器
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
JP2018081946A (ja) * 2016-11-14 2018-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置
WO2019106999A1 (ja) * 2017-11-30 2019-06-06 ソニー株式会社 撮像装置および方法、並びに、撮像素子

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054252A (ja) * 2004-08-10 2006-02-23 Sony Corp 固体撮像装置
JP2011029337A (ja) * 2009-07-23 2011-02-10 Sony Corp 固体撮像装置とその製造方法、及び電子機器
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
JP2018081946A (ja) * 2016-11-14 2018-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置
WO2019106999A1 (ja) * 2017-11-30 2019-06-06 ソニー株式会社 撮像装置および方法、並びに、撮像素子

Also Published As

Publication number Publication date
JP2022073575A (ja) 2022-05-17
US20230387175A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
US10271037B2 (en) Image sensors with hybrid three-dimensional imaging
JP7301936B2 (ja) 固体撮像素子およびその製造方法、並びに電子機器
US9490282B2 (en) Photosensitive capacitor pixel for image sensor
KR102568441B1 (ko) 고체 촬상 소자 및 그 제조 방법, 및 전자 기기
US9601538B2 (en) Image sensors with photoelectric films
US10186535B2 (en) Image sensors with stacked photodiodes
US10070079B2 (en) High dynamic range global shutter image sensors having high shutter efficiency
TW201010418A (en) Backside illuminated image sensor with global shutter and storage capacitor
TW201537983A (zh) 固態成像器件及其驅動方法，以及電子裝置
KR102521342B1 (ko) 3층 적층 이미지 센서
US20210217787A1 (en) Imaging device and electronic device
JP2015012127A (ja) 固体撮像素子および電子機器
KR20110036823A (ko) 복수의 감지층들을 구비한 이미지 센서
US10075663B2 (en) Phase detection pixels with high speed readout
US9825079B2 (en) Photoelectric conversion device and imaging system
KR102268707B1 (ko) 이미지 센서
TWI709235B (zh) 固體攝像元件、其製造方法及電子機器
JP2014103133A (ja) 固体撮像装置
US20200296336A1 (en) Imaging systems and methods for generating color information and pulsed light information
WO2022091698A1 (ja) 撮像装置及び情報処理装置
US20230047442A1 (en) Solid-state imaging device and electronic device
US20210193701A1 (en) Imaging systems and methods for generating image data in ambient light conditions
US10804303B2 (en) Image sensors comprising an organic photo-detector, a photo-detector array and dual floating diffusion nodes and electronic devices including the same
US20210152770A1 (en) Systems and methods for generating time trace information
TW202218105A (zh) 感測器裝置及感測模組

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21885817

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18249356

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21885817

Country of ref document: EP

Kind code of ref document: A1