WO2016167044A1 - 固体撮像装置、撮像システムおよび距離計測方法 - Google Patents

固体撮像装置、撮像システムおよび距離計測方法 Download PDF

Info

Publication number
WO2016167044A1
WO2016167044A1 PCT/JP2016/056714 JP2016056714W WO2016167044A1 WO 2016167044 A1 WO2016167044 A1 WO 2016167044A1 JP 2016056714 W JP2016056714 W JP 2016056714W WO 2016167044 A1 WO2016167044 A1 WO 2016167044A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared light
light
unit
light conversion
visible light
Prior art date
Application number
PCT/JP2016/056714
Other languages
English (en)
French (fr)
Inventor
拓也 佐野
壽史 若野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017512227A priority Critical patent/JP6777074B2/ja
Priority to US15/550,477 priority patent/US11076115B2/en
Priority to CN201680010038.4A priority patent/CN107210314B/zh
Priority to CN202111581390.2A priority patent/CN114420712A/zh
Publication of WO2016167044A1 publication Critical patent/WO2016167044A1/ja
Priority to US16/715,653 priority patent/US11128828B2/en
Priority to US17/403,519 priority patent/US11818486B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14618—Containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors

Definitions

  • This technology relates to a solid-state imaging device, an imaging system, and a distance measurement method.
  • the present invention relates to a solid-state imaging device having a distance measurement pixel that measures a distance to a subject, an imaging system, and a distance measurement method in these.
  • an imaging system measures the distance from a subject by irradiating the subject with infrared light, receiving the reflected infrared light, and measuring the time from irradiation to light reception.
  • a method is called a TOF (Time-of-Flight) method, and is a method widely used for detecting motion of a subject and measuring a three-dimensional shape.
  • the imaging device used in this imaging system includes a visible light pixel having a photoelectric conversion element that converts visible light into an electrical signal, an infrared light pixel having a photoelectric conversion element that converts reflected infrared light into an electrical signal, and It is comprised by. The distance is measured by the infrared light pixel.
  • a distance measurement pixel such an infrared light pixel is referred to as a distance measurement pixel.
  • reflected light is attenuated in the process of propagation, so if an infrared light pixel of the same size as a visible light pixel is used as a distance measurement pixel, the sensitivity of photoelectric conversion is insufficient and the accuracy of distance measurement is low. descend. In order to prevent this, it is desirable to use a highly sensitive distance measuring pixel. Therefore, a system using a distance measurement pixel having a photoelectric conversion element having a light receiving area four times that of a photoelectric conversion element of a visible light pixel has been proposed (for example, see Patent Document 1).
  • the above-described prior art uses a single photon avalanche diode (SPAD) as a photoelectric conversion element, and the SPAD element is configured to have a light receiving area four times that of a photoelectric conversion element of a visible light pixel.
  • the sensitivity of photoelectric conversion is increased and distance measurement in weak reflected light is enabled.
  • a distance measurement pixel having an area larger than that of the visible light pixel is required, it is necessary to manufacture according to a design rule different from that of a normal image sensor. For this reason, there exists a problem that cost is high.
  • This technology was created in view of such a situation, and aims to improve the accuracy of distance measurement while using a distance measurement pixel having the same size as the visible light pixel.
  • a visible light conversion block comprising: a plurality of visible light conversion units that generate a visible light; and a visible light charge holding unit that holds each of the charges generated by the plurality of visible light conversion units exclusively in different periods; and A plurality of infrared light conversion units that are substantially the same size as the light receiving surface of the light conversion unit and have a light receiving surface that receives infrared light to generate charges according to the amount of received infrared light received And an infrared light conversion block including an infrared light charge holding unit that simultaneously holds the charges generated by the plurality of infrared light conversion units at the same time.
  • the visible light conversion block may include four visible light conversion units and the visible light charge holding unit. Thereby, the visible light conversion block has an effect of having the four visible light conversion units.
  • the infrared light conversion block may include four infrared light conversion units and the infrared light charge holding unit. Thereby, the infrared light conversion block has an effect of having four infrared light conversion units.
  • the infrared light conversion block is generated by the two infrared light conversion units, the two visible light conversion units, and the two infrared light conversion units.
  • the charges generated by the two infrared light conversion units are simultaneously held together and holding the charges generated by the two visible light conversion units.
  • the infrared light conversion block has an effect of having the two infrared light conversion units and the two visible light conversion units.
  • the visible light conversion block includes a red light conversion unit that is the visible light conversion unit that generates the charge according to red light and the visible light that generates the charge according to green light.
  • the four visible light conversion units in which a green light conversion unit that is a light conversion unit and a blue light conversion unit that is the visible light conversion unit that generates the electric charge according to blue light are arranged in a Bayer array shape, and the above And a visible light charge holding portion.
  • the said visible light conversion block brings about the effect
  • the visible light conversion block includes a red light conversion unit that is the visible light conversion unit that generates the charge according to red light and the visible light that generates the charge according to green light.
  • a green light conversion unit that is a light conversion unit
  • a blue light conversion unit that is the visible light conversion unit that generates the charge according to blue light
  • a white that is the visible light conversion unit that generates the charge according to white light
  • the visible light conversion block has an effect of having four visible light conversion units of the red light conversion unit, the green light conversion unit, the blue light conversion unit, and the white light conversion unit.
  • the infrared light conversion block allows the plurality of infrared light conversion units and the infrared light charge holding unit to conduct simultaneously, and the plurality of infrared light conversion units
  • An infrared light charge transfer unit that transfers the generated charges to the infrared light charge holding unit may be further provided. This brings about the effect that the charges generated by the plurality of infrared light conversion units are simultaneously transferred to the infrared light holding unit.
  • an infrared light signal generation unit that generates a signal corresponding to the charge held in the infrared light charge holding unit may be further provided. This brings about the effect
  • the second aspect of the present technology is that an infrared light emitting unit that emits infrared light to a subject and a light receiving surface that receives visible light are arranged, and the electric charge according to the received light amount of the received visible light.
  • a visible light conversion block comprising: a plurality of visible light conversion units that generate a visible light; and a visible light charge holding unit that holds each of the charges generated by the plurality of visible light conversion units exclusively in different periods; and A light-receiving surface that is substantially the same size as the light-receiving surface of the light conversion unit and receives the infrared light that is emitted and reflected by the subject is disposed, and the charge according to the amount of light received by the received infrared light
  • An infrared light conversion block comprising: a plurality of infrared light conversion units that generate a plurality of infrared light conversion units; and an infrared light charge holding unit that simultaneously holds the charge generated by each of the plurality of infrared light conversion units.
  • External light charge holding part An infrared light signal generation unit that generates a signal corresponding to the held electric charge, and a time from the emission in the infrared light emission unit to the light reception in the infrared light conversion unit of the infrared light conversion block.
  • An imaging system including a distance measuring unit that measures a distance from the subject by measuring based on the generated signal. This brings about the effect
  • the third aspect of the present technology provides an infrared light emitting procedure for emitting infrared light to a subject, and a charge according to the amount of received visible light received by the light receiving surface for receiving visible light.
  • the visible light in a visible light conversion block comprising: a plurality of visible light conversion units that generate the light; and a visible light charge holding unit that exclusively holds the charges generated by the plurality of visible light conversion units, respectively, in different periods.
  • a light-receiving surface that is substantially the same size as the light-receiving surface of the conversion unit and receives the infrared light that is emitted and reflected by the subject is disposed, and charges corresponding to the amount of light received by the infrared light are disposed.
  • Infrared light in an infrared light conversion block comprising a plurality of infrared light conversion units to be generated and an infrared light charge holding unit that simultaneously holds the charges generated by the plurality of infrared light conversion units together
  • the infrared light signal generation procedure for generating a signal corresponding to the charge held in the load holding unit, and the time from the emission of the infrared light to the reception of light in the infrared light conversion unit of the infrared block
  • a distance measurement method comprising a distance measurement procedure for measuring a distance from the subject by measuring based on the generated signal. This brings about the effect
  • the present technology it is possible to achieve an excellent effect of improving the distance measurement accuracy while using the distance measurement pixel having the same size as the visible light pixel.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • composition of imaging system 1 in an embodiment of this art. It is a figure showing an example of composition of solid imaging device 20 in an embodiment of this art. It is a figure showing an example of composition of a pixel in a 1st embodiment of this art. It is a figure showing an example of arrangement of a pixel in a 1st embodiment of this art. It is a mimetic diagram showing an example of composition of a pixel in a 1st embodiment of this art. It is a figure which shows the measuring method of the distance in 1st Embodiment of this technique. It is a figure which illustrates the infrared-light conversion block in 1st Embodiment of this technique.
  • First embodiment an example in which an infrared light conversion block includes two infrared light conversion pixels and two visible light conversion pixels
  • Second embodiment an example in which an infrared light conversion block is composed of four infrared light conversion pixels
  • Third embodiment an example in which an infrared light conversion block includes one infrared light conversion pixel and three visible light conversion pixels
  • Fourth embodiment an example in which an infrared light conversion pixel is arranged at the position of a G pixel in a Bayer array
  • Fifth embodiment an example in which two charge holding units are connected to a photoelectric conversion unit
  • FIG. 1 is a diagram illustrating a configuration example of an imaging system 1 according to an embodiment of the present technology.
  • the imaging system 1 includes a lens 10, a solid-state imaging device 20, a signal processing unit 30, an image processing unit 40, a distance measurement unit 50, and an infrared light emitting unit 60.
  • the lens 10 optically forms a subject on the solid-state imaging device 20.
  • the solid-state imaging device 20 converts an optical image formed by the lens 10 into an image signal and outputs the image signal.
  • the solid-state imaging device 20 is configured by two-dimensionally arranging pixels that generate image signals on a surface on which an optical image is formed. This pixel includes a visible light pixel corresponding to visible light and an infrared light pixel corresponding to infrared light in the optical image.
  • This visible light pixel is a pixel that generates a signal according to received visible light, a pixel that generates a signal according to red light (R pixel), and a pixel that generates a signal according to green light (G pixel).
  • R pixel red light
  • G pixel green light
  • B pixels three types of pixels that generate a signal corresponding to blue light.
  • An image signal of a subject is constituted by a visible light signal that is a signal generated by these pixels.
  • the infrared light pixel is a pixel that generates an infrared signal that is a signal corresponding to the received infrared light.
  • the infrared light pixel in the embodiment of the present technology receives infrared light emitted from an infrared light emitting unit 60 described later and reflected by a subject, and generates an infrared light signal. Then, by measuring the time from the emission of the infrared light to the reception of the infrared light, the distance to the subject is measured.
  • This infrared light pixel corresponds to the above-mentioned distance measurement pixel (hereinafter referred to as Z pixel). Details of the configuration of the solid-state imaging device 20 and the measurement of the distance will be described later.
  • the signal processing unit 30 processes the image signal output from the solid-state imaging device 20.
  • the signal processing unit 30 separates the image signal output from the solid-state imaging device 20 into a visible light signal and an infrared light signal, and outputs them to the image processing unit 40 and the distance measurement unit 50, respectively.
  • the signal processing unit 30 also controls the solid-state imaging device 20.
  • the image processing unit 40 performs image processing on the visible light signal output from the signal processing unit 30.
  • This image processing for example, a demosaic process for interpolating a signal of another color that is insufficient with respect to a single-color visible light signal generated by the solid-state imaging device 20, a process for converting a visible light signal into a luminance signal and a color difference signal, etc. It can be performed.
  • the image signal processed by the image processing unit 40 is output to the outside of the imaging system 1 via a signal line (not shown), for example.
  • the distance measuring unit 50 measures the distance to the subject based on the infrared light signal output from the signal processing unit 30.
  • the distance measuring unit 50 also controls the infrared light emitting unit 60.
  • the infrared light emitting unit 60 emits infrared light to the subject based on the control of the distance measuring unit 50.
  • FIG. 2 is a diagram illustrating a configuration example of the solid-state imaging device 20 according to the embodiment of the present technology.
  • the solid-state imaging device 20 includes a pixel array unit 100, a vertical drive unit 200, a horizontal transfer unit 300, and an analog digital converter (ADC) 400.
  • ADC analog digital converter
  • the pixel array unit 100 includes a visible light pixel, an infrared light pixel, and a signal generation unit, which are arranged in a two-dimensional array.
  • Each of the visible light pixel and the infrared light pixel includes a photoelectric conversion unit that generates charges corresponding to visible light and infrared light, respectively.
  • the signal generation unit converts the charge generated by the photoelectric conversion unit into an image signal at a predetermined timing and outputs the image signal. After performing photoelectric conversion for a predetermined period, it is possible to perform exposure by generating an image signal based on the photoelectric conversion.
  • the pixel array unit 100 in the figure represents an example in which one signal generation unit 150 is arranged for four pixels (pixels 110, 120, 130, and 140).
  • the charges generated in the pixels 110, 120, 130, and 140 are transferred to the signal generation unit 150, and an image signal based on the charges is output.
  • an image signal based on the charge generated by the visible light pixel is output as a visible light signal
  • an image signal based on the charge generated by the infrared light pixel is output as an infrared light signal.
  • a signal or the like for controlling the pixel selection described above is transmitted through the signal line 101.
  • the image signal output from the signal generation unit 150 is transmitted through the signal line 102.
  • these signal lines 101 and 102 are wired in an XY matrix. That is, one signal line 101 is wired in common to the pixels 110 and the like arranged in the same row, and outputs of the pixels 110 and the like arranged in the same column are wired in common to one signal line 102.
  • the vertical driving unit 200 generates a control signal and outputs it to the pixel array unit 100.
  • the vertical drive unit 200 outputs control signals to all the signal lines 101 of the pixel array unit 100.
  • the control signal output from the vertical driving unit 200 includes a signal for controlling transfer of the generated charges in the pixel 110 and the like to the signal generation unit 150, and a signal for controlling generation of an image signal in the signal generation unit 150. Is included.
  • the horizontal transfer unit 300 performs processing on the image signal output from the pixel array unit 100. Output signals corresponding to the pixels 110 and the like for one row of the pixel array unit 100 are simultaneously input to the horizontal transfer unit 300. The horizontal transfer unit 300 performs parallel-serial conversion on the input image signal, and outputs the converted image signal.
  • the analog-to-digital converter 400 converts the image signal output from the horizontal transfer unit 300 from an analog signal to a digital signal (AD conversion).
  • the AD-converted image signal is output to the outside of the solid-state imaging device 20 via an output buffer (not shown).
  • FIG. 3 is a diagram illustrating a configuration example of a pixel according to the first embodiment of the present technology. This figure shows circuit configurations of the pixels 110, 120, 130, and 140, the signal generation unit 150, and the charge holding unit 151.
  • the pixel 110 includes a photoelectric conversion unit 111, a charge transfer unit 113, and an overflow drain 112.
  • the charge transfer unit 113 and the overflow drain 112 are constituted by MOS (Metal Oxide Semiconductor) transistors.
  • the pixel 110 is connected to a power supply line Vdd and a ground line.
  • the power of the pixel 110 is supplied through the power supply line Vdd and the ground line.
  • the signal line 101 includes a plurality of signal lines (OFD1 and TR1).
  • OFD1 (Over Flow Drain 1) is a signal line that transmits a control signal to the overflow drain 112.
  • TR 1 (Transfer 1) is a signal line that transmits a control signal to the charge transfer unit 113. As shown in the figure, these are all connected to the gate of the MOS transistor. When a voltage equal to or higher than the threshold voltage between the gate and the source (hereinafter referred to as an ON signal) is input through these signal lines, the corresponding MOS transistor becomes conductive.
  • the anode of the photoelectric conversion unit 111 is grounded, and the cathode is connected to the source of the charge transfer unit 113 and the source of the overflow drain 112.
  • the gate and drain of overflow drain 112 are connected to OFD1 and Vdd, respectively.
  • the charge transfer unit 113 has a gate connected to the signal line TR ⁇ b> 1 and a drain connected to one end of the charge holding unit 151.
  • the photoelectric conversion unit 111 generates and accumulates charges according to the amount of received light.
  • the photoelectric conversion unit 111 is configured by a photodiode.
  • the photoelectric conversion unit 111 corresponds to either a visible light conversion unit corresponding to visible light or an infrared light conversion unit corresponding to infrared light.
  • the visible light conversion unit or the infrared light conversion unit can be configured by changing the characteristics of the color filter arranged for each pixel.
  • the charge transfer unit 113 transfers the charge generated by the photoelectric conversion unit 111 to the charge holding unit 151.
  • the charge transfer unit 113 performs charge transfer by conducting between the photoelectric conversion unit 111 and the charge holding unit 151.
  • the overflow drain 112 discharges the electric charge generated by the photoelectric conversion unit 111.
  • the overflow drain 112 discharges the charge generated excessively in the photoelectric conversion unit 111. Further, all the electric charges accumulated in the photoelectric conversion unit 111 can be discharged by conducting between the photoelectric conversion unit 111 and Vdd.
  • the pixel 120 includes a photoelectric conversion unit 121, a charge transfer unit 122, and an overflow drain 123.
  • the signal line 101 connected to the pixel 120 includes a plurality of signal lines (OFD2 and TR2).
  • OFD2 (Over Flow Drain 2) is a signal line for transmitting a control signal to the overflow drain 123.
  • TR 2 (Transfer 2) is a signal line that transmits a control signal to the charge transfer unit 122.
  • OFD2 and TR2 are connected to overflow drain 123 and the gate of charge transfer unit 122, respectively. Since the configuration of the other pixels 120 is the same as that of the pixel 110, description thereof is omitted.
  • the pixel 130 includes a photoelectric conversion unit 131, a charge transfer unit 133, and an overflow drain 132.
  • the signal line 101 connected to the pixel 130 includes a plurality of signal lines (OFD3 and TR3).
  • OFD3 (Over Flow Drain 3) is a signal line for transmitting a control signal to the overflow drain 132.
  • TR3 (Transfer 3) is a signal line for transmitting a control signal to the charge transfer unit 133.
  • OFD3 and TR3 are connected to overflow drain 132 and the gate of charge transfer unit 133, respectively. Since the other configuration of the pixel 130 is the same as that of the pixel 110, description thereof is omitted.
  • the pixel 140 includes a photoelectric conversion unit 141, a charge transfer unit 142, and an overflow drain 143.
  • the signal line 101 connected to the pixel 140 includes a plurality of signal lines (OFD4 and TR4).
  • OFD4 (Over Flow Drain 4) is a signal line for transmitting a control signal to the overflow drain 143.
  • TR 4 (Transfer 4) is a signal line that transmits a control signal to the charge transfer unit 142.
  • OFD4 and TR4 are connected to overflow drain 143 and the gate of charge transfer unit 142, respectively. Since the other configuration of the pixel 140 is the same as that of the pixel 110, description thereof is omitted.
  • the charge holding unit 151 holds charges transferred from the pixels 110, 120, 130, and 140.
  • the signal generation unit 150 generates a signal according to the signal held in the charge holding unit 151.
  • the signal generation unit 150 includes MOS transistors 152 to 154.
  • Signal line 101, signal line 102, power supply line Vdd, and ground line are connected to signal generation unit 150.
  • the signal line 101 includes a plurality of signal lines (RST and SEL).
  • RST (Reset) is a signal line that transmits a control signal to the MOS transistor 152.
  • SEL (Select) is a signal line that transmits a control signal to the MOS transistor 154.
  • the signal line 102 is a signal line that transmits the signal generated by the signal generation unit 150.
  • the drains of the MOS transistors 152 and 153 are connected to Vdd.
  • the source of the MOS transistor 152 and the gate of the MOS transistor 153 are connected to one end of the charge holding unit 151 to which the drains of the charge transfer units 113, 122, 133, and 142 are connected.
  • the other end of the charge holding unit 151 is grounded.
  • the source of the MOS transistor 153 is connected to the drain of the MOS transistor 154, and the source of the MOS transistor 154 is connected to the signal line 102.
  • the gates of MOS transistor 152 and MOS transistor 154 are connected to signal lines RST and SEL, respectively.
  • the MOS transistor 153 is a MOS transistor that generates a signal corresponding to the charge held in the charge holding unit 151.
  • the MOS transistor 154 is a MOS transistor that outputs the signal generated by the MOS transistor 153 to the signal line 102 as an image signal.
  • a constant current power source (not shown) is connected to the signal line 102 and constitutes a source follower circuit together with the MOS transistor 153. This constant current power source is disposed in the horizontal transfer unit 300 described with reference to FIG.
  • the MOS transistor 152 is a MOS transistor that discharges the charge held in the charge holding unit 151.
  • the MOS transistor 152 discharges charges by making the charge holding unit 151 and Vdd conductive.
  • the charge transfer unit 113 becomes conductive.
  • the photoelectric conversion unit 111 and the charge holding unit 151 are brought into conduction, and the charge accumulated in the photoelectric conversion unit 111 is transferred to the charge holding unit 151 and held therein. Since the gate of the MOS transistor 153 is connected to the charge holding unit 151, a signal based on the charge held in the charge holding unit 151 is generated.
  • the MOS transistor 154 becomes conductive, and a signal generated by the MOS transistor 153 is output to the signal line 102.
  • Vdd is applied to the charge holding unit 151 and the held charge is discharged.
  • the sources of the charge transfer units 113, 122, 133, and 142 are commonly connected to the charge holding unit 151. Therefore, it is possible to generate and output an image signal based on the charge generated in a desired pixel among the pixels 110, 120, 130, and 140 by controlling TR1 to TR4 that control these.
  • each pixel can be used as a visible light pixel or an infrared light pixel by changing the characteristics of the photoelectric conversion units (photoelectric conversion units 111, 121, 131, and 141). Specifically, the characteristics of the photoelectric conversion unit can be changed by changing the color filter arranged in each pixel.
  • This color filter is a filter that selects light incident on the photoelectric conversion unit.
  • the photoelectric conversion unit can be a visible light conversion unit that is a photoelectric conversion unit corresponding to visible light, and the pixel having the visible light conversion unit is a visible light pixel. Can be.
  • the photoelectric conversion unit can be an infrared light conversion unit that is a photoelectric conversion unit corresponding to infrared light, and the infrared light conversion unit
  • the pixel having the can be an infrared light pixel. Details of the arrangement of the color filters will be described later.
  • a combination of one charge holding unit and a plurality of photoelectric conversion units commonly connected to the charge holding unit is referred to as a conversion block.
  • a conversion block is configured by the charge holding unit 151 and the four photoelectric conversion units (photoelectric conversion units 111, 121, 131, and 141) is shown.
  • a conversion block constituted by a plurality of visible light conversion units is referred to as a visible light conversion block.
  • a conversion block including a plurality of infrared light conversion units is referred to as an infrared light conversion block.
  • the charge holding unit in the visible light conversion block is referred to as a visible light charge holding unit
  • the charge holding unit in the infrared light conversion block is referred to as an infrared light charge holding unit.
  • the visible light charge holding unit exclusively holds charges generated by the plurality of visible light conversion units in different periods.
  • the infrared light charge holding unit simultaneously holds the charges generated by the plurality of infrared light conversion units together.
  • the signal generation unit 150 that generates a signal corresponding to the charge held in the infrared light charge holding unit is referred to as an infrared light signal generation unit.
  • FIG. 4 is a diagram illustrating a pixel arrangement example according to the first embodiment of the present technology. This figure is a plan view showing the arrangement of four conversion blocks. Further, the upper left conversion block in the figure will be described in correspondence with the pixels described in FIG. However, the overflow drains 112, 123, 132, and 143 are not shown.
  • a charge holding unit 151 is arranged at the center of the pixels 110, 120, 130 and 140.
  • the charge transfer units 113, 122, 133, and 142 of each pixel are disposed adjacent to the charge holding unit 151, and the photoelectric conversion units 111, 121, 131, and 141 are adjacent to the charge transfer units. Are arranged.
  • the signal generator 150 is arranged adjacent to each conversion block.
  • photoelectric conversion units 111, 121, 131, and 141 shown in the figure are irradiated with light from the subject, photoelectric conversion is performed. That is, in the photoelectric conversion unit 111 and the like, the region shown in the figure corresponds to a light receiving surface that receives visible light and the like.
  • color filters 119, 129, 139, and 149 are arranged in the pixels, respectively.
  • the letters R, G, B, and Z described in each pixel represent the type of color filter.
  • the color filters 129 and 149 of the pixels 120 and 140 on which the letter Z is written are color filters that transmit infrared light.
  • the photoelectric conversion units 111 and 131 and 161, 171, 181 and 191 in the lower left conversion block in the same figure correspond to the visible light conversion unit, and the pixels 110, 130, 160, 170, 180 and 190 having these units. Corresponds to a visible light pixel.
  • the photoelectric conversion units 121 and 141 correspond to infrared light conversion units, and the pixels 120 and 140 having these correspond to infrared light pixels.
  • the light receiving surface of the infrared light converting unit is approximately the same size as the light receiving surface of the visible light converting unit.
  • the upper left conversion block in the figure includes two infrared light conversion units (photoelectric conversion units 121 and 141), two visible light conversion units (photoelectric conversion units 111 and 131), and an infrared light charge holding unit. (Charge holding unit 151) and corresponds to an infrared light conversion block.
  • the signal generation unit 150 arranged adjacent to the conversion block corresponds to an infrared light signal generation unit that generates a signal corresponding to the charge held in the infrared light charge holding unit (charge holding unit 151). To do.
  • the upper right conversion block in the figure also corresponds to the infrared light conversion block.
  • the lower left conversion block in the figure includes four visible light conversion units (photoelectric conversion units 161, 171, 181 and 191) and a visible light charge holding unit (charge holding unit 159). Corresponds to the conversion block. Similarly, the lower right conversion block in the figure corresponds to the visible light conversion block. In this visible light conversion block, R, G, and B pixels are configured in a Bayer array.
  • FIG. 5 is a schematic diagram illustrating a configuration example of a pixel according to the first embodiment of the present technology.
  • FIG. 4 is a cross-sectional view taken along the line AA ′ in FIG.
  • the pixel 110 and 140 will be described as an example.
  • the photoelectric conversion units 111 and 141 in the figure are configured by a p-type semiconductor region 517 and n-type semiconductor regions 511 and 512 embedded therein, respectively. Photoelectric conversion is performed at the pn junction portion formed at these interfaces, and charges corresponding to the amount of received light are generated. At this time, electrons among the generated charges are accumulated in the n-type semiconductor regions 511 and 512.
  • a color filter 119 or 149, a planarizing film 503, and a microlens 501 are sequentially disposed above the photoelectric conversion unit.
  • the planarizing film 503 planarizes the surface of the pixel.
  • the microlens 501 is a lens that condenses the light applied to the pixels on the photoelectric conversion unit.
  • a light shielding film 502 is disposed between the color filters 119 and 149. The light shielding film 502 shields light incident obliquely from adjacent pixels.
  • an isolation region 513 is arranged between the pixels in the p-type semiconductor region 517.
  • the separation region 513 is a region that separates pixels and blocks light incident obliquely from adjacent pixels.
  • a charge holding portion 151 is disposed in an intermediate portion between the pixel 110 and the pixel 140.
  • the charge holding unit 151 is configured by an n-type semiconductor region 514.
  • This n-type semiconductor region 514 is called a floating diffusion (FD), and is a region to which a signal generation unit 150 (not shown) is connected. As shown in the figure, since the charge holding portion 151 is disposed immediately below the separation region 513, it is shielded from light by the separation region 513.
  • Charge transfer units 113 and 142 are arranged between the charge holding unit 151 and the photoelectric conversion units 111 and 141.
  • gate electrodes 515 and 516 are arranged, respectively. When an on-voltage is applied to these gate electrodes, the p-type semiconductor region 517 between the photoelectric conversion unit 111 or 141 and the charge holding unit 151 becomes conductive, and the charge transfer units 113 and 142 become conductive.
  • An interlayer insulating layer 519 and a wiring layer 518 are disposed below the p-type semiconductor region 517.
  • the wiring layer 518 transmits signals of the pixels 110 and 140, and constitutes the signal lines 101 and 102 described with reference to FIG.
  • the interlayer insulating layer 519 performs insulation between the wiring layers 518.
  • FIG. 6 is a diagram illustrating a distance measurement method according to the first embodiment of the present technology.
  • the outgoing infrared light in the figure represents the waveform of the infrared light emitted by the infrared light emitting unit 60.
  • the reflected infrared light represents the waveform of infrared light that is incident on the solid-state imaging device 20 after the outgoing infrared light is reflected by the subject.
  • the Z pixel of the solid-state imaging device 20 receives this reflected infrared light, converts it into an infrared light signal, and performs exposure. At this time, two Z pixels are used to set different exposure periods and generate infrared light signals.
  • the first exposure period and the second exposure period represent the relationship between the exposure periods set for the two Z pixels, and the period of the binarized waveform value “1” is the exposure period. It corresponds to.
  • the emitted infrared light is pulse-width modulated to 50% duty and emitted from the infrared light emitting unit 60.
  • the reflected infrared light has a waveform whose phase is delayed with respect to the outgoing infrared light. D in the figure represents this phase delay. This corresponds to the time until the emitted infrared light is reflected by the subject and reaches the solid-state imaging device 20. By measuring this time, the distance to the subject can be calculated.
  • the first exposure period in the figure an exposure period synchronized with the emitted infrared light is set.
  • the second exposure period is set to an exposure period that is 180 ° out of phase with the emitted infrared light.
  • photoelectric conversion of reflected light is performed in a period 701 in FIG.
  • photoelectric conversion of the reflected light is performed in the period 702 in FIG.
  • the ratio of these periods 701 and 702 changes based on the phase delay. That is, as the phase delay D increases, the period 701 becomes shorter and the period 702 becomes longer. Therefore, the phase lag D can be calculated by calculating the ratio of the infrared light signal generated by the Z pixel in the first exposure period and the second exposure period.
  • D S2 ⁇ (S1 + S2) ⁇ T / 2
  • L D ⁇ c / 2 (Formula 1)
  • c the speed of light.
  • T the distance to the subject
  • T the distance to the subject
  • T the modulation frequency of outgoing infrared light
  • the distance to the subject can be calculated by using two Z pixels. Since reflected infrared light is attenuated in the process of propagation, it is necessary to repeatedly emit infrared light and accumulate charges generated by Z pixels to increase the level of the infrared light signal.
  • FIG. 7 is a diagram illustrating an infrared light conversion block according to the first embodiment of the present technology.
  • the pixel arrangement in the figure is the same as the pixel arrangement described in FIG.
  • the distance is measured by a pixel group 660 composed of Z pixels (Za, Zb, Zc, and Zd) arranged in the upper two infrared light conversion blocks 620 and 630 in FIG.
  • Za and Zc and Zb and Zd belong to different infrared light conversion blocks, and are connected to different infrared light charge holding units 621 and 631, respectively.
  • the first exposure period and the second exposure period described in FIG. 6 are applied to Za and Zc, Zb and Zd, and the distance is measured.
  • the visible light conversion block 610 in the figure includes a visible light charge holding unit 611.
  • the visible light conversion block 610 is used for imaging with visible light.
  • FIG. 8 is a diagram illustrating the relationship between the imaging period and the distance measurement period in the first embodiment of the present technology.
  • the solid-state imaging device 20 measures the distance to the subject after imaging for generating an image signal of the subject.
  • An imaging period and a distance measurement period which are periods in which these are performed, are alternately repeated.
  • the reset is to discharge the electric charge accumulated in the photoelectric conversion unit. All pixels included in one line are reset and exposure is started. After the elapse of a predetermined exposure period, an image signal based on the charge generated by photoelectric conversion is generated and output. Thereby, the exposure in the said line is complete
  • a frame that is an image signal for one screen can be obtained. Then, it shifts to a distance measurement period.
  • FIG. 9 is a diagram illustrating an imaging method according to the first embodiment of the present technology.
  • the figure shows the imaging method in the visible light conversion block 610, and the figure shows the relationship between the input signal and the output signal.
  • the signals described in the figure correspond to the signals described in FIG. Among these, in the input signal, the period of the value “1” of the binarized waveform corresponds to the input of the on signal. Further, the reference numerals of the constituent elements (charge transfer section, overflow drain, etc.) other than the visible light charge holding section 611 will be described using the same reference numerals as those described in FIG.
  • an ON signal is input to OFD1 to OFD4, and overflow drains 112, 123, 132, and 143 are turned on (T1).
  • charges accumulated in the photoelectric conversion units 111, 121, 131, and 141 are discharged, and resetting is executed.
  • input of the ON signal to OFD1 to OFD4 is stopped, and overflow drains 112, 123, 132, and 143 are made non-conductive (T2).
  • the photoelectric conversion units 111, 121, 131, and 141 newly generate and store charges due to photoelectric conversion. That is, exposure is started.
  • an ON signal is input to RST, and the MOS transistor 152 of the signal generation unit 150 is turned on (T3). Thereby, the electric charge of the visible light charge holding part 611 is discharged. At the same time, an ON signal is input to SEL, and the MOS transistor 154 of the signal generation unit 150 is turned on. Thus, in the subsequent operation, when the charge is transferred and held in the visible light charge holding unit 611, a visible light signal based on this charge is output to the signal line 102.
  • the input of the RST on signal is stopped, the MOS transistor 152 is turned off, and the on signal is inputted to TR1 to turn on the charge transfer unit 113 of the pixel 110 (T4).
  • the charge accumulated in the photoelectric conversion unit 111 is transferred to the visible light charge holding unit 611.
  • a signal “G” based on the charge transferred to the visible light charge holding unit 611 is output to the signal line 102. This corresponds to a visible light signal (image signal corresponding to green light) in the pixel 110.
  • the exposure period in the pixel 110 is stopped by the transfer of the charge accumulated in the photoelectric conversion unit 111 to the visible light charge holding unit 611, and the signal output described in FIG.
  • the input of the ON signal to RST is stopped, and the ON signal is input to TR2 to make the charge transfer unit 122 of the pixel 120 conductive (T6).
  • the charge accumulated in the photoelectric conversion unit 121 is transferred to the visible light charge holding unit 611, and a signal “B” based on the transferred charge is output to the signal line 102.
  • the input of the ON signal to TR2 is stopped and the ON signal is input to RST (T7). Thereby, the charge of the visible light charge holding portion 611 is discharged, and the signal output in the pixel 120 is finished.
  • the input of the ON signal of RST is stopped, and the ON signal is input to TR3 to make the charge transfer unit 133 of the pixel 130 conductive (T8).
  • the charge accumulated in the photoelectric conversion unit 131 is transferred to the visible light charge holding unit 611, and a signal “R” based on the transferred charge is output to the signal line 102.
  • the input of the ON signal to TR3 is stopped and the ON signal is input to RST (T9). Thereby, the charge of the visible light charge holding portion 611 is discharged, and the signal output in the pixel 130 is finished.
  • the input of the ON signal of RST is stopped, and the ON signal is input to TR4 to make the charge transfer unit 142 of the pixel 140 conductive (T10).
  • the charge accumulated in the photoelectric conversion unit 141 is transferred to the visible light charge holding unit 611, and a signal “G” based on the transferred charge is output to the signal line 102.
  • the input of the ON signal to TR4 and SEL is stopped (T11). Thereby, the signal output in the pixel 140 is completed.
  • the imaging period for one screen is completed.
  • the visible light charges are exclusively obtained during the periods (T4, T6, T8, and T10) in which the charges generated by the four photoelectric conversion units 111, 121, 131, and 141 are different from each other. It is held by the holding unit 611. That is, the charges respectively generated by the plurality of visible light conversion units are exclusively held in the visible light charge holding unit in different periods.
  • FIG. 10 is a diagram illustrating a distance measurement method according to the first embodiment of the present technology.
  • This figure shows a distance measurement method in the pixel group 660.
  • the relationship among the input signal in the Z pixel of the pixel group 660, the outgoing infrared light and the reflected infrared light, and the amount of charge held in the infrared light charge holding units 621 and 631 is shown.
  • the signals of the infrared light conversion blocks 620 and 630 described in FIG. 7 correspond to the signals described in FIG. That is, among the Z pixels of the pixel group 660, the signals Za and Zc correspond to the signals of the pixels 120 and 140 in FIG. Similarly, the signals Zb and Zd correspond to the signals of the pixels 110 and 130 in FIG. 3, respectively.
  • the constituent elements other than the infrared light charge holding units 621 and 631 will be described using the same reference numerals as those described in FIG.
  • an ON signal is input to the RSTs of the infrared light conversion blocks 620 and 630 to make the MOS transistor 152 conductive.
  • ON signals are input to OFD2 and OFD4 of the infrared light conversion block 620 and OFD1 and OFD3 of the infrared light conversion block 630 to make the overflow drains 123, 143, 112, and 132 conductive (T1).
  • the charges held in the infrared light charge holding units 621 and 631 are discharged.
  • charges accumulated in the photoelectric conversion units 121 and 141 of the infrared light conversion block 620 and the photoelectric conversion units 111 and 131 of the infrared light conversion block 630 are discharged and reset. After resetting, the input of the on signal to the above-mentioned RST and OFD is stopped (T2).
  • the infrared light is emitted from the infrared light emitting unit 60, the ON signal is input to TR2 and TR4 of the infrared light conversion block 620, and the ON signal is input to OFD1 and OFD3 of the infrared light conversion block 630. (T3).
  • the infrared light conversion block 620 the charge transfer units 122 and 142 are conducted, and the charge generated based on the reflected infrared light in the photoelectric conversion units 121 and 141 is held in the infrared light charge holding unit 621.
  • the overflow drains 112 and 132 are conducted, and the photoelectric conversion units 111 and 131 are reset.
  • emission of infrared light from the infrared light emitting unit 60 is stopped, and input of ON signals to TR2 and TR4 of the infrared light conversion block 620 and OFD1 and OFD3 of the infrared light conversion block 630 are stopped. To do. At the same time, ON signals are input to OFD1 and OFD3 of the infrared light conversion block 620 and TR2 and TR4 of the infrared light conversion block 630 (T4). Thereby, in the infrared light conversion block 620, the overflow drains 123 and 143 are conducted, and the photoelectric conversion units 121 and 141 are reset.
  • the charge transfer units 113 and 133 are conducted, and the charges generated based on the reflected infrared light in the photoelectric conversion units 111 and 131 are held in the infrared light charge holding unit 631. .
  • an ON signal is input to the SELs of the infrared light conversion blocks 620 and 630 (T6).
  • the MOS transistors 154 of the infrared light conversion blocks 620 and 630 become conductive, and infrared light signals based on the charges held in the infrared light charge holding units 621 and 631 are output, respectively.
  • the input of the ON signal to the SELs of the infrared light conversion blocks 620 and 630 is stopped, and the distance measurement period ends (T7).
  • Za and Zc of the infrared light conversion block 620 photoelectric conversion synchronized with the emitted infrared light is performed. That is, the first exposure period described in FIG. 6 is set to Za and Zc.
  • Zb and Zd of the infrared light conversion block 630 photoelectric conversion is performed in a period in which the phase is shifted by 180 ° with respect to the emitted infrared light. That is, the second exposure period described in FIG. 6 is applied to Zb and Zd. Based on the infrared light signals from these Z pixels, the distance measuring unit 50 calculates the distance to the subject.
  • the charge transfer units 122 and 142 are simultaneously turned on, and the charges generated by the two photoelectric conversion units 121 and 141 are collectively (T3) at the same time. It is held in the photocharge holding portion 621.
  • the charge transfer units 113 and 133 are in a conductive state at the same time, and the charges generated by the two photoelectric conversion units 111 and 131 are simultaneously combined (T4) with infrared light. It is held by the charge holding unit 631. That is, charges generated by the plurality of infrared light conversion units are collectively held in the infrared light charge holding unit at the same time.
  • the charge transfer units 122 and 142 are examples of the infrared light charge transfer unit described in the claims.
  • the G pixel and the R pixel of the infrared light conversion block 620 are applied with the imaging method described in FIG. 9, and a visible light signal is generated. That is, the charges generated by the visible light conversion units included in these pixels are held exclusively in the infrared light charge holding unit 621 in different periods. The same applies to the B pixel and G pixel of the infrared light conversion block 630.
  • FIG. 11 is a diagram illustrating an example of a distance measurement processing procedure according to the first embodiment of the present technology. The process in FIG. 5 is executed when the imaging system 1 measures a distance. The processing procedure will be described using the symbols described in FIG.
  • the infrared light emitting unit 60 emits infrared light to the subject (step S901).
  • infrared light exposure is performed by the infrared light conversion block 620 in which the first exposure period is set (step S902).
  • the charge generated by this exposure is held in the infrared light charge holding unit 621 (step S903), and emission of infrared light by the infrared light emitting unit 60 is stopped (step S904). ).
  • infrared light exposure is performed by the infrared light conversion block 630 in which the second exposure period is set (step S905), and the generated charges are held in the infrared light charge holding unit 631 ( Step S906).
  • it is determined whether or not a predetermined number of exposures has been reached step S907). If the predetermined number of exposures has not been reached (step S907: No), the processing from step S901 is executed again.
  • step S907 if the predetermined number of exposures has been reached (step S907: Yes), an infrared light signal based on the charges held in the infrared light charge holding units 621 and 631 is generated (step S908). Finally, the distance measurement unit 50 calculates the distance based on the generated infrared light signal (step S909).
  • exposure is performed by setting the first exposure period and the second exposure period to Za, Zc, Zb, and Zd of the pixel group 660, respectively. Is done. Thereby, infrared light signals based on the first exposure period and the second exposure period can be acquired simultaneously, and the distance measurement period can be shortened.
  • two infrared light conversion units having a light receiving surface of the same size as the light receiving surface of the visible light conversion unit in the visible light pixel are apparently connected in parallel and used to perform infrared conversion.
  • the sensitivity of the conversion unit can be increased. This is because the sensitivity of the photoelectric conversion unit, that is, the amount of charge generated per unit time, is proportional to the light receiving area of the photoelectric conversion unit.
  • the infrared light conversion blocks 620 and 630 in FIG. 7 are arranged adjacent to each other. Therefore, the infrared light signals generated by these infrared light conversion blocks can be regarded as infrared light signals based on the same subject. Compared with the case where the infrared light conversion blocks 620 and 630 are arranged apart from each other, the accuracy of distance measurement can be improved.
  • the visible light conversion block is composed of four visible light pixels and is configured in a Bayer array.
  • the pixel group 660 in the first embodiment of the present technology is also configured by four Z pixels. Thereby, the arrangement of the Z pixels with respect to the pixel array unit 100 can be facilitated.
  • the solid-state imaging device 20 is configured by replacing the visible light pixels of the pixel array unit 100 with infrared light pixels. At this time, since the visible light conversion block and the pixel group 660 of Z pixels are the same number, the pixel array unit 100 can be replaced without changing the ratio of the R pixel, the G pixel, and the B pixel. is there.
  • the Z pixel and the visible light pixel are approximately equal in size. Accordingly, except for the configuration of the color filter, the Z pixel and the visible light pixel can share the configuration of the diffusion layer, the wiring pattern, and the like in the semiconductor substrate, and therefore can be manufactured based on the same design rule. .
  • the sensitivity of the Z pixel can be improved by using two Z pixels having substantially the same size as the visible light pixel in parallel. Thereby, the precision of distance measurement can be improved.
  • the visible light conversion block is configured by the three pixels of the R pixel, the G pixel, and the B pixel as the visible light pixel.
  • the visible light conversion block is configured by the four pixels including the W pixel corresponding to the white light. May be.
  • one of the two G pixels in the Bayer array can be replaced with a W pixel.
  • FIG. 12 is a diagram illustrating a visible light conversion block in a modification of the first embodiment of the present technology.
  • a pixel in which the letter W is written corresponds to a W pixel, and a color filter that transmits white light is arranged in the pixel.
  • the visible light conversion blocks 611 and the pixel groups 660 of Z pixels are the same number, and the visible light can be changed without changing the ratio of the R pixel, the G pixel, the B pixel, and the W pixel to the entire pixel array unit 100. Pixels can be replaced with infrared light pixels.
  • the distance is measured using an infrared light conversion block configured by two Z pixels and two visible light pixels.
  • distance is measured by an infrared light conversion block including four Z pixels. Thereby, the number of signal lines connected to the Z pixel can be reduced.
  • FIG. 13 is a diagram illustrating an infrared light conversion block according to the second embodiment of the present technology.
  • the infrared light conversion block 620 shown in the figure is different from the infrared light conversion block 620 described with reference to FIG. 7 in that all pixels are composed of Z pixels. That is, the pixel group 660 by the Z pixel in FIG. 7 and the pixel of the infrared light conversion block 620 are in agreement. For this reason, in the Z pixel of the infrared light conversion block 620 in FIG. 4, the charge transfer unit and the overflow drain can be operated simultaneously for four pixels.
  • FIG. 14 is a diagram illustrating a relationship between an imaging period and a distance measurement period in the second embodiment of the present technology.
  • the distance measurement described in FIG. 8 is performed in that the first distance measurement period and the second distance measurement period which are two distance measurement periods are executed after the imaging period. Different from the period.
  • FIG. 15 is a diagram illustrating an imaging method according to the second embodiment of the present technology. As described above, the same signal is input to the charge transfer units and overflow drains of all the Z pixels of the infrared light conversion block 620. The operations in the first distance measurement period and the second distance measurement period in FIG. 10 are the same as the operations in the infrared light conversion blocks 620 and 630 described in FIG.
  • the signal supplied to the Z pixel is made common by measuring the distance by the infrared light conversion block including the four Z pixels. be able to. Thereby, the number of signal lines can be reduced.
  • the distance is measured using an infrared light conversion block including two Z pixels and two visible light conversion pixels.
  • the distance is measured by an infrared light conversion block including one Z pixel and three visible light conversion pixels.
  • FIG. 16 is a diagram illustrating an infrared light conversion block according to the third embodiment of the present technology.
  • the infrared light conversion blocks 620, 630, 640, and 650 in the figure are configured by one Z pixel and three visible light conversion pixels, and therefore, the infrared light conversion block 620 described in FIG. And 630.
  • the pixel group 660 of Z pixels in the figure is arranged over these four infrared light conversion blocks and is arranged over two lines.
  • Other configurations of the solid-state imaging device 20 and the imaging system 1 are the same as those of the solid-state imaging device 20 and the imaging system 1 according to the first embodiment of the present technology, and thus the description thereof is omitted.
  • FIG. 17 is a diagram illustrating a distance measurement method according to the third embodiment of the present technology.
  • the distance is measured by emitting infrared light amplitude-modulated by a sine wave and measuring the phase delay of the reflected infrared light.
  • a in the figure represents the relationship between the emitted infrared light and the reflected infrared light.
  • the reflected infrared light has a waveform with a phase delayed according to the distance from the subject.
  • ⁇ is expressed by the following equation.
  • ⁇ tan ⁇ 1 (q / r)
  • q represents the peak value of the reflected wave
  • r represents the peak value of the reflected wave in the phase advanced by 90 °.
  • B in the figure represents a method for obtaining these q and r.
  • the peak value of the reflected infrared light is measured every 90 ° phase in one cycle of the outgoing infrared light.
  • q and r are represented by the following equations.
  • q
  • r
  • ⁇ can be calculated by the following equation.
  • ⁇ tan ⁇ 1
  • D described in FIG. 6 can be calculated as follows.
  • D T ⁇ ⁇ / 2 ⁇
  • Equation 1 the distance L to the subject is calculated using Equation 1.
  • p1 to p4 can be acquired by performing exposure by dividing every 90 ° with respect to one cycle of the emitted infrared light, accumulating the generated charge and converting it into an infrared light signal. . In FIG. 7B, these are shown as first to fourth exposure periods.
  • the distance measurement method shown in FIG. 6 uses four Z pixels, calculates the difference, and measures the distance, thereby removing the influence of infrared light other than reflected infrared light. be able to. For this reason, it is possible to perform measurement with higher accuracy than the distance measurement method described in FIG.
  • FIG. 18 is a diagram illustrating an imaging method according to the third embodiment of the present technology. Assume that the first to fourth exposure periods described in FIG. 17 are set for each of Za, Zb, Zc, and Zd in FIG. First, an ON signal is input to the RST of the infrared light conversion blocks 620, 630, 640 and 650, and the charges held in the infrared light charge holding units 621, 631, 641 and 651 are discharged (T1). In the following description, the name of the infrared light conversion block is omitted.
  • ON signals are input to OFD4, OFD3, OFD2 and OFD1, and the photoelectric conversion units 111, 121, 131 and 141 are reset. After the reset is completed, the input of ON signals to RST and OFD1 to 4 is stopped (T2).
  • the input of the ON signal to TR3 and OFD2 is stopped and the ON signal is input to TR2, OFD4, OFD3 and OFD1 (T5).
  • the ON signal is input to TR2, OFD4, OFD3 and OFD1 (T5).
  • exposure based on the reflected infrared light is performed in the pixel 120, and charges are accumulated in the infrared light charge holding unit 641.
  • the input of the ON signal to TR2 and OFD1 is stopped and the ON signal is input to TR1, OFD4, OFD3, and OFD2 (T6). Accordingly, exposure based on the reflected infrared light is performed in the pixel 110, and charges are accumulated in the infrared light charge holding unit 651.
  • an ON signal is input to the SELs of the infrared light conversion blocks 620 and 630 (T8). Thereby, an infrared light signal based on the charges held in the infrared light charge holding units 621 and 631 is generated.
  • the input of the ON signal to the SEL of the infrared light conversion blocks 620 and 630 is stopped, and the ON signal is input to the SEL of the infrared light conversion blocks 640 and 650 (T9). Thereby, an infrared light signal based on the charges held in the infrared light charge holding units 641 and 651 is generated. As described with reference to FIG.
  • an infrared light signal having a 90 ° phase shift can be obtained. Based on these infrared light signals, the distance measuring unit 50 calculates the distance to the subject.
  • the third embodiment of the present technology it is possible to use a distance measurement method in which reflected infrared light exposure is performed in four phases. Thereby, it becomes possible to remove the influence of infrared light other than reflected infrared light, and the accuracy of distance measurement can be improved.
  • the Z pixels of the pixel group 660 are arranged adjacent to each other.
  • the Z pixel is arranged at the position of the G pixel in the Bayer array in the infrared light conversion block. Thereby, demosaic processing can be facilitated.
  • FIG. 19 is a diagram illustrating an infrared light conversion block according to the fourth embodiment of the present technology.
  • the infrared light conversion blocks 620, 630, 640 and 650 in the figure are composed of one Z pixel and three visible light conversion pixels. However, it differs from the infrared light conversion blocks 620, 630, 640 and 650 described in FIG. 16 in that the Z pixel is arranged at the position of the G pixel in the Bayer array of each photoelectric conversion block.
  • Other configurations of the solid-state imaging device 20 and the imaging system 1 are the same as those of the solid-state imaging device 20 and the imaging system 1 according to the third embodiment of the present technology, and thus the description thereof is omitted.
  • the distance measurement method it is possible to employ a distance measurement method in which the reflected infrared light exposure is divided into four phases as in the third embodiment of the present technology.
  • the image processing unit 40 can perform a demosaic process on the visible light signal output from the solid-state imaging device 20.
  • This demosaic process is a process of interpolating the signal of the insufficient color in each pixel, and when applied to the Z pixel, it is necessary to interpolate signals corresponding to three of red light, green light and blue light. .
  • This interpolation can be performed by calculating an average value of visible light signals output from visible light pixels arranged around the Z pixel among visible light pixels corresponding to the corresponding color.
  • the visible light signal corresponding to the green light in the Z pixel can be interpolated using the signal of the G pixel included in the same infrared light conversion block. Thereby, the demosaic process of the visible light signal corresponding to green light can be simplified.
  • the fourth embodiment of the present technology by arranging the Z pixel at the position of the G pixel in the Bayer array, the visibility of the G pixel included in the same infrared light conversion block at the time of demosaicing is set. Interpolation is possible using optical signals. Thereby, the demosaic process of a visible light signal can be simplified.
  • FIG. 20 is a diagram illustrating a pixel arrangement example according to the fifth embodiment of the present technology.
  • the pixel 140 which is the Z pixel (Za) in the same figure is different from the Z pixel 140 described in FIG. 4 in that it further includes a charge transfer unit 144 and a charge holding unit 155.
  • FIG. 21 is a diagram illustrating a configuration example of a pixel according to the fifth embodiment of the present technology. The figure shows the circuit configuration of the Z pixel 140, the signal generation unit 150, and the charge holding units 151 and 155 in the infrared light conversion block.
  • the pixel 140 in the figure need not include the overflow drain 143. Instead, a charge transfer unit 144 is further provided. Further, the signal line 101 includes TR5 instead of the OFD4. TR5 (Transfer 5) is a signal line for transmitting a control signal to the charge transfer unit 144. As shown in the figure, the anode of the photoelectric conversion unit 141 is grounded, and the cathode is connected to the sources of the charge transfer units 142 and 144. The gates of charge transfer units 142 and 144 are connected to TR4 and TR5, respectively. The drain of the charge transfer unit 142 is connected to one end of the charge holding unit 151 similarly to the pixel 140 described with reference to FIG. On the other hand, the drain of the charge transfer unit 144 is connected to one end of the charge holding unit 155.
  • the signal generation unit 150 is different from the signal generation unit 150 described in FIG. 3 in that the signal generation unit 150 further includes MOS transistors 156 to 158. As shown in the figure, the drains of the MOS transistors 156 and 157 are connected to Vdd. The source of the MOS transistor 156 and the gate of the MOS transistor 157 are connected to one end of the charge holding unit 155 to which the drain of the charge transfer unit 144 is connected. The other end of the charge holding unit 155 is grounded. The source of the MOS transistor 157 is connected to the drain of the MOS transistor 158, and the source of the MOS transistor 158 is connected to the signal line 102. As shown in the figure, the signal line 102 includes two signal lines, and transmits signals output from the MOS transistors 154 and 158, respectively. The gates of MOS transistor 156 and MOS transistor 158 are connected to signal lines RST and SEL, respectively.
  • the MOS transistor 157 is a MOS transistor that generates a signal corresponding to the charge held in the charge holding unit 155.
  • the MOS transistor 158 is a MOS transistor that outputs the signal generated by the MOS transistor 157 to the signal line 102 as an image signal.
  • the MOS transistor 156 is a MOS transistor that discharges the charge held in the charge holding unit 155.
  • the charge generated by the photoelectric conversion unit 141 can be transferred to the charge holding units 151 and 155 separately. Since the configuration of the other pixels is the same as the configuration of the pixel and the like described in FIG. 3, description thereof is omitted. Further, the distance measurement method described in FIG. 6 can be used as the distance measurement method according to the fifth embodiment of the present technology. Other configurations of the solid-state imaging device 20 and the imaging system 1 are the same as those of the solid-state imaging device 20 and the imaging system 1 according to the first embodiment of the present technology, and thus description thereof is omitted.
  • FIG. 22 is a diagram illustrating an imaging method according to the fifth embodiment of the present technology. This diagram shows the relationship between the input signal and the output signal in the pixel 140 described in FIG.
  • an ON signal is input to RST, TR4 and TR5 (T1).
  • the photoelectric conversion unit 141 is reset, and the charges held in the charge holding units 151 and 155 are discharged.
  • the input of the on signal to the above-mentioned RST, TR4 and TR5 is stopped (T2).
  • infrared light is emitted from the infrared light emitting unit 60 and an ON signal is input to TR4 (T3).
  • Tone3 an ON signal is input to TR4 (T3).
  • charges based on the reflected infrared light generated by the photoelectric conversion unit 141 are held in the charge holding unit 151.
  • an ON signal is input to SEL (T6). Accordingly, infrared light signals based on the charges held in the charge holding units 151 and 155 are output, respectively. Thereafter, the input of the ON signal to the SEL is stopped, and the distance measurement period ends (T7). The distance is calculated by the distance measuring unit 50 based on the output infrared light signal.
  • infrared light signals when the light receiving sensitivity of infrared light is insufficient, it is also possible to generate infrared light signals similarly for Zb, Zc, and Zd, and add them to use for distance calculation.
  • the charge holding unit 151 accumulates charges based on photoelectric conversion synchronized with the emitted infrared light.
  • the charge holding unit 155 photoelectric conversion is performed at a timing that is 180 ° out of phase with the emitted infrared light, and charges are accumulated. That is, the first and second exposure periods described in FIG. 6 can be executed by one pixel. For this reason, compared with the case where the first and second exposure periods are executed by different pixels, it is possible to reduce the influence of variations in sensitivity in photoelectric conversion, and to improve the accuracy of distance measurement. Further, since all the charges generated by the photoelectric conversion unit 141 are transferred to the charge holding units 151 and 155, the pixel 140 does not need to be provided with an overflow drain.
  • two infrared light signals necessary for distance measurement can be generated by one pixel.
  • the influence of sensitivity variation in photoelectric conversion can be reduced, so that the accuracy of distance measurement can be improved.
  • the charge transfer unit and the charge holding unit of the Z pixel are provided.
  • the distance was measured.
  • the distance may be measured by adding a charge transfer unit and a charge holding unit to the Z pixel according to the first embodiment of the present technology. Specifically, a charge transfer unit is added to the photoelectric conversion unit 121 of the pixel 120 and the photoelectric conversion unit 141 of the pixel 140 described in FIG. The additional charge transfer unit is further provided with a charge holding unit connected in common.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • the light-receiving surface that receives visible light is disposed, and the visible light generated by the plurality of visible light conversion units and the plurality of visible light conversion units that generate charges according to the amount of received light of the received visible light, respectively.
  • a visible light conversion block including a visible light charge holding unit that holds charges exclusively in different periods, and A plurality of infrared lights that are substantially the same size as the light-receiving surface of the visible light conversion unit and that have a light-receiving surface that receives infrared light and generate charges according to the amount of the received infrared light.
  • a solid-state imaging device comprising: an infrared light conversion block including a conversion unit and an infrared light charge holding unit that simultaneously holds the electric charges generated by the plurality of infrared light conversion units together.
  • the infrared light conversion block includes: Two infrared light converters; Two visible light converters; When holding the charges generated by the two infrared light conversion units, the charges generated by the two infrared light conversion units are simultaneously held together, and the two visible lights
  • the infrared light charge holding unit that holds the charge generated by the two visible light conversion units exclusively during different periods when holding the charge generated by the conversion unit,
  • the solid-state imaging device according to (2).
  • the visible light conversion block is a red light conversion unit that is the visible light conversion unit that generates the electric charge according to red light and a green that is the visible light conversion unit that generates the electric charge according to green light.
  • the four visible light conversion units and the visible light charge holding unit in which a light conversion unit and a blue light conversion unit that is the visible light conversion unit that generates the electric charge according to blue light are arranged in a Bayer array shape, and The solid-state imaging device according to any one of (2) to (4).
  • the visible light conversion block is a red light conversion unit that is the visible light conversion unit that generates the electric charge according to red light and a green that is the visible light conversion unit that generates the electric charge according to green light.
  • a blue light conversion unit that is the visible light conversion unit that generates the charge according to the light conversion unit and the blue light, a white light conversion unit that is the visible light conversion unit that generates the charge according to the white light, and the visible light The solid-state imaging device according to any one of (2) to (4), further including a photocharge holding unit.
  • the infrared light conversion block is configured to cause the plurality of infrared light conversion units to simultaneously conduct between the plurality of infrared light conversion units and the infrared light charge holding unit, and to generate the charges respectively generated by the plurality of infrared light conversion units.
  • the solid-state imaging device according to any one of (1) to (6), further including an infrared light charge transfer unit that transfers the light to the infrared light charge holding unit.
  • the solid-state imaging device according to any one of (1) to (7), further including an infrared light signal generation unit configured to generate a signal corresponding to the charge held in the infrared light charge holding unit. .
  • an infrared light emitting unit for emitting infrared light to the subject;
  • a light receiving surface that receives visible light is disposed, and a plurality of visible light conversion units that generate charges according to a received light amount of the received visible light and the charges generated by the plurality of visible light conversion units, respectively.
  • a visible light conversion block comprising a visible light charge holding unit that holds exclusively during different periods;
  • a light-receiving surface that is substantially the same size as the light-receiving surface of the visible light conversion unit and receives the infrared light that is emitted and reflected by the subject is arranged to correspond to the amount of received infrared light.
  • An infrared light conversion block including a plurality of infrared light conversion units that generate the generated charges and an infrared light charge holding unit that simultaneously holds the charges generated by the plurality of infrared light conversion units together,
  • An infrared light signal generation unit for generating a signal corresponding to the charge held in the infrared light charge holding unit; The distance from the subject is measured by measuring the time from the emission in the infrared light emission unit to the light reception in the infrared light conversion unit of the infrared light conversion block based on the generated signal.
  • An imaging system comprising a distance measuring unit.
  • Infrared light emission procedure for emitting infrared light to a subject;
  • a light receiving surface that receives visible light is disposed, and a plurality of visible light conversion units that generate charges according to a received light amount of the received visible light and the charges generated by the plurality of visible light conversion units, respectively.
  • Infrared light that is substantially the same size as the light receiving surface of the visible light conversion unit in a visible light conversion block that includes a visible light charge holding unit that holds exclusively during different periods, and is emitted and reflected by the subject
  • a plurality of infrared light converters for generating charges corresponding to the amount of received light of the received infrared light and the charges generated by the plurality of infrared light converters, respectively.
  • Infrared light signal generation procedure for generating a signal corresponding to the charge held in the infrared light charge holding unit in an infrared light conversion block comprising an infrared light charge holding unit that holds the light simultaneously.
  • a distance measurement procedure for measuring a distance from the subject by measuring a time from the emission of the infrared light to the light reception in the infrared light conversion unit of the infrared block based on the generated signal;
  • a distance measuring method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

可視光画素と同じ大きさのＺ画素を使用して、距離計測の精度を向上させる。　固体撮像装置において、可視光変換ブロックは、可視光を受光する受光面が配置されて受光した可視光の受光量に応じた電荷を生成する複数の可視光変換部と複数の可視光変換部によりそれぞれ生成された電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える。赤外光変換ブロックは、可視光変換部の受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて受光した赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と複数の赤外光変換部によりそれぞれ生成された電荷をまとめて同時に保持する赤外光電荷保持部とを備える。

Description

固体撮像装置、撮像システムおよび距離計測方法
　本技術は、固体撮像装置、撮像システムおよび距離計測方法に関する。詳しくは、被写体との距離を計測する距離計測画素を有する固体撮像装置、撮像システムおよびこれらにおける距離計測方法に関する。
　従来、赤外光を被写体に照射し、反射された赤外光を受光して照射から受光までの時間を計測することにより、被写体との距離を計測する撮像システムが使用されている。このような方式はＴＯＦ（Time of Flight）方式と呼ばれ、被写体の動き検出や３次元形状の計測の際に広く使用される方式である。この撮像システムに使用する撮像素子は、可視光を電気信号に変換する光電変換素子を有する可視光画素と、反射された赤外光を電気信号に変換する光電変換素子を有する赤外光画素とにより構成されている。この赤外光画素により距離の計測が行われる。ここで、このような赤外光画素を距離計測画素と称する。通常、反射光は伝播の過程で減衰するため、可視光画素と同じ大きさの赤外光画素を距離計測画素として使用した場合には、光電変換の感度が不足して、距離計測の精度が低下する。これを防ぐためには、高感度の距離計測画素を使用することが望ましい。そこで、可視光画素の光電変換素子と比較して、４倍の受光面積の光電変換素子を有する距離計測画素を使用するシステムが提案されている（例えば、特許文献１参照。）。
米国特許出願公開第２００６／０１９２０８６号明細書
　上述の従来技術は、光電変換素子としてシングルフォトンアバランシェダイオード（ＳＰＡＤ：Single Photon Avalanche diode）を使用するとともに、このＳＰＡＤ素子を可視光画素の光電変換素子の４倍の受光面積に構成している。これにより、光電変換の感度を高めて微弱な反射光における距離計測を可能にしている。しかし、可視光画素より大きな面積の距離計測画素を要するため、通常の撮像素子とは異なる設計ルールにより製造する必要がある。このため、コストが高いという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、可視光画素と同じ大きさに構成された距離計測画素を使用しながら、距離計測の精度を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、上記可視光変換部の上記受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックとを具備する固体撮像装置である。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
　また、この第１の側面において、上記可視光変換ブロックは、４個の上記可視光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、４個の上記可視光変換部を有するという作用をもたらす。
　また、この第１の側面において、上記赤外光変換ブロックは、４個の上記赤外光変換部と上記赤外光電荷保持部とを備えてもよい。これにより、上記赤外光変換ブロックは、４個の上記赤外光変換部を有するという作用をもたらす。
　また、この第１の側面において、上記赤外光変換ブロックは、２個の上記赤外光変換部と、２個の上記可視光変換部と、上記２個の赤外光変換部により生成された上記電荷を保持する際には上記２個の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持し、上記２個の可視光変換部により生成された上記電荷を保持する際には上記２個の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する上記赤外光電荷保持部とを備えてもよい。これにより、上記赤外光変換ブロックは、２個の上記赤外光変換部と２個の上記可視光変換部とを有するという作用をもたらす。
　また、この第１の側面において、上記可視光変換ブロックは、赤色光に応じた上記電荷を生成する上記可視光変換部である赤色光変換部と緑色光に応じた上記電荷を生成する上記可視光変換部である緑色光変換部と青色光に応じた上記電荷を生成する上記可視光変換部である青色光変換部とがベイヤー配列形状に配置された上記４個の可視光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、ベイヤー配列形状に配置された４個の可視光変換部を有するという作用をもたらす。
　また、この第１の側面において、上記可視光変換ブロックは、赤色光に応じた上記電荷を生成する上記可視光変換部である赤色光変換部と緑色光に応じた上記電荷を生成する上記可視光変換部である緑色光変換部と青色光に応じた上記電荷を生成する上記可視光変換部である青色光変換部と白色光に応じた上記電荷を生成する上記可視光変換部である白色光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、上記赤色光変換部と上記緑色光変換部と上記青色光変換部と上記白色光変換部の４個の可視光変換部を有するという作用をもたらす。
　また、この第１の側面において、上記赤外光変換ブロックは、上記複数の赤外光変換部と上記赤外光電荷保持部との間を同時に導通させて上記複数の赤外光変換部によりそれぞれ生成された上記電荷を上記赤外光電荷保持部に転送する赤外光電荷転送部をさらに備えてもよい。これにより、上記複数の赤外光変換部により生成された上記電荷が同時に上記赤外光保持部に転送されるという作用をもたらす。
　また、この第１の側面において、上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成部をさらに具備してもよい。これにより、上記赤外光電荷保持部に保持された上記電荷に応じた信号が生成されるという作用をもたらす。
　また、本技術の第２の側面は、被写体に赤外光を出射する赤外光出射部と、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、上記可視光変換部の上記受光面と略等しいサイズであるとともに上記出射されて上記被写体により反射された赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと、上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成部と、上記赤外光出射部における上記出射から上記赤外光変換ブロックの上記赤外光変換部における上記受光までの時間を上記生成された上記信号に基づいて計測することにより上記被写体との距離を計測する距離計測部とを具備する撮像システムである。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
　また、本技術の第３の側面は、被写体に赤外光を出射する赤外光出射手順と、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックにおける上記可視光変換部の上記受光面と略等しいサイズであるとともに上記出射されて上記被写体により反射された赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックにおいて上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成手順と、上記赤外光の出射から上記赤外ブロックの上記赤外光変換部における上記受光までの時間を上記生成された上記信号に基づいて計測することにより上記被写体との距離を計測する距離計測手順とを具備する距離計測方法である。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
　本技術によれば、可視光画素と同じ大きさの距離計測画素を使用しながら、距離計測の精度を向上させるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像システム１の構成例を示す図である。 本技術の実施の形態における固体撮像装置２０の構成例を示す図である。 本技術の第１の実施の形態における画素の構成例を示す図である。 本技術の第１の実施の形態における画素の配置例を示す図である。 本技術の第１の実施の形態における画素の構成例を示す模式図である。 本技術の第１の実施の形態における距離の計測方法を示す図である。 本技術の第１の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第１の実施の形態における撮像期間および距離計測期間の関係を示す図である。 本技術の第１の実施の形態における撮像方法を示す図である。 本技術の第１の実施の形態における距離の計測方法を示す図である。 本技術の第１の実施の形態における距離の計測の処理手順の一例を示す図である。 本技術の第１の実施の形態の変形例における可視光変換ブロックを例示する図である。 本技術の第２の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第２の実施の形態における撮像期間および距離計測期間の関係を示す図である。 本技術の第２の実施の形態における撮像方法を示す図である。 本技術の第３の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第３の実施の形態における距離の計測方法を示す図である。 本技術の第３の実施の形態における撮像方法を示す図である。 本技術の第４の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第５の実施の形態における画素の配置例を示す図である。 本技術の第５の実施の形態における画素の構成例を示す図である。 本技術の第５の実施の形態における撮像方法を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（赤外光変換ブロックが２個の赤外光変換画素および２個の可視光変換画素により構成される場合の例）
　２．第２の実施の形態（赤外光変換ブロックが４個の赤外光変換画素により構成される場合の例）
　３．第３の実施の形態（赤外光変換ブロックが１個の赤外光変換画素および３個の可視光変換画素により構成される場合の例）
　４．第４の実施の形態（ベイヤー配列におけるＧ画素の位置に赤外光変換画素が配置される場合の例）
　５．第５の実施の形態（光電変換部に２個の電荷保持部が接続される場合の例）
　＜１．第１の実施の形態＞
　［撮像システムの構成］
　図１は、本技術の実施の形態における撮像システム１の構成例を示す図である。この撮像システム１は、レンズ１０と、固体撮像装置２０と、信号処理部３０と、画像処理部４０と、距離計測部５０と、赤外光出射部６０とを備える。
　レンズ１０は、固体撮像装置２０に対して光学的に被写体を結像するものである。固体撮像装置２０は、レンズ１０によって結像された光学画像を画像信号に変換し、出力するものである。この固体撮像装置２０は、光学画像が結像される面に画像信号を生成する画素が２次元に配置されて構成されている。この画素には、光学画像のうちの可視光に対応する可視光画素と赤外光に対応する赤外光画素とが含まれる。
　この可視光画素は、受光した可視光に応じた信号を生成する画素であり、赤色光に応じた信号を生成する画素（Ｒ画素）、緑色光に応じた信号を生成する画素（Ｇ画素）および青色光に応じた信号を生成する画素（Ｂ画素）の３種の画素が例として挙られる。これらの画素により生成された信号である可視光信号により被写体の画像信号が構成される。
　一方、赤外光画素は、受光した赤外光に応じた信号である赤外信号を生成する画素である。本技術の実施の形態における赤外光画素は、後述する赤外光出射部６０から出射されて被写体により反射された赤外光を受光し、赤外光信号を生成する。そして、この赤外光の出射から赤外光の受光までの時間を計測することにより、被写体までの距離が計測される。この赤外光画素が前述の距離計測画素（以下、Ｚ画素と称する。）に該当する。固体撮像装置２０の構成および距離の計測の詳細については、後述する。
　信号処理部３０は、固体撮像装置２０から出力された画像信号を処理するものである。この信号処理部３０は、固体撮像装置２０から出力された画像信号を可視光信号および赤外光信号に分離し、それぞれ画像処理部４０および距離計測部５０に対して出力する。また、この信号処理部３０は、固体撮像装置２０の制御も行う。
　画像処理部４０は、信号処理部３０から出力された可視光信号に対して画像処理を行うものである。この画像処理として、例えば、固体撮像装置２０により生成された単色の可視光信号に対して不足する他の色の信号を補間するデモザイク処理および可視光信号を輝度信号と色差信号に変換する処理等を行うことができる。画像処理部４０により処理された画像信号は、例えば、信号線（不図示）を経由して撮像システム１の外部に対して出力される。
　距離計測部５０は、信号処理部３０から出力された赤外光信号に基づいて被写体との距離を計測するものである。また、この距離計測部５０は、赤外光出射部６０の制御も行う。
　赤外光出射部６０は、距離計測部５０の制御に基づいて赤外光を被写体に出射するものである。
　［固体撮像装置の構成］
　図２は、本技術の実施の形態における固体撮像装置２０の構成例を示す図である。この固体撮像装置２０は、画素アレイ部１００と、垂直駆動部２００と、水平転送部３００と、アナログデジタル変換器（ＡＤＣ：Analog Digital Converter）４００とを備える。
　画素アレイ部１００は、可視光画素と、赤外光画素と、信号生成部とを備え、これらが２次元アレイ状に配置されたものである。これら可視光画素および赤外光画素は、それぞれ可視光および赤外光に応じた電荷を生成する光電変換部を備えている。また、信号生成部は、光電変換部により生成された電荷を所定のタイミングで画像信号に変換して、出力するものである。光電変換を所定の期間行った後、これに基づく画像信号を生成することにより、露光を行うことができる。同図の画素アレイ部１００は、４個の画素（画素１１０、１２０、１３０および１４０）に対して１個の信号生成部１５０が配置された例を表している。この場合、画素１１０、１２０、１３０および１４０において生成された電荷が信号生成部１５０に転送され、この電荷に基づく画像信号が出力される。これらの画素のうち可視光画素により生成された電荷に基づく画像信号が可視光信号として出力され、赤外光画素により生成された電荷に基づく画像信号が赤外光信号として出力される。
　上述した画素の選択を制御する信号等は、信号線１０１により伝達される。また、信号生成部１５０から出力された画像信号は、信号線１０２により伝達される。画素アレイ部１００には、これら信号線１０１および１０２が、ＸＹマトリクス状に配線されている。すなわち、同じ行に配置された画素１１０等には１つの信号線１０１が共通に配線され、同じ列に配置された画素１１０等の出力は、１つの信号線１０２に共通に配線されている。
　垂直駆動部２００は、制御信号を生成して画素アレイ部１００に対して出力するものである。この垂直駆動部２００は、画素アレイ部１００の全ての信号線１０１に対して制御信号を出力する。垂直駆動部２００が出力する制御信号には、上述した画素１１０等における生成された電荷の信号生成部１５０への転送を制御する信号と、信号生成部１５０における画像信号の生成を制御する信号とが含まれる。
　水平転送部３００は、画素アレイ部１００から出力された画像信号に対して処理を行うものである。この水平転送部３００には、画素アレイ部１００の１行分の画素１１０等に対応する出力信号が同時に入力される。この入力された画像信号に対して、水平転送部３００は、パラレル－シリアル変換を行い、変換後の画像信号を出力する。
　アナログデジタル変換器４００は、水平転送部３００により出力された画像信号を、アナログ信号からデジタル信号に変換（ＡＤ変換）するものである。ＡＤ変換された画像信号は出力バッファ（不図示）を介して固体撮像装置２０の外部に出力される。
　［画素の回路構成］
　図３は、本技術の第１の実施の形態における画素の構成例を示す図である。同図は、画素１１０、１２０、１３０および１４０ならびに信号生成部１５０および電荷保持部１５１の回路構成を表したものである。
　画素１１０は、光電変換部１１１と、電荷転送部１１３と、オーバーフロードレイン１１２とを備える。なお、電荷転送部１１３およびオーバーフロードレイン１１２は、ＭＯＳ（Metal Oxide Semiconductor）トランジスタにより構成される。
　画素１１０には、信号線１０１のほかに、電源線Ｖｄｄおよび接地線が接続されている。画素１１０の電源はこれら電源線Ｖｄｄおよび接地線を通して供給される。また、信号線１０１は、複数の信号線（ＯＦＤ１およびＴＲ１）により構成されている。ＯＦＤ１（Over Flow Drain 1）は、オーバーフロードレイン１１２に制御信号を伝達する信号線である。ＴＲ１（Transfer 1）は、電荷転送部１１３に制御信号を伝達する信号線である。同図に表したように、これらは何れもＭＯＳトランジスタのゲートに接続される。ゲートおよびソース間の閾値電圧以上の電圧（以下、オン信号と称する。）がこれらの信号線を通して入力されると、該当するＭＯＳトランジスタが導通状態になる。
　同図に表したように、光電変換部１１１のアノードは接地され、カソードは電荷転送部１１３のソースとオーバーフロードレイン１１２のソースに接続される。オーバーフロードレイン１１２のゲートおよびドレインは、それぞれＯＦＤ１およびＶｄｄに接続される。電荷転送部１１３のゲートは信号線ＴＲ１に接続され、ドレインは電荷保持部１５１の一端に接続される。
　光電変換部１１１は、受光量に応じた電荷を生成して蓄積するものである。この光電変換部１１１は、フォトダイオードにより構成される。この光電変換部１１１には、可視光に対応する可視光変換部または赤外光に対応する赤外光変換部のいずれか一方が対応する。後述するように、画素ごとに配置されたカラーフィルタの特性を変更することにより、可視光変換部または赤外光変換部を構成することができる。
　電荷転送部１１３は、光電変換部１１１により生成された電荷を電荷保持部１５１に転送するものである。この電荷転送部１１３は、光電変換部１１１と電荷保持部１５１との間を導通させることにより、電荷の転送を行う。
　オーバーフロードレイン１１２は、光電変換部１１１により生成された電荷を排出するものである。このオーバーフロードレイン１１２は、光電変換部１１１において過剰に生成された電荷の排出を行う。また、光電変換部１１１とＶｄｄとの間を導通させることにより、光電変換部１１１に蓄積された全ての電荷の排出を行うこともできる。
　画素１２０は、光電変換部１２１と、電荷転送部１２２と、オーバーフロードレイン１２３とを備える。
　画素１２０に接続された信号線１０１は、複数の信号線（ＯＦＤ２およびＴＲ２）により構成されている。ＯＦＤ２（Over Flow Drain 2）は、オーバーフロードレイン１２３に制御信号を伝達する信号線である。ＴＲ２（Transfer 2）は、電荷転送部１２２に制御信号を伝達する信号線である。ＯＦＤ２およびＴＲ２は、それぞれオーバーフロードレイン１２３および電荷転送部１２２のゲートに接続される。これ以外の画素１２０の構成は画素１１０と同様であるため、説明を省略する。
　画素１３０は、光電変換部１３１と、電荷転送部１３３と、オーバーフロードレイン１３２とを備える。
　画素１３０に接続された信号線１０１は、複数の信号線（ＯＦＤ３およびＴＲ３）により構成されている。ＯＦＤ３（Over Flow Drain 3）は、オーバーフロードレイン１３２に制御信号を伝達する信号線である。ＴＲ３（Transfer 3）は、電荷転送部１３３に制御信号を伝達する信号線である。ＯＦＤ３およびＴＲ３は、それぞれオーバーフロードレイン１３２および電荷転送部１３３のゲートに接続される。これ以外の画素１３０の構成は画素１１０と同様であるため、説明を省略する。
　画素１４０は、光電変換部１４１と、電荷転送部１４２と、オーバーフロードレイン１４３とを備える。
　画素１４０に接続された信号線１０１は、複数の信号線（ＯＦＤ４およびＴＲ４）により構成されている。ＯＦＤ４（Over Flow Drain 4）は、オーバーフロードレイン１４３に制御信号を伝達する信号線である。ＴＲ４（Transfer 4）は、電荷転送部１４２に制御信号を伝達する信号線である。ＯＦＤ４およびＴＲ４は、それぞれオーバーフロードレイン１４３および電荷転送部１４２のゲートに接続される。これ以外の画素１４０の構成は画素１１０と同様であるため、説明を省略する。
　電荷保持部１５１は、画素１１０、１２０、１３０および１４０から転送された電荷を保持するものである。
　信号生成部１５０は、電荷保持部１５１に保持された信号に応じた信号を生成するものである。この信号生成部１５０は、ＭＯＳトランジスタ１５２乃至１５４を備える。
　信号生成部１５０には、信号線１０１、信号線１０２、電源線Ｖｄｄおよび接地線が接続されている。信号線１０１は、複数の信号線（ＲＳＴおよびＳＥＬ）により構成されている。ＲＳＴ（Reset）は、ＭＯＳトランジスタ１５２に制御信号を伝達する信号線である。ＳＥＬ（Select）は、ＭＯＳトランジスタ１５４に制御信号を伝達する信号線である。信号線１０２は、信号生成部１５０により生成された信号を伝達する信号線である。
　同図に表したように、ＭＯＳトランジスタ１５２および１５３のドレインは、Ｖｄｄに接続される。ＭＯＳトランジスタ１５２のソースおよびＭＯＳトランジスタ１５３のゲートは、前述の電荷転送部１１３、１２２、１３３および１４２のドレインが接続された電荷保持部１５１の一端に接続される。電荷保持部１５１の他の一端は、接地される。ＭＯＳトランジスタ１５３のソースはＭＯＳトランジスタ１５４のドレインに接続され、ＭＯＳトランジスタ１５４のソースは信号線１０２に接続される。ＭＯＳトランジスタ１５２およびＭＯＳトランジスタ１５４のゲートは、それぞれ信号線ＲＳＴおよびＳＥＬに接続される。
　ＭＯＳトランジスタ１５３は、電荷保持部１５１に保持された電荷に応じた信号を生成するＭＯＳトランジスタである。ＭＯＳトランジスタ１５４は、ＭＯＳトランジスタ１５３により生成された信号を画像信号として信号線１０２に出力するＭＯＳトランジスタである。なお、信号線１０２には、図示しない定電流電源が接続されており、ＭＯＳトランジスタ１５３とともにソースフォロワー回路を構成する。この定電流電源は図２において説明した水平転送部３００に配置されている。
　ＭＯＳトランジスタ１５２は、電荷保持部１５１に保持された電荷を排出するＭＯＳトランジスタである。このＭＯＳトランジスタ１５２は、電荷保持部１５１とＶｄｄとの間を導通させることにより電荷の排出を行う。
　［画素における動作］
　同図に表した画素の動作について画素１１０を例に挙げて説明する。まず、ＯＦＧからオン信号が入力されるとオーバーフロードレイン１１２は導通し、光電変換部１１１のカソードにＶｄｄが印加される。これにより、光電変換部１１１に蓄積されていた電荷が排出される。その後、受光量に応じた電荷が新たに生成されて、光電変換部１１１に蓄積される。
　所定の露光時間が経過した後、ＴＲ１からオン信号が入力されると、電荷転送部１１３が導通する。これにより、光電変換部１１１と電荷保持部１５１との間が導通状態になり、光電変換部１１１に蓄積された電荷が電荷保持部１５１に転送されて保持される。ＭＯＳトランジスタ１５３のゲートは電荷保持部１５１に接続されているため、電荷保持部１５１に保持された電荷に基づく信号が生成される。この時、ＳＥＬからオン信号が入力されるとＭＯＳトランジスタ１５４が導通し、ＭＯＳトランジスタ１５３により生成された信号が信号線１０２に出力される。
　その後、ＲＳＴからオン信号が入力されてＭＯＳトランジスタ１５２が導通すると、電荷保持部１５１にＶｄｄが印加されて、保持されていた電荷が排出される。
　電荷転送部１１３、１２２、１３３および１４２のソースは電荷保持部１５１に共通に接続されている。このため、これらを制御するＴＲ１乃至ＴＲ４を制御することにより画素１１０、１２０、１３０および１４０のうちの所望の画素において生成された電荷に基づく画像信号を生成して出力することができる。
　上述のように各画素の動作は、それぞれ変わるところがない。しかし、光電変換部（光電変換部１１１、１２１、１３１および１４１）の特性を変更することにより、各画素を可視光画素または赤外光画素として使用することができる。具体的には、各画素に配置されるカラーフィルタを変更することにより、光電変換部の特性を変更することができる。このカラーフィルタは、光電変換部に入射する光を選択するフィルタである。可視光のみを透過させるカラーフィルタを配置することにより、光電変換部を可視光に対応する光電変換部である可視光変換部にすることができ、当該可視光変換部を有する画素を可視光画素にすることができる。一方、赤外光のみを透過させるカラーフィルタを配置した場合には、光電変換部を赤外光に対応する光電変換部である赤外光変換部にすることができ、当該赤外光変換部を有する画素を赤外光画素にすることができる。カラーフィルタの配置の詳細については、後述する。
　ここで、１個の電荷保持部とこの電荷保持部に共通に接続された複数の光電変換部との組合せを変換ブロックと称する。同図においては、電荷保持部１５１および４個の光電変換部（光電変換部１１１、１２１、１３１および１４１）により変換ブロックが構成される例を表した。この変換ブロックのうち、複数の可視光変換部により構成される変換ブロックを可視光変換ブロックと称する。また、複数の赤外光変換部からなる変換ブロックを赤外光変換ブロックと称する。さらに、可視光変換ブロックにおける電荷保持部を可視光電荷保持部と称し、赤外光変換ブロックにおける電荷保持部を赤外光電荷保持部と称する。後述するように、可視光電荷保持部は、複数の可視光変換部によりそれぞれ生成された電荷をそれぞれ異なる期間に排他的に保持する。これに対し、赤外光電荷保持部は、複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する。この赤外光電荷保持部に保持された電荷に応じた信号を生成する信号生成部１５０を赤外光信号生成部と称する。
　［画素の配置］
　図４は、本技術の第１の実施の形態における画素の配置例を示す図である。同図は、４つの変換ブロックの配置を表した平面図である。また、同図の左上の変換ブロックを図３において説明した画素等に対応させて説明する。ただし、オーバーフロードレイン１１２、１２３、１３２、１４３については、記載を省略している。同図に表したように、画素１１０、１２０、１３０および１４０の中央に電荷保持部１５１が配置されている。この電荷保持部１５１に対して各画素の電荷転送部１１３、１２２、１３３および１４２がそれぞれ隣接して配置され、これらの電荷転送部に対して光電変換部１１１、１２１、１３１および１４１が隣接して配置されている。信号生成部１５０は、これらの変換ブロック毎に隣接して配置される。同図に表した光電変換部１１１、１２１、１３１および１４１に対して被写体からの光が照射されると、光電変換が行われる。すなわち、光電変換部１１１等のうち、同図に示された領域が可視光等を受光する受光面に該当する。
　また、画素にはそれぞれカラーフィルタ１１９、１２９、１３９および１４９が配置されている。各画素に記載されたＲ、Ｇ、ＢおよびＺの文字はカラーフィルタの種類を表している。ここで、Ｚの文字が記載された画素１２０および１４０のカラーフィルタ１２９および１４９は、赤外光を透過させるカラーフィルタである。このため、光電変換部１１１および１３１と同図の左下の変換ブロックにおける１６１、１７１、１８１および１９１とは可視光変換部に該当し、これらを有する画素１１０、１３０、１６０、１７０、１８０および１９０は可視光画素に該当する。一方、光電変換部１２１および１４１は赤外光変換部に該当し、これらを有する画素１２０および１４０は赤外光画素に該当する。同図より明らかなように、赤外光変換部の受光面は、可視光変換部の受光面と略等しいサイズである。
　さらに、同図における左上の変換ブロックは、２個の赤外光変換部（光電変換部１２１および１４１）と２個の可視光変換部（光電変換部１１１および１３１）と赤外光電荷保持部（電荷保持部１５１）とを備えており、赤外光変換ブロックに該当する。また、この変換ブロックに隣接して配置された信号生成部１５０は、赤外光電荷保持部（電荷保持部１５１）に保持された電荷に応じた信号を生成する赤外光信号生成部に該当する。同様に、同図における右上の変換ブロックも赤外光変換ブロックに該当する。一方、同図における左下の変換ブロックは、４個の可視光変換部（光電変換部１６１、１７１、１８１および１９１）と可視光電荷保持部（電荷保持部１５９）とを備えており、可視光変換ブロックに該当する。同様に、同図における右下の変換ブロックも可視光変換ブロックに該当する。この可視光変換ブロックは、Ｒ、ＧおよびＢ画素がベイヤー配列に構成されている。
　［画素の断面］
　図５は、本技術の第１の実施の形態における画素の構成例を示す模式図である。同図は、図４におけるＡ－Ａ'線に沿う断面図である。画素１１０および１４０を例に挙げて説明する。同図の光電変換部１１１および１４１は、ｐ型半導体領域５１７と、その内部に埋め込まれたｎ型半導体領域５１１および５１２によりそれぞれ構成される。これらの界面に形成されたｐｎ接合部分において光電変換が行われ、受光量に応じた電荷が生成される。この際、生成された電荷のうち電子は、ｎ型半導体領域５１１および５１２に蓄積される。光電変換部の上方にはカラーフィルタ１１９または１４９と平坦化膜５０３とマイクロレンズ５０１とが順に配置されている。平坦化膜５０３は、画素の表面を平坦にするものである。マイクロレンズ５０１は、画素に照射された光を光電変換部に集光させるレンズである。カラーフィルタ１１９および１４９の間には遮光膜５０２が配置されている。この遮光膜５０２は、隣接する画素から斜めに入射する光を遮光するものである。
　また、ｐ型半導体領域５１７における画素の間には、分離領域５１３が配置されている。この分離領域５１３は、画素同士を分離するとともに、隣接する画素から斜めに入射する光を遮光する領域である。画素１１０および画素１４０の中間部分に電荷保持部１５１が配置されている。この電荷保持部１５１は、ｎ型半導体領域５１４により構成される。このｎ型半導体領域５１４は、フローティングディフュージョン（ＦＤ）と称され、信号生成部１５０（不図示）が接続される領域である。同図に表したように、電荷保持部１５１は分離領域５１３の直下に配置されているため、分離領域５１３により遮光される。この電荷保持部１５１と光電変換部１１１および１４１との間に電荷転送部１１３および１４２が配置されている。これら電荷転送部１１３および１４２には、ゲート電極５１５および５１６がそれぞれ配置されている。これらのゲート電極にオン電圧が印加されると、光電変換部１１１または１４１と電荷保持部１５１との間のｐ型半導体領域５１７が導通し、電荷転送部１１３および１４２が導通状態になる。
　ｐ型半導体領域５１７の下方には層間絶縁層５１９と配線層５１８とが配置されている。配線層５１８は、画素１１０および１４０の信号を伝達するものであり、図３において説明した信号線１０１および１０２を構成するものである。層間絶縁層５１９は、配線層５１８相互の絶縁を行うものである。
　このように、同図の電荷保持部１５１は、分離領域５１３により遮光されるため、暗電流が低減される。
　［距離の計測の原理］
　図６は、本技術の第１の実施の形態における距離の計測方法を示す図である。同図の出射赤外光は、赤外光出射部６０により出射された赤外光の波形を表している。また、反射赤外光は、出射赤外光が被写体により反射されて固体撮像装置２０に入射した赤外光の波形を表している。固体撮像装置２０のＺ画素は、この反射赤外光を受光して赤外光信号に変換し、露光を行う。この際、２個のＺ画素を使用してそれぞれ異なる露光期間を設定し赤外光信号を生成する。第１の露光期間および第２の露光期間は、この２個のＺ画素に設定された露光期間の関係を表したものであり、２値化された波形の値「１」の期間が露光期間に該当する。
　同図に表したように、出射赤外光は、５０％デューティにパルス幅変調されて赤外光出射部６０から出射される。これに対し、反射赤外光は、出射赤外光に対して位相が遅れた波形となる。同図のＤはこの位相の遅れを表している。これは、出射された赤外光が被写体により反射して固体撮像装置２０に到達するまでの時間に相当する。この時間を計測することにより被写体までの距離を算出することができる。
　同図の第１の露光期間は、出射赤外光と同期した露光期間が設定されている。一方、第２の露光期間は、出射赤外光と１８０°位相がずれた露光期間が設定されている。第１の露光期間では、同図の期間７０１において反射光の光電変換が行われる。第２の露光期間では、同図の期間７０２において反射光の光電変換が行われる。これら期間７０１および７０２の比率は、位相遅れに基づいて変化する。すなわち、位相遅れＤが大きくなる程、期間７０１は短くなり、期間７０２は長くなる。そこで、第１の露光期間および第２の露光期間においてＺ画素により生成された赤外光信号の比率を算出することにより位相遅れＤを算出することができる。
　ここで、第１および第２の露光期間が設定されたＺ画素の赤外光信号をそれぞれＳ１およびＳ２、出射赤外光の周期をＴとすると、Ｄは次式により算出することができる。
　　Ｄ＝Ｓ２×（Ｓ１＋Ｓ２）×Ｔ／２
被写体までの距離Ｌは、次式により算出することができる。
　　Ｌ＝Ｄ×ｃ／２　　・・・（式１）
ただし、ｃは光速である。例えば、被写体との距離が１０ｍの場合には、Ｄは約３３ｎｓとなる。この場合、Ｔを例えば、１００ｎｓ（出射赤外光の変調周波数は１０ＭＨｚ）にすることにより距離を計測することができる。これら赤外光出射部６０に対するパルス変調された赤外光の出力の制御および距離の算出は、図１において説明した距離計測部５０により行われる。
　このように２個のＺ画素を用いることにより被写体との距離を算出することができる。なお、反射赤外光は、伝播の過程で減衰するため、赤外光の出射を繰返し行うとともに、Ｚ画素により生成された電荷の蓄積を行い、赤外光信号のレベルを高める必要がある。
　［固体撮像装置の動作］
　図７は、本技術の第１の実施の形態における赤外光変換ブロックを例示する図である。同図の画素の配置は、図４において説明した画素の配置と同様である。同図の上側２つの赤外光変換ブロック６２０および６３０に配置されたＺ画素（Ｚａ、Ｚｂ、ＺｃおよびＺｄ）からなる画素群６６０により距離の計測が行われる。ＺａおよびＺｃとＺｂおよびＺｄとは異なる赤外光変換ブロックに属しており、それぞれ異なる赤外光電荷保持部６２１および６３１に接続されている。図６において説明した第１の露光期間および第２の露光期間をＺａおよびＺｃとＺｂおよびＺｄとに適用し、距離の計測を行う。一方、同図の可視光変換ブロック６１０は、可視光電荷保持部６１１を備えている。この、可視光変換ブロック６１０は、可視光による撮像の用に供される。
　図８は、本技術の第１の実施の形態における撮像期間および距離計測期間の関係を示す図である。同図に表したように、固体撮像装置２０は、被写体の画像信号を生成する撮像の後に、被写体との距離の計測を行う。これらが行われる期間である撮像期間および距離計測期間が交互に繰り返される。撮像期間では、可視光画素においてリセット、露光および信号出力が第１のラインから順に実行される。ここで、リセットとは、光電変換部に蓄積された電荷を排出することである。１ラインに含まれる全ての画素に対してリセットが行われ、露光が開始される。所定の露光期間の経過後に、光電変換により生成された電荷に基づく画像信号が生成されて出力される。これにより、当該ラインにおける露光が終了する。これらを全てのラインに対して行うことにより、１画面分の画像信号であるフレームを得ることができる。その後、距離計測期間に移行する。
　距離計測期間では、赤外光画素においてリセット、露光および信号出力が第１のラインから順に実行される。この際、距離計測のための赤外光信号が生成されて出力される。
　［撮像方法］
　図９は、本技術の第１の実施の形態における撮像方法を示す図である。同図は可視光変換ブロック６１０における撮像方法を表した図であり、同図には入力信号と出力信号の関係が表されている。同図に記載された信号は、図３において説明した信号に対応する。このうち入力信号では、２値化された波形の値「１」の期間がオン信号の入力に該当する。また、可視光電荷保持部６１１以外の構成要素（電荷転送部やオーバーフロードレイン等）の符号は、図３において説明した構成要素と同じ符号を使用して説明する。
　まず、ＯＦＤ１乃至ＯＦＤ４にオン信号を入力してオーバーフロードレイン１１２、１２３、１３２および１４３を導通させる（Ｔ１）。これにより、光電変換部１１１、１２１、１３１および１４１に蓄積された電荷が排出されて、リセットが実行される。リセット終了後に、ＯＦＤ１乃至ＯＦＤ４へのオン信号の入力を停止して、オーバーフロードレイン１１２、１２３、１３２および１４３を非導通にする（Ｔ２）。これにより、光電変換部１１１、１２１、１３１および１４１には、新たに光電変換による電荷が生成されて蓄積される。すなわち、露光が開始される。
　所定の露光期間の経過後に、ＲＳＴにオン信号を入力して、信号生成部１５０のＭＯＳトランジスタ１５２を導通させる（Ｔ３）。これにより、可視光電荷保持部６１１の電荷が排出される。同時にＳＥＬにオン信号を入力して、信号生成部１５０のＭＯＳトランジスタ１５４を導通させる。これにより、以降の動作において、可視光電荷保持部６１１に電荷が転送されて保持された際に、この電荷に基づく可視光信号が信号線１０２に出力される。
　次に、ＲＳＴのオン信号の入力を停止して、ＭＯＳトランジスタ１５２を非導通にするとともに、ＴＲ１にオン信号を入力して画素１１０の電荷転送部１１３を導通させる（Ｔ４）。これにより、光電変換部１１１に蓄積された電荷が可視光電荷保持部６１１に転送される。また、信号線１０２には、この可視光電荷保持部６１１に転送された電荷に基づく信号「Ｇ」が出力される。これは、画素１１０における可視光信号（緑色光に対応する画像信号）に該当する。この光電変換部１１１に蓄積された電荷の可視光電荷保持部６１１への転送により画素１１０における露光期間は停止し、図８において説明した信号出力に移行する。
　次に、ＴＲ１へのオン信号の入力を停止するとともに、ＲＳＴにオン信号を入力する（Ｔ５）。これにより、可視光電荷保持部６１１に保持された電荷が排出され、画素１１０における信号出力が終了する。
　次に、ＲＳＴへのオン信号の入力を停止するとともに、ＴＲ２にオン信号を入力して画素１２０の電荷転送部１２２を導通させる（Ｔ６）。これにより、光電変換部１２１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｂ」が出力される。これは、画素１２０における可視光信号（青色光に対応する画像信号）に該当する。その後、ＴＲ２へのオン信号の入力を停止するとともに、ＲＳＴにオン信号を入力する（Ｔ７）。これにより、可視光電荷保持部６１１の電荷が排出され、画素１２０における信号出力が終了する。
　次に、ＲＳＴのオン信号の入力を停止し、ＴＲ３にオン信号を入力して画素１３０の電荷転送部１３３を導通させる（Ｔ８）。これにより、光電変換部１３１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｒ」が出力される。これは、画素１３０における可視光信号（赤色光に対応する画像信号）に該当する。その後、ＴＲ３へのオン信号の入力を停止するとともにＲＳＴにオン信号を入力する（Ｔ９）。これにより、可視光電荷保持部６１１の電荷が排出され、画素１３０における信号出力が終了する。
　次に、ＲＳＴのオン信号の入力を停止し、ＴＲ４にオン信号を入力して画素１４０の電荷転送部１４２を導通させる（Ｔ１０）。これにより、光電変換部１４１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｇ」が出力される。これは、画素１４０における可視光信号（緑色光に対応する画像信号）に該当する。その後、ＴＲ４およびＳＥＬへのオン信号の入力を停止する（Ｔ１１）。これにより、画素１４０における信号出力が終了する。
　図９において説明した処理を全てのラインについて行うと、１画面の撮像期間が終了する。このように、可視光変換ブロック６１０では、４個の光電変換部１１１、１２１、１３１および１４１によりそれぞれ生成された電荷がそれぞれ異なる期間（Ｔ４、Ｔ６、Ｔ８およびＴ１０）に排他的に可視光電荷保持部６１１に保持される。すなわち、複数の可視光変換部によりそれぞれ生成された電荷がそれぞれ異なる期間に排他的に可視光電荷保持部に保持される。
　［距離の計測］
　図１０は、本技術の第１の実施の形態における距離の計測方法を示す図である。同図は、画素群６６０における距離の計測方法を表した図である。同図には、画素群６６０のＺ画素における入力信号と、出射赤外光および反射赤外光と、赤外光電荷保持部６２１および６３１における保持電荷量との関係が表されている。なお、図７において説明した赤外光変換ブロック６２０および６３０の信号は、図３において説明した信号に対応する。すなわち、画素群６６０のＺ画素のうち、ＺａおよびＺｃの信号は、図３における画素１２０および１４０の信号にそれぞれ対応する。同様に、ＺｂおよびＺｄの信号は、図３における画素１１０および１３０の信号にそれぞれ対応する。赤外光電荷保持部６２１および６３１以外の構成要素の符号には、図３において説明した構成要素と同じ符号を用いて説明する。
　まず、赤外光変換ブロック６２０および６３０のＲＳＴにオン信号を入力してＭＯＳトランジスタ１５２を導通させる。同時に、赤外光変換ブロック６２０のＯＦＤ２およびＯＦＤ４と、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３とにオン信号を入力してオーバーフロードレイン１２３、１４３、１１２および１３２を導通させる（Ｔ１）。これにより、赤外光電荷保持部６２１および６３１に保持された電荷が排出される。また、赤外光変換ブロック６２０の光電変換部１２１および１４１と、赤外光変換ブロック６３０の光電変換部１１１および１３１とに蓄積された電荷が排出されてリセットが行われる。リセット終了後、上述のＲＳＴおよびＯＦＤへのオン信号の入力が停止される（Ｔ２）。
　次に、赤外光出射部６０から赤外光を出射させるとともに、赤外光変換ブロック６２０のＴＲ２およびＴＲ４にオン信号を入力し、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３にオン信号を入力する（Ｔ３）。これにより、赤外光変換ブロック６２０では、電荷転送部１２２および１４２が導通し、光電変換部１２１および１４１において反射赤外光に基づいて生成された電荷が赤外光電荷保持部６２１に保持される。一方、赤外光変換ブロック６３０では、オーバーフロードレイン１１２および１３２が導通し、光電変換部１１１および１３１がリセットされる。
　次に、赤外光出射部６０における赤外光の出射を停止させるとともに、赤外光変換ブロック６２０のＴＲ２およびＴＲ４と、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３とにおけるオン信号の入力を停止する。同時に、赤外光変換ブロック６２０のＯＦＤ１およびＯＦＤ３と、赤外光変換ブロック６３０のＴＲ２およびＴＲ４とにオン信号を入力する（Ｔ４）。これにより、赤外光変換ブロック６２０では、オーバーフロードレイン１２３および１４３が導通し、光電変換部１２１および１４１がリセットされる。一方、赤外光変換ブロック６３０では、電荷転送部１１３および１３３が導通し、光電変換部１１１および１３１において反射赤外光に基づいて生成された電荷が赤外光電荷保持部６３１に保持される。
　次に、赤外光変換ブロック６２０のＯＦＤ１およびＯＦＤ３と、赤外光変換ブロック６３０のＴＲ２およびＴＲ４とにおけるオン信号の入力を停止する（Ｔ５）。以後、Ｔ３およびＴ４の操作を所定の回数繰り返す。これにより、赤外光電荷保持部６２１および６３１には、反射赤外光に基づく電荷が蓄積されていく。
　次に、赤外光変換ブロック６２０および６３０のＳＥＬにオン信号を入力する（Ｔ６）。これより、赤外光変換ブロック６２０および６３０のＭＯＳトランジスタ１５４が導通し、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号がそれぞれ出力される。その後、赤外光変換ブロック６２０および６３０のＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ７）。
　上述のように、赤外光変換ブロック６２０のＺａおよびＺｃでは、出射赤外光に同期した光電変換が行われる。すなわち、図６において説明した第１の露光期間がＺａおよびＺｃに設定される。一方、赤外光変換ブロック６３０のＺｂおよびＺｄでは、出射赤外光に対して１８０°位相がずれた期間において光電変換が行われる。すなわち、図６において説明した第２の露光期間がＺｂおよびＺｄに適用される。これらＺ画素からの赤外光信号に基づいて、距離計測部５０が被写体との距離を算出する。
　このように、赤外光変換ブロック６２０では、電荷転送部１２２および１４２が同時に導通状態になり、２個の光電変換部１２１および１４１によりそれぞれ生成された電荷がまとめて同時（Ｔ３）に赤外光電荷保持部６２１に保持される。同様に、赤外光変換ブロック６３０では、電荷転送部１１３および１３３が同時に導通状態になり、２個の光電変換部１１１および１３１によりそれぞれ生成された電荷がまとめて同時（Ｔ４）に赤外光電荷保持部６３１に保持される。すなわち、複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に赤外光電荷保持部に保持される。なお、電荷転送部１２２および１４２は、特許請求の範囲に記載の赤外光電荷転送部の一例である。
　一方、赤外光変換ブロック６２０のＧ画素およびＲ画素は、図９において説明した撮像方法が適用されて、可視光信号が生成される。すなわち、これらの画素に含まれる可視光変換部によりそれぞれ生成された電荷は、それぞれ異なる期間に排他的に赤外光電荷保持部６２１に保持される。これは、赤外光変換ブロック６３０のＢ画素およびＧ画素においても同様である。
　［距離の計測手順］
　図１１は、本技術の第１の実施の形態における距離の計測処理手順の一例を示す図である。同図の処理は、撮像システム１において、距離の計測を行う際に実行される。図７において説明した符号を用いて処理の手順を説明する。
　まず、赤外光出射部６０が被写体に対して赤外光を出射する（ステップＳ９０１）。次に、第１の露光期間が設定された赤外光変換ブロック６２０により、赤外光の露光が行われる（ステップＳ９０２）。所定の露光期間の経過後、この露光により生成された電荷が赤外光電荷保持部６２１に保持され（ステップＳ９０３）、赤外光出射部６０による赤外光の出射が停止される（ステップＳ９０４）。次に、第２の露光期間が設定された赤外光変換ブロック６３０により、赤外光の露光が行われ（ステップＳ９０５）、生成された電荷が赤外光電荷保持部６３１に保持される（ステップＳ９０６）。次に、所定の露光回数に達したか否かが判断される（ステップＳ９０７）。所定の露光回数に達していない場合には（ステップＳ９０７：Ｎｏ）、ステップＳ９０１からの処理を再度実行する。
　一方、所定の露光回数に達していた場合には（ステップＳ９０７：Ｙｅｓ）、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号が生成される（ステップＳ９０８）。最後に、距離計測部５０が生成された赤外光信号に基づいて距離の算出を行う（ステップＳ９０９）。
　本技術の第１の実施の形態では、図７において説明したように、画素群６６０のＺａおよびＺｃとＺｂおよびＺｄとに、それぞれ第１の露光期間および第２の露光期間が設定されて露光が行われる。これにより、第１の露光期間および第２の露光期間に基づく赤外光信号を同時に取得することができ、距離計測期間を短縮することができる。また、可視光画素における可視光変換部の受光面と同じサイズの受光面を有する２個の赤外光変換部を見かけ上並列に接続して使用し、光電変換を行うことにより、赤外光変換部の感度を高くすることができる。光電変換部の感度、すなわち単位時間当たりの電荷生成量は、光電変換部の受光面積に比例するためである。
　可視光変換部の２倍の面積の赤外光変換部を構成しても感度を高めることは可能である。しかし、大面積の光電変換部では、電荷転送部による電荷の転送に要する時間が長くなるという問題がある。図５において説明した光電変換部１４１のｎ型半導体領域５１２において、蓄積された電荷の移動は、主に電荷の拡散によりなされるためである。これに対し、本技術の第１の実施の形態では、上述のように、可視光画素における可視光変換部の受光面と同じサイズの受光面を有する赤外光変換部を２個使用しており、電荷の転送に要する時間を可視光変換部と同じにすることができる。
　また、図７の赤外光変換ブロック６２０と６３０とは隣接して配置されている。そのため、これらの赤外光変換ブロックにより生成された赤外光信号は、同一の被写体に基づく赤外光信号とみなすことができる。赤外光変換ブロック６２０および６３０が離れて配置された場合と比べ、距離の計測の精度を向上させることができる。
　また、可視光変換ブロックは、４個の可視光画素により構成されるとともにベイヤー配列に構成されている。これに対し、本技術の第１の実施の形態における画素群６６０も４個のＺ画素により構成されている。これにより、画素アレイ部１００に対するＺ画素の配置を容易にすることができる。画素アレイ部１００の可視光画素を赤外光画素に置き換えることにより、固体撮像装置２０は構成される。この際、可視光変換ブロックとＺ画素の画素群６６０とが同数であることから、画素アレイ部１００全体に対するＲ画素、Ｇ画素およびＢ画素の比率を変更することなく、置き換えることができるためである。
　さらに、本技術の第１の実施の形態では、Ｚ画素と可視光画素とを略等しい大きさにしている。これにより、カラーフィルタの構成を除いて、Ｚ画素と可視光画素とは半導体基板における拡散層の構成や配線パターン等を共用することができるため、同一の設計ルールに基づいて製造することができる。
　このように、本技術の第１の実施の形態によれば、可視光画素と略等しい大きさの２個のＺ画素を並列に使用することにより、Ｚ画素の感度を向上させることができる。これにより、距離計測の精度を向上させることができる。
　［変形例］
　上述の実施の形態では、可視光画素としてＲ画素、Ｇ画素およびＢ画素の３画素により、可視光変換ブロックを構成していたが、白色光に対応するＷ画素を加えた４画素により構成してもよい。例えば、ベイヤー配列における２個のＧ画素のうちの１個の画素をＷ画素に置き換えた構成にすることができる。
　図１２は、本技術の第１の実施の形態の変形例における可視光変換ブロックを例示する図である。同図においてＷの文字が記載された画素がＷ画素に該当し、当該画素には白色光を透過させるカラーフィルタが配置されている。同図においても、可視光変換ブロック６１１とＺ画素の画素群６６０とが同数になり、画素アレイ部１００全体に対するＲ画素、Ｇ画素、Ｂ画素およびＷ画素の比率を変更することなく、可視光画素を赤外光画素に置き換えることができる。
　＜第２の実施の形態＞
　上述の実施の形態では、２個のＺ画素と２個の可視光画素とにより構成された赤外光変換ブロックを使用して距離の計測を行っていた。これに対し、本技術の第２の実施の形態では、４個のＺ画素により構成された赤外光変換ブロックにより距離の計測を行う。これにより、Ｚ画素に接続する信号線の本数を削減することができる。
　［固体撮像装置の動作］
　図１３は、本技術の第２の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０は、全ての画素がＺ画素により構成されている点で、図７において説明した赤外光変換ブロック６２０と異なる。すなわち、図７におけるＺ画素による画素群６６０と赤外光変換ブロック６２０の画素とが一致した構成となっている。このため、同図の赤外光変換ブロック６２０のＺ画素では、電荷転送部やオーバーフロードレインを４画素同時に動作させることができる。４個のＺ画素を使用して赤外光信号を生成するため、Ｚ画素の感度を高めることができ、距離計測の精度を向上させることができる。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
　図１４は、本技術の第２の実施の形態における撮像期間および距離計測期間の関係を示す図である。本技術の第２の実施の形態では、撮像期間の後に２度の距離計測期間である第１の距離計測期間および第２の距離計測期間が実行される点で、図８において説明した距離計測期間と異なる。
　［撮像方法］
　図１５は、本技術の第２の実施の形態における撮像方法を示す図である。前述のように赤外光変換ブロック６２０の全てのＺ画素の電荷転送部およびオーバーフロードレインに対して同じ信号が入力される。同図の第１の距離計測期間および第２の距離計測期間の操作はそれぞれ図１０において説明した赤外光変換ブロック６２０および６３０における操作と同様であるため、説明を省略する。
　このように、本技術の第２の実施の形態によれば、４個のＺ画素により構成された赤外光変換ブロックにより距離の計測を行うことにより、Ｚ画素に供給する信号を共通にすることができる。これにより、信号線の本数を削減することができる。
　＜第３の実施の形態＞
　上述の第１の実施の形態では、２個のＺ画素と２個の可視光変換画素とにより構成された赤外光変換ブロックを使用して距離の計測を行っていた。これに対し、本技術の第３の実施の形態では、１個のＺ画素と３個の可視光変換画素とにより構成された赤外光変換ブロックにより距離の計測を行う。これにより、反射赤外光の露光を４相に分けて行う方式の距離計測方法を使用することができる。
　［固体撮像装置の動作］
　図１６は、本技術の第３の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０、６３０、６４０および６５０は、１個のＺ画素と３個の可視光変換画素とにより構成されている点で、図７において説明した赤外光変換ブロック６２０および６３０と異なる。また、同図におけるＺ画素による画素群６６０は、これら４個の赤外光変換ブロックにまたがって配置されるとともに、２つのラインにまたがって配置される。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
　［距離の計測の原理］
　図１７は、本技術の第３の実施の形態における距離の計測方法を示す図である。同図に表した距離の計測方法では、正弦波により振幅変調された赤外光を出射し、反射赤外光の位相遅れを計測することにより、距離を計測する。同図におけるａは、これら出射赤外光および反射赤外光の関係を表したものである。出射赤外光を同図におけるａの正のｘ軸方向に取ると、反射赤外光は被写体との距離に応じて遅れた位相の波形となる。この遅れをφにより表すと、φは次式により表される。
　　φ＝ｔａｎ－１（ｑ／ｒ）
ただし、ｑは反射波の波高値を表し、ｒは９０°進み位相における反射波の波高値を表している。
　同図におけるｂは、これらｑおよびｒの取得方法を表したものである。出射赤外光の１周期における９０°の位相ごとに反射赤外光の波高値を計測する。これらをｐ１乃至４により表すと、ｑおよびｒは次式により表される。
　　ｑ＝｜（ｐ１－ｐ３）／２｜
　　ｒ＝｜（ｐ２－ｐ４）／２｜
このように、ｐ１およびｐ３と、ｐ２およびｐ４とにおいてそれぞれの差分を算出することにより、反射赤外光以外の赤外光の影響を除去することができる。φは次式により算出することができる。
　　φ＝ｔａｎ－１｜（ｐ１－ｐ３）／（ｐ２－ｐ４）｜
図６において説明したＤは、次のように算出することができる。
　　Ｄ＝Ｔ×φ／２π
　次に、式１を用いて被写体までの距離Ｌを算出する。ここで、ｐ１乃至４は、出射赤外光の１周期に対して９０°毎に区切って露光を行い、生成された電荷を蓄積して赤外光信号に変換することにより取得することができる。同図におけるｂには、これらを第１乃至第４の露光期間として表している。
　上述のように、同図に表した距離の計測方法では、４個のＺ画素を用い、差分を算出して距離の計測を行うため、反射赤外光以外の赤外光の影響を除去することができる。このため、図６において説明した距離の計測方法と比較して、精度の高い計測を行うことができる。
　［撮像方法］
　図１８は、本技術の第３の実施の形態における撮像方法を示す図である。同図のＺａ、Ｚｂ、ＺｃおよびＺｄのそれぞれに、図１７において説明した第１乃至第４の露光期間が設定された場合を想定する。まず、赤外光変換ブロック６２０、６３０、６４０および６５０のＲＳＴにオン信号を入力し、赤外光電荷保持部６２１、６３１、６４１および６５１に保持されていた電荷を排出する（Ｔ１）。なお、以降の説明では、赤外光変換ブロックの名称を省略して記載する。
　このＲＳＴへの信号入力と同時に、ＯＦＤ４、ＯＦＤ３、ＯＦＤ２およびＯＦＤ１にオン信号を入力し、光電変換部１１１、１２１、１３１および１４１をリセットする。リセット終了後にＲＳＴ、ＯＦＤ１乃至４へのオン信号の入力を停止する（Ｔ２）。
　次に、赤外光の出射を開始し、ＴＲ４、ＯＦＤ３、ＯＦＤ２およびＯＦＤ１にオン信号を入力する（Ｔ３）。これにより、画素１４０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６２１に蓄積される。
　次に、ＴＲ４およびＯＦＤ３へのオン信号の入力を停止するとともに、ＴＲ３、ＯＦＤ４、ＯＦＤ２およびＯＦＤ１にオン信号を入力する（Ｔ４）。これにより、画素１３０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６３１に蓄積される。
　次に、ＴＲ３およびＯＦＤ２へのオン信号の入力を停止するとともに、ＴＲ２、ＯＦＤ４、ＯＦＤ３およびＯＦＤ１にオン信号を入力する（Ｔ５）。これにより、画素１２０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６４１に蓄積される。
　次に、ＴＲ２およびＯＦＤ１へのオン信号の入力を停止するとともに、ＴＲ１、ＯＦＤ４、ＯＦＤ３およびＯＦＤ２にオン信号を入力する（Ｔ６）。これにより、画素１１０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６５１に蓄積される。
　次に、ＴＲ１およびＯＦＤ４へのオン信号の入力を停止する（Ｔ７）。以後、Ｔ３乃至Ｔ６の動作を所定の回数繰り返す。これにより、赤外光電荷保持部６２１、６３１、６４１および６５１には、反射赤外光に基づく電荷が蓄積されていく。
　次に、赤外光変換ブロック６２０および６３０のＳＥＬにオン信号を入力する（Ｔ８）。これにより、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号が生成される。次に、赤外光変換ブロック６２０および６３０のＳＥＬへのオン信号の入力を停止するとともに、赤外光変換ブロック６４０および６５０のＳＥＬにオン信号を入力する（Ｔ９）。これにより、赤外光電荷保持部６４１および６５１に保持された電荷に基づく赤外光信号が生成される。図１６において説明したように、Ｚ画素による画素群６６０は２つのラインにまたがって配置されているため、ＳＥＬの信号を１ライン毎に入力して赤外光信号を取得する必要がある。その後、赤外光変換ブロック６４０および６５０のＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ１０）。
　上述の赤外光電荷保持部６２１、６３１、６４１および６５１に保持された電荷に基づく赤外光信号を取得することにより、９０°位相をずらした赤外光信号を得ることができる。これらの赤外光信号に基づいて距離計測部５０が被写体との距離を算出する。
　このように、本技術の第３の実施の形態によれば、反射赤外光の露光を４相に分けて行う方式の距離計測方法を使用することができる。これにより、反射赤外光以外の赤外光の影響を除去することが可能になり、距離計測の精度を向上させることができる。
　＜第４の実施の形態＞
　上述の第３の実施の形態では、画素群６６０のＺ画素が隣接して配置されていた。これに対し、本技術の第４の実施の形態では、赤外光変換ブロックにおけるベイヤー配列のうちのＧ画素の位置にＺ画素が配置される。これにより、デモザイク処理を容易にすることができる。
　［固体撮像装置の動作］
　図１９は、本技術の第４の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０、６３０、６４０および６５０は、１個のＺ画素と３個の可視光変換画素により構成されている。しかし、Ｚ画素がそれぞれの光電変換ブロックのベイヤー配列におけるＧ画素の位置に配置されている点で、図１６において説明した赤外光変換ブロック６２０、６３０、６４０および６５０と異なる。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第３の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。また、距離計測方法には、本技術の第３の実施の形態と同様に反射赤外光の露光を４相に分けて行う方式の距離計測方法を採用することができる。
　前述のように、画像処理部４０では、固体撮像装置２０から出力された可視光信号に対するデモザイク処理が行うことができる。このデモザイク処理は、各画素における不足する色の信号を補間する処理であり、Ｚ画素に適用する際には、赤色光、緑色光および青色光の３つに対応する信号を補間する必要がある。この補間は、該当する色に対応する可視光画素のうち、Ｚ画素の周囲に配置された可視光画素により出力された可視光信号の平均値を算出することにより行うことができる。しかし、Ｚ画素における緑色光に対応する可視光信号については、同じ赤外光変換ブロックに含まれるＧ画素の信号を用いて補間を行うことができる。これにより、緑色光に対応する可視光信号のデモザイク処理を簡略化することができる。
　このように、本技術の第４の実施の形態によれば、ベイヤー配列におけるＧ画素の位置にＺ画素を配置することにより、デモザイクの際に同じ赤外光変換ブロックに含まれるＧ画素の可視光信号を用いて補間することができる。これにより、可視光信号のデモザイク処理を簡略化することができる。
　＜５．第５の実施の形態＞
　上述の、本技術の第４の実施の形態では、Ｚ画素において生成された電荷は、１組の電荷転送部および電荷保持部により転送され、保持されていた。これに対し、本技術の第５の実施の形態では、２組の電荷転送部および電荷保持部を使用する。これにより、距離計測の精度を高めることができる。
　［画素の配置］
　図２０は、本技術の第５の実施の形態における画素の配置例を示す図である。同図のＺ画素（Ｚａ）である画素１４０は、電荷転送部１４４および電荷保持部１５５をさらに備える点で、図４において説明したＺ画素１４０と異なる。なお、同図に表された他のＺ画素（Ｚｂ、ＺｃおよびＺｄ）についても同様である。
　［画素の回路構成］
　図２１は、本技術の第５の実施の形態における画素の構成例を示す図である。同図は、赤外光変換ブロックのうち、Ｚ画素１４０、信号生成部１５０ならびに電荷保持部１５１および１５５の回路構成を表したものである。
　同図の画素１４０は、オーバーフロードレイン１４３を備える必要はない。代わりに電荷転送部１４４をさらに備える。また、信号線１０１は、ＯＦＤ４の代わりにＴＲ５を備えている。このＴＲ５（Transfer 5）は、電荷転送部１４４に制御信号を伝達する信号線である。同図に表したように、光電変換部１４１のアノードは接地され、カソードは電荷転送部１４２および１４４のソースに接続される。電荷転送部１４２および１４４のゲートは、それぞれＴＲ４および５に接続される。電荷転送部１４２のドレインは、図３で説明した画素１４０と同様に電荷保持部１５１の一端に接続される。一方、電荷転送部１４４のドレインは、電荷保持部１５５の一端に接続される。
　信号生成部１５０は、ＭＯＳトランジスタ１５６乃至１５８をさらに備える点で、図３において説明した信号生成部１５０と異なる。同図に表したように、ＭＯＳトランジスタ１５６および１５７のドレインは、Ｖｄｄに接続される。ＭＯＳトランジスタ１５６のソースおよびＭＯＳトランジスタ１５７のゲートは、前述の電荷転送部１４４のドレインが接続された電荷保持部１５５の一端に接続される。電荷保持部１５５の他の一端は、接地される。ＭＯＳトランジスタ１５７のソースはＭＯＳトランジスタ１５８のドレインに接続され、ＭＯＳトランジスタ１５８のソースは信号線１０２に接続される。同図に表したように、信号線１０２は、２本の信号線により構成され、それぞれＭＯＳトランジスタ１５４および１５８により出力された信号を伝達する。ＭＯＳトランジスタ１５６およびＭＯＳトランジスタ１５８のゲートは、それぞれ信号線ＲＳＴおよびＳＥＬに接続される。
　ＭＯＳトランジスタ１５７は、電荷保持部１５５に保持された電荷に応じた信号を生成するＭＯＳトランジスタである。ＭＯＳトランジスタ１５８は、ＭＯＳトランジスタ１５７により生成された信号を画像信号として信号線１０２に出力するＭＯＳトランジスタである。ＭＯＳトランジスタ１５６は、電荷保持部１５５に保持された電荷を排出するＭＯＳトランジスタである。
　このように、同図の画素１４０では、光電変換部１４１により生成された電荷を電荷保持部１５１および１５５に分けて転送することができる。これ以外の画素の構成は、図３において説明した画素等の構成と同様であるため、説明を省略する。また、本技術の第５の実施の形態における距離の計測方法には、図６において説明した距離の計測方法を使用することができる。これ以外の固体撮像装置２０および撮像システム１の構成は、本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
　［撮像方法］
　図２２は、本技術の第５の実施の形態における撮像方法を示す図である。同図は、図２０において説明した画素１４０における入力信号と出力信号との関係等を表したものである。
　まず、ＲＳＴ、ＴＲ４およびＴＲ５にオン信号を入力する（Ｔ１）。これにより、光電変換部１４１がリセットされ、電荷保持部１５１および１５５に保持された電荷が排出される。リセット終了後、上述のＲＳＴ、ＴＲ４およびＴＲ５へのオン信号の入力が停止される（Ｔ２）。
　次に、赤外光出射部６０から赤外光を出射させるとともに、ＴＲ４にオン信号を入力する（Ｔ３）。これにより、光電変換部１４１により生成された反射赤外光に基づく電荷が電荷保持部１５１に保持される。
　次に、赤外光出射部６０による赤外光の出射を停止させるとともに、ＴＲ４へのオン信号の入力を停止する。同時に、ＴＲ５にオン信号を入力する（Ｔ４）。これにより、光電変換部１４１により生成された反射赤外光に基づく電荷が電荷保持部１５５に保持される。
　以後、Ｔ３およびＴ４の操作を所定の回数繰り返す。これにより、電荷保持部１５１および１５５には、反射赤外光に基づく電荷が蓄積されていく。
　次に、ＳＥＬにオン信号を入力する（Ｔ６）。これにより、電荷保持部１５１および１５５に保持された電荷に基づく赤外光信号がそれぞれ出力される。その後、ＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ７）。出力された赤外光信号に基づいて、距離計測部５０により、距離が算出される。
　なお、赤外光の受光感度が不足する場合には、Ｚｂ、ＺｃおよびＺｄにおいても同様に赤外光信号を生成し、これらを加算して距離の算出に使用することも可能である。
　このように、電荷保持部１５１には、出射赤外光に同期した光電変換に基づく電荷が蓄積される。一方、電荷保持部１５５には、出射赤外光と１８０°位相がずれたタイミングで光電変換が行われ、電荷が蓄積される。すなわち、図６において説明した第１および第２の露光期間を１個の画素により実行することができる。このため、第１および第２の露光期間を異なる画素により実行する場合と比較して、光電変換における感度のばらつき等の影響を低減することができ、距離計測の精度を向上させることができる。また、光電変換部１４１により生成された電荷は、全て電荷保持部１５１および１５５に転送されるため、画素１４０は、オーバーフロードレインを設ける必要はない。
　このように、本技術の第５の実施の形態によれば、距離の計測に必要な２つの赤外光信号を１個の画素により生成することができる。これにより、光電変換における感度のばらつき等の影響を低減することができるため、距離計測の精度を向上させることができる。
　［変形例］
　上述の本技術の第５の実施の形態では、ベイヤー配列のうちのＧ画素の位置にＺ画素が配置される赤外光変換ブロックに対して、Ｚ画素の電荷転送部と電荷保持部とを追加して距離の計測を行っていた。これに対し、本技術の第１の実施の形態におけるＺ画素に電荷転送部と電荷保持部とをそれぞれ追加して距離の計測を行ってもよい。具体的には、図４において説明した画素１２０の光電変換部１２１および画素１４０の光電変換部１４１に電荷転送部を追加する。この追加した電荷転送部が共通に接続される電荷保持部をさらに備える構成にする。これにより、光電変換における感度のばらつき等の影響を低減することができるため、赤外光変換ブロックが２個の赤外光変換部と２個の可視光変換部とにより構成される場合において、距離計測の精度を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
　前記可視光変換部の前記受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと
を具備する固体撮像装置。
（２）前記可視光変換ブロックは、４個の前記可視光変換部と前記可視光電荷保持部とを備える前記（１）に記載の固体撮像装置。
（３）前記赤外光変換ブロックは、４個の前記赤外光変換部と前記赤外光電荷保持部とを備える前記（２）に記載の固体撮像装置。
（４）前記赤外光変換ブロックは、
　２個の前記赤外光変換部と、
　２個の前記可視光変換部と、
　前記２個の赤外光変換部により生成された前記電荷を保持する際には前記２個の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持し、前記２個の可視光変換部により生成された前記電荷を保持する際には前記２個の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する前記赤外光電荷保持部と
を備える
前記（２）に記載の固体撮像装置。
（５）前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部とがベイヤー配列形状に配置された前記４個の可視光変換部と前記可視光電荷保持部とを備える前記（２）から（４）のいずれかに記載の固体撮像装置。
（６）前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部と白色光に応じた前記電荷を生成する前記可視光変換部である白色光変換部と前記可視光電荷保持部とを備える前記（２）から（４）のいずれかに記載の固体撮像装置。
（７）前記赤外光変換ブロックは、前記複数の赤外光変換部と前記赤外光電荷保持部との間を同時に導通させて前記複数の赤外光変換部によりそれぞれ生成された前記電荷を前記赤外光電荷保持部に転送する赤外光電荷転送部をさらに備える前記（１）から（６）のいずれかに記載の固体撮像装置。
（８）前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部をさらに具備する前記（１）から（７）のいずれかに記載の固体撮像装置。
（９）被写体に赤外光を出射する赤外光出射部と、
　可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
　前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと、
　前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部と、
　前記赤外光出射部における前記出射から前記赤外光変換ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測部と
を具備する撮像システム。
（１０）被写体に赤外光を出射する赤外光出射手順と、
　可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックにおける前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックにおいて前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成手順と、
　前記赤外光の出射から前記赤外ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測手順と
を具備する距離計測方法。
　１　撮像システム
　１０　レンズ
　２０　固体撮像装置
　３０　信号処理部
　４０　画像処理部
　５０　距離計測部
　６０　赤外光出射部
　１００　画素アレイ部
　１１０、１２０、１３０、１４０、１６０、１７０、１８０、１９０　画素
　１１１、１２１、１３１、１４１、１６１、１７１、１８１、１９１　光電変換部
　１１２、１２３、１３２、１４３　オーバーフロードレイン
　１１３、１２２、１３３、１４２、１４４　電荷転送部
　１１９、１２９、１３９、１４９　カラーフィルタ
　１５０　信号生成部
　１５１、１５５、１５９　電荷保持部
　１５２～１５４、１５６～１５８　ＭＯＳトランジスタ
　２００　垂直駆動部
　３００　水平転送部
　４００　アナログデジタル変換器
　６１０　可視光変換ブロック
　６１１　可視光電荷保持部
　６２０、６３０、６４０、６５０　赤外光変換ブロック
　６２１、６３１、６４１、６５１　赤外光電荷保持部

Claims (10)

  1. 　可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
    　前記可視光変換部の前記受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと
    を具備する固体撮像装置。
  2. 　前記可視光変換ブロックは、４個の前記可視光変換部と前記可視光電荷保持部とを備える請求項１記載の固体撮像装置。
  3. 　前記赤外光変換ブロックは、４個の前記赤外光変換部と前記赤外光電荷保持部とを備える請求項２記載の固体撮像装置。
  4. 　前記赤外光変換ブロックは、
    　２個の前記赤外光変換部と、
    　２個の前記可視光変換部と、
    　前記２個の赤外光変換部により生成された前記電荷を保持する際には前記２個の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持し、前記２個の可視光変換部により生成された前記電荷を保持する際には前記２個の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する前記赤外光電荷保持部と
    を備える
    請求項２記載の固体撮像装置。
  5. 　前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部とがベイヤー配列形状に配置された前記４個の可視光変換部と前記可視光電荷保持部とを備える請求項２記載の固体撮像装置。
  6. 　前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部と白色光に応じた前記電荷を生成する前記可視光変換部である白色光変換部と前記可視光電荷保持部とを備える請求項２記載の固体撮像装置。
  7. 　前記赤外光変換ブロックは、前記複数の赤外光変換部と前記赤外光電荷保持部との間を同時に導通させて前記複数の赤外光変換部によりそれぞれ生成された前記電荷を前記赤外光電荷保持部に転送する赤外光電荷転送部をさらに備える請求項１記載の固体撮像装置。
  8. 　前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部をさらに具備する請求項１記載の固体撮像装置。
  9. 　被写体に赤外光を出射する赤外光出射部と、
    　可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
    　前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと、
    　前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部と、
    　前記赤外光出射部における前記出射から前記赤外光変換ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測部と
    を具備する撮像システム。
  10. 　被写体に赤外光を出射する赤外光出射手順と、
    　可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックにおける前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックにおいて前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成手順と、
    　前記赤外光の出射から前記赤外ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測手順と
    を具備する距離計測方法。
PCT/JP2016/056714 2015-04-14 2016-03-04 固体撮像装置、撮像システムおよび距離計測方法 WO2016167044A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017512227A JP6777074B2 (ja) 2015-04-14 2016-03-04 固体撮像装置、撮像システムおよび距離計測方法
US15/550,477 US11076115B2 (en) 2015-04-14 2016-03-04 Solid-state imaging apparatus, imaging system, and distance measurement method
CN201680010038.4A CN107210314B (zh) 2015-04-14 2016-03-04 固态成像装置、成像系统和测距方法
CN202111581390.2A CN114420712A (zh) 2015-04-14 2016-03-04 光检测装置
US16/715,653 US11128828B2 (en) 2015-04-14 2019-12-16 Solid-state imaging apparatus, imaging system, and distance measurement method
US17/403,519 US11818486B2 (en) 2015-04-14 2021-08-16 Solid-state imaging apparatus, imaging system, and distance measurement methods

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-082301 2015-04-14
JP2015082301 2015-04-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/550,477 A-371-Of-International US11076115B2 (en) 2015-04-14 2016-03-04 Solid-state imaging apparatus, imaging system, and distance measurement method
US16/715,653 Continuation US11128828B2 (en) 2015-04-14 2019-12-16 Solid-state imaging apparatus, imaging system, and distance measurement method

Publications (1)

Publication Number Publication Date
WO2016167044A1 true WO2016167044A1 (ja) 2016-10-20

Family

ID=57126762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056714 WO2016167044A1 (ja) 2015-04-14 2016-03-04 固体撮像装置、撮像システムおよび距離計測方法

Country Status (4)

Country Link
US (3) US11076115B2 (ja)
JP (2) JP6777074B2 (ja)
CN (2) CN114420712A (ja)
WO (1) WO2016167044A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117117A (ja) * 2017-01-19 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像素子、および、撮像装置
WO2018135320A1 (ja) * 2017-01-19 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像素子、および、撮像装置
WO2019031001A1 (ja) * 2017-08-09 2019-02-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子装置および固体撮像装置の制御方法
WO2019065291A1 (ja) * 2017-09-28 2019-04-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
JP2019161171A (ja) * 2018-03-16 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 受光素子および電子機器
JPWO2018110183A1 (ja) * 2016-12-14 2019-11-07 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
WO2020017341A1 (ja) * 2018-07-18 2020-01-23 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
WO2020017342A1 (ja) * 2018-07-18 2020-01-23 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
JP2020063970A (ja) * 2018-10-17 2020-04-23 パイオニア株式会社 投受光装置及び測距装置
WO2021235033A1 (ja) * 2020-05-20 2021-11-25 ソニーグループ株式会社 センシングシステム
US12123974B2 (en) 2018-07-18 2024-10-22 Sony Semiconductor Solutions Corporation Light-receiving element and distance-measuring module

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9729809B2 (en) * 2014-07-11 2017-08-08 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and driving method of semiconductor device or electronic device
US11076115B2 (en) 2015-04-14 2021-07-27 Sony Corporation Solid-state imaging apparatus, imaging system, and distance measurement method
JP7007088B2 (ja) * 2016-12-07 2022-01-24 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像素子および電子機器
WO2019054102A1 (ja) * 2017-09-14 2019-03-21 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
CN110739325A (zh) * 2018-07-18 2020-01-31 索尼半导体解决方案公司 受光元件以及测距模块
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法
US11435476B2 (en) * 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
CN110024374B (zh) 2019-02-27 2021-08-10 深圳市汇顶科技股份有限公司 成像系统及成像系统的像素阵列和图像传感器
US20220155454A1 (en) * 2019-03-22 2022-05-19 Sony Semiconductor Solutions Corporation Analysis portion, time-of-flight imaging device and method
JP7255513B2 (ja) * 2020-02-18 2023-04-11 株式会社デンソー 物体検出装置、受光部および物体検出装置の制御方法
KR102708675B1 (ko) * 2020-04-09 2024-09-24 에스케이하이닉스 주식회사 이미지 센싱 장치
US20240302709A1 (en) * 2021-02-01 2024-09-12 Northwestern University Wavelength converting natural vision system
CN118592037A (zh) 2022-01-28 2024-09-03 国立大学法人静冈大学 固体摄像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548973A (ja) * 1991-08-20 1993-02-26 Sanyo Electric Co Ltd 固体撮像装置
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ
JP2014067948A (ja) * 2012-09-27 2014-04-17 Fujifilm Corp 固体撮像素子および撮像装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
JP2009158944A (ja) * 2007-12-06 2009-07-16 Sony Corp 固体撮像装置、固体撮像装置の製造方法、及び電子機器
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US7915652B2 (en) * 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
JP5353200B2 (ja) * 2008-11-20 2013-11-27 ソニー株式会社 固体撮像装置および撮像装置
JP5250474B2 (ja) * 2009-04-28 2013-07-31 パナソニック株式会社 固体撮像装置
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
JP5585232B2 (ja) * 2010-06-18 2014-09-10 ソニー株式会社 固体撮像装置、電子機器
JP2014514733A (ja) * 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
JP2014207493A (ja) * 2011-08-24 2014-10-30 パナソニック株式会社 撮像装置
JP2013070030A (ja) 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
WO2014030185A1 (ja) * 2012-08-22 2014-02-27 株式会社島津製作所 画素アレイ基板およびそれを備えた放射線検出装置
JP6150508B2 (ja) * 2012-12-07 2017-06-21 キヤノン株式会社 撮像装置及び撮像システム
JP6308760B2 (ja) * 2012-12-20 2018-04-11 キヤノン株式会社 光電変換装置および光電変換装置を有する撮像装置
KR102009192B1 (ko) 2013-02-05 2019-08-09 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
JP2014192348A (ja) * 2013-03-27 2014-10-06 Sony Corp 固体撮像装置およびその製造方法、並びに電子機器
JP6368115B2 (ja) 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
JP6373027B2 (ja) * 2014-03-24 2018-08-15 キヤノン株式会社 撮像装置
US11076115B2 (en) 2015-04-14 2021-07-27 Sony Corporation Solid-state imaging apparatus, imaging system, and distance measurement method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548973A (ja) * 1991-08-20 1993-02-26 Sanyo Electric Co Ltd 固体撮像装置
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ
JP2014067948A (ja) * 2012-09-27 2014-04-17 Fujifilm Corp 固体撮像素子および撮像装置

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018110183A1 (ja) * 2016-12-14 2019-11-07 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
US11632504B2 (en) 2017-01-19 2023-04-18 Sony Semiconductor Solutions Corporation Light receiving element, imaging element, and imaging device
KR20200043545A (ko) * 2017-01-19 2020-04-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자, 촬상 소자, 및, 촬상 장치
KR20220044366A (ko) * 2017-01-19 2022-04-07 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자, 촬상 소자, 및, 촬상 장치
JP2018117117A (ja) * 2017-01-19 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像素子、および、撮像装置
KR102379380B1 (ko) * 2017-01-19 2022-03-28 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자, 촬상 소자, 및, 촬상 장치
CN113764450A (zh) * 2017-01-19 2021-12-07 索尼半导体解决方案公司 光接收元件、成像元件和成像装置
KR20190108099A (ko) * 2017-01-19 2019-09-23 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자, 촬상 소자, 및, 촬상 장치
WO2018135320A1 (ja) * 2017-01-19 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像素子、および、撮像装置
KR102531774B1 (ko) 2017-01-19 2023-05-16 소니 세미컨덕터 솔루션즈 가부시키가이샤 거리측정 소자
CN113764449A (zh) * 2017-01-19 2021-12-07 索尼半导体解决方案公司 光接收元件、成像元件和成像装置
JP7404428B2 (ja) 2017-01-19 2023-12-25 ソニーセミコンダクタソリューションズ株式会社 測距素子
US11039094B2 (en) 2017-01-19 2021-06-15 Sony Semiconductor Solutions Corporation Light receiving element, imaging element, and imaging device
JP7086494B2 (ja) 2017-01-19 2022-06-20 ソニーセミコンダクタソリューションズ株式会社 受光素子
KR102180695B1 (ko) * 2017-01-19 2020-11-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자, 촬상 소자, 및, 촬상 장치
JP2020107897A (ja) * 2017-01-19 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 受光素子
JP2022089852A (ja) * 2017-01-19 2022-06-16 ソニーセミコンダクタソリューションズ株式会社 測距素子
WO2019031001A1 (ja) * 2017-08-09 2019-02-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子装置および固体撮像装置の制御方法
US11102433B2 (en) 2017-08-09 2021-08-24 Sony Semiconductor Solutions Corporation Solid-state imaging device having a photoelectric conversion element with multiple electrodes
JPWO2019031001A1 (ja) * 2017-08-09 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子装置および固体撮像装置の制御方法
CN109644244B (zh) * 2017-08-09 2021-08-17 索尼半导体解决方案公司 固态成像器件、电子装置及固态成像器件的控制方法
CN109644244A (zh) * 2017-08-09 2019-04-16 索尼半导体解决方案公司 固态成像器件、电子装置及固态成像器件的控制方法
KR102663338B1 (ko) * 2017-09-28 2024-05-07 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 촬상 장치
US10840284B2 (en) 2017-09-28 2020-11-17 Sony Semiconductor Solutions Corporation Imaging element with a first and second converging portion for converging light between a first and second signal extraction portion of adjacent pixels
JPWO2019065291A1 (ja) * 2017-09-28 2020-09-10 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
JP7326154B2 (ja) 2017-09-28 2023-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
KR20200062075A (ko) * 2017-09-28 2020-06-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 촬상 장치
CN109997019A (zh) * 2017-09-28 2019-07-09 索尼半导体解决方案公司 摄像元件和摄像装置
WO2019065291A1 (ja) * 2017-09-28 2019-04-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
KR20200130074A (ko) * 2018-03-16 2020-11-18 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자 및 전자 기기
KR102655885B1 (ko) * 2018-03-16 2024-04-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자 및 전자 기기
JP2019161171A (ja) * 2018-03-16 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 受光素子および電子機器
JP7054639B2 (ja) 2018-03-16 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 受光素子および電子機器
JP7451395B2 (ja) 2018-07-18 2024-03-18 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
KR102613095B1 (ko) 2018-07-18 2023-12-14 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자 및 거리 측정 모듈
US11538942B2 (en) 2018-07-18 2022-12-27 Sony Semiconductor Solutions Corporation Light receiving element and ranging module having light receiving regions and an isolation portion between adjacent light receiving regions
KR20210033935A (ko) * 2018-07-18 2021-03-29 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자 및 거리측정 모듈
KR20210032947A (ko) * 2018-07-18 2021-03-25 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자 및 거리 측정 모듈
JP7297751B2 (ja) 2018-07-18 2023-06-26 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
JPWO2020017341A1 (ja) * 2018-07-18 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
US12123974B2 (en) 2018-07-18 2024-10-22 Sony Semiconductor Solutions Corporation Light-receiving element and distance-measuring module
KR102675996B1 (ko) * 2018-07-18 2024-06-18 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자 및 거리측정 모듈
US11916154B2 (en) 2018-07-18 2024-02-27 Sony Semiconductor Solutions Corporation Light receiving element and ranging module having a plurality of pixels that each includes voltage application units and charge detection units
JPWO2020017342A1 (ja) * 2018-07-18 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
TWI837140B (zh) * 2018-07-18 2024-04-01 日商索尼半導體解決方案公司 受光元件及測距模組
WO2020017342A1 (ja) * 2018-07-18 2020-01-23 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
WO2020017341A1 (ja) * 2018-07-18 2020-01-23 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距モジュール
JP2020063970A (ja) * 2018-10-17 2020-04-23 パイオニア株式会社 投受光装置及び測距装置
WO2021235033A1 (ja) * 2020-05-20 2021-11-25 ソニーグループ株式会社 センシングシステム

Also Published As

Publication number Publication date
CN114420712A (zh) 2022-04-29
US11076115B2 (en) 2021-07-27
JP7124849B2 (ja) 2022-08-24
US11818486B2 (en) 2023-11-14
US20210377473A1 (en) 2021-12-02
US11128828B2 (en) 2021-09-21
US20180054581A1 (en) 2018-02-22
JP2020188275A (ja) 2020-11-19
US20200120300A1 (en) 2020-04-16
CN107210314B (zh) 2021-12-14
JP6777074B2 (ja) 2020-10-28
JPWO2016167044A1 (ja) 2018-02-08
CN107210314A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
JP7124849B2 (ja) 固体撮像装置、撮像システムおよび距離計測方法
JP5566621B2 (ja) 距離測定センサ及びそれを備えた立体カラーイメージセンサ
US8035806B2 (en) Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
JP7100518B2 (ja) 固体撮像素子及び撮像装置
JP5302244B2 (ja) 距離画像センサ
US11115612B2 (en) Solid-state image sensor and image capture apparatus
KR102136850B1 (ko) 깊이 센서, 및 이의 동작 방법
WO2016170833A1 (ja) 固体撮像素子、半導体装置、及び、電子機器
JP2016127264A (ja) 固体撮像素子およびその製造方法、並びに電子機器
US20140104397A1 (en) Image sensor having pixel architecture for capturing depth image and color image
JP2016009813A (ja) 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
WO2016104177A1 (ja) 固体撮像素子およびその製造方法、並びに電子機器
CN113542633B (zh) 成像装置和成像设备
TWI822641B (zh) 光感測裝置
JP6643346B2 (ja) 固体撮像装置
JP2016090785A (ja) 撮像装置及びその制御方法
JP2017028609A (ja) 撮像装置及び撮像システム
US20130181116A1 (en) Image pickup apparatus and method of driving the same
US11722792B2 (en) Image sensing device
CN113923382B (zh) 图像感测装置
KR20210064687A (ko) 이미지 센서
WO2014203456A1 (ja) 固体撮像装置およびその駆動方法
TW202218105A (zh) 感測器裝置及感測模組
JP2015192341A (ja) 撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16779836

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017512227

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15550477

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16779836

Country of ref document: EP

Kind code of ref document: A1