WO2015011869A1 - 撮像装置及びその駆動方法 - Google Patents

撮像装置及びその駆動方法 Download PDF

Info

Publication number
WO2015011869A1
WO2015011869A1 PCT/JP2014/003028 JP2014003028W WO2015011869A1 WO 2015011869 A1 WO2015011869 A1 WO 2015011869A1 JP 2014003028 W JP2014003028 W JP 2014003028W WO 2015011869 A1 WO2015011869 A1 WO 2015011869A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pixels
infrared light
distance
imaging device
Prior art date
Application number
PCT/JP2014/003028
Other languages
English (en)
French (fr)
Inventor
拓也 浅野
静 鈴木
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015528122A priority Critical patent/JP6442710B2/ja
Publication of WO2015011869A1 publication Critical patent/WO2015011869A1/ja
Priority to US14/988,846 priority patent/US9736438B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14831—Area CCD imagers
    • H01L27/14843—Interline transfer
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14887—Blooming suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/622—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by controlling anti-blooming drains
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the present invention relates to an imaging apparatus that acquires an image (distance image) of a subject existing at a predetermined distance position, and more particularly to an imaging apparatus that acquires a normal image (visible light image) together with acquisition of a distance image and a driving method thereof. Is.
  • a distance measuring camera motion camera
  • An imaging device that obtains a distance image, a so-called distance measuring sensor is known.
  • obtaining a normal visible light image simultaneously with a distance image in a distance measuring sensor is useful for extracting a specific subject from the image (background separation), creating a three-dimensional image, and the like.
  • a visible light image is acquired simultaneously with a distance image by one solid-state imaging device.
  • a single-plate solid-state imaging device capable of imaging visible light and infrared (IR) light is used to enter the imaging target space while imaging visible light and infrared light every frame scanning period. Irradiation of the IR pulse is performed every one frame scanning period.
  • the solid-state imaging device uses a plurality of frames to generate a distance image that excludes the influence of background light, if the subject moves between one frame and the next frame, the distance image is displayed. An error occurs.
  • the provision of the lateral overflow drain requires a dark n-layer region and its control electrode, and occupies a wide pixel region. Instead, the exposure time is increased due to a decrease in sensitivity due to the smaller photodiode region. Or, it has led to deterioration of ranging accuracy due to a decrease in the vertical transfer unit.
  • the present invention has been made in view of the above problems, and obtains a distance image that eliminates the influence of background light within one frame scanning period from one image sensor and also obtains a visible image in another frame.
  • An object of the present invention is to provide an imaging apparatus that can perform the above and a driving method thereof.
  • an imaging device includes an infrared light source that irradiates infrared light, a vertical overflow drain, and is arranged in a matrix on a semiconductor substrate.
  • a solid-state imaging device having a plurality of first pixels that convert infrared light into signal charges and a plurality of second pixels that convert visible light into signal charges, the solid-state imaging device irradiating with infrared light
  • the first signal obtained from the plurality of first pixels in the period and the second signal obtained from the plurality of first pixels in the non-irradiation period of infrared light are output within the first frame scanning period.
  • the third signal obtained from the plurality of first pixels and the fourth signal obtained from the plurality of second pixels are output within a second frame scanning period.
  • a visible light image is obtained, preferably mixed with the output obtained from the second pixel by subtracting the output obtained from the first pixel from the signal obtained from the second pixel. Remove the infrared light component. Thereby, the color reproducibility improvement of a visible light image is attained.
  • a distance image that eliminates the influence of background light is acquired within one frame scanning period, so that it is possible to improve the distance accuracy of the moving object and eliminate the need for a horizontal overflow drain.
  • the sensitivity can be improved by enlarging the area, or the amount of charge handled can be increased by widening the vertical transfer section.
  • the sensitivity for example, it is possible to suppress the output of the infrared light source to be irradiated, and to shorten the exposure time for irradiating infrared light, so that the power consumption of the entire system can be suppressed.
  • FIG. 3 is a timing diagram illustrating a schematic operation of the solid-state imaging device of FIG. 2. It is a top view which shows the operation
  • FIG. 3 is a timing diagram illustrating a detailed operation in a distance signal accumulation period of the solid-state imaging device of FIG. 2. It is a top view which shows another example of filter arrangement
  • FIG. 13 is a timing diagram illustrating a schematic operation of the solid-state imaging device of FIG. 12. It is a top view which shows the operation
  • FIG. 13 is a timing diagram illustrating a detailed operation in the distance signal accumulation period of the solid-state imaging device of FIG. 12. It is a top view which shows the structure of another channel stop area
  • FIG. 22 is a timing diagram illustrating a schematic operation of the solid-state imaging device of FIG. 21. It is a top view which shows the operation
  • FIG. 22 is a timing chart showing a detailed operation in the distance signal accumulation period of the solid-state imaging device of FIG. 21.
  • FIG. 1 is a block diagram showing a configuration example of a distance measuring system using an imaging apparatus according to the present invention.
  • a subject 101 is located in a shooting target space provided with illumination including visible light and infrared light from a background light source 102.
  • the imaging device includes an infrared light source 103, a lens 104, a solid-state imaging device 105, a control unit 106, and a signal processing unit 107, such as a TOF (Time Of Flight) type, a pattern irradiation type, and a stereo type.
  • the ranging system adopting any one of various well-known infrared systems is configured.
  • the infrared light source 103 irradiates, for example, an infrared laser beam having a wavelength of 850 nm toward the subject 101.
  • the background light and the infrared laser light are reflected by the subject 101 and enter the lens 104 and form an image on the solid-state imaging device 105.
  • the solid-state imaging device 105 includes a plurality of first pixels that are arranged in a matrix on a semiconductor substrate and convert infrared light into signal charges, and a plurality of second pixels that convert visible light into signal charges.
  • the control unit 106 performs control so that the infrared light source 103 and the solid-state imaging device 105 are synchronized.
  • the signal processing unit 107 generates a visible light image signal from the output of the solid-state imaging device 105 together with the distance image signal based on the infrared laser light.
  • an arbitrary optical filter for example, a bandpass filter that transmits only the visible light wavelength region and a specific near-infrared wavelength band
  • a bandpass filter that transmits only the visible light wavelength region and a specific near-infrared wavelength band
  • the solid-state imaging device 105 is a CCD (Charge Coupled Device) image sensor and the ranging system is a TOF type.
  • CCD Charge Coupled Device
  • First Embodiment >> 2 and 3 are plan views showing the first embodiment of the solid-state imaging device 105 in FIG.
  • the visible light photoelectric conversion unit 10a includes a filter that selectively transmits red (R), green (G), and blue (B).
  • the infrared light photoelectric conversion unit 10b includes a filter that selectively transmits infrared (IR) light.
  • the solid-state imaging device of FIG. 2 includes a vertical transfer unit 11 that transfers signal charges read from the photoelectric conversion units 10a and 10b in the column direction, and a signal charge transferred by the vertical transfer unit 11 in the row direction (horizontal direction).
  • the vertical transfer unit 12 is provided in correspondence with each of the horizontal transfer unit 12 that transfers the signal charges, the charge detection unit 13 that amplifies and outputs the signal charges transferred by the horizontal transfer unit 12, and the photoelectric conversion units 10 of all the pixels.
  • 11 is provided corresponding to each of the first readout electrodes 14a and 14b that can be read simultaneously to the photoelectric conversion unit 10 and the photoelectric conversion units 10 of all the pixels, but at least from the photoelectric conversion unit 10b for infrared light is vertically transferred.
  • Second readout electrodes 14c and 14d that can selectively read out to the unit 11 are further provided.
  • the second read electrode 14c in order to selectively read a signal from a specific pixel, for example, the second read electrode 14c is stretched around the pixels of each line, but other than the pixels read from the photoelectric conversion unit 10b.
  • a channel stop region 18 is provided to prevent signals from being read out.
  • the other second readout electrode 14d can selectively read out signal charges from a specific photoelectric conversion unit by the channel stop region 18.
  • the solid-state imaging device is an interline transfer type CCD that supports all pixel readout (progressive scan).
  • the vertical transfer unit 11 has four vertical transfer electrodes 14 per pixel, and has a period of two pixels.
  • the eight-phase drive ( ⁇ V1 to ⁇ V8) is performed, and the horizontal transfer unit 12 is the two-phase drive ( ⁇ H1, ⁇ H2).
  • the vertical transfer unit 11 distributes and reads out the signal charges accumulated in the photoelectric conversion units 10a and 10b to, for example, signal packets 16a to 16d indicated by dotted lines in the vertical transfer unit 11, respectively.
  • the horizontal transfer unit 12 After being transferred in the downward direction in the figure, the horizontal transfer unit 12 is transferred in the left direction in the figure and outputted.
  • each pixel is provided with a vertical overflow drain (VOD: Vertical Overflow Drain).
  • VOD Vertical Overflow Drain
  • the second readout electrode 14c that can read out signals only from the infrared photoelectric conversion unit 10b, when the vertical transfer unit 11 is 8-phase drive, For example, as shown in FIG. 3, signals accumulated in the photoelectric conversion unit 10b can be read selectively, that is, read from the V5 gate in the figure and distributed to the signal packets 16a, 16b, and 16c indicated by dotted lines. Thus, it becomes possible to obtain a plurality of signals from one photoelectric conversion unit 10b and subtract the background light in the distance signal.
  • FIG. 4 is a timing diagram showing a schematic operation of the solid-state imaging device of FIGS. 2 and 3, and a signal for generating a distance image in which the influence of the background light is excluded is obtained within the first frame scanning period. In this example, a visible light image is obtained within the second frame scanning period.
  • FIGS. 5 to 8 are plan views showing operations at individual timings of the solid-state imaging device of FIGS.
  • the vertical synchronization pulse VD shown in FIG. 4 is, for example, 2 VD and exactly 30 frames per second (30 fps), and the distance signal 20 and the distance signal for generating a distance image in which the influence of background light is eliminated within one frame scanning period. 21, a background light signal 22 is obtained, and a visible light signal 23 and a visible light signal 24 for generating a visible light image are obtained in the next frame scanning period.
  • the first distance signal accumulation period Ta1 is started at the beginning of the odd frame.
  • a read pulse ⁇ V5 is applied and infrared light is applied to read the distance signal 20 and accumulate it in the signal packet 16a as shown in FIG.
  • the distance signal 20 is transferred in the reverse direction by one stage, and the second distance signal accumulation period Ta2 is started.
  • a read pulse ⁇ V5 is applied, infrared light is irradiated, the distance signal 21 is read, and this is accumulated in the signal packet 16b.
  • the distance signal 20 and the distance signal 21 are transferred in the reverse direction along with the signal packets 16a and 16b, and the background light signal accumulation period Tb is started.
  • the background light signal accumulation period Tb after the background light is exposed for the same length as the first distance signal accumulation period Ta1 and the second distance signal accumulation period Ta2 without irradiating infrared light, the readout pulse ⁇ V5 is applied, the background light signal 22 is read and stored in the signal packet 16c.
  • FIGS. 5 to 7 are performed once per frame, but before the output, these series of FIGS. 5 to 7 are performed. By repeating this operation and accelerating the period of one cycle, it is possible to improve the distance measurement accuracy for moving objects.
  • the vertical transfer unit 11 and the horizontal transfer unit 12 are sequentially scanned to sequentially output the distance signal 20, the distance signal 21, and the background light signal 22.
  • the substrate discharge pulse ⁇ Sub is applied at an arbitrary timing, and the signal charges of all the pixels are discharged.
  • the visible light signal 23 of the photoelectric conversion unit 10a and the visible light signal 24 of the photoelectric conversion unit 10b start to be accumulated in each photoelectric conversion unit.
  • read pulses ⁇ V2 and ⁇ V6 are applied at the beginning of the even frame, and as shown in FIG. 8, the visible light signal 23 and the visible light signal 24 accumulated by the exposure in the signal transfer period Tc1 of the previous frame are Accumulate in packets 16a-16d.
  • the visible light signal 23 and the visible light signal 24 are sequentially output by sequentially scanning the vertical transfer unit 11 and the horizontal transfer unit 12.
  • FIG. 9 is a timing chart showing detailed operations in the first distance signal accumulation period Ta1, the second distance signal accumulation time Ta2, and the background light signal accumulation period Tb of the solid-state imaging device of FIG.
  • the read pulse ⁇ V5 applied to the vertical transfer electrode 14c is fixed at the high level, and charges are accumulated when the substrate discharge pulse ⁇ Sub is at the low level. Is done.
  • the background light component included in the distance signal 20 and the distance signal 21 is excluded using the background light signal 22.
  • the amount of signal charge based on reflected light ending at the falling time of the irradiation light pulse is IR1
  • the amount of signal charge not depending on the falling time is IR2
  • the distance to the subject is z
  • the infrared component included in the visible light signal 23 can be eliminated using the visible light signal 24, so that a visible light image with high color reproducibility can be generated.
  • the number of drive phases of the vertical transfer unit 11 provided in the solid-state imaging device is increased, and thus the influence of background light within one frame scanning period.
  • each pixel is provided with a vertical overflow drain, so that the region of the photoelectric conversion unit 10 can be obtained. It is possible to improve the distance measurement accuracy by increasing the sensitivity by increasing the range or by increasing the saturation signal amount of the vertical transfer unit 11 by expanding the area of the vertical transfer unit 11.
  • Enhance the sensitivity for example, by suppressing the output of the infrared light source to be irradiated or shortening the exposure time for irradiating infrared light, both lead to a reduction in power consumption of the entire ranging system.
  • the pulse ⁇ Sub for discharging electric charges is applied to the substrate by the vertical overflow drain structure and is transmitted to the entire pixel.
  • the drain it is not necessary to apply a high voltage for discharging electric charges from the wiring layer on the pixel to each pixel, so that it is difficult to become a noise source such as dark current.
  • the solid-state imaging device according to the present embodiment is more complicated than the conventional solid-state imaging device because it can be handled only by changing the number of driving phases and adding a channel stop region corresponding to some readout electrodes. This can be realized without requiring a simple manufacturing method.
  • the visible light signal 23 and the visible light signal 24 can be obtained from the same frame and the infrared component can be eliminated, so that the visible color with high color reproducibility is visible. An optical image can be obtained.
  • the signal obtained from the photoelectric conversion unit 10b is read out to the vertical transfer unit 11, so that the operation is performed on the adjacent vertical transfer unit 11 as shown in FIG.
  • the signal packets 16d, 16e, and 16f also exist, but since the signal is not read from the photoelectric conversion unit 10a, the packet is substantially an empty packet.
  • the odd frames can be shortened by sequentially filling the empty packets existing in every two columns with the signals 16a to 16c, so that the frame rate can be further improved.
  • infrared photoelectric conversion units 10 b are arranged in a checkered pattern, and visible light photoelectric conversion units 10 a are arranged in the remaining checkered pixels.
  • read pulses ⁇ V1 and ⁇ V5 to the second read electrodes 14c and 14d corresponding to the photoelectric conversion unit 10b for infrared light, only the signal packets 16a to 16c are applied in the first frame scanning period.
  • this filter arrangement is particularly effective when the resolution of the distance image is required.
  • FIG. 11 is a plan view showing a second embodiment of the solid-state imaging device 105 in FIG.
  • the solid-state imaging device according to the second embodiment is different in the configuration of the vertical transfer unit 11 from the solid-state imaging device according to the first embodiment.
  • an object of the present invention is to provide a structure and a driving method capable of generating a distance image in which the influence of background light is eliminated within one frame scanning period and obtaining a visible light image in which an infrared component is eliminated in another frame. This is the same as the solid-state imaging device according to the first embodiment.
  • the description will focus on the points different from the first embodiment, and the description of the same points will be omitted.
  • the solid-state imaging device shown in FIG. 11 can read out the read electrodes 14a and 14b only in a checkered pattern, like the read-out electrodes 14c and 14d, as compared with the solid-state image pickup devices of FIGS.
  • the readout electrode 14b corresponding to the infrared photoelectric conversion unit 10b is provided with a channel stop region 18 so that signals are not read out. The same applies to the readout electrode 14a.
  • the operation can be performed with substantially the same drive as that of FIG. 4 which is the drive timing of the first embodiment.
  • the read pulse applied at the beginning of the second frame scanning period is ⁇ V2, ⁇ V6.
  • the only difference is that it is necessary to apply not only to ⁇ V1 and ⁇ V5.
  • the reading of the visible light signal 23 and the visible light signal 24 at the timing of FIG. 8 of the first embodiment is performed using not only the reading electrodes 14a and 14b but also the reading electrodes 14c and 14d. Need to read. Other than that, there is no difference from the first embodiment.
  • the channel stop region 18 corresponding to a part of the readout electrodes since it can be dealt with only by adding the channel stop region 18 corresponding to a part of the readout electrodes, it can be realized without requiring a complicated manufacturing method.
  • a distance image that eliminates the influence of background light is generated within one frame scanning period, a visible light image can be obtained in another frame, and a vertical overflow drain is provided, thereby improving sensitivity.
  • the distance measurement accuracy can be improved by increasing the frame rate to increase the saturation signal amount of the vertical transfer unit 11.
  • FIG. 12 is a plan view showing a third embodiment of the solid-state imaging device 105 in FIG.
  • the solid-state imaging device according to the third embodiment is different in the configuration of the vertical transfer unit 11 from the solid-state imaging device according to the first embodiment.
  • the object of the present invention is to provide a structure and a driving method capable of generating a distance image in which the influence of background light is eliminated within one frame scanning period and obtaining a visible light image in another frame. It is the same as that of the solid-state imaging device concerning one embodiment.
  • the description will focus on the points different from the first embodiment, and the description of the same points will be omitted.
  • the solid-state imaging device shown in FIG. 12 has a vertical transfer unit 11 that has 5 gates for vertical transfer electrodes per pixel and 10-phase driving ( ⁇ V1) with a period of 2 pixels. ⁇ ⁇ V10).
  • FIG. 13 is a timing diagram illustrating the schematic operation of the solid-state imaging device of FIG. 12, and is basically the same as FIG. 4, which is a timing diagram illustrating the schematic operation of the solid-state imaging device of FIGS. 2 and 3.
  • the electrodes to which the readout pulse is applied differ depending on the number of drive phases. Further, in addition to the first embodiment, the distance signal 25 is newly acquired.
  • FIG. 14 to 18 are plan views showing operations at individual timings of the solid-state imaging device of FIG.
  • the first distance signal accumulation period Ta1 is started at the beginning of the odd frame.
  • a read pulse ⁇ V6 is applied and infrared light is applied to read the distance signal 20 and accumulate it in the signal packet 16a as shown in FIG.
  • the distance signal 20 is transferred in the reverse direction by one stage, and the second distance signal accumulation period Ta2 is started.
  • the second distance signal accumulation period Ta2 infrared light is irradiated, a read pulse ⁇ V6 is applied, the distance signal 21 is read, and this is accumulated in the signal packet 16b.
  • the distance signal 20 and the distance signal 21 are transferred in the reverse direction along with the signal packets 16a and 16b, and the background light signal accumulation period Tb is started.
  • the background light signal accumulation period Tb after the background light is exposed for the same length as the first distance signal accumulation period Ta1 and the second distance signal accumulation period Ta2 without irradiating infrared light, the readout pulse ⁇ V6 is applied, the background light signal 22 is read and stored in the signal packet 16c.
  • the distance signal 20, the distance signal 21, and the background light signal 22 are transferred together with the signal packets 16a to 16c in the reverse direction by one stage, and the third distance signal accumulation is performed.
  • Period Ta3 is started.
  • infrared light is irradiated at a timing different from that in the first distance signal accumulation period Ta1, the readout pulse ⁇ V6 is applied, the distance signal 25 is read, and this is accumulated in the signal packet 16d. To do.
  • the distance signal 20, the distance signal 21, the background light signal 22, and the distance signal 25 are sequentially output by sequentially scanning the vertical transfer unit 11 and the horizontal transfer unit 12.
  • the substrate discharge pulse ⁇ Sub is applied at an arbitrary timing, and the signal charges of all the pixels are discharged.
  • the visible light signal 23 of the photoelectric conversion unit 10a and the visible light signal 24 of the photoelectric conversion unit 10b start to be accumulated in each photoelectric conversion unit.
  • read pulses ⁇ V2 and ⁇ V6 are applied at the beginning of the even frame, and as shown in FIG. 18, the visible light signal 23 and the visible light signal 24 accumulated by the exposure in the signal transfer period Tc1 of the previous frame are Accumulate in packets 16a-16d.
  • the visible light signal 23 and the visible light signal 24 are sequentially output by sequentially scanning the vertical transfer unit 11 and the horizontal transfer unit 12.
  • FIG. 19 is a timing chart showing detailed operations in the first, second, and third distance signal accumulation periods Ta1, Ta2, Ta3 and the background light signal accumulation period Tb of the solid-state imaging device of FIG.
  • the read pulse ⁇ V6 applied to the vertical transfer electrode 14c is fixed at the high level
  • the substrate discharge pulse ⁇ Sub is Charges are accumulated when the low level is reached.
  • the background light component included in the distance signal 20, the distance signal 21, and the distance signal 25 is excluded using the background light signal 22.
  • the distance signal 25 is increased as compared with the first embodiment.
  • the distance signal 20 is a signal suitable for calculating a long distance
  • the distance signal 25 is suitable for calculating a short distance. It is possible to properly use the signal.
  • the range image in which the influence of the background light is eliminated by further increasing the number of driving phases of the vertical transfer unit 11 provided in the solid-state imaging device. It is possible to handle a distance image from a short distance to a long distance, that is, it is possible to generate a distance image with a wide dynamic range.
  • the vertical transfer unit 11 is 10-phase driving, it is possible to drive only to handle the distance signals 20, 21, 22 without acquiring the distance signal 25.
  • each signal packet can always be accumulated with two or more gates, the amount of charge that can be handled within one frame scanning period is increased as compared with the first and second embodiments.
  • the distance accuracy can be improved not only in driving that handles four signals but also in driving that handles these three signals.
  • the infrared light photoelectric conversion units 10b are arranged in a checkered pattern and the visible light photoelectric conversion units 10a are arranged in the remaining vacant pixels, in FIG. Since the 16e to 16h can be effectively used, the resolution of the distance image can be increased (not shown).
  • the solid-state imaging device of the present embodiment is also provided with a channel stop region 18 so that the readout electrodes 14a and 14b can be read only in a checkered pattern, as shown in FIG. The same is true in that only specific colors can be read out.
  • FIG. 21 is a plan view showing a fourth embodiment of the solid-state imaging device 105 in FIG.
  • the solid-state imaging device according to the fourth embodiment is different in the configuration of the vertical transfer unit 11 from the solid-state imaging device according to the third embodiment.
  • the object of the present invention is to provide a structure and a driving method capable of generating a distance image in which the influence of background light is eliminated within one frame scanning period and obtaining a visible light image in another frame. This is the same as the solid-state imaging device according to the third embodiment.
  • the description will be focused on the points different from the third embodiment, and the description of the same points will be omitted.
  • the solid-state imaging device shown in FIG. 21 is a simple four-phase drive in which the vertical transfer unit 11 has four gates of vertical transfer electrodes 14 per pixel as compared with the solid-state imaging device of FIG.
  • the readout electrode 14b V1L gate in the figure
  • the readout electrode 14c shown in the figure so that different ⁇ V1 pulses can be applied to the vertical transfer parts 11 on both sides of the photoelectric conversion part 10b that converts infrared light into signal charges.
  • V1R gate is arranged, and by using the read pulses ⁇ V1L and ⁇ V1R applied to the read electrodes 14b and 14c, the vertical transfer unit 11 can read the data on both sides of the photoelectric conversion unit 10b. Yes.
  • each photoelectric conversion unit 10 is provided with a vertical overflow drain, and by applying a ⁇ Sub pulse at an arbitrary timing, it is possible to discharge the signal charges of all the photoelectric conversion units 10. .
  • FIG. 22 is a timing diagram illustrating the schematic operation of the solid-state imaging device in FIG. 21, and is similar to FIG. 13, which is a timing diagram illustrating the schematic operation of the solid-state imaging device in FIG. 12, but from the difference in the number of drive phases.
  • the electrodes to which the readout pulse is applied are different.
  • the number of signal transfers when acquiring a distance signal or the like (odd frame) is reduced, and the number of signal packets is also a feature of this embodiment.
  • 23 to 27 are plan views showing operations at individual timings of the solid-state imaging device of FIG.
  • the first distance signal accumulation period Ta1 is started at the beginning of the odd frame.
  • a readout pulse ⁇ V1L is applied, and infrared light is irradiated, and as shown in FIG. 23, the distance signal 20 is sent to the vertical transfer unit 11 on the left side of the photoelectric conversion unit 10b in the drawing. This is read and stored in the signal packet 16a.
  • the distance signal 20 remains unchanged and the second distance signal accumulation period Ta2 starts.
  • a read pulse ⁇ V1R is applied, and infrared light is irradiated to read the distance signal 21 to the vertical transfer unit 11 on the right side of the photoelectric conversion unit 10b in the drawing, and this is read out from the photoelectric conversion unit.
  • 10b is stored in the signal packet 16b opposite to the signal packet 16a.
  • the distance signal 20 and the distance signal 21 are transferred in the reverse direction along with the signal packets 16a and 16b, and the background light signal accumulation period Tb is started.
  • the background light signal accumulation period Tb after the background light is exposed for the same length as the first distance signal accumulation period Ta1 and the second distance signal accumulation period Ta2 without irradiating infrared light, the readout pulse ⁇ V1L is applied, the background light signal 22 is read out to the vertical transfer unit 11 on the left side of the photoelectric conversion unit 10b in the figure, and is stored in the signal packet 16c.
  • the third distance signal accumulation period Ta3 is started while the distance signal 20, the distance signal 21, and the background light signal 22 remain unchanged.
  • exposure is performed by irradiating infrared light at a timing different from that in the first distance signal accumulation period Ta1, and then a readout pulse ⁇ V1R is applied to the right side of the photoelectric conversion unit 10b in the drawing.
  • the distance signal 25 is read out to the vertical transfer unit 11 and stored in the signal packet 16d opposite to the signal packet 16c via the photoelectric conversion unit 10b.
  • the distance signal 20, the distance signal 21, the background light signal 22, and the distance signal 25 are sequentially output by sequentially scanning the vertical transfer unit 11 and the horizontal transfer unit 12.
  • the substrate discharge pulse ⁇ Sub is applied at an arbitrary timing, and the signal charges of all the pixels are discharged.
  • the visible light signal 23 of the photoelectric conversion unit 10a and the visible light signal 24 of the photoelectric conversion unit 10b start to be accumulated in the photoelectric conversion unit.
  • a read pulse ⁇ V2 is applied, and as shown in FIG. 27, the visible light signal 23 and the visible light signal 24 accumulated by exposure in the signal transfer period Tc1 of the previous frame are converted into signal packets 16a to 16d. To accumulate.
  • the visible light signal 23 and the visible light signal 24 are sequentially output by sequentially scanning the vertical transfer unit 11 and the horizontal transfer unit 12.
  • the influence of background light is the same as in the third embodiment without increasing the number of driving phases of the vertical transfer unit 11 provided in the solid-state imaging device. It is possible to widen the dynamic range of the distance image that excludes.
  • the distance signals 20, 21, 22, and 25 can be basically stored by two gates, compared to the first embodiment and the second embodiment, The amount of charge that can be handled within one frame scanning period is large, and distance accuracy can be improved.
  • the phase difference method is a method of measuring the degree of phase delay of reflected light by blinking infrared light to be irradiated at high speed.
  • FIG. 28 shows an example of the drive timing.
  • the process of acquiring the visible image of the second frame is the same as that shown in this embodiment.
  • the imaging apparatus improves the distance accuracy and frame rate of moving objects, and thus is useful as an imaging apparatus that acquires a visible light image together with a distance image of a subject existing at a predetermined distance position. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　１つのイメージセンサから、１フレーム走査期間内に背景光による影響を排除した距離画像を取得し、かつ、別フレームにて可視画像も取得する。　撮像装置は、赤外光を照射する赤外光源と、それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備え、固体撮像装置は、赤外光の照射期間で前記複数の第１画素から得た第１の信号と、赤外光の非照射期間で複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、複数の第１画素から得た第３の信号及び複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力する。

Description

撮像装置及びその駆動方法
　本発明は、所定の距離位置に存在する被写体の像（距離画像）を取得する撮像装置に関し、特に、距離画像の取得とともに通常の画像（可視光画像）を取得する撮像装置及びその駆動方法に関するものである。
　近年、テレビ、ゲーム機等に、例えば、赤外光を撮影対象空間に照射して、被写体（人物）の体や手の動きを検出する測距カメラ（モーションカメラ）が搭載され、それに使われる距離画像を取得する撮像装置、いわゆる測距センサが知られている。
　また、測距センサにおいて、距離画像と同時に通常の可視光画像を取得することは、画像中からの特定の被写体の切り出し（背景分離）や、３次元画像の作成等を行ううえで有用である。
　特許文献１においては、１つの固体撮像装置により距離画像と同時に可視光画像を取得している。具体的には、可視光及び赤外（ＩＲ）光の撮像が可能な単板構成の固体撮像装置により、１フレーム走査期間ごとに可視光及び赤外光の撮像を行いながら、撮影対象空間へのＩＲパルスの照射を１フレーム走査期間おきに行う。可視光画像を１フレーム走査期間ごとに生成するとともに、ＩＲパルスの照射時の撮像によって得られたＩＲ画素信号からＩＲパルスの非照射時の撮像によって得られたＩＲ画素信号を減算することによって、背景光による影響を排除した距離画像を１フレーム走査期間おきに生成する。
特開２００８－８７００号公報
　しかしながら、上記固体撮像装置は、複数フレームを使用して背景光による影響を排除した距離画像を生成しているため、１つのフレームと次のフレームとの間に被写体が動いた場合、距離画像に誤差が生じる。また、横型オーバーフロードレインを備えることにより、濃いｎ層の領域とその制御電極が必要となり、画素の広い領域を占有するため、代わりにフォトダイオード領域が小さくなることによる感度低下によって、露光時間が多く、または、垂直転送部が小さくなることによる測距精度の悪化に繋がっていた。
　本発明は、上記課題に鑑みてなされたものであり、１つのイメージセンサから、１フレーム走査期間内に背景光による影響を排除した距離画像を取得し、かつ、別フレームにて可視画像も取得することができる撮像装置及びその駆動方法を提供することを目的とする。
　上記目的を達成するために、本発明の一態様に係る撮像装置は、赤外光を照射する赤外光源と、それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備え、前記固体撮像装置は、赤外光の照射期間で前記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力することを特徴とする。
　本態様によれば、１フレーム走査期間内に、背景光による影響を排除した距離画像を生成するための信号が得られることから、動体の距離情報の精度向上が可能となる。
　また、次のフレーム走査期間内に、可視光画像を得て、好ましくは、第１画素から得た出力を、第２画素から得た信号から差し引くことにより、第２画素から得た出力に混入する赤外光成分を除去する。これにより、可視光画像の色再現性向上が可能となる。
　本発明によれば、１フレーム走査期間内に、背景光による影響を排除した距離画像を取得するので、動体の距離精度を向上することができるとともに、横型オーバーフロードレインが不要となるため、フォトダイオード領域を拡大することによる感度向上、あるいは、垂直転送部を広く取ることによる取り扱い電荷量の増加によって、いずれも測距精度の向上に繋がる。
　その上、感度向上によって、例えば、照射する赤外光源の出力を抑えたり、赤外光を照射する露光時間を短くしたりできることから、システム全体の消費電力を抑えることが可能である。
　また特殊な構造が不要なため、一般的なイメージセンサの製造方法で実現することが可能である。
本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。 図１中の固体撮像装置の第１の実施形態を示す平面図である。 図１中の固体撮像装置の第１の実施形態を示す別の平面図である。 図２の固体撮像装置の概略動作を示すタイミング図である。 図２の固体撮像装置のあるタイミングにおける動作を示す平面図である。 図２の固体撮像装置の次のタイミングにおける動作を示す平面図である。 図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。 図１中の固体撮像装置の第１の実施形態の別のフィルタ配置例を示す平面図である。 図１中の固体撮像装置の第２の実施形態を示す平面図である。 図１中の固体撮像装置の第３の実施形態を示す平面図である。 図１２の固体撮像装置の概略動作を示すタイミング図である。 図１２の固体撮像装置のあるタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。 図１中の固体撮像装置の第３の実施形態の別のチャネルストップ領域の構成を示す平面図である。 図１中の固体撮像装置の第４の実施形態を示す平面図である。 図２１の固体撮像装置の概略動作を示すタイミング図である。 図２１の固体撮像装置のあるタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。
　以下、本発明の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これらは例示を目的としており、本発明がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。
　図１は、本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。図１に示すように、背景光源１０２からの可視光と赤外光とを含む照明を備えた撮影対象空間内に被写体１０１が位置する。撮像装置は、赤外光源１０３と、レンズ１０４と、固体撮像装置１０５と、制御部１０６と、信号処理部１０７とを備えており、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）型、パターン照射型、ステレオ型等の、よく知られた種々の赤外線方式のうちのいずれかを採用した測距システムを構成する。
　赤外光源１０３は、被写体１０１に向けて、例えば波長８５０ｎｍの赤外レーザー光を照射する。背景光及び赤外レーザー光は、被写体１０１で反射してレンズ１０４に入射し、固体撮像装置１０５に結像する。固体撮像装置１０５は、半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素と、可視光を信号電荷に変換する複数の第２画素とを有する。制御部１０６は、赤外光源１０３と固体撮像装置１０５との同期をとるように制御する。信号処理部１０７は、固体撮像装置１０５の出力から、赤外レーザー光に基づく距離画像信号とともに、可視光画像信号を生成する。
　なお、図示していないが、レンズ１０４と固体撮像装置１０５の間に、任意の光学フィルタ（例えば、可視光波長領域と特定の近赤外波長帯のみを透過するバンドパスフィルタ）を設けてもよい。
　以下、図１中の固体撮像装置１０５の種々の具体例について説明する。
　すべての実施形態において、全て固体撮像装置１０５がＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサであって、測距システムがＴＯＦ型である場合を説明する。
　《第１の実施形態》
　図２及び図３は、図１中の固体撮像装置１０５の第１の実施形態を示す平面図である。
　図２及び図３に示した固体撮像装置は、半導体基板上に行列状に配置された複数の光電変換部１０を備える。これら光電変換部１０は、可視光を信号電荷に変換する複数の光電変換部１０ａと、赤外光を信号電荷に変換する複数の光電変換部１０ｂとに分けられる。可視光の光電変換部１０ａは、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）を選択的に透過するフィルタを備える。赤外光の光電変換部１０ｂは、赤外（ＩＲ）光を選択的に透過するフィルタを備える。
　図２の固体撮像装置は、光電変換部１０ａ，１０ｂから読み出された信号電荷を列方向に転送する垂直転送部１１と、垂直転送部１１によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１２と、水平転送部１２によって転送された信号電荷を増幅して出力する電荷検出部１３と、全画素の光電変換部１０のそれぞれに対応して設けられ、垂直転送部１１へ同時に読み出すことが可能な第１の読み出し電極１４ａ，１４ｂと、全画素の光電変換部１０のそれぞれに対応して設けられているが、少なくとも赤外光の光電変換部１０ｂから、垂直転送部１１へ選択的に読み出すことが可能な第２の読み出し電極１４ｃ，１４ｄとを更に備える。
　なお、本実施形態では、特定の画素から信号を選択的に読み出すために、例えば、第２の読み出し電極１４ｃは各ラインの画素に張り巡らされているものの、光電変換部１０ｂから読み出す画素以外は、チャネルストップ領域１８を設けて信号が読み出されないようにしてある。もう１つの第２の読み出し電極１４ｄも同様に、チャネルストップ領域１８によって、特定の光電変換部から選択的に信号電荷を読み出すことが可能になっている。
　ここで、固体撮像装置は、全画素読み出し（プログレッシブスキャン）対応のインターライントランスファ方式のＣＣＤであり、例えば、垂直転送部１１は、１画素あたり垂直転送電極１４が４ゲートあり、２画素周期の８相駆動（φＶ１～φＶ８）であり、水平転送部１２は２相駆動（φＨ１，φＨ２）である。垂直転送部１１は、光電変換部１０ａ，１０ｂに溜まった信号電荷は、例えば、垂直転送部１１中の点線で示した信号パケット１６ａ～１６ｄに、それぞれ振り分けて読み出され、垂直転送部１１を図中下方向に転送されたあと、水平転送部１２を図中左方向に転送されて出力される。
　また、各画素には、縦型オーバーフロードレイン（ＶＯＤ：Ｖｅｒｔｉｃａｌ　Ｏｖｅｒｆｌｏｗ　Ｄｒａｉｎ）が備えられている。基板に接続されているＶＳＵＢ電極１７に高電圧（φＳｕｂパルス）が印加されると、全画素の信号電荷は一括に基板に排出される構成となっている。これにより、横型オーバーフロードレインのような各画素のフォトダイオードの面積や、垂直転送部の面積を縮める要素がないため、感度を高く保つことが可能となる。
　なお、本実施形態に示すように、赤外光の光電変換部１０ｂからのみ信号を読み出すことが可能な第２の読み出し電極１４ｃを設けることにより、垂直転送部１１が８相駆動である場合、例えば、図３のように、光電変換部１０ｂに溜まった信号を選択的に、つまり、図中Ｖ５ゲートから読み出し、点線で示した信号パケット１６ａ，１６ｂ，１６ｃに、それぞれ振り分けて読み出すことが可能となり、１つの光電変換部１０ｂから複数の信号を得て、距離信号中の背景光を減算することが可能となる。
　なお、この図３も含めて、以後、説明に必要な場合を除き、図２に示すチャネルストップ領域１８は図示しない。
　図４は、図２及び図３の固体撮像装置の概略動作を示すタイミング図であって、第１のフレーム走査期間内に、背景光による影響を排除した距離画像を生成するための信号を得て、第２のフレーム走査期間内に可視光画像を得る例を示している。また、図５～図８は、図２及び図３の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
　図４に示す垂直同期パルスＶＤは、例えば２ＶＤでちょうど毎秒３０フレーム（３０ｆｐｓ）であり、１フレーム走査期間内に、背景光による影響を排除した距離画像を生成するための距離信号２０、距離信号２１、背景光信号２２が得られ、次のフレーム走査期間に、可視光画像を生成するための可視光信号２３、可視光信号２４が得られる。
　まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ５を印加し、赤外光を照射して、図５に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
　第１の距離信号蓄積期間Ｔａ１が終了すると、図６に示すように、距離信号２０を１段逆方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ５を印加し、赤外光を照射して、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。
　第２の距離信号蓄積期間Ｔａ２が終了すると、図７に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ５を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
　なお、図４のタイミング図では、説明を簡単にするために、図５～図７の動作は１フレームあたり１回ずつとなっているが、出力する前に、これら一連の図５～図７の動作を繰り返し、また、１サイクルの周期を速めることで、動体に対する測距精度を上げることが可能である。
　信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２を順次出力する。
　このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が各光電変換部に蓄積され始める。
　次に、偶数フレームの初めに、読み出しパルスφＶ２，φＶ６を印加し、図８に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ～１６ｄに蓄積する。
　信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。
　図９は、図４の固体撮像装置の第１の距離信号蓄積期間Ｔａ１、及び第２の距離信号蓄積時間Ｔａ２と、背景光信号蓄積期間Ｔｂにおける詳細動作を示すタイミング図である。
　第１及び第２の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔｂにおいて、垂直転送電極１４ｃに印加する読み出しパルスφＶ５は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。
　距離画像の生成においては、まず、距離信号２０及び距離信号２１に含まれる背景光成分を、背景光信号２２を用いて排除する。例えば、図９に示すように、照射光パルスの立ち下がり時刻で終わる反射光に基づく信号電荷の量をＩＲ１、立ち下がり時刻によらない信号電荷の量をＩＲ２、被写体までの距離をｚ、光速をｃとすると、
　ｚ＝ｃ×Δｔ／２
　　＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
　　＝（ｃ×Ｔｐ／２）×（ＩＲ１／ＩＲ２）
となる。
　また、可視光画像の生成においても、可視光信号２３に含まれる赤外成分を、可視光信号２４を用いて排除することができるため、色再現性の高い可視光画像を生成することができる。
　以上、第１の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を増加することで、１フレーム走査期間内で、背景光による影響を排除した距離画像を得るとともに、別フレームで色再現性の高い可視光画像を得ることが可能となることに加え、各画素には縦型オーバーフロードレインを備えることで、光電変換部１０の領域を広げて感度向上、または、垂直転送部１１の領域を広げて垂直転送部１１の飽和信号量を高めることで、測距精度向上が可能となる。
　感度向上によって、例えば、照射する赤外光源の出力を抑えたり、赤外光を照射する露光時間を短くしたりして、いずれも測距システム全体の消費電力を抑えることに繋がる。
　その上、本実施形態に示すようなＴＯＦ型システムに適した駆動をする場合、縦型オーバーフロードレイン構造により、電荷排出のためのパルスφＳｕｂは基板に印加され、画素全体に伝わることから、横型オーバーフロードレインのように、画素上の配線層から各画素に、電荷排出のための高電圧を印加せずに済むため、暗電流などのノイズ源にもなりにくい。
　また、本実施形態の固体撮像装置は、従来の固体撮像装置に比べて、駆動相数の変更、及び、一部の読み出し電極に対応したチャネルストップ領域を追加するのみで対応可能なため、複雑な製造方法を要することなく、実現することが可能である。
　更に、従来技術では、可視光信号２３に含まれる赤外成分を排除するためには、別フレームから専用の信号を得る必要があり、可視光画像の色再現性が低下する課題があったが、第１の実施形態に係るＴＯＦ型測距システムによれば、同一フレームから可視光信号２３と可視光信号２４を得て、赤外成分を排除することができるため、色再現性の高い可視光画像を得ることが可能になる。
　なお、本実施形態では、第１のフレームにおいて、光電変換部１０ｂから得た信号のみが垂直転送部１１に読み出されるため、図７に示すように、動作上、隣接する垂直転送部１１上に信号パケット１６ｄ，１６ｅ，１６ｆも存在するが、光電変換部１０ａからは信号が読み出されないので、実質的には空パケットとなっている。
　よって、水平転送時に、この２列毎に存在する空きパケットにも信号１６ａ～１６ｃを順次詰めることで、奇数フレームが短縮できることから、更なるフレームレートの向上も可能である。
　また、他にも、例えば、図１０に示すように、赤外光の光電変換部１０ｂを市松状に配置して、残りの市松状に空いている画素に可視光の光電変換部１０ａを配置した場合、赤外光の光電変換部１０ｂに対応した第２の読み出し電極１４ｃ，１４ｄに、読み出しパルスφＶ１，φＶ５を印加することで、第１のフレーム走査期間において、信号パケット１６ａ～１６ｃだけでなく、信号パケット１６ｄ～１６ｆにも距離信号を蓄積することが可能となり、距離画像の解像度が増す利点があるので、特に、距離画像の解像度が必要なときにこのフィルタ配置は有効である。
　《第２の実施形態》
　図１１は、図１中の固体撮像装置１０５の第２の実施形態を示す平面図である。
　第２の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで赤外成分を排除した可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
　図１１に示した固体撮像装置は、図２及び図３の固体撮像装置と比較して、読み出し電極１４ａ，１４ｂが、読み出し電極１４ｃ，１４ｄと同じように、市松状にのみ読み出せるようになっており、例えば、赤外光の光電変換部１０ｂに対応した読み出し電極１４ｂは、チャネルストップ領域１８を設けて信号が読み出されないようにしてある。読み出し電極１４ａも同様である。
　本実施形態の場合、第１の実施形態の駆動タイミングである図４とほぼ同じ駆動で動作可能であるが、１点だけ、第２フレーム走査期間の初めに印加する読み出しパルスが、φＶ２，φＶ６だけでなく、φＶ１，φＶ５にも印加する必要があることのみ異なる。具体的な動作で言えば、第１の実施形態の図８のタイミングでの可視光信号２３及び可視光信号２４の読み出しが、読み出し電極１４ａ，１４ｂだけでなく、読み出し電極１４ｃ，１４ｄも使って読み出す必要がある。それ以外は、第１の実施形態と変わりは無い。
　しかし、この構造であれば、例えば、可視光画像を取得する際に、レッドだけを読み出したり、ブルーだけを読み出したり、グリーンだけ読み出したりと、特定色だけ読み出すことも可能となり、取得できる可視画像のバリエーションを増やすことが可能である。なお、特定色だけ読み出す際は、空きパケットが数多くできるため、水平転送時に信号を詰めることで、信号出力時間の短縮も可能である。
　以上、第２の実施形態に係るＴＯＦ型測距システムによれば、第１の実施形態に係る固体撮像装置から、一部の読み出し電極にチャネルストップ領域１８を追加するだけで、読み出す画像のバリエーションを増やす、つまり可視画像の自由度を増すことが可能となる。
　また、第１の実施形態と同様に、一部の読み出し電極に対応したチャネルストップ領域１８の追加のみで対応可能なため、複雑な製造方法を要することなく、実現することが可能である。
　その上、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることが可能な点や、縦型オーバーフロードレインを備えることで、感度を高めてフレームレートを向上したり、垂直転送部１１の飽和信号量を高めたりすることで、測距精度を向上させることが可能な点も同じである。
　《第３の実施形態》
　図１２は、図１中の固体撮像装置１０５の第３の実施形態を示す平面図である。
　第３の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
　図１２に示した固体撮像装置は、図２及び図３の固体撮像装置と比較して、垂直転送部１１は、１画素あたり垂直転送電極が５ゲートある、２画素周期の１０相駆動（φＶ１～φＶ１０）である。
　図１３は、図１２の固体撮像装置の概略動作を示すタイミング図であって、図２及び図３の固体撮像装置の概略動作を示すタイミング図である図４と基本的には同じであるが、駆動相数の違いから、読み出しパルスを印加する電極が異なる。また、第１の実施形態に加えて、新たに距離信号２５を取得している点が異なる。
　図１４～図１８は、図１２の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
　図１３において、まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ６を印加し、赤外光を照射して、図１４に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
　第１の距離信号蓄積期間Ｔａ１が終了すると、図１５に示すように、距離信号２０を１段逆方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、赤外光を照射して、読み出しパルスφＶ６を印加し、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。
　第２の距離信号蓄積期間Ｔａ２が終了すると、図１６に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ６を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
　背景光信号蓄積期間Ｔｂが終了すると、図１７に示すように、距離信号２０、距離信号２１及び背景光信号２２を信号パケット１６ａ～１６ｃとともに１段逆方向へ転送し、第３の距離信号蓄積期間Ｔａ３を開始する。第３の距離信号蓄積期間Ｔａ３では、第１の距離信号蓄積期間Ｔａ１と異なるタイミングで赤外光を照射して、読み出しパルスφＶ６を印加し、距離信号２５を読み出し、これを信号パケット１６ｄに蓄積する。
　信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、距離信号２５を順次出力する。
　このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が各光電変換部に蓄積され始める。
　次に、偶数フレームの初めに、読み出しパルスφＶ２，φＶ６を印加し、図１８に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ～１６ｄに蓄積する。
　信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。
　図１９は、図１３の固体撮像装置の第１、第２及び第３の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔａ３及び、背景光信号蓄積期間Ｔｂにおける詳細動作を示すタイミング図である。第１、第２、第３の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔａ３及び背景光信号蓄積期間Ｔｂにおいて、垂直転送電極１４ｃに印加する読み出しパルスφＶ６は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。
　距離画像の生成においては、まず、距離信号２０、距離信号２１及び距離信号２５に含まれる背景光成分を、背景光信号２２を用いて排除する。ここで、第１の実施形態と比べて、距離信号２５が増えているが、例えば、距離信号２０は長距離を演算するのに適した信号、距離信号２５は近距離を演算するのに適した信号、といったように使い分けすることが可能となる。
　以上、第３の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を更に増加することで、背景光による影響を排除した距離画像が近距離から遠距離まで対応できる、つまり、ダイナミックレンジの広い距離画像を生成することが可能となる。
　更に、図示はしていないが、垂直転送部１１が１０相駆動である場合でも、距離信号２５を取得せず、距離信号２０，２１，２２だけを扱う駆動も可能であるが、この場合は、図１２とは異なり、各信号パケットが常に２ゲート以上で蓄積が可能になるため、第１の実施形態や第２の実施形態と比べて、１フレーム走査期間内に取り扱える電荷量が増えて、４信号を取り扱う駆動だけでなく、この３信号を取り扱う駆動においても、距離精度の向上が可能である。
　なお、第１の実施形態と同様、赤外光の光電変換部１０ｂを市松状に配置して、残りの空いている画素に可視光の光電変換部１０ａを配置すると、図１７で空きパケットとなっている１６ｅ～１６ｈを有効活用できるため、距離画像の解像度を増すことが可能な点は同じである（図示はしない）。
　また、第２の実施形態と同様に、本実施形態の固体撮像装置も、図２０に示すように、読み出し電極１４ａ，１４ｂを市松状にのみ読み出せるようにチャネルストップ領域１８を設けることで、特定色のみ読み出せるようにすることが可能な点も同じである。
　《第４の実施形態》
　図２１は、図１中の固体撮像装置１０５の第４の実施形態を示す平面図である。
　第４の実施形態に係る固体撮像装置は、第３の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第３の実施形態に係る固体撮像装置と同様である。以下、第３の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
　図２１に示した固体撮像装置は、図１２の固体撮像装置と比較して、垂直転送部１１は、１画素あたり垂直転送電極１４が４ゲートある単純な４相駆動である。ただし、赤外光を信号電荷に変換する光電変換部１０ｂの両側の垂直転送部１１には、異なるφＶ１パルスが印加できるように、読み出し電極１４ｂ（図中、Ｖ１Ｌゲート）と読み出し電極１４ｃ（図中、Ｖ１Ｒゲート）が配置されており、読み出し電極１４ｂ，１４ｃに印加する読み出しパルスφＶ１Ｌ，φＶ１Ｒを使い分けることにより、光電変換部１０ｂの両側、どちらの垂直転送部１１にも読み出せるようになっている。なお、本実施形態の特徴である読み出し電極の構成を示す都合上、ＶＳｕｂ電極１７が一番上のフォトダイオードとしか繋がっていないように描かれているが、実際は、第１及び第３の実施形態と同様、各光電変換部１０には縦型オーバーフロードレインが設けられており、任意のタイミングでφＳｕｂパルスを印加することで、全ての光電変換部１０の信号電荷を排出することが可能である。
　図２２は、図２１の固体撮像装置の概略動作を示すタイミング図であって、図１２の固体撮像装置の概略動作を示すタイミング図である図１３と似ているが、駆動相数の違いから、読み出しパルスを印加する電極が異なる。また、第３の実施形態と比べて、距離信号などを取得する際（奇数フレーム）の信号転送回数が減っているとともに、信号パケット数が少ないことも本実施形態の特徴である。
　図２３～図２７は、図２１の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
　まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ１Ｌを印加し、赤外光を照射して、図２３に示すように、光電変換部１０ｂの図中左側の垂直転送部１１に距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
　第１の距離信号蓄積期間Ｔａ１が終了すると、距離信号２０はそのままで、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ１Ｒを印加し、赤外光を照射して、光電変換部１０ｂの図中右側の垂直転送部１１に距離信号２１を読み出し、これを光電変換部１０ｂを介して信号パケット１６ａと反対側の信号パケット１６ｂに蓄積する。
　第２の距離信号蓄積期間Ｔａ２が終了すると、図２５に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ１Ｌを印加し、光電変換部１０ｂの図中左側の垂直転送部１１に背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
　背景光信号蓄積期間Ｔｂが終了すると、図２６に示すように、距離信号２０、距離信号２１及び背景光信号２２はそのままで、第３の距離信号蓄積期間Ｔａ３を開始する。第３の距離信号蓄積期間Ｔａ３では、第１の距離信号蓄積期間Ｔａ１と異なるタイミングで赤外光を照射して、露光した後、読み出しパルスφＶ１Ｒを印加し、光電変換部１０ｂの図中右側の垂直転送部１１に距離信号２５を読み出し、これを光電変換部１０ｂを介して信号パケット１６ｃと反対側の信号パケット１６ｄに蓄積する。
　信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、距離信号２５を順次出力する。
　このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が光電変換部に蓄積され始める。
　第２フレームの初めに、読み出しパルスφＶ２を印加し、図２７に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ～１６ｄに蓄積する。
　信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。
　以上、第４の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を増やすことなく、第３の実施形態と同じく、背景光による影響を排除した距離画像のダイナミックレンジを広くすることが可能となる。
　更に、図２３～図２７に示すように、距離信号２０，２１，２２，２５も、基本的に２ゲートで蓄積が可能なため、第１の実施形態や第２の実施形態と比べて、１フレーム走査期間内に取り扱える電荷量が多く、距離精度の向上が可能である。
　なお、この第４の実施形態に係る構造であれば、位相差法を用いたＴＯＦ型測距システムの構築も容易に対応することが可能である。位相差法は、照射する赤外光を高速で点滅させ、反射光の位相遅れの程度を計測する手法である。例えば、図２８にその駆動タイミングの一例を示す。
　第１の実施形態や第３の実施形態と異なり、赤外光を信号電荷に変換する光電変換部１０ｂに、２つの読み出し電極（Ｖ１Ｌ，Ｖ１Ｒ）が存在することから、距離画像を出力する第１フレームにおいて、図２８のように、１８０度位相の反転した信号を異なる信号パケットに交互に読み出すことが可能である。その後、先の位相と９０度ずれた２つの信号を更に取得することで、位相の異なる４つの信号から距離を算出することが可能となる。
　この場合、第２フレームの可視画像を取得する過程は本実施形態に示すものと同じである。
　以上説明してきたとおり、本発明に係る撮像装置は、動体の距離精度及びフレームレートを向上するので、所定の距離位置に存在する被写体の距離画像とともに可視光画像を取得する撮像装置として有用である。
１０，１０ａ，１０ｂ　光電変換部
１１　垂直転送部
１２　水平転送部
１３　電荷検出部
１４，１４ａ，１４ｂ，１４ｃ，１４ｄ　垂直転送電極
１５　垂直転送路
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ，１６ｇ，１６ｈ　信号パケット
１７　ＶＳＵＢ電極
１８　チャネルストップ領域
２０，２１，２５　距離信号
２２　背景光信号
２３，２４　可視光信号
１０１　被写体
１０２　背景光源
１０３　赤外光源
１０４　レンズ
１０５　固体撮像装置
１０６　制御部
１０７　信号処理部

Claims (13)

  1. 　赤外光を照射する赤外光源と、
    　それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備え、
    　前記固体撮像装置は、
    　　赤外光の照射期間で前記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、
    　　前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力する
    ことを特徴とする撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記固体撮像装置は、
    　　前記複数の第１画素の信号電荷と前記複数の第２画素の信号電荷とを転送する垂直転送部と、
    　　前記転送された信号電荷を信号増幅して出力する出力部とを有する
    ことを特徴とする撮像装置。
  3. 　請求項２記載の撮像装置において、
    　前記垂直転送部は８相駆動である
    ことを特徴とする撮像装置。
  4. 　請求項２記載の撮像装置において、
    　前記垂直転送部は１０相駆動である
    ことを特徴とする撮像装置。
  5. 　請求項２記載の撮像装置において、
    　少なくとも前記複数の第１画素には前記垂直転送部に信号電荷を読み出し可能な読み出し電極が２つ以上設けられている
    ことを特徴とする撮像装置。
  6. 　請求項２記載の撮像装置において、
    　前記複数の第１画素及び前記複数の第２画素は、４画素を１単位として全て別の読み出し電極から前記垂直転送部に信号電荷を読み出す
    ことを特徴とする撮像装置。
  7. 　請求項２記載の撮像装置において、
    　前記垂直転送部は、４相駆動であり、
    　前記複数の第１画素は、隣接する２つの前記垂直転送部のどちらにも選択的に信号を読み出せる
    ことを特徴とする撮像装置。
  8. 　請求項１～７のいずれか１項に記載の撮像装置において、
    　前記複数の第２画素は、ブルーを受光するブルー画素と、グリーンを受光するグリーン画素と、レッドを受光するレッド画素との３種類からなる
    ことを特徴とする撮像装置。
  9. 　請求項１～７のいずれか１項に記載の撮像装置において、
    　前記複数の第２画素は、イエローを受光するイエロー画素と、シアンを受光するシアン画素と、グリーンを受光するグリーン画素と、マゼンタを受光するマゼンタ画素との４種類、又はこれらのうちいずれか３種類からなる
    ことを特徴とする撮像装置。
  10. 　請求項１～９のいずれか１項に記載の撮像装置において、
    　前記赤外光をパルス状に発光させて、被写体を含む空間に照射し、
    　異なる２つの期間に受光した反射光から、前記複数の第１画素の各々で前記第１の信号として２つ以上の距離信号を生成し、
    　前記２つ以上の距離信号と、前記赤外光の非照射期間に生成した前記第２の信号との各々の差分で背景光成分を除去し、
    　前記２つ以上の距離信号のうち２つの距離信号の比率によって被写体までの距離を求める、ＴＯＦ型の測距センサとして機能する
    ことを特徴とする撮像装置。
  11. 　請求項１～９のいずれか１項に記載の撮像装置において、
    　前記赤外光を特定パターンで、被写体を含む空間に照射して、前記第１の信号を生成し、
    　前記第１の信号と、前記赤外光の非照射期間に生成した前記第２の信号との差分で背景光成分を除去し、
    　各照射パターンの位置ずれ量によって被写体までの距離を求める、パターン照射型の測距センサとして機能する
    ことを特徴とする撮像装置。
  12. 　請求項１～９のいずれか１項に記載の撮像装置において、
    　前記赤外光を、被写体を含む空間に照射して、前記第１の信号を生成し、
    　前記第１の信号と、前記赤外光の非照射期間に生成した前記第２の信号との差分で背景光成分を除去し、
    　三角測量法によって被写体までの距離を求める、ステレオ方式の測距センサとして機能する
    ことを特徴とする撮像装置。
  13. 　赤外光を照射する赤外光源と、それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備えた撮像装置の駆動方法であって、
    　赤外光の照射期間で前記複数の第１画素から第１の信号を得るステップと、
    　赤外光の非照射期間で前記複数の第１画素から第２の信号を得るステップと、
    　第１のフレーム走査期間内で、前記第１及び第２の信号を出力するステップと、
    　前記複数の第１画素から第３の信号を得るステップと、
    　前記複数の第２画素から第４の信号を得るステップと、
    　第２のフレーム走査期間内で、前記第３及び第４の信号を出力するステップとを備えたことを特徴とする撮像装置の駆動方法。
PCT/JP2014/003028 2013-07-23 2014-06-06 撮像装置及びその駆動方法 WO2015011869A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015528122A JP6442710B2 (ja) 2013-07-23 2014-06-06 固体撮像装置、撮像装置及びその駆動方法
US14/988,846 US9736438B2 (en) 2013-07-23 2016-01-06 Solid state imaging device and imaging device and driving method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013152653 2013-07-23
JP2013-152653 2013-07-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/988,846 Continuation US9736438B2 (en) 2013-07-23 2016-01-06 Solid state imaging device and imaging device and driving method thereof

Publications (1)

Publication Number Publication Date
WO2015011869A1 true WO2015011869A1 (ja) 2015-01-29

Family

ID=52392937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003028 WO2015011869A1 (ja) 2013-07-23 2014-06-06 撮像装置及びその駆動方法

Country Status (3)

Country Link
US (1) US9736438B2 (ja)
JP (1) JP6442710B2 (ja)
WO (1) WO2015011869A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
WO2017217240A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 撮影装置、撮影方法、プログラム
JP2018009917A (ja) * 2016-07-15 2018-01-18 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置及び測距方法
EP3334152A4 (en) * 2015-08-04 2018-08-22 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device
WO2019021439A1 (ja) * 2017-07-27 2019-01-31 マクセル株式会社 撮像素子、撮像装置、および距離画像の取得方法
JP6485675B1 (ja) * 2017-09-14 2019-03-20 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JP6485676B1 (ja) * 2017-09-14 2019-03-20 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JPWO2018110183A1 (ja) * 2016-12-14 2019-11-07 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
JP2020101377A (ja) * 2018-12-20 2020-07-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム
WO2022038991A1 (ja) * 2020-08-17 2022-02-24 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
DE102016205804A1 (de) * 2016-04-07 2017-10-12 Siemens Aktiengesellschaft Positionsbestimmungssystem
US10764505B2 (en) 2016-08-10 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Projection image pickup device and projection image pickup method
WO2018101049A1 (ja) * 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 固体撮像装置及び測距撮像装置
DE102017205631A1 (de) * 2017-04-03 2018-10-04 Robert Bosch Gmbh LiDAR-System und Verfahren zum Ermitteln eines Systemzustands eines LiDAR-Systems
US20180332239A1 (en) * 2017-05-10 2018-11-15 Lifetouch Inc. Background replacement utilizing infrared light and visible light
CN107463877A (zh) * 2017-07-05 2017-12-12 广东欧珀移动通信有限公司 虹膜采集方法、电子装置和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005213A (ja) * 2006-06-22 2008-01-10 Fujifilm Corp 固体撮像装置およびその駆動方法
JP2008008700A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
JP4440239B2 (ja) * 2006-08-18 2010-03-24 富士フイルム株式会社 距離画像作成方法及び距離画像センサ、及び撮影装置
US8212877B2 (en) * 2007-03-02 2012-07-03 Fujifilm Corporation Image capturing system, image capturing method, and computer program product at which an image is captured at a predetermined time
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
WO2011059127A1 (ko) * 2009-11-13 2011-05-19 한국과학기술연구원 적외선 센서 및 이를 이용한 감지 방법
KR101681198B1 (ko) * 2010-02-04 2016-12-01 삼성전자주식회사 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
US8642938B2 (en) * 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
JP6368115B2 (ja) * 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
JP6582987B2 (ja) * 2013-10-23 2019-10-02 日本電気株式会社 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
JP6207351B2 (ja) * 2013-11-12 2017-10-04 キヤノン株式会社 固体撮像装置および撮像システム
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
US9425233B2 (en) * 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
US9871065B2 (en) * 2014-12-22 2018-01-16 Google Inc. RGBZ pixel unit cell with first and second Z transfer gates
KR102282218B1 (ko) * 2015-01-30 2021-07-26 삼성전자주식회사 3 차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3 차원 영상 획득 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005213A (ja) * 2006-06-22 2008-01-10 Fujifilm Corp 固体撮像装置およびその駆動方法
JP2008008700A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3334152A4 (en) * 2015-08-04 2018-08-22 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device
US10666875B2 (en) 2015-08-04 2020-05-26 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
US10868966B2 (en) 2016-06-15 2020-12-15 Sony Corporation Imaging apparatus and imaging method
JPWO2017217240A1 (ja) * 2016-06-15 2019-04-04 ソニー株式会社 撮影装置、撮影方法、プログラム
JP7014150B2 (ja) 2016-06-15 2022-02-01 ソニーグループ株式会社 撮影装置、撮影方法、プログラム
WO2017217240A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 撮影装置、撮影方法、プログラム
CN107852472A (zh) * 2016-06-15 2018-03-27 索尼公司 成像装置、成像方法和程序
JP2018009917A (ja) * 2016-07-15 2018-01-18 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置及び測距方法
JPWO2018110183A1 (ja) * 2016-12-14 2019-11-07 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
JPWO2019021439A1 (ja) * 2017-07-27 2020-04-09 マクセル株式会社 撮像素子、撮像装置、および距離画像の取得方法
WO2019021439A1 (ja) * 2017-07-27 2019-01-31 マクセル株式会社 撮像素子、撮像装置、および距離画像の取得方法
US11506766B2 (en) 2017-07-27 2022-11-22 Maxell, Ltd. Image-capturing device, image-capturing apparatus and method of acquiring distance image
US12044805B2 (en) 2017-07-27 2024-07-23 Maxell, Ltd. Image-capturing device, image-capturing apparatus and method of acquiring distance image
WO2019054101A1 (ja) * 2017-09-14 2019-03-21 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
WO2019054102A1 (ja) * 2017-09-14 2019-03-21 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JP6485676B1 (ja) * 2017-09-14 2019-03-20 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JP6485675B1 (ja) * 2017-09-14 2019-03-20 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JP2020101377A (ja) * 2018-12-20 2020-07-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム
JP7130544B2 (ja) 2018-12-20 2022-09-05 三星電子株式会社 ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム
WO2022038991A1 (ja) * 2020-08-17 2022-02-24 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JPWO2015011869A1 (ja) 2017-03-02
JP6442710B2 (ja) 2018-12-26
US20160119594A1 (en) 2016-04-28
US9736438B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
JP6442710B2 (ja) 固体撮像装置、撮像装置及びその駆動方法
JP6145826B2 (ja) 撮像装置及びその駆動方法
JP6008148B2 (ja) 撮像装置
WO2013027340A1 (ja) 撮像装置
US11276719B2 (en) Solid-state imaging device and distance-measuring imaging device
US8139116B2 (en) Range image system for obtaining subject image of predetermined distance position
CN106576146B (zh) 摄像装置及用于该摄像装置的固体摄像装置
US10728439B2 (en) Image-capturing apparatus and motion detection method
US9838611B2 (en) Image capturing apparatus for obtaining normal image and range image and control method thereof
JP6160971B2 (ja) 固体撮像素子及び測距撮像装置
US20160173802A1 (en) Solid-state imaging device, imaging apparatus, and method for driving the same
JP6362511B2 (ja) 撮像装置及びその制御方法
JP2009117979A (ja) 固体撮像装置の駆動方法
JP4321620B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP2007235888A (ja) 単板式カラー固体撮像素子及び撮像装置
JP2009141578A (ja) 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP2009141579A (ja) 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP3932563B2 (ja) 固体撮像装置
JP2009100404A (ja) 固体撮像素子の駆動方法及び撮像装置
JP2009130731A (ja) 撮像装置及び撮像装置の駆動方法
JP2009147884A (ja) 固体撮像素子の駆動方法及び撮像装置
JP2009290721A (ja) 撮像装置及び撮像装置の駆動方法
JP2008236171A (ja) 撮像素子およびそれを用いた撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14828650

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015528122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14828650

Country of ref document: EP

Kind code of ref document: A1