WO2017150246A1 - 撮像装置、及びそれに用いられる固体撮像素子 - Google Patents

撮像装置、及びそれに用いられる固体撮像素子 Download PDF

Info

Publication number
WO2017150246A1
WO2017150246A1 PCT/JP2017/006106 JP2017006106W WO2017150246A1 WO 2017150246 A1 WO2017150246 A1 WO 2017150246A1 JP 2017006106 W JP2017006106 W JP 2017006106W WO 2017150246 A1 WO2017150246 A1 WO 2017150246A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
exposure
light
period
imaging
Prior art date
Application number
PCT/JP2017/006106
Other languages
English (en)
French (fr)
Inventor
充彦 大谷
遥 高野
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP17759712.7A priority Critical patent/EP3425901A4/en
Priority to JP2018503043A priority patent/JPWO2017150246A1/ja
Priority to CN201780013687.4A priority patent/CN108886593A/zh
Publication of WO2017150246A1 publication Critical patent/WO2017150246A1/ja
Priority to US16/104,228 priority patent/US20190007592A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present invention relates to an imaging device and a solid-state imaging device used therefor.
  • Patent Document 1 discloses a conventional technique for improving the accuracy of three-dimensional detection by using a distance image obtained by a distance image sensor and a luminance image obtained by a normal image sensor in combination for calculation and signal processing. Has been.
  • the present invention provides a small-sized imaging device that has high detection accuracy or high measurement accuracy and that realizes three-dimensional detection, measurement, display, or depiction whose accuracy does not depend on ambient illuminance. For the purpose.
  • an imaging device includes a control unit that generates a light emission signal instructing irradiation of irradiation light and an exposure signal instructing exposure of reflected light from an object;
  • a light source unit that irradiates the irradiation light with the light emission signal, and a plurality of pixels, performs exposure a plurality of times with the exposure signal, and performs imaging to store signals in a plurality of signal storage units different for each pixel
  • An imaging unit including a solid-state imaging device that outputs an imaging signal corresponding to the imaging, and a signal processing unit that outputs a distance image and a luminance image by calculation based on a signal amount in the imaging signal, and the imaging signal Has a distance imaging signal for calculating the distance image and a luminance imaging signal for calculating the luminance image, and the solid-state imaging device uses the common distance imaging signal and the luminance imaging signal as the common imaging signal.
  • Pixel The light source unit generates the irradiation
  • a high-precision distance image and a high-quality luminance image can be obtained from the solid-state imaging device. Therefore, small and high detection can be performed by using the distance image and the luminance image in combination. It is possible to realize three-dimensional detection, measurement, display, or depiction that has accuracy or measurement accuracy, and the accuracy does not depend on ambient illuminance.
  • FIG. 9 is a timing chart of the first third light emission exposure period and the second first light emission exposure period in the distance image frame.
  • FIG. 10 is a diagram for explaining an example of the timing for detecting the exposure amount of the imaging apparatus according to the first modification of the first embodiment.
  • FIG. 11 is a diagram illustrating an example of timing for detecting the exposure amount of the imaging apparatus according to the first modification of the first embodiment.
  • FIG. 12 is a diagram illustrating an example of timing for detecting the exposure amount of the imaging apparatus according to the second modification of the first embodiment.
  • FIG. 13 is a diagram for explaining a change in the exposure amount with respect to the distance of the subject of the imaging apparatus according to the second modification of the first embodiment.
  • FIG. 10 is a diagram for explaining an example of the timing for detecting the exposure amount of the imaging apparatus according to the first modification of the first embodiment.
  • FIG. 11 is a diagram illustrating an example of timing for detecting the exposure amount of the imaging apparatus according to the first modification of the first embodiment.
  • FIG. 12 is
  • FIG. 14 is a diagram for explaining the relationship between the actual distance and the distance measurement value of the imaging apparatus according to the second modification of the first embodiment.
  • FIG. 15 is a diagram illustrating an example of timing for detecting the exposure amount of the imaging apparatus according to the third modification of the first embodiment.
  • FIG. 16 is a diagram for explaining the relationship between the relative phase between the light emission signal and the exposure signal and the exposure amount of the imaging apparatus according to the third modification of the first embodiment.
  • FIG. 17 is a timing chart illustrating an outline of the operation of the imaging apparatus according to the fourth modification of the first embodiment.
  • FIG. 18 is a timing chart illustrating an outline of the operation of the imaging apparatus according to the fifth modification of the first embodiment.
  • FIG. 19 is a timing chart illustrating an outline of the operation of the imaging apparatus according to the sixth modification of the first embodiment.
  • FIG. 20 is a timing chart illustrating an outline of the operation of the imaging apparatus according to the seventh modification of the first embodiment.
  • FIG. 21 is a timing chart illustrating an outline of the operation of the imaging apparatus according to the second embodiment.
  • FIG. 22 is a timing chart illustrating an outline of the operation of the imaging apparatus according to the second embodiment.
  • FIG. 23 is a diagram for explaining the timing for detecting the exposure amount of the imaging apparatus according to the second embodiment.
  • FIG. 24 is a diagram illustrating an example of the configuration of a CMOS image sensor.
  • FIG. 1 is a functional block diagram illustrating an example of a schematic configuration of an imaging apparatus (ranging imaging apparatus) 10 according to the first embodiment.
  • the imaging device 10 includes a light source unit 1, an imaging unit 2, a control unit (drive control unit) 3, and a signal processing unit 4. With this configuration, the imaging apparatus 10 can capture not only a still image but also a moving image.
  • the control unit 3 includes at least an exposure signal control unit 3A and a light emission signal control unit 3B.
  • the light emission signal control unit 3B instructs the light emission to the subject (object, measurement object) and the exposure signal control unit 3A. To generate an exposure signal instructing exposure of reflected light from the subject and background light to be described later.
  • the light emission signal control unit 3B and the exposure signal control unit 3A are configured in the control unit 3, but the light emission signal control unit 3B and the exposure signal control unit 3A are configured as individual control units. May be.
  • the light emission signal control unit 3B may be configured in the light source unit 1, and the exposure signal control unit 3A may be configured in the imaging unit 2.
  • the imaging unit 2 has a solid-state imaging device 20.
  • the solid-state imaging device 20 receives reflected light (pulse light) reflected from the irradiation light.
  • the solid-state imaging device 20 receives background light (disturbance light) such as sunlight or background light (disturbance light) that is an offset component such as a dark current component by not performing the light emission operation of the light source unit 1. .
  • the solid-state imaging device 20 performs exposure a plurality of times in accordance with the timing indicated by the exposure signal generated by the control unit 3 on the region including the subject, and a plurality of signal accumulation units (vertical transfer in FIG. 2A) different for each pixel.
  • the accumulated signal is transferred to obtain an imaging signal corresponding to the exposure amount and a second imaging signal.
  • the imaging signal includes a distance imaging signal for exposing a reflected light from the subject based on the irradiation light and generating a distance image described later, and a luminance imaging signal for generating a luminance image.
  • the second imaging signal is a signal obtained by exposing background light such as sunlight or background light that is an offset component such as a dark current component in a state where irradiation light is not emitted from the light source unit 1.
  • the imaging unit 2 further includes circuits such as a camera lens, an optical bandpass filter (bandpass filter) that passes only near the wavelength of light emitted from the light source unit 1, and an A / D converter as appropriate.
  • circuits such as a camera lens, an optical bandpass filter (bandpass filter) that passes only near the wavelength of light emitted from the light source unit 1, and an A / D converter as appropriate.
  • the imaging unit 2 of the imaging apparatus 10 is used as a CCD (Charge Coupled Device) type solid-state imaging device (image sensor) will be described as an example.
  • CCD Charge Coupled Device
  • FIG. 2A is a diagram showing a configuration of a CCD type solid-state imaging device 20.
  • FIG. 2A is a configuration diagram illustrating an example of the solid-state imaging device 20 according to the present embodiment, and the imaging unit 2 includes the solid-state imaging device 20.
  • the imaging unit 2 includes the solid-state imaging device 20.
  • the solid-state imaging device 20 includes a plurality of light receiving regions (light receiving units, photoelectric conversion units, for example, photodiodes, PDs) 21, and a plurality of readout gates (reading units). 22, a plurality of vertical transfer units (first transfer units) 23, a horizontal transfer unit (second transfer unit) 24, an output amplifier 25, and a signal ⁇ SUB that controls the semiconductor substrate voltage (SUB) are input. And a SUB terminal 26.
  • the vertical transfer unit 23 and the horizontal transfer unit 24 are also charge storage units (signal storage units) that store charges (signals and signal charges) as well as transfer charges (signals and signal charges).
  • the plurality of light receiving regions 21 are arranged in a matrix on the semiconductor substrate, and each converts incident light into signal charges.
  • FIG. 2B is a diagram illustrating an example of a pixel array of the solid-state imaging device 20 according to the first embodiment.
  • each pixel 27 of the solid-state imaging device 20 is an image sensor having sensitivity to irradiation light (for example, infrared IR (including near infrared rays and far infrared rays)) and background light.
  • irradiation light for example, infrared IR (including near infrared rays and far infrared rays)
  • the solid-state imaging device 20 according to Embodiment 1 is not limited to the pixel array in FIG. 2B, and as illustrated in FIGS. 2D and 2E, other pixels (for example, W that receives visible light).
  • the pixel arrangement may include (white) pixels or R (red) pixels, G (green) pixels, and B (blue)) that receive light in a specific wavelength band of visible light.
  • FIG. 2C is a diagram for explaining that a distance imaging signal and a luminance imaging signal are generated from the same pixel in the solid-state imaging device 20 according to the first embodiment.
  • the pixel structure of the solid-state imaging device 20 includes a pixel (or a light receiving region) that generates a luminance imaging signal, a pixel (or a light receiving region) that generates a distance imaging signal, and a second imaging signal.
  • the generated pixels (or light receiving regions) are not different from each other, and are characterized in that an imaging signal (luminance imaging signal and distance imaging pixel) and a second imaging signal are generated from the same pixel (common pixel) 27. is there.
  • the aperture ratio of the pixel 27 that generates the imaging signal (the ratio of the area that can receive light per unit area) can be increased, the generation of a highly accurate imaging signal with less noise, and the solid-state imaging device 20 and imaging. Miniaturization of the device 10 can be realized.
  • each of the plurality of readout gates 22 is provided corresponding to the light receiving region 21 and reads the signal charge from the corresponding light receiving region 21.
  • the output amplifier 25 sequentially detects the signal charges transferred from the horizontal transfer unit 24, converts them into voltage signals, and outputs them.
  • the gates V1 and V5 are provided corresponding to each of the plurality of light receiving regions 21 so that they can be read out row by row and column by column.
  • the read gate 22 is shared.
  • a channel stop 28 is provided on the light receiving region 21 on the side opposite to the side where the readout gate 22 is formed in order to suppress the mixing of signal charges.
  • a vertical charge drain (VOFD) 29 is formed in the bulk direction (semiconductor substrate depth direction) of each light receiving region 21, and all light is received when a high voltage is applied to the SUB terminal 26.
  • the signal charges in the region 21 are collectively discharged through the vertical charge discharge drain 29. Specifically, when the SUB terminal 26 is at the high level, the signal charge in the light receiving region 21 is discharged to the semiconductor substrate (external), and when the SUB terminal 26 is at the low level, the photoelectric charge is generated in the light receiving region 21. The converted signal charge is accumulated.
  • ⁇ V1 and ⁇ V5 which are pulses applied to the gates V1 and V5 constituting the vertical transfer unit 23, are set to a high level and the read gate 22 is opened, and the SUB terminal 26 is set to a low level, light reception is performed.
  • the signal charges photoelectrically converted in the region 21 are accumulated in the packet under the gate V1 and the packet under the gate V5.
  • the exposure signal output from the control unit 3 and instructing the exposure timing is a signal ⁇ SUB that is input to the SUB terminal 26 and controls the semiconductor substrate voltage (SUB).
  • the imaging apparatus 10 according to the present embodiment uses the TOF method as a method for obtaining a distance image, and has a rectangular wave type in which there is a phase in which exposure is not performed in repeated light-emission exposure.
  • the basic principle is the TOF method (pulse TOF method).
  • FIG. 3 is a timing chart showing an outline of the operation of the imaging apparatus 10 according to the first embodiment. More specifically, FIG. 3 shows an example of drive timings in which signal charges generated in two light receiving regions 21 adjacent to the left and right are read to the vertical transfer unit 23 and vertically transferred within one frame period.
  • the vertical synchronization pulse VD, the exposure signal ⁇ SUB, ⁇ V1 and ⁇ V5 shared with the readout gate 22 among the gates V1 to V8 constituting the vertical transfer unit 23, and the light source unit 1 are irradiated. Illuminated light (infrared light), reflected light reflected by a subject, background light, and Signal indicating an image of signal charges generated in the light receiving region 21 are shown.
  • the vertical synchronization pulse VD is a plurality of frames per second, and each one frame period is composed of a distance image frame and a luminance image frame.
  • the distance image frame period includes a first light emission exposure period (A0 period), a second light emission exposure period (A1 period), and a third light emission exposure period (A2 period) in order to obtain a distance imaging signal (imaging signal). ) And a distance transfer period (TOF transfer period).
  • Each of the first light emission exposure period (A0 period) and the second light emission exposure period (A1 period) depends on the distance to the subject with respect to the irradiation timing of the light (irradiation light) emitted from the light source unit 1.
  • the exposure timing of the reflected light (reflected light 1, reflected light 2) delayed in the light receiving region 21 is different.
  • the exposure signal ⁇ SUB from the control unit 3 instructing the exposure of the reflected light (reflected light 1, reflected light 2) delayed according to the distance to the subject in the light receiving region 21 of the solid-state imaging device 20 with respect to the irradiation timing of The timing phases are different from each other.
  • the third light emission exposure period (A2 period) the light irradiation from the light source unit 1 is stopped and only the background light is exposed in the light receiving region 21 in accordance with the timing of the exposure signal ⁇ SUB from the control unit 3. This is a period for obtaining an imaging signal.
  • the distance transfer period In the distance transfer period (TOF transfer period), three types of signals accumulated by exposure in the first, second, and third light emission exposure periods are transferred, and a distance imaging signal (imaging signal) is output to the signal processing unit 4. It is a period to do.
  • the luminance image frame includes a luminance exposure period (YIR period), a luminance background light exposure period (YBG period), and a luminance transfer period in order to obtain a luminance imaging signal (imaging signal).
  • YIR period luminance exposure period
  • YBG period luminance background light exposure period
  • imaging signal luminance imaging signal
  • the luminance exposure period is a period in which light (irradiated light) is emitted from the light source unit 1 in accordance with the light emission signal generated by the control unit 3 and the reflected light from the subject is exposed in the light receiving region 21.
  • the luminance background light exposure period (YBG period) is a period in which light irradiation from the light source unit 1 is stopped and only the background light is exposed in the light receiving region 21 to obtain the second imaging signal.
  • the luminance transfer period is a period in which two types of signals accumulated by exposure in the luminance exposure period and the luminance background light exposure period are transferred and a luminance imaging signal (imaging signal) is output to the signal processing unit 4.
  • the imaging device 10 does not generate only the background light when generating the luminance imaging signal, as in the case of generating the distance imaging signal, but the light emission signal generated by the control unit 3. According to this, it produces
  • the light source unit 1 irradiates the irradiation light according to the timing indicated by the light emission signal during the exposure period of the solid-state imaging device 20 for obtaining the luminance imaging signal. is there.
  • the imaging apparatus 10 emits light (irradiation light) from the light source unit 1 even during an exposure period for obtaining a luminance image signal.
  • a luminance image can be obtained.
  • a signal for obtaining a distance image is selected with priority on the distance measurement accuracy, and a signal for obtaining a luminance image Can give priority to the image quality.
  • FIG. 4 is a timing chart of the first first light emission exposure period and the first second light emission exposure period in the distance image frame.
  • FIG. 5 is a timing chart of the first third light emission exposure period and the second first light emission exposure period in the distance image frame.
  • FIG. 7 is a timing chart of a luminance exposure period, a luminance background light exposure period, and a luminance transfer period in a luminance image frame.
  • FIG. 6 is a diagram for explaining an example of the timing for detecting the exposure amount in the distance image frame of the imaging apparatus 10 according to the first embodiment.
  • FIG. 6A shows the timing relationship in one distance image frame of the light emission signal (irradiation light), the exposure signal ( ⁇ SUB), and the readout signals ( ⁇ V1, ⁇ V5) output from the control unit 3.
  • FIG. 6B shows the detection timing of the exposure amount a0 in the first light emission exposure period (A0 period).
  • C) of FIG. 6 represents the detection timing of the exposure amount a1 in the second light emission exposure period (A1 period).
  • FIG. 6D shows the detection timing of the exposure amount a2 in the third light emission exposure period (A2 period).
  • the light source In response to the timing at which the unit 1 receives the light emission signal from the control unit 3 and irradiates light, the light receiving region 21 receives the exposure signal ⁇ SUB that has passed the first delay time from the control unit 3, and the period of the low level. Perform exposure with.
  • the length of the first exposure signal ( ⁇ SUB is low level) period is the same as T 0 of the light emission signal period, and the first delay time is 0, It is set to a period during which the light emission signal is transmitted (high level).
  • the light source unit is set with ⁇ V1 and ⁇ V5 set to the high level and the read gate 22 opened.
  • the light receiving area 21 receives an exposure signal ⁇ SUB having a second delay time different from the first delay time from the control unit 3 with respect to the timing at which 1 receives the light emission signal from the control unit 3 and emits light. Then, exposure is performed during the low level period.
  • the second light emission exposure is repeated m times, and the charge generated by the exposure is transferred to the packet and gate under the gate V1 which is the readout gate 22 of the vertical transfer unit 23. Accumulate in packets under V5. Thereafter, ⁇ V1 and ⁇ V5 are set to the middle level, the read gate 22 is closed, and pulses of ⁇ V1 to ⁇ V8 shown at the timings of times T10 to T18 in FIG.
  • the light source unit 1 is in a state where ⁇ V1 and ⁇ V5 are set to the high level and the readout gate 22 is opened.
  • the light receiving area 21 receives the exposure signal ⁇ SUB from the control unit 3 and performs exposure in the low level period.
  • the length of the exposure signal period ( ⁇ SUB is low level) in this period is set to T 0 which is the same as the lengths of the first exposure signal period and the second exposure signal period.
  • the third light emission exposure is repeated m times, and the charge generated by the exposure is transferred to the packet and gate under the gate V1 which is the readout gate 22 of the vertical transfer unit 23. Accumulate in packets under V5. Thereafter, ⁇ V1 and ⁇ V5 are set to the middle level, the read gate 22 is closed, and pulses of ⁇ V1 to ⁇ V8 shown at timings T19 to T36 in FIG. 5 are applied. As a result, the signal charge accumulated in the A0-1 period in the vertical transfer unit 23, the signal charge accumulated in the A1-1 period, and the signal charge accumulated in the A2-1 period are reversed in the vertical transfer unit 23. In the direction, the charge is transferred so that the signal charge accumulated in the A0-1 period comes to the packet in which the read gate 22 exists.
  • the vertical transfer unit is independently 23 stored in the packet.
  • the signal charges accumulated in the A0-1 period and A0-2 period in the vertical transfer unit 23 are transferred in the forward direction in the vertical transfer unit 23, and the signal charge accumulated in the A1-1 period is transferred to the read gate 22 Come in existing packets.
  • the first second light emission exposure period (A1-1 period) and the second second light emission exposure period (A1-2 period) By performing exposure in the same operation, the signal charge accumulated in the A1-1 period and the signal charge accumulated in the A1-2 period are added in the vertical transfer unit 23. Further, during the second third light emission exposure period (A2-2 period), exposure is performed in the same manner as the first third light emission exposure period (A2-1 period), so that accumulation is performed in the A2-1 period. The signal charges thus accumulated and the signal charges accumulated during the period A2-2 are added in the vertical transfer section 23.
  • FIG. 6 shows an example of a timing relationship in one screen of the light emission signal, the irradiation light, the first to third exposure signals ( ⁇ SUB), and the readout signals ( ⁇ V1, ⁇ V5).
  • the light emission signal and the exposure signal are repeated m times in the first to third light emission exposure periods, and a series of timings is set as one set.
  • Output a signal the sum of the exposure amount a0 based on the first exposure signal is A0
  • the sum of the exposure amount a1 based on the second exposure signal is A1
  • the sum of the exposure amount a2 based on the third exposure signal is A2.
  • the signal processing unit 4 can calculate the distance L to the subject by performing the following equation 1 for each pixel.
  • exposure control is performed only by the signal ⁇ SUB for controlling the substrate voltage (SUB) in a state in which ⁇ V1 and ⁇ V5 are set to the high level and the readout gate 22 is opened.
  • the exposure signal from the control unit 3 is set with ⁇ V1 and ⁇ V5 set to the middle level and the readout gate 22 closed.
  • ⁇ SUB is once set to the high level, and all charges accumulated in the light receiving region 21 are discharged to the semiconductor substrate (external), and then returned to the low level.
  • ⁇ V1 and ⁇ V5 are set to the middle level, the read gate 22 is closed, and pulses of ⁇ V1 to ⁇ V8 shown at the timings T1 to T9 in FIG. 7 are applied.
  • the signal charge accumulated in the YIR period in the vertical transfer unit 23 is transferred to the packet under the gate where the read gate 22 does not exist in the forward direction in the vertical transfer unit 23, and the signal charge under the gates V1 and V5 is empty. It becomes.
  • the time from the end of light irradiation from the light source unit 1 until ⁇ V1 and ⁇ V5 are set to the high level may be set in consideration of the delay due to the optical path of the reflected light at the farthest object to be imaged.
  • the exposure period starts when the exposure signal ⁇ SUB from the control unit 3 is changed from the High level to the Low level, and ends when ⁇ V1 and ⁇ V5 are set to the High level and the readout gate 22 is opened.
  • the signal charge accumulated by the exposure is due to the reflected light from the subject and the background light over the exposure period, and the image is as shown by Signal in FIG.
  • the luminance background light exposure period (YBG period) of the luminance image frame is set from the control unit 3 in a state where ⁇ V1 and ⁇ V5 are set to the middle level and the readout gate 22 is closed.
  • the exposure signal ⁇ SUB is once set to the high level, and all charges accumulated in the light receiving region 21 are discharged to the semiconductor substrate (external), and then returned to the low level.
  • the signal charge accumulated in the YIR period and the signal charge accumulated in the YBG period are independently stored in the packet in the vertical transfer unit 23 without mixing.
  • the exposure period of the luminance background light exposure period starts when the exposure signal ⁇ SUB from the control unit 3 is changed from High level to Low level, ⁇ V1 and ⁇ V5 are set to High level, and the readout gate 22 is opened. By the way, it ends.
  • the length of the exposure period of the luminance background light exposure period (YBG period) is the same as the length of the exposure period of the luminance exposure period (YIR period). Therefore, the signal charge accumulated in the exposure is due to the background light over the exposure period, and the exposure amount is the same as the background light included in the signal exposed in the luminance exposure period (YIR period).
  • the image is as indicated by Signal in FIG.
  • the signal charges in all the light receiving regions 21 are discharged to the outside through the vertical charge discharging drain 29 all at once.
  • an operation for collectively resetting the plurality of light receiving regions 21 (photodiodes), so-called global reset, can be performed, and by obtaining a distance image and a luminance image with matching viewpoints and no image distortion, high measurement can be performed. Accuracy of distance and subject detection can be obtained.
  • the length of the third exposure signal ( ⁇ SUB is low level) period is equal to the length of the light emission signal period or the first and second exposure signal periods.
  • the same T 0 as the length and the third delay time are set to 2 ⁇ T 0 obtained by adding the first delay time 0, the first exposure signal period T 0, and the second exposure period T 0 .
  • the delay Td due to the optical path of the reflected light (reflected light 1, reflected light 2) from the subject with respect to the light emission signal timing (irradiation light) is the first exposure signal for the timing at which the light source unit 1 receives the light emission signal and emits light.
  • T 0 the value obtained by adding the ⁇ SUB delay time 0 and the first exposure signal period T 0 , only the background light is exposed in the third exposure signal period as shown in FIG.
  • the delay Td due to the optical path of the reflected light (reflected light 1, reflected light 2) from the subject with respect to the light emission signal timing (irradiation light) is the first exposure signal for the timing at which the light source unit 1 receives the light emission signal and emits light.
  • the delay time 0 of ⁇ SUB is equal to or greater than the value T 0 obtained by adding the first exposure signal period T 0 , only the background light is exposed in the first exposure signal period as shown in FIG.
  • the signal processing unit 4 determines whether the exposure amount a0 based on the first exposure signal is A0, the sum of the exposure amount a1 based on the second exposure signal is A1, and the sum of the exposure amount a2 based on the third exposure signal is A2, the signal processing unit 4 Then, the size relationship between A0 and A2 is determined for each pixel, and the distance L to the subject is calculated by performing the following expressions 3 and 5 according to the determination results (expressions 2 and 4). Can be calculated.
  • the distance L to the subject is calculated by Equation 5.
  • the irradiation light and the exposure signal are not ideal rectangular waves but require a certain transition time, so that the length of the signal period is shorter than the ideal value.
  • a laser diode, a light emitting diode (LED), or the like as a light emitting element has a relatively large driving load, so that a transition time of irradiation light becomes long and a signal period tends to be shorter than an exposure signal.
  • FIG. 15 is a diagram for explaining an example of timing for detecting the exposure amount in the distance image frame of the imaging apparatus 10 according to the third modification of the first embodiment.
  • the third delay time which is the delay time until the third exposure signal period starts with respect to the timing at which the light source unit 1 receives the light emission signal from the control unit 3 and emits light, It is set to Dp + 2 ⁇ T 0 obtained by adding the delay time Dp and the first exposure signal period T 0 and a second exposure signal period T 0.
  • FIG. 16 is a diagram for explaining the relationship between the relative phase between the light emission signal and the exposure signal and the exposure amount of the imaging apparatus 10 according to the third modification of the first embodiment. More specifically, FIG. 16 shows that the subject is fixed to 1/4 of the desired distance measurement range, that is, (c ⁇ To / 2) / 2 of the distance measurement range by the above timing.
  • the first exposure signal when the relative phase relationship between the three exposure signal periods is fixed and only the relative phase between the light emission signal and the exposure signal is scanned, that is, the value of Dp which is the first delay time is scanned. It is the graph which plotted the signal amount change of exposure amount total A0 and the signal amount change of exposure amount total A1 by the 2nd exposure signal.
  • a point where the sum A0 of the exposure amount based on the first exposure signal and the sum A1 of the exposure amount based on the second exposure signal coincide with each other is selected as Dp, it becomes Td-To / 2, and the position of the subject is within the distance measuring range.
  • the relative phase of the light emission signal and the exposure signal is automatically optimized so that it becomes c ⁇ To / 2/2, that is, 1/4 of the distance measurement range from the lower limit of Distance can be measured with high accuracy.
  • the distance image becomes highly accurate in a desired range, so that three-dimensional detection and measurement are highly accurate in the desired range. It has the effect of becoming.
  • FIG. 17 is a timing chart illustrating an outline of the operation of the imaging apparatus 10 according to the fourth modification of the first embodiment.
  • the difference from the first embodiment is that the light emitted from the light source unit 1 in the luminance exposure period (YIR period) of the luminance image frame is not continuous irradiation, but is intermittent irradiation as in the exposure period of the distance image frame.
  • the distance measuring range (limit) is proportional to the length T 0 of one light emission signal period from the control unit 3 as described above, and the accuracy is inversely proportional to T 0 . Therefore, the length T 0 of one light emission signal period is determined by a necessary distance measurement range and necessary accuracy.
  • the distance of the subject is long, and the delay due to the optical path of the reflected light (reflected light 1 and reflected light 2) from the subject with respect to the light emission signal timing (irradiation light).
  • the duty ratio of the light emission signal is set to 20%.
  • the length of the light emission signal period and the duty ratio of the light emitted from the light source unit 1 in the luminance exposure period (YIR period) of the luminance image frame are the light source unit 1. Is set so that the light emission intensity becomes maximum according to the type of the light source.
  • the length of the light emission signal period of the light emitted from the light source unit 1 in the exposure period for obtaining the luminance image The duty ratio is the length of the light emission signal period of the light emitted from the light source unit 1 and the duty ratio in the exposure period for obtaining the distance image, and the light emission intensity is maximized according to the type of the light source. Can be set to Therefore, it has an effect of realizing a higher quality luminance image.
  • FIG. 18 is a timing chart illustrating an outline of the operation of the imaging apparatus 10 according to the fifth modification of the first embodiment.
  • the difference from Embodiment 1 is that the luminance exposure period (YIR period) of the luminance image frame is overlapped with the distance transfer period in the distance image frame.
  • ⁇ V1 and ⁇ V5 are set to a high level after a predetermined time from the end of light irradiation from the light source unit 1, and the read gate 22 is opened.
  • the exposure is performed so that the charge accumulated in the light receiving region 21 is read into the packet under the gate V1 and the packet under the gate V5, which is the readout gate 22 of the vertical transfer unit 23, after the completion of the TOF transfer.
  • the frame rate (the number of frames per second) increases, and the exposure period of the distance image and the exposure period of the luminance image And the accuracy of three-dimensional detection and measurement for a fast-moving subject can be increased.
  • FIG. 19 is a timing chart illustrating an outline of the operation of the imaging apparatus 10 according to the sixth modification of the first embodiment.
  • the difference from the fifth modification of the first embodiment is that the order of the luminance exposure period (YIR period) and the luminance background light exposure period (YBG period) of the luminance image frame is changed, and the luminance background light exposure period (YBG period) is changed. It is overlapped with the distance transfer period in the distance image frame.
  • the irradiation of light from the light source unit 1 is stopped during the distance transfer period. There is an effect of suppressing generation of unnecessary charges due to incidence of light, that is, so-called smear being superimposed on the distance image.
  • FIG. 20 is a timing chart illustrating an outline of the operation of the imaging apparatus 10 according to the seventh modification of the first embodiment.
  • the difference from the first embodiment is that, in the luminance image frame, the luminance exposure period is two types of exposure periods in which the length of the light emission period of the light source unit 1 and the length of the exposure period are different. It is composed of period 2.
  • ⁇ V1 and ⁇ V5 are set to the middle level, the reading gate 22 is closed, and the gate of the vertical transfer unit 23 is controlled.
  • the signal charge accumulated in the vertical transfer unit 23 in the YIR1 period is transferred to the packet under the gate where the read gate 22 does not exist in the forward direction in the vertical transfer unit 23, and the signal charge under the gates V1 and V5 is It becomes empty.
  • the time from the end of light irradiation from the light source unit 1 until ⁇ V1 and ⁇ V5 are set to the high level may be set in consideration of the delay due to the optical path of the reflected light at the farthest object to be imaged.
  • the exposure period starts when the exposure signal ⁇ SUB from the control unit 3 is changed from the High level to the Low level, and ends when ⁇ V1 and ⁇ V5 are set to the High level and the readout gate 22 is opened. Therefore, the signal charge accumulated by the exposure is reflected light from the subject and background light over the exposure period, and the image is as shown by Signal in FIG.
  • the exposure signal from the control unit 3 is set with ⁇ V1 and ⁇ V5 set to the middle level and the readout gate 22 closed.
  • ⁇ SUB is once set to a high level to discharge all charges accumulated in the light receiving region 21 to the semiconductor substrate (outside). Thereafter, the exposure signal ⁇ SUB is returned to the Low level.
  • ⁇ V1 and ⁇ V5 are set to the middle level, the reading gate 22 is closed, and the gate of the vertical transfer unit 23 is controlled.
  • the signal charge accumulated in the vertical transfer unit 23 in the YIR1 period and the YIR2 period is transferred to the packet under the gate in which the read gate 22 does not exist in the forward direction in the vertical transfer unit 23, and below the gates V1 and V5.
  • the signal charge is empty again.
  • the time from the end of the light irradiation from the light source unit 1 until ⁇ V1 and ⁇ V5 are set to the high level is the same as the first luminance exposure period (YIR1 period), depending on the optical path of the reflected light at the farthest object to be imaged.
  • the exposure period starts when the exposure signal ⁇ SUB from the control unit 3 is changed from the High level to the Low level, and ⁇ V1 and ⁇ V5 are set to the High level, and the readout gate 22 is set. Is ended when the is opened, and its length is different from the first luminance exposure period (YIR1 period). Therefore, the signal charge accumulated by the exposure is reflected light from the subject and background light over the exposure period, and the image is as shown by Signal in FIG.
  • the exposure signal ⁇ SUB from the control unit 3 is closed with ⁇ V1 and ⁇ V5 set to the middle level and the readout gate 22 closed. Is once set to a high level to discharge all charges accumulated in the light receiving region 21 to the semiconductor substrate (external). Thereafter, the exposure signal ⁇ SUB is returned to the Low level.
  • ⁇ V1 and ⁇ V5 are set to the high level, the reading gate 22 is opened, and the light receiving region 21 is opened. Are stored in the packet under the gate V1 and the packet under the gate V5 as the read gate 22 of the vertical transfer unit 23.
  • ⁇ V1 and ⁇ V5 are set to the middle level, and the reading gate 22 is closed.
  • the exposure period of the luminance background light exposure period starts when the exposure signal ⁇ SUB from the control unit 3 is changed from High level to Low level, ⁇ V1 and ⁇ V5 are set to High level, and the reading gate 22 is opened. It will end soon.
  • the length of the exposure period in this luminance background light exposure period is the same as the length of the exposure period in the first luminance exposure period (YIR1 period).
  • the signal charge accumulated in the exposure is background light over the exposure period, and the exposure amount is the same as the background light included in the signal exposed in the first luminance exposure period (YIR1 period),
  • the background light included in the signal exposed in the second luminance exposure period (YIR2 period) differs from the background light by the difference in the length of the exposure period, and its image is as indicated by Signal in FIG.
  • the transfer of the vertical transfer unit 23 and the transfer of the horizontal transfer unit 24 are sequentially repeated, and the charge is converted into a voltage signal by the output amplifier 25 and output to obtain an image pickup signal. Output to.
  • the signal processing unit 4 in the calculation for obtaining a luminance image, the synthesis of the signal exposed in the first luminance exposure period (YIR1 period) and the signal exposed in the second luminance exposure period (YIR2 period) and the luminance background Subtraction of the signal exposed in the light exposure period (YBG period) is performed in consideration of the difference in the length of the exposure period.
  • the second light emission exposure period (A1 period) has a different phase with respect to the irradiation timing of the light emitted from the light source unit 1 in accordance with the light emission signal generated by the control unit 3, and in the light receiving region 21 during this period.
  • the exposure is performed at the timing of the exposure signal ⁇ SUB from the control unit 3 that instructs the exposure of the reflected light delayed according to the distance to the subject.
  • the luminance exposure period (YIR period)
  • light is emitted from the light source unit 1 according to the light emission signal generated by the control unit 3, and reflected light from the subject is exposed in the light receiving region 21.
  • the light irradiation from the light source unit 1 is stopped and only the background light is exposed in the light receiving region 21.
  • the three types of signals accumulated by these three types of exposure are transferred, and the imaging signal is output to the signal processing unit 4.
  • FIG. 22 is a timing chart showing details of the operation of the imaging apparatus 10 according to the second embodiment.
  • FIG. 23 is a diagram for explaining an example of timing for detecting an exposure amount in the imaging apparatus 10 according to the second embodiment.
  • FIG. 23A shows the timing relationship in one frame of the light emission signal (irradiation light), the exposure signal ( ⁇ SUB), and the readout signals ( ⁇ V1, ⁇ V5) output from the control unit 3.
  • FIG. 23B shows the detection timing of the exposure amount a1 in the second light emission exposure period (A1 period).
  • FIG. 23C shows the detection timing of the total exposure amount YIR during the luminance exposure period (YIR period).
  • FIG. 23D shows the detection timing of the total exposure amount YBG during the luminance background light exposure period (YBG period).
  • the light source unit 1 emits a light emission signal from the control unit 3 while ⁇ V1 and ⁇ V5 are set to a high level and the readout gate 22 is opened.
  • the light receiving region 21 receives the exposure signal ⁇ SUB that has passed through the second delay time from the control unit 3 at the timing of receiving the light and receiving light, and performs exposure in the low level period.
  • the length of the second exposure signal ( ⁇ SUB is low level) period and the second delay time are set to T 0 which is the same as the length of the light emission signal period. Yes.
  • the second light emission exposure is repeated m ⁇ N times so that the total exposure time is the same as in the first embodiment, and the charges generated by the exposure are vertically
  • the packet is stored in the packet under the gate V1 and the packet under the gate V5 which are the read gate 22 of the transfer unit 23. Thereafter, ⁇ V1 and ⁇ V5 are set to the middle level, the read gate 22 is closed, and pulses of ⁇ V1 to ⁇ V8 shown at timings T1 to T9 in FIG. 22 are applied.
  • the signal charge accumulated by the exposure is due to the reflected light from the subject and the background light over the exposure period, and the image is as shown by Signal in FIG.
  • the light irradiation period from the light source unit 1 is set to m ⁇ N ⁇ T 0
  • ⁇ V1 and ⁇ V5 are set to the high level after the light irradiation from the light source unit 1 is completed. Since the time until it is set to T 0 , the length of the exposure period is (m ⁇ N + 1) ⁇ T 0 .
  • the charges thus read are read into a packet under the gate V1 and a packet under the gate V5, which are the readout gates 22 of the vertical transfer unit 23.
  • ⁇ V1 and ⁇ V5 are set to the middle level, and the reading gate 22 is closed.
  • FIG. 23A shows an example of the timing relationship in one screen of the light emission signal (irradiation light), the exposure signal ( ⁇ SUB), and the readout signals ( ⁇ V1, ⁇ V5).
  • the repetition of the light emission signal and the exposure signal in the second light emission exposure period (A1 period) is m ⁇ N times, and the light irradiation period from the light source unit 1 in the luminance exposure period (YIR period).
  • the deviation of the distance L calculated by the calculation is small, so that the accuracy of the distance image is further increased, and the accuracy 3 is higher. Dimensional detection and measurement can be realized.
  • the frame rate (the number of frames per second) increases and the time difference between the exposure period of the distance image and the exposure period of the luminance image decreases, so that the accuracy of three-dimensional detection and measurement for a fast-moving subject is improved. Can do.
  • a rectangular wave type TOF method in which there is a phase in which exposure is not performed in repetition of light emission exposure among TOF methods is exemplified, but the present invention is not limited thereto.
  • Modulation type TOF method irradiated light is sine wave
  • rectangular which obtains a distance image by calculation from signals obtained at exposure timings of four phases whose phases differ by 90 degrees with respect to a light source modulated into a sine wave or a rectangular wave.
  • wave modulation type TOF method irradiation light is a rectangular wave
  • pattern irradiation method that calculates the distance by image processing from the amount of movement of the projected pattern composed of a single random dot projected onto the subject There may be.
  • FIG. 24 is a diagram showing a configuration of a CMOS image sensor as an example of the solid-state imaging device 20 according to the present embodiment, and the imaging unit 2 includes the solid-state imaging device 20.
  • the imaging unit 2 includes the solid-state imaging device 20.
  • the light receiving region 31 in FIG. 24 corresponds to the light receiving region 21 in FIG.
  • the charge storage unit 32 corresponds to the vertical transfer unit 21 in FIG. 2A
  • the read unit 36 in FIG. 24 corresponds to the read gate 22.
  • a plurality of light receiving regions (light receiving unit, photoelectric conversion unit, photodiode as an example) 31 and unnecessary charges are supplied to each light receiving region 31 via an exposure control unit 33 that controls exposure.
  • a charge accumulating unit 32 that accumulates charges common to the left and right adjacent light receiving regions 31 is provided via an overflow drain 34 to be discharged and a reading unit 36 that controls reading of a plurality of (for example, two) charges on the left and right.
  • the light source unit 1 is exposed in the exposure signal period at a plurality of timings different from the timing of receiving the light emission signal from the control unit 3 and irradiating the light.
  • the generated charges are accumulated in different charge accumulating units 32, then are controlled by the transfer control unit 35 and the output unit 38, converted into a voltage by the floating diffusion 37, and sequentially output.
  • the exposure control unit 33 and the output control are scanned in a line-sequential manner (so-called rolling shutter), so that the charge generated in the light receiving region 31 does not stay in the charge storage unit 32 but directly floats. Since the voltage is converted into voltage by the fusion 37 and sequentially output, image degradation due to noise caused by the charge remaining in the charge storage portion does not occur.
  • the effect of the present invention can be obtained as in the case of using a CCD image sensor.
  • the luminance image is obtained by irradiating light from the light source unit 1 during the exposure period.
  • the light irradiation may not be performed during the exposure period.
  • the imaging device and the solid-state imaging device of the present disclosure have been described based on the above-described embodiment and its modification.
  • the imaging device and the solid-state imaging device of the present disclosure are limited to the above-described embodiment and its modification. Is not to be done.
  • a person skilled in the art can conceive of another embodiment realized by combining arbitrary constituent elements in the above-described embodiment and its modification, and the above-described embodiment and its modification without departing from the gist of the present invention. Modifications obtained by performing various modifications, and various devices incorporating the imaging device and the solid-state imaging device of the present disclosure are also included in the present invention.
  • the imaging device can realize highly accurate three-dimensional detection and measurement of a subject without depending on the surrounding environment, for example, a point cloud or the like, a person, a building, a human body, an organ or a tissue of an animal or plant, or the like Is useful for three-dimensional detection, display, depiction, gaze direction detection, gesture recognition, obstacle detection, road surface detection, and the like.
  • Imaging device 20 Solid-state image sensor 21 Light receiving area (light receiving part, photoelectric conversion part) 22 Read gate (read section) 23. Vertical transfer unit (first transfer unit, signal storage unit) 24 horizontal transfer unit (second transfer unit, signal storage unit) 25 Output amplifier 26 SUB terminal 27 Pixel 28 Channel stop 29 Vertical charge discharge drain 31 Light receiving region (light receiving portion, photoelectric conversion portion) 32 Charge storage unit (signal storage unit, transfer unit) 33 Exposure control unit 34 Overflow drain 35 Transfer control unit 36 Reading unit 37 Floating diffusion 38 Output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置（１０）は、発光信号と露光信号とを発生する制御部（３）と、発光信号を受信することにより光照射を行う光源部（１）と、露光信号に従ったタイミングで反射光の露光量を取得する撮像部（２）と、撮像部（２）から受けた撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部（４）とを備え、撮像部（２）は、距離画像の信号を得るための露光を行う画素と、輝度画像の信号を得るための露光を行う画素とが共通である構成を有し、光源部（１）は、撮像部（２）が輝度画像の信号を得るための露光を行う期間にも、制御部（３）で発生する発光信号が示すタイミングに従って光の照射を行う。

Description

撮像装置、及びそれに用いられる固体撮像素子
　本発明は、撮像装置、及びそれに用いられる固体撮像素子に関する。
　物体を３次元検知する方法で、距離画像と輝度画像とを併用して演算・信号処理する方法が知られている。
　特許文献１には、距離画像センサにより得られる距離画像と、通常の画像センサにより得られる輝度画像とを併用して演算・信号処理することで、３次元検知の精度を向上させる従来技術が開示されている。
特開２０１５－１９４８３８号公報
　しかしながら、特許文献１に開示された従来技術では、距離画像と輝度画像とを異なる固体撮像素子を用いた２台のカメラで取得するので、距離画像と輝度画像との視点が一致しないことによる測距誤差が生じる。特に被写体（対象物）が近い場合には、その測距誤差が顕著になるという課題を有している。
　上記課題に鑑み、本発明は、高い検知精度または高い測定精度を有し、かつその精度が環境照度に依存しない３次元の検知、測定、表示、または描写を実現する小型の撮像装置を提供することを目的とする。
　上記課題を解決するために、本発明の一態様に係る撮像装置は、照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備え、前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、前記固体撮像素子は、前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、前記光源部は、前記距離撮像信号と同様に、前記輝度撮像信号を得るための前記固体撮像素子が露光を行う期間に、前記発光信号が示すタイミングに従って前記照射光の照射を行うことを特徴とする。
　本発明に係る撮像装置によれば、固体撮像素子から高精度な距離画像と高画質な輝度画像とが得られるので、当該距離画像及び輝度画像を併用して演算することで、小型で高い検知精度または測定精度を有し、かつその精度が環境照度に依存しない３次元の検知、測定、表示、または描写を実現することが可能となる。
図１は、実施の形態１に係る撮像装置の概略構成を示す機能ブロック図である。 図２Ａは、ＣＣＤ型の固体撮像素子の構成を示す図である。 図２Ｂは、実施の形態１に係る固体撮像素子の画素配列の一例を表す図である。 図２Ｃは、実施の形態１に係る固体撮像素子において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。 図２Ｄは、実施の形態１に係る固体撮像素子の画素配列の一例を表す図である。 図２Ｅは、実施の形態１に係る固体撮像素子の画素配列の一例を表す図である。 図３は、実施の形態１に係る撮像装置の動作の概略を示すタイミングチャートである。 図４は、距離画像フレームにおける１回目の第一の発光露光期間および１回目の第二の発光露光期間のタイミングチャートである。 図５は、距離画像フレームにおける１回目の第三の発光露光期間および２回目の第一の発光露光期間のタイミングチャートである。 図６は、実施の形態１に係る撮像装置の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。 図７は、輝度画像フレームにおける輝度露光期間、輝度背景光露光期間、及び輝度転送期間のタイミングチャートである。 図８は、実施の形態１の変形例１に係る撮像装置の動作の概略を示すタイミングチャートである。 図９は、距離画像フレームにおける１回目の第三の発光露光期間および２回目の第一の発光露光期間のタイミングチャートである。 図１０は、実施の形態１の変形例１に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。 図１１は、実施の形態１の変形例１に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。 図１２は、実施の形態１の変形例２に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。 図１３は、実施の形態１の変形例２に係る撮像装置の被写体の距離に対する露光量の変化を説明する図である。 図１４は、実施の形態１の変形例２に係る撮像装置の実距離と測距値との関係を説明する図である。 図１５は、実施の形態１の変形例３に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。 図１６は、実施の形態１の変形例３に係る撮像装置の発光信号と露光信号との相対位相と露光量との関係を説明する図である。 図１７は、実施の形態１の変形例４に係る撮像装置の動作の概略を示すタイミングチャートである。 図１８は、実施の形態１の変形例５に係る撮像装置の動作の概略を示すタイミングチャートである。 図１９は、実施の形態１の変形例６に係る撮像装置の動作の概略を示すタイミングチャートである。 図２０は、実施の形態１の変形例７に係る撮像装置の動作の概略を示すタイミングチャートである。 図２１は、実施の形態２に係る撮像装置の動作の概略を示すタイミングチャートである。 図２２は、実施の形態２に係る撮像装置の動作の概略を示すタイミングチャートである。 図２３は、実施の形態２に係る撮像装置の露光量を検出するタイミングを説明する図である。 図２４は、ＣＭＯＳ型イメージセンサの構成の一例を示す図である。
　以下、本開示の実施の形態に係る撮像装置、及びそれに用いられる固体撮像素子について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは一例であり、本発明を限定するものではない。
　また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　（実施の形態１）
　図１は、実施の形態１に係る撮像装置（測距撮像装置）１０の概略構成の一例を示す機能ブロック図である。同図に示すように、撮像装置１０は、光源部１と、撮像部２と、制御部（駆動制御部）３と、信号処理部４とを備える。この構成により、撮像装置１０は、静止画だけでなく動画も撮影することが可能である。
　光源部１は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで照射光を発する。発光素子としてはレーザダイオードや発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。照射光は、一例として赤外光（近赤外光、遠赤外光を含む）である。
　制御部３は、露光信号制御部３Ａと発光信号制御部３Ｂを少なくとも備え、発光信号制御部３Ｂにより被写体（物体、測定対象物）への光照射を指示する発光信号と、露光信号制御部３Ａにより当該被写体からの反射光及び後述する背景光の露光を指示する露光信号とを発生する。なお、図１では、発光信号制御部３Ｂと露光信号制御部３Ａとは制御部３内に構成されているが、発光信号制御部３Ｂおよび露光信号制御部３Ａは、それぞれ個別の制御部として構成されていてもよい。
　また、そのような場合は、発光信号制御部３Ｂは光源部１内に構成されていてもよく、また、露光信号制御部３Ａは撮像部２内に構成されていてもよい。
　光源部１は、制御部３で発生する発光信号のタイミングに従って光を点滅させ（パルス）、被写体に対して照射光（パルス光）の照射を行う。
　撮像部２は、固体撮像素子２０を有する。固体撮像素子２０は、照射光が反射した反射光（パルス光）を受光する。また、固体撮像素子２０は、光源部１の発光動作を行わないことで、太陽光などの背景光（外乱光）、または暗電流成分などのオフセット成分である背景光（外乱光）を受光する。
　また、固体撮像素子２０は、被写体を含む領域に対して、制御部３で発生する露光信号が示すタイミングに従って複数回の露光を行い、画素毎に異なる複数の信号蓄積部（図２Ａにおける垂直転送部２３、図２４における電荷蓄積部３２）に信号を蓄積する撮像を行った後、蓄積された信号を転送して露光量に対応した撮像信号と第２撮像信号とを得る。ここで、撮像信号は、照射光に基づく被写体からの反射光を露光し、後述する距離画像を生成するための距離撮像信号と、輝度画像を生成するための輝度撮像信号とを有する。一方、第２撮像信号は、光源部１から照射光を照射しない状態で、太陽光などの背景光や暗電流成分などのオフセット成分である背景光を露光して得られる信号である。
　撮像部２は、さらに、カメラレンズ、光源部１から照射される光の波長近傍のみを通過させる光学的バンドパスフィルタ（帯域通過フィルタ）、及びＡ／Ｄコンバータ等の回路を適宜有する。
　信号処理部４は、撮像部２から受けた撮像信号及び第２撮像信号における信号量に基づいて、演算により距離画像（距離信号、距離情報）と輝度画像（輝度信号、輝度情報）とを出力する。これととともに、上記距離画像及び上記輝度画像を用いて、演算により３次元の物体検知（検知）ないし物体測定（測定）を行う。
　次に、本実施の形態に係る撮像装置１０の撮像部２を、一例として、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型の固体撮像素子（イメージセンサ）として用いた場合について説明する。
　図２Ａは、ＣＣＤ型の固体撮像素子２０の構成を示す図である。図２Ａは、本実施の形態に係る固体撮像素子２０の一例を示す構成図であり、撮像部２がこの固体撮像素子２０を備える。ここでは、本発明の理解を容易とするため、垂直方向に４画素分及び水平方向に４画素分のみを示している。
　図２Ａに示すように、本実施の形態に係る固体撮像素子２０は、複数の受光領域（受光部、光電変換部、一例として、フォトダイオード、ＰＤ）２１と、複数の読出ゲート（読み出し部）２２と、複数の垂直転送部（第１の転送部）２３と、水平転送部（第２の転送部）２４と、出力アンプ２５と、半導体基板電圧（ＳＵＢ）を制御する信号φＳＵＢを入力するＳＵＢ端子２６とを備える。
　また、垂直転送部２３及び水平転送部２４は、電荷（信号、信号電荷）の転送と共に、電荷（信号、信号電荷）を蓄積する電荷蓄積部（信号蓄積部）でもある。
　なお、図２Ａでは、画素は、少なくとも受光領域２１を含み、繰り返し単位となるもの（単位セル、単位画素）と定義しているが、その他の定義として、画素は受光領域２１そのものと定義する場合も含むものとする。
　複数の受光領域２１は、半導体基板に行列状に配置され、各々が入射光を信号電荷に変換する。
　図２Ｂは、実施の形態１に係る固体撮像素子２０の画素配列の一例を表す図である。図２Ｂに示すように、固体撮像素子２０の各画素２７は、照射光（一例として、赤外線ＩＲ（近赤外線、遠赤外線を含む））及び背景光に対して感度を有するイメージセンサである。
　なお、実施の形態１に係る固体撮像素子２０は、図２Ｂの画素配列に限定されるものではなく、図２Ｄ、図２Ｅに示すように、その他の画素（一例として、可視光を受光するＷ（白）画素、または、可視光の特定波長帯の光を受光するＲ（赤）画素、Ｇ（緑）画素、Ｂ（青））を有する画素配列であってもよい。
　図２Ｃは、実施の形態１に係る固体撮像素子２０において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。図２Ｃに示すように、固体撮像素子２０の画素構造は、輝度撮像信号を発生する画素（または、受光領域）、距離撮像信号を発生する画素（または、受光領域）、及び第２撮像信号を発生する画素（または、受光領域）が、それぞれ異なるものではなく、同じ画素（共通の画素）２７から撮像信号（輝度撮像信号及び距離撮像画素）と第２撮像信号とを発生することが特徴である。
　つまり、本実施の形態に係る撮像装置１０（及び固体撮像素子２０）では、距離画像を得るための信号（距離撮像信号と第２撮像信号）と輝度画像を得るための信号（輝度撮像信号と第２撮像撮像信号）とが、固体撮像素子２０の同一の画素２７で取得される。これにより、距離画像と輝度画像との視点を一致させることができ、高い測距精度を得ることが可能となる。また、固体撮像素子２０を構成する画素２７の数分の解像度を有する、つまり高解像度（高精細）の距離画像を得ることができる。
　また、撮像信号を生成する画素２７の開口率（単位面積当たりに光を受光できる面積の比率）を高くすることができ、ノイズの少ない高精度な撮像信号の発生、および固体撮像素子２０および撮像装置１０の小型化を実現することが出来る。
　また、図２Ａに示すように、複数の読出ゲート２２は、各々が受光領域２１に対応して設けられ、対応する受光領域２１から信号電荷を読み出す。
　複数の垂直転送部２３は、複数のゲートから構成され、受光領域２１から読出ゲート２２で読み出された信号電荷を順次垂直方向に転送する。各垂直転送部２３は、例えば、受光領域２１から読み出された信号電荷を列方向（垂直方向）に転送する８相電極Ｖ１～Ｖ８（以降、ゲートＶ１～Ｖ８と記載する場合あり）で構成されている。
　水平転送部２４は、複数のゲートから構成され、複数の垂直転送部２３から転送された信号電荷を順次水平方向（行方向）に転送する。この水平転送部２４は、例えば、２相電極Ｈ１、Ｈ２で構成される。
　出力アンプ２５は、水平転送部２４から転送された信号電荷を順次検出して電圧信号に変換して出力する。
　ここで、上述の垂直転送部２３を構成するゲートＶ１～Ｖ８のうち、ゲートＶ１及びＶ５は、一行かつ一列毎に読み出すことが可能なように、複数の受光領域２１のそれぞれに対応して設けられた読出ゲート２２と共用されている。また、受光領域２１の読出ゲート２２が形成された側と左右方向の反対側には、信号電荷の混入を抑制するためのチャネルストップ２８が設置されている。
　各受光領域２１のバルク方向（半導体基板の深さ方向）には縦型電荷排出ドレイン（ＶＯＦＤ：ｖｅｒｔｉｃａｌ　ｏｖｅｒ　ｆｌｏｗ　ｄｒａｉｎ）２９が構成されており、ＳＵＢ端子２６に高電圧が印加されると全受光領域２１の信号電荷は一括して縦型電荷排出ドレイン２９を介して外部に排出される。具体的には、ＳＵＢ端子２６がＨｉｇｈレベルの場合には、受光領域２１内の信号電荷は半導体基板（外部）に排出され、ＳＵＢ端子２６がＬｏｗレベルの場合には、受光領域２１内で光電変換された信号電荷が蓄積される。
　また、垂直転送部２３を構成するゲートＶ１及びＶ５のそれぞれに印加されるパルスであるφＶ１及びφＶ５を、Ｈｉｇｈレベルにして読出ゲート２２を開いた状態で、ＳＵＢ端子２６をＬｏｗレベルにすると、受光領域２１内で光電変換された信号電荷は、ゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積される。
　つまり、制御部３から出力して露光タイミングを指示する露光信号は、ＳＵＢ端子２６に入力されて半導体基板電圧（ＳＵＢ）を制御する信号φＳＵＢである。
　次に、図３～図７を用いて、本実施の形態に係る撮像装置１０の駆動方法（動作タイミング）について説明する。図３～図７で後述するように、本実施の形態に係る撮像装置１０では、距離画像を得る方式としてはＴＯＦ方式であり、また発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型ＴＯＦ方式（パルスＴＯＦ方式）を基本原理とする。
　図３は、実施の形態１に係る撮像装置１０の動作の概略を示すタイミングチャートである。より具体的には、図３は、１フレーム期間内で、左右に隣接する２つの受光領域２１で発生された信号電荷を垂直転送部２３に読み出し、垂直転送する駆動タイミングの一例を示す。図３には、垂直同期パルスＶＤと、露光信号であるφＳＵＢと、垂直転送部２３を構成するゲートＶ１～Ｖ８のうち読出ゲート２２と共用されているφＶ１及びφＶ５と、光源部１から照射される照射光（赤外光）と、被写体で反射した反射光と、背景光と、受光領域２１で発生した信号電荷のイメージを示すＳｉｇｎａｌとが示されている。
　垂直同期パルスＶＤは、毎秒複数フレームであり、各１フレーム期間は距離画像フレームと輝度画像フレームとで構成される。
　距離画像フレーム期間は、距離撮像信号（撮像信号）を得るために、第一の発光露光期間（Ａ０期間）及び第二の発光露光期間（Ａ１期間）と、第三の発光露光期間（Ａ２期間）と、距離転送期間（ＴＯＦ転送期間）とで構成される。
　第一の発光露光期間（Ａ０期間）及び第二の発光露光期間（Ａ１期間）は、それぞれ、光源部１から照射される光（照射光）の照射タイミングに対して、被写体までの距離に応じて遅延した反射光（反射光１、反射光２）の受光領域２１での露光タイミングが異なる期間である。より具体的には、第一の発光露光期間（Ａ０期間）及び第二の発光露光期間（Ａ１期間）は、制御部３で発生する発光信号に従って光源部１から照射される光（照射光）の照射タイミングに対して、固体撮像素子２０の受光領域２１にて被写体までの距離に応じて遅延した反射光（反射光１、反射光２）の露光を指示する制御部３からの露光信号φＳＵＢのタイミング位相が各々異なる期間である。
　第三の発光露光期間（Ａ２期間）は、光源部１からの光照射を停止して背景光のみを、制御部３からの露光信号φＳＵＢのタイミングに応じて受光領域２１で露光して第２撮像信号を得る期間である。
　距離転送期間（ＴＯＦ転送期間）は、第一、第二、及び第三の発光露光期間における露光で蓄積した３種類の信号を転送し、距離撮像信号（撮像信号）を信号処理部４に出力する期間である。
　一方、輝度画像フレームは、輝度撮像信号（撮像信号）を得るために、輝度露光期間（ＹＩＲ期間）と、輝度背景光露光期間（ＹＢＧ期間）と、輝度転送期間とで構成される。
　輝度露光期間（ＹＩＲ期間）は、制御部３で発生する発光信号に従って光源部１から光（照射光）を照射し、被写体からの反射光を受光領域２１で露光する期間である。
　輝度背景光露光期間（ＹＢＧ期間）は、光源部１からの光照射を停止して背景光のみを受光領域２１で露光して第２撮像信号を得る期間である。
　輝度転送期間は、輝度露光期間及び輝度背景光露光期間における露光で蓄積した２種類の信号を転送し、輝度撮像信号（撮像信号）を信号処理部４に出力する期間である。
　つまり、本実施の形態に係る撮像装置１０は、距離撮像信号を生成する場合と同様に、輝度撮像信号を生成する場合も背景光のみで生成するのではなく、制御部３で発生する発光信号に従って光源部１から照射された照射光に基づいて生成することが特徴である。
　言い換えれば、光源部１は、輝度撮像信号と同様に、輝度撮像信号を得るための固体撮像素子２０が露光を行う期間にも、発光信号が示すタイミングに従って照射光の照射を行うことが特徴である。
　これにより、本実施の形態に係る撮像装置１０は、輝度画像の信号を得るための露光期間にも、光源部１から光（照射光）を照射するので、環境照度に依存せず高画質な輝度画像を得ることができる。
　また、露光期間の信号蓄積部及び信号を蓄積また転送する駆動方法として、距離画像を得るための信号に対しては、その測距精度を優先した選択をし、輝度画像を得る信号に対してはその画質を優先した選択をすることができる。
　図４は、距離画像フレームにおける１回目の第一の発光露光期間および１回目の第二の発光露光期間のタイミングチャートである。また、図５は、距離画像フレームにおける１回目の第三の発光露光期間および２回目の第一の発光露光期間のタイミングチャートである。また、図７は、輝度画像フレームにおける輝度露光期間、輝度背景光露光期間、及び輝度転送期間のタイミングチャートである。また、図６は、実施の形態１に係る撮像装置１０の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
　図６の（ａ）は、制御部３が出力する発光信号（照射光）、露光信号（φＳＵＢ）、及び読出信号（φＶ１、φＶ５）の、１つの距離画像フレームにおけるタイミング関係を示している。図６の（ｂ）は、第一の発光露光期間（Ａ０期間）における露光量ａ０の検出タイミングを表している。図６の（ｃ）は、第二の発光露光期間（Ａ１期間）における露光量ａ１の検出タイミングを表している。図６の（ｄ）は、第三の発光露光期間（Ａ２期間）における露光量ａ２の検出タイミングを表している。
　先に説明した図３及び図４に示すように、距離画像フレームの第一の発光露光期間（Ａ０－１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第一の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。
　本実施の形態の場合、図６に示すように、第一の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、発光信号期間の長さと同じＴ０、第一の遅延時間は０、すなわち発光信号が送信されている（ハイレベルである）期間に設定している。
　本実施の形態の場合、図６に示すように、この第一の発光露光をｍ回繰り返して、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じ、図４の時刻Ｔ１～Ｔ９のタイミングに示された、φＶ１～φＶ８のパルスを印加することにより、垂直転送部２３内のＡ０－１期間に蓄積した信号電荷が垂直転送部２３内を順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。
　続いて、図３及び図４に示すように、距離画像フレームの第二の発光露光期間（Ａ１－１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第一の遅延時間と異なる第二の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。
　本実施の形態の場合、図６に示すように、第二の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、発光信号期間の長さ及び第一の露光信号期間の長さと同じＴ０であり、第二の遅延時間は、第一の遅延時間０と第一の露光信号期間とを足したＴ０に設定している。
　本実施の形態の場合、図６に示すように、この第二の発光露光をｍ回繰り返して、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図４の時刻Ｔ１０～Ｔ１８のタイミングに示す、φＶ１～φＶ８のパルスを印加することにより、垂直転送部２３内のＡ０－１期間に蓄積した信号電荷とＡ１－１期間に蓄積した信号電荷とが垂直転送部２３内を順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は再び空となる。
　続いて図３及び図５に示すように、距離画像フレームの第三の発光露光期間（Ａ２－１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１からの光照射を停止して、受光領域２１が制御部３から露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。本実施の形態の場合、この期間の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、第一の露光信号期間や第二の露光信号期間の長さと同じＴ０、に設定している。
　本実施の形態の場合、図６に示すように、この第三の発光露光をｍ回繰り返して、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図５の時刻Ｔ１９～Ｔ３６のタイミングに示す、φＶ１～φＶ８のパルスが印加される。これにより、垂直転送部２３内のＡ０－１期間に蓄積した信号電荷と、Ａ１－１期間に蓄積した信号電荷と、Ａ２－１期間に蓄積した信号電荷とが、垂直転送部２３内で逆方向にＡ０－１期間に蓄積された信号電荷が、読出ゲート２２が存在するパケットに来るように電荷が転送される。
　この時、Ａ０－１期間に蓄積した信号電荷と、Ａ１－１期間に蓄積した信号電荷と、Ａ２－１期間に蓄積した信号電荷との３種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
　次に、図３及び図５に示すように、１回目の第一の発光露光期間（Ａ０－１期間）と同様の動作をもう一度繰り返して、２回目の第一の発光露光期間（Ａ０－２期間）とする。つまり、Ａ０－１期間の信号電荷とＡ０－２期間の信号電荷とが垂直転送部２３内で加算されて格納されることになる。次に、図５の時刻Ｔ１～Ｔ９タイミングに示された、φＶ１～φＶ８のパルスが印加されることにより、垂直転送部２３内のＡ０－１期間およびＡ０－２期間に蓄積した信号電荷と、Ａ１－１期間に蓄積した信号電荷と、Ａ２－１期間に蓄積した信号電荷とが、垂直転送部２３内で順方向に転送され、Ａ１－１期間に蓄積された信号電荷が、読出ゲート２２が存在するパケットに来る。
　以下、図３に示すとおり、同様の動作を繰り返すことで、２回目の第二の発光露光期間（Ａ１－２期間）に、上記１回目の第二の発光露光期間（Ａ１－１期間）と同様の動作で露光することによりＡ１－１期間に蓄積された信号電荷とＡ１－２期間に蓄積された信号電荷とが垂直転送部２３内で加算されることになる。また、２回目の第三の発光露光期間（Ａ２－２期間）に、上記１回目の第三の発光露光期間（Ａ２－１期間）と同様の動作で露光することによりＡ２－１期間に蓄積された信号電荷とＡ２－２期間に蓄積された信号電荷とが垂直転送部２３内で加算されることになる。
　その後、図６に示すように、この一連の動作を合計Ｎ回繰り返した後、距離転送期間で垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返して、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。
　続いて、図６を用いて、本実施の形態に係る撮像装置１０の距離画像フレームにおける測距動作の詳細を説明する。
　図６の（ａ）は、発光信号、照射光、第一～第三の露光信号（φＳＵＢ）、及び読出信号（φＶ１，φＶ５）の１画面におけるタイミング関係の例を示している。本実施の形態の場合、第一～第三の発光露光期間における発光信号及び露光信号の繰り返しがｍ回で、一連のタイミングを１セットとし、これをＮセット繰り返し出力した後、蓄積された露光信号を出力する。ここで、第一の露光信号による露光量ａ０の総和をＡ０、第二の露光信号による露光量ａ１の総和をＡ１、第三の露光信号による露光量ａ２の総和をＡ２とする。そうすると、本実施の形態の場合、第三の発光露光期間では光源部１からの光照射を停止するので、Ａ２は背景光のみである。このため、光速（２９９，７９２，４５８ｍ／ｓ）をｃとすると、信号処理部４では、画素毎に以下の式１の演算を行うことにより、被写体までの距離Ｌを算出できる。
Figure JPOXMLDOC01-appb-M000001
　このように距離画像フレーム期間では、露光の制御を、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、基板電圧（ＳＵＢ）を制御する信号φＳＵＢのみで行う。
　したがって、全ての受光領域２１に対して同時に、高速で、高精度に露光制御を実現し、上記の式１におけるＡ０、Ａ１、Ａ２の精度が高くなり、従って精度の高い距離画像を得るための信号を実現することができる。
　続いて、図３及び図７に示すように、輝度画像フレームの輝度露光期間（ＹＩＲ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出した後、Ｌｏｗレベルに戻す。
　続いて、制御部３で発生する発光信号に従って光源部１から、所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積し、光源部１からの光の照射終了から所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開く。これにより、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図７の時刻Ｔ１～Ｔ９のタイミングに示された、φＶ１～φＶ８のパルスを印加する。これにより、垂直転送部２３内のＹＩＲ期間に蓄積した信号電荷が垂直転送部２３内で順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。
　光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。
　従って、当該露光で蓄積された信号電荷は、被写体からの反射光と露光期間内にわたる背景光とによるものであり、そのイメージは、図３のＳｉｇｎａｌで示された通りである。
　続いて、図３及び図７に示すように、輝度画像フレームの輝度背景光露光期間（ＹＢＧ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出した後、Ｌｏｗレベルに戻す。
　続いて、光源部１からの光の照射を停止し、受光領域２１で露光して電荷を蓄積し、所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開く。これにより、受光領域２１に蓄積している電荷を、垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じる。
　この時、ＹＩＲ期間に蓄積された信号電荷と、ＹＢＧ期間に蓄積された信号電荷の２種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
　ここで、輝度背景光露光期間（ＹＢＧ期間）の露光期間は、制御部３からの露光信号φＳＵＢをＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。
　本実施の形態の場合、輝度背景光露光期間（ＹＢＧ期間）の露光期間の長さは、輝度露光期間（ＹＩＲ期間）の露光期間の長さと同じにしている。従って、当該露光で蓄積された信号電荷は、露光期間内にわたる背景光によるものであり、その露光量は輝度露光期間（ＹＩＲ期間）で露光された信号に含まれる背景光と同じであり、そのイメージは図３のＳｉｇｎａｌで示された通りである。
　その後、輝度転送期間において垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返し、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。信号処理部４では、輝度画像を得る演算において、輝度露光期間（ＹＩＲ期間）で露光された信号から輝度背景光露光期間（ＹＢＧ期間）で露光された信号を減算する。
　このように、輝度画像フレームでは、読出ゲート２２を開いているのは、電荷を受光領域２１から垂直転送部２３に読出す時だけであるので、読出ゲート２２が開いている時間に起因するノイズが少ない、高画質な輝度画像を得ることができる。
　さらに、輝度露光期間に光源部１から光を照射して輝度画像を得る演算において、輝度露光期間（ＹＩＲ期間）で露光された信号から輝度背景光露光期間（ＹＢＧ期間）で露光された信号を減算するので、光源部１から照射した光の被写体からの反射光による輝度情報のみの輝度画像が得られ、画質の背景光依存を更に抑えることができる。これに加え、光源部１から照射する光（照射光）の波長に対する被写体の吸収、蛍光、反射率で決まる特異的な輝度画像を得ることができるので、さまざまな特異的な３次元検知や測定を高精度に実現することができる。
　例えば、赤外光を使用することで、可視光では検出が困難な被写体、例えば血管の高精度な３次元測定、高精度かつ高画質な被写体の形態の立体表示、描写などを実現することができる。
　また、さらに、距離画像フレームにおける発光信号に対して被写体からの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間で得られる画素毎の信号を蓄積する手段、及び、輝度画像フレームにおける画素毎に光源からの光を照射する時と照射しない時との信号を蓄積する手段として、垂直転送部２３に既に構成されている複数パケットを利用することができる。したがって、追加で信号蓄積手段を形成することが不要となり、同じ面積であれば受光領域２１を大きく形成でき、飽和感度を大きくすることが可能となる。これにより、最大受光量が大きくなり、高精度な距離画像と高画質な輝度画像とを実現できる。
　以上、本実施の形態に係る撮像装置１０によれば、固体撮像素子２０の同一画素２７から得られる高精度な距離画像と輝度画像とを用いて演算により３次元の検知ないし測定が行われる。つまり、固体撮像素子の同一画素から得られる距離画像からの距離情報と輝度画像からの輝度情報とを併用して演算するので、例えば、ポイントクラウドなどの被写体の形態の立体検出、表示、描写を、高精度かつ高画質に実現し、高精度な視線方向検出、高精度なジェスチャー認識、高精度な障害物検知、高精度な路面検知など、高精度な３次元検知や測定を実現することができる。
　また、本実施の形態に係る撮像装置１０は、画素２７毎に異なる信号を蓄積する複数の信号蓄積部として、垂直転送部に既に構成されている複数パケットを利用することができる。したがって、追加で信号蓄積手段を形成することが不要となり、同じ面積であれば受光領域２１（フォトダイオード）を大きく形成でき、飽和感度を大きくすることが可能となる。よって、最大受光量が大きくなり、高精度な距離画像と高画質な輝度画像を得ることができる。
　また、本実施の形態に係る撮像装置１０および固体撮像素子２０によれば、全受光領域２１の信号電荷は、一括して縦型電荷排出ドレイン２９を介して外部に排出される。言い換えると、複数の受光領域２１（フォトダイオード）を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、視点が一致した画像歪みのない距離画像と輝度画像とを得ることで、高い測距および被写体検知の精度を得ることができる。
　（実施の形態１の変形例１）
　図８は、実施の形態１の変形例１に係る撮像装置１０の動作の概略を示すタイミングチャートである。また、図９は、距離画像フレームにおける１回目の第三の発光露光期間（Ａ２－１期間）および２回目の第一の発光露光期間（Ａ０－２期間）のタイミングチャートである。また、図１０及び図１１は、それぞれ、実施の形態１の変形例１に係る撮像装置１０の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
　図１０の（ａ）及び図１１の（ａ）は、制御部３が出力する発光信号（照射光）及び露光信号（φＳＵＢ）、及び読出信号（φＶ１、φＶ５）の、１つの距離画像フレームにおけるタイミング関係の例を示している。図１０の（ｂ）及び図１１の（ｂ）は、第一の発光露光期間（Ａ０期間）における露光量ａ０の検出タイミングを表している。また、図１０の（ｃ）及び図１１の（ｃ）は、第二の発光露光期間（Ａ１期間）における露光量ａ１の検出タイミングを表している。図１０の（ｄ）及び図１１の（ｄ）は、第三の発光露光期間（Ａ２期間）における露光量ａ２の検出タイミングを表している。
　実施の形態１との差異は、距離画像フレームの第三の露光発光期間（Ａ２）では、光源部１からの光の照射を停止せず、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第一及び第二の遅延時間とは異なる第三の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。
　本実施の形態の場合、図１０及び図１１に示すように、第三の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、発光信号期間の長さや第一及び第二の露光信号期間の長さと同じＴ０、第三の遅延時間は、第一の遅延時間０と第一の露光信号期間Ｔ０と第二の露光期間Ｔ０とを加算した２×Ｔ０に設定している。
　すると、発光信号タイミング（照射光）に対する被写体からの反射光（反射光１、反射光２）の光路による遅延Ｔｄが、光源部１が発光信号を受信して発光するタイミングに対する第一の露光信号φＳＵＢの遅延時間０と第一の露光信号期間Ｔ０とを加算した値Ｔ０未満である場合、図１０に示すように、第三の露光信号期間は背景光のみ露光される。
　一方、発光信号タイミング（照射光）に対する被写体からの反射光（反射光１、反射光２）の光路による遅延Ｔｄが、光源部１が発光信号を受信して発光するタイミングに対する第一の露光信号φＳＵＢの遅延時間０と第一の露光信号期間Ｔ０とを加算した値Ｔ０以上である場合、図１１に示すように、第一の露光信号期間は背景光のみ露光される。
　そこで、第一の露光信号による露光量ａ０の総和をＡ０、第二の露光信号による露光量ａ１の総和をＡ１、第三の露光信号による露光量ａ２の総和をＡ２とすると、信号処理部４にて、画素毎に、Ａ０とＡ２との大小関係の判定を行い、その判定結果（式２及び式４）に従って、以下の式３及び式５の演算を行うことにより、被写体までの距離Ｌを算出できる。
Figure JPOXMLDOC01-appb-M000002
 の場合、被写体までの距離Ｌは式３で算出される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 の場合、被写体までの距離Ｌは式５で算出される。
Figure JPOXMLDOC01-appb-M000005
　即ち、実施の形態１では、測距範囲（限界）が、ｃ×Ｔｏ／２であるのに対して、実施の形態１の変形例１では、測距範囲（限界）が、２×（ｃ×Ｔｏ／２）へと２倍に広がる。
　従って、本実施の形態の変形例１では、実施の形態１と同様の効果に加え、距離画像における測距範囲が広がるので、３次元検知、測定の範囲が広がるという効果を有する。
　（実施の形態１の変形例２）
　現実の撮像装置では、照射光や露光信号は理想的な矩形波ではなく一定の遷移時間を要するために信号期間の長さが理想値よりも短くなっている。特に発光素子としてレーザダイオードや発光ダイオード（ＬＥＤ）等は駆動負荷が比較的大きいため、照射光の遷移時間が大きくなり、露光信号よりも信号期間が短くなる傾向がある。
　図１２は、実施の形態１の変形例２に係る撮像装置１０の照射光の信号期間が理想値よりも短い場合の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図であり、図１３は、上記タイミングでの被写体の実距離に対する第一～第三の各露光信号期間の露光量の変化を最大値で正規化して示す説明図であり、図１４は、上記タイミングでの被写体の実距離と測距値との関係を示す説明図である。
　本変形例の場合、図１２に示す通り、照射光の信号期間の長さが、発光信号期間の理想的な長さＴ０よりもＴｎだけ短く、第一の露光信号（Ａ０露光信号）期間の長さを、発光信号期間の理想的な長さＴ０よりＴｗだけ第二の露光信号（Ａ１露光信号）期間とオーバーラップするようにその終点を伸ばし、第二の露光信号（Ａ１露光信号）期間の長さを、発光信号期間の理想的な長さＴ０よりＴｗだけ第三の露光信号（Ａ２露光信号）期間とオーバーラップするようにその終点を伸ばし、第三の露光信号（Ａ２露光信号）期間の長さを、発光信号期間の理想的な長さＴ０よりＴｗだけその終点を伸ばしている。
　この時、図１３に示す通り、第二の露光信号による露光量の総和Ａ１の信号量は最大値で平坦な期間が存在するので、第一と第二との露光信号期間の間、第二と第三の露光信号期間の間にオーバーラップ期間が無いと、この平坦な期間では前記の式３及び式５の分子、分母ともに変化がないため、図１４の“オーバーラップ無“のグラフが示すように実距離に従って測距値が変化しない期間が生じてしまうが、本変形例のように第一～第三の各露光信号期間の終点を伸ばして、第一と第二との露光信号期間の間、第二と第三との露光信号期間の間にオーバーラップ期間Ｔｗを設けることで、第二の露光信号による露光量の総和Ａ１の信号量が平坦な期間では、前記の式３及び式５の分母が実距離に従って変化する。これにより、図１４の”オーバーラップ有“のグラフが示すように、被写体の測距値は実距離に従って常に単調に変化して直線性が保たれ、高い測距精度が得られる。
　従って、本変形例では、実施の形態１と同様の効果に加え、距離画像における測距精度が更に高いので、３次元検知、測定が更に高精度になるという効果を有する。
　（実施の形態１の変形例３）
　実際の撮像装置では、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第一の露光信号期間が開始するまでの遅延時間である第一の遅延時間を０にして、測距範囲を０から２×（ｃ×Ｔｏ／２）で使用することはない。このため、所望の至近距離からプラス２×（ｃ×Ｔｏ／２）までとなるように、上記第一の遅延時間を設定することになる。
　図１５は、実施の形態１の変形例３に係る撮像装置１０の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
　実施の形態１の変形例１との差異は、以下の通りである。つまり、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第一の露光信号期間が開始するまでの遅延時間である第一の遅延時間をＤｐに設定する。また、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第二の露光信号期間が開始するまでの遅延時間である第二の遅延時間は、第一の遅延時間Ｄｐと第一の露光信号期間Ｔ０とを加算したＤｐ＋Ｔ０に設定する。また、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第三の露光信号期間が開始するまでの遅延時間である第三の遅延時間は、第一の遅延時間Ｄｐと第一の露光信号期間Ｔ０と第二の露光信号期間Ｔ０とを加算したＤｐ＋２×Ｔ０に設定している。
　図１６は、実施の形態１の変形例３に係る撮像装置１０の発光信号と露光信号との相対位相と露光量との関係を説明する図である。より具体的には、図１６は、上記タイミンミングにて被写体を所望の測距範囲の１／４、即ち測距範囲の（ｃ×Ｔｏ／２）／２に固定して、第一～第三の露光信号期間の相対位相関係は固定したまま、発光信号と露光信号との相対位相のみを走査、即ち第一の遅延時間であるＤｐの値を走査した時の、第一の露光信号による露光量の総和Ａ０の信号量変化及び第二の露光信号による露光量の総和Ａ１の信号量変化をプロットしたグラフである。第一の露光信号による露光量の総和Ａ０は、Ｄｐが発光信号タイミング（照射光）に対する被写体からの反射光の光路による遅延Ｔｄに一致している時に最大となり、Ｄｐを小さくすると露光量は小さくなり、Ｔｄ－Ｔｏになると最小になる。一方、第二の露光信号による露光量の総和Ａ１は、ＤｐがＴｄ－Ｔｏに一致しているとき最大となり、Ｄｐを大きくすると露光量は小さくなり、Ｔｄになると最小になる。Ｄｐとして、第一の露光信号による露光量の総和Ａ０と第二の露光信号による露光量の総和Ａ１とが一致する点を選択すると、それはＴｄ－Ｔｏ／２となり、被写体の位置が測距範囲の下限からｃ×Ｔｏ／２／２即ち測距範囲の１／４のところになるように発光信号と露光信号との相対位相が自動的に最適化されることになり、所望の範囲で高精度に測距が可能となる。
　従って、本実施の形態の変形例３では、実施の形態１と同様の効果に加え、距離画像が所望の範囲で高精度になるので、３次元検知、測定が所望の範囲にて高精度になるという効果を有する。
　（実施の形態１の変形例４）
　図１７は、実施の形態１の変形例４に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１との差異は、輝度画像フレームの輝度露光期間（ＹＩＲ期間）における光源部１から照射される光が連続照射ではなく、距離画像フレームの露光期間と同様、間欠照射である。
　本実施の形態の距離画像を得る測距方式では、前述の通り測距範囲（限界）は制御部３からの１回の発光信号期間の長さＴ０に比例し、精度はＴ０に反比例するので、１回の発光信号期間の長さＴ０は、必要な測距範囲と必要な精度で決定される。また、本実施の形態の距離画像を得る測距方式の場合、被写体の距離が遠く、発光信号タイミング（照射光）に対する被写体からの反射光（反射光１、反射光２）の光路による遅延が大きい場合に、その反射光（反射光１、反射光２）が露光発光動作の繰り返しの次の露光期間で露光されてしまう折り返し現象を避けるために、発光信号のデューティ比を２０％としている。
　一方、輝度画像の画質は、露光における光量に依存するので、輝度画像フレームの輝度露光期間（ＹＩＲ期間）における光源部１から照射される光の発光信号期間の長さとデューティ比は、光源部１を構成する光源の種類に応じてその発光強度が最大になるように設定される。
　上述のように、実施の形態１の変形例４では、実施の形態１と同様の効果に加え、輝度画像を得るための露光期間における光源部１から照射される光の発光信号期間の長さとデューティ比とは、距離画像を得るための露光期間における光源部１から照射される光の発光信号期間の長さ及びデューティ比とは、独立して光源の種類に応じてその発光強度が最大になるように設定できる。よって、更に高画質な輝度画像を実現する効果を有する。
　言い換えると、輝度画像の信号を得るための露光期間の発光デューティ比は、距離画像の信号を得るための方式には依存せず、光源の発光強度が最適になる設定を実現することができる。
　（実施の形態１の変形例５）
　図１８は、実施の形態１の変形例５に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１との差異は、輝度画像フレームの輝度露光期間（ＹＩＲ期間）を、距離画像フレームにおける距離転送期間と重ねていることである。具体的には、光源部１からの光の照射終了から所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開く。これにより受光領域２１に蓄積している電荷が垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出されるタイミングが、ＴＯＦ転送完了以降になるように、露光開始前に受光領域２１に蓄積している電荷を全て一旦半導体基板（外部）に排出するとともに露光の開始を決める動作である制御部３からの露光信号φＳＵＢを、一旦ＨｉｇｈレベルにしてＬｏｗレベルに戻す動作を、所望の露光期間になるように距離転送期間内に設定する。
　上述のように、実施の形態１の変形例５では、実施の形態１と同様の効果に加え、フレームレート（毎秒のフレーム数）が増加するとともに、距離画像の露光期間と輝度画像の露光期間との時間差が小さくなり、動きの早い被写体に対する３次元の検知や測定の精度を高めることができる。
　（実施の形態１の変形例６）
　図１９は、実施の形態１の変形例６に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１の変形例５との差異は、輝度画像フレームの輝度露光期間（ＹＩＲ期間）と輝度背景光露光期間（ＹＢＧ期間）との順番を入れ替え、輝度背景光露光期間（ＹＢＧ期間）を距離画像フレームにおける距離転送期間と重ねていることである。
　これにより、実施の形態１の変形例６では、実施の形態１の変形例５と同様の効果に加え、距離転送期間では光源部１からの光の照射を停止するので、垂直転送部２３に光が入射されることによる不要電荷の発生、いわゆるスミアが距離画像に重畳されることを抑える効果を有する。
　（実施の形態１の変形例７）
　図２０は、実施の形態１の変形例７に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１との差異は、輝度画像フレームにおいて、輝度露光期間が、光源部１の発光期間の長さ及び露光期間の長さが異なる２種類の露光期間である輝度露光期間１及び輝度露光期間２で構成されることである。
　具体的には、図２０に示すように、輝度画像フレームの第一の輝度露光期間（ＹＩＲ１期間）では、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。
　続いて、制御部３で発生する発光信号に従って光源部１から所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積する。そして、光源部１からの光の照射終了から所定時間の後に、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、垂直転送部２３のゲートを制御する。これにより、ＹＩＲ１期間において垂直転送部２３内に蓄積された信号電荷が垂直転送部２３内の順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光であり、そのイメージは図２０のＳｉｇｎａｌで示された通りである。
　続いて、図２０に示すように、輝度画像フレームの第二の輝度露光期間（ＹＩＲ２期間）では、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。
　続いて、制御部３で発生する発光信号に従って光源部１から第一の輝度露光期間（ＹＩＲ１期間）とは異なる所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積する。そして、光源部１からの光の照射終了から所定時間の後に、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、垂直転送部２３のゲートを制御する。これにより、ＹＩＲ１期間及びＹＩＲ２期間において垂直転送部２３内に蓄積された信号電荷が垂直転送部２３内の順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は再び空となる。光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、第一の輝度露光期間（ＹＩＲ１期間）同様、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、第一の輝度露光期間（ＹＩＲ１期間）同様、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになり、その長さは第一の輝度露光期間（ＹＩＲ１期間）とは異なる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光であり、そのイメージは図２０のＳｉｇｎａｌで示された通りである。
　続いて、図２０に示すように、輝度画像フレームの輝度背景光露光期間（ＹＢＧ期間）では、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。
　続いて、光源部１からの光の照射は停止して、受光領域２１で露光して電荷を蓄積し、所定時間の後、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すればφＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じる。
　このとき、ＹＩＲ１期間に蓄積された信号電荷と、ＹＩＲ２期間に蓄積された信号電荷と、ＹＢＧ期間に蓄積された信号電荷の３種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
　ここで、輝度背景光露光期間（ＹＢＧ期間）の露光期間は、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。本実施の形態の場合、この輝度背景光露光期間（ＹＢＧ期間）における露光期間の長さは、第一の輝度露光期間（ＹＩＲ１期間）における露光期間の長さと同じとしている。従って、当該露光で蓄積された信号電荷は、露光期間内にわたる背景光であり、その露光量は第一の輝度露光期間（ＹＩＲ１期間）で露光された信号に含まれる背景光と同じであり、第二の輝度露光期間（ＹＩＲ２期間）で露光された信号に含まれる背景光とは露光期間の長さの差異分だけ異なり、そのイメージは図２０のＳｉｇｎａｌで示された通りである。
　その後、輝度転送期間において、垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返して、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。信号処理部４では、輝度画像を得る演算において、第一の輝度露光期間（ＹＩＲ１期間）で露光された信号と第二の輝度露光期間（ＹＩＲ２期間）で露光された信号との合成及び輝度背景光露光期間（ＹＢＧ期間）で露光された信号の減算を露光期間の長さの差異を考慮して行う。
　これにより、実施の形態１の変形例７では、実施の形態１と同様の効果に加え、輝度画像における、特に光源部に近い被写体の飽和を抑えられるので、近い被写体から遠い被写体まで高画質な輝度画像を得ることができる。
　（実施の形態２）
　図２１は、実施の形態２に係る撮像装置１０の動作の概略を示すタイミングチャートである。より具体的には、図２１は、１フレーム期間内で、左右に隣接する２つの受光領域２１で発生された信号電荷を垂直転送部２３に読み出し、垂直転送する駆動タイミングの一例を示している。
　図２１には、垂直同期パルスＶＤと、露光信号であるφＳＵＢと、垂直転送部２３を構成するゲートＶ１～Ｖ８のうち読出ゲート２２と共用されているφＶ１及びφＶ５と、光源部１から照射される赤外光（照射光）と、被写体で反射された反射光と、背景光と、受光領域２１で発生した信号電荷のイメージを示すＳｉｇｎａｌとが示されている。実施の形態１との差異は、１フレーム期間内の露光期間としては、第二の発光露光期間（Ａ１期間）、輝度露光期間（ＹＩＲ期間）及び輝度背景光露光期間（ＹＢＧ期間）の３種類で構成され、距離画像を得る信号の露光は第二の発光露光期間（Ａ１期間）のみである。上記３種類の異なる露光で得られた信号電荷は、独立して垂直転送部２３内のパケットに格納され、１度の転送期間で転送される。
　具体的には、垂直同期パルスＶＤは毎秒複数フレームであり、各１フレーム期間は、第二の発光露光期間（Ａ１期間）と、輝度露光期間（ＹＩＲ期間）と、輝度背景光露光期間（ＹＢＧ期間）と、これら３種類の露光で蓄積した３種類の信号を転送し撮像信号を信号処理部４に出力する転送期間とで構成される。
　第二の発光露光期間（Ａ１期間）は、制御部３で発生する発光信号に従って光源部１から照射される光の照射タイミングに対して異なる位相を有し、当該期間では、受光領域２１にて被写体までの距離に応じて遅延した反射光の露光を指示する制御部３からの露光信号φＳＵＢのタイミングで露光する。
　輝度露光期間（ＹＩＲ期間）では、制御部３で発生する発光信号に従って光源部１から光を照射し、被写体からの反射光を受光領域２１で露光する。
　輝度背景光露光期間（ＹＢＧ期間）では、光源部１からの光照射を停止して背景光のみを受光領域２１で露光する。
　転送期間では、これら３種類の露光で蓄積した３種類の信号を転送し撮像信号を信号処理部４に出力する。
　図２２は、実施の形態２に係る撮像装置１０の動作の詳細を示すタイミングチャートである。また、図２３は、実施の形態２に係る撮像装置１０における露光量を検出するタイミングの一例を説明する図である。
　より具他的には、図２３の（ａ）は、制御部３が出力する発光信号（照射光）及び露光信号（φＳＵＢ）、ならびに読出信号（φＶ１、φＶ５）の１つのフレームにおけるタイミング関係の例を表している。また、図２３の（ｂ）は、第二の発光露光期間（Ａ１期間）における露光量ａ１の検出タイミングを表している。また、図２３の（ｃ）は、輝度露光期間（ＹＩＲ期間）における露光量の総和ＹＩＲの検出タイミングを表している。また、図２３の（ｄ）は、輝度背景光露光期間（ＹＢＧ期間）における露光量の総和ＹＢＧの検出タイミングを表している。
　図２１及び図２２に示すように、第二の発光露光期間（Ａ１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第二の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。本実施の形態の場合、図２３に示すように、第二の露光信号（φＳＵＢがＬｏｗレベル）期間の長さ及び第二の遅延時間は、発光信号期間の長さと同じＴ０に設定している。
　本実施の形態の場合、図２３に示すように、第二の発光露光を、トータルの露光時間が実施の形態１と同じになるようにｍ×Ｎ回繰り返し、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図２２の時刻Ｔ１～Ｔ９のタイミングに示された、φＶ１～φＶ８のパルスを印加する。これにより、垂直転送部２３内のＡ１期間に蓄積した信号電荷を、垂直転送部２３内で順方向に、読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。
　続いて、図２１及び図２２に示すように、輝度露光期間（ＹＩＲ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、制御部３からの露光信号φＳＵＢをＬｏｗレベルにする。続いて、制御部３で発生する発光信号に従って、光源部１から所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積する。そして、光源部１からの光の照射終了から所定時間の後に、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図２２の時刻Ｔ１０～Ｔ１８のタイミングに示された、φＶ１～φＶ８のパルスを印加する。これにより、垂直転送部２３内のＡ１期間に蓄積された信号電荷と、ＹＩＲ期間に蓄積された信号電荷とが垂直転送部２３内で順方向に、読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は再び空となる。光源部１からの光の照射終了から、φＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部３からの露光信号φＳＵＢをＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光によるものであり、そのイメージは、図２１のＳｉｇｎａｌで示された通りである。本実施の形態の場合、図２３に示すように、光源部１からの光の照射期間はｍ×Ｎ×Ｔ０に設定され、光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間はＴ０に設定されているので、露光期間の長さは（ｍ×Ｎ＋１）×Ｔ０となる。
　続いて図２１及び図２２に示すように、輝度背景光露光期間（ＹＢＧ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。続いて、光源部１からの光の照射を停止し、受光領域２１で露光して電荷を蓄積し、所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じる。
　このとき、Ａ１期間に蓄積された信号電荷と、ＹＩＲ期間に蓄積された信号電荷と、ＹＢＧ期間に蓄積された信号電荷の３種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
　ここで、輝度背景光露光期間（ＹＢＧ期間）の露光期間は、制御部３からの露光信号φＳＵＢをＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。本実施の形態の場合、輝度背景光露光期間（ＹＢＧ期間）の露光期間の長さは、図２３に示すように、輝度露光期間（ＹＩＲ期間）の露光期間の長さと同じ（ｍ×Ｎ＋１）×Ｔ０にしている。従って、当該露光で蓄積された信号電荷は露光期間内にわたる背景光であり、その露光量は輝度露光期間（ＹＩＲ期間）で露光された信号に含まれる背景光と同じであり、そのイメージは図２１のＳｉｇｎａｌで示された通りである。
　その後、転送期間で垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返し、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。信号処理部４では、輝度画像を得る演算において、輝度露光期間（ＹＩＲ期間）で露光された信号から輝度背景光露光期間（ＹＢＧ期間）で露光された信号を減算する。
　このように輝度画像を得るための信号ＹＩＲ及びＹＢＧの撮像動作では、読出ゲート２２を開いているのは、電荷を受光領域２１から垂直転送部２３に読出す時だけである。よって、読出ゲート２２が開いている時間に起因するノイズが少ない、高画質な輝度画像を得ることができる。
　続いて、図２３を用いて、本実施の形態に係る撮像装置１０の距離画像を得る信号の測距動作の詳細を説明する。
　図２３の（ａ）は、発光信号（照射光）、露光信号（φＳＵＢ）、及び読出信号（φＶ１、φＶ５）の１画面におけるタイミング関係の例を示している。本実施の形態の場合、第二の発光露光期間（Ａ１期間）における発光信号及び露光信号の繰り返しがｍ×Ｎ回であり、輝度露光期間（ＹＩＲ期間）における光源部１からの光の照射期間はｍ×Ｎ×Ｔ０であり、光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間はＴ０であり、露光期間の長さは（ｍ×Ｎ＋１）×Ｔ０であり、輝度背景光露光期間（ＹＢＧ期間）の露光期間の長さは（ｍ×Ｎ＋１）×Ｔ０である。
　ここで、第二の露光信号による露光量ａ１の総和をＡ１とし、輝度露光期間の露光量の総和をＹＩＲとし、輝度背景光露光期間の露光量の総和をＹＢＧとする。本実施の形態の場合、第二の発光露光期間における光の総照射期間と輝度露光期間の光の照射期間とは、発光信号（照射光）及び露光信号（φＳＵＢ）の立ち上がり時間と立ち下がり時間とがゼロである場合、共に同じｍ×Ｎ×Ｔ０である。このため、ＹＩＲからＹＢＧを減算した結果は、第二の発光露光期間に照射された光の反射光を全て露光した総和と等しく、またＡ１に含まれる背景光は、ＹＢＧの（ｍ×Ｎ）／（ｍ×Ｎ＋１）倍である。しかし実際の発光信号（照射光）及び露光信号（φＳＵＢ）は立ち上がり時間と立ち下がり時間とを持つために、期間Ｔ０の繰り返し回数がｍ×Ｎ回であっても、連続のｍ×Ｎ×Ｔ０とは必ずしも同じ時間量にはならない。このため、その差異の補正が必要であり、その補正係数をａとする。よって、光速（２９９，７９２，４５８ｍ／ｓ）をｃとすると、信号処理部４では画素毎に以下の式６の演算を行うことにより、被写体までの距離Ｌを算出できる。
Figure JPOXMLDOC01-appb-M000006
　なお、実施の形態１及びその変形例で得られる同様の信号でもこの同じ演算を行ってもよい。
　上記式６において、被写体までの距離によって値が変化するＡ１を得る撮像動作は、露光の制御を、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、基板電圧（ＳＵＢ）を制御する信号φＳＵＢのみで行うので、全ての受光領域２１に対して同時に、高速で、高精度に露光制御を実現できる。よって、上記の式６におけるＡ１の精度が高くなり、従って精度の高い距離画像を得るための信号を実現することができる。
　さらに、上記式６において、被写体までの距離によって値が変化しないＹＩＲ及びＹＢＧを得る撮像動作では、読出ゲート２２を開いているのは、電荷を受光領域２１から垂直転送部２３に読出す時だけであるので、読出ゲート２２が開いている時間に起因するノイズが少なく、演算で算出される距離Ｌの偏差が小さくなる。
　上述したように、本実施の形態では、実施の形態１と同様の効果に加え、演算で算出される距離Ｌの偏差が小さくなるので、距離画像の精度が更に高くなり、より精度の高い３次元の検知や測定を実現することができる。
　さらに、フレームレート（毎秒のフレーム数）が増加するとともに、距離画像の露光期間と輝度画像の露光期間との時間差が小さくなるので、動きの早い被写体に対する３次元の検知や測定の精度を高めることができる。
　（まとめ）
　なお、上述した実施の形態は全て、距離画像を得る方式としてはＴＯＦ方式の中でも発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型ＴＯＦ方式を例にしたが、これに限られない。正弦波あるいは矩形波に変調された光源に対して、位相が９０度ごと異なる４位相の露光タイミングで得られた信号から演算で距離画像を得る変調型ＴＯＦ方式（照射光が正弦波）、矩形波変調型ＴＯＦ方式（照射光が矩形波）、さらには被写体に投影した単一のランダムなドットで構成された投影パターンの移動量から画像処理で距離を演算するパターン照射方式など他の方式であってもよい。
　また、上述した実施の形態は、固体撮像素子としてＣＣＤ型イメージセンサを用いて説明したが、本発明に用いられる固体撮像素子は、それに限定されるものではなく、その他のイメージセンサ（一例として、ＣＭＯＳ型イメージセンサ、または、光電変換膜を備えるイメージセンサ）を用いることができ、本発明の効果を得ることができる。なお、本実施の形態では、画素２７内で電荷が電圧に変換されるイメージセンサをＣＭＯＳ型イメージセンサと称する。
　図２４は、本実施の形態に係る固体撮像素子２０の一例として、ＣＭＯＳ型イメージセンサの構成を示す図であり、撮像部２がこの固体撮像素子２０を備える。ここでは、本発明の理解を容易とするため、垂直方向に２画素分及び水平方向に２画素分のみを示している。なお、本実施の形態に係るＣＭＯＳ型イメージセンサ（図２４）とＣＣＤ型イメージセンサ（図２Ａ）との比較において、図２４の受光領域３１は図２Ａの受光領域２１に相当し、図２４の電荷蓄積部３２は図２Ａの垂直転送部２１に相当し、図２４の読み出し部３６は読出ゲート２２に相当する。
　図２４に示すように、複数の受光領域（受光部、光電変換部、一例として、フォトダイオード）３１と、各々の受光領域３１には露光を制御する露光制御部３３を介して不要な電荷を排出するオーバーフロードレイン３４と、左右に複数（一例として２つ）の電荷の読み出しを制御する読み出し部３６を介して、左右隣り合う受光領域３１間で共通の電荷を蓄積する電荷蓄積部３２を備え、受光領域３１の同じ側の隣り合う２つの電荷蓄積部３２の間は、電荷の転送を制御する転送制御部３５を備え、隣り合う２つの電荷蓄積部３２のうち一方の転送制御部３５とは反対側は、出力部３８を介して、隣り合う他の電荷蓄積部３２と共通の電荷を電圧に変換するフローティングディフージョン３７に接続される。
　ここで、距離画像フレームでは、受光領域３１ごとに、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して各々異なる複数のタイミングの露光信号期間で露光して発生した電荷は異なる電荷蓄積部３２に蓄積した後、転送制御部３５と出力部３８とを制御してフローティングディフージョン３７で電圧に変換して、順次出力される。一方、輝度画像フレームでは、露光制御部３３と出力の制御とを線順次で走査（いわゆるローリングシャッター）することで、受光領域３１で発生した電荷は、電荷蓄積部３２に留まることなく直接フローティングディフージョン３７で電圧に変換して、順次出力されるので、電荷蓄積部に電荷が留まることに起因するノイズによる画像劣化が発生しない。
　従って、固体撮像素子としてＣＭＯＳ型イメージセンサを用いても、ＣＣＤ型イメージセンサを用いた場合と同様、本発明の効果を得ることができる。
　また、上述した実施の形態では、輝度画像は、露光期間に光源部１から光を照射することで得られる場合を例にしたが、光照射を露光期間に行わなくてもよい。
　また、上述した実施の形態は、測距精度を向上するために、背景光を露光（受光）する場合を説明したが、背景光を露光（受光）せずに照射光を露光（受光）するのみの場合でも本発明の効果を得ることができる。
　また、上記実施の形態では、撮像装置について説明したが、本開示の撮像装置の構成は、距離情報により距離を測定する撮像装置に留まらず、その他の物理量（例：形状、温度、放射線濃度など）を精度よく検知する物理量検知装置や、撮像したデータを精度良く描写させる撮像装置にも適用することが可能である。
　（その他の実施の形態）
　以上、本開示の撮像装置及び固体撮像素子について、上記実施の形態及びその変形例に基づいて説明してきたが、本開示の撮像装置及び固体撮像素子は、上記実施の形態及びその変形例に限定されるものではない。上記実施の形態及びその変形例における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態及びその変形例に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の撮像装置及び固体撮像素子を内蔵した各種機器も本発明に含まれる。
　本発明に係る撮像装置は、周辺環境に依存することなく、被写体の高精度な３次元の検知、測定が実現できるため、例えば、ポイントクラウドなど、人物、建物、人体や動植物の器官・組織などの形態を立体検出、表示、描写や、視線方向検出、ジェスチャー認識、障害物検知、路面検知などに有用である。
　１　　光源部
　２　　撮像部
　３　　制御部
　３Ａ　露光信号制御部
　３Ｂ　発光信号制御部
　４　　信号処理部
　１０　　撮像装置
　２０　　固体撮像素子
　２１　　受光領域（受光部、光電変換部）
　２２　　読出ゲート（読み出し部）
　２３　　垂直転送部（第１の転送部、信号蓄積部）
　２４　　水平転送部（第２の転送部、信号蓄積部）
　２５　　出力アンプ
　２６　　ＳＵＢ端子
　２７　　画素
　２８　　チャネルストップ
　２９　　縦型電荷排出ドレイン
　３１　　受光領域（受光部、光電変換部）
　３２　　電荷蓄積部（信号蓄積部、転送部）
　３３　　露光制御部
　３４　　オーバーフロードレイン
　３５　　転送制御部
　３６　　読み出し部
　３７　　フローティングディフュージョン
　３８　　出力部

Claims (15)

  1. 　照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、
    　前記発光信号により前記照射光の照射を行う光源部と、
    　複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、
    　前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備え、
    　前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、
    　前記固体撮像素子は、前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、
    　前記光源部は、前記距離撮像信号と同様に、前記輝度撮像信号を得るための前記固体撮像素子が露光を行う期間に、前記発光信号が示すタイミングに従って前記照射光の照射を行う
    　撮像装置。
  2. 　前記制御部は、前記画素毎に異なる複数の信号蓄積部の少なくとも２つの信号蓄積部のそれぞれに露光を行う前期露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるとともに、互いにオーバーラップの期間を有するように設定する
    　請求項１に記載の撮像装置。
  3. 　前記制御部は、前記画素毎に異なる複数の信号蓄積部の少なくとも２つの信号蓄積部のそれぞれに露光を行う前期露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるとともに、前記発光信号との位相関係が、前記距離画像が得られる測距範囲内に置いた物体からの反射光による露光量が互いに等しくなるように設定する
    　請求項１または２に記載の撮像装置。
  4. 　前記信号処理部は、前記距離画像と前記輝度画像とを用いて、演算により３次元の物体検知または物体測定を行う
    　請求項１～３のいずれか１項に記載の撮像装置。
  5. 　さらに、前記距離画像を得る方式は、ＴＯＦ（ｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ）方式である
    　請求項１～４のいずれか１項に記載の撮像装置。
  6. 　前記制御部は、露光を行い前記信号蓄積部に信号を蓄積させる露光期間、及び、前記信号蓄積部から前記撮像信号を得るために信号を転送する転送期間、の少なくとも一方を、前記距離画像を得るための期間と、前記輝度画像を得るための期間とに分けて時間的に独立した制御を行い、前記露光期間において前記信号蓄積部及び前記信号蓄積部から信号を転送する駆動方法の少なくとも一方を、前記距離画像を得るための信号と、前記輝度画像を得るための信号とで異ならせる
    　請求項１～５のいずれか１項に記載の撮像装置。
  7. 　前記光源部が照射する光は、７５０ｎｍから４０００ｎｍの波長を有する赤外光であり、
    　前記撮像部は、さらに、前記光源部から照射される光の波長近傍を通過させる光学的バンドパスフィルタ（帯域通過フィルタ）を備える
    　請求項１～６のいずれか１項に記載の撮像装置。
  8. 　前記固体撮像素子は、
    　前記照射光の未照射時に得られる第２撮像信号を前記共通の画素から生成し、
    　前記撮像装置は、
    　前記照射光の照射時に生じる前記輝度撮像信号から前記第２撮像信号を減算して、前記輝度画像を得る
    　請求項１～７のいずれか１項に記載の撮像装置。
  9. 　前記制御部は、前記光源部の発光を制御する発光信号のデューティ比が、前記距離画像の信号を得るための露光期間と、輝度画像の信号を得るための露光期間とで異ならせる
    　請求項１～８のいずれか１項に記載の撮像装置。
  10. 　異なる前記信号蓄積部には、異なる露光時間で露光した輝度画像を得るための信号が蓄積される
    　請求項１～９のいずれか１項に記載の撮像装置。
  11. 　前記信号処理部は、前記光源部から前記照射光を照射した前記輝度撮像信号と、前記光源部から光を照射しない前記第２撮像信号の少なくとも一方を、前記距離画像を得る演算に使用する
    　請求項１～１０のいずれか１項に記載の撮像装置。
  12. 　前記固体撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型の固体撮像素子である
    　請求項１～１１のいずれか１項に記載の撮像装置。
  13. 　前記固体撮像素子は、ＣＭＯＳ型の固体撮像素子である
    　請求項１～１１のいずれか１項に記載の撮像装置。
  14. 　前記固体撮像素子は、
    　受光領域の同じ側の隣り合う前記信号蓄積部の間に、電荷の転送を制御する転送制御部を備える
    　請求項１３に記載の撮像装置。
  15. 　照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、
    　前記発光信号により前記照射光の照射を行う光源部と、
    　複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、
    　前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備える撮像装置に用いられる固体撮像素子であって、
    　前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、
    　前記固体撮像素子は、
    　前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、
    　前記輝度撮像信号と同様に、前記発光信号が示すタイミングに従って照射された前記照射光の前記反射光を用いて前記輝度撮像信号を得るための露光を行う
    　撮像装置に用いられる固体撮像素子。
PCT/JP2017/006106 2016-02-29 2017-02-20 撮像装置、及びそれに用いられる固体撮像素子 WO2017150246A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17759712.7A EP3425901A4 (en) 2016-02-29 2017-02-20 IMAGING DEVICE AND SEMICONDUCTOR IMAGING ELEMENT USED THEREIN
JP2018503043A JPWO2017150246A1 (ja) 2016-02-29 2017-02-20 撮像装置、及びそれに用いられる固体撮像素子
CN201780013687.4A CN108886593A (zh) 2016-02-29 2017-02-20 摄像装置、以及在其中使用的固体摄像元件
US16/104,228 US20190007592A1 (en) 2016-02-29 2018-08-17 Imaging device and solid-state imaging element used in same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-038439 2016-02-29
JP2016038439 2016-02-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/104,228 Continuation US20190007592A1 (en) 2016-02-29 2018-08-17 Imaging device and solid-state imaging element used in same

Publications (1)

Publication Number Publication Date
WO2017150246A1 true WO2017150246A1 (ja) 2017-09-08

Family

ID=59744008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006106 WO2017150246A1 (ja) 2016-02-29 2017-02-20 撮像装置、及びそれに用いられる固体撮像素子

Country Status (5)

Country Link
US (1) US20190007592A1 (ja)
EP (1) EP3425901A4 (ja)
JP (1) JPWO2017150246A1 (ja)
CN (1) CN108886593A (ja)
WO (1) WO2017150246A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019180863A1 (ja) * 2018-03-22 2019-09-26 パナソニックＩｐマネジメント株式会社 固体撮像装置
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2020121705A1 (ja) * 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 撮像装置
WO2020218283A1 (ja) * 2019-04-22 2020-10-29 株式会社小糸製作所 ＴｏＦカメラ、車両用灯具、自動車
WO2022038991A1 (ja) 2020-08-17 2022-02-24 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7137735B1 (ja) * 2021-06-30 2022-09-14 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法
WO2023276594A1 (ja) * 2021-06-30 2023-01-05 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870704A (zh) * 2019-01-23 2019-06-11 深圳奥比中光科技有限公司 Tof相机及其测量方法
CN109917412A (zh) * 2019-02-01 2019-06-21 深圳奥比中光科技有限公司 一种距离测量方法及深度相机
CN113424071A (zh) * 2019-02-15 2021-09-21 新唐科技日本株式会社 摄像装置以及距离信息算出方法
WO2020195046A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 固体撮像装置
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
KR20210083983A (ko) * 2019-12-27 2021-07-07 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
WO2014207788A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 固体撮像素子及び測距撮像装置
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP4280822B2 (ja) * 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
KR20100054540A (ko) * 2008-11-14 2010-05-25 삼성전자주식회사 픽셀 회로, 광전 변환장치, 및 이를 포함하는 이미지 센싱 시스템
US10116883B2 (en) * 2013-08-29 2018-10-30 Texas Instruments Incorporated System and methods for depth imaging using conventional CCD image sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
WO2014207788A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 固体撮像素子及び測距撮像装置
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3425901A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019180863A1 (ja) * 2018-03-22 2021-03-11 パナソニックＩｐマネジメント株式会社 固体撮像装置
JP7042451B2 (ja) 2018-03-22 2022-03-28 パナソニックＩｐマネジメント株式会社 固体撮像装置
WO2019180863A1 (ja) * 2018-03-22 2019-09-26 パナソニックＩｐマネジメント株式会社 固体撮像装置
JPWO2020027221A1 (ja) * 2018-08-02 2021-08-02 ヌヴォトンテクノロジージャパン株式会社 撮像装置、それに用いられる固体撮像素子及び撮像方法
CN112513671A (zh) * 2018-08-02 2021-03-16 新唐科技日本株式会社 摄像装置及在该摄像装置中使用的固体摄像元件
US11184567B2 (en) 2018-08-02 2021-11-23 Nuvoton Technology Corporation Japan Imaging device and solid-state imaging element and imaging method used therein
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP7426339B2 (ja) 2018-08-02 2024-02-01 ヌヴォトンテクノロジージャパン株式会社 撮像装置、それに用いられる固体撮像素子及び撮像方法
WO2020121705A1 (ja) * 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 撮像装置
WO2020218283A1 (ja) * 2019-04-22 2020-10-29 株式会社小糸製作所 ＴｏＦカメラ、車両用灯具、自動車
WO2022038991A1 (ja) 2020-08-17 2022-02-24 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7137735B1 (ja) * 2021-06-30 2022-09-14 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法
WO2023276594A1 (ja) * 2021-06-30 2023-01-05 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法

Also Published As

Publication number Publication date
US20190007592A1 (en) 2019-01-03
CN108886593A (zh) 2018-11-23
JPWO2017150246A1 (ja) 2018-12-27
EP3425901A1 (en) 2019-01-09
EP3425901A4 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP4530571B2 (ja) ３次元画像検出装置
JP5473977B2 (ja) 撮像装置およびカメラシステム
JP7018022B2 (ja) 固体撮像装置及び測距撮像装置
JP2020517924A (ja) ピクセル構造
JP6480712B2 (ja) 撮像装置及びその制御方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
WO2015128915A1 (ja) 測距装置及び測距方法
JP2008209162A (ja) 距離画像センサ
JPWO2014207992A1 (ja) 測距撮像装置及びその測距方法、固体撮像素子
JP6160971B2 (ja) 固体撮像素子及び測距撮像装置
JP3574607B2 (ja) ３次元画像入力装置
JP2010175435A (ja) 三次元情報検出装置及び三次元情報検出方法
JPWO2019054099A1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP2008032427A (ja) 距離画像作成方法及び距離画像センサ、及び撮影装置
JP2017112420A (ja) 撮像素子および撮像装置
JP4105801B2 (ja) ３次元画像入力装置
US11184567B2 (en) Imaging device and solid-state imaging element and imaging method used therein
JP4369575B2 (ja) ３次元画像検出装置
JP2002213946A (ja) イメージ信号出力方法、イメージ信号出力装置、測距装置及び撮像装置
JP4369574B2 (ja) ３次元画像検出装置
JP6393091B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015014788A (ja) 測距装置、撮像装置及び測距装置の制御方法
KR101434916B1 (ko) 3차원 영상 정보를 얻기 위한 이미지센서 및 2차원 영상과 3차원 영상 정보의 정합 방법
JP2015015704A (ja) 測距装置、撮像装置及び測距装置の制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018503043

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017759712

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017759712

Country of ref document: EP

Effective date: 20181001

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17759712

Country of ref document: EP

Kind code of ref document: A1