WO2024085069A1 - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
WO2024085069A1
WO2024085069A1 PCT/JP2023/037092 JP2023037092W WO2024085069A1 WO 2024085069 A1 WO2024085069 A1 WO 2024085069A1 JP 2023037092 W JP2023037092 W JP 2023037092W WO 2024085069 A1 WO2024085069 A1 WO 2024085069A1
Authority
WO
WIPO (PCT)
Prior art keywords
tof
distance
pixel
pulse
sequence
Prior art date
Application number
PCT/JP2023/037092
Other languages
English (en)
French (fr)
Inventor
美和 一柳
徹 山田
靖之 清水
雅彦 西本
Original Assignee
ヌヴォトンテクノロジージャパン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヌヴォトンテクノロジージャパン株式会社 filed Critical ヌヴォトンテクノロジージャパン株式会社
Publication of WO2024085069A1 publication Critical patent/WO2024085069A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Definitions

  • This disclosure relates to a distance measuring device and a distance measuring method.
  • One known indirect ToF method is the continuous wave ToF (hereafter also referred to as CW-ToF) method, which irradiates an object with modulated light of a predetermined emission frequency and calculates the distance from the phase difference between the irradiated light and the light reflected by the object (see, for example, Patent Document 1).
  • CW-ToF continuous wave ToF
  • the distance measurement range is limited by the frequency of the irradiated light; the lower the frequency, the larger the distance measurement range. On the other hand, the higher the frequency of the irradiated light, the higher the distance measurement accuracy.
  • Patent document 1 discloses a technology that expands the distance measurement range in the CW-ToF method by irradiating light at multiple frequencies and calculating the distance based on the signals acquired based on the irradiated light at each frequency.
  • the distance measurement range is extended based on the relationship between multiple frequencies.
  • the distance is calculated based on reflected light from an object located farther away than the extended distance measurement range, a false distance that is shorter than the actual distance is calculated, just as in the case of using irradiation light of one frequency.
  • This disclosure provides a distance measuring device and a distance measuring method that can achieve both an expansion of the distance measuring range and an improvement in distance measuring accuracy.
  • a distance measuring device is a distance measuring device that measures the distance to an object using an indirect ToF (Time of Flight) method, and includes a light source unit that emits irradiation light, a light receiving unit having pixels that generate pixel signals based on incident light, a drive control unit that controls the drive of the light source unit and the light receiving unit, and a signal processing unit that derives the distance to the object based on the pixel signals, the drive control unit drives the light source unit and the pixels with a continuous wave ToF sequence and a pulsed ToF sequence for measuring distance using different types of indirect ToF methods, and switches between the continuous wave ToF sequence and the pulsed ToF sequence between frames, the distance measurement range in the pulsed ToF sequence is longer than the distance measurement range in the continuous wave ToF sequence, and the signal processing unit derives the distance to the object based on a first pixel signal generated by the pixel in the continuous wave ToF sequence and a second pixel signal generated by the pixel in the pulsed ToF sequence.
  • an indirect ToF Time of Flight
  • a distance measurement method is a distance measurement method using a distance measurement device that measures the distance to an object using an indirect ToF (Time of Flight) method
  • the distance measurement device includes a light source unit that irradiates irradiation light and a light receiving unit having pixels that generate pixel signals based on incident light
  • the distance measurement method includes a drive control step of driving the light source unit and the pixels with a continuous wave ToF sequence and a pulse ToF sequence for measuring distance using different types of indirect ToF methods
  • a signal processing step of deriving the distance to the object based on a first pixel signal generated by the pixel in the continuous wave ToF sequence and a second pixel signal generated by the pixel in the pulse ToF sequence
  • the drive control step switches between the continuous wave ToF sequence and the pulse ToF sequence between frames, and the distance measurement range in the pulse ToF sequence is longer than the distance measurement range in the continuous wave ToF sequence.
  • This disclosure makes it possible to both expand the distance measurement range and improve the distance measurement accuracy.
  • FIG. 1 is a functional block diagram showing an example of the configuration of a distance measuring device according to an embodiment.
  • FIG. 2 is a schematic diagram of a pixel array included in a light receiving section according to the embodiment.
  • FIG. 3 is a plan view illustrating an example of a pixel configuration according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a driving sequence of the distance measuring device according to the embodiment.
  • FIG. 5 is a time chart showing an example of a first CW light emission exposure period and a second CW light emission exposure period in a CW-ToF sequence according to the embodiment.
  • FIG. 6 is a time chart showing an example of a first pulse emission exposure period and a second pulse emission exposure period in a pulse ToF sequence according to the embodiment.
  • FIG. 1 is a functional block diagram showing an example of the configuration of a distance measuring device according to an embodiment.
  • FIG. 2 is a schematic diagram of a pixel array included in a light receiving section according to the embodiment.
  • FIG. 7 is a diagram for explaining the estimated distances calculated by the CW-ToF method and the pulse ToF method.
  • FIG. 8 is a diagram for explaining multipath.
  • FIG. 9 is a first diagram for explaining the effect of multipath on the estimated distance.
  • FIG. 10 is a second diagram for explaining the effect of multipath on the estimated distance.
  • FIG. 11 is a third diagram for explaining the effect of multipath on the estimated distance.
  • FIG. 12 is a diagram showing a first alternative example of a drive sequence of the distance measuring device according to the embodiment.
  • FIG. 13 is a diagram showing a second alternative example of the driving sequence of the distance measuring device according to the embodiment.
  • FIG. 14 is a time chart showing an example of a first CW light emission exposure period and a second CW light emission exposure period in another CW-ToF sequence according to the embodiment.
  • FIG. 15 is a plan view illustrating an example of a configuration of a pixel according to the first modification of the embodiment.
  • FIG. 16 is a diagram illustrating an example of a drive sequence of the distance measuring device according to the first modification of the embodiment.
  • FIG. 17 is a time chart showing an example of the first CW light emission exposure period in the CW-ToF sequence according to the first modification of the embodiment.
  • FIG. 18 is a time chart showing an example of the first CW light emission exposure period in another CW-ToF sequence according to the first modification of the embodiment.
  • FIG. 19 is a time chart showing an example of a first pulse emission exposure period in a pulse ToF sequence according to the first modification of the embodiment.
  • FIG. 20 is a plan view illustrating an example of a pixel configuration according to the second modification of the embodiment.
  • FIG. 21 is a diagram illustrating an example of a driving sequence of the distance measuring device according to the second modification of the embodiment.
  • FIG. 22 is a time chart showing an example of a first CW light emission exposure period in a CW-ToF sequence according to the second modification of the embodiment.
  • FIG. 23 is a time chart showing an example of a first pulse emission exposure period in a pulse ToF sequence according to the second modification of the embodiment.
  • ordinal numbers such as “first” and “second” do not refer to the number or order of components, unless otherwise specified, but are used for the purpose of avoiding confusion and distinguishing between components of the same type.
  • Fig. 1 is a functional block diagram showing an example of the configuration of a distance measuring device 100 according to the embodiment.
  • Fig. 2 is a schematic diagram of a pixel array of a light receiving unit 20 according to the embodiment.
  • Fig. 3 is a plan view showing an example of the configuration of a pixel 21 according to the embodiment.
  • the distance measuring device 100 is a distance measuring device that measures the distance to an object using an indirect ToF method.
  • the distance measuring device 100 generates, for example, a distance image that indicates the distance to a subject, which is an example of an object.
  • the distance measuring device 100 includes a light source unit 10, a light receiving unit 20, a drive control unit 30, and a signal processing unit 40.
  • the light source unit 10 is, for example, a light irradiator that irradiates an object with irradiation light in accordance with an input light emission control signal.
  • the light source unit 10 irradiates, as irradiation light, a plurality of pulsed lights that are repeated at a predetermined duty ratio in accordance with the timing indicated by a light emission control pulse included in the input light emission control signal.
  • the light source unit 10 has two light sources, a first light source 11 and a second light source 12.
  • the first light source 11 emits irradiation light in a CW-ToF sequence described later.
  • the second light source 12 emits irradiation light in a pulse ToF sequence described later.
  • the first light source 11 and the second light source 12 each include a light-emitting element, such as a light-emitting diode or laser element that emits infrared light, and an optical system that receives light from the light-emitting element and controls the light distribution from the light-emitting element.
  • the light source unit 10 is not limited to an example composed of two light sources, and may be composed of one light source that emits irradiation light in both the CW-ToF sequence and the pulse ToF sequence.
  • the light receiving unit 20 is composed of an imaging element such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor. As shown in FIG. 2, the light receiving unit 20 has a pixel array composed of a plurality of pixels 21 arranged two-dimensionally. For the sake of explanation, FIG. 2 shows a configuration of 4 pixels horizontally and 4 pixels vertically, totaling 16 pixels, but the number of pixels 21 that the light receiving unit 20 has is not particularly limited. The plurality of pixels 21 have, for example, the same configuration as each other.
  • Pixel 21 generates a pixel signal based on incident light.
  • pixel 21 converts incident light into a signal charge and generates a pixel signal based on the converted signal charge.
  • pixel 21 includes a photoelectric conversion unit 22, a plurality of charge storage units 23a, 23b, a plurality of charge transfer units 24a, 24b, a charge discharge unit 25, and a discharge control unit 26.
  • the photoelectric conversion unit 22, the plurality of charge storage units 23a, 23b, the plurality of charge transfer units 24a, 24b, the charge discharge unit 25, and the discharge control unit 26 are provided, for example, on a semiconductor substrate.
  • the photoelectric conversion unit 22 generates a signal charge by converting the incident light incident on the pixel 21 into a signal charge.
  • the incident light incident on the pixel 21 includes, for example, light reflected by an object of the light irradiated from the light source unit 10.
  • the photoelectric conversion unit 22 is composed of, for example, a photoelectric conversion element such as a photodiode.
  • Each of the multiple charge accumulation sections 23a, 23b accumulates the signal charge converted by the photoelectric conversion section 22.
  • the multiple charge transfer sections 24a, 24b are provided in one-to-one correspondence with the multiple charge accumulation sections 23a, 23b. In the pixel 21, the number of each of the charge accumulation sections and charge transfer sections is two.
  • the multiple charge transfer sections 24a, 24b are electrically connected to the photoelectric conversion section 22, and transfer the signal charge converted by the photoelectric conversion section 22 from the photoelectric conversion section 22 to the multiple charge accumulation sections 23a, 23b. Specifically, the charge transfer section 24a transfers the signal charge to the charge accumulation section 23a, and the charge transfer section 24b transfers the signal charge to the charge accumulation section 23b.
  • the multiple charge transfer sections 24a, 24b are, for example, FETs (Field Effect Transistors) formed on a semiconductor substrate. Furthermore, the multiple charge storage sections 23a and 23b are, for example, impurity regions that function as the source or drain of the FET.
  • the signal charges stored in the multiple charge storage sections 23a, 23b are read out as pixel signals by a signal detection circuit (not shown).
  • the signal detection circuit reads out pixel signals corresponding to the potentials of the multiple charge storage sections 23a, 23b, for example.
  • the pixel signals read out from each pixel 21 include signals indicating signal values based on the amounts of signal charges stored in each of the multiple charge storage sections 23a, 23b.
  • the charge discharge section 25 discharges the signal charge converted by the photoelectric conversion section 22.
  • a predetermined reset voltage is applied to the charge discharge section 25.
  • the reset voltage may be a ground voltage.
  • the discharge control section 26 is electrically connected to the photoelectric conversion section 22 and controls the discharge of the signal charge converted by the photoelectric conversion section 22 by the charge discharge section 25.
  • the discharge control section 26 resets the charge of the photoelectric conversion section 22 by causing the charge discharge section 25 to discharge the signal charge.
  • the discharge control section 26 is, for example, an FET formed on a semiconductor substrate.
  • the charge discharge section 25 is, for example, an impurity region that functions as the source or drain of the FET.
  • the drive control unit 30 controls the drive of the light source unit 10 and the light receiving unit 20.
  • the drive control unit 30 outputs, for example, a light emission control pulse that instructs the light source unit 10 to irradiate irradiation light with a predetermined pulse width as a light emission control signal for controlling the drive of the light source unit 10.
  • the light emission control pulse includes multiple pulses for causing the light source unit 10 to repeatedly irradiate pulsed light.
  • the light source unit 10 irradiates multiple pulsed lights as irradiation light at a timing according to the light emission control pulse.
  • the drive control unit 30 also outputs, for example, an exposure control pulse that instructs each pixel 21 of the light receiving unit 20 to expose the light as a control signal for controlling the driving of the light receiving unit 20.
  • Each pixel 21 is exposed to light at a timing according to the exposure control pulse, and accumulates signal charge.
  • the exposure period means the period during which signal charge used for reading out pixel signals is accumulated. Therefore, even if light is incident on a pixel 21 and signal charge is generated, if the signal charge is not used for reading out pixel signals because it is discharged, etc., it is not exposed.
  • exposure refers to a state in which the charge transfer unit 24a or 24b is in an on state and signal charge is transferred from the photoelectric conversion unit 22 to the charge accumulation unit 23a or 23b.
  • the drive control unit 30 drives the light source unit 10 and each pixel 21 with a CW-ToF sequence and a pulse ToF sequence for measuring distances at different distance measurement ranges using different types of indirect ToF methods.
  • the CW-ToF sequence is a sequence for measuring distances using the CW-ToF method
  • the pulse ToF sequence is a sequence for measuring distances using the pulse ToF method.
  • the CW-ToF method is an indirect ToF method in which the light source unit 10 irradiates a continuous wave whose intensity is modulated at a predetermined period as irradiation light, and measures distance based on the phase difference between the irradiation light irradiated by the light source unit 10 and the reflected light of the irradiation light received by the light receiving unit 20 from an object.
  • the pulse ToF method is an indirect ToF method in which the light source unit 10 irradiates pulse light with a predetermined pulse width as irradiation light, and measures distance based on the time difference between the time when the light source unit 10 irradiates the irradiation light and the time when the light receiving unit 20 receives the reflected light of the irradiation light from the object.
  • the ranging range in the pulsed ToF sequence is longer than the ranging range in the CW-ToF sequence. Details of the CW-ToF sequence and the pulsed ToF sequence will be described later.
  • the signal processing unit 40 performs signal processing on the pixel signals output from the light receiving unit 20.
  • the signal processing unit 40 derives the distance to the object for each pixel 21 based on the pixel signals generated by each pixel 21. Specifically, the signal processing unit 40 derives the distance to the object for each pixel 21 based on the first pixel signal generated by each pixel 21 in the CW-ToF sequence and the second pixel signal generated by each pixel 21 in the pulse ToF sequence. Details of the derivation of the distance by the signal processing unit 40 will be described later.
  • the drive control unit 30 and the signal processing unit 40 are processing circuits realized, for example, by a memory that stores a program and a processor that executes the program. Although they are shown as separate block diagrams, all or part of the drive control unit 30 and the signal processing unit 40 may be configured with the same memory and processor. The drive control unit 30 and the signal processing unit 40 may also be dedicated logic circuits that perform predetermined processing.
  • FIG. 4 is a diagram showing an example of a driving sequence of the distance measuring device 100 according to the embodiment.
  • Sequence in FIG. 4 shows a drive sequence for the drive control unit 30 to drive the light source unit 10 and the light receiving unit 20 (specifically, each pixel 21).
  • sequences shown by rectangles with dotted patterns are CW-ToF sequences for distance measurement using the CW-ToF method, and the sequences shown by rectangles without dotted patterns are pulse ToF sequences for distance measurement using the pulse ToF method.
  • Light Emission Control in FIG. 4 shows a schematic period during which the drive control unit 30 causes the light source unit 10 to emit light. Also, the same items as in FIG. 4 are shown in FIGS. 12, 13, 16, and 21, which will be described later.
  • the drive control unit 30 drives the light source unit 10 and each pixel 21 with a time-divided CW-ToF sequence and a pulse ToF sequence.
  • the drive control unit 30 switches between the CW-ToF sequence and the pulse ToF sequence between frames.
  • the CW-ToF sequence and the pulse ToF sequence each consist of one or more frames (multiple frames in FIG. 4).
  • Each frame includes a light emission exposure period in which the light source unit 10 is caused to emit irradiation light and each pixel 21 is exposed to light, and a readout period in which a pixel signal based on the signal charge generated during the light emission exposure period is read out.
  • the first pixel signal generated by each pixel 21 is read out.
  • the second pixel signal generated by each pixel 21 is read out.
  • each pixel 21 is reset.
  • the multiple frames in each of the CW-ToF sequence and the pulse ToF sequence may or may not be consecutive.
  • multiple frames constituting one of the CW-ToF sequence and the pulse ToF sequence may be consecutive, followed by multiple frames constituting the other.
  • a frame included in one of the CW-ToF sequence and the pulse ToF sequence may be followed by a frame included in the other. In other words, switching between frames of the CW-ToF sequence and the pulse ToF sequence does not have to be performed for each frame, and may be performed for each frame.
  • the CW-ToF sequence includes a first CW-ToF frame Fa1 and a second CW-ToF frame Fa2, which differ from each other in the timing at which each pixel 21 is exposed relative to the timing at which the light source unit 10 is caused to irradiate irradiation light (specifically, a plurality of pulsed lights as described below), and is made up of these two types of frames.
  • the first CW-ToF frame Fa1 includes a first CW light emission exposure period Sa1 and a readout period following the first CW light emission exposure period Sa1.
  • the second CW-ToF frame Fa2 includes a second CW light emission exposure period Sa2 and a readout period following the second CW light emission exposure period Sa2.
  • the pulse ToF sequence includes a first pulse ToF frame Fb1 and a second pulse ToF frame Fb2, which have different timings for exposing each pixel 21 relative to the timing for irradiating the light source unit 10 with irradiation light (specifically, a plurality of pulsed lights as described below), and is made up of these two types of frames.
  • the first pulse ToF frame Fb1 includes a first pulse light emission exposure period Sb1 and a readout period following the first pulse light emission exposure period Sb1.
  • the second pulse ToF frame Fb2 includes a second pulse light emission exposure period Sb2 and a readout period following the second pulse light emission exposure period Sb2.
  • the drive control unit 30 repeats a set including only one frame each of the first CW-ToF frame Fa1, the second CW-ToF frame Fa2, the first pulse ToF frame Fb1, and the second pulse ToF frame Fb2 a predetermined number of times as a repetition unit.
  • the first CW-ToF frame Fa1, the second CW-ToF frame Fa2, the first pulse ToF frame Fb1, and the second pulse ToF frame Fb2 are repeated in this order, but the order of the frames within the repetition unit is not particularly limited.
  • the CW-ToF sequence and the pulse ToF sequence are divided into two types of frames, so the number of charge storage units that store signal charges with different exposure timings is reduced, making it easy to distribute the signal charges to the charge storage units.
  • the drive control unit 30 causes the light source unit 10 to emit irradiation light during each light emission exposure period, but it may also cause the light source unit 10 to emit irradiation light during the readout period.
  • Figure 5 is a time chart showing an example of the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2.
  • the "light emission control pulse” in FIG. 5 shows an example of a first light emission control pulse (i.e., the waveform of the light emitted by the light source unit 10) that the drive control unit 30 outputs to the light source unit 10 during the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2.
  • a first light emission control pulse of the same waveform is output.
  • the drive control unit 30 outputs a first light emission control pulse with a first duty ratio to the light source unit 10 during the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2, causing the light source unit 10 to irradiate pulsed light as irradiation light.
  • the frequency of the first light emission control pulse is f1.
  • the pulse width of the first light emission control pulse is Tp1, and the period of the first light emission control pulse is T1, so the first duty ratio of the first light emission control pulse is Tp1/T1.
  • the first duty ratio is 50%, but distance measurement using the CW-ToF method is possible if the duty ratio is between 25% and 75%.
  • exposure periods C0, C90, C180, and C270 are shown in which the drive control unit 30 exposes each pixel 21 to light and accumulates signal charge. Specifically, the drive control unit 30 outputs an exposure control pulse to each pixel 21 during the exposure periods C0, C90, C180, and C270 to turn on the charge transfer unit 24a or 24b and transfer the signal charge from the photoelectric conversion unit 22 to the charge accumulation unit 23a or 23b.
  • the exposure periods C0, C90, C180, and C270 are set to periods associated with the first light emission control pulse.
  • the first CW light emission exposure period Sa1 includes an exposure period C0 and an exposure period C180, and the exposure period C0 and the exposure period C180 are alternately and continuously repeated until the readout period.
  • a rectangle with a low-density dot pattern indicates the exposure period C0
  • a rectangle with a high-density diagonal line pattern indicates the exposure period C180.
  • the exposure period C0 starts when the phase difference with the first light emission control pulse is 0°
  • the exposure period C180 starts when the phase difference with the first light emission control pulse is 180°.
  • the total length of the exposure period C0 and the exposure period C180 is the same as the period T1 of the first light emission control pulse.
  • signal charge is accumulated in different charge accumulation sections.
  • charge transfer section 24b and discharge control section 26 are off, and charge transfer section 24a is turned on, so that signal charge accumulates in charge accumulation section 23a.
  • charge transfer section 24a and discharge control section 26 are off, and charge transfer section 24b is turned on, so that signal charge accumulates in charge accumulation section 23b.
  • a signal based on the signal charge accumulated in the exposure period C0 and a signal based on the signal charge accumulated in the exposure period C180 are read out as the first pixel signal.
  • the signal value of the signal corresponding to the exposure period C0 is designated as C0
  • the signal value of the signal corresponding to the exposure period C180 is designated as C180.
  • the second CW light emission exposure period Sa2 includes an exposure period C90 and an exposure period C270, and the exposure period C90 and the exposure period C270 are alternately and continuously repeated until the readout period.
  • a rectangle with a high-density dot pattern indicates the exposure period C90
  • a rectangle with a low-density diagonal line pattern indicates the exposure period C270.
  • the exposure period C90 starts when the phase difference with the first light emission control pulse is 90°
  • the exposure period C270 starts when the phase difference with the first light emission control pulse is 270°.
  • the total length of the exposure period C90 and the exposure period C270 is the same as the period T1 of the first light emission control pulse.
  • signal charge is accumulated in different charge accumulation sections.
  • charge transfer section 24b and discharge control section 26 are off, and charge transfer section 24a is turned on, so that signal charge is accumulated in charge accumulation section 23a.
  • charge transfer section 24a and discharge control section 26 are off, and charge transfer section 24b is turned on, so that signal charge is accumulated in charge accumulation section 23b.
  • a signal based on the signal charge accumulated in the exposure period C90 and a signal based on the signal charge accumulated in the exposure period C270 are read out as part of the first pixel signal.
  • the signal value of the signal corresponding to the exposure period C90 is designated as C90
  • the signal value of the signal corresponding to the exposure period C270 is designated as C270.
  • the lengths of the exposure periods C0, C180, C90, and C270 are the same, and are T1/2, which is the length obtained by dividing the period of the first light emission control pulse in half.
  • the drive control unit 30 continuously exposes each pixel 21 from the start of exposure of each pixel 21 to the readout of the first pixel signal. Note that there may be an interval between the end of exposure of each pixel 21 and the readout of the first pixel signal. Continuously exposing each pixel 21 means that the exposure is not interrupted midway between the start of exposure of each pixel 21 and the readout of the first pixel signal to discharge the signal charge from the photoelectric conversion unit 22. Therefore, each of the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2 does not include a charge discharge period, which will be described later.
  • FIG. 6 is a time chart showing an example of the first pulse emission exposure period Sb1 and the second pulse emission exposure period Sb2.
  • the "light emission control pulse” in FIG. 6 shows an example of a second light emission control pulse (i.e., the waveform of the light emitted by the light source unit 10) that the drive control unit 30 outputs to the light source unit 10 during the first pulse light emission exposure period Sb1 and the second pulse light emission exposure period Sb2.
  • a second light emission control pulse of the same waveform is output.
  • the drive control unit 30 outputs a second light emission control pulse with a second duty ratio to the light source unit 10 during the first pulse light emission exposure period Sb1 and the second pulse light emission exposure period Sb2, causing the light source unit 10 to irradiate pulsed light as irradiation light.
  • the pulse width of the second light emission control pulse is Tp2
  • the period of the second light emission control pulse is T2 so that the second duty ratio of the second light emission control pulse is Tp2/T2.
  • the second duty ratio is, for example, smaller than the first duty ratio.
  • the second duty ratio is, for example, less than 50%, and may be less than 25%.
  • the pulse width Tp2 of the second light emission control pulse is, for example, equal to or greater than the pulse width Tp1 of the first light emission control pulse.
  • the pulse width Tp2 of the second light emission control pulse may be longer than the pulse width Tp1 of the first light emission control pulse. This makes it possible to widen the distance measurement range in the pulse ToF sequence, and to cause the light source unit 10 to irradiate stable pulsed light.
  • exposure periods P0, P1, P2, and P3 in which the drive control unit 30 exposes each pixel 21 to accumulate signal charge, and a charge discharge period in which the signal charge of the photoelectric conversion unit 22 in each pixel 21 is discharged are shown.
  • the drive control unit 30 outputs an exposure control pulse to each pixel 21 during the exposure period to turn on the charge transfer unit 24a or 24b, thereby transferring the signal charge from the photoelectric conversion unit 22 to the charge accumulation unit 23a or 23b.
  • the exposure periods P0, P1, P2, and P3 are set to periods associated with the second light emission control pulse.
  • the drive control unit 30 outputs a charge discharge pulse to each pixel 21 during the charge discharge period to turn on the discharge control unit 26, thereby discharging the signal charge of the photoelectric conversion unit 22 to the charge discharge unit 25.
  • the charge discharge period can also be said to be a non-exposure period in which each pixel 21 is not exposed to light.
  • the first pulse light emission exposure period Sb1 includes an exposure period P0, an exposure period P1, and a charge discharge period, and the exposure period P0, the exposure period P1, and the charge discharge period are repeated in this order until the readout period.
  • the exposure period P0 starts simultaneously with the start of each pulse of the second light emission control pulse.
  • the exposure period P1 starts with a delay of 1 x Tp2 from the start of each pulse of the second light emission control pulse, which is the end timing of the exposure period P0.
  • the charge discharge period starts at the end timing of the exposure period P1.
  • the total length of the exposure period P0, the exposure period P1, and the charge discharge period is the same as the period T2 of the second light emission control pulse.
  • signal charge is accumulated in different charge accumulation sections.
  • charge transfer section 24b and discharge control section 26 are off, and charge transfer section 24a is turned on, so that signal charge accumulates in charge accumulation section 23a.
  • charge transfer section 24a and discharge control section 26 are off, and charge transfer section 24b is turned on, so that signal charge accumulates in charge accumulation section 23b.
  • the signal charge generated by the photoelectric conversion unit 22 is discharged to the charge discharge unit 25, and no signal charge is stored in the charge storage units 23a, 23b.
  • the charge transfer units 24a, 24b are off, and the signal charge stored in the charge storage units 23a, 23b is held in the charge storage units 23a, 23b.
  • the existence of a charge discharge period between the end of an exposure period P0, P1 and the next exposure period P0, P1 makes it difficult for the aliasing phenomenon to occur even if the distance to the target object is long. Note that, during the charge discharge period, as long as the discharge control unit 26 is on for a predetermined period until the end of the charge discharge period, the discharge control unit 26 does not need to be on from the beginning of the charge discharge period.
  • a signal based on the signal charge accumulated in the exposure period P0 and a signal based on the signal charge accumulated in the exposure period P1 are read out as the second pixel signal.
  • the signal value of the signal corresponding to the exposure period P1 is designated as P0
  • the signal value of the signal corresponding to the exposure period P1 is designated as P1.
  • the second pulse light emission exposure period Sb2 includes an exposure period P2, an exposure period P3, and a charge discharge period, and the exposure period P2, the exposure period P3, and the charge discharge period are repeated in this order until the readout period.
  • the exposure period P2 starts with a delay of 2 ⁇ Tp2 from the start of each pulse of the second light emission control pulse.
  • the exposure period P3 starts with a delay of 3 ⁇ Tp2 from the start of each pulse of the second light emission control pulse, which is the end of the exposure period P2.
  • the charge discharge period starts at the end of the exposure period P3.
  • the total length of the exposure period P2, the exposure period P3, and the charge discharge period is the same as the period T2 of the second light emission control pulse.
  • signal charge is accumulated in different charge accumulation sections.
  • charge transfer section 24b and discharge control section 26 are off, and charge transfer section 24a is turned on, so that signal charge accumulates in charge accumulation section 23a.
  • charge transfer section 24a and discharge control section 26 are off, and charge transfer section 24b is turned on, so that signal charge accumulates in charge accumulation section 23b.
  • a signal based on the signal charge accumulated in the exposure period P2 and a signal based on the signal charge accumulated in the exposure period P3 are read out as the second pixel signal.
  • the signal value of the signal corresponding to the exposure period P2 is designated as P2
  • the signal value of the signal corresponding to the exposure period P3 is designated as P3.
  • Exposure period P0 starts at a timing based on the start of each pulse of the second light-emitting control pulse, and exposure period P1, exposure period P2 and exposure period P3 start with a delay of Tp2 from the start of exposure period P0 in that order.
  • exposure period P0 may start with a predetermined offset from the start of each pulse of the second light-emitting control pulse.
  • the drive control unit 30 intermittently exposes each pixel 21 from the start of exposure of each pixel 21 to the readout of the second pixel signal during each of the first pulse light emission exposure period Sb1 and the second pulse light emission exposure period Sb2.
  • a charge discharge period which is a non-exposure period, between the exposure periods.
  • the signal processing unit 40 When deriving the distance to the object, the signal processing unit 40 first calculates a first estimated distance based on the first pixel signal using distance calculation by the CW-ToF method, and then calculates a second estimated distance based on the second pixel signal using distance calculation by the pulse ToF method. The signal processing unit 40 derives the distance to the object based on the first estimated distance and the second estimated distance. The first pixel signal and the second pixel signal are output from each pixel 21 by the above-mentioned drive sequence.
  • the signal processing unit 40 calculates the first estimated distance based on the first pixel signal output from each pixel 21 in a CW-ToF sequence including the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2 as described above, for example. If the first estimated distance is d1, d1 is calculated by the following formula (1).
  • c is the speed of light.
  • the above formula (1) is used to calculate distance by utilizing the fact that the phase of the light reflected by an object shifts relative to the illuminated light depending on the distance to the object.
  • df1 c/f1.
  • the signal processing unit 40 calculates the second estimated distance based on the second pixel signal output from each pixel 21 in a pulse ToF sequence including, for example, the first pulse emission exposure period Sb1 and the second pulse emission exposure period Sb2 as described above. If the second estimated distance is d2, d2 is calculated by the following formula (2).
  • the above formula (2) is a formula for the case where pixel 21 receives, during exposure period P0 and exposure period P1, reflected light from an object of pulsed light that returns to pixel 21 with a delay of time ⁇ t after irradiation of pulsed light by light source unit 10.
  • P1 is the signal value corresponding to the reflected light for time ⁇ t
  • d2 is calculated using the following formula (3).
  • d2 is calculated using the following formula (4).
  • the signal values of P0, P1, P2, and P3 that were not used to calculate d2 are signal values that correspond to background light that is incident on pixel 21 during the exposure period, regardless of reflected light, so in the above formula, the signal values that were not used to calculate d2 may be subtracted from the signal values that correspond to reflected light.
  • the signal processing unit 40 determines the smallest value of n that minimizes the difference between n ⁇ df1+d1 and the second estimated distance d2 when the ranging range in the CW-ToF sequence is df1 and n is an integer equal to or greater than 0.
  • FIG. 7 is a diagram for explaining the estimated distance calculated by the CW-ToF method and the pulse ToF method.
  • the upper part of FIG. 7 shows the relationship between the estimated distance calculated and the actual distance in the CW-ToF method in a solid line graph. That is, the upper graph of FIG. 7 shows the relationship between the first estimated distance calculated based on the first pixel signal output from the pixel 21 in the above CW-ToF sequence and the actual distance.
  • the lower part of FIG. 7 shows the relationship between the estimated distance calculated and the actual distance in the pulse ToF method in a solid line graph. That is, the lower graph of FIG. 7 shows the relationship between the second estimated distance calculated based on the second pixel signal output from the pixel 21 in the above pulse ToF sequence and the actual distance.
  • the vertical axis of these two graphs is the calculated estimated distance, and the horizontal axis is the actual distance. Note that the vertical axis and the horizontal axis of these graphs do not have the same scale, and the horizontal axis is a graph with a larger scale.
  • the first estimated distance d1 calculated by the CW-ToF method is never greater than the ranging range df1 in the CW-ToF sequence.
  • the phase difference is repeated from 0° to 360°, so the distance folds over for each ranging range df1.
  • the calculated first estimated distance d1 is repeated within the ranging range df1 even if the actual distance is longer. Therefore, even if the actual position of the target object is farther than the ranging range df1, the first estimated distance d1 is calculated as a value less than the ranging range df1.
  • n corresponds to the number of times the distance folds over for each ranging range df1, and any one of the virtual positions where the distance from the ranging device 100 is represented by n ⁇ df1+d1 is the actual position of the target object.
  • Virtual positions other than the actual position are positions that correspond to pseudo distances.
  • the pulse ToF method it is possible to set conditions under which distance aliasing does not occur, and distance aliasing is unlikely to occur, so the second estimated distance d2 calculated with the pulse ToF method usually corresponds to the actual position of the target. Therefore, the first estimated distance after adding the ranging range calculated as n ⁇ df1+d1 using the smallest value of n among those where the difference between n ⁇ df1+d1 and d2 is smallest, becomes the distance corresponding to the actual position of the target in the CW-ToF method.
  • the signal processing unit 40 determines, as the distance to the object, either (i) the first estimated distance after addition calculated by n ⁇ df1+d1 using the smallest value of n among those that minimize the difference between n ⁇ df1+d1 and d2, or (ii) the second estimated distance d2.
  • the signal processing unit 40 determines, as the distance to the object, the first estimated distance after addition calculated by the CW-ToF method, which has a shorter ranging range and higher ranging accuracy than the pulse ToF method.
  • it is easy to increase the frequency of continuous wave irradiation light such as the CW-ToF method making it easy to improve ranging accuracy.
  • FIG. 8 is a diagram for explaining the multipath.
  • the pulsed light irradiated by the light source unit 10 travels along a direct path where it directly hits the target object OBJ1 and is reflected, as shown in FIG. 8, an error from the true distance is unlikely to occur.
  • the reflected light from the object OBJ returning to the distance measuring device 100 contains a direct path component that travels along the direct path and a multipath component that travels along the multipath, so the first estimated distance and the second estimated distance after addition calculated above will contain an error that makes them longer than the true distance.
  • FIG. 9 is the first diagram for explaining the effect of multipath on estimated distance.
  • FIG. 9 shows an example in which the distance range dm of the multipath component is relatively narrow.
  • the distance range dm of the multipath component is the range of virtual distance corresponding to the flight time of each multipath component when multiple multipaths exist. Also, in FIG. 9, the relationship between the calculated estimated distance and the actual distance is shown by a solid line graph, similar to FIG. 7.
  • the distance range dm of the multipath component is longer than the true distance dt.
  • the first estimated distance de1 and the second estimated distance de2 after addition calculated under the influence of multipath show values longer than the true distance dt.
  • the distance range dm of the multipath component is relatively narrow, in the CW-ToF method, the distance range dm of the multipath component and the true distance dt often fall within the range of the ranging range df1. As shown in FIG.
  • FIG. 10 is a second diagram for explaining the effect of multipath on the estimated distance.
  • FIG. 10 shows an example where the distance range dm of the multipath components is relatively wide. Also, in FIG. 10, the relationship between the calculated estimated distance and the actual distance is shown by a solid line graph, similar to FIG. 7.
  • the distance range dm of the multipath component is relatively wide, in the CW-ToF method, the distance range dm of the multipath component is likely to not fall within the range of the distance measurement range df1. As shown in FIG. 10, when the distance range dm of the multipath component does not fall within the range of the distance measurement range df1, part of the distance range dm of the multipath component is folded back to the short distance side, and this part affects the first estimated distance de1 after addition to be shorter.
  • the influence of multipath on the estimated distance differs between the CW-ToF method and the pulsed ToF method, and the first estimated distance de1 after addition is likely to be shorter than the second estimated distance de2, and by using the first estimated distance de1 after addition, a distance value closer to the true distance dt to the target object is derived. Therefore, when the signal processing unit 40 determines either the first estimated distance de1 after addition or the second estimated distance de2 as the distance to the object, taking into account the effects of multipath, typically determining the first estimated distance de1 after addition as the distance to the object tends to reduce the error with the true distance dt.
  • FIG. 11 is a third diagram for explaining the effect of multipath on the estimated distance.
  • FIG. 11 shows an extreme example of a case where more than half of the distance range dm of the multipath component is folded back beyond the measurement range df1, in which the distance range dm of the multipath component is relatively wide and the entire distance range dm of the multipath component is a folded back component.
  • the relationship between the calculated estimated distance and the actual distance is shown by a solid line graph, similar to FIG. 7.
  • the signal processing unit 40 determines the first estimated distance de1 after addition as the distance to the object, the true distance dt will be erroneously detected, and the error with the true distance dt will be large. Therefore, when the second estimated distance de2 is shorter than the first estimated distance de1 after addition, the signal processing unit 40 determines, for example, the second estimated distance de2 as the distance to the object. This reduces the error between the determined distance and the true distance dt.
  • the signal processing unit 40 can improve the distance measurement accuracy by determining the shorter of the second estimated distance de2 and the first estimated distance after addition de1 as the distance to the target object. Furthermore, the signal processing unit 40 may determine that abnormal distance measurement has been performed if the second estimated distance de2 is shorter than the first estimated distance after addition de1. In this case, the signal processing unit 40 outputs information indicating that abnormal distance measurement has been performed.
  • the distance measuring device 100 includes a light source unit 10 that emits irradiation light, a light receiving unit 20 having pixels 21 that generate pixel signals based on incident light, a drive control unit 30 that controls the driving of the light source unit 10 and the light receiving unit 20, and a signal processing unit 40 that derives the distance to an object based on the pixel signals.
  • the drive control unit 30 drives the light source unit 10 and the pixels 21 with a CW-ToF sequence and a pulse ToF sequence for measuring distances using different types of indirect ToF methods, and switches between the CW-ToF sequence and the pulse ToF sequence between frames.
  • the signal processing unit 40 derives the distance to an object based on a first pixel signal generated by the pixel 21 in the CW-ToF sequence and a second pixel signal generated by the pixel 21 in the pulse ToF sequence.
  • the distance measurement range in the pulse ToF sequence is longer than the distance measurement range in the CW-ToF sequence.
  • the ranging device 100 can derive the distance to the target object using a first pixel signal generated by a CW-ToF sequence using a CW-ToF method, which has a shorter ranging range than a pulse ToF sequence and makes it easier to improve ranging accuracy, and a second pixel signal generated by a pulse ToF sequence using a pulse ToF method, which is less likely to cause distance aliasing. Because the second pixel signal is used to derive the distance in addition to the first pixel signal, the ranging range of the ranging device 100 is expanded and detection of false distances is also suppressed. Thus, the ranging device 100 can achieve both an expanded ranging range and improved ranging accuracy.
  • the distance measurement method using the distance measuring device 100 also includes a drive control step of driving the light source unit 10 and the pixel 21 with a CW-ToF sequence and a pulsed ToF sequence for measuring distance using different types of indirect ToF methods, and a signal processing step of deriving the distance to the object based on a first pixel signal generated by the pixel 21 in the CW-ToF sequence and a second pixel signal generated by the pixel 21 in the pulsed ToF sequence.
  • the distance measurement range in the pulsed ToF sequence is longer than the distance measurement range in the CW-ToF sequence.
  • the drive control unit 30 continuously exposes the pixel 21 from the start of exposure of the pixel 21 to the readout of the first pixel signal, and in a pulse ToF sequence, the drive control unit 30 intermittently exposes the pixel 21 from the start of exposure of the pixel 21 to the readout of the second pixel signal.
  • the light source unit 10 irradiates pulsed light as the irradiation light in accordance with the light emission control pulse output from the drive control unit 30, and the drive control unit 30 outputs a first light emission control pulse with a first duty ratio to the light source unit 10 in the CW-ToF sequence to cause the light source unit 10 to irradiate pulsed light as the irradiation light, and outputs a second light emission control pulse with a second duty ratio to the light source unit 10 in the pulse ToF sequence to cause the light source unit 10 to irradiate pulsed light as the irradiation light.
  • the light source unit 10 is caused to irradiate pulsed light by the light emission control pulse, making it easier for the drive control unit 30 to generate a control signal for the light source unit 10.
  • the second duty ratio is smaller than the first duty ratio. Further, for example, the second duty ratio is less than 50%. Further, for example, the second duty ratio is less than 25%. Further, for example, the pulse width of the second light emission control pulse is longer than the pulse width of the first light emission control pulse.
  • the signal processing unit 40 calculates a first estimated distance based on the first pixel signal, calculates a second estimated distance based on the second pixel signal, and determines, as the distance to the object, either (i) the first estimated distance after addition calculated as n ⁇ df1+d1 using the smallest value of n among n that minimizes the difference between n ⁇ df1+d1 and d2 when the first estimated distance is d1, the second estimated distance is d2, the ranging range in the CW-ToF sequence is df1, and n is an integer equal to or greater than 0, and (ii) the second estimated distance.
  • the signal processing unit 40 determines the shorter of the second estimated distance and the first estimated distance after addition as the distance to the object.
  • the signal processing unit 40 determines that abnormal distance measurement has been performed.
  • pixel 21 includes a photoelectric conversion unit 22 that converts incident light into a signal charge, a plurality of charge accumulation units 23a, 23b that accumulate the signal charge converted by photoelectric conversion unit 22, a plurality of charge transfer units 24a, 24b that correspond one-to-one to the plurality of charge accumulation units 23a, 23b and transfer the signal charge converted by photoelectric conversion unit 22 to the plurality of charge accumulation units 23a, 23b, a charge discharge unit 25 that discharges the signal charge converted by photoelectric conversion unit 22, and a discharge control unit 26 that controls the discharge of the signal charge by charge discharge unit 25.
  • the signal charge of the photoelectric conversion section 22 can be discharged by the charge discharge section 25 and the discharge control section 26, so that a period of non-exposure of the pixel 21 can be easily achieved.
  • FIG. 12 is a diagram showing a first alternative example of a drive sequence of the distance measuring device 100 according to the embodiment.
  • the CW-ToF sequence includes a first CW-ToF frame Fa1 and a second CW-ToF frame Fa2, similar to the example shown in FIG. 4, and is made up of these two types of frames.
  • the pulse ToF sequence includes a first pulse ToF frame Fb1 that exposes each pixel 21 at a predetermined timing relative to the timing at which the light source unit 10 irradiates the irradiation light, and is made up of this one type of frame.
  • the drive control unit 30 repeats a set including only one frame each of the first CW-ToF frame Fa1, the second CW-ToF frame Fa2, and the first pulse ToF frame Fb1 as a repetition unit a predetermined number of times.
  • the first CW-ToF frame Fa1, the second CW-ToF frame Fa2, and the first pulse ToF frame Fb1 are repeated in this order, but the order of the frames within the repetition unit is not particularly limited.
  • the drive sequence shown in FIG. 12 has a configuration in which the second pulse ToF frame Fb2 is removed from the drive sequence shown in FIG. 4. Therefore, it is possible to shorten the time of the drive sequence required to derive the distance, and a distance measurement image with suppressed motion blur can be captured.
  • the pulse ToF sequence shown in FIG. 12 is composed of the first pulse ToF frame Fb1
  • the second estimated distance is calculated only by equation (2) out of equations (2), (3), and (4) above. Therefore, the distance measurement range in the pulse ToF sequence shown in FIG. 12 is (c ⁇ Tp2)/2, but if the pulse width Tp2 is made longer than that of the pulse ToF sequence shown in FIG.
  • FIG. 13 is a diagram showing a second example of a drive sequence of the distance measuring device 100 according to the embodiment.
  • the drive sequence shown in FIG. 13 has a configuration in which another CW-ToF sequence is added to the drive sequence shown in FIG. 4.
  • the another CW-ToF sequence is shown by a rectangle with a dot pattern that is less dense than the rectangle with the dot pattern indicating the CW-ToF sequence.
  • the drive control unit 30 drives the light source unit 10 and each pixel 21 with a time-shared CW-ToF sequence, another CW-ToF sequence, and a pulsed ToF sequence.
  • the another CW-ToF sequence has a longer ranging range than the CW-ToF sequence.
  • the different CW-ToF sequence includes a first CW-ToF frame Fc1 and a second CW-ToF frame Fc2 in which the timing at which each pixel 21 is exposed to light differs from the timing at which the light source unit 10 is caused to emit light, and is made up of these two types of frames.
  • the first CW-ToF frame Fc1 includes a first CW light emission exposure period Sc1 and a readout period following the first CW light emission exposure period Sc1.
  • the second CW-ToF frame Fc2 includes a second CW light emission exposure period Sc2 and a readout period following the second CW light emission exposure period Sc2.
  • a third pixel signal generated by each pixel 21 is read out.
  • the drive control unit 30 repeats a set including only one frame each of the first CW-ToF frame Fa1, the second CW-ToF frame Fa2, the first CW-ToF frame Fc1, the second CW-ToF frame Fc2, the first pulse ToF frame Fb1, and the second pulse ToF frame Fb2 as a repetition unit a predetermined number of times.
  • the first CW-ToF frame Fa1, the second CW-ToF frame Fa2, the first CW-ToF frame Fc1, the second CW-ToF frame Fc2, the first pulse ToF frame Fb1, and the second pulse ToF frame Fb2 are repeated in this order, but the order of the frames within the repetition unit is not particularly limited.
  • FIG. 14 is a time chart showing an example of the first CW light emission exposure period Sc1 and the second CW light emission exposure period Sc2.
  • Light Emission Control Pulse in FIG. 14, an example of a third light emission control pulse (i.e., the waveform of the irradiation light emitted by the light source unit 10) that the drive control unit 30 outputs to the light source unit 10 during the first CW light emission exposure period Sc1 and the second CW light emission exposure period Sc2 is shown. During the first CW light emission exposure period Sc1 and the second CW light emission exposure period Sc2, a third light emission control pulse of the same waveform is output.
  • the drive control unit 30 outputs a third light emission control pulse with a third duty ratio to the light source unit 10 during the first CW light emission exposure period Sc1 and the second CW light emission exposure period Sc2, causing the light source unit 10 to irradiate pulsed light as irradiation light.
  • the frequency of the third light emission control pulse is f3.
  • the pulse width of the third light emission control pulse is Tp3, and the period of the third light emission control pulse is T3, so that the third duty ratio of the third light emission control pulse is Tp3/T3.
  • the third duty ratio is 50%, but distance measurement using the CW-ToF method is possible if the duty ratio is 25% or more and 75% or less.
  • exposure periods C0, C90, C180, and C270 are shown in which the drive control unit 30 exposes each pixel 21 to light and accumulates signal charge. Except that the exposure periods C0, C90, C180, and C270 in the first CW light emission exposure period Sc1 and the second CW light emission exposure period Sc2 are set to periods associated with the third light emission control pulse, the same driving is performed as the exposure periods C0, C90, C180, and C270 in the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2 described using FIG. 5.
  • the first CW light emission exposure period Sc1 includes an exposure period C0 and an exposure period C180, and the exposure period C0 and the exposure period C180 are alternately repeated continuously until the readout period.
  • the exposure period C0 starts when the phase difference with the third light emission control pulse is 0°
  • the exposure period C180 starts when the phase difference with the third light emission control pulse is 180°.
  • the total length of the exposure period C0 and the exposure period C180 is the same as the period T3 of the third light emission control pulse.
  • the second CW light emission exposure period Sc2 includes an exposure period C90 and an exposure period C270, and the exposure period C90 and the exposure period C270 are alternately repeated continuously until the readout period.
  • the exposure period C90 starts when the phase difference with the third light emission control pulse is 90°
  • the exposure period C270 starts when the phase difference with the third light emission control pulse is 270°.
  • the total length of the exposure period C90 and the exposure period C270 is the same as the period T3 of the third light emission control pulse.
  • the lengths of the exposure periods C0, C180, C90 and C270 are the same, and are T3/2, which is the length obtained by dividing the period of the third light emission control pulse in half.
  • the drive control unit 30 continuously exposes each pixel 21 from the start of exposure of each pixel 21 to the readout of the third pixel signal. Note that there may be an interval between the end of exposure of each pixel 21 and the readout of the third pixel signal.
  • the signal processing unit 40 derives the distance to the object based on the first pixel signal, the second pixel signal, and the third pixel signal. Specifically, in deriving the distance to the object, the signal processing unit 40 first calculates the first estimated distance and the second estimated distance, and then calculates the third estimated distance based on the third pixel signal using distance calculation by the CW-ToF method. The signal processing unit 40 derives the distance to the object based on the first estimated distance, the second estimated distance, and the third estimated distance.
  • the signal processing unit 40 calculates the third estimated distance based on the third pixel signal output from each pixel 21 in another CW-ToF sequence including the first CW light emission exposure period Sc1 and the second CW light emission exposure period Sc2 as described above. If the third estimated distance is d3, d3 is calculated by the following formula (5).
  • the signal processing unit 40 determines the pair of m1 and m3 that has the smallest value among the pairs of m1 and m3 that have the smallest difference between m1 ⁇ df1+d1 and m3 ⁇ df3+d3 when the measurement range in another CW-ToF sequence is df3 and m3 is an integer equal to or greater than 0. Then, it determines the smallest value of n among the pairs of n that have the smallest difference between n ⁇ m1 ⁇ df1+d1 and the second estimated distance d2.
  • the unit of return of the estimated distance calculated using the CW-ToF method is m1 ⁇ df1, which is wider, so that erroneous determination in determining the value of n can be suppressed compared to the drive sequence shown in FIG. 4.
  • the signal processing unit 40 determines, as the distance to the object, either (i) the first estimated distance after addition calculated by n ⁇ m1 ⁇ df1+d1 using the smallest value of n among those that minimize the difference between n ⁇ m1 ⁇ df1+d1 and d2, or (ii) the second estimated distance d2.
  • the choice of whether the signal processing unit 40 selects the first estimated distance after addition or the second estimated distance is the same as in the case of the drive sequence shown in FIG. 4.
  • a further CW-ToF sequence may be added in which a light emission control pulse is output at a frequency different from frequencies f1 and f3. This further widens the unit of return for the estimated distance calculated using the CW-ToF method, making it possible to further reduce erroneous determinations in determining the value of n.
  • the driving sequence of the distance measuring device 100 may further include another pulse ToF sequence having a different distance measurement range from the pulse ToF sequence.
  • the driving control unit 30 outputs a light emission control pulse that differs from the second light emission control pulse in at least one of the duty ratio, pulse width, and period, and exposes the pixel 21 during the exposure period with the timing corresponding to the light emission control pulse.
  • the distance measuring device 100 may operate with one fixed drive sequence, or may be capable of switching between multiple drive sequences.
  • the distance measuring device 100 may be a device that performs only one of the drive sequences shown in FIG. 4, FIG. 12, and FIG. 13, or may be a device that performs two or more of these sequences by switching between them.
  • FIG. 15 is a plan view showing an example of the configuration of pixel 21A according to this modified example.
  • the distance measuring device according to this modified example has a configuration in which pixel 21 of distance measuring device 100 according to the embodiment is replaced with pixel 21A.
  • Pixel 21A differs from pixel 21 in that it has a different number of charge accumulation sections and charge transfer sections; the number of charge accumulation sections and charge transfer sections in pixel 21A is four each.
  • pixel 21A includes a photoelectric conversion section 22, a plurality of charge accumulation sections 23a, 23b, 23c, and 23d, a plurality of charge transfer sections 24a, 24b, 24c, and 24d, a charge discharge section 25, and a discharge control section 26.
  • Charge transfer section 24c transfers signal charge to charge accumulation section 23c
  • charge transfer section 24d transfers signal charge to charge accumulation section 23d.
  • Figure 16 is a diagram showing an example of the driving sequence of the distance measuring device according to this modified example.
  • the drive control unit 30 drives the light source unit 10 and each pixel 21A with a time-shared CW-ToF sequence, another CW-ToF sequence, and a pulsed ToF sequence.
  • the another CW-ToF sequence is shown by a rectangle with a dot pattern that is less dense than the rectangle with the dot pattern indicating the CW-ToF sequence.
  • the another CW-ToF sequence has a longer ranging range than the CW-ToF sequence.
  • the CW-ToF sequence includes a first CW-ToF frame Fa3 that exposes each pixel 21A at a predetermined timing relative to the timing of irradiating the light from the light source unit 10, and is made up of this one type of frame.
  • the first CW-ToF frame Fa3 includes a first CW light emission exposure period Sa3 and a readout period following the first CW light emission exposure period Sa3.
  • another CW-ToF sequence includes a first CW-ToF frame Fc3 that exposes each pixel 21A at a predetermined timing relative to the timing of irradiating the light from the light source unit 10, and is made up of this one type of frame.
  • the first CW-ToF frame Fc3 includes a first CW light emission exposure period Sc3 and a readout period following the first CW light emission exposure period Sc3.
  • the pulse ToF sequence includes a first pulse ToF frame Fb3 that exposes each pixel 21A at a predetermined timing relative to the timing of irradiating the light from the light source unit 10, and is made up of this one type of frame.
  • the first pulse ToF frame Fb3 includes a first pulse light emission exposure period Sb3 and a readout period following the first pulse light emission exposure period Sb3.
  • the drive control unit 30 repeats a set including only one frame each of the first CW-ToF frame Fa3, the first CW-ToF frame Fc3, and the first pulse ToF frame Fb3 a predetermined number of times as a repetition unit. Therefore, compared to the drive sequence shown in FIG. 13, it is possible to shorten the time required for the drive sequence to derive the distance, and it is possible to capture a distance measurement image with reduced motion blur.
  • the first CW-ToF frame Fa3, the first CW-ToF frame Fc3, and the first pulse ToF frame Fb3 are repeated in this order, but the order of the frames within the repetition unit is not particularly limited.
  • Figure 17 is a time chart showing an example of the first CW light emission exposure period Sa3.
  • exposure periods C0, C90, C180, and C270 are shown in which the drive control unit 30 exposes each pixel 21A to light and accumulates signal charges. Specifically, the drive control unit 30 outputs an exposure control pulse to each pixel 21A during the exposure periods C0, C90, C180, and C270 to turn on any of the charge transfer units 24a, 24b, 24c, and 24d, thereby transferring the signal charge from the photoelectric conversion unit 22 to any of the charge accumulation units 23a, 23b, 23c, and 23d.
  • the exposure periods C0, C90, C180, and C270 are set to periods associated with the first light emission control pulse.
  • the phase difference between the first light emission control pulse and the start timing of the exposure periods C0, C90, C180, and C270 is the same as the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2 shown in FIG. 5.
  • the first CW light emission exposure period Sa3 includes exposure period C0, exposure period C90, exposure period C180, and exposure period C270, which are continuously repeated in this order until the readout period.
  • the total length of exposure period C0, exposure period C90, exposure period C180, and exposure period C270 is the same as the period T1 of the first light emission control pulse.
  • signal charges are accumulated in different charge accumulation sections in exposure periods C0, C90, C180, and C270.
  • charge transfer section 24a is turned on and signal charges are accumulated in charge accumulation section 23a.
  • charge transfer section 24b is turned on and signal charges are accumulated in charge accumulation section 23b.
  • charge transfer section 24c is turned on and signal charges are accumulated in charge accumulation section 23c.
  • charge transfer section 24d is turned on and signal charges are accumulated in charge accumulation section 23d.
  • a signal based on the signal charge accumulated in the exposure period C0, a signal based on the signal charge accumulated in the exposure period C90, a signal based on the signal charge accumulated in the exposure period C180, and a signal based on the signal charge accumulated in the exposure period C270 are read out as the first pixel signal.
  • the lengths of the exposure periods C0, C180, C90 and C270 are the same, and are T1/4, which is the length obtained by dividing the period of the first light emission control pulse by four.
  • the drive control unit 30 continuously exposes each pixel 21A from the start of exposure of each pixel 21A to the readout of the first pixel signal.
  • the first CW light emission exposure period Sa3 is not limited to the example shown in FIG. 17.
  • the exposure period C0 and the exposure period C180 may be alternately repeated in the first half of the first CW light emission exposure period Sa3
  • the exposure period C90 and the exposure period C270 may be alternately repeated in the second half of the first CW light emission exposure period Sa3.
  • the lengths of the exposure periods C0, C180, C90 and C270 are T1/2, which is the length obtained by dividing the period of the first light emission control pulse by two.
  • Figure 18 is a time chart showing an example of the first CW light emission exposure period Sc3.
  • exposure periods C0, C90, C180, and C270 are shown in which the drive control unit 30 exposes each pixel 21A to light and accumulates signal charge. Except for the fact that the exposure periods C0, C90, C180, and C270 in the first CW light emission exposure period Sc3 are set to periods associated with the third light emission control pulse, they are driven in the same manner as the exposure periods C0, C90, C180, and C270 in the first CW light emission exposure period Sa3 described using FIG. 17.
  • a signal based on the signal charge accumulated in the exposure period C0, a signal based on the signal charge accumulated in the exposure period C90, a signal based on the signal charge accumulated in the exposure period C180, and a signal based on the signal charge accumulated in the exposure period C270 are read out as the third pixel signal.
  • the exposure periods C0, C180, C90, and C270 have the same length, which is T3/4, the length of the period of the third light emission control pulse divided by four.
  • the drive control unit 30 continuously exposes each pixel 21A from the start of exposure of each pixel 21A to the readout of the third pixel signal.
  • the first CW light emission exposure period Sc3 is not limited to the example shown in FIG. 18.
  • the exposure period C0 and the exposure period C180 may be alternately repeated in the first half of the first CW light emission exposure period Sc3
  • the exposure period C90 and the exposure period C270 may be alternately repeated in the second half of the first CW light emission exposure period Sc3.
  • the lengths of the exposure periods C0, C180, C90 and C270 are T3/2, which is the length obtained by dividing the period of the third light emission control pulse by two.
  • Figure 19 is a time chart showing an example of the first pulse emission exposure period Sb3.
  • Light Emission Control Pulse in FIG. 19, an example of a second light emission control pulse that the drive control unit 30 outputs to the light source unit 10 during the first pulse light emission exposure period Sb3 is shown. During the first pulse light emission exposure period Sb3, a second light emission control pulse similar to that in the first pulse light emission exposure period Sb1 and the second pulse light emission exposure period Sb2 shown in FIG. 6 is output.
  • exposure periods P0, P1, P2, and P3 during which the drive control unit 30 exposes each pixel 21A to accumulate signal charges, and charge discharge periods during which the signal charges of the photoelectric conversion unit 22 in each pixel 21A are discharged are shown.
  • the drive control unit 30 outputs an exposure control pulse to each pixel 21A during the exposure period to turn on one of the charge transfer units 24a, 24b, 24c, and 24d, thereby transferring the signal charges from the photoelectric conversion unit 22 to one of the charge accumulation units 23a, 23b, 23c, and 23d.
  • the exposure periods P0, P1, P2, and P3 are set to periods associated with the second light emission control pulse.
  • the relationship between the second light emission control pulse and the start timing of the exposure periods P0, P1, P2, and P3 is the same as the first pulse light emission exposure period Sb1 and the second pulse light emission exposure period Sb2 shown in FIG. 6.
  • the first pulse light emission exposure period Sb3 includes an exposure period P0, an exposure period P1, an exposure period P2, an exposure period P3, and a charge discharge period, which are repeated in this order until the readout period.
  • the total length of the exposure period P0, the exposure period P1, the exposure period P2, the exposure period P3, and the charge discharge period is the same as the period T2 of the second light emission control pulse.
  • signal charge is accumulated in different charge accumulation sections in exposure periods P0, P1, P2, and P3.
  • charge transfer section 24a is turned on and signal charge is accumulated in charge accumulation section 23a.
  • charge transfer section 24b is turned on and signal charge is accumulated in charge accumulation section 23b.
  • charge transfer section 24c is turned on and signal charge is accumulated in charge accumulation section 23c.
  • charge transfer section 24d is turned on and signal charge is accumulated in charge accumulation section 23d.
  • a signal based on the signal charge accumulated in the exposure period P0, a signal based on the signal charge accumulated in the exposure period P1, a signal based on the signal charge accumulated in the exposure period P2, and a signal based on the signal charge accumulated in the exposure period P3 are read out as the second pixel signal.
  • the drive control unit 30 intermittently exposes each pixel 21A from the start of exposure of each pixel 21A until the readout of the second pixel signal.
  • the signal processing unit 40 derives the distance to the target object in the same manner as in the drive sequence shown in FIG. 13.
  • the drive sequence shown in FIG. 17 does not have to include another CW-ToF sequence consisting of the first CW-ToF frame Fc3.
  • the distance measuring device according to this modified example can also perform a drive sequence similar to that described as the drive sequence performed by the distance measuring device 100 according to the embodiment.
  • Modification 2 Next, a description will be given of Modification 2 of the embodiment. In the following description of Modification 2, differences from the embodiment and Modification 1 will be mainly described, and descriptions of commonalities will be omitted or simplified.
  • FIG. 20 is a plan view showing an example of the configuration of pixel 21B according to this modified example.
  • the distance measuring device according to this modified example has a configuration in which pixel 21 of distance measuring device 100 according to the embodiment is replaced with pixel 21B.
  • Pixel 21B differs from pixel 21 in that it has a different number of charge accumulation sections and charge transfer sections; the number of charge accumulation sections and charge transfer sections in pixel 21B is three.
  • pixel 21B includes a photoelectric conversion section 22, a plurality of charge accumulation sections 23a, 23b, and 23c, a plurality of charge transfer sections 24a, 24b, and 24c, a charge discharge section 25, and a discharge control section 26.
  • Figure 21 is a diagram showing an example of the driving sequence of the distance measuring device according to this modified example.
  • the drive control unit 30 drives the light source unit 10 and each pixel 21B using a time-divided CW-ToF sequence and a pulsed ToF sequence.
  • the CW-ToF sequence includes a first CW-ToF frame Fa4 that exposes each pixel 21B at a predetermined timing relative to the timing of irradiating the light from the light source unit 10, and is made up of this one type of frame.
  • the first CW-ToF frame Fa4 includes a first CW light emission exposure period Sa4 and a readout period following the first CW light emission exposure period Sa4.
  • the pulse ToF sequence includes a first pulse ToF frame Fb4 that exposes each pixel 21B at a predetermined timing relative to the timing of irradiating the light from the light source unit 10, and is made up of this one type of frame.
  • the first pulse ToF frame Fb4 includes a first pulse emission exposure period Sb4 and a readout period following the first pulse emission exposure period Sb4.
  • the drive control unit 30 repeats a set including only one frame each of the first CW-ToF frame Fa4 and the first pulse ToF frame Fb4 a predetermined number of times as a repetition unit. Therefore, compared to the drive sequence shown in FIG. 4, it is possible to shorten the time required for the drive sequence to derive the distance, and it is possible to capture a distance measurement image with reduced motion blur.
  • the first CW-ToF frame Fa4 and the first pulse ToF frame Fb4 are repeated in this order, but the order of the frames within the repetition unit is not particularly limited.
  • Figure 22 is a time chart showing an example of the first CW light emission exposure period Sa4.
  • “Light Emission Control Pulse” in FIG. 22 an example of a first light emission control pulse that the drive control unit 30 outputs to the light source unit 10 during the first CW light emission exposure period Sa4 is shown.
  • a first light emission control pulse similar to that during the first CW light emission exposure period Sa1 and the second CW light emission exposure period Sa2 shown in FIG. 5 is output.
  • the first duty ratio of the first light emission control pulse is 50%, but if it is between (100/3)% and (200/3), distance measurement using the CW-ToF method in this modified example is possible.
  • exposure periods C0, C120, and C240 are shown in which the drive control unit 30 exposes each pixel 21B to light and accumulates signal charge. Specifically, the drive control unit 30 outputs an exposure control pulse to each pixel 21B in the exposure periods C0, C120, and C240 to turn on one of the charge transfer units 24a, 24b, and 24c, thereby transferring the signal charge from the photoelectric conversion unit 22 to one of the charge accumulation units 23a, 23b, and 23c.
  • the exposure periods C0, C120, and C240 are set to periods associated with the first light emission control pulse.
  • the first CW light emission exposure period Sa3 includes an exposure period C0, an exposure period C120, and an exposure period C240, which are continuously repeated in this order until the readout period.
  • a rectangle with a low-density dot pattern indicates the exposure period C0
  • a rectangle with a high-density dot pattern indicates the exposure period C120
  • a rectangle with a diagonal line pattern indicates the exposure period C240.
  • the exposure period C0 starts when the phase difference with the first light emission control pulse is 0°
  • the exposure period C120 starts when the phase difference with the first light emission control pulse is 120°
  • the exposure period C240 starts when the phase difference with the first light emission control pulse is 240°.
  • the total length of the exposure period C0, the exposure period C120, and the exposure period C240 is the same as the period T1 of the first light emission control pulse.
  • signal charge is accumulated in different charge accumulation sections.
  • charge transfer section 24a is turned on and signal charge is accumulated in charge accumulation section 23a.
  • charge transfer section 24b is turned on and signal charge is accumulated in charge accumulation section 23b.
  • charge transfer section 24c is turned on and signal charge is accumulated in charge accumulation section 23c.
  • a signal based on the signal charge accumulated in the exposure period C0, a signal based on the signal charge accumulated in the exposure period C120, and a signal based on the signal charge accumulated in the exposure period C240 are read out as the first pixel signal.
  • the signal value of the signal corresponding to the exposure period C0 is C0
  • the signal value of the signal corresponding to the exposure period C120 is C120
  • the signal value of the signal corresponding to the exposure period C240 is C240.
  • the lengths of the exposure periods C0, C120, and C240 are the same, and are T1/3, which is the length obtained by dividing the period of the first light emission control pulse by three.
  • the drive control unit 30 continuously exposes each pixel 21B from the start of exposure of each pixel 21B to the readout of the first pixel signal.
  • Figure 23 is a time chart showing an example of the first pulse emission exposure period Sb4.
  • exposure periods P0, P1, and P2 during which the drive control unit 30 exposes each pixel 21B to light and accumulates signal charges, and charge discharge periods during which the signal charges of the photoelectric conversion unit 22 in each pixel 21B are discharged are shown.
  • the drive control unit 30 outputs an exposure control pulse to each pixel 21B during the exposure period to turn on one of the charge transfer units 24a, 24b, and 24c, thereby transferring the signal charges from the photoelectric conversion unit 22 to one of the charge accumulation units 23a, 23b, and 23c.
  • the exposure periods P0, P1, and P2 are set to periods associated with the second light emission control pulse.
  • the relationship between the second light emission control pulse and the start timing of the exposure periods P0, P1, and P2 is the same as the first pulse light emission exposure period Sb1 and the second pulse light emission exposure period Sb2 shown in FIG. 6.
  • the first pulse light emission exposure period Sb4 includes an exposure period P0, an exposure period P1, an exposure period P2, and a charge discharge period, which are repeated in this order until the readout period.
  • the total length of the exposure period P0, the exposure period P1, the exposure period P2, and the charge discharge period is the same as the period T2 of the second light emission control pulse.
  • signal charge is accumulated in different charge accumulation sections during exposure period P0, exposure period P1, and exposure period P2.
  • charge transfer section 24a is turned on and signal charge is accumulated in charge accumulation section 23a.
  • charge transfer section 24b is turned on and signal charge is accumulated in charge accumulation section 23b.
  • charge transfer section 24c is turned on and signal charge is accumulated in charge accumulation section 23c.
  • a signal based on the signal charge accumulated in the exposure period P0, a signal based on the signal charge accumulated in the exposure period P1, and a signal based on the signal charge accumulated in the exposure period P2 are read out as the second pixel signal.
  • the drive control unit 30 intermittently exposes each pixel 21B from the start of exposure of each pixel 21B to the readout of the second pixel signal.
  • the signal processing unit 40 derives the distance to the object based on the first pixel signal and the second pixel signal. Specifically, in deriving the distance to the object, the signal processing unit 40 first calculates a first estimated distance and a second estimated distance. The signal processing unit 40 derives the distance to the object based on the first estimated distance and the second estimated distance. The signal processing unit 40 calculates the first estimated distance based on the first pixel signal output from each pixel 21B in a CW-ToF sequence including the first CW light emission exposure period Sa4 as described above, for example.
  • the first estimated distance d1 in this modified example is calculated by the following formula (6).
  • the above formula (6) is a formula for calculating distance by utilizing the fact that the phase of the reflected light from an object shifts relative to the irradiated light depending on the distance to the object.
  • the second estimated distance is calculated using the above equations (2) and (3).
  • the method for deriving the distance to the target object using the first estimated distance and the second estimated distance is the same as in the drive sequence shown in FIG. 4 above.
  • the drive sequence shown in FIG. 21 may include one or more other CW-ToF sequences.
  • the drive sequence shown in FIG. 21 may also be performed by the distance measuring device according to the first modification.
  • the distance measuring device does not need to include all of the components described in the above embodiments, and may be composed of only the components required to perform the desired operation.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • each component may be realized by hardware.
  • Each component may be a circuit (or an integrated circuit). These circuits may form a single circuit as a whole, or each may be a separate circuit. Furthermore, each of these circuits may be a general-purpose circuit, or a dedicated circuit.
  • the general or specific aspects of the present disclosure may be realized as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM.
  • the present disclosure may be realized as any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • the present disclosure may be realized as a distance measuring device according to the above-described embodiment, as a control device that controls the distance measuring device, as a distance measuring method including steps (processing) performed by components that make up the distance measuring device, as a program for causing a computer to execute such a distance measuring method, or as a computer-readable non-transitory recording medium on which such a program is recorded.
  • the distance measuring device and distance measuring method according to the present disclosure are not limited to the following examples.
  • a distance measuring device is a distance measuring device that measures the distance to an object using an indirect ToF (Time of Flight) method, and includes a light source unit that emits irradiation light, a light receiving unit having pixels that generate pixel signals based on incident light, a drive control unit that controls the drive of the light source unit and the light receiving unit, and a signal processing unit that derives the distance to the object based on the pixel signals, the drive control unit drives the light source unit and the pixels with a continuous wave ToF sequence and a pulsed ToF sequence for measuring distance using different types of indirect ToF methods, switches between the continuous wave ToF sequence and the pulsed ToF sequence between frames, the distance measurement range in the pulsed ToF sequence is longer than the distance measurement range in the continuous wave ToF sequence, and the signal processing unit derives the distance to the object based on a first pixel signal generated by the pixel in the continuous wave ToF sequence and a second pixel signal generated by the pixel in the pulsed ToF
  • a distance measuring device is a distance measuring device according to the first aspect, and the drive control unit continuously exposes the pixel from the start of exposure of the pixel to the readout of the first pixel signal in the continuous wave ToF sequence, and intermittently exposes the pixel from the start of exposure of the pixel to the readout of the second pixel signal in the pulse ToF sequence.
  • a distance measuring device is a distance measuring device according to the first or second aspect, in which the light source unit irradiates pulsed light as the irradiation light in accordance with an emission control pulse output from the drive control unit, and the drive control unit outputs a first emission control pulse with a first duty ratio to the light source unit in the continuous wave ToF sequence to cause the light source unit to irradiate pulsed light as the irradiation light, and outputs a second emission control pulse with a second duty ratio to the light source unit in the pulse ToF sequence to cause the light source unit to irradiate pulsed light as the irradiation light.
  • a distance measuring device is a distance measuring device according to the third aspect, in which the second duty ratio is smaller than the first duty ratio.
  • a distance measuring device is a distance measuring device according to the fourth aspect, in which the second duty ratio is less than 50%.
  • a distance measuring device is a distance measuring device according to the fifth aspect, in which the second duty ratio is less than 25%.
  • a distance measuring device is a distance measuring device according to any one of the third to sixth aspects, in which the pulse width of the second light emission control pulse is longer than the pulse width of the first light emission control pulse.
  • a distance measuring device is a distance measuring device according to any one of the first to seventh aspects, in which the signal processing unit calculates a first estimated distance based on the first pixel signal, calculates a second estimated distance based on the second pixel signal, and determines, as the distance to the object, either (i) the first estimated distance after addition calculated as n ⁇ df1+d1 using the smallest value of n among n that minimizes the difference between n ⁇ df1+d1 and d2 when the first estimated distance is d1, the second estimated distance is d2, the distance measurement range in the continuous wave ToF sequence is df1, and n is an integer equal to or greater than 0, or (ii) the second estimated distance.
  • a distance measuring device is the distance measuring device according to the eighth aspect, in which the signal processing unit determines the shorter of the second estimated distance and the first estimated distance after addition as the distance to the object.
  • a distance measuring device is a distance measuring device according to the eighth aspect, and the signal processing unit determines that abnormal distance measurement has been performed when the second estimated distance is shorter than the first estimated distance after the addition.
  • a distance measuring device is a distance measuring device according to any one of the first to tenth aspects, in which the pixel includes a photoelectric conversion unit that converts the incident light into a signal charge, a plurality of charge accumulation units that accumulate the signal charge converted by the photoelectric conversion unit, a plurality of charge transfer units that correspond one-to-one to the plurality of charge accumulation units and transfer the signal charge converted by the photoelectric conversion unit to the plurality of charge accumulation units, a charge discharge unit that discharges the signal charge converted by the photoelectric conversion unit, and a discharge control unit that controls the discharge of the signal charge by the charge discharge unit.
  • a distance measuring device is a distance measuring device according to any one of the first to eleventh aspects, in which the continuous wave ToF sequence includes a first continuous wave ToF frame and a second continuous wave ToF frame in which the timing of exposing the pixel differs from each other relative to the timing of irradiating the irradiation light to the light source unit, the pulse ToF sequence includes a first pulse ToF frame and a second pulse ToF frame in which the timing of exposing the pixel differs from each other relative to the timing of irradiating the irradiation light to the light source unit, and the drive control unit repeats a set including the first continuous wave ToF frame, the second continuous wave ToF frame, the first pulse ToF frame, and the second pulse ToF frame a predetermined number of times.
  • a distance measuring device is a distance measuring device according to any one of the first to eleventh aspects, in which the continuous wave ToF sequence includes a first continuous wave ToF frame and a second continuous wave ToF frame that have different timings for exposing the pixel relative to the timing for irradiating the illumination light from the light source unit, the pulse ToF sequence includes a first pulse ToF frame that exposes the pixel at a predetermined timing relative to the timing for irradiating the illumination light from the light source unit, and the drive control unit repeats a set including the first continuous wave ToF frame, the second continuous wave ToF frame, and the first pulse ToF frame a predetermined number of times.
  • a distance measuring device is a distance measuring device according to any one of the first to 11th aspects, in which the continuous wave ToF sequence includes a first continuous wave ToF frame that exposes the pixel at a predetermined timing relative to the timing of irradiating the illumination light from the light source unit, the pulse ToF sequence includes a first pulse ToF frame that exposes the pixel at a predetermined timing relative to the timing of irradiating the illumination light from the light source unit, and the drive control unit repeats a set including the first continuous wave ToF frame and the first pulse ToF frame a predetermined number of times.
  • a distance measuring device is a distance measuring device according to any one of the first to fourteenth aspects, in which the drive control unit drives the light source unit and the pixel with the continuous wave ToF sequence, the pulsed ToF sequence, and another continuous wave ToF sequence having a longer distance measurement range than the continuous wave ToF sequence, and the signal processing unit derives the distance to the object based on the first pixel signal, the second pixel signal, and a third pixel signal generated by the pixel in the other continuous wave ToF sequence.
  • a distance measurement method is a distance measurement method using a distance measurement device that measures the distance to an object using an indirect ToF (Time of Flight) method
  • the distance measurement device includes a light source unit that irradiates irradiation light and a light receiving unit having pixels that generate pixel signals based on incident light
  • the distance measurement method includes a drive control step of driving the light source unit and the pixels with a continuous wave ToF sequence and a pulsed ToF sequence for measuring distance using different types of indirect ToF methods
  • a signal processing step of deriving the distance to the object based on a first pixel signal generated by the pixel in the continuous wave ToF sequence and a second pixel signal generated by the pixel in the pulsed ToF sequence, and the distance measurement range in the pulsed ToF sequence is longer than the distance measurement range in the continuous wave ToF sequence.
  • the distance measuring device and the like according to the present disclosure can be used for a variety of purposes, such as distance measurement systems, as well as sensing systems and recognition systems that use distance images.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測距装置（１００）は、照射光を照射する光源部（１０）と、入射光に基づいて画素信号を生成する画素を有する受光部（２０）と、光源部（１０）および受光部（２０）の駆動を制御する駆動制御部（３０）と、画素信号に基づいて対象物までの距離を導出する信号処理部（４０）と、を備える。駆動制御部（３０）は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するためのＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部（１０）および画素を駆動させ、ＣＷ－ＴｏＦシーケンスとパルスＴｏＦシーケンスとをフレーム間において切り替える。信号処理部（４０）は、ＣＷ－ＴｏＦシーケンスにおいて画素が生成する第１画素信号と、パルスＴｏＦシーケンスにおいて画素が生成する第２画素信号とに基づいて、対象物までの距離を導出する。パルスＴｏＦシーケンスにおける測距レンジは、ＣＷ－ＴｏＦシーケンスにおける測距レンジよりも長い。

Description

測距装置および測距方法
　本開示は、測距装置および測距方法に関する。
　従来、間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式を採用した測距装置が知られている。
　間接ＴｏＦ方式の一つとして、所定の発光周波数の変調光である照射光を照射し、照射光の対象物による反射光と照射光との位相差から距離を算出する連続波ＴｏＦ（以下、ＣＷ－ＴｏＦとも言う）方式が知られている（例えば、特許文献１参照）。
特表２０１３－５３８３４２号公報
　ＣＷ－ＴｏＦ方式では、測距レンジが照射光の周波数によって制限され、周波数が低いほど測距レンジは大きくなる。一方で、照射光の周波数が高いほど測距精度は高くなる。
　また、ＣＷ－ＴｏＦ方式では、測距レンジよりも遠い位置の対象物からの反射光に基づいて距離を算出した場合には、位相差が０°から３６０°で繰り返されるために、算出される距離が折り返る。その結果、実際の距離よりも短い偽距離が算出され、正確な測距を行うことができない。
　特許文献１では、ＣＷ－ＴｏＦ方式において、複数の周波数で照射光を照射し、それぞれの周波数の照射光に基づいて取得される信号に基づいて距離を算出することで、測距レンジを拡大する技術が開示されている。
　特許文献１に記載の技術では、複数の周波数の関係に基づいて測距レンジが延伸される。しかし、特許文献１に記載の技術を用いても、延伸された測距レンジよりも遠い位置の対象物からの反射光に基づいて距離を算出した場合には、１つの周波数の照射光を用いた場合と同様に、実際の距離よりも短い偽距離が算出される。
　そこで、本開示では、測距レンジの拡大と測距精度の向上とを両立することができる測距装置および測距方法を提供する。
　本開示の一態様に係る測距装置は、間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式で対象物までの距離を測定する測距装置であって、照射光を照射する光源部と、入射光に基づいて画素信号を生成する画素を有する受光部と、前記光源部および前記受光部の駆動を制御する駆動制御部と、前記画素信号に基づいて前記対象物までの距離を導出する信号処理部と、を備え、前記駆動制御部は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するための連続波ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで前記光源部および前記画素を駆動させ、前記連続波ＴｏＦシーケンスと前記パルスＴｏＦシーケンスとをフレーム間において切り替え、前記パルスＴｏＦシーケンスにおける測距レンジは、前記連続波ＴｏＦシーケンスにおける測距レンジよりも長く、前記信号処理部は、前記連続波ＴｏＦシーケンスにおいて前記画素が生成する第１画素信号と、前記パルスＴｏＦシーケンスにおいて前記画素が生成する第２画素信号とに基づいて、前記対象物までの距離を導出する。
　本開示の一態様に係る測距方法は、間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式で対象物までの距離を測定する測距装置による測距方法であって、前記測距装置は、照射光を照射する光源部と、入射光に基づいて画素信号を生成する画素を有する受光部と、を備え、前記測距方法は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するための連続波ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで前記光源部および前記画素を駆動させる駆動制御ステップと、前記連続波ＴｏＦシーケンスにおいて前記画素が生成する第１画素信号と、前記パルスＴｏＦシーケンスにおいて前記画素が生成する第２画素信号とに基づいて、前記対象物までの距離を導出する信号処理ステップと、を含み、前記駆動制御ステップでは、前記連続波ＴｏＦシーケンスと前記パルスＴｏＦシーケンスとをフレーム間において切り替え、前記パルスＴｏＦシーケンスにおける測距レンジは、前記連続波ＴｏＦシーケンスにおける測距レンジよりも長い。
　本開示によれば、測距レンジの拡大と測距精度の向上とを両立することができる。
図１は、実施の形態に係る測距装置の構成の一例を示す機能ブロック図である。 図２は、実施の形態に係る受光部が有する画素アレイの概略図である。 図３は、実施の形態に係る画素の構成の一例を示す平面図である。 図４は、実施の形態に係る測距装置の駆動シーケンスの一例を示す図である。 図５は、実施の形態に係るＣＷ－ＴｏＦシーケンスにおける第１ＣＷ発光露光期間および第２ＣＷ発光露光期間の一例を示すタイムチャートである。 図６は、実施の形態に係るパルスＴｏＦシーケンスにおける第１パルス発光露光期間および第２パルス発光露光期間の一例を示すタイムチャートである。 図７は、ＣＷ－ＴｏＦ方式およびパルスＴｏＦ方式で算出される推定距離を説明するための図である。 図８は、マルチパスを説明するための図である。 図９は、推定距離に対するマルチパスの影響を説明するための第１の図である。 図１０は、推定距離に対するマルチパスの影響を説明するための第２の図である。 図１１は、推定距離に対するマルチパスの影響を説明するための第３の図である。 図１２は、実施の形態に係る測距装置の駆動シーケンスの第１の別の例を示す図である。 図１３は、実施の形態に係る測距装置の駆動シーケンスの第２の別の例を示す図である。 図１４は、実施の形態に係る別のＣＷ－ＴｏＦシーケンスにおける第１ＣＷ発光露光期間および第２ＣＷ発光露光期間の一例を示すタイムチャートである。 図１５は、実施の形態の変形例１に係る画素の構成の一例を示す平面図である。 図１６は、実施の形態の変形例１に係る測距装置の駆動シーケンスの一例を示す図である。 図１７は、実施の形態の変形例１に係るＣＷ－ＴｏＦシーケンスにおける第１ＣＷ発光露光期間の一例を示すタイムチャートである。 図１８は、実施の形態の変形例１に係る別のＣＷ－ＴｏＦシーケンスにおける第１ＣＷ発光露光期間の一例を示すタイムチャートである。 図１９は、実施の形態の変形例１に係るパルスＴｏＦシーケンスにおける第１パルス発光露光期間の一例を示すタイムチャートである。 図２０は、実施の形態の変形例２に係る画素の構成の一例を示す平面図である。 図２１は、実施の形態の変形例２に係る測距装置の駆動シーケンスの一例を示す図である。 図２２は、実施の形態の変形例２に係るＣＷ－ＴｏＦシーケンスにおける第１ＣＷ発光露光期間の一例を示すタイムチャートである。 図２３は、実施の形態の変形例２に係るパルスＴｏＦシーケンスにおける第１パルス発光露光期間の一例を示すタイムチャートである。
　以下、本開示の実施の形態について、図面を用いて詳細に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の本実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示したものではない。また、各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略または簡略化することがある。
　また、本明細書において、垂直、平行または一致などの要素間の関係性を示す用語、および、円形または矩形などの要素の形状を示す用語、並びに、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
　また、本明細書において、「第１」、「第２」などの序数詞は、特に断りのない限り、構成要素等の数または順序を意味するものではなく、同種の構成要素等の混同を避け、区別する目的で用いられている。
　（実施の形態）
　［構成］
　まず、本実施の形態に係る測距装置の構成について説明する。図１は、実施の形態に係る測距装置１００の構成の一例を示す機能ブロック図である。図２は、実施の形態に係る受光部２０が有する画素アレイの概略図である。図３は、実施の形態に係る画素２１の構成の一例を示す平面図である。
　測距装置１００は、間接ＴｏＦ方式で対象物までの距離を測定する測距装置である。測距装置１００は、例えば、対象物の一例である被写体までの距離を示す距離画像を生成する。
　測距装置１００は、光源部１０と、受光部２０と、駆動制御部３０と、信号処理部４０と、を備える。
　光源部１０は、例えば、入力される発光制御信号に従って、対象物に照射光を照射する光照射器である。光源部１０は、例えば、入力される発光制御信号に含まれる発光制御パルスの示すタイミングに従って、所定のデューティー比で繰り返す複数のパルス光を照射光として照射する。
　図１に示される例では、光源部１０は、２つの光源として、第１光源１１と、第２光源１２と、を有する。第１光源１１は、後述するＣＷ－ＴｏＦシーケンスにおいて照射光を照射する。第２光源１２は、後述するパルスＴｏＦシーケンスにおいて照射光を照射する。第１光源１１および第２光源１２はそれぞれ、例えば、赤外光を発光する発光ダイオードまたはレーザ素子等の発光素子と、発光素子からの光が入射され、発光素子からの光の配光を制御する光学系と、を含む。なお、光源部１０は、２つの光源で構成される例に限らず、ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスのいずれにおいても照射光を照射する１つの光源で構成されていてもよい。
　受光部２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子で構成される。図２で示されるように、受光部２０は、二次元状に配列された複数の画素２１で構成される画素アレイを有する。図２では、説明のため横４ｐｉｘ、縦４ｐｉｘの合計１６ｐｉｘの構成となっているが、受光部２０が有する画素２１の数は特に制限されない。複数の画素２１は、例えば、互いに同じ構成を有する。
　画素２１は、入射光に基づいて画素信号を生成する。詳細には、画素２１は、入射光を信号電荷に変換し、変換された信号電荷に基づいて画素信号を生成する。
　図３で示されるように、画素２１は、光電変換部２２と、複数の電荷蓄積部２３ａ、２３ｂと、複数の電荷転送部２４ａ、２４ｂと、電荷排出部２５と、排出制御部２６と、を含む。光電変換部２２、複数の電荷蓄積部２３ａ、２３ｂ、複数の電荷転送部２４ａ、２４ｂ、電荷排出部２５および排出制御部２６は、例えば、半導体基板に設けられる。
　光電変換部２２は、画素２１に入射した入射光を信号電荷に変換することで信号電荷を生成する。画素２１に入射する入射光は、例えば、光源部１０から照射された照射光の対象物による反射光を含む。光電変換部２２は、例えば、フォトダイオード等の光電変換素子で構成される。
　複数の電荷蓄積部２３ａ、２３ｂはそれぞれ、光電変換部２２で変換された信号電荷を蓄積する。複数の電荷転送部２４ａ、２４ｂは、複数の電荷蓄積部２３ａ、２３ｂに１対１で対応して設けられる。画素２１において、電荷蓄積部および電荷転送部の数はそれぞれ２つである。複数の電荷転送部２４ａ、２４ｂは、光電変換部２２に電気的に接続されており、光電変換部２２で変換された信号電荷を光電変換部２２から複数の電荷蓄積部２３ａ、２３ｂに転送する。具体的には、電荷転送部２４ａは信号電荷を電荷蓄積部２３ａに転送し、電荷転送部２４ｂは信号電荷を電荷蓄積部２３ｂに転送する。複数の電荷転送部２４ａ、２４ｂは、例えば、半導体基板に形成されたＦＥＴ（Ｆｉｅｌｄ　Ｅｆｆｅｃｔ　Ｔｒａｎｓｉｓｔｏｒ）である。また、複数の電荷蓄積部２３ａ、２３ｂは、例えば、当該ＦＥＴのソースまたはドレインとして機能する不純物領域である。
　複数の電荷蓄積部２３ａ、２３ｂに蓄積された信号電荷は、不図示の信号検出回路によって、画素信号として読み出される。信号検出回路は、例えば、複数の電荷蓄積部２３ａ、２３ｂの電位に応じた画素信号を読み出す。各画素２１から読み出される画素信号は、複数の電荷蓄積部２３ａ、２３ｂそれぞれに蓄積された信号電荷量に基づく信号値を示す信号を含む。
　電荷排出部２５は、光電変換部２２で変換された信号電荷を排出する。電荷排出部２５には、例えば、所定のリセット電圧が印加されている。リセット電圧は接地電圧であってもよい。排出制御部２６は、光電変換部２２に電気的に接続されており、電荷排出部２５による光電変換部２２で変換された信号電荷の排出を制御する。排出制御部２６は、電荷排出部２５に信号電荷を排出させることで光電変換部２２の電荷をリセットする。排出制御部２６は、例えば、半導体基板に形成されたＦＥＴである。電荷排出部２５は、例えば、当該ＦＥＴのソースまたはドレインとして機能する不純物領域である。
　再び図１を参照し、駆動制御部３０は、光源部１０および受光部２０の駆動を制御する。駆動制御部３０は、例えば、光源部１０の駆動を制御するための発光制御信号として、照射光を所定のパルス幅で照射させるように光源部１０に指示する発光制御パルスを出力する。発光制御パルスは、光源部１０に繰り返しパルス光を照射させるための複数のパルスを含む。光源部１０は、発光制御パルスに従ったタイミングで複数のパルス光を照射光として照射する。
　また、駆動制御部３０は、例えば、受光部２０の駆動を制御するための制御信号として、受光部２０の各画素２１に露光を指示する露光制御パルスを出力する。各画素２１は、露光制御パルスに従ったタイミングで露光し、信号電荷を蓄積する。なお、本明細書において、露光する期間とは、画素信号の読み出しに用いられる信号電荷を蓄積する期間を意味する。そのため、画素２１に光が入射して信号電荷が生成しても、当該信号電荷が排出される等によって画素信号の読み出しに用いられない場合には、非露光である。例えば、露光とは、電荷転送部２４ａまたは２４ｂがオン状態になって光電変換部２２から電荷蓄積部２３ａまたは２３ｂに信号電荷が転送されている状態を示す。
　駆動制御部３０は、互いに異なる種類の間接ＴｏＦ方式を用いて互いに異なる測距レンジで距離を測定するためのＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部１０および各画素２１を駆動させる。ＣＷ－ＴｏＦシーケンスは、ＣＷ－ＴｏＦ方式で測距を行うためのシーケンスであり、パルスＴｏＦシーケンスは、パルスＴｏＦ方式で測距を行うためのシーケンスである。ＣＷ－ＴｏＦ方式は、光源部１０が照射光として所定の周期で強度が変調された連続波を照射して、光源部１０が照射する照射光と、受光部２０で受光する対象物による照射光の反射光との位相差に基づいて測距を行う間接ＴｏＦ方式である。パルスＴｏＦ方式は、光源部１０が照射光として所定のパルス幅のパルス光を照射して、光源部１０が照射光を照射した時間と、受光部２０が対象物による照射光の反射光を受光した時間との時間差に基づいて測距を行う間接ＴｏＦ方式である。パルスＴｏＦシーケンスにおける測距レンジは、ＣＷ－ＴｏＦシーケンスにおける測距レンジよりも長い。ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスの詳細は後述する。
　信号処理部４０は、受光部２０から出力される画素信号に関する信号処理を行う。信号処理部４０は、各画素２１が生成した画素信号に基づいて各画素２１について対象物までの距離を導出する。具体的には、信号処理部４０は、ＣＷ－ＴｏＦシーケンスにおいて各画素２１が生成する第１画素信号と、パルスＴｏＦシーケンスにおいて各画素２１が生成する第２画素信号とに基づいて、各画素２１について対象物までの距離を導出する。信号処理部４０による距離の導出の詳細は後述する。
　なお、駆動制御部３０および信号処理部４０は、例えば、プログラムを格納するメモリおよびプログラムを実行するプロセッサ等で実現される処理回路である。なお、ブロック図としては別々になっているが、駆動制御部３０および信号処理部４０の全て、または、一部は、同じメモリおよびプロセッサで構成されていてもよい。また、駆動制御部３０および信号処理部４０は、所定の処理を行う専用の論理回路であってもよい。
　［駆動シーケンス］
　次に、本実施の形態に係る測距装置１００の駆動シーケンスについて説明する。図４は、実施の形態に係る測距装置１００の駆動シーケンスの一例を示す図である。
　図４の「シーケンス」には、駆動制御部３０が光源部１０および受光部２０（具体的には各画素２１）を駆動させるための駆動シーケンスが示されている。図４において、ドットの模様が付されている矩形で示されるシーケンスは、ＣＷ－ＴｏＦ方式で測距を行うためのＣＷ－ＴｏＦシーケンスであり、ドットの模様が付されていない矩形で示されるシーケンスは、パルスＴｏＦ方式で測距を行うためのパルスＴｏＦシーケンスである。また、図４の「発光制御」には、駆動制御部３０が光源部１０に照射光を照射させる期間が模式的に示されている。また、後述する図１２、１３、１６、２１においても、図４と同様の項目が示されている。
　図４に示されるように、駆動制御部３０は、時分割されたＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部１０および各画素２１を駆動させる。駆動制御部３０は、ＣＷ－ＴｏＦシーケンスとパルスＴｏＦシーケンスとをフレーム間において切り替える。ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスは、それぞれ、１以上のフレーム（図４では複数のフレーム）で構成される。各フレームは、光源部１０に照射光を照射させ、かつ、各画素２１を露光させる発光露光期間と、発光露光期間において生成した信号電荷に基づく画素信号を読み出す読み出し期間とを含む。ＣＷ－ＴｏＦシーケンスにおける読み出し期間では、各画素２１が生成する第１画素信号が読み出される。また、パルスＴｏＦシーケンスにおける読み出し期間では、各画素２１が生成する第２画素信号が読み出される。読み出し期間では、画素信号の読み出し後、各画素２１のリセットが行われる。なお、ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスが複数のフレームで構成される場合、ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスのそれぞれにおいて複数のフレームは連続していてもよく、連続していなくてもよい。例えば、ＣＷ－ＴｏＦシーケンスおよびパルスＴＯＦシーケンスのうちの一方を構成する複数のフレームが連続した後に、他方を構成する複数のフレームが連続してもよい。また、例えば、ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスのうちの一方に含まれるあるフレームに、他方に含まれるあるフレームが続いてもよい。つまり、ＣＷ－ＴｏＦシーケンスとパルスＴｏＦシーケンスとのフレーム間における切り替えは、フレーム毎に行われなくてもよく、フレーム毎に行われてもよい。
　図４で示される例では、ＣＷ－ＴｏＦシーケンスは、光源部１０に照射光（具体的には後述するような複数のパルス光）を照射させるタイミングに対する各画素２１を露光させるタイミングが互いに異なる第１ＣＷ－ＴｏＦフレームＦａ１および第２ＣＷ－ＴｏＦフレームＦａ２を含み、これらの２種類のフレームから成る。第１ＣＷ－ＴｏＦフレームＦａ１は、第１ＣＷ発光露光期間Ｓａ１と、第１ＣＷ発光露光期間Ｓａ１に続く読み出し期間とを含む。第２ＣＷ－ＴｏＦフレームＦａ２は、第２ＣＷ発光露光期間Ｓａ２と、第２ＣＷ発光露光期間Ｓａ２に続く読み出し期間とを含む。
　また、図４に示される例では、パルスＴｏＦシーケンスは、光源部１０に照射光（具体的には後述するような複数のパルス光）を照射させるタイミングに対する各画素２１を露光させるタイミングが互いに異なる第１パルスＴｏＦフレームＦｂ１および第２パルスＴｏＦフレームＦｂ２を含み、これらの２種類のフレームから成る。第１パルスＴｏＦフレームＦｂ１は、第１パルス発光露光期間Ｓｂ１と、第１パルス発光露光期間Ｓｂ１に続く読み出し期間とを含む。第２パルスＴｏＦフレームＦｂ２は、第２パルス発光露光期間Ｓｂ２と、第２パルス発光露光期間Ｓｂ２に続く読み出し期間とを含む。
　駆動制御部３０は、それぞれ１フレーム分のみの第１ＣＷ－ＴｏＦフレームＦａ１、第２ＣＷ－ＴｏＦフレームＦａ２、第１パルスＴｏＦフレームＦｂ１および第２パルスＴｏＦフレームＦｂ２を含む組を繰り返し単位として所定の回数繰り返す。図４で示される例では、第１ＣＷ－ＴｏＦフレームＦａ１、第２ＣＷ－ＴｏＦフレームＦａ２、第１パルスＴｏＦフレームＦｂ１および第２パルスＴｏＦフレームＦｂ２はこの順で繰り返されるが、繰り返し単位内でのフレームの順序は特に制限されない。図４で示される例では、ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスが２種類のフレームに分かれているため、露光タイミングの異なる信号電荷を蓄積する電荷蓄積部の数が減り、信号電荷の電荷蓄積部への振り分けが容易である。
　図４で示される例では、駆動制御部３０は、各発光露光期間において光源部１０に照射光を照射させているが、読み出し期間においても光源部１０に照射光を照射させてもよい。
　次に、第１ＣＷ発光露光期間Ｓａ１、第２ＣＷ発光露光期間Ｓａ２、第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２の詳細について説明する。
　まず、ＣＷ－ＴｏＦシーケンスに含まれる第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２について説明する。図５は、第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２の一例を示すタイムチャートである。
　図５の「発光制御パルス」には、第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２において、駆動制御部３０が光源部１０に出力する第１発光制御パルス（つまり、光源部１０が照射する照射光の波形）の一例が示されている。第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２においては、同じ波形の第１発光制御パルスが出力される。
　駆動制御部３０は、第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２において、第１デューティー比の第１発光制御パルスを光源部１０に出力して光源部１０に照射光としてパルス光を照射させる。図５で示される例では、第１発光制御パルスの周波数はｆ１である。また、第１発光制御パルスのパルス幅はＴｐ１であり、第１発光制御パルスの周期はＴ１であるため、第１発光制御パルスの第１デューティー比はＴｐ１／Ｔ１である。図５で示される例では第１デューティー比は５０％であるが、２５％以上７５％以下であればＣＷ－ＴｏＦ方式での測距は可能である。
　図５の「電荷蓄積」には、駆動制御部３０が各画素２１を露光させて信号電荷を蓄積させる露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０が示されている。具体的には、駆動制御部３０は、露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０において各画素２１に露光制御パルスを出力することで、電荷転送部２４ａまたは２４ｂをオンにして、光電変換部２２から電荷蓄積部２３ａまたは２３ｂに信号電荷を転送させる。露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０は、第１発光制御パルスと関連付けられた期間に設定されている。
　第１ＣＷ発光露光期間Ｓａ１は、露光期間Ｃ０と露光期間Ｃ１８０とを含み、露光期間Ｃ０と露光期間Ｃ１８０とが交互に読み出し期間まで連続的に繰り返される。図５において、密度の低いドットの模様が付された矩形が露光期間Ｃ０を示しており、密度の高い斜線の模様が付された矩形が露光期間Ｃ１８０を示している。露光期間Ｃ０は、第１発光制御パルスとの位相差が０°のタイミングで開始し、露光期間Ｃ１８０は、第１発光制御パルスとの位相差が１８０°のタイミングで開始する。露光期間Ｃ０と露光期間Ｃ１８０との合計の長さは、第１発光制御パルスの周期Ｔ１と同じである。
　露光期間Ｃ０と露光期間Ｃ１８０とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｃ０においては、電荷転送部２４ｂおよび排出制御部２６はオフであり、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｃ１８０においては、電荷転送部２４ａおよび排出制御部２６はオフであり、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。
　第１ＣＷ発光露光期間Ｓａ１に続く読み出し期間において、第１画素信号として、露光期間Ｃ０において蓄積した信号電荷に基づく信号、および、露光期間Ｃ１８０において蓄積した信号電荷に基づく信号がそれぞれ読み出される。以下では、露光期間Ｃ０に対応する信号の信号値をＣ０とし、露光期間Ｃ１８０に対応する信号の信号値をＣ１８０とする。
　第２ＣＷ発光露光期間Ｓａ２は、露光期間Ｃ９０と露光期間Ｃ２７０とを含み、露光期間Ｃ９０と露光期間Ｃ２７０とが交互に読み出し期間まで連続的に繰り返される。図５において、密度の高いドットの模様が付された矩形が露光期間Ｃ９０を示しており、密度の低い斜線の模様が付された矩形が露光期間Ｃ２７０を示している。露光期間Ｃ９０は、第１発光制御パルスとの位相差が９０°のタイミングで開始し、露光期間Ｃ２７０は、第１発光制御パルスとの位相差が２７０°のタイミングで開始する。露光期間Ｃ９０と露光期間Ｃ２７０との合計の長さは、第１発光制御パルスの周期Ｔ１と同じである。
　露光期間Ｃ９０と露光期間Ｃ２７０とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｃ９０においては、電荷転送部２４ｂおよび排出制御部２６はオフであり、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｃ２７０においては、電荷転送部２４ａおよび排出制御部２６はオフであり、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。
　第２ＣＷ発光露光期間Ｓａ２に続く読み出し期間において、第１画素信号の一部として、露光期間Ｃ９０において蓄積した信号電荷に基づく信号、および、露光期間Ｃ２７０において蓄積した信号電荷に基づく信号がそれぞれ読み出される。以下では、露光期間Ｃ９０に対応する信号の信号値をＣ９０とし、露光期間Ｃ２７０に対応する信号の信号値をＣ２７０とする。
　露光期間Ｃ０、露光期間Ｃ１８０、露光期間Ｃ９０および露光期間Ｃ２７０の長さは互いに同じであり、第１発光制御パルスの周期を２分割した長さのＴ１／２である。駆動制御部３０は、第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２のそれぞれにおいて、各画素２１の露光開始から第１画素信号の読み出しまで各画素２１を連続的に露光させる。なお、各画素２１の露光終了と第１画素信号の読み出しとの間には、間隔があってもよい。各画素２１を連続的に露光させるとは、各画素２１の露光開始から第１画素信号の読み出しまでの途中で露光を中断して光電変換部２２から信号電荷を排出することが無いことを意味する。そのため、第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２のそれぞれは、後述する電荷排出期間を含まない。
　続いて、パルスＴｏＦシーケンスに含まれる第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２について説明する。図６は、第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２の一例を示すタイムチャートである。
　図６の「発光制御パルス」には、第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２において、駆動制御部３０が光源部１０に出力する第２発光制御パルス（つまり、光源部１０が照射する照射光の波形）の一例が示されている。第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２においては、同じ波形の第２発光制御パルスが出力される。
　駆動制御部３０は、第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２において、第２デューティー比の第２発光制御パルスを光源部１０に出力して光源部１０に照射光としてパルス光を照射させる。図６で示される例では、第２発光制御パルスのパルス幅はＴｐ２であり、第２発光制御パルスの周期はＴ２であるため、第２発光制御パルスの第２デューティー比はＴｐ２／Ｔ２である。第２デューティー比は、例えば、第１デューティー比よりも小さい。第２デューティー比は、例えば、５０％未満であり、２５％未満であってもよい。また、第２発光制御パルスのパルス幅Ｔｐ２は、例えば、第１発光制御パルスのパルス幅Ｔｐ１以上である。第２発光制御パルスのパルス幅Ｔｐ２は、第１発光制御パルスのパルス幅Ｔｐ１よりも長くてもよい。これにより、パルスＴｏＦシーケンスにおいて、測距レンジを広くできると共に、安定的なパルス光を光源部１０に照射させることができる。
　図６の「電荷蓄積」には、駆動制御部３０が各画素２１を露光させて信号電荷を蓄積させる露光期間Ｐ０、Ｐ１、Ｐ２、Ｐ３および各画素２１における光電変換部２２の信号電荷を排出させる電荷排出期間が示されている。具体的には、駆動制御部３０は、露光期間において各画素２１に露光制御パルスを出力することで、電荷転送部２４ａまたは２４ｂをオンにして、光電変換部２２から電荷蓄積部２３ａまたは２３ｂに信号電荷を転送させる。露光期間Ｐ０、Ｐ１、Ｐ２、Ｐ３は、第２発光制御パルスと関連付けられた期間に設定されている。また、駆動制御部３０は、電荷排出期間において各画素２１に電荷排出パルスを出力することで排出制御部２６をオンにして、光電変換部２２の信号電荷を電荷排出部２５に排出させる。電荷排出期間は各画素２１を露光させない非露光期間であるとも言える。
　第１パルス発光露光期間Ｓｂ１は、露光期間Ｐ０と露光期間Ｐ１と電荷排出期間と、を含み、露光期間Ｐ０と露光期間Ｐ１と電荷排出期間とがこの順で読み出し期間まで繰り返される。露光期間Ｐ０は、第２発光制御パルスの各パルスの開始と同時に開始する。露光期間Ｐ１は、露光期間Ｐ０の終了のタイミングである第２発光制御パルスの各パルスの開始から１×Ｔｐ２だけ遅れたタイミングで開始する。電荷排出期間は、露光期間Ｐ１の終了のタイミングに開始する。露光期間Ｐ０と露光期間Ｐ１と電荷排出期間との合計の長さは、第２発光制御パルスの周期Ｔ２と同じである。
　露光期間Ｐ０と露光期間Ｐ１とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｐ０においては、電荷転送部２４ｂおよび排出制御部２６はオフであり、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｐ１においては、電荷転送部２４ａおよび排出制御部２６はオフであり、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。
　露光期間Ｐ１に続く電荷排出期間では、光電変換部２２で生成した信号電荷は電荷排出部２５に排出され、電荷蓄積部２３ａ、２３ｂには信号電荷は蓄積しない。また、電荷排出期間では、電荷転送部２４ａ、２４ｂはオフであり、電荷蓄積部２３ａ、２３ｂに蓄積した信号電荷は電荷蓄積部２３ａ、２３ｂに保持される。ある露光期間Ｐ０、Ｐ１が終わってから次の露光期間Ｐ０、Ｐ１までの間に電荷排出期間が存在することで、対象物までの距離が長い場合でも折り返りの現象が生じにくくなる。なお、電荷排出期間において、電荷排出期間の終了までの所定の期間に排出制御部２６がオンされていれば、電荷排出期間の最初から排出制御部２６がオンされていなくてもよい。
　第１パルス発光露光期間Ｓｂ１に続く読み出し期間において、第２画素信号として、露光期間Ｐ０において蓄積した信号電荷に基づく信号、および、露光期間Ｐ１において蓄積した信号電荷に基づく信号がそれぞれ読み出される。以下では、露光期間Ｐ１に対応する信号の信号値をＰ０とし、露光期間Ｐ１に対応する信号の信号値をＰ１とする。
　第２パルス発光露光期間Ｓｂ２は、露光期間Ｐ２と露光期間Ｐ３と電荷排出期間と、を含み、露光期間Ｐ２と露光期間Ｐ３と電荷排出期間とがこの順で読み出し期間まで繰り返される。露光期間Ｐ２は、第２発光制御パルスの各パルスの開始から２×Ｔｐ２だけ遅れたタイミングで開始する。露光期間Ｐ３は、露光期間Ｐ２の終了のタイミングである第２発光制御パルスの各パルスの開始から３×Ｔｐ２だけ遅れたタイミングで開始する。電荷排出期間は、露光期間Ｐ３の終了のタイミングに開始する。露光期間Ｐ２と露光期間Ｐ３と電荷排出期間との合計の長さは、第２発光制御パルスの周期Ｔ２と同じである。
　露光期間Ｐ２と露光期間Ｐ３とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｐ２においては、電荷転送部２４ｂおよび排出制御部２６はオフであり、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｐ３においては、電荷転送部２４ａおよび排出制御部２６はオフであり、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。
　露光期間Ｐ３に続く電荷排出期間では、上記で説明した露光期間Ｐ１に続く電荷排出期間と同様の動作が行われる。
　第２パルス発光露光期間Ｓｂ２に続く読み出し期間において、第２画素信号として、露光期間Ｐ２において蓄積した信号電荷に基づく信号、および、露光期間Ｐ３において蓄積した信号電荷に基づく信号がそれぞれ読み出される。以下では、露光期間Ｐ２に対応する信号の信号値をＰ２とし、露光期間Ｐ３に対応する信号の信号値をＰ３とする。
　露光期間Ｐ０、露光期間Ｐ１、露光期間Ｐ２および露光期間Ｐ３の長さは互いに同じであり、第２発光制御パルスのパルス幅Ｔｐ２と同じである。露光期間Ｐ０は、第２発光制御パルスの各パルスの開始を基準とするタイミングで開始し、露光期間Ｐ１、露光期間Ｐ２および露光期間Ｐ３は、露光期間Ｐ０の開始からこの順で期間の開始がＴｐ２ずつ遅れて開始する。なお、露光期間Ｐ０は、第２発光制御パルスの各パルスの開始から所定のオフセット分遅れて開始してもよい。
　駆動制御部３０は、第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２のそれぞれにおいて、各画素２１の露光開始から第２画素信号の読み出しまで各画素２１を断続的に露光させる。つまり、露光期間の間に非露光期間である電荷排出期間が存在する。このような電荷排出期間が存在することで、電荷排出期間に画素２１が反射光を受光しても、信号電荷が排出されて、当該信号電荷が画素信号として読み出されず、距離の折り返りの原因となる画素信号の生成を抑制できる。
　［対象物までの距離の導出］
　次に、信号処理部４０が、上記の駆動シーケンスによって生成された画素信号に基づいて対象物までの距離の導出する方法について説明する。
　信号処理部４０は、対象物までの距離の導出において、まず、ＣＷ－ＴｏＦ方式による距離の演算を用いて、第１画素信号に基づいて第１推定距離を算出し、パルスＴｏＦ方式による距離の演算を用いて、第２画素信号に基づいて第２推定距離を算出する。信号処理部４０は、第１推定距離および第２推定距離に基づいて、対象物までの距離を導出する。第１画素信号および第２画素信号は、上記の駆動シーケンスによって各画素２１から出力される。
　まず、ＣＷ－ＴｏＦ方式による第１推定距離の算出について説明する。信号処理部４０は、例えば、上記のような第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２を含むＣＷ－ＴｏＦシーケンスにおいて各画素２１から出力される第１画素信号に基づいて第１推定距離を算出する。第１推定距離をｄ１とすると、ｄ１は以下の式（１）で算出される。
Figure JPOXMLDOC01-appb-M000001
　ここでｃは光速である。上記の式（１）は、照射光の対象物による反射光の位相が、対象物までの距離に応じて照射光に対してずれることを利用して距離を算出する式である。また、ＣＷ－ＴｏＦシーケンスにおける測距レンジをｄｆ１とすると、ｄｆ１＝ｃ／ｆ１である。
　次に、パルスＴｏＦ方式による第２推定距離の算出について説明する。信号処理部４０は、例えば、上記のような第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２を含むパルスＴｏＦシーケンスにおいて各画素２１から出力される第２画素信号に基づいて第２推定距離を算出する。第２推定距離をｄ２とすると、ｄ２は以下の式（２）で算出される。
Figure JPOXMLDOC01-appb-M000002
　上記の式（２）は、光源部１０によるパルス光の照射から時間Δｔだけ遅れて画素２１に返ってきたパルス光の対象物による反射光を露光期間Ｐ０および露光期間Ｐ１で画素２１が受光した場合の式である。この場合、Ｐ１は、時間Δｔの分の反射光に対応する信号値であり、Ｐ０は、Ｔｐ２から時間Δｔを差し引いた時間の分の反射光に対応する信号値である。パルス光のパルス幅Ｔｐ２のうちの時間Δｔの比率がＰ１／（Ｐ０＋Ｐ１）になることから、Δｔ＝Ｔｐ２×Ｐ１／（Ｐ０＋Ｐ１）で表される。対象物までの距離のパルス光の往復の飛行時間が２×Δｔであることから、上記の式（２）によりｄ２が算出できる。
　なお、反射光を露光期間Ｐ１および露光期間Ｐ２で画素２１が受光した場合、ｄ２は以下の式（３）で算出される。
Figure JPOXMLDOC01-appb-M000003
　また、反射光を露光期間Ｐ２および露光期間Ｐ３で画素２１が受光した場合、ｄ２は以下の式（４）で算出される。
Figure JPOXMLDOC01-appb-M000004
　信号処理部４０は、例えば、Ｐ０、Ｐ１、Ｐ２およびＰ３を比較し、互いに開始タイミングがＴｐ２だけ異なる２つの露光期間に対応する信号値のうち最も信号値が大きい２つの露光期間に対応する信号値を用いた式を適用する。このため、上記の例のパルスＴｏＦシーケンスにおける測距レンジをｄｆ２とすると、ｄｆ２＝（ｃ×３×Ｔｐ２）／２である。
　また、上記の式において、Ｐ０、Ｐ１、Ｐ２およびＰ３のうちｄ２の算出に用いなかった信号値は、反射光とは関係なく露光期間中に画素２１に入射する背景光に対応する信号値であるため、上記の式において、反射光に対応する信号値からｄ２の算出に用いなかった信号値を差し引いてもよい。
　次に、信号処理部４０は、ＣＷ－ＴｏＦシーケンスにおける測距レンジをｄｆ１とし、ｎを０以上の整数とした場合に、ｎ×ｄｆ１＋ｄ１と第２推定距離ｄ２との差が最小になる場合のｎのうち最も小さい値のｎを決定する。
　図７は、ＣＷ－ＴｏＦ方式およびパルスＴｏＦ方式で算出される推定距離を説明するための図である。図７の上側には、ＣＷ－ＴｏＦ方式における、算出される推定距離と実際の距離との関係が実線のグラフで示されている。つまり、図７の上側のグラフは、上記のＣＷ－ＴｏＦシーケンスにおいて画素２１から出力される第１画素信号に基づいて算出される第１推定距離と実際の距離との関係を示している。また、図７の下側には、パルスＴｏＦ方式における、算出される推定距離と実際の距離との関係が実線のグラフで示されている。つまり、図７の下側のグラフは、上記のパルスＴｏＦシーケンスにおいて画素２１から出力される第２画素信号に基づいて算出される第２推定距離と実際の距離との関係を示している。これらの２つのグラフの縦軸が算出される推定距離であり、横軸が実際の距離である、なお、これらのグラフにおける縦軸と横軸とは縮尺が一致しておらず、横軸の方が縮尺の大きいグラフとなっている。
　図７に示されるように、ＣＷ－ＴｏＦ方式で算出される第１推定距離ｄ１は、ＣＷ－ＴｏＦシーケンスにおける測距レンジｄｆ１より大きくなることはない。ＣＷ－ＴｏＦ方式では、位相差が０°から３６０°で繰り返されるために、測距レンジｄｆ１ごとに距離が折り返る。その結果、算出される第１推定距離ｄ１は、実際の距離が長くなっても、測距レンジｄｆ１内で繰り返される。そのため、実際の対象物の位置が測距レンジｄｆ１より遠い場合でも、第１推定距離ｄ１は測距レンジｄｆ１未満の値で算出される。上記のｎの値は、測距レンジｄｆ１ごとの距離の折り返りの回数に相当し、測距装置１００からの距離がｎ×ｄｆ１＋ｄ１で表される仮想位置のいずれかの位置が、対象物の実際の位置になる。実際の位置以外の仮想位置は、偽距離に対応する位置である。
　一方で、パルスＴｏＦ方式では、実質的に距離の折り返りが発生しない条件に設定が可能であり、距離の折り返りが生じにくいため、パルスＴｏＦ方式で算出される第２推定距離ｄ２は、通常、対象物の実際の位置に対応する。よって、ｎ×ｄｆ１＋ｄ１とｄ２との差が最小になる場合のｎのうち最も小さい値のｎを用いたｎ×ｄｆ１＋ｄ１で算出される測距レンジを加算後の加算後第１推定距離が、ＣＷ－ＴｏＦ方式における対象物の実際の位置に対応する距離になる。
　以上のことから、信号処理部４０は、（ｉ）ｎ×ｄｆ１＋ｄ１とｄ２との差が最小になる場合のｎのうち最も小さい値のｎを用いたｎ×ｄｆ１＋ｄ１で算出される加算後第１推定距離、および、（ｉｉ）第２推定距離ｄ２のいずれか一方を対象物までの距離として決定する。信号処理部４０は、例えば、測距レンジがパルスＴｏＦ方式よりも短く、測距精度が高いＣＷ－ＴｏＦ方式によって算出された加算後第１推定距離を対象物までの距離として決定する。特にＣＷ－ＴｏＦ方式のような連続波の照射光は、周波数を高くすることが容易であるため、測距精度を高めやすい。
　［マルチパスの影響］
　次に、照射光のマルチパスの影響を考慮した信号処理部４０による対象物までの距離の決定について説明する。間接ＴｏＦ方式において測距精度を低減させる要因として照射光のマルチパスが挙げられる。図８は、マルチパスを説明するための図である。上記で算出した加算後第１推定距離および第２推定距離では、図８に示されるような、光源部１０が照射したパルス光が直接目的の対象物ＯＢＪ１にあたって反射するダイレクトパスを進む場合には、真の距離との誤差が生じにくい。しかし、実際には、光源部１０が照射したパルス光の一部が別の対象物ＯＢＪ２で反射してから目的の対象物ＯＢＪ１にあたって反射するマルチパスが存在しうる。図８で示される例では、マルチパスは１つであるが、複数のマルチパスが存在しうる。このマルチパスを進むパルス光は、ダイレクトパスを進むパルス光よりも遅れて測距装置１００に返ってくる。そのため、マルチパスを進むパルス光の飛行時間に対応する距離は真の距離よりも長くなる。実際には、測距装置１００に返る対象物ＯＢＪからの反射光は、ダイレクトパスを進むダイレクトパス成分とマルチパスを進むマルチパス成分とを含むため、上記で算出した加算後第１推定距離および第２推定距離は、真の距離よりも長くなるような誤差を含むことになる。
　図９は、推定距離に対するマルチパスの影響を説明するための第１の図である。図９では、マルチパス成分の距離範囲ｄｍが比較的狭い場合の例が示されている。マルチパス成分の距離範囲ｄｍとは、複数のマルチパスが存在する場合の各マルチパス成分の飛行時間に対応する仮想的な距離の範囲である。また、図９において、図７と同様の、算出される推定距離と実際の距離との関係が実線のグラフで示されている。
　図９に示されるように、マルチパス成分の距離範囲ｄｍは、真の距離ｄｔよりも長い距離範囲になる。その結果、マルチパスの影響下で算出される加算後第１推定距離ｄｅ１および第２推定距離ｄｅ２は、真の距離ｄｔよりも長い値を示す。マルチパス成分の距離範囲ｄｍが比較的狭い場合、ＣＷ－ＴｏＦ方式において、測距レンジｄｆ１の範囲内にマルチパス成分の距離範囲ｄｍと真の距離ｄｔとが収まる場合が多い。図９に示されるように、測距レンジｄｆ１の範囲内にマルチパス成分の距離範囲ｄｍと真の距離ｄｔとが収まる場合、ＣＷ－ＴｏＦ方式とパルスＴｏＦ方式とで推定距離に対するマルチパスの影響は同じになり、加算後第１推定距離ｄｅ１および第２推定距離ｄｅ２は同じ値を示す。
　次に、図９よりもマルチパス成分の距離範囲ｄｍが広い場合について説明する。図１０は、推定距離に対するマルチパスの影響を説明するための第２の図である。図１０には、マルチパス成分の距離範囲ｄｍが比較的広い場合の例が示されている。また、図１０において、図７と同様の、算出される推定距離と実際の距離との関係が実線のグラフで示されている。
　マルチパス成分の距離範囲ｄｍが比較的広い場合、ＣＷ－ＴｏＦ方式において、測距レンジｄｆ１の範囲内にマルチパス成分の距離範囲ｄｍが収まらない場合が生じやすくなる。図１０に示されるように、測距レンジｄｆ１の範囲内にマルチパス成分の距離範囲ｄｍが収まらない場合、マルチパス成分の距離範囲ｄｍの一部は短距離側に折り返り、当該一部は、加算後第１推定距離ｄｅ１を短くするように影響する。その結果、ＣＷ－ＴｏＦ方式とパルスＴｏＦ方式とで推定距離に対するマルチパスの影響が異なることになり、加算後第１推定距離ｄｅ１は、第２推定距離ｄｅ２よりも短くなりやすく、加算後第１推定距離ｄｅ１を用いることで、対象物までの距離として真の距離ｄｔにより近い距離の値が導出される。よって、信号処理部４０が加算後第１推定距離ｄｅ１および第２推定距離ｄｅ２のいずれか一方を対象物までの距離として決定する場合、マルチパスの影響を考慮すると、通常は、加算後第１推定距離ｄｅ１を対象物までの距離として決定することで、真の距離ｄｔとの誤差が小さくなりやすい。
　次に、ＣＷ－ＴｏＦ方式において、マルチパス成分の距離範囲ｄｍの半分以上が測距レンジｄｆ１を超えて折り返る場合について説明する。図１１は、推定距離に対するマルチパスの影響を説明するための第３の図である。図１１には、マルチパス成分の距離範囲ｄｍの半分以上が測距レンジｄｆ１を超えて折り返る場合における極端な例として、マルチパス成分の距離範囲ｄｍが比較的広く、かつ、マルチパス成分の距離範囲ｄｍの全体が折り返った成分となっている場合の例が示されている。また、図１１において、図７と同様の、算出される推定距離と実際の距離との関係が実線のグラフで示されている。
　図１１に示されるように、ＣＷ－ＴｏＦ方式において、マルチパス成分の距離範囲ｄｍの全体が折り返った成分となると、繰り返す測距レンジｄｆ１の範囲内では、真の距離ｄｔとマルチパス成分の距離範囲ｄｍとの差が大きくなり、かつ、真の距離ｄｔよりも短い距離範囲になる。そのため、加算後第１推定距離ｄｅ１は、真の距離ｄｔよりも大幅に短い値となる。そのため、ｎ＝２の場合の測距レンジｄｆ１の範囲に真の距離ｄｔが存在するにも関わらず、ｎ＝３の場合の加算後第１推定距離ｄｅ１が第２推定距離ｄｅ２との差が最も小さくなる。このような場合に、信号処理部４０が加算後第１推定距離ｄｅ１を対象物までの距離として決定すると、真の距離ｄｔが誤検知されることになり、真の距離ｄｔとの誤差が大きくなる。そのため、信号処理部４０は、第２推定距離ｄｅ２が加算後第１推定距離ｄｅ１より短い場合には、例えば、第２推定距離ｄｅ２を対象物までの距離として決定する。これにより、決定された距離と真の距離ｄｔとの誤差が小さくなる。
　以上のことから、図９から図１１に示される例で説明されるマルチパスの影響を考慮すると、信号処理部４０は、第２推定距離ｄｅ２および加算後第１推定距離ｄｅ１のうちの短い方を対象物までの距離として決定することで、測距精度を高めることができる。また、信号処理部４０は、第２推定距離ｄｅ２が加算後第１推定距離ｄｅ１より短い場合には、異常な測距が行われたと判定してもよい。この場合、信号処理部４０は、異常な測距が行われたことを示す情報を出力する。
　［効果など］
　以上のように、本実施の形態に係る測距装置１００は、照射光を照射する光源部１０と、入射光に基づいて画素信号を生成する画素２１を有する受光部２０と、光源部１０および受光部２０の駆動を制御する駆動制御部３０と、画素信号に基づいて対象物までの距離を導出する信号処理部４０と、を備える。駆動制御部３０は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するためのＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部１０および画素２１を駆動させ、ＣＷ－ＴｏＦシーケンスとパルスＴｏＦシーケンスとをフレーム間において切り替える。信号処理部４０は、ＣＷ－ＴｏＦシーケンスにおいて画素２１が生成する第１画素信号と、パルスＴｏＦシーケンスにおいて画素２１が生成する第２画素信号とに基づいて、対象物までの距離を導出する。ここで、パルスＴｏＦシーケンスにおける測距レンジは、ＣＷ－ＴｏＦシーケンスにおける測距レンジよりも長い。
　これにより、測距装置１００は、測距レンジがパルスＴｏＦシーケンスよりも短く、測距精度を高めやすいＣＷ－ＴｏＦ方式を用いたＣＷ－ＴｏＦシーケンスによって生成される第１画素信号と、距離の折り返りが発生しにくいパルスＴｏＦ方式を用いたパルスＴｏＦシーケンスによって生成される第２画素信号とを用いて対象物までの距離を導出できる。第１画素信号に加えて、第２画素信号が距離の導出に用いられるため、測距装置１００による測距レンジが拡大されて、また、偽距離が検出されることも抑制される。よって、測距装置１００は、測距レンジの拡大と測距精度の向上とを両立することができる。
　また、測距装置１００による測距方法は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するためのＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部１０および画素２１を駆動させる駆動制御ステップと、ＣＷ－ＴｏＦシーケンスにおいて画素２１が生成する第１画素信号と、パルスＴｏＦシーケンスにおいて画素２１が生成する第２画素信号とに基づいて、対象物までの距離を導出する信号処理ステップと、を含む。ここで、パルスＴｏＦシーケンスにおける測距レンジは、ＣＷ－ＴｏＦシーケンスにおける測距レンジよりも長い。
　これにより、上記測距装置１００と同様の効果を得ることができる。
　また、例えば、駆動制御部３０は、ＣＷ－ＴｏＦシーケンスにおいて、画素２１の露光開始から第１画素信号の読み出しまで画素２１を連続的に露光させ、パルスＴｏＦシーケンスにおいて、画素２１の露光開始から第２画素信号の読み出しまで画素２１を断続的に露光させる。
　これにより、パルスＴｏＦシーケンスでは、露光開始から第２画素信号の読み出しまでに画素が露光されない期間が存在し、発光制御パルスの次のパルスに対応する露光期間で反射光が画素に入射することが抑制され、距離の折り返りの発生をさらに抑制することができる。
　また、例えば、光源部１０は、駆動制御部３０から出力される発光制御パルスに従って、照射光としてパルス光を照射し、駆動制御部３０は、ＣＷ－ＴｏＦシーケンスにおいて、第１デューティー比の第１発光制御パルスを光源部１０に出力して光源部１０に照射光としてパルス光を照射させ、パルスＴｏＦシーケンスにおいて、第２デューティー比の第２発光制御パルスを光源部１０に出力して光源部１０に照射光としてパルス光を照射させる。
　これにより、ＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスのどちらにおいても発光制御パルスによって光源部１０にパルス光を照射させるため、駆動制御部３０による光源部１０の制御信号の生成が容易になる。
　また、例えば、第２デューティー比は第１デューティー比よりも小さい。また、例えば、第２デューティー比は５０％未満である。また、例えば、第２デューティー比は２５％未満である。また、例えば、第２発光制御パルスのパルス幅は、第１発光制御パルスのパルス幅よりも長い。
　これらにより、パルスＴｏＦシーケンスにおける測距レンジをさらに広げることができる。
　また、例えば、信号処理部４０は、第１画素信号に基づいて第１推定距離を算出し、第２画素信号に基づいて第２推定距離を算出し、（ｉ）第１推定距離をｄ１とし、第２推定距離をｄ２とし、ＣＷ－ＴｏＦシーケンスにおける測距レンジをｄｆ１とし、ｎを０以上の整数とした場合に、ｎ×ｄｆ１＋ｄ１とｄ２との差が最小になる場合のｎのうち最も小さい値のｎを用いたｎ×ｄｆ１＋ｄ１で算出される加算後第１推定距離、および、（ｉｉ）第２推定距離のいずれか一方を対象物までの距離として決定する。
　これにより、対象物までの距離として、ＣＷ－ＴｏＦ方式で算出される加算後第１推定距離およびパルスＴｏＦ方式で算出される第２推定距離の一方を選択できるため、状況に応じてより適切な推定距離を選択することが可能になる。
　また、例えば、信号処理部４０は、第２推定距離および加算後第１推定距離のうちの短い方を対象物までの距離として決定する。
　これにより、マルチパスの影響によって、算出される推定距離が真の距離よりも長くなる場合であっても、よりマルチパスの影響の小さい推定距離が選択される。
　また、例えば、信号処理部４０は、第２推定距離が加算後第１推定距離よりも短い場合に、異常な測距が行われたと判定する。
　これにより、マルチパスの影響が正しく反映されないために第２推定距離が加算後第１推定距離よりも短くなる場合に、異常な測距であると判定して、判定結果を出力することが可能になる。
　また、例えば、画素２１は、入射光を信号電荷に変換する光電変換部２２と、光電変換部２２で変換された信号電荷を蓄積する複数の電荷蓄積部２３ａ、２３ｂと、複数の電荷蓄積部２３ａ、２３ｂに１対１で対応し、光電変換部２２で変換された信号電荷を複数の電荷蓄積部２３ａ、２３ｂに転送する複数の電荷転送部２４ａ、２４ｂと、光電変換部２２で変換された信号電荷を排出する電荷排出部２５と、電荷排出部２５による信号電荷の排出を制御する排出制御部２６と、を含む。
　これにより、電荷排出部２５および排出制御部２６によって、光電変換部２２の信号電荷を排出できるため、容易に画素２１の非露光の期間を実現できる。
　［駆動シーケンスの別の例］
　次に、本実施の形態に係る測距装置１００の駆動シーケンスの別の例について説明する。以下の駆動シーケンスの別の例についての説明では、上記で説明した駆動シーケンスの説明との相違点を中心に説明し、共通点の説明を省略または簡略化する。
　まず、駆動シーケンスの第１の別の例について説明する。図１２は、実施の形態に係る測距装置１００の駆動シーケンスの第１の別の例を示す図である。
　図１２で示される例では、ＣＷ－ＴｏＦシーケンスは、図４で示される例と同様に、第１ＣＷ－ＴｏＦフレームＦａ１および第２ＣＷ－ＴｏＦフレームＦａ２を含み、これらの２種類のフレームから成る。
　また、図１２に示される例では、パルスＴｏＦシーケンスは、光源部１０に照射光を照射させるタイミングに対して所定のタイミングで各画素２１を露光させる第１パルスＴｏＦフレームＦｂ１を含み、この１種類のフレームから成る。
　図１２で示される例では、駆動制御部３０は、それぞれ１フレーム分のみの第１ＣＷ－ＴｏＦフレームＦａ１、第２ＣＷ－ＴｏＦフレームＦａ２および第１パルスＴｏＦフレームＦｂ１を含む組を繰り返し単位として所定の回数繰り返す。図１２で示される例では、第１ＣＷ－ＴｏＦフレームＦａ１、第２ＣＷ－ＴｏＦフレームＦａ２および第１パルスＴｏＦフレームＦｂ１はこの順で繰り返されるが、繰り返し単位内でのフレームの順序は特に制限されない。
　このように、図１２で示される駆動シーケンスは、図４で示される駆動シーケンスから第２パルスＴｏＦフレームＦｂ２を除いた構成を有する。そのため、距離の導出に必要な駆動シーケンスの時間を短くすることが可能であり、動体ブレを抑制した測距画像を撮像できる。また、図１２で示されるパルスＴｏＦシーケンスは第１パルスＴｏＦフレームＦｂ１からなるため、上記の式（２）、（３）および（４）のうちの式（２）のみによって第２推定距離が算出される。そのため、図１２で示されるパルスＴｏＦシーケンスにおける測距レンジは、（ｃ×Ｔｐ２）／２となるが、図４で示されるパルスＴｏＦシーケンスよりもパルス幅Ｔｐ２を長くすれば、図４で示されるパルスＴｏＦシーケンスの測距レンジと同等にすることが可能である。なお、図１２で示される駆動シーケンスにおいて、第１推定距離および第２推定距離を用いた対象物までの距離の導出の方法については、上記の図４で示される駆動シーケンスの場合と同様である。
　次に、駆動シーケンスの第２の別の例について説明する。図１３は、実施の形態に係る測距装置１００の駆動シーケンスの第２の別の例を示す図である。
　図１３に示される駆動シーケンスは、図４で示される駆動シーケンスに、別のＣＷ－ＴｏＦシーケンスを追加した構成を有する。図１３において、別のＣＷ－ＴｏＦシーケンスは、ＣＷ―ＴｏＦシーケンスを示すドットの模様が付された矩形よりも密度の低いドットの模様が付された矩形で示されている。図１３に示される例では、駆動制御部３０は、時分割されたＣＷ－ＴｏＦシーケンス、別のＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部１０および各画素２１を駆動させる。別のＣＷ－ＴｏＦシーケンスは、ＣＷ－ＴｏＦシーケンスよりも測距レンジが長い。
　図１３で示される例では、別のＣＷ－ＴｏＦシーケンスは、光源部１０に照射光を照射させるタイミングに対する各画素２１を露光させるタイミングが互いに異なる第１ＣＷ－ＴｏＦフレームＦｃ１および第２ＣＷ－ＴｏＦフレームＦｃ２を含み、これらの２種類のフレームから成る。第１ＣＷ－ＴｏＦフレームＦｃ１は、第１ＣＷ発光露光期間Ｓｃ１と、第１ＣＷ発光露光期間Ｓｃ１に続く読み出し期間とを含む。第２ＣＷ－ＴｏＦフレームＦｃ２は、第２ＣＷ発光露光期間Ｓｃ２と、第２ＣＷ発光露光期間Ｓｃ２に続く読み出し期間とを含む。別のＣＷ－ＴｏＦシーケンスにおける読み出し期間では、各画素２１が生成する第３画素信号が読み出される。
　図１３で示される例では、駆動制御部３０は、それぞれ１フレーム分のみの第１ＣＷ－ＴｏＦフレームＦａ１、第２ＣＷ－ＴｏＦフレームＦａ２、第１ＣＷ－ＴｏＦフレームＦｃ１、第２ＣＷ－ＴｏＦフレームＦｃ２、第１パルスＴｏＦフレームＦｂ１および第２パルスＴｏＦフレームＦｂ２を含む組を繰り返し単位として所定の回数繰り返す。図１３で示される例では、第１ＣＷ－ＴｏＦフレームＦａ１、第２ＣＷ－ＴｏＦフレームＦａ２、第１ＣＷ－ＴｏＦフレームＦｃ１、第２ＣＷ－ＴｏＦフレームＦｃ２、第１パルスＴｏＦフレームＦｂ１および第２パルスＴｏＦフレームＦｂ２はこの順で繰り返されるが、繰り返し単位内でのフレームの順序は特に制限されない。
　図１４は、第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２の一例を示すタイムチャートである。
　図１４の「発光制御パルス」には、第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２において、駆動制御部３０が光源部１０に出力する第３発光制御パルス（つまり、光源部１０が照射する照射光の波形）の一例が示されている。第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２においては、同じ波形の第３発光制御パルスが出力される。
　駆動制御部３０は、第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２において、第３デューティー比の第３発光制御パルスを光源部１０に出力して光源部１０に照射光としてパルス光を照射させる。図１４で示される例では、第３発光制御パルスの周波数はｆ３である。また、第３発光制御パルスのパルス幅はＴｐ３であり、第３発光制御パルスの周期はＴ３であるため、第３発光制御パルスの第３デューティー比はＴｐ３／Ｔ３である。図１４で示される例では第３デューティー比は５０％であるが、２５％以上７５％以下であればＣＷ－ＴｏＦ方式での測距は可能である。第３発光制御パルスの周波数ｆ３は、第１発光制御パルスの周波数ｆ１よりも低い。つまり、ｆ１＞ｆ３である。また、ａ１およびａ３を互いに異なる自然数とした場合に、ａ１×ｆ１＝ａ３×ｆ３が成立する。
　図１４の「電荷蓄積」には、駆動制御部３０が各画素２１を露光させて信号電荷を蓄積させる露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０が示されている。第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２における露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０は、第３発光制御パルスと関連付けられた期間に設定されている以外は、図５を用いて説明した第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２における露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０と同様の駆動が行われる。
　第１ＣＷ発光露光期間Ｓｃ１は、露光期間Ｃ０と露光期間Ｃ１８０とを含み、露光期間Ｃ０と露光期間Ｃ１８０とが交互に読み出し期間まで連続的に繰り返される。露光期間Ｃ０は、第３発光制御パルスとの位相差が０°のタイミングで開始し、露光期間Ｃ１８０は、第３発光制御パルスとの位相差が１８０°のタイミングで開始する。露光期間Ｃ０と露光期間Ｃ１８０との合計の長さは、第３発光制御パルスの周期Ｔ３と同じである。
　第２ＣＷ発光露光期間Ｓｃ２は、露光期間Ｃ９０と露光期間Ｃ２７０とを含み、露光期間Ｃ９０と露光期間Ｃ２７０とが交互に読み出し期間まで連続的に繰り返される。露光期間Ｃ９０は、第３発光制御パルスとの位相差が９０°のタイミングで開始し、露光期間Ｃ２７０は、第３発光制御パルスとの位相差が２７０°のタイミングで開始する。露光期間Ｃ９０と露光期間Ｃ２７０との合計の長さは、第３発光制御パルスの周期Ｔ３と同じである。
　露光期間Ｃ０、露光期間Ｃ１８０、露光期間Ｃ９０および露光期間Ｃ２７０の長さは互いに同じであり、第３発光制御パルスの周期を２分割した長さのＴ３／２である。駆動制御部３０は、第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２のそれぞれにおいて、各画素２１の露光開始から第３画素信号の読み出しまで各画素２１を連続的に露光させる。なお、各画素２１の露光終了と第３画素信号の読み出しとの間には、間隔があってもよい。
　図１３で示される駆動シーケンスにおいて、信号処理部４０は、第１画素信号、第２画素信号および第３画素信号に基づいて対象物までの距離を導出する。具体的には、信号処理部４０は、対象物までの距離の導出において、まず、上記の第１推定距離および第２推定距離を算出することに加えて、ＣＷ－ＴｏＦ方式による距離の演算を用いて、第３画素信号に基づいて第３推定距離を算出する。信号処理部４０は、第１推定距離、第２推定距離および第３推定距離に基づいて、対象物までの距離を導出する。信号処理部４０は、例えば、上記のような第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２を含む別のＣＷ－ＴｏＦシーケンスにおいて各画素２１から出力される第３画素信号に基づいて第３推定距離を算出する。第３推定距離をｄ３とすると、ｄ３は以下の式（５）で算出される。
Figure JPOXMLDOC01-appb-M000005
　上記の式（５）は、式（１）と同様に、照射光の対象物による反射光の位相が、対象物までの距離に応じて照射光に対してずれることを利用して距離を算出する式である。また、別のＣＷ－ＴｏＦシーケンスにおける測距レンジをｄｆ３とすると、ｄｆ３＝ｃ／ｆ３である。
　次に、信号処理部４０は、ＣＷ－ＴｏＦシーケンスにおける測距レンジをｄｆ１とし、ｍ１を０以上の整数とした場合に、別のＣＷ－ＴｏＦシーケンスにおける測距レンジをｄｆ３とし、ｍ３を０以上の整数とした場合に、上記のｍ１×ｄｆ１＋ｄ１とｍ３×ｄｆ３＋ｄ３との差が最小になる場合のｍ１とｍ３との組のうちそれぞれが最も小さい値となるｍ１とｍ３との組を決定する。そして、ｎ×ｍ１×ｄｆ１＋ｄ１と第２推定距離ｄ２との差が最小になる場合のｎのうち最も小さい値のｎを決定する。図１３で示される駆動シーケンスでは、ＣＷ－ＴｏＦ方式を用いて算出される推定距離の折り返りの単位がｍ１×ｄｆ１となって広がるため、図４で示される駆動シーケンスと比べて、ｎの値の決定における誤判定を抑制することができる。
　最終的に、信号処理部４０は、（ｉ）ｎ×ｍ１×ｄｆ１＋ｄ１とｄ２との差が最小になる場合のｎのうち最も小さい値のｎを用いたｎ×ｍ１×ｄｆ１＋ｄ１で算出される加算後第１推定距離、および、（ｉｉ）第２推定距離ｄ２のいずれか一方を対象物までの距離として決定する。信号処理部４０が加算後第１推定距離および第２推定距離のうちのいずれを選択するかについては、図４で示される駆動シーケンスの場合と同様である。
　なお、図１３で示される駆動シーケンスにおいて、周波数ｆ１および周波数ｆ３とは異なる周波数で発光制御パルスが出力されるさらに別のＣＷ－ＴｏＦシーケンスが追加されてもよい。これにより、ＣＷ－ＴｏＦ方式を用いて算出される推定距離の折り返りの単位がさらに広がり、ｎの値の決定における誤判定をさらに抑制することができる。
　また、測距装置１００の駆動シーケンスは、パルスＴｏＦシーケンスとは測距レンジが異なる別のパルスＴｏＦシーケンスをさらに含んでいてもよい。別のパルスＴｏＦシーケンスにおける発光露光期間では、例えば、駆動制御部３０は、第２発光制御パルスとはデューティー比、パルス幅および周期の少なくとも１つが異なる発光制御パルスを出力し、当該発光制御パルスに対応するタイミングの露光期間で画素２１を露光させる。
　また、本実施の形態に係る測距装置１００は、１つの固定の駆動シーケンスで動作してもよく、複数の駆動シーケンスでの動作を切り替え可能であってもよい。例えば、測距装置１００は、図４、図１２および図１３で示される駆動シーケンスのうち、いずれか１つのみを行う装置であってもよく、これらのうち２以上を切り替えて行う装置であってもよい。
　［変形例１］
　次に、実施の形態の変形例１について説明する。以下の変形例１の説明において、実施の形態との相違点を中心に説明し、共通点の説明を省略または簡略化する。
　図１５は、本変形例に係る画素２１Ａの構成の一例を示す平面図である。本変形例に係る測距装置は、実施の形態に係る測距装置１００の画素２１を画素２１Ａに置き換えた構成を有する。
　画素２１Ａは、画素２１と比較して、電荷蓄積部および電荷転送部の数が異なる点で相違し、画素２１Ａにおける電荷蓄積部および電荷転送部の数はそれぞれ４つである。具体的には、画素２１Ａは、光電変換部２２と、複数の電荷蓄積部２３ａ、２３ｂ、２３ｃ、２３ｄと、複数の電荷転送部２４ａ、２４ｂ、２４ｃ、２４ｄと、電荷排出部２５と、排出制御部２６と、を含む。電荷転送部２４ｃは信号電荷を電荷蓄積部２３ｃに転送し、電荷転送部２４ｄは信号電荷を電荷蓄積部２３ｄに転送する。
　次に、本変形例に係る測距装置の駆動シーケンスについて説明する。図１６は、本変形例に係る測距装置の駆動シーケンスの一例を示す図である。
　図１６に示される例では、駆動制御部３０は、時分割されたＣＷ－ＴｏＦシーケンス、別のＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部１０および各画素２１Ａを駆動させる。図１６において、別のＣＷ－ＴｏＦシーケンスは、ＣＷ―ＴｏＦシーケンスを示すドットの模様が付された矩形よりも密度の低いドットの模様が付された矩形で示されている。別のＣＷ－ＴｏＦシーケンスは、ＣＷ－ＴｏＦシーケンスよりも測距レンジが長い。
　また、図１６に示される例では、ＣＷ－ＴｏＦシーケンスは、光源部１０に照射光を照射させるタイミングに対して所定のタイミングで各画素２１Ａを露光させる第１ＣＷ－ＴｏＦフレームＦａ３を含み、この１種類のフレームから成る。第１ＣＷ－ＴｏＦフレームＦａ３は、第１ＣＷ発光露光期間Ｓａ３と、第１ＣＷ発光露光期間Ｓａ３に続く読み出し期間とを含む。
　また、図１６に示される例では、別のＣＷ－ＴｏＦシーケンスは、光源部１０に照射光を照射させるタイミングに対して所定のタイミングで各画素２１Ａを露光させる第１ＣＷ－ＴｏＦフレームＦｃ３を含み、この１種類のフレームから成る。第１ＣＷ－ＴｏＦフレームＦｃ３は、第１ＣＷ発光露光期間Ｓｃ３と、第１ＣＷ発光露光期間Ｓｃ３に続く読み出し期間とを含む。
　また、図１６に示される例では、パルスＴｏＦシーケンスは、光源部１０に照射光を照射させるタイミングに対して所定のタイミングで各画素２１Ａを露光させる第１パルスＴｏＦフレームＦｂ３を含み、この１種類のフレームから成る。第１パルスＴｏＦフレームＦｂ３は、第１パルス発光露光期間Ｓｂ３と、第１パルス発光露光期間Ｓｂ３に続く読み出し期間とを含む。
　駆動制御部３０は、それぞれ１フレーム分のみの第１ＣＷ－ＴｏＦフレームＦａ３、第１ＣＷ－ＴｏＦフレームＦｃ３および第１パルスＴｏＦフレームＦｂ３を含む組を繰り返し単位として所定の回数繰り返す。そのため、図１３で示される駆動シーケンスと比べて、距離の導出に必要な駆動シーケンスの時間を短くすることが可能であり、動体ブレを抑制した測距画像を撮像できる。図１６で示される例では、第１ＣＷ－ＴｏＦフレームＦａ３、第１ＣＷ－ＴｏＦフレームＦｃ３および第１パルスＴｏＦフレームＦｂ３はこの順で繰り返されるが、繰り返し単位内でのフレームの順序は特に制限されない。
　次に、第１ＣＷ発光露光期間Ｓａ３、第１ＣＷ発光露光期間Ｓｃ３および第１パルス発光露光期間Ｓｂ３の詳細について説明する。
　まず、ＣＷ－ＴｏＦシーケンスに含まれる第１ＣＷ発光露光期間Ｓａ３について説明する。図１７は、第１ＣＷ発光露光期間Ｓａ３の一例を示すタイムチャートである。
　図１７の「発光制御パルス」には、第１ＣＷ発光露光期間Ｓａ３において、駆動制御部３０が光源部１０に出力する第１発光制御パルスの一例が示されている。第１ＣＷ発光露光期間Ｓａ３においては、図５で示される第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２と同様の第１発光制御パルスが出力される。
　図１７の「電荷蓄積」には、駆動制御部３０が各画素２１Ａを露光させて信号電荷を蓄積させる露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０が示されている。具体的には、駆動制御部３０は、露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０において各画素２１Ａに露光制御パルスを出力することで、電荷転送部２４ａ、２４ｂ、２４ｃおよび２４ｄのいずれかをオンにして、光電変換部２２から電荷蓄積部２３ａ、２３ｂ、２３ｃおよび２３ｄのいずれかに信号電荷を転送させる。露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０は、第１発光制御パルスと関連付けられた期間に設定されている。第１発光制御パルスと露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０の開始タイミングとの位相差は、図５で示される第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２と同様である。
　第１ＣＷ発光露光期間Ｓａ３は、露光期間Ｃ０と露光期間Ｃ９０と露光期間Ｃ１８０と露光期間Ｃ２７０とを含み、これらがこの順で読み出し期間まで連続的に繰り返される。第１ＣＷ発光露光期間Ｓａ３では、露光期間Ｃ０と露光期間Ｃ９０と露光期間Ｃ１８０と露光期間Ｃ２７０との合計の長さは、第１発光制御パルスの周期Ｔ１と同じである。
　第１ＣＷ発光露光期間Ｓａ３において、露光期間Ｃ０と露光期間Ｃ９０と露光期間Ｃ１８０と露光期間Ｃ２７０とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｃ０においては、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｃ９０においては、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。また、露光期間Ｃ１８０においては、電荷転送部２４ｃがオンされて電荷蓄積部２３ｃに信号電荷が蓄積する。また、露光期間Ｃ２７０においては、電荷転送部２４ｄがオンされて電荷蓄積部２３ｄに信号電荷が蓄積する。
　第１ＣＷ発光露光期間Ｓａ３に続く読み出し期間において、第１画素信号として、露光期間Ｃ０において蓄積した信号電荷に基づく信号、露光期間Ｃ９０において蓄積した信号電荷に基づく信号、露光期間Ｃ１８０において蓄積した信号電荷に基づく信号、および、露光期間Ｃ２７０において蓄積した信号電荷に基づく信号がそれぞれ読み出される。
　第１ＣＷ発光露光期間Ｓａ３において、露光期間Ｃ０、露光期間Ｃ１８０、露光期間Ｃ９０および露光期間Ｃ２７０の長さは互いに同じであり、第１発光制御パルスの周期を４分割した長さのＴ１／４である。駆動制御部３０は、第１ＣＷ発光露光期間Ｓａ３において、各画素２１Ａの露光開始から第１画素信号の読み出しまで各画素２１Ａを連続的に露光させる。
　なお、第１ＣＷ発光露光期間Ｓａ３は、図１７に示される例に限らず、例えば、第１ＣＷ発光露光期間Ｓａ３の前半には露光期間Ｃ０と露光期間Ｃ１８０とが交互に繰り返され、第１ＣＷ発光露光期間Ｓａ３の後半には露光期間Ｃ９０と露光期間Ｃ２７０とが交互に繰り返されてもよい。この場合には、露光期間Ｃ０、露光期間Ｃ１８０、露光期間Ｃ９０および露光期間Ｃ２７０の長さは、第１発光制御パルスの周期を２分割した長さのＴ１／２である。
　続いて、別のＣＷ－ＴｏＦシーケンスに含まれる第１ＣＷ発光露光期間Ｓｃ３について説明する。図１８は、第１ＣＷ発光露光期間Ｓｃ３の一例を示すタイムチャートである。
　図１８の「発光制御パルス」には、第１ＣＷ発光露光期間Ｓｃ３において、駆動制御部３０が光源部１０に出力する第３発光制御パルスの一例が示されている。第１ＣＷ発光露光期間Ｓｃ３においては、図１４で示される第１ＣＷ発光露光期間Ｓｃ１および第２ＣＷ発光露光期間Ｓｃ２と同様の第３発光制御パルスが出力される。
　図１８の「電荷蓄積」には、駆動制御部３０が各画素２１Ａを露光させて信号電荷を蓄積させる露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０が示されている。第１ＣＷ発光露光期間Ｓｃ３における露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０は、第３発光制御パルスと関連付けられた期間に設定されている以外は、図１７を用いて説明した第１ＣＷ発光露光期間Ｓａ３における露光期間Ｃ０、Ｃ９０、Ｃ１８０、Ｃ２７０と同様の駆動が行われる。
　第１ＣＷ発光露光期間Ｓｃ３に続く読み出し期間において、第３画素信号として、露光期間Ｃ０において蓄積した信号電荷に基づく信号、露光期間Ｃ９０において蓄積した信号電荷に基づく信号、露光期間Ｃ１８０において蓄積した信号電荷に基づく信号、および、露光期間Ｃ２７０において蓄積した信号電荷に基づく信号がそれぞれ読み出される。
　第１ＣＷ発光露光期間Ｓｃ３において、露光期間Ｃ０、露光期間Ｃ１８０、露光期間Ｃ９０および露光期間Ｃ２７０の長さは互いに同じであり、第３発光制御パルスの周期を４分割した長さのＴ３／４である。駆動制御部３０は、第１ＣＷ発光露光期間Ｓｃ３において、各画素２１Ａの露光開始から第３画素信号の読み出しまで各画素２１Ａを連続的に露光させる。
　なお、第１ＣＷ発光露光期間Ｓｃ３は、図１８に示される例に限らず、例えば、第１ＣＷ発光露光期間Ｓｃ３の前半には露光期間Ｃ０と露光期間Ｃ１８０とが交互に繰り返され、第１ＣＷ発光露光期間Ｓｃ３の後半には露光期間Ｃ９０と露光期間Ｃ２７０とが交互に繰り返されてもよい。この場合には、露光期間Ｃ０、露光期間Ｃ１８０、露光期間Ｃ９０および露光期間Ｃ２７０の長さは、第３発光制御パルスの周期を２分割した長さのＴ３／２である。
　続いて、パルスＴｏＦシーケンスに含まれる第１パルス発光露光期間Ｓｂ３について説明する。図１９は、第１パルス発光露光期間Ｓｂ３の一例を示すタイムチャートである。
　図１９の「発光制御パルス」には、第１パルス発光露光期間Ｓｂ３において、駆動制御部３０が光源部１０に出力する第２発光制御パルスの一例が示されている。第１パルス発光露光期間Ｓｂ３においては、図６で示される第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２と同様の第２発光制御パルスが出力される。
　図１９の「電荷蓄積」には、駆動制御部３０が各画素２１Ａを露光させて信号電荷を蓄積させる露光期間Ｐ０、Ｐ１、Ｐ２、Ｐ３および各画素２１Ａにおける光電変換部２２の信号電荷を排出させる電荷排出期間が示されている。具体的には、駆動制御部３０は、露光期間において各画素２１Ａに露光制御パルスを出力することで、電荷転送部２４ａ、２４ｂ、２４ｃおよび２４ｄのいずれかをオンにして、光電変換部２２から電荷蓄積部２３ａ、２３ｂ、２３ｃおよび２３ｄのいずれかに信号電荷を転送させる。露光期間Ｐ０、Ｐ１、Ｐ２、Ｐ３は、第２発光制御パルスと関連付けられた期間に設定されている。第２発光制御パルスと露光期間Ｐ０、Ｐ１、Ｐ２、Ｐ３の開始タイミングとの関係は、図６で示される第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２と同様である。
　第１パルス発光露光期間Ｓｂ３は、露光期間Ｐ０と露光期間Ｐ１と露光期間Ｐ２と露光期間Ｐ３と電荷排出期間とを含み、これらがこの順で読み出し期間まで繰り返される。露光期間Ｐ０と露光期間Ｐ１と露光期間Ｐ２と露光期間Ｐ３と電荷排出期間との合計の長さは、第２発光制御パルスの周期Ｔ２と同じである。
　第１パルス発光露光期間Ｓｂ３において、露光期間Ｐ０と露光期間Ｐ１と露光期間Ｐ２と露光期間Ｐ３とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｐ０においては、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｐ１においては、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。また、露光期間Ｐ２においては、電荷転送部２４ｃがオンされて電荷蓄積部２３ｃに信号電荷が蓄積する。また、露光期間Ｐ３においては、電荷転送部２４ｄがオンされて電荷蓄積部２３ｄに信号電荷が蓄積する。
　第１パルス発光露光期間Ｓｂ３に続く読み出し期間において、第２画素信号として、露光期間Ｐ０において蓄積した信号電荷に基づく信号、露光期間Ｐ１において蓄積した信号電荷に基づく信号、露光期間Ｐ２において蓄積した信号電荷に基づく信号、および、露光期間Ｐ３において蓄積した信号電荷に基づく信号がそれぞれ読み出される。
　駆動制御部３０は、第１パルス発光露光期間Ｓｂ３において、各画素２１Ａの露光開始から第２画素信号の読み出しまで各画素２１Ａを断続的に露光させる。
　本変形例における信号処理部４０による対象物までの距離の導出については、図１３で示される駆動シーケンスの場合と同様である。
　なお、図１７で示される駆動シーケンスは、第１ＣＷ－ＴｏＦフレームＦｃ３で構成される別のＣＷ－ＴｏＦシーケンスを含んでいなくてもよい。
　また、本変形例に係る測距装置は、実施の形態に係る測距装置１００が行う駆動シーケンスとして説明したものと同様の駆動シーケンスを行うことも可能である。
　［変形例２］
　次に、実施の形態の変形例２について説明する。以下の変形例２の説明において、実施の形態および変形例１との相違点を中心に説明し、共通点の説明を省略または簡略化する。
　図２０は、本変形例に係る画素２１Ｂの構成の一例を示す平面図である。本変形例に係る測距装置は、実施の形態に係る測距装置１００の画素２１を画素２１Ｂに置き換えた構成を有する。
　画素２１Ｂは、画素２１と比較して、電荷蓄積部および電荷転送部の数が異なる点で相違し、画素２１Ｂにおける電荷蓄積部および電荷転送部の数はそれぞれ３つである。具体的には、画素２１Ｂは、光電変換部２２と、複数の電荷蓄積部２３ａ、２３ｂ、２３ｃと、複数の電荷転送部２４ａ、２４ｂ、２４ｃと、電荷排出部２５と、排出制御部２６と、を含む。
　次に、本変形例に係る測距装置の駆動シーケンスについて説明する。図２１は、本変形例に係る測距装置の駆動シーケンスの一例を示す図である。
　図２１に示される例では、駆動制御部３０は、時分割されたＣＷ－ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで光源部１０および各画素２１Ｂを駆動させる。
　また、図２１に示される例では、ＣＷ－ＴｏＦシーケンスは、光源部１０に照射光を照射させるタイミングに対して所定のタイミングで各画素２１Ｂを露光させる第１ＣＷ－ＴｏＦフレームＦａ４を含み、この１種類のフレームから成る。第１ＣＷ－ＴｏＦフレームＦａ４は、第１ＣＷ発光露光期間Ｓａ４と、第１ＣＷ発光露光期間Ｓａ４に続く読み出し期間とを含む。
　また、図２１に示される例では、パルスＴｏＦシーケンスは、光源部１０に照射光を照射させるタイミングに対して所定のタイミングで各画素２１Ｂを露光させる第１パルスＴｏＦフレームＦｂ４を含み、この１種類のフレームから成る。第１パルスＴｏＦフレームＦｂ４は、第１パルス発光露光期間Ｓｂ４と、第１パルス発光露光期間Ｓｂ４に続く読み出し期間とを含む。
　駆動制御部３０は、それぞれ１フレーム分のみの第１ＣＷ－ＴｏＦフレームＦａ４および第１パルスＴｏＦフレームＦｂ４を含む組を繰り返し単位として所定の回数繰り返す。そのため、図４で示される駆動シーケンスと比べて、距離の導出に必要な駆動シーケンスの時間を短くすることが可能であり、動体ブレを抑制した測距画像を撮像できる。図２１で示される例では、第１ＣＷ－ＴｏＦフレームＦａ４および第１パルスＴｏＦフレームＦｂ４はこの順で繰り返されるが、繰り返し単位内でのフレームの順序は特に制限されない。
　次に、第１ＣＷ発光露光期間Ｓａ４および第１パルス発光露光期間Ｓｂ４の詳細について説明する。
　まず、ＣＷ－ＴｏＦシーケンスに含まれる第１ＣＷ発光露光期間Ｓａ４について説明する。図２２は、第１ＣＷ発光露光期間Ｓａ４の一例を示すタイムチャートである。
　図２２の「発光制御パルス」には、第１ＣＷ発光露光期間Ｓａ４において、駆動制御部３０が光源部１０に出力する第１発光制御パルスの一例が示されている。第１ＣＷ発光露光期間Ｓａ４においては、図５で示される第１ＣＷ発光露光期間Ｓａ１および第２ＣＷ発光露光期間Ｓａ２と同様の第１発光制御パルスが出力される。図２２で示される例では第１発光制御パルスの第１デューティー比は５０％であるが、（１００／３）％以上（２００／３）％以下であれば、本変形例におけるＣＷ－ＴｏＦ方式での測距は可能である。
　図２２の「電荷蓄積」には、駆動制御部３０が各画素２１Ｂを露光させて信号電荷を蓄積させる露光期間Ｃ０、Ｃ１２０、Ｃ２４０が示されている。具体的には、駆動制御部３０は、露光期間Ｃ０、Ｃ１２０、Ｃ２４０において各画素２１Ｂに露光制御パルスを出力することで、電荷転送部２４ａ、２４ｂおよび２４ｃのいずれかをオンにして、光電変換部２２から電荷蓄積部２３ａ、２３ｂおよび２３ｃのいずれかに信号電荷を転送させる。露光期間Ｃ０、Ｃ１２０およびＣ２４０は、第１発光制御パルスと関連付けられた期間に設定されている。
　第１ＣＷ発光露光期間Ｓａ３は、露光期間Ｃ０と露光期間Ｃ１２０と露光期間Ｃ２４０とを含み、これらがこの順に読み出し期間まで連続的に繰り返される。図２２において、密度の低いドットの模様が付された矩形が露光期間Ｃ０を示しており、密度の高いドットの模様が付された矩形が露光期間Ｃ１２０を示しており、斜線の模様が付された矩形が露光期間Ｃ２４０を示している。露光期間Ｃ０は、第１発光制御パルスとの位相差が０°のタイミングで開始し、露光期間Ｃ１２０は、第１発光制御パルスとの位相差が１２０°のタイミングで開始し、露光期間Ｃ２４０は、第１発光制御パルスとの位相差が２４０°のタイミングで開始する。露光期間Ｃ０と露光期間Ｃ１２０と露光期間Ｃ２４０との合計の長さは、第１発光制御パルスの周期Ｔ１と同じである。
　露光期間Ｃ０と露光期間Ｃ１２０と露光期間Ｃ２４０とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｃ０においては、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｃ１２０においては、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。また、露光期間Ｃ２４０においては、電荷転送部２４ｃがオンされて電荷蓄積部２３ｃに信号電荷が蓄積する。
　第１ＣＷ発光露光期間Ｓａ４に続く読み出し期間において、第１画素信号として、露光期間Ｃ０において蓄積した信号電荷に基づく信号、露光期間Ｃ１２０において蓄積した信号電荷に基づく信号、および、露光期間Ｃ２４０において蓄積した信号電荷に基づく信号がそれぞれ読み出される。以下では、露光期間Ｃ０に対応する信号の信号値をＣ０とし、露光期間Ｃ１２０に対応する信号の信号値をＣ１２０とし、露光期間Ｃ２４０に対応する信号の信号値をＣ２４０とする。
　露光期間Ｃ０、露光期間Ｃ１２０および露光期間Ｃ２４０の長さは互いに同じであり、第１発光制御パルスの周期を３分割した長さのＴ１／３である。駆動制御部３０は、第１ＣＷ発光露光期間Ｓａ４において、各画素２１Ｂの露光開始から第１画素信号の読み出しまで各画素２１Ｂを連続的に露光させる。
　続いて、パルスＴｏＦシーケンスに含まれる第１パルス発光露光期間Ｓｂ４について説明する。図２３は、第１パルス発光露光期間Ｓｂ４の一例を示すタイムチャートである。
　図２３の「発光制御パルス」には、第１パルス発光露光期間Ｓｂ４において、駆動制御部３０が光源部１０に出力する第２発光制御パルスの一例が示されている。第１パルス発光露光期間Ｓｂ４においては、図６で示される第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２と同様の第２発光制御パルスが出力される。
　図２３の「電荷蓄積」には、駆動制御部３０が各画素２１Ｂを露光させて信号電荷を蓄積させる露光期間Ｐ０、Ｐ１、Ｐ２および各画素２１Ｂにおける光電変換部２２の信号電荷を排出させる電荷排出期間が示されている。具体的には、駆動制御部３０は、露光期間において各画素２１Ｂに露光制御パルスを出力することで、電荷転送部２４ａ、２４ｂおよび２４ｃのいずれかをオンにして、光電変換部２２から電荷蓄積部２３ａ、２３ｂおよび２３ｃのいずれかに信号電荷を転送させる。露光期間Ｐ０、Ｐ１、Ｐ２は、第２発光制御パルスと関連付けられた期間に設定されている。第２発光制御パルスと露光期間Ｐ０、Ｐ１、Ｐ２の開始タイミングとの関係は、図６で示される第１パルス発光露光期間Ｓｂ１および第２パルス発光露光期間Ｓｂ２と同様である。
　第１パルス発光露光期間Ｓｂ４は、露光期間Ｐ０と露光期間Ｐ１と露光期間Ｐ２と電荷排出期間とを含み、これらがこの順で読み出し期間まで繰り返される。露光期間Ｐ０と露光期間Ｐ１と露光期間Ｐ２と電荷排出期間との合計の長さは、第２発光制御パルスの周期Ｔ２と同じである。
　第１パルス発光露光期間Ｓｂ３において、露光期間Ｐ０と露光期間Ｐ１と露光期間Ｐ２とでは、互いに異なる電荷蓄積部に信号電荷が蓄積される。例えば、露光期間Ｐ０においては、電荷転送部２４ａがオンされて電荷蓄積部２３ａに信号電荷が蓄積する。また、露光期間Ｐ１においては、電荷転送部２４ｂがオンされて電荷蓄積部２３ｂに信号電荷が蓄積する。また、露光期間Ｐ２においては、電荷転送部２４ｃがオンされて電荷蓄積部２３ｃに信号電荷が蓄積する。
　第１パルス発光露光期間Ｓｂ４に続く読み出し期間において、第２画素信号として、露光期間Ｐ０において蓄積した信号電荷に基づく信号、露光期間Ｐ１において蓄積した信号電荷に基づく信号、および、露光期間Ｐ２において蓄積した信号電荷に基づく信号がそれぞれ読み出される。
　駆動制御部３０は、第１パルス発光露光期間Ｓｂ４において、各画素２１Ｂの露光開始から第２画素信号の読み出しまで各画素２１Ｂを断続的に露光させる。
　図２１で示される駆動シーケンスにおいて、信号処理部４０は、第１画素信号および第２画素信号に基づいて対象物までの距離を導出する。具体的には、信号処理部４０は、対象物までの距離の導出において、まず、第１推定距離および第２推定距離を算出する。信号処理部４０は、第１推定距離および第２推定距離に基づいて、対象物までの距離を導出する。信号処理部４０は、例えば、上記のような第１ＣＷ発光露光期間Ｓａ４を含むＣＷ－ＴｏＦシーケンスにおいて各画素２１Ｂから出力される第１画素信号に基づいて第１推定距離を算出する。本変形例における第１推定距離ｄ１は以下の式（６）で算出される。
Figure JPOXMLDOC01-appb-M000006
　上記の式（６）は、式（１）と同様に、照射光の対象物による反射光の位相が、対象物までの距離に応じて照射光に対してずれることを利用して距離を算出する式である。
　第２推定距離は、上記の式（２）および（３）を用いて算出される。
　なお、図２１で示される駆動シーケンスにおいて、第１推定距離および第２推定距離を用いた対象物までの距離の導出の方法については、上記の図４で示される駆動シーケンスの場合と同様である。
　なお、図２１で示される駆動シーケンスは、１以上の別のＣＷ－ＴｏＦシーケンスを含んでいてもよい。また、図２１で示される駆動シーケンスは、変形例１に係る測距装置が行うことも可能である。
　（その他）
　以上、本開示の一つまたは複数の態様に係る測距装置について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
　また、本開示に係る測距装置は、上記実施の形態で説明した各構成要素を全て備えていなくてもよく、目的の動作をさせるための構成要素のみで構成されていてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、上記実施の形態の測距装置として実現されてもよいし、測距装置を制御する制御装置として実現されてもよいし、測距装置を構成する構成要素が行うステップ（処理）を含む測距方法として実現されてもよいし、このような測距方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　以下に、上記実施の形態に基づいて説明した本開示に係る測距装置および測距方法の例を示す。本開示に係る測距装置および測距方法は、以下の例に限定されるものではない。
　例えば、本開示の第１態様に係る測距装置は、間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式で対象物までの距離を測定する測距装置であって、照射光を照射する光源部と、入射光に基づいて画素信号を生成する画素を有する受光部と、前記光源部および前記受光部の駆動を制御する駆動制御部と、前記画素信号に基づいて前記対象物までの距離を導出する信号処理部と、を備え、前記駆動制御部は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するための連続波ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで前記光源部および前記画素を駆動させ、前記連続波ＴｏＦシーケンスと前記パルスＴｏＦシーケンスとをフレーム間において切り替え、前記パルスＴｏＦシーケンスにおける測距レンジは、前記連続波ＴｏＦシーケンスにおける測距レンジよりも長く、前記信号処理部は、前記連続波ＴｏＦシーケンスにおいて前記画素が生成する第１画素信号と、前記パルスＴｏＦシーケンスにおいて前記画素が生成する第２画素信号とに基づいて、前記対象物までの距離を導出する。
　また、例えば、本開示の第２態様に係る測距装置は、第１態様に係る測距装置であって、前記駆動制御部は、前記連続波ＴｏＦシーケンスにおいて、前記画素の露光開始から前記第１画素信号の読み出しまで前記画素を連続的に露光させ、前記パルスＴｏＦシーケンスにおいて、前記画素の露光開始から前記第２画素信号の読み出しまで前記画素を断続的に露光させる。
　また、例えば、本開示の第３態様に係る測距装置は、第１態様または第２態様に係る測距装置であって、前記光源部は、前記駆動制御部から出力される発光制御パルスに従って、前記照射光としてパルス光を照射し、前記駆動制御部は、前記連続波ＴｏＦシーケンスにおいて、第１デューティー比の第１発光制御パルスを前記光源部に出力して前記光源部に前記照射光としてパルス光を照射させ、前記パルスＴｏＦシーケンスにおいて、第２デューティー比の第２発光制御パルスを前記光源部に出力して前記光源部に前記照射光としてパルス光を照射させる。
　また、例えば、本開示の第４態様に係る測距装置は、第３態様に係る測距装置であって、前記第２デューティー比は前記第１デューティー比よりも小さい。
　また、例えば、本開示の第５態様に係る測距装置は、第４態様に係る測距装置であって、前記第２デューティー比は５０％未満である。
　また、例えば、本開示の第６態様に係る測距装置は、第５態様に係る測距装置であって、前記第２デューティー比は２５％未満である。
　また、例えば、本開示の第７態様に係る測距装置は、第３態様から第６態様のいずれか１つに係る測距装置であって、前記第２発光制御パルスのパルス幅は、前記第１発光制御パルスのパルス幅よりも長い。
　また、例えば、本開示の第８態様に係る測距装置は、第１態様から第７態様のいずれか１つに係る測距装置であって、前記信号処理部は、前記第１画素信号に基づいて第１推定距離を算出し、前記第２画素信号に基づいて第２推定距離を算出し、（ｉ）前記第１推定距離をｄ１とし、前記第２推定距離をｄ２とし、前記連続波ＴｏＦシーケンスにおける測距レンジをｄｆ１とし、ｎを０以上の整数とした場合に、ｎ×ｄｆ１＋ｄ１とｄ２との差が最小になる場合のｎのうち最も小さい値のｎを用いたｎ×ｄｆ１＋ｄ１で算出される加算後第１推定距離、および、（ｉｉ）前記第２推定距離のいずれか一方を前記対象物までの距離として決定する。
　また、例えば、本開示の第９態様に係る測距装置は、第８態様に係る測距装置であって、前記信号処理部は、前記第２推定距離および前記加算後第１推定距離のうちの短い方を前記対象物までの距離として決定する。
　また、例えば、本開示の第１０態様に係る測距装置は、第８態様に係る測距装置であって、前記信号処理部は、前記第２推定距離が前記加算後第１推定距離よりも短い場合に、異常な測距が行われたと判定する。
　また、例えば、本開示の第１１態様に係る測距装置は、第１態様から第１０態様のいずれか１つに係る測距装置であって、前記画素は、前記入射光を信号電荷に変換する光電変換部と、前記光電変換部で変換された前記信号電荷を蓄積する複数の電荷蓄積部と、前記複数の電荷蓄積部に１対１で対応し、前記光電変換部で変換された前記信号電荷を前記複数の電荷蓄積部に転送する複数の電荷転送部と、前記光電変換部で変換された前記信号電荷を排出する電荷排出部と、前記電荷排出部による前記信号電荷の排出を制御する排出制御部と、を含む。
　また、例えば、本開示の第１２態様に係る測距装置は、第１態様から第１１態様のいずれか１つに係る測距装置であって、前記連続波ＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対する前記画素を露光させるタイミングが互いに異なる第１連続波ＴｏＦフレームおよび第２連続波ＴｏＦフレームを含み、前記パルスＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対する前記画素を露光させるタイミングが互いに異なる第１パルスＴｏＦフレームおよび第２パルスＴｏＦフレームを含み、前記駆動制御部は、前記第１連続波ＴｏＦフレーム、前記第２連続波ＴｏＦフレーム、前記第１パルスＴｏＦフレームおよび前記第２パルスＴｏＦフレームを含む組を単位として所定の回数繰り返す。
　また、例えば、本開示の第１３態様に係る測距装置は、第１態様から第１１態様のいずれか１つに係る測距装置であって、前記連続波ＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対する前記画素を露光させるタイミングが互いに異なる第１連続波ＴｏＦフレームおよび第２連続波ＴｏＦフレームを含み、前記パルスＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対して所定のタイミングで前記画素を露光させる第１パルスＴｏＦフレームを含み、前記駆動制御部は、前記第１連続波ＴｏＦフレーム、前記第２連続波ＴｏＦフレームおよび前記第１パルスＴｏＦフレームを含む組を単位として所定の回数繰り返す。
　また、例えば、本開示の第１４態様に係る測距装置は、第１態様から第１１態様のいずれか１つに係る測距装置であって、前記連続波ＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対して所定のタイミングで前記画素を露光させる第１連続波ＴｏＦフレームを含み、前記パルスＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対して所定のタイミングで前記画素を露光させる第１パルスＴｏＦフレームを含み、前記駆動制御部は、前記第１連続波ＴｏＦフレームおよび前記第１パルスＴｏＦフレームを含む組を単位として所定の回数繰り返す。
　また、例えば、本開示の第１５態様に係る測距装置は、第１態様から第１４態様のいずれか１つに係る測距装置であって、前記駆動制御部は、前記連続波ＴｏＦシーケンス、前記パルスＴｏＦシーケンス、および、前記連続波ＴｏＦシーケンスよりも測距レンジが長い別の連続波ＴｏＦシーケンスで前記光源部および前記画素を駆動させ、前記信号処理部は、前記第１画素信号と、前記第２画素信号と、前記別の連続波ＴｏＦシーケンスにおいて前記画素が生成する第３画素信号に基づいて、前記対象物までの距離を導出する。
　また、例えば、本開示の第１６態様に係る測距方法は、間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式で対象物までの距離を測定する測距装置による測距方法であって、前記測距装置は、照射光を照射する光源部と、入射光に基づいて画素信号を生成する画素を有する受光部と、を備え、前記測距方法は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するための連続波ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで前記光源部および前記画素を駆動させる駆動制御ステップと、前記連続波ＴｏＦシーケンスにおいて前記画素が生成する第１画素信号と、前記パルスＴｏＦシーケンスにおいて前記画素が生成する第２画素信号とに基づいて、前記対象物までの距離を導出する信号処理ステップと、を含み、前記パルスＴｏＦシーケンスにおける測距レンジは、前記連続波ＴｏＦシーケンスにおける測距レンジよりも長い。
　本開示に係る測距装置等は、距離測定システムならびに距離画像を用いたセンシングシステムおよび認識システム等の様々な用途に適用できる。
１０　光源部
１１　第１光源
１２　第２光源
２０　受光部
２１、２１Ａ、２１Ｂ　画素
２２　光電変換部
２３ａ、２３ｂ、２３ｃ、２３ｄ　電荷蓄積部
２４ａ、２４ｂ、２４ｃ、２４ｄ　電荷転送部
２５　電荷排出部
２６　排出制御部
３０　駆動制御部
４０　信号処理部
１００　測距装置

Claims (16)

  1. 　間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式で対象物までの距離を測定する測距装置であって、
    　照射光を照射する光源部と、
    　入射光に基づいて画素信号を生成する画素を有する受光部と、
    　前記光源部および前記受光部の駆動を制御する駆動制御部と、
    　前記画素信号に基づいて前記対象物までの距離を導出する信号処理部と、を備え、
    　前記駆動制御部は、互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するための連続波ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで前記光源部および前記画素を駆動させ、
    　前記連続波ＴｏＦシーケンスと前記パルスＴｏＦシーケンスとをフレーム間において切り替え、
    　前記パルスＴｏＦシーケンスにおける測距レンジは、前記連続波ＴｏＦシーケンスにおける測距レンジよりも長く、
    　前記信号処理部は、前記連続波ＴｏＦシーケンスにおいて前記画素が生成する第１画素信号と、前記パルスＴｏＦシーケンスにおいて前記画素が生成する第２画素信号とに基づいて、前記対象物までの距離を導出する、
    　測距装置。
  2. 　前記駆動制御部は、
    　前記連続波ＴｏＦシーケンスにおいて、前記画素の露光開始から前記第１画素信号の読み出しまで前記画素を連続的に露光させ、
    　前記パルスＴｏＦシーケンスにおいて、前記画素の露光開始から前記第２画素信号の読み出しまで前記画素を断続的に露光させる、
    　請求項１に記載の測距装置。
  3. 　前記光源部は、前記駆動制御部から出力される発光制御パルスに従って、前記照射光としてパルス光を照射し、
    　前記駆動制御部は、
    　　前記連続波ＴｏＦシーケンスにおいて、第１デューティー比の第１発光制御パルスを前記光源部に出力して前記光源部に前記照射光としてパルス光を照射させ、
    　　前記パルスＴｏＦシーケンスにおいて、第２デューティー比の第２発光制御パルスを前記光源部に出力して前記光源部に前記照射光としてパルス光を照射させる、
    　請求項１または２に記載の測距装置。
  4. 　前記第２デューティー比は前記第１デューティー比よりも小さい、
    　請求項３に記載の測距装置。
  5. 　前記第２デューティー比は５０％未満である、
    　請求項４に記載の測距装置。
  6. 　前記第２デューティー比は２５％未満である、
    　請求項５に記載の測距装置。
  7. 　前記第２発光制御パルスのパルス幅は、前記第１発光制御パルスのパルス幅よりも長い、
    　請求項３から６のいずれか一項に記載の測距装置。
  8. 　前記信号処理部は、
    　前記第１画素信号に基づいて第１推定距離を算出し、
    　前記第２画素信号に基づいて第２推定距離を算出し、
    　（ｉ）前記第１推定距離をｄ１とし、前記第２推定距離をｄ２とし、前記連続波ＴｏＦシーケンスにおける測距レンジをｄｆ１とし、ｎを０以上の整数とした場合に、ｎ×ｄｆ１＋ｄ１とｄ２との差が最小になる場合のｎのうち最も小さい値のｎを用いたｎ×ｄｆ１＋ｄ１で算出される加算後第１推定距離、および、（ｉｉ）前記第２推定距離のいずれか一方を前記対象物までの距離として決定する、
    　請求項１から７のいずれか一項に記載の測距装置。
  9. 　前記信号処理部は、前記第２推定距離および前記加算後第１推定距離のうちの短い方を前記対象物までの距離として決定する、
    　請求項８に記載の測距装置。
  10. 　前記信号処理部は、前記第２推定距離が前記加算後第１推定距離よりも短い場合に、異常な測距が行われたと判定する、
    　請求項８に記載の測距装置。
  11. 　前記画素は、
    　前記入射光を信号電荷に変換する光電変換部と、
    　前記光電変換部で変換された前記信号電荷を蓄積する複数の電荷蓄積部と、
    　前記複数の電荷蓄積部に１対１で対応し、前記光電変換部で変換された前記信号電荷を前記複数の電荷蓄積部に転送する複数の電荷転送部と、
    　前記光電変換部で変換された前記信号電荷を排出する電荷排出部と、
    　前記電荷排出部による前記信号電荷の排出を制御する排出制御部と、を含む、
    　請求項１から１０のいずれか一項に記載の測距装置。
  12. 　前記連続波ＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対する前記画素を露光させるタイミングが互いに異なる第１連続波ＴｏＦフレームおよび第２連続波ＴｏＦフレームを含み、
    　前記パルスＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対する前記画素を露光させるタイミングが互いに異なる第１パルスＴｏＦフレームおよび第２パルスＴｏＦフレームを含み、
    　前記駆動制御部は、前記第１連続波ＴｏＦフレーム、前記第２連続波ＴｏＦフレーム、前記第１パルスＴｏＦフレームおよび前記第２パルスＴｏＦフレームを含む組を単位として所定の回数繰り返す、
    　請求項１から１１のいずれか一項に記載の測距装置。
  13. 　前記連続波ＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対する前記画素を露光させるタイミングが互いに異なる第１連続波ＴｏＦフレームおよび第２連続波ＴｏＦフレームを含み、
    　前記パルスＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対して所定のタイミングで前記画素を露光させる第１パルスＴｏＦフレームを含み、
    　前記駆動制御部は、前記第１連続波ＴｏＦフレーム、前記第２連続波ＴｏＦフレームおよび前記第１パルスＴｏＦフレームを含む組を単位として所定の回数繰り返す、
    　請求項１から１１のいずれか一項に記載の測距装置。
  14. 　前記連続波ＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対して所定のタイミングで前記画素を露光させる第１連続波ＴｏＦフレームを含み、
    　前記パルスＴｏＦシーケンスは、前記光源部に前記照射光を照射させるタイミングに対して所定のタイミングで前記画素を露光させる第１パルスＴｏＦフレームを含み、
    　前記駆動制御部は、前記第１連続波ＴｏＦフレームおよび前記第１パルスＴｏＦフレームを含む組を単位として所定の回数繰り返す、
    　請求項１から１１のいずれか一項に記載の測距装置。
  15. 　前記駆動制御部は、前記連続波ＴｏＦシーケンス、前記パルスＴｏＦシーケンス、および、前記連続波ＴｏＦシーケンスよりも測距レンジが長い別の連続波ＴｏＦシーケンスで前記光源部および前記画素を駆動させ、
    　前記信号処理部は、前記第１画素信号と、前記第２画素信号と、前記別の連続波ＴｏＦシーケンスにおいて前記画素が生成する第３画素信号に基づいて、前記対象物までの距離を導出する、
    　請求項１から１４のいずれか一項に記載の測距装置。
  16. 　間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式で対象物までの距離を測定する測距装置による測距方法であって、
    　前記測距装置は、
    　　照射光を照射する光源部と、
    　　入射光に基づいて画素信号を生成する画素を有する受光部と、を備え、
    　前記測距方法は、
    　　互いに異なる種類の間接ＴｏＦ方式を用いて距離を測定するための連続波ＴｏＦシーケンスおよびパルスＴｏＦシーケンスで前記光源部および前記画素を駆動させる駆動制御ステップと、
    　　前記連続波ＴｏＦシーケンスにおいて前記画素が生成する第１画素信号と、前記パルスＴｏＦシーケンスにおいて前記画素が生成する第２画素信号とに基づいて、前記対象物までの距離を導出する信号処理ステップと、を含み、
    　前記駆動制御ステップでは、前記連続波ＴｏＦシーケンスと前記パルスＴｏＦシーケンスとをフレーム間において切り替え、
    　前記パルスＴｏＦシーケンスにおける測距レンジは、前記連続波ＴｏＦシーケンスにおける測距レンジよりも長い、
    　測距方法。
PCT/JP2023/037092 2022-10-18 2023-10-12 測距装置および測距方法 WO2024085069A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263417190P 2022-10-18 2022-10-18
US63/417,190 2022-10-18

Publications (1)

Publication Number Publication Date
WO2024085069A1 true WO2024085069A1 (ja) 2024-04-25

Family

ID=90737545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/037092 WO2024085069A1 (ja) 2022-10-18 2023-10-12 測距装置および測距方法

Country Status (1)

Country Link
WO (1) WO2024085069A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022152A1 (ja) * 2015-07-31 2017-02-09 パナソニックＩｐマネジメント株式会社 測距撮像装置、及び、固体撮像装置
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2018025749A1 (ja) * 2016-08-01 2018-02-08 株式会社デンソー 光飛行型測距装置
JP2018077143A (ja) * 2016-11-10 2018-05-17 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
US20210088636A1 (en) * 2019-09-23 2021-03-25 Microsoft Technology Licensing, Llc Multiple-mode frequency sharing for time-of-flight camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022152A1 (ja) * 2015-07-31 2017-02-09 パナソニックＩｐマネジメント株式会社 測距撮像装置、及び、固体撮像装置
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2018025749A1 (ja) * 2016-08-01 2018-02-08 株式会社デンソー 光飛行型測距装置
JP2018077143A (ja) * 2016-11-10 2018-05-17 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
US20210088636A1 (en) * 2019-09-23 2021-03-25 Microsoft Technology Licensing, Llc Multiple-mode frequency sharing for time-of-flight camera

Similar Documents

Publication Publication Date Title
CN107710015B (zh) 距离测量装置以及距离图像合成方法
US10422879B2 (en) Time-of-flight distance measuring device
CN108139482B (zh) 摄像装置、以及在其中使用的固体摄像元件
JP6673084B2 (ja) 光飛行型測距装置
EP2729826B1 (en) Improvements in or relating to the processing of time-of-flight signals
JP6609980B2 (ja) 光飛行時間測定装置及び光学的測距装置
US8638424B2 (en) Charge equalizing clock driver and other enhancements for time-of-flight depth sensing and other systems
US20220057520A1 (en) Distance measurement apparatus and distance measurement method
JP2019203741A (ja) Ｔｏｆ方式測距装置
JP6424581B2 (ja) 光飛行型測距装置
JPWO2016133053A1 (ja) 距離画像計測装置
EP3309582A1 (en) A single photon avalanche diode based range detecting apparatus
JP2016095234A (ja) 光飛行型測距装置
JP2022190043A (ja) 電子装置及び距離計測方法
WO2024085069A1 (ja) 測距装置および測距方法
JP2020148682A (ja) 距離測定装置及びスキュー補正方法
JP5520562B2 (ja) 立体形状測定システム及び立体形状測定方法
US20220276358A1 (en) Distance-measuring imaging device
CN113597567A (zh) 距离图像的获得方法、以及距离检测装置
CN113518894B (zh) 光测距装置
JP2020008483A (ja) 撮像装置および撮像装置の制御方法
US20210293938A1 (en) Image capture device, range finding device, method and storage medium
US20230281771A1 (en) Image processing apparatus, distance measuring apparatus, and image processing method
JP4565122B2 (ja) 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法
JP2014021100A (ja) ３次元情報検出装置および３次元情報検出方法