WO2023199804A1 - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
WO2023199804A1
WO2023199804A1 PCT/JP2023/014003 JP2023014003W WO2023199804A1 WO 2023199804 A1 WO2023199804 A1 WO 2023199804A1 JP 2023014003 W JP2023014003 W JP 2023014003W WO 2023199804 A1 WO2023199804 A1 WO 2023199804A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
signal
control signal
exposure control
distance
Prior art date
Application number
PCT/JP2023/014003
Other languages
English (en)
French (fr)
Inventor
清治 中村
真由 小川
雅彦 西本
Original Assignee
ヌヴォトンテクノロジージャパン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヌヴォトンテクノロジージャパン株式会社 filed Critical ヌヴォトンテクノロジージャパン株式会社
Publication of WO2023199804A1 publication Critical patent/WO2023199804A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to a distance measuring device and a distance measuring method that measure the distance to a subject.
  • the present invention relates to a distance measuring device that uses a solid-state image sensor to measure the round trip time of light to generate distance data of a subject.
  • the pulsed TOF method which is one form of the indirect TOF method, is characterized in that the narrower the pulse width of the optical pulse, the more the distance measurement variation ( ⁇ ) is reduced.
  • narrowing the optical pulse width also narrows the measurable distance range, so a common method is to maintain and expand the distance measuring range by increasing the number of phases of the exposure pulse relative to the optical pulse (for example, the patent Reference 1).
  • multipath exists as a factor that reduces the distance measurement accuracy of the indirect TOF method.
  • direct path light where the primary light from the light source directly hits the subject and returns as is
  • multipath light hits another subject and diffused secondary light hits the subject and returns, so the distance data is calculated to be farther than the actual distance. be done.
  • Patent Document 1 has a problem in that the exposure window (corresponding to an exposure pulse) is very wide for one light emission pulse, and it is susceptible to multipath effects.
  • the present disclosure aims to reduce the influence of distance measurement errors caused by multipath light and provide a distance measurement device and distance measurement method with high distance accuracy.
  • a distance measuring device is a distance measuring device that generates a distance image indicating a distance to a target object, and includes a light emitting unit that emits light intermittently according to a light emission control signal having a constant pulse width; A plurality of exposure controls in which the light emission control signal is output to a light emitting unit, each exposure width is the same as the pulse width of the light emission control signal, and the phases, which are exposure start timings based on the light emission control signal, are different from each other.
  • It has a solid-state image sensor in which pixels are two-dimensionally arranged, each consisting of an emission exposure control section that generates a signal and a photoelectric conversion element that converts incident light into a signal charge, and performs each exposure according to the plurality of exposure control signals.
  • a light receiving section that outputs the plurality of signal charges obtained in the above
  • a selection section that selects at least two signal charges from the plurality of signal charges for each pixel, and the at least two signal charges selected by the selection section.
  • a data processing unit having a calculation unit that calculates first distance data indicating the distance to the target object based on the plurality of exposure control signals, and the plurality of exposure control signals have a mutual phase difference that is the same as the constant pulse width.
  • the exposure control signal N is the Nth exposure control signal (N is a natural number) that includes two combinations of a plurality of exposure control signals such that The control signal N belongs to one of the two combinations, the exposure control signal (N+1) belongs to the other of the two combinations, and the phase difference between the exposure control signal N and the exposure control signal (N+1) is determined by the constant is less than the pulse width, and the selection unit selects the exposure control signal having the fastest phase with respect to the light emission control signal among the plurality of signal charges determined to include reflected light of the light emitted from the light emitting unit.
  • the phase difference at the start of exposure between the first signal charge obtained by the exposure and the exposure control signal having the fastest phase is the same as the constant pulse width.
  • the calculated second signal charge is selected for each pixel, and the calculation unit calculates the first distance data from at least the first signal charge and the second signal charge.
  • a distance measuring method is a distance measuring method using a distance measuring device that generates a distance image indicating a distance to a target object, the distance measuring device emitting light having a constant pulse width. It has a solid-state image sensor with a two-dimensional array of pixels consisting of a light emitting part that emits light intermittently according to a control signal and a photoelectric conversion element that converts incident light into signal charges, and it can be and a light-receiving section that outputs the light-emission control signal to the light-emitting section, the one-time exposure width is the same as the pulse width of the light-emission control signal, and By outputting a plurality of exposure control signals having different phases, which are exposure start timings based on the light emission control signal, to the light receiving section, the plurality of exposure control signals obtained by exposure according to the plurality of exposure control signals from the light receiving section are outputted.
  • the exposure control signal N includes two combinations of exposure control signals and is the Nth (N is a natural number) exposure control signal in order of earliest time based on the light emission control signal
  • the exposure control signal N is The exposure control signal (N+1) belongs to one of the two combinations
  • the exposure control signal (N+1) belongs to the other of the two combinations
  • the phase difference between the exposure control signal N and the exposure control signal (N+1) is less than the certain pulse width.
  • exposure is performed according to the exposure control signal having the fastest phase with respect to the light emission control signal among the plurality of signal charges determined to include reflected light of the light emitted from the light emitting section.
  • a second signal charge obtained by exposure according to the exposure control signal in which a phase difference at the start of exposure between the obtained first signal charge and the exposure control signal having the earliest phase is the same as the constant pulse width. is selected for each pixel, and in the calculation step, the first distance data is calculated from at least the first signal charge and the second signal charge.
  • FIG. 1 is a functional block diagram showing an example of the configuration of a distance measuring device according to Embodiment 1.
  • FIG. 3 is a waveform diagram showing an example of an exposure sequence of the light receiving section of the distance measuring device according to Embodiments 1 and 2.
  • FIG. 7 is a waveform chart showing another example of the exposure sequence of the light receiving section of the distance measuring device according to Embodiments 1 and 2.
  • FIG. 4 is a diagram showing rearranged exposure control signals in the exposure sequence shown in FIG. 3.
  • FIG. 7 is a diagram illustrating another configuration example of pixels of a solid-state image sensor of a distance measuring device according to Embodiments 1 and 2.
  • FIG. 6 is a diagram showing an exposure sequence when using the example pixel configuration shown in FIG. 5.
  • FIG. FIG. 3 is a waveform diagram showing an example of an exposure sequence of the light receiving section of the distance measuring device according to Embodiments 1 and 2.
  • FIG. 7 is a waveform chart showing another example of the exposure sequence of the light receiving section of
  • FIG. 2 is a diagram showing a mechanism that produces a distance error due to multipath in an indirect TOF distance measuring device.
  • FIG. 2 is a diagram illustrating a basic concept for reducing the amount of multipath light reception in the distance measuring devices according to Embodiments 1 and 2.
  • FIG. 3 is a waveform diagram showing a first example of exposure control using eight-phase exposure control signals in the distance measuring devices according to Embodiments 1 and 2.
  • FIG. 10 is a diagram showing an example of packet selection by the distance measuring device according to the first embodiment in the case of the exposure control shown in FIG. 9.
  • FIG. FIG. 7 is a waveform diagram showing a second example of exposure control using 8-phase exposure control signals in the distance measuring devices according to Embodiments 1 and 2 of the present technology.
  • FIG. 12 is a diagram showing an example of packet selection by the distance measuring device according to the first embodiment in the case of the exposure control shown in FIG. 11; 3 is a flowchart showing an overview of the operation of the distance measuring device according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the configuration of a distance measuring device according to a second embodiment.
  • 10 is a diagram showing an example of packet selection by the distance measuring device according to the second embodiment in the case of the exposure control shown in FIG. 9.
  • FIG. 7 is a diagram illustrating an example of a depth synthesis method by a calculation unit of a distance measuring device according to a second embodiment.
  • FIG. 7 is a flowchart showing an overview of the operation of the distance measuring device according to the second embodiment.
  • FIG. 1 is a functional block diagram showing an example of the configuration of distance measuring device 101 according to the first embodiment.
  • FIG. 1A is a functional block diagram showing an example of the configuration of distance measuring device 101 according to the first embodiment.
  • the distance measuring device 101 is a device that generates a distance image indicating the distance to the object OBJ, and includes a light emitting section 102, a light emission exposure control section 103, a light receiving section 104, and a data processing section 106.
  • the light receiving unit 104 includes a solid-state image sensor 105 in which pixels are arranged two-dimensionally.
  • the data processing section 106 includes a selection section 107 and a calculation section 108. Although they are shown as separate block diagrams, all or part of the light emitting exposure control section 103, the light receiving section 104, and the data processing section 106 may be configured by the same LSI.
  • the light emitting unit 102 performs intermittent light emission toward the subject OBJ according to the timing indicated by the input light emission control signal.
  • the light emitting unit 102 may be a VCSEL (vertical cavity surface emitting laser), an LED (light emitting diode), or an LD (Laser Diode).
  • the light emitting unit 102 has a diffusion plate (not shown) at its tip, and the diffusion plate allows light to be irradiated over a wide range at the same time.
  • the light emission exposure control unit 103 outputs a light emission control signal to the light emission unit 102, and outputs a light emission control signal to the light reception unit 104 so that the width of one exposure is the same as the pulse width of the light emission control signal and is based on the light emission control signal.
  • the light emission control signal is a binary digital signal of "H” and "L", and in this embodiment, "H” means light emission and "L” means light emission stop.
  • the light emission control signal is a signal for controlling the light emitting unit 102 to repeatedly emit light with a constant pulse width.
  • the light emission control signal is a pulse that causes the duty ratio of intermittent light emission to be less than 50% (for example, 25%). be.
  • the exposure control signal is a signal for controlling the exposure start timing and exposure width when exposing the light receiving unit 104 to light.
  • the exposure control signal may determine the exposure width with a single control signal or may be determined by a logical operation of multiple signals. This will be explained along with the configuration.
  • the exposure width of the exposure control signal is made the same as the "H" pulse width of the light emission control signal. However, in reality, it is common to make some fine adjustments in accordance with the Tr (rise time) and Tf (fall time) of each control signal.
  • the plurality of exposure control signals include two combinations of a plurality of exposure control signals whose phase difference is the same as a constant pulse width, and the Nth (N is When the exposure control signal (natural number) is the exposure control signal N, the exposure control signal N belongs to one of the two combinations, the exposure control signal (N+1) belongs to the other of the two combinations, and the exposure control signal N and the exposure control The phase difference with the signal (N+1) is less than a certain pulse width.
  • the terms “same”, “same”, or “equal” to the time spans mean that they are substantially equal, and more specifically, that they are equal within the tolerance range determined by the required specifications. Depending on the specification, this means that one time width is within 5%, 10%, or 20% of the other.
  • the light receiving unit 104 includes a solid-state image sensor 105 in which pixels are arranged two-dimensionally, and performs a plurality of exposure controls in order to receive the reflected light that is emitted from the light emitting unit 102 and reflected by the object OBJ.
  • a signal level A/D (Analog to Digital) converted value
  • a signal level indicating a signal charge is also simply referred to as a "signal charge.”
  • the solid-state image sensor 105 may be a CCD sensor or a CMOS sensor.
  • FIG. 1B shows a schematic diagram of the solid-state image sensor 105.
  • the solid-state image sensor 105 is composed of pixels 20 arranged two-dimensionally. Although FIG. 1B has a configuration of 4 pixels horizontally and 4 pixels vertically, totaling 16 pixels, for the sake of explanation, the solid-state image sensor 105 is not limited to this number of pixels.
  • FIG. 1(c) shows a configuration diagram of the pixel 20.
  • the pixel 20 is composed of a photoelectric conversion element 21 and a plurality of charge storage sections 22 .
  • the charge storage section 22 is composed of four (charge storage sections 22A to 22D), but the number is not limited to four.
  • the photoelectric conversion element 21 converts the exposed light into signal charges.
  • the charge storage section 22 stores signal charges converted by the photoelectric conversion element 21.
  • the data processing unit 106 includes a selection unit 107 that selects at least two signal charges from a plurality of signal charges for each pixel 20, and at least two signal charges selected by the selection unit 107. It has a calculation unit 108 that calculates distance data (first distance data) indicating the distance to the target object based on the signal charge. More specifically, the selection unit 107 performs exposure according to the exposure control signal having the fastest phase with respect to the light emission control signal among the plurality of signal charges determined to include the reflected light of the light emitted from the light emission unit 102.
  • a second signal charge obtained by exposure according to an exposure control signal in which the phase difference at the start of exposure between the obtained first signal charge and the exposure control signal having the fastest phase is the same as a constant pulse width.
  • the calculation unit 108 calculates first distance data from at least the first signal charge and the second signal charge.
  • the data processing unit 106 may be realized by a memory that stores a program, a processor that executes the program, or the like.
  • FIG. 2 is a waveform diagram showing an example of an exposure sequence (exposure sequences 1-1 and 1-2) of the light receiving section 104 of the distance measuring device 101 according to the first embodiment. A first example of pixel control during exposure will be described using FIG. 2.
  • the pixel reset signal, gate signal A, and gate signal B are binary signals of "H” and “L”, respectively.
  • signal charges accumulate within the photoelectric conversion element 21 when the pixel reset signal is "L”.
  • the pixel reset signal is "H"
  • the signal charges generated by the photoelectric conversion element 21 are discharged to a drain (exhaust port) not shown, so that no signal charges are accumulated (a reset state is established).
  • the gate signal A and the gate signal B are signals that control the movement of signal charges between the photoelectric conversion element 21 and the charge storage section 22.
  • Gate signal A and gate signal B each control the movement of signal charges to separate charge storage sections 22, and when they are at “H”, signal charges move from the photoelectric conversion element 21 to charge storage section 22, and when they are at "L” When , the signal charge does not move. At this time, gate signal A and gate signal B are controlled so that they do not become “H” at the same time.
  • Exposure sequence 1-1 ((a) in FIG. 2) and exposure sequence 1-2 ((b) in FIG. 2) shown in FIG. 2 will be explained.
  • the four charge storage sections 22 per pixel are respectively referred to as charge storage sections 22A, 22B, 22C, and 22D.
  • gate signal A controls the movement of signal charges to charge storage section 22A
  • gate signal B controls movement of signal charges to charge storage section 22B.
  • the pixel reset signal changes from "H” to "L”
  • signal charges generated within the photoelectric conversion element 21 begin to accumulate.
  • the gate signal A becomes “H”
  • the signal charge in the photoelectric conversion element 21 moves to the charge storage section 22A.
  • signal charges for a period until the gate signal A changes to "L” are accumulated in the charge accumulation section 22A.
  • the gate signal B changes to "H"
  • the signal charge moves to the charge storage section 22B.
  • the time from the fall of the pixel reset signal to the fall of the gate signal A is one exposure period to the charge storage section 22A
  • the time from the fall of the gate signal A to the fall of the gate signal B is the period of exposure to the charge storage section 22B.
  • the exposure time is one time.
  • each one exposure time is made equal to the "H" time of the light emission control signal. Note that since the amount of signal charges generated in one exposure time is small, this is repeated to increase the amount of signal charges.
  • gate signal A controls the movement of signal charges to charge storage section 22C
  • gate signal B controls movement of signal charges to charge storage section 22D.
  • the difference from exposure sequence 1 is that exposure is started from a point where the pixel reset signal, gate signal A, and gate signal B are delayed by 2T overall with respect to the light emission control signal.
  • the exposure timing is determined by the logical operation of the pixel reset signal, gate signal A, and gate signal B, that is, by the logical operation of multiple digital signals.
  • the exposure control signal shown is determined.
  • the exposure is controlled to start at the same time as the light emission control signal rises (exposure sequence 1-1); Instead, the exposure start phase may be shifted in consideration of distance measurement from 1 m ahead. In that case, all you have to do is shift the phase relationship between the pixel reset signal, the gate signal A, and the gate signal B, while maintaining the phase relationship with the light emission control signal. Omit).
  • FIG. 3 is a waveform diagram showing another example of the exposure sequence (exposure sequences 2-1 and 2-2) of the light receiving section 104 of the distance measuring device 101 according to the first embodiment. A second example of pixel control during exposure will be described using FIG. 3.
  • the exposure control signal is a binary signal of "H” and “L”, and in this embodiment, "H” means exposure stop and "L” means exposure state.
  • “H” means exposure stop
  • “L” means exposure state.
  • the exposure control signal is “H”
  • the signal charge generated by the photoelectric conversion element 21 is discharged to the drain, so that the signal charge does not move to the charge storage section 22.
  • the exposure state when the exposure control signal is “L"
  • signal charges generated by the photoelectric conversion element 21 move to the charge storage section 22 and are accumulated.
  • the exposure control signal is "L” twice for each light emission control signal, and the signal charges are transferred to different charge storage sections 22 in the first and second times.
  • the exposure sequence 2-1 ((a) in FIG. 3) and the exposure sequence 2-2 ((b) in FIG. 3) in FIG. 3 will be explained.
  • the four charge storage sections 22 per pixel are respectively referred to as charge storage sections 22A, 22B, 22C, and 22D.
  • exposure sequence 2-1 ((a) in FIG. 3)
  • the charge storage section 22A accumulates
  • the charge storage section 22C accumulates
  • the charges are accumulated in the charge storage section 22B during the first exposure, and are accumulated in the charge accumulation section 22D during the second exposure.
  • the width of one exposure is the same as the width (T) of the light emission control signal, and T is the same between the first and second exposures.
  • FIG. 4 is a diagram showing the light emission control signals and exposure control signals in the exposure sequences 2-1 and 2-2 shown in FIG. 3, rearranged based on one light emission control signal.
  • the exposure control signals are referred to as exposure control signal A1, exposure control signal A2, exposure control signal A3, and exposure control signal A4 in descending order of exposure phase based on the light emission control signal.
  • exposure control signal A1 exposure control signal A2
  • exposure control signal A3 exposure control signal A4 in descending order of exposure phase based on the light emission control signal.
  • the exposure phase will be explained based on the description in FIG. 4.
  • the charge storage section 22 of the adjacent pixels 20 is shared, and eight exposure timings with different phases are set based on the light emission control signal.
  • the exposed signals can be stored in separate charge storage sections 22.
  • the charge storage section 22 of four adjacent pixels 20 is shared, and 16 pixels having different phases based on the light emission control signal are used. Signals exposed at the exposure timing can be stored in separate charge storage sections 22.
  • FIG. 5 shows another configuration example of the pixels of the solid-state image sensor 105 of the distance measuring device 101 according to the first embodiment. 5 is different from FIG. 1 in that one pixel 20 in FIG. 1 corresponds to four types of pixels 20LU, 20LL, 20RU, and 20RL in FIG. Those pixels 20 with the same symbol indicate that exposure can be controlled separately. That is, for example, the exposure timing of the pixel 20LU can be made different from that of other pixels (pixel 20LL, pixel 20RL, pixel 20RU).
  • FIG. 6 is a diagram showing exposure sequences 3-1 to 3-4 when using the example configuration of the pixel 20 shown in FIG. 5.
  • the exposure timing of the pixel LU and the pixel RU (the exposure sequence 3-1 in FIG. 6(a) and the exposure sequence 3-2 in FIG. 6(b)), and the exposure timing of the pixel LL and the pixel RL
  • the exposure timings (exposure sequence 3-3 in FIG. 6(c) and exposure sequence 3-4 in FIG. 6(d)) are different.
  • the exposure timing of exposure sequence 3-1 ((a) in FIG. 6) is the same as that of exposure sequence 2-1 ((a) in FIG. 3), and the exposure timing of exposure sequence 3-2 ((b) in FIG. 6) is the same as that of exposure sequence 2-1 ((a) in FIG. 6).
  • the timing is the same as exposure sequence 2-2 ((b) in FIG. 3).
  • Exposure sequence 3-3 ((c) in FIG. 6) and the exposure sequence 3-4 ((d) in FIG. 6), only the pixel LU and the pixel RU are exposed.
  • Exposure sequence 3-3 ((c) in FIG. 6) starts the first exposure at a timing delayed by 4T with respect to the light emission control signal.
  • the exposure width is the same period T as the light emission control signal, and after the first exposure period ends, the exposure is stopped for the T period, and then the second exposure starts.
  • Exposure sequence 3-4 ((d) in FIG. 6) starts the first exposure at a timing delayed by 5T with respect to the light emission control signal.
  • the exposure width is the same period T as the light emission control signal, and after the first exposure period ends, the exposure is stopped for the T period, and then the second exposure starts.
  • the light receiving section 104 A/D converts the signal charges accumulated in the charge accumulation section 22 of the solid-state image sensor 105 and sends them to the data processing section 106 as a digital signal for each charge accumulation section 22. Output.
  • the signal charges in all charge storage sections 22 are set to zero by a global reset signal (not shown).
  • the data processing unit 106 receives the digital signal from the light receiving unit 104.
  • the selection unit 107 selects at least two charge accumulation units 22 that contain reflected light and one or more charge accumulation units 22 that do not contain reflected light from the charge accumulation units 22 assigned to each pixel of the distance image.
  • the calculation unit 108 calculates distance data (that is, first distance data) indicating the distance to the object using the digital signal of the charge storage unit 22 selected by the selection unit 107 for each pixel of the distance image.
  • the relationship between the light emission control signal and the exposure control signal is as shown in FIG. 4, and the signal charge obtained by exposure using the exposure control signal Ax (x is a natural number) is expressed as an Sx packet, and the signal level of the Sx packet is expressed as Sx.
  • the distance data calculation formula changes depending on which exposure phase (any of Ranges 1 to 3 below) the charge storage section 22 determined by the selection section 107 to include reflected light is in.
  • D distance measurement value (Depth)
  • T pulse width
  • BG1 and BG2 signal level of background light
  • PH start of light emission This is the time difference between the timing and the exposure start timing.
  • BG1 and BG2 may be signals of packets other than the two packets determined to include reflected light
  • BG1 BG2.
  • FIG. 7 is a diagram showing a mechanism that produces a distance error due to multipath in the indirect TOF distance measuring device 101.
  • FIG. 7A is a diagram of the distance measuring device 101, the objects OBJ, and OBJ2 viewed from directly above.
  • the light emitting unit 102 of the distance measuring device 101 emits light in a range including the subject OBJ and the subject OBJ2.
  • the light is reflected by the object OBJ, and the correct distance can be measured by exposing the reflected light.
  • This route is called a direct path (DP).
  • DP direct path
  • FIG. 7(b) shows an exposure timing diagram. Compared to direct path light, multipath light returns later due to its longer route. Therefore, the ratio of S1:S2 of direct path light only (see “DP only" in (b) of FIG. 7) and the ratio of S1:S2 of the sum of direct path light and multipath light ((b) of FIG. ) is different, and the proportion of S2 increases. As a result, the distance data is calculated to be farther than the actual distance.
  • FIG. 8 is a diagram showing the basic concept for reducing the amount of multipath light reception.
  • FIG. 8 graphically represents the amount of multipath light received depending on the difference in exposure start timing between the pair of exposure control signals A1 and A2. As shown in FIG. 8, the components of background light, reflected light, and multipath light that occupy the amount of received light are indicated by different hatching.
  • the amount of multipath light received is higher for the latter pair. It can be seen that there are few In other words, it is better to calculate distance data using a pair of exposure control signals A1' and A2' whose exposure phase is earlier (that is, faster) with respect to the light emission control signal as a reference, due to the effects of multipath light. This means that distance measurement data that is closer to the correct answer can be calculated.
  • FIG. 9 is a waveform diagram showing a first example of exposure control using 8-phase exposure control signals in distance measuring device 101 according to the first embodiment.
  • FIG. 9 there are eight phases of exposure control signals for one light emission control signal, but the phases of the respective exposure control signals are shifted by T/2. Since the pair of two packets used for the distance measurement calculation must have a phase difference of T between the exposure control signals, the combination (group) of exposure control signals that can be used for the distance measurement calculation is the exposure control signal A1.
  • a group of A3, A5, and A7 and a group of exposure control signals A2, A4, A6, and A8 is the exposure control signal A1.
  • Figure 9 shows the timing of reflected light (direct path) and reflected light (multipath) as an example, but the point is that there are four exposure control signals (two in each group) that expose reflected light (direct path). (one by one) exists.
  • reflected light (direct path) is exposed using the phases of the exposure control signal A1 and the exposure control signal A3, and the phase of the exposure control signal A2 and the exposure control signal A4. Comparing the amount of light received by multipath here, it can be seen that the amount of light received by multipath is smaller for the pair of exposure control signal A1 and exposure control signal A3 based on the timing with reflected light (multipath). Therefore, the selection unit 107 selects the S1 packet and the S3 packet.
  • FIG. 10 is a diagram showing an example of packet selection by the distance measuring device 101 according to the first embodiment in the case of the exposure control shown in FIG. 9. More specifically, (a) in FIG. 10 shows the sizes (signal levels) of packets S1 to S8. FIG. 10(b) shows a table explaining the group of exposure control signals to be selected.
  • the selection unit 107 selects packets for each group of exposure control signals whose exposure phases are shifted by T periods. First, (1) find the packet with the highest signal level. As can be seen from FIG. 10(a), the S3 signal is the largest in the group of exposure control signals A1, A3, A5, and A7, so the S3 packet is selected, and in the group of exposure control signals A2, A4, A6, and A8, the S3 signal is the largest. Since the S2 signal has the highest signal level, the S2 packet is selected ((b) in FIG. 10).
  • the S1 signal corresponds to it, so the S1 packet is selected, and in the group of exposure control signals A2, A4, A6, and A8, the S1 packet is selected. Since only S4 is applicable, the S4 packet is selected ((b) in FIG. 10).
  • the pair of S1 packet and S3 packet, the pair of S2 packet and S4 packet contains the exposure control signal with the earliest phase.
  • Select a pair of packets since the phase of the S1 packet is the earliest, the pair of S1 packet and S3 packet is selected ((b) in FIG. 10).
  • two groups of exposure control signals are used that are shifted in phase by a phase corresponding to 1/2 of the pulse width of the light emission control signal, but the present invention is not limited to such values.
  • a group of four exposure control signals having a phase shift corresponding to 1/4 of the pulse width of the light emission control signal may be used.
  • the determination of signal charges (packets) including reflected light by the selection unit 107 is generalized as follows. That is, when the time difference between the N-th phase exposure control signal and the (N+M)-th phase exposure control signal (M is a natural number of 2 or more) is the same as a constant pulse width, the selection unit 107 selects the following for each pixel 20: For each group of exposure control signals from the (L*M+1)th to the (L*M+M-1)th (L is an integer greater than or equal to 0), When the Pth exposure control signal is the largest signal charge among the signal charges and (2) the exposure control signal for the signal charge in (1) above, the exposure with the (PM)th exposure control signal The larger signal charge between the obtained signal charge and the signal charge obtained by exposure using the (P+M)th exposure control signal is determined to be a signal charge containing reflected light.
  • the minimum value among S5-S8 may be selected, the minimum value within the phase group of the same exposure control signal, or the minimum value of those two may be selected. good.
  • the phase of the multipath light is limited to a certain extent, and the packets determined to contain reflected light and the packets (S3, S4, and S5) exposed using the exposure control signal with the fastest phase determined not to contain reflected light are separated by multipath light. If it is known that S5 will be exposed, S5 may be used as the BG for S3. By doing so, it becomes possible to subtract the signal component of the multipath light that has entered S3 during the BG subtraction process, and it becomes possible to further reduce the influence of multipath.
  • the selection unit 107 further selects one or more third signal charges corresponding to the background light determined not to include reflected light from the plurality of signal charges for each pixel 20, and the calculation unit 108 further selects one or more third signal charges corresponding to the background light determined not to include reflected light.
  • the first distance data may be calculated after subtracting the third signal charge from the signal charge and the second signal charge, respectively.
  • the selection unit 107 selects (1) the smallest signal charge among the plurality of signal charges, and (2) the light emission control signal among the signal charges including reflected light as the third signal charge.
  • the exposure control signal with the rearmost phase is the exposure control signal Aq (q is a natural number)
  • two of the signal charges obtained by exposure using the exposure control signal (q+1) may be selected.
  • FIG. 11 is a waveform diagram showing a second example of exposure control using 8-phase exposure control signals in distance measuring device 101 according to the first embodiment.
  • the difference between FIG. 11 and FIG. 9 is that the phases of the reflected light (direct path) and reflected light (multipath) are slower by T/2 than in FIG. 9 (the distance to the object OBJ is longer).
  • reflected light (direct path) is exposed with the phase of the exposure control signal A2 and the exposure control signal A4, and the phase of the exposure control signal A3 and the exposure control signal A5.
  • the pair of packets containing the exposure control signal with the fastest phase is the S2 packet and the S4 packet. Therefore, the selection unit 107 calculates distance measurement data using the S2 packet and the S4 packet.
  • FIG. 12 is a diagram showing an example of packet selection by the distance measuring device 101 according to the first embodiment in the case of the exposure control shown in FIG. 11. More specifically, (a) in FIG. 12 shows the sizes (signal levels) of packets S1 to S8. FIG. 12(b) shows a table explaining the group of exposure control signals to be selected.
  • the selection unit 107 selects packets of the reflected light shown in FIG. 11 for each group of exposure control signals whose exposure phases are shifted by 1T.
  • the S3 signal is the largest in the group of exposure control signals A1, A3, A5, and A7, so the S3 packet is selected, and in the group of exposure control signals A2, A4, A6, and A8, the S3 signal is the largest. Since the S4 signal has the highest signal level, the S4 packet is selected ((b) in FIG. 12).
  • the S5 signal corresponds to it, so the S5 packet is selected, and in the group of exposure control signals A2, A4, A6, and A8, the S5 packet is selected.
  • the S2 packet is selected ((b) in FIG. 12).
  • the exposure control signal containing the earliest phase is included.
  • the S2 packet has the earliest phase, so the pair of S2 packet and S4 packet is selected ((b) in FIG. 12).
  • FIG. 13 is a flowchart showing an overview of the operation (distance measurement method) of the distance measurement device 101 according to the first embodiment.
  • the light emission exposure control unit 103 outputs a light emission control signal to the light emission unit 102, and the width of one exposure is the same as the pulse width of the light emission control signal, and the phases that are the exposure start timings based on the light emission control signal are mutually different.
  • a plurality of different exposure control signals to the light receiving section 104, a plurality of signal charges obtained by exposure according to the plurality of exposure control signals are outputted from the light receiving section 104 (emission exposure control step S10 ).
  • the plurality of exposure control signals include two combinations of a plurality of exposure control signals whose phase difference is the same as a constant pulse width, and the Nth exposure control signals are arranged in order of earliest time based on the light emission control signal.
  • N is a natural number
  • the exposure control signal N belongs to one of the two combinations
  • the exposure control signal (N+1) belongs to the other of the two combinations
  • the exposure control signal N The phase difference between the exposure control signal (N+1) and the exposure control signal (N+1) is less than a certain pulse width.
  • the selection unit 107 of the data processing unit 106 selects at least two signal charges used for calculating distance data from the plurality of signal charges for each pixel 20 (selection step S11).
  • the selection unit 107 selects the highest signal level and the next highest signal level for each group of exposure control signals, so that the reflected light of the light emitted from the light emitting unit 102 A pair of two signal charges including the following are selected (S11a). Then, the selection unit 107 selects, from the pair of two signal charges determined to include reflected light, a first signal charge obtained by exposure according to an exposure control signal having the fastest phase based on the light emission control signal, and A pair with a second signal charge obtained by exposure according to an exposure control signal whose phase difference at the start of exposure with the exposure control signal having the earliest phase is the same as a constant pulse width is selected (S11b).
  • the calculation unit 108 calculates first distance data indicating the distance to the target object (calculation step S12).
  • the distance measuring device 101 calculates distance data using a combination of signals with a small amount of multipath light reception. This has the effect of ensuring a distance range while suppressing the effects of multipath.
  • the distance measuring device 101 is a distance measuring device that generates a distance image indicating the distance to an object, and emits intermittent light according to a light emission control signal having a constant pulse width.
  • It has a solid-state image sensor 105 in which pixels 20 are two-dimensionally arranged, each consisting of an emission exposure control unit 103 that generates an exposure control signal, and a photoelectric conversion element 21 that converts incident light into signal charges.
  • a light receiving unit 104 outputs a plurality of signal charges obtained in each exposure according to a control signal, a selection unit 107 selects at least two signal charges from the plurality of signal charges for each pixel 20, and a selection unit 107 selects and a data processing unit 106 having a calculation unit 108 that calculates first distance data indicating the distance to the target object based on at least two signal charges generated by the exposure control signal.
  • the exposure control signal N includes two combinations of a plurality of exposure control signals that are the same as the pulse width of the control signal, and the Nth (N is a natural number) exposure control signal in the order of earliest time based on the light emission control signal.
  • the exposure control signal N belongs to one of the two combinations
  • the exposure control signal (N+1) belongs to the other of the two combinations
  • the phase difference between the exposure control signal N and the exposure control signal (N+1) is is less than the pulse width of the control signal
  • the selection unit 107 selects the exposure control signal with the fastest phase based on the light emission control signal among the plurality of signal charges determined to include the reflected light of the light emitted from the light emitting unit 102.
  • the phase difference at the start of exposure between the first signal charge obtained by the exposure and the exposure control signal with the fastest phase is the same as the pulse width of the light emission control signal.
  • the calculation unit 108 selects the second signal charge for each pixel 20, and calculates the first distance data from at least the first signal charge and the second signal charge.
  • the plurality of exposure control signals include two combinations of a plurality of exposure control signals whose phase difference is the same as the pulse width of the light emission control signal, and among the combinations, the pulse width of the light emission control signal
  • the phase difference at the start of exposure between the first signal charge obtained by exposure according to the exposure control signal having the fastest phase with respect to the light emission control signal and the exposure control signal having the fastest phase with respect to the light emission control signal is less than the width of the light emission control signal. Since the first distance data is calculated from the second signal charge obtained by exposure according to the exposure control signal that is the same as the pulse width, a pair of signal charges that is less affected by multipath light is used. As a result, the influence of distance measurement errors due to multipath light is reduced, and a distance measurement device with high distance accuracy is realized.
  • the light emission control signal may have a duty ratio of intermittent light emission of less than 50%.
  • the plurality of exposure control signals may be signals in which the exposure timing is determined by a logical operation of a plurality of digital signals. This makes it possible, for example, to perform distance measurement using a type of pixel whose exposure period is determined by the result of a logical operation between a pixel reset signal and a gate signal.
  • the selection unit 107 further selects one or more third signal charges determined not to include reflected light from the plurality of signal charges for each pixel 20, and the calculation unit 108
  • the first distance data may be calculated after subtracting the third signal charges from the respective signal charges. As a result, distance data is calculated using the signal charge from which background light has been removed, so distance measurement with high distance accuracy is achieved.
  • the selection unit 107 selects (1) the smallest signal charge among the plurality of signal charges, and (2) the light emission control signal among the signal charges including reflected light as the third signal charge.
  • the exposure control signal with the rearmost phase is the exposure control signal Aq (q is a natural number)
  • two of the signal charges obtained by exposure using the exposure control signal (q+1) may be selected. This increases the possibility that background light, which is less affected by multipath light, can be removed, and distance accuracy can be improved.
  • the selection unit 107 selects For each group of exposure control signals from the (L*M+1)th group to the (L*M+M-1)th (L is an integer greater than or equal to 0) exposure control signal, (1) exposure using the exposure control signal is performed.
  • the (PM)th exposure control signal When the largest signal charge among the obtained signal charges and (2) the exposure control signal for the signal charge in (1) above are set as the Pth exposure control signal, the (PM)th exposure control signal The larger of the signal charges obtained by exposure and the signal charges obtained by exposure using the (P+M)th exposure control signal may be determined to be signal charges containing reflected light.
  • the distance measuring method is a distance measuring method using a distance measuring device 101 that generates a distance image indicating the distance to an object, and the distance measuring device 101 emits light having a constant pulse width. It has a solid-state image sensor 105 in which pixels 20 are two-dimensionally arranged, each consisting of a light emitting unit 102 that emits light intermittently according to a control signal, and a photoelectric conversion element 21 that converts incident light into a signal charge.
  • the distance measuring method is to output a light emission control signal to the light emitting part 102, and the width of one exposure is the same as the pulse width of the light emission control signal.
  • a plurality of exposure control signals having mutually different phases which are exposure start timings based on the light emission control signal
  • a plurality of exposure control signals obtained by exposure according to the plurality of exposure control signals from the light receiving section 104 are outputted to the light receiving section 104.
  • a light emission exposure control step S10 for outputting signal charges from the light receiving section 104
  • a selection step S11 for selecting at least two signal charges from a plurality of signal charges for each pixel 20, and at least two signals selected in the selection step S11.
  • the plurality of exposure control signals includes a calculation step S12 of calculating first distance data indicating the distance to the object based on the charge, and the plurality of exposure control signals are composed of a plurality of exposure control signals whose phase difference is the same as the pulse width of the light emission control signal.
  • the exposure control signal N includes two combinations of exposure control signals and is the Nth exposure control signal (N is a natural number) in order of earliest time based on the light emission control signal
  • the exposure control signal N consists of two combinations.
  • the exposure control signal (N+1) belongs to one of the two combinations, and the phase difference between the exposure control signal N and the exposure control signal (N+1) is less than the pulse width of the light emission control signal, and the selection step S11
  • the first signal obtained by exposure according to the exposure control signal having the fastest phase with respect to the light emission control signal as a reference is added to each pixel 20.
  • first distance data is calculated from at least the first signal charge and the second signal charge.
  • the plurality of exposure control signals include two combinations of a plurality of exposure control signals whose phase difference is the same as the pulse width of the light emission control signal, and among the combinations, the pulse width of the light emission control signal
  • the phase difference at the start of exposure between the first signal charge obtained by exposure according to the exposure control signal having the fastest phase with respect to the light emission control signal and the exposure control signal having the fastest phase with respect to the light emission control signal is less than the width of the light emission control signal. Since the first distance data is calculated from the second signal charge obtained by exposure according to the exposure control signal that is the same as the pulse width, a pair of signal charges that is less affected by multipath light is used. As a result, the influence of distance measurement errors due to multipath light is reduced, and a distance measurement device with high distance accuracy is realized.
  • FIG. 14 is a functional block diagram showing an example of the configuration of distance measuring device 1301 according to the second embodiment. More specifically, FIG. 14(a) shows the overall configuration of the distance measuring device 1301 according to the second embodiment, and FIG. 14(b) shows the detailed structure of the data processing unit 1306 in FIG. 14(a). Show the configuration.
  • the distance measuring device 1301 is a device that generates a distance image indicating the distance to the object OBJ, and as shown in FIG. 1306.
  • the same parts as those in Embodiment 1 are given the same numbers and explanations are omitted.
  • the difference from FIG. 1 is the processing of the data processing unit 1306, which will be explained using FIG. 14(b). (b) and (c) of FIG. 1, FIGS. 2 to 9, and the explanation using them also apply to this embodiment.
  • the data processing unit 1306 includes a selection unit 1307 and a calculation unit 1308.
  • the selection unit 107 of the first embodiment selects two charge storage units 22 containing reflected light from the charge storage units 22 assigned to each pixel of the distance image for each group of exposure control signals, and uses the light emission control signal as a reference. Therefore, only the packets of the group of exposure control signals that include packets with earlier exposure phases are selected.
  • the selection unit 1307 of this embodiment selects not only the group of exposure control signals that includes the packet with the earliest exposure phase based on the emission control signal, but also the group that includes the packet with the second earliest exposure phase. The packets of the other group of exposure control signals are also selected.
  • the calculation unit 1308 includes a depth calculation unit A 1309, a depth calculation unit B 1310, and a depth synthesis unit 1311. Since the selection unit 1307 selects a data packet containing reflected light and a data packet of a BG signal for each group of exposure control signals, two depth calculation units separately perform depth calculations on them. Assuming that the output of Depth calculation section A is Depth data A and the output of Depth calculation section B is Depth data B, Depth synthesis section 1311 combines Depth data A and Depth data B into one Depth data for each pixel of the distance image. .
  • the Depth synthesis method may be a method of changing the synthesis ratio while checking the value of Depth data A or Depth data B, or a method of setting the synthesis ratio of the smaller of Depth data A and Depth data B to 100%, A method of combining depth data A and depth data B at 50% (that is, taking an average value) may be used.
  • FIG. 15 is a diagram showing an example of packet selection by the distance measuring device 1301 according to the second embodiment in the case of the exposure control shown in FIG. 9. More specifically, FIG. 15(a) shows the sizes (signal levels) of packets S1 to S8, and is the same diagram as FIG. 10(a). FIG. 15(b) shows a table explaining the group of exposure control signals selected in this embodiment.
  • the exposure control signal A1 - The point is that not only the packets of the group A3, A5, and A7 but also the packets of the group of exposure control signals A2, A4, A6, and A8 are selected.
  • the selection unit 1307 first selects the S1 packet and the S3 packet from the group of exposure control signals A1, A3, A5, and A7, and controls the exposure.
  • a second selection is made of the S2 packet and the S4 packet in the group of signals A2, A4, A6, and A8.
  • Information on the first selected packet (first selected packet) and second selected packet (second selected packet) is then output to the calculation unit 1308.
  • the depth calculation unit A1309 calculates depth data A from the first selected packet
  • the depth calculation unit B1310 calculates depth data B from the second selection packet.
  • the Depth obtained by calculation with the first selected packet has a composition ratio of 100% up to a certain distance DE1, but when the distance DE1 is exceeded, the Depth obtained by the calculation with the first selected packet is 100%.
  • the Depth obtained by the calculation of and the Depth obtained by the calculation of the second selected packet are combined at an arbitrary ratio.
  • Depth exceeds distance DE1 the Depth combination ratio of the first selected packet decreases, and at a distance DE2 before Depth (distance DE3) at which the first selection packet switches to the second selection packet, the Depth combination ratio becomes 0%.
  • FIG. 16(b) is a graph showing the change in depth when the first selected packet is switched from the pair of S1 packet and S3 packet to the pair of S2 packet and S4 packet.
  • the true value is the solid line
  • the one-dot chain line is the Depth obtained by calculating with the S1 packet and S3 packet of the first selection packet
  • the two-dot chain line is the Depth obtained by calculating with the S2 packet and S4 packet of the second selection packet.
  • Depth the broken line indicates the depth after synthesis.
  • the Depth obtained by calculating the S2 packet and the S4 packet of the second selection packet begins to mix.
  • the Depth obtained by calculating the S1 packet and the S3 packet becomes the distance DE2
  • the Depth obtained by calculating the S2 packet and the S4 packet of the second selected packet becomes 100%.
  • the S2 packet and the S4 packet become the first selected packets, but before that, the Depth obtained by calculating the S2 packet and the S4 packet Since the composition ratio of is 100%, the Depth will be switched smoothly without any steps even at the moment when the first selection packet is switched as the distance to the object OBJ increases.
  • Depth synthesis as shown in FIG. 16 is not performed, as the distance to the object OBJ increases, the S2 packet and S4 packet will be A depth difference occurs at the moment the depth is switched to the depth obtained by calculation. However, by performing depth synthesis as shown in FIG. 16, it is possible to reduce the effects of multipath and output depths without depth differences.
  • FIG. 17 is a flowchart outlining the operation (distance measurement method) of the distance measurement device 1301 according to the second embodiment.
  • the light emission exposure control unit 103 outputs a light emission control signal to the light emission unit 102, and the width of one exposure is the same as the pulse width of the light emission control signal, and the phases that are the exposure start timings based on the light emission control signal are mutually different.
  • a plurality of different exposure control signals to the light receiving section 104, a plurality of signal charges obtained by exposure according to the plurality of exposure control signals are outputted from the light receiving section 104 (emission exposure control step S20 ).
  • This light emission exposure control step S20 is the same as the light emission exposure control step S10 in the first embodiment.
  • the selection unit 1307 of the data processing unit 1306 selects at least two signal charges used for calculating distance data from the plurality of signal charges for each pixel 20 (selection step S21).
  • the selection unit 1307 selects the highest signal level and the next highest signal level for each group of exposure control signals, so that the reflected light emitted from the light emitting unit 102 A pair of two signal charges including the following are selected (S21a). Then, the selection unit 1307 selects, from the pair of two signal charges determined to include reflected light, a first signal charge obtained by exposure according to an exposure control signal having the fastest phase with respect to the light emission control signal as a reference; A pair with a second signal charge obtained by exposure according to an exposure control signal whose phase difference at the start of exposure with the exposure control signal having the fastest phase is the same as a constant pulse width is selected as the first selection packet. , the other is selected as the second selection packet (S21b).
  • the depth calculation unit A1309 calculates depth data A as first distance data from the first selected packet, while the depth calculation unit B1310 calculates depth data A from the second selection packet as second distance data.
  • Depth data B is calculated (S22).
  • the calculation unit 1308 calculates third distance data indicating the distance to the target object by combining Depth data A and Depth data B calculated in step S22 at a combination ratio (S23).
  • the selection unit 1307 performs exposure according to the exposure control signal having the second fastest phase among the signal charges determined to include reflected light.
  • the fifth signal charge obtained by exposure according to the exposure control signal in which the phase difference at the start of exposure between the obtained fourth signal charge and the exposure control signal having the second fastest phase is the same as the pulse width of the light emission control signal.
  • the calculation unit 1308 further calculates second distance data indicating the distance to the object from the fourth signal charge and the fifth signal charge, and selects the first distance data and the second signal charge.
  • the third distance data indicating the distance to the target object is calculated by combining the third distance data with the distance data.
  • the final distance data is calculated by combining two distance data calculated using two pairs of signal charges, so as in the first embodiment, the influence of multipath light is reduced. Not only this, but also the Depth level difference in which the value of the final distance data to be calculated changes greatly depending on the measured distance is suppressed.
  • the calculation unit 1308 calculates third distance data for each pixel 20 by changing the combination ratio when combining the first distance data and the second distance data, depending on the distance of the first distance data. do. This makes it possible to gradually change the composition ratio of the first distance data and the second distance data, and to switch from the first distance data to the second distance data according to the measured distance. becomes continuous.
  • the calculation unit 1308 may calculate the third distance data for each pixel 20 by setting the synthesis ratio of the smaller of the first distance data and the second distance data to 100%. As a result, depending on the distance to be measured, distance data is calculated using only pairs of signal charges that are less affected by multipath light, and distance measurement with high accuracy is ensured.
  • the calculation unit 1308 may calculate the third distance data for each pixel 20 using the average value of the first distance data and the second distance data. This simplifies the process of combining the first distance data and the second distance data, and reduces the influence of multipath light and reduces the circuit scale in a well-balanced manner.
  • the signal level of background light is subtracted from the signal charge of reflected light, but this subtraction process is not necessarily necessary. This is because in an environment with little background light, the influence of background light may be ignored.
  • the calculation unit 1308 has two depth calculation units, but when exposure is performed using a group of three or more exposure control signals, three or more depth calculation units are included. three or more depth data outputted from these may be combined. For example, when exposure is performed using four sets of exposure control signals that are shifted by a phase corresponding to 1/4 of the pulse width of the light emission control signal, four depth calculation units are provided, and outputs from these The four depth data may be combined. Thereby, the influence of multipath light can be further reduced, and the depth level difference can be further suppressed.
  • all or some of the steps included in the distance measuring method according to the present disclosure may be realized by a program including those steps, and the program may be recorded on a non-transitory computer-readable disc such as a DVD. It may be realized by a recording medium.
  • the distance measuring device can output distance data with reduced effects of multipath, so it can measure distance with high accuracy in situations where there are multiple objects, people, etc. within the FOV (field of view). It can be used as a distance measuring device.
  • Photoelectric conversion element 22A to 22D Charge storage unit 101, 1301 Distance measuring device 102 Light emitting unit 103 Light emission exposure control unit 104 Light receiving unit 105 Solid-state imaging Element 106, 1306 Data processing section 107, 1307 Selection section 108, 1308 Arithmetic section 1309 Depth computing section A 1310 Depth calculation section B 1311 Depth composition section OBJ, OBJ2 Subject

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測距装置（１０１）は、複数の露光制御信号を生成する発光露光制御部（１０３）と、画素（２０）ごとに複数の信号電荷から少なくとも２つの信号電荷を選択する選択部（１０７）、および、選択した２つの信号電荷を基に対象物との距離を示す第１の距離データを算出する演算部（１０８）を有するデータ処理部（１０６）とを備え、複数の露光制御信号は、互いの位相差が発光制御信号のパルス幅と同一となる複数の露光制御信号の群を含み、一方の群に属する露光制御信号Ｎと他方の群に属する露光制御信号（Ｎ＋１）との位相差は、発光制御信号のパルス幅未満となり、選択部（１０７）は、反射光を含むと判定した複数の信号電荷のうち、最も位相が早い露光制御信号に対応する第１の信号電荷を含む信号電荷のペアを選択する。

Description

測距装置および測距方法
　本開示は、被写体の距離を測定する測距装置および測距方法に関する。特に固体撮像素子を用いて光の往復時間を測定して、被写体の距離データを生成する測距装置に関する。
　従来、間接ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式を採用した測距カメラが知られている。間接ＴＯＦ方式の一形態であるパルスＴＯＦ方式では、光パルスのパルス幅を狭くすればするほど測距ばらつき（σ）が低減するという特徴がある。一方で光パルス幅を狭くすると測距可能な距離レンジも狭くなるため、光パルスに対する露光パルスの位相の数を増やして、測距レンジを維持および拡大する方法が一般的である（例えば、特許文献１）。
特許５５８５９０３号公報
　間接ＴＯＦ方式の測距精度を低減させる要因として、マルチパスという課題が存在する。光源からの一次光が直接被写体に当たってそのまま返ってくるダイレクトパスに対して、マルチパス光は別の被写体に当たって拡散した二次光が被写体に当たって返ってくるため、距離データが実際の距離よりも遠く算出される。
　特許文献１では１回の発光パルスに対して、露光ウインドウ（露光パルスに相当）が非常に広く、マルチパスの影響を受けやすいという課題がある。
　上記課題に鑑み、本開示は、マルチパス光による測距エラーの影響を軽減し、距離精度の高い測距装置および測距方法を提供することを目的とする。
　本開示の一形態に係る測距装置は、対象物との距離を示す距離画像を生成する測距装置であって、一定のパルス幅を持つ発光制御信号に従って間欠発光を行う発光部と、前記発光部に前記発光制御信号を出力し、１回の露光幅が前記発光制御信号のパルス幅と同じで、かつ前記発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を生成する発光露光制御部と、入射光を信号電荷に変換する光電変換素子で構成される画素を二次元状に配列した固体撮像素子を有し、前記複数の露光制御信号に従ってそれぞれの露光で得られた複数の信号電荷を出力する受光部と、前記画素ごとに前記複数の信号電荷から少なくとも２つの信号電荷を選択する選択部、および、前記選択部が選択した前記少なくとも２つの信号電荷を基に前記対象物との距離を示す第１の距離データを算出する演算部を有するデータ処理部とを備え、前記複数の露光制御信号は、互いの位相差が前記一定のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、前記発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、前記露光制御信号Ｎは前記２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は前記２つの組み合わせの他方に属し、前記露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、前記一定のパルス幅未満となり、前記選択部は、前記発光部から照射された光の反射光を含むと判定した複数の前記信号電荷のうち、前記発光制御信号を基準として最も位相が早い前記露光制御信号に従った露光で得られた第１の信号電荷と、前記最も位相が早い前記露光制御信号との露光開始の位相差が前記一定のパルス幅と同一となる前記露光制御信号に従った露光で得られた第２の信号電荷とを前記画素ごとに選択し、前記演算部は、少なくとも前記第１の信号電荷と前記第２の信号電荷とから前記第１の距離データを算出する。
　また、本開示の一形態に係る測距方法は、対象物との距離を示す距離画像を生成する測距装置による測距方法であって、前記測距装置は、一定のパルス幅を持つ発光制御信号に従って間欠発光を行う発光部と、入射光を信号電荷に変換する光電変換素子で構成される画素を二次元状に配列した固体撮像素子を有し、露光制御信号に従った露光で得られた信号電荷を出力する受光部とを備え、前記測距方法は、前記発光部に前記発光制御信号を出力し、１回の露光幅が前記発光制御信号のパルス幅と同じで、かつ前記発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を前記受光部に出力することで、前記受光部から前記複数の露光制御信号に従った露光で得られた複数の信号電荷を前記受光部から出力させる発光露光制御ステップと、前記画素ごとに前記複数の信号電荷から少なくとも２つの信号電荷を選択する選択ステップと、前記選択ステップで選択された前記少なくとも２つの信号電荷を基に前記対象物との距離を示す第１の距離データを算出する演算ステップとを含み、前記複数の露光制御信号は、互いの位相差が前記一定のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、前記発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、前記露光制御信号Ｎは前記２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は前記２つの組み合わせの他方に属し、前記露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、前記一定のパルス幅未満となり、前記選択ステップでは、前記発光部から照射された光の反射光を含むと判定した複数の前記信号電荷のうち、前記発光制御信号を基準として最も位相が早い前記露光制御信号に従った露光で得られた第１の信号電荷と、前記最も位相が早い前記露光制御信号との露光開始の位相差が前記一定のパルス幅と同一となる前記露光制御信号に従った露光で得られた第２の信号電荷とを前記画素ごとに選択し、前記演算ステップでは、少なくとも前記第１の信号電荷と前記第２の信号電荷とから前記第１の距離データを算出する。
　本開示により、マルチパス光による測距エラーの影響を軽減し、測距精度の高い測距装置および測距方法を提供することができる。
実施の形態１に係る測距装置の構成の一例を示す機能ブロック図である。 実施の形態１および２に係る測距装置の受光部の露光シーケンスの一例を示す波形図である。 実施の形態１および２に係る測距装置の受光部の露光シーケンスの他の一例を示す波形図である。 図３に示した露光シーケンスにおける露光制御信号を並べ替えたものを示す図である。 実施の形態１および２に係る測距装置の固体撮像素子の画素の別の構成例を示す図である。 図５に示される画素の構成例を用いた時の露光シーケンスを示す図である。 間接ＴＯＦ方式の測距装置において、マルチパスによる距離誤差を生むメカニズムを示した図である。 実施の形態１および２に係る測距装置において、マルチパスの受光量を減らすための基本的な考え方を示す図である。 実施の形態１および２に係る測距装置において８位相の露光制御信号を用いた露光制御の１つ目の例を示す波形図である。 図９に示される露光制御の場合における実施の形態１に係る測距装置によるパケット選択の一例を示す図である。 本技術の実施の形態１および２に係る測距装置において８位相の露光制御信号を用いた露光制御の２つ目の例を示す波形図である。 図１１に示される露光制御の場合における実施の形態１に係る測距装置によるパケット選択の一例を示す図である。 実施の形態１に係る測距装置の動作の概要を示すフローチャートである。 実施の形態２に係る測距装置の構成の一例を示す機能ブロック図である。 図９に示される露光制御の場合における実施の形態２に係る測距装置によるパケット選択の一例を示す図である。 実施の形態２に係る測距装置の演算部によるＤｅｐｔｈ合成方法の一例を示す図である。 実施の形態２に係る測距装置の動作の概要を示すフローチャートである。
　以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
　（実施の形態１）
　図１は、実施の形態１に係る測距装置１０１の構成の一例を示す機能ブロック図である。図１の（ａ）は、実施の形態１に係る測距装置１０１の構成の一例を示す機能ブロック図である。測距装置１０１は、被写体ＯＢＪまでの距離を示す距離画像を生成する装置であり、発光部１０２、発光露光制御部１０３、受光部１０４、データ処理部１０６で構成される。
　受光部１０４は２次元状に画素の並んだ固体撮像素子１０５を含む。データ処理部１０６は選択部１０７と演算部１０８とで構成される。なおブロック図としては別々になっているが、発光露光制御部１０３および受光部１０４およびデータ処理部１０６の全て、または一部は、同じＬＳＩで構成されていても構わない。
　発光部１０２は入力される発光制御信号の示すタイミングにしたがって、被写体ＯＢＪに対して間欠発光を行う。発光部１０２は、ＶＣＳＥＬ（垂直共振型面発光レーザー）でも良いし、ＬＥＤ（発光ダイオード）やＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）でも良い。発光部１０２は、その先端には図示していない拡散版を有しており、この拡散版により広い範囲に同時に光を照射させることができる。
　発光露光制御部１０３は、発光部１０２に対して発光制御信号を出力し、受光部１０４に対して、１回の露光幅が発光制御信号のパルス幅と同じで、かつ発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を出力する。発光制御信号は“Ｈ”および“Ｌ”の２値のデジタル信号であり、本実施の形態では“Ｈ”で発光を意味し、“Ｌ”で発光停止を意味することとする。発光制御信号は、一定のパルス幅で発光部１０２が繰り返し発光を行うように制御するための信号であり、例えば、間欠発光のデューティー比が５０％未満（例として、２５％）となるパルスである。
　露光制御信号は、受光部１０４で光を露光する際の露光開始タイミングと露光幅を制御するための信号である。露光制御信号は固体撮像素子１０５の構成により、１本の制御信号で露光幅が決定される場合と、複数信号の論理演算で露光幅が決定される場合があり、詳細は固体撮像素子１０５の構成と合わせて説明する。露光制御信号の露光幅は発光制御信号の“Ｈ”パルス幅と同一にする。ただし、各制御信号のＴｒ（立ち上がり時間）およびＴｆ（立ち下がり時間）に合わせて、実際は多少の微調整を行うのが一般的である。
　複数の露光制御信号は、互いの位相差が一定のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、露光制御信号Ｎは２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は２つの組み合わせの他方に属し、露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、一定のパルス幅未満となる。
　なお、時間幅が「同一」、「同じ」あるいは「等しい」とは、実質的に等しいことを意味し、より詳しくは、求められる仕様から定まる許容範囲内で等しい意味であり、例えば、求められる仕様に応じて、一方の時間幅が他方の５％以内、１０％以内、あるいは、２０％以内であることを意味する。
　受光部１０４は、２次元状に画素の並んだ固体撮像素子１０５を含み、発光部１０２から照射された光が被写体ＯＢＪで反射して返ってきた反射光を受光するために、複数の露光制御信号に従ってそれぞれの露光で得られた複数の信号電荷を示す信号レベル（Ａ／Ｄ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ）変換した値）を出力する。なお、本明細書では、信号電荷を示す信号レベルを、単に、「信号電荷」ともいう。
　固体撮像素子１０５はＣＣＤセンサでもよいし、ＣＭＯＳセンサでもよい。図１の（ｂ）は、固体撮像素子１０５の概略図を示す。固体撮像素子１０５は２次元状に配置された画素２０で構成される。なお、図１の（ｂ）は説明のため横４ｐｉｘ、縦４ｐｉｘの合計１６ｐｉｘの構成となっているが、固体撮像素子１０５は、その画素数に制限されるものではない。
　図１の（ｃ）は画素２０の構成図を示す。画素２０は光電変換素子２１と複数の電荷蓄積部２２で構成される。なお、図１の（ｃ）では電荷蓄積部２２は４個（電荷蓄積部２２Ａ～２２Ｄ）で構成されているが、４個に限定されるものではない。光電変換素子２１は露光した光を信号電荷に変換する。電荷蓄積部２２は光電変換素子２１が変換した信号電荷を蓄積する。
　データ処理部１０６は、図１の（ａ）に示されるように、画素２０ごとに複数の信号電荷から少なくとも２つの信号電荷を選択する選択部１０７、および、選択部１０７が選択した少なくとも２つの信号電荷を基に対象物との距離を示す距離データ（第１の距離データ）を算出する演算部１０８を有する。より詳しくは、選択部１０７は、発光部１０２から照射された光の反射光を含むと判定した複数の信号電荷のうち、発光制御信号を基準として最も位相が早い露光制御信号に従った露光で得られた第１の信号電荷と、最も位相が早い露光制御信号との露光開始の位相差が一定のパルス幅と同一となる露光制御信号に従った露光で得られた第２の信号電荷とを画素ごとに選択する。演算部１０８は、少なくとも第１の信号電荷と第２の信号電荷とから第１の距離データを算出する。データ処理部１０６は、プログラムを格納するメモリ、プログラムを実行するプロセッサ等で実現され得る。
　図２は、実施の形態１に係る測距装置１０１の受光部１０４の露光シーケンスの一例（露光シーケンス１－１および１－２）を示す波形図である。図２を使用して露光時の画素の制御の１つ目の例について説明する。
　図２に示される２つの露光シーケンスにおいて、画素リセット信号、ゲート信号Ａおよびゲート信号Ｂはそれぞれ“Ｈ”と“Ｌ”の２値の信号である。本実施の形態では画素リセット信号が“Ｌ”の時に光電変換素子２１内で信号電荷が溜まることとする。一方、画素リセット信号が“Ｈ”の時は光電変換素子２１が生成した信号電荷は図示していないドレイン（排出口）に排出されるので信号電荷は溜まらない（リセット状態となる）。ゲート信号Ａおよびゲート信号Ｂは光電変換素子２１と電荷蓄積部２２との間の信号電荷の移動を制御する信号である。ゲート信号Ａおよびゲート信号Ｂはそれぞれ別の電荷蓄積部２２への信号電荷の移動を制御し、それぞれ“Ｈ”の時に光電変換素子２１から電荷蓄積部２２に信号電荷が移動し、“Ｌ”の時は信号電荷が移動しない。このとき、ゲート信号Ａとゲート信号Ｂは同時には“Ｈ”にならないように制御される。
　図２に示される露光シーケンス１―１（図２の（ａ））と露光シーケンス１－２（図２の（ｂ））について説明する。説明にあたり、１画素あたり４つの電荷蓄積部２２をそれぞれ電荷蓄積部２２Ａ、２２Ｂ、２２Ｃ、２２Ｄとする。
　露光シーケンス１－１では（図２の（ａ））、ゲート信号Ａは電荷蓄積部２２Ａへの信号電荷の移動を制御し、ゲート信号Ｂは電荷蓄積部２２Ｂへの信号電荷の移動を制御する。画素リセット信号が“Ｈ”から“Ｌ”に変化することにより、光電変換素子２１内で生成した信号電荷が溜まり始める。それと同時またはやや遅れてゲート信号Ａが“Ｈ”になり、光電変換素子２１内の信号電荷は電荷蓄積部２２Ａに移動する。そしてゲート信号Ａが“Ｌ”に変化するまでの期間の信号電荷が電荷蓄積部２２Ａに蓄積される。次にゲート信号Ｂが“Ｈ”に変化することで、信号電荷は電荷蓄積部２２Ｂに移動する。そして画素リセット信号が“Ｈ”またはゲート信号Ｂが“Ｌ”になるまでの期間の信号電荷が電荷蓄積部２２Ｂに蓄積される。つまり画素リセット信号の立ち下がりからゲート信号Ａの立ち下がりまでの時間が電荷蓄積部２２Ａへの１回の露光期間、ゲート信号Ａの立ち下がりからゲート信号Ｂの立ち下がりまでが電荷蓄積部２２Ｂへの１回の露光時間となる。
　このように１つの露光シーケンスあたり、発光制御信号を基準として２種類の露光位相で露光ができる。それぞれの１回の露光時間は発光制御信号の“Ｈ”の時間とも等しくなるようにする。なお１回の露光時間で生成される信号電荷量はわずかであるので、これを繰り返し行って信号電荷量を増やす。
　露光シーケンス１－２では（図２の（ｂ））、ゲート信号Ａは電荷蓄積部２２Ｃへの信号電荷の移動を制御し、ゲート信号Ｂは電荷蓄積部２２Ｄへの信号電荷の移動を制御する。露光シーケンス１との違いは、発光制御信号を基準として画素リセット信号およびゲート信号Ａおよびゲート信号Ｂが全体的に２Ｔ遅れたところから露光が開始される点である。
　以上のような２つの露光シーケンス１－１および１－２を設けることで、発光制御信号を基準として、位相の異なる４つ露光タイミングで露光した信号を別々の電荷蓄積部２２に蓄積することができる。つまり、露光シーケンス１―１および露光シーケンス１―２のいずれであっても、画素リセット信号、ゲート信号Ａおよびゲート信号Ｂの論理演算により、つまり、複数のデジタル信号の論理演算により、露光タイミングを示す露光制御信号が定まる。
　なお図２では発光制御信号の立ち上がりと同時に露光が開始するように制御されているが（露光シーケンス１－１）、発光部１０２内で発光された光パルスの遅延や測距レンジ（例えば０ｍからではなく、１ｍ先から測距するなど）を考慮して露光開始位相をずらしてもよい。その場合は、画素リセット信号とゲート信号Ａとゲート信号Ｂの互いの位相関係は保ったまま、発光制御信号との位相関係のみずらせばよい（以降のシーケンスでも同様であるため、今後は説明を割愛する）。
　図３は、実施の形態１に係る測距装置１０１の受光部１０４の露光シーケンスの他の一例（露光シーケンス２－１および２－２）を示す波形図である。図３を使用して露光時の画素の制御の２例目について説明する。
　１つの露光シーケンスあたり、発光制御信号を基準として２種類の露光位相で露光ができる。図３では露光制御信号のみで露光タイミングと露光幅を制御する。露光制御信号は“Ｈ”と“Ｌ”の２値の信号であり、本実施の形態では“Ｈ”は露光停止、“Ｌ”で露光状態を意味する。露光制御信号が“Ｈ”の時は光電変換素子２１で生成された信号電荷はドレインに排出されるので、電荷蓄積部２２には信号電荷は移動しない。露光状態では（露光制御信号が“Ｌ”の時）、光電変換素子２１で生成された信号電荷が電荷蓄積部２２に移動し、蓄積される。１回の発光制御信号につき、露光制御信号が２度“Ｌ”になっているが、１回目と２回目では別の電荷蓄積部２２に信号電荷が移動される。
　次に図３の露光シーケンス２―１（図３の（ａ））と露光シーケンス２－２（図３の（ｂ））について説明する。説明にあたり、１画素あたり４つの電荷蓄積部２２をそれぞれ電荷蓄積部２２Ａ、２２Ｂ、２２Ｃ、２２Ｄとする。
　露光シーケンス２―１では（図３の（ａ））、１回目の露光の時に電荷蓄積部２２Ａに蓄積され、２回目の露光の時に電荷蓄積部２２Ｃに蓄積される。露光シーケンス２－２では（図３の（ｂ））、１回目の露光の時に電荷蓄積部２２Ｂに蓄積され、２回目の露光の時に電荷蓄積部２２Ｄに蓄積される。いずれの露光シーケンスにおいても、１回の露光幅は発光制御信号の幅（Ｔ）と同じであり、１回目と２回目の露光の間も同じＴである。こうすることで露光シーケンス２―１と露光シーケンス２－２とを合わせて、発光制御信号を基準として位相の異なる４つ露光タイミングで露光することができる。
　図２の露光シーケンスと図３の露光シーケンスとを比較した時、それぞれの露光シーケンスでは、画素制御に合わせて別々の信号で露光を行なっているが、いずれの露光シーケンスでも、発光制御信号を基準として位相の異なる４つ露光タイミングで露光した信号を別々の電荷蓄積部２２に蓄積するということは同じである。したがって説明簡略化のため、以降は図３に記載の露光シーケンスをベースに説明する。
　図４は、図３に示した露光シーケンス２－１および２－２における発光制御信号と露光制御信号について、１つの発光制御信号を基準として露光制御信号を並べ替えたものを示す図である。露光制御信号は、発光制御信号を基準として露光位相が早い順に露光制御信号Ａ１、露光制御信号Ａ２、露光制御信号Ａ３、露光制御信号Ａ４と呼ぶ。説明の容易性を考慮して、本実施の形態では図４の記載をベースに露光位相の説明を実施する。
　次に本実施の形態の画素構成をベースに、露光タイミングの位相の数を増やす方法を説明する。例えば、距離画像の画素数が固体撮像素子１０５の画素数の半分で良い場合は、隣り同士の画素２０の電荷蓄積部２２を共用し、発光制御信号を基準として位相の異なる８つの露光タイミングで露光した信号を別々の電荷蓄積部２２に蓄積することができる。また例えば、距離画像の画素数が固体撮像素子１０５の画素数の１／４で良い場合は、隣接の４つの画素２０の電荷蓄積部２２を共用し、発光制御信号を基準として位相の異なる１６の露光タイミングで露光した信号を別々の電荷蓄積部２２に蓄積することができる。
　図５と図６とを使用して、露光タイミングの位相の数を増やす時の露光シーケンスを説明する。図５は実施の形態１に係る測距装置１０１の固体撮像素子１０５の画素の別の構成例を示す。図５が図１と違うのは、図１における一つの画素２０が、図５における画素２０ＬＵ、画素２０ＬＬ、画素２０ＲＵ、画素２０ＲＬの４種類に対応していることである。これらの画素２０で記号が同じものは別々で露光制御が出来ること示す。つまり、例えば画素２０ＬＵのみ他の画素（画素２０ＬＬ、画素２０ＲＬ、画素２０ＲＵ）と露光タイミングを別々にするといったことができる。
　図６は図５に示される画素２０の構成例を用いた時の露光シーケンス３－１～３－４を示す図である。図６に示されるように、画素ＬＵと画素ＲＵの露光タイミング（図６の（ａ）の露光シーケンス３－１および図６の（ｂ）の露光シーケンス３－２）と、画素ＬＬと画素ＲＬの露光タイミング（図６の（ｃ）の露光シーケンス３－３および図６の（ｄ）の露光シーケンス３－４）は別々となる。
　露光シーケンス３－１（図６の（ａ））と露光シーケンス３－２（図６の（ｂ））は画素ＬＵと画素ＲＵのみ露光を行なう。露光シーケンス３－１（図６の（ａ））の露光タイミングは露光シーケンス２－１（図３の（ａ））と同じであり、露光シーケンス３－２（図６の（ｂ））の露光タイミングは露光シーケンス２－２（図３の（ｂ））と同じである。
　露光シーケンス３－３（図６の（ｃ））と露光シーケンス３－４（図６の（ｄ））は画素ＬＵと画素ＲＵのみ露光を行なう。露光シーケンス３－３（図６の（ｃ））は発光制御信号に対して４Ｔ遅れたタイミングから１回目の露光を開始する。露光幅は発光制御信号と同じＴ期間で、１回目の露光期間が終了後、Ｔ期間露光停止してから、２回目の露光が開始する。露光シーケンス３－４（図６の（ｄ））は発光制御信号に対して５Ｔ遅れたタイミングから１回目の露光を開始する。露光幅は発光制御信号と同じＴ期間で、１回目の露光期間が終了後、Ｔ期間露光停止してから、２回目の露光が開始する。
　画素ＬＵと画素ＬＬとを距離画像の１つの画素に割り当て、画素ＲＵと画素ＲＬとを距離画像の１つの画素に割り当てることで、１つの発光制御信号に対して８種類の露光位相で露光が可能になる。
　一定期間の露光が終了すると、受光部１０４は固体撮像素子１０５の電荷蓄積部２２で蓄積された信号電荷をＡ／Ｄ変換して、電荷蓄積部２２ごとのデジタル信号として、データ処理部１０６に出力する。それが終わると、次のフレームに備えて、図示していないグローバルリセット信号により全ての電荷蓄積部２２の信号電荷はゼロになる。
　データ処理部１０６は受光部１０４からのデジタル信号を受信する。選択部１０７では距離画像の画素ごとに割り当てられた電荷蓄積部２２から反射光を含む電荷蓄積部２２を少なくとも２つと、反射光を含まない電荷蓄積部２２を１つ以上選択する。演算部１０８は距離画像の画素ごとに選択部１０７が選択した電荷蓄積部２２のデジタル信号を用いて、対象物との距離を示す距離データ（つまり、第１の距離データ）を算出する。
　ここで距離画像の距離データの算出方法を説明する。発光制御信号と露光制御信号との関係は図４のとおりとし、露光制御信号Ａｘ（ｘは自然数）での露光で得られた信号電荷をＳｘパケット、Ｓｘパケットの信号レベルをＳｘと記す。選択部１０７が反射光を含むと判定した電荷蓄積部２２がどの露光位相（下記のＲａｎｇｅ１～３のいずれ）かに応じて、距離データの計算式が変わる。
　Ｒａｎｇｅ１（露光制御信号Ａ１とＡ２の期間に反射光を含むと判定した場合）：
　Ｄ＝ｃ＊Ｔ＊（１／２）＊（Ｓ２－ＢＧ２）／（Ｓ１－ＢＧ１＋Ｓ２－ＢＧ２＋ＰＨ）
　Ｒａｎｇｅ２（露光制御信号Ａ２とＡ３の期間に反射光を含むと判定した場合）：
　Ｄ＝ｃ＊Ｔ＊（１／２）＊（（Ｓ３－ＢＧ２）／（Ｓ２－ＢＧ１＋Ｓ３－ＢＧ２）＋ＰＨ＋１）
　Ｒａｎｇｅ３（露光制御信号Ａ３とＡ４の期間に反射光を含むと判定した場合）：
　Ｄ＝ｃ＊Ｔ＊（１／２）＊（（Ｓ４－ＢＧ２）／（Ｓ３－ＢＧ１＋Ｓ４－ＢＧ２）＋ＰＨ＋２）
　ここで、Ｄ：測距値（Ｄｅｐｔｈ）、ｃ：光速（＝２．９９７９２４５８＊１０＾８［ｍ／ｓ］）、Ｔ：パルス幅、ＢＧ１およびＢＧ２：背景光の信号レベル、ＰＨ：発光開始タイミングと露光開始タイミングとの時間差である。ＢＧ１およびＢＧ２は反射光を含むと判定した２つのパケット以外のパケットの信号とし、ＢＧ１＝ＢＧ２としてもよい。
　次に図７を使用して間接ＴＯＦで課題となっているマルチパス課題について説明する。図７は、間接ＴＯＦ方式の測距装置１０１において、マルチパスによる距離誤差を生むメカニズムを示した図である。図７の（ａ）は測距装置１０１と被写体ＯＢＪおよび被写体ＯＢＪ２を真上から見た図である。測距装置１０１の発光部１０２は被写体ＯＢＪおよび被写体ＯＢＪ２を含む範囲で光を発光する。光は被写体ＯＢＪで反射し、返ってきた反射光を露光することで正しい距離が測定できる。このルートはダイレクトパス（ＤＰ）と呼ばれる。一方、図７の（ａ）のケースでは被写体ＯＢＪ２で一次反射した光が被写体ＯＢＪで二次反射し、ダイレクトパスとは異なるルートを通って測距装置１０１に返ってくる光が存在する。これがマルチパス（ＭＰ）と呼ばれ、ダイレクトパスよりも光が通るルートが長い。
　図７の（ｂ）に露光タイミング図を示す。ダイレクトパス光と比較すると、マルチパス光はルートが長い分、遅く返ってくることになる。そのため、ダイレクトパス光のみのＳ１：Ｓ２の比率と（図７の（ｂ）における「ＤＰのみ」参照）、ダイレクトパス光とマルチパス光の合算時のＳ１：Ｓ２の比率（図７の（ｂ）における「ＤＰ＋ＭＰ」参照）は異なり、Ｓ２の割合が増えることになる。これにより、距離データは実際の距離よりも遠くに算出されるようになる。
　間接ＴＯＦでは信号の比率で測距値を計算していることから、マルチパス光により遠くに算出されたケースと、単純に被写体が遠い距離にあったケースの見分けはつかない。またマルチパス源となる被写体はケースによって１つとは限らず、かつ被写体ごとに反射特性が異なることから、周囲画素の信号レベルを見て距離誤差を補正することも困難である。そこでいかにマルチパス光の影響を受けることなく受光するような露光制御が必要になってくる。
　図８ではマルチパスの受光量を減らすための基本的な考え方を示す図である。図８では、露光制御信号Ａ１と露光制御信号Ａ２のペアの露光開始タイミングの違いによるマルチパス光の受光量を図で表している。図８に示されるように、受光量に占める背景光、反射光、および、マルチパス光の成分が異なるハッチングで示されている。
　露光制御信号Ａ１と露光制御信号Ａ２のペアと、露光制御信号Ａ１´と露光制御信号Ａ２´のペアについて、マルチパス光の受光量を比較すると、後者のペアの方がマルチパス光の受光量が少ないことが分かる。つまり発光制御信号を基準として、露光位相が前になっている（つまり、時間が早い）露光制御信号Ａ１´と露光制御信号Ａ２´のペアで測距データを算出した方がマルチパス光の影響を抑制することができ、より正解に近い測距データを算出できるということになる。
　図９を用いて、本実施の形態の露光制御について説明する。図９は、実施の形態１に係る測距装置１０１において８位相の露光制御信号を用いた露光制御の１つ目の例を示す波形図である。図９では１回の発光制御信号に対して露光制御信号が８位相存在するが、それぞれの露光制御信号がＴ／２だけ位相がずれている。測距演算に使用する２つパケットのペアは、露光制御信号の位相差がＴである必要があることから、測距演算に使用できる露光制御信号の組み合わせ（群）としては、露光制御信号Ａ１・Ａ３・Ａ５・Ａ７の群と露光制御信号Ａ２・Ａ４・Ａ６・Ａ８の群となる。
　図９は一例として反射光（ダイレクトパス）と反射光（マルチパス）のタイミングを記載しているが、ポイントは反射光（ダイレクトパス）を露光する露光制御信号が４つ（各群で２つずつ）存在するという点である。図９では露光制御信号Ａ１と露光制御信号Ａ３の位相、および露光制御信号Ａ２と露光制御信号Ａ４の位相で反射光（ダイレクトパス）を露光する。ここでマルチパスの受光量を比較すると、反射光（マルチパス）とのタイミングから、露光制御信号Ａ１と露光制御信号Ａ３のペアの方がマルチパスの受光量が少ないことがわかる。このため選択部１０７はＳ１パケットとＳ３パケットを選択する。
　図１０を用いて選択部１０７のパケット選択について説明する。図１０は、図９に示される露光制御の場合における実施の形態１に係る測距装置１０１によるパケット選択の一例を示す図である。より詳しくは、図１０の（ａ）は、Ｓ１パケット～Ｓ８パケットの大きさ（信号レベル）を示す。図１０の（ｂ）は、選択される露光制御信号の群を説明する表を示す。
　選択部１０７では露光位相がＴ期間ずつずれている露光制御信号の群ごとにパケットを選択する。まず（１）信号レベルが最も大きいパケットを見つける。図１０の（ａ）から分かるように、露光制御信号Ａ１・Ａ３・Ａ５・Ａ７の群ではＳ３信号が最も大きいので、Ｓ３パケットを選択し、露光制御信号Ａ２、Ａ４、Ａ６、Ａ８の群ではＳ２信号が最も信号レベルが大きいので、Ｓ２パケットを選択する（図１０の（ｂ））。
　次に、（２）上記（１）で選択したパケットに対して、位相が１Ｔだけずれている２つのパケットについて、信号レベルが大きい方を選択する。図１０の（ａ）から分かるように、露光制御信号Ａ１・Ａ３・Ａ５・Ａ７の群ではＳ１信号がそれに相当するのでＳ１パケットを選択し、露光制御信号Ａ２、Ａ４、Ａ６、Ａ８の群ではＳ４のみ該当するのでＳ４パケットを選択する（図１０の（ｂ））。
　そして、上記（１）および（２）で選択した反射光を含むパケットのペア（Ｓ１パケットとＳ３パケットのペア、Ｓ２パケットとＳ４パケットのペア）の中で、位相が最も早い露光制御信号を含むパケットのペアを選択する。今回のケースでは、Ｓ１パケットの位相が最も早いので、Ｓ１パケットとＳ３パケットのペアが選択される（図１０の（ｂ））。
　なお、本実施の形態では、発光制御信号のパルス幅の１／２に相当する位相だけずれた２組の露光制御信号の群が用いられたが、このような値に限定されるものではなく、例えば、発光制御信号のパルス幅の１／４に相当する位相だけずれた４組の露光制御信号の群が用いられてもよい。
　よって、選択部１０７による反射光を含む信号電荷（パケット）の判定は、一般化すると、次の通りになる。つまり、選択部１０７は、第Ｎ位相の露光制御信号と第（Ｎ＋Ｍ）位相の露光制御信号（Ｍは２以上の自然数）との時間差が一定のパルス幅と同一の時、画素２０ごとに、（Ｌ＊Ｍ＋１）番目の露光制御信号の群から（Ｌ＊Ｍ＋Ｍ－１）番目（Ｌは０以上の整数）の露光制御信号の群それぞれで、（１）露光制御信号での露光で得られた信号電荷のうち最も大きい信号電荷と、（２）上記（１）の信号電荷に対する露光制御信号を第Ｐの露光制御信号とした時、第（Ｐ－Ｍ）の露光制御信号での露光で得られた信号電荷と第（Ｐ＋Ｍ）の露光制御信号での露光で得られた信号電荷のうちの大きい方の信号電荷とを、反射光を含む信号電荷と判定する。
　また、背景光のＢＧ信号としては、Ｓ５－Ｓ８の中の最小値を選択してもよく、同じ露光制御信号の位相の群の中での最小値もしくはそれら２つの最小値を選択してもよい。なおマルチパス光の位相がある程度限定され、反射光を含むと判定したパケットと反射光を含まないと判定した最も位相の早い露光制御信号で露光したパケット（Ｓ３、Ｓ４、Ｓ５）でマルチパス光が露光されると分かっている場合、Ｓ５をＳ３用のＢＧとして使用してもよい。そうすることで、ＢＧ減算処理の中で、Ｓ３に入ったマルチパス光の信号成分も減算することが可能になり、よりマルチパスの影響を軽減させることが可能になる。
　つまり、選択部１０７は、画素２０ごとに複数の信号電荷から反射光を含まないと判定した背景光に相当する第３の信号電荷を１つ以上さらに選択し、演算部１０８は、第１の信号電荷および第２の信号電荷から第３の信号電荷をそれぞれ減算後に第１の距離データを算出してもよい。このとき、選択部１０７は、第３の信号電荷として、（１）複数の信号電荷の中で最も小さい信号電荷、および、（２）反射光を含む信号電荷の中で発光制御信号を基準として位相が最も後ろの露光制御信号を露光制御信号Ａｑ（ｑは自然数）とするとき、露光制御信号（ｑ＋１）での露光で得られた信号電荷の２つを選択してもよい。
　図１１を使用して、本実施の露光制御について、２つ目の例をもとに説明する。図１１は、実施の形態１に係る測距装置１０１において８位相の露光制御信号を用いた露光制御の２つ目の例を示す波形図である。図１１の図９に対する違いは、反射光（ダイレクトパス）および反射光（マルチパス）の位相が図９の時と比べてＴ／２だけ遅い（被写体ＯＢＪまでの距離が遠い）点である。図１１では露光制御信号Ａ２と露光制御信号Ａ４の位相、および露光制御信号Ａ３と露光制御信号Ａ５の位相で反射光（ダイレクトパス）を露光する。反射光を含むパケットで位相が最も早い露光制御信号を含むパケットのペアはＳ２パケットとＳ４パケットである。このため選択部１０７はＳ２パケットとＳ４パケットを使用して測距データを算出する。
　図１１での選択部１０７のパケット選択について、図１２を用いて説明する。図１２は、図１１に示される露光制御の場合における実施の形態１に係る測距装置１０１によるパケット選択の一例を示す図である。より詳しくは、図１２の（ａ）は、Ｓ１パケット～Ｓ８パケットの大きさ（信号レベル）を示す。図１２の（ｂ）は、選択される露光制御信号の群を説明する表を示す。
　図１２のケースでは、図１１の図の反射光を選択部１０７では露光位相が１Ｔずつずれている露光制御信号の群ごとにパケットを選択する。まず（１）信号レベルが最も大きいパケットを見つける。図１２の（ａ）から分かるように、露光制御信号Ａ１・Ａ３・Ａ５・Ａ７の群ではＳ３信号が最も大きいので、Ｓ３パケットを選択し、露光制御信号Ａ２、Ａ４、Ａ６、Ａ８の群ではＳ４信号が最も信号レベルが大きいので、Ｓ４パケットを選択する（図１２の（ｂ））。
　次に、（２）上記（１）で選択したパケットに対して、位相が１Ｔだけずれている２つのパケットについて、信号レベルが大きい方を選択する。図１２の（ａ）から分かるように、露光制御信号Ａ１・Ａ３・Ａ５・Ａ７の群ではＳ５信号がそれに相当するのでＳ５パケットを選択し、露光制御信号Ａ２、Ａ４、Ａ６、Ａ８の群ではＳ２パケットを選択する（図１２の（ｂ））。
　そして、上記（１）および（２）で選択した反射光を含むパケットのペア（Ｓ３パケットとＳ５パケットのペア、Ｓ２パケットとＳ４パケットのペア）の中で、位相が最も早い露光制御信号を含むパケットのペアを選択する。今回のケースでは、Ｓ２パケットの位相が最も早いので、Ｓ２パケットとＳ４パケットのペアが選択される（図１２の（ｂ））。
　図１３は、実施の形態１に係る測距装置１０１の動作（測距方法）の概要を示すフローチャートである。
　発光露光制御部１０３は、発光部１０２に発光制御信号を出力し、１回の露光幅が発光制御信号のパルス幅と同じで、かつ発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を受光部１０４に出力することで、受光部１０４から複数の露光制御信号に従った露光で得られた複数の信号電荷を受光部１０４から出力させる（発光露光制御ステップＳ１０）。
　ここで、複数の露光制御信号は、互いの位相差が一定のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、露光制御信号Ｎは２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は２つの組み合わせの他方に属し、露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、一定のパルス幅未満である。
　次に、データ処理部１０６の選択部１０７は、画素２０ごとに複数の信号電荷から、距離データの算出に用いられる、少なくとも２つの信号電荷を選択する（選択ステップＳ１１）。
　この選択ステップＳ１１では、より詳しくは、選択部１０７は、露光制御信号の群ごとに信号レベルが最も大きいものと次に大きいものを選択することで、発光部１０２から照射された光の反射光を含む２つの信号電荷のペアを選択する（Ｓ１１ａ）。そして、選択部１０７は、反射光を含むと判定した２つの信号電荷のペアから、発光制御信号を基準として最も位相が早い露光制御信号に従った露光で得られた第１の信号電荷と、最も位相が早い露光制御信号との露光開始の位相差が一定のパルス幅と同一となる露光制御信号に従った露光で得られた第２の信号電荷とのペアを選択する（Ｓ１１ｂ）。
　最後に、選択ステップＳ１１で選択された少なくとも２つの信号電荷を基に、演算部１０８は、対象物との距離を示す第１の距離データを算出する（演算ステップＳ１２）。
　図９～図１３を用いた説明からわかるように、被写体の距離が変わっても、本実施の形態に係る測距装置１０１は、マルチパスの受光量が少ない組合せの信号で距離データを算出していくので、マルチパスの影響を抑制しつつ、距離レンジを確保することができるという効果を有する。
　以上のように、本実施の形態に係る測距装置１０１は、対象物との距離を示す距離画像を生成する測距装置であって、一定のパルス幅を持つ発光制御信号に従って間欠発光を行う発光部１０２と、発光部１０２に発光制御信号を出力し、１回の露光幅が発光制御信号のパルス幅と同じで、かつ発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を生成する発光露光制御部１０３と、入射光を信号電荷に変換する光電変換素子２１で構成される画素２０を二次元状に配列した固体撮像素子１０５を有し、複数の露光制御信号に従ってそれぞれの露光で得られた複数の信号電荷を出力する受光部１０４と、画素２０ごとに複数の信号電荷から少なくとも２つの信号電荷を選択する選択部１０７、および、選択部１０７が選択した少なくとも２つの信号電荷を基に対象物との距離を示す第１の距離データを算出する演算部１０８を有するデータ処理部１０６とを備え、複数の露光制御信号は、互いの位相差が発光制御信号のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、露光制御信号Ｎは２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は２つの組み合わせの他方に属し、露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、発光制御信号のパルス幅未満となり、選択部１０７は、発光部１０２から照射された光の反射光を含むと判定した複数の信号電荷のうち、発光制御信号を基準として最も位相が早い露光制御信号に従った露光で得られた第１の信号電荷と、最も位相が早い露光制御信号との露光開始の位相差が発光制御信号のパルス幅と同一となる露光制御信号に従った露光で得られた第２の信号電荷とを画素２０ごとに選択し、演算部１０８は、少なくとも第１の信号電荷と第２の信号電荷とから第１の距離データを算出する。
　これにより、複数の露光制御信号には、互いの位相差が発光制御信号のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせが含まれ、その組み合わせのうち、発光制御信号のパルス幅未満で発光制御信号を基準として最も位相が早い露光制御信号に従った露光で得られた第１の信号電荷と、最も位相が早い露光制御信号との露光開始の位相差が発光制御信号のパルス幅と同一となる露光制御信号に従った露光で得られた第２の信号電荷とから、第１の距離データが算出されるので、マルチパス光による影響が少ない信号電荷のペアが用いられて距離データが算出されることとなり、その結果、マルチパス光による測距エラーの影響を軽減し、距離精度の高い測距装置が実現される。
　ここで、発光制御信号は、間欠発光のデューティー比が５０％未満であってもよい。また、複数の露光制御信号は、複数のデジタル信号の論理演算で露光タイミングが決まる信号であってもよい。これにより、例えば、画素リセット信号とゲート信号との論理演算の結果で露光期間が定まるタイプの画素を用いた測距が可能になる。
　また、選択部１０７は、画素２０ごとに複数の信号電荷から反射光を含まないと判定した第３の信号電荷を１つ以上さらに選択し、演算部１０８は、第１の信号電荷および第２の信号電荷から第３の信号電荷をそれぞれ減算後に第１の距離データを算出してもよい。これにより、背景光が除去された信号電荷を用いて距離データが算出されるので、距離精度の高い測距が実現される。
　このとき、選択部１０７は、第３の信号電荷として、（１）複数の信号電荷の中で最も小さい信号電荷、および、（２）反射光を含む信号電荷の中で発光制御信号を基準として位相が最も後ろの露光制御信号を露光制御信号Ａｑ（ｑは自然数）とするとき、露光制御信号（ｑ＋１）での露光で得られた信号電荷の２つを選択してもよい。これにより、よりマルチパス光の影響が少ない背景光を除去できる可能性が高くなり、距離精度が向上され得る。
　また、選択部１０７は、第Ｎ位相の露光制御信号と第（Ｎ＋Ｍ）位相の露光制御信号（Ｍは２以上の自然数）との時間差が発光制御信号のパルス幅と同一の時、画素２０ごとに、（Ｌ＊Ｍ＋１）番目の露光制御信号の群から（Ｌ＊Ｍ＋Ｍ－１）番目（Ｌは０以上の整数）の露光制御信号の群それぞれで、（１）露光制御信号での露光で得られた信号電荷のうち最も大きい信号電荷と、（２）上記（１）の信号電荷に対する露光制御信号を第Ｐの露光制御信号とした時、第（Ｐ－Ｍ）の露光制御信号での露光で得られた信号電荷と第（Ｐ＋Ｍ）の露光制御信号での露光で得られた信号電荷のうちの大きい方の信号電荷とを、反射光を含む信号電荷と判定してもよい。
　これにより、発光制御信号のパルス幅の１／２に相当する位相だけずれた２組の露光制御信号の群が用いられる場合だけでなく、例えば、発光制御信号のパルス幅の１／４に相当する位相だけずれた４組の露光制御信号の群を用いて、マルチパス光の影響が最も少ない信号電荷のペアを特定し、距離データを算出することができる。
　また、本実施の形態に係る測距方法は、対象物との距離を示す距離画像を生成する測距装置１０１による測距方法であって、測距装置１０１は、一定のパルス幅を持つ発光制御信号に従って間欠発光を行う発光部１０２と、入射光を信号電荷に変換する光電変換素子２１で構成される画素２０を二次元状に配列した固体撮像素子１０５を有し、露光制御信号に従った露光で得られた信号電荷を出力する受光部１０４とを備え、測距方法は、発光部１０２に発光制御信号を出力し、１回の露光幅が発光制御信号のパルス幅と同じで、かつ発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を受光部１０４に出力することで、受光部１０４から複数の露光制御信号に従った露光で得られた複数の信号電荷を受光部１０４から出力させる発光露光制御ステップＳ１０と、画素２０ごとに複数の信号電荷から少なくとも２つの信号電荷を選択する選択ステップＳ１１と、選択ステップＳ１１で選択された少なくとも２つの信号電荷を基に対象物との距離を示す第１の距離データを算出する演算ステップＳ１２とを含み、複数の露光制御信号は、互いの位相差が発光制御信号のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、露光制御信号Ｎは２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は２つの組み合わせの他方に属し、露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、発光制御信号のパルス幅未満となり、選択ステップＳ１１では、発光部１０２から照射された光の反射光を含むと判定した複数の信号電荷のうち、発光制御信号を基準として最も位相が早い露光制御信号に従った露光で得られた第１の信号電荷と、最も位相が早い露光制御信号との露光開始の位相差が発光制御信号のパルス幅と同一となる露光制御信号に従った露光で得られた第２の信号電荷とを画素２０ごとに選択し、演算ステップＳ１２では、少なくとも第１の信号電荷と第２の信号電荷とから第１の距離データを算出する。
　これにより、複数の露光制御信号には、互いの位相差が発光制御信号のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせが含まれ、その組み合わせのうち、発光制御信号のパルス幅未満で発光制御信号を基準として最も位相が早い露光制御信号に従った露光で得られた第１の信号電荷と、最も位相が早い露光制御信号との露光開始の位相差が発光制御信号のパルス幅と同一となる露光制御信号に従った露光で得られた第２の信号電荷とから、第１の距離データが算出されるので、マルチパス光による影響が少ない信号電荷のペアが用いられて距離データが算出されることとなり、その結果、マルチパス光による測距エラーの影響を軽減し、距離精度の高い測距装置が実現される。
　（実施の形態２）
　図１４は本実施の形態２の測距装置１３０１の構成の一例を示す機能ブロック図である。より詳しくは、図１４の（ａ）は、本実施の形態２の測距装置１３０１の全体構成を示し、図１４の（ｂ）は、図１４の（ａ）におけるデータ処理部１３０６の詳細な構成を示す。
　測距装置１３０１は、被写体ＯＢＪまでの距離を示す距離画像を生成する装置であり、図１４の（ａ）に示されるように、発光部１０２、発光露光制御部１０３、受光部１０４、データ処理部１３０６で構成される。実施の形態１と同じ部分については、同じ番号を付して、説明を割愛する。図１との違いはデータ処理部１３０６の処理であり、図１４の（ｂ）を使用して説明する。図１の（ｂ）および（ｃ）、図２～図９およびそれを用いた説明は、本実施の形態にも適用される。
　データ処理部１３０６は選択部１３０７と演算部１３０８を含む。実施の形態１の選択部１０７では露光制御信号の群それぞれで、距離画像の画素ごとに割り当てられた電荷蓄積部２２から反射光を含む電荷蓄積部２２を２つ選択し、発光制御信号を基準として露光位相が早いパケットを含む方の露光制御信号の群のパケットのみ選択していた。これに対して、本実施の形態の選択部１３０７は、発光制御信号を基準として露光位相が最も早いパケットを含む方の露光制御信号の群だけでなく、露光位相が２番目に早いパケットを含む方の露光制御信号の群のパケットも選択する。
　演算部１３０８は、Ｄｅｐｔｈ演算部Ａ１３０９とＤｅｐｔｈ演算部Ｂ１３１０とＤｅｐｔｈ合成部１３１１を含む。選択部１３０７では露光制御信号の群ごとに反射光を含むデータパケットとＢＧ信号のデータパケットとを選択するので、それを２つのＤｅｐｔｈ演算部で別々にＤｅｐｔｈ演算する。Ｄｅｐｔｈ演算部Ａの出力をＤｅｐｔｈデータＡ、Ｄｅｐｔｈ演算部Ｂの出力をＤｅｐｔｈデータＢとすると、Ｄｅｐｔｈ合成部１３１１では距離画像の画素ごとにＤｅｐｔｈデータＡとＤｅｐｔｈデータＢを１つのＤｅｐｔｈデータに合成する。Ｄｅｐｔｈ合成方法はＤｅｐｔｈデータＡもしくはＤｅｐｔｈデータＢの値を見ながら合成比率を変える方法であっても良いし、ＤｅｐｔｈデータＡとＤｅｐｔｈデータＢのうち小さい方の合成比率を１００％にする方法や、ＤｅｐｔｈデータＡとＤｅｐｔｈデータＢを５０％同士で合成する（つまり、平均値をとる）方法であってもよい。
　図９に示される露光制御の例と図１５を用いて、本実施の形態２のパケット選択方法について説明する。図１５は、図９に示される露光制御の場合における実施の形態２に係る測距装置１３０１によるパケット選択の一例を示す図である。より詳しくは、図１５の（ａ）は、Ｓ１パケット～Ｓ８パケットの大きさ（信号レベル）を示し、図１０の（ａ）と同じ図である。図１５の（ｂ）は、本実施の形態で選択される露光制御信号の群を説明する表を示す。
　露光制御信号の位相や反射光の受光タイミングは図９に記載の状態とし、図１５を用いて、本実施の形態におけるデータパケットの選択方法について説明する。実施の形態１における選択方法を示す図１０の（ｂ）と本実施の形態における選択方法を示す図１５の（ｂ）とを比較して分かるように、本実施の形態では、露光制御信号Ａ１・Ａ３・Ａ５・Ａ７の群だけでなく、露光制御信号のＡ２・Ａ４・Ａ６・Ａ８の群のパケットも選択する点である。図１５の（ｂ）に示されるように、本実施の形態では、選択部１３０７は、露光制御信号Ａ１・Ａ３・Ａ５・Ａ７の群でＳ１パケットとＳ３パケットとを第一選択し、露光制御信号Ａ２・Ａ４・Ａ６・Ａ８の群でＳ２パケットとＳ４パケットとを第二選択する。そして第一選択されたパケット（第一選択パケット）および第二選択されたパケット（第二選択パケット）の情報を演算部１３０８に出力する。
　演算部１３０８では、Ｄｅｐｔｈ演算部Ａ１３０９によって、第一選択パケットからＤｅｐｔｈデータＡが算出され、Ｄｅｐｔｈ演算部Ｂ１３１０によって、第二選択パケットからＤｅｐｔｈデータＢが算出される。
　図１６を使用して、演算部１３０８のＤｅｐｔｈ合成方法の一例を示す。図１６は、実施の形態２に係る測距装置１３０１の演算部１３０８によるＤｅｐｔｈ合成方法の一例を示す図である。より詳しくは、図１６の（ａ）は第一選択パケットでの演算で得られたＤｅｐｔｈ（測距値）とその合成比率をグラフに表した図である。つまり、横軸は第一選択パケットでの演算で得られたＤｅｐｔｈを表し、縦軸は第一選択パケットで選択したＤｅｐｔｈの合成比率（１００％の時、合成後Ｄｅｐｔｈ＝第一選択パケットで演算したＤｅｐｔｈ）を表す。
　図１６の（ａ）に示されるように、第一選択パケットでの演算で得られたＤｅｐｔｈはある一定の距離ＤＥ１までは合成比率が１００％だが、距離ＤＥ１を超えると、第一選択パケットでの演算で得られたＤｅｐｔｈと第二選択パケットでの演算で得られたＤｅｐｔｈとを任意の比率で合成させる。Ｄｅｐｔｈが距離ＤＥ１を超えると第一選択パケットのＤｅｐｔｈ合成比率は下がり、第一選択パケットが第二選択パケットに切り替わるＤｅｐｔｈ（距離ＤＥ３）の手前の距離ＤＥ２で、Ｄｅｐｔｈ合成比率が０％になる。
　図１６の（ｂ）は第一選択パケットがＳ１パケットとＳ３パケットとのペアからＳ２パケットとＳ４パケットとのペアに切り替わる際のＤｅｐｔｈの変動をグラフにしたものである。真値が実線、一点鎖線が第一選択パケットのＳ１パケットとＳ３パケットとで演算して得られたＤｅｐｔｈ、二点鎖線が第二選択パケットのＳ２パケットとＳ４パケットとで演算して得られたＤｅｐｔｈ、破線が合成後Ｄｅｐｔｈを示す。
　図１６の（ｂ）に示されるように、マルチパス光の影響により、いずれのＤｅｐｔｈも真値（実線）より遠くに出ており、第一選択パケットでの演算で得られたＤｅｐｔｈ（一点鎖線）よりも第二選択パケットでの演算で得られたＤｅｐｔｈ（二点鎖線）の方がＤｅｐｔｈ誤差は大きいことを表している。被写体ＯＢＪまでの距離が距離ＤＩＳ１の時はＳ１パケットとＳ３パケットが第一選択パケットであり、この演算で得られたＤｅｐｔｈが１００％で合成されている。被写体ＯＢＪが徐々に遠くなり、Ｓ１パケットとＳ３パケットとの演算で得られたＤｅｐｔｈが距離ＤＥ１を超えると、第二選択パケットのＳ２パケットとＳ４パケットとの演算で得られたＤｅｐｔｈが混じりだす。そしてＳ１パケットとＳ３パケットとの演算で得られたＤｅｐｔｈが距離ＤＥ２になると第二選択パケットのＳ２パケットとＳ４パケットとの演算で得られたＤｅｐｔｈが１００％になる。Ｓ１パケットとＳ３パケットとの演算で得られたＤｅｐｔｈがＤＥ３を超えると、Ｓ２パケットとＳ４パケットとが第一選択パケットになるが、その手前でＳ２パケットとＳ４パケットとの演算で得られたＤｅｐｔｈの合成比率が１００％になっていることから、被写体ＯＢＪまでの距離の増加に伴って第一選択パケットが切り替わった瞬間もＤｅｐｔｈは段差なくスムーズに切り替わることになる。
　もし仮に図１６に示すようなＤｅｐｔｈ合成を実施しなかった場合は、被写体ＯＢＪまでの距離の増加に伴って、Ｓ１パケットとＳ３パケットとの演算で得られたＤｅｐｔｈからＳ２パケットとＳ４パケットとの演算で得られたＤｅｐｔｈに切り替わった瞬間にＤｅｐｔｈ段差が発生することになる。しかし、図１６のようなＤｅｐｔｈ合成をすることで、マルチパスの影響を軽減しつつ、Ｄｅｐｔｈ段差のないＤｅｐｔｈを出力することができるという効果が生じる。
　なおＤｅｐｔｈ合成の方法として、図１６でＤｅｐｔｈ段差が発生しないことに主眼を置いたＤｅｐｔｈ合成方法について説明したが、第一選択パケットでの演算で得られたＤｅｐｔｈと第二選択パケットでの演算で得られたＤｅｐｔｈのどちらか値の小さい方を選択し続けるという方法でも良い。これにより、最もマルチパスの影響を小さくすることができるという効果が生じる。
　また、第一選択パケットでの演算で得られたＤｅｐｔｈと第二選択パケットでの演算で得られたＤｅｐｔｈの合成比率５０％で合成する（つまり、平均値をとる）という方法もある。これによってマルチパスによるＤｅｐｔｈ段差をなくしつつ、後段ＳｏＣ（システム・オン・チップ）の処理量を減らせるといった効果が生じる。
　図１７は、実施の形態２に係る測距装置１３０１の動作（測距方法）の概要を示すフローチャートである。
　発光露光制御部１０３は、発光部１０２に発光制御信号を出力し、１回の露光幅が発光制御信号のパルス幅と同じで、かつ発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を受光部１０４に出力することで、受光部１０４から複数の露光制御信号に従った露光で得られた複数の信号電荷を受光部１０４から出力させる（発光露光制御ステップＳ２０）。この発光露光制御ステップＳ２０は、実施の形態１における発光露光制御ステップＳ１０と同じである。
　次に、データ処理部１３０６の選択部１３０７は、画素２０ごとに複数の信号電荷から、距離データの算出に用いられる、少なくとも２つの信号電荷を選択する（選択ステップＳ２１）。
　この選択ステップＳ２１では、より詳しくは、選択部１３０７は、露光制御信号の群ごとに信号レベルが最も大きいものと次に大きいものを選択することで、発光部１０２から照射された光の反射光を含む２つの信号電荷のペアを選択する（Ｓ２１ａ）。そして、選択部１３０７は、反射光を含むと判定した２つの信号電荷のペアから、発光制御信号を基準として最も位相が早い露光制御信号に従った露光で得られた第１の信号電荷と、最も位相が早い露光制御信号との露光開始の位相差が一定のパルス幅と同一となる露光制御信号に従った露光で得られた第２の信号電荷とのペアを第一選択パケットとして選択し、他方を第二選択パケットとして選択する（Ｓ２１ｂ）。
　次に、Ｄｅｐｔｈ演算部Ａ１３０９は、第一選択パケットから、第１の距離データとして、ＤｅｐｔｈデータＡを算出し、一方、Ｄｅｐｔｈ演算部Ｂ１３１０は、第二選択パケットから、第２の距離データとして、ＤｅｐｔｈデータＢを算出する（Ｓ２２）。
　最後に、演算部１３０８は、ステップＳ２２で算出されたＤｅｐｔｈデータＡおよびＤｅｐｔｈデータＢを合成比率で合成することで、対象物との距離を示す第３の距離データを算出する（Ｓ２３）。
　これにより、マルチパスの影響を軽減しつつ、被写体ＯＢＪまでの距離の増加に伴って、Ｄｅｐｔｈ段差のないＤｅｐｔｈを出力することができる。
　以上のように、本実施の形態に係る測距装置１３０１によれば、選択部１３０７は、反射光を含むと判定した信号電荷のうち、２番目に位相が早い露光制御信号に従った露光で得られた第４の信号電荷と、２番目に位相が早い露光制御信号との露光開始の位相差が発光制御信号のパルス幅と同一となる露光制御信号に従った露光で得られた第５の信号電荷とを選択し、演算部１３０８はさらに第４の信号電荷と第５の信号電荷とから対象物との距離を示す第２の距離データを算出し、第１の距離データと第２の距離データとを合成することにより、対象物との距離を示す第３の距離データを算出する。
　これにより、２組の信号電荷のペアを用いて算出される２つの距離データを合成することで最終の距離データが算出されるので、実施の形態１と同様に、マルチパス光の影響が軽減されるだけでなく、算出される最終の距離データが、測距される距離に依存して大きく値が変化するようなＤｅｐｔｈ段差が抑制される。
　また、演算部１３０８は、画素２０ごとに、第１の距離データの距離によって、第１の距離データと第２の距離データとを合成する際の合成比率を変えて第３の距離データを算出する。これにより、第１の距離データと第２の距離データとの合成比率を徐々に変化させることが可能となり、測距される距離に応じた第１の距離データから第２の距離データへの切り替わりが連続的となる。
　ここで、演算部１３０８は、画素２０ごとに、第１の距離データと第２の距離データのどちらか小さい方の合成比率を１００％として、第３の距離データを算出してもよい。これにより、測距される距離によっては、マルチパス光の影響が少ない信号電荷のペアだけを用いた距離データが算出され、高い精度による測距が確保される。
　また、演算部１３０８は、画素２０ごとに、第１の距離データと第２の距離データとの平均値で、第３の距離データを算出してもよい。これにより、第１の距離データと第２の距離データとの合成処理が簡素化され、マルチパス光の影響への軽減と、回路規模の縮小化が、バランスよく行われる。
　以上、本開示に係る測距装置および測距方法について、実施の形態１および２に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
　例えば、上記実施の形態では、反射光の信号電荷から背景光の信号レベルを減算したが、必ずしもこの減算処理は必要ではない。背景光が少ない環境下では、背景光による影響を無視できる場合があるからである。
　また、上記実施の形態２では、演算部１３０８は、２つのＤｅｐｔｈ演算部を有したが、３以上の露光制御信号の群が用いられて露光される場合には、３以上のＤｅｐｔｈ演算部を有し、それらから出力される３以上のＤｅｐｔｈデータを合成してもよい。例えば、発光制御信号のパルス幅の１／４に相当する位相だけずれた４組の露光制御信号の群が用いられて露光される場合には、４つのＤｅｐｔｈ演算部を有し、それらから出力される４つのＤｅｐｔｈデータを合成してもよい。これにより、よりマルチパス光の影響を軽減し、よりＤｅｐｔｈ段差を抑制できる。
　また、本開示に係る測距方法に含まれる全部又は一部のステップは、それらのステップを含むプログラムで実現されてもよいし、そのプログラムが記録されたＤＶＤ等の非一時的でコンピュータ読み取り可能な記録媒体で実現されてもよい。
　本開示の係る測距装置はマルチパスの影響を軽減させた距離データを出力できるので、例えばモノや人物などの被写体がＦＯＶ（視野）内に複数存在するようなシチュエーションにおいて高精度で測距を行う測距装置として利用可能である。
　２０、２０ＬＵ、２０ＲＵ、２０ＬＬ、２０ＲＬ、ＬＵ、ＲＵ、ＬＬ、ＲＬ　画素
　２１　光電変換素子
　２２、２２Ａ～２２Ｄ　電荷蓄積部
　１０１、１３０１　測距装置
　１０２　発光部
　１０３　発光露光制御部
　１０４　受光部
　１０５　固体撮像素子
　１０６、１３０６　データ処理部
　１０７、１３０７　選択部
　１０８、１３０８　演算部
　１３０９　Ｄｅｐｔｈ演算部Ａ
　１３１０　Ｄｅｐｔｈ演算部Ｂ
　１３１１　Ｄｅｐｔｈ合成部
　ＯＢＪ、ＯＢＪ２　被写体

Claims (11)

  1. 　対象物との距離を示す距離画像を生成する測距装置であって、
    　一定のパルス幅を持つ発光制御信号に従って間欠発光を行う発光部と、
    　前記発光部に前記発光制御信号を出力し、１回の露光幅が前記発光制御信号のパルス幅と同じで、かつ前記発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を生成する発光露光制御部と、
    　入射光を信号電荷に変換する光電変換素子で構成される画素を二次元状に配列した固体撮像素子を有し、前記複数の露光制御信号に従ってそれぞれの露光で得られた複数の信号電荷を出力する受光部と、
    　前記画素ごとに前記複数の信号電荷から少なくとも２つの信号電荷を選択する選択部、および、前記選択部が選択した前記少なくとも２つの信号電荷を基に前記対象物との距離を示す第１の距離データを算出する演算部を有するデータ処理部とを備え、
    　前記複数の露光制御信号は、互いの位相差が前記一定のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、前記発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、前記露光制御信号Ｎは前記２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は前記２つの組み合わせの他方に属し、前記露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、前記一定のパルス幅未満となり、
    　前記選択部は、前記発光部から照射された光の反射光を含むと判定した複数の前記信号電荷のうち、前記発光制御信号を基準として最も位相が早い前記露光制御信号に従った露光で得られた第１の信号電荷と、前記最も位相が早い前記露光制御信号との露光開始の位相差が前記一定のパルス幅と同一となる前記露光制御信号に従った露光で得られた第２の信号電荷とを前記画素ごとに選択し、
    　前記演算部は、少なくとも前記第１の信号電荷と前記第２の信号電荷とから前記第１の距離データを算出する、
    　測距装置。
  2. 　前記発光制御信号は、間欠発光のデューティー比が５０％未満である、
    　請求項１に記載の測距装置。
  3. 　前記複数の露光制御信号は、複数のデジタル信号の論理演算で露光タイミングが決まる信号である、
    　請求項２に記載の測距装置。
  4. 　前記選択部は、前記画素ごとに前記複数の信号電荷から前記反射光を含まないと判定した第３の信号電荷を１つ以上さらに選択し、
    　前記演算部は、前記第１の信号電荷および前記第２の信号電荷から前記第３の信号電荷をそれぞれ減算後に前記第１の距離データを算出する、
    　請求項２に記載の測距装置。
  5. 　前記選択部は、前記第３の信号電荷として、（１）前記複数の信号電荷の中で最も小さい信号電荷、および、（２）前記反射光を含む前記信号電荷の中で前記発光制御信号を基準として位相が最も後ろの露光制御信号を露光制御信号Ａｑ（ｑは自然数）とするとき、露光制御信号（ｑ＋１）での露光で得られた信号電荷の２つを選択する、
    　請求項４に記載の測距装置。
  6. 　前記選択部は、第Ｎ位相の露光制御信号と第（Ｎ＋Ｍ）位相の露光制御信号（Ｍは２以上の自然数）との時間差が前記一定のパルス幅と同一の時、前記画素ごとに、（Ｌ＊Ｍ＋１）番目の露光制御信号の群から（Ｌ＊Ｍ＋Ｍ－１）番目（Ｌは０以上の整数）の露光制御信号の群それぞれで、（１）前記露光制御信号での露光で得られた信号電荷のうち最も大きい信号電荷と、（２）上記（１）の前記信号電荷に対する前記露光制御信号を第Ｐの露光制御信号とした時、第（Ｐ－Ｍ）の露光制御信号での露光で得られた信号電荷と第（Ｐ＋Ｍ）の露光制御信号での露光で得られた信号電荷のうちの大きい方の信号電荷とを、反射光を含む信号電荷と判定する、
    　請求項１～３のいずれか一項に記載の測距装置。
  7. 　前記選択部は、前記反射光を含むと判定した信号電荷のうち、２番目に位相が早い露光制御信号に従った露光で得られた第４の信号電荷と、前記２番目に位相が早い露光制御信号との露光開始の位相差が前記一定のパルス幅と同一となる露光制御信号に従った露光で得られた第５の信号電荷とを選択し、
    　前記演算部はさらに前記第４の信号電荷と前記第５の信号電荷とから前記対象物との距離を示す第２の距離データを算出し、前記第１の距離データと前記第２の距離データとを合成することにより、前記対象物との距離を示す第３の距離データを算出する、
    　請求項６に記載の測距装置。
  8. 　前記演算部は、前記画素ごとに、前記第１の距離データの距離によって、前記第１の距離データと前記第２の距離データとを合成する際の合成比率を変えて前記第３の距離データを算出する、
    　請求項７に記載の測距装置。
  9. 　前記演算部は、前記画素ごとに、前記第１の距離データと前記第２の距離データのどちらか小さい方の合成比率を１００％として、前記第３の距離データを算出する、
    　請求項７に記載の測距装置。
  10. 　前記演算部は、前記画素ごとに、前記第１の距離データと前記第２の距離データとの平均値で、前記第３の距離データを算出する
    　請求項７に記載の測距装置。
  11. 　対象物との距離を示す距離画像を生成する測距装置による測距方法であって、
    　前記測距装置は、
    　一定のパルス幅を持つ発光制御信号に従って間欠発光を行う発光部と、
    　入射光を信号電荷に変換する光電変換素子で構成される画素を二次元状に配列した固体撮像素子を有し、露光制御信号に従った露光で得られた信号電荷を出力する受光部とを備え、
    　前記測距方法は、
    　前記発光部に前記発光制御信号を出力し、１回の露光幅が前記発光制御信号のパルス幅と同じで、かつ前記発光制御信号を基準とする露光開始タイミングである位相が互いに異なる複数の露光制御信号を前記受光部に出力することで、前記受光部から前記複数の露光制御信号に従った露光で得られた複数の信号電荷を前記受光部から出力させる発光露光制御ステップと、
    　前記画素ごとに前記複数の信号電荷から少なくとも２つの信号電荷を選択する選択ステップと、
    　前記選択ステップで選択された前記少なくとも２つの信号電荷を基に前記対象物との距離を示す第１の距離データを算出する演算ステップとを含み、
    　前記複数の露光制御信号は、互いの位相差が前記一定のパルス幅と同一となる複数の露光制御信号からなる２つの組み合わせを含み、かつ、前記発光制御信号を基準として時間が早い順にＮ番目（Ｎは自然数）の露光制御信号を露光制御信号Ｎとした時、前記露光制御信号Ｎは前記２つの組み合わせの一方に属し、露光制御信号（Ｎ＋１）は前記２つの組み合わせの他方に属し、前記露光制御信号Ｎと露光制御信号（Ｎ＋１）との位相差は、前記一定のパルス幅未満となり、
    　前記選択ステップでは、前記発光部から照射された光の反射光を含むと判定した複数の前記信号電荷のうち、前記発光制御信号を基準として最も位相が早い前記露光制御信号に従った露光で得られた第１の信号電荷と、前記最も位相が早い前記露光制御信号との露光開始の位相差が前記一定のパルス幅と同一となる前記露光制御信号に従った露光で得られた第２の信号電荷とを前記画素ごとに選択し、
    　前記演算ステップでは、少なくとも前記第１の信号電荷と前記第２の信号電荷とから前記第１の距離データを算出する、
    　測距方法。
PCT/JP2023/014003 2022-04-13 2023-04-04 測距装置および測距方法 WO2023199804A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-066462 2022-04-13
JP2022066462 2022-04-13

Publications (1)

Publication Number Publication Date
WO2023199804A1 true WO2023199804A1 (ja) 2023-10-19

Family

ID=88329609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/014003 WO2023199804A1 (ja) 2022-04-13 2023-04-04 測距装置および測距方法

Country Status (1)

Country Link
WO (1) WO2023199804A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249673A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 測距装置、測距方法及び測距システム
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
WO2020196087A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 距離測定装置および画像生成方法
US20210080588A1 (en) * 2019-07-29 2021-03-18 Shenzhen GOODIX Technology Co., Ltd. 3d image sensor and related 3d image sensing module and hand-held device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249673A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 測距装置、測距方法及び測距システム
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
WO2020196087A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 距離測定装置および画像生成方法
US20210080588A1 (en) * 2019-07-29 2021-03-18 Shenzhen GOODIX Technology Co., Ltd. 3d image sensor and related 3d image sensing module and hand-held device

Similar Documents

Publication Publication Date Title
JP6741680B2 (ja) 撮像装置、およびそれに用いられる固体撮像素子
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
US11448757B2 (en) Distance measuring device
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6286677B2 (ja) 測距システム、及び撮像センサ
KR101711061B1 (ko) 깊이 추정 장치를 이용한 깊이 정보 추정 방법
US10073164B2 (en) Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element
WO2017022152A1 (ja) 測距撮像装置、及び、固体撮像装置
JP6304567B2 (ja) 測距装置及び測距方法
US20220082698A1 (en) Depth camera and multi-frequency modulation and demodulation-based noise-reduction distance measurement method
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
US11828850B2 (en) 3D image sensor and related 3D image sensing module and hand-held device
WO2019054099A1 (ja) 固体撮像装置、及びそれを備える撮像装置
CN112114328B (zh) 飞时测距装置
JP2020148682A (ja) 距離測定装置及びスキュー補正方法
WO2023199804A1 (ja) 測距装置および測距方法
JP2020003250A (ja) 距離計測装置
WO2021107036A1 (ja) 測距撮像装置
WO2024024744A1 (ja) 距離計測装置及び距離計測方法
WO2023153375A1 (ja) 距離計測装置及び距離計測方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2013174446A (ja) ３次元情報検出装置および３次元情報検出方法
TWI734079B (zh) 影像感測系統及其多功能影像感測器
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
US20240192335A1 (en) Distance image capturing device and distance image capturing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788223

Country of ref document: EP

Kind code of ref document: A1