WO2021019929A1 - 測距装置、測距システムおよび測距装置の調整方法 - Google Patents

測距装置、測距システムおよび測距装置の調整方法 Download PDF

Info

Publication number
WO2021019929A1
WO2021019929A1 PCT/JP2020/023140 JP2020023140W WO2021019929A1 WO 2021019929 A1 WO2021019929 A1 WO 2021019929A1 JP 2020023140 W JP2020023140 W JP 2020023140W WO 2021019929 A1 WO2021019929 A1 WO 2021019929A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
modulation frequency
distance measuring
measuring device
clock
Prior art date
Application number
PCT/JP2020/023140
Other languages
English (en)
French (fr)
Inventor
瀛 楊
堅誠 城
敬文 藤田
奈々 松本
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP20848464.2A priority Critical patent/EP4006586A4/en
Priority to US17/626,664 priority patent/US20220260690A1/en
Publication of WO2021019929A1 publication Critical patent/WO2021019929A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/003Bistatic lidar systems; Multistatic lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4911Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Definitions

  • the present disclosure relates to a distance measuring device, a distance measuring system, and an adjustment method of the distance measuring device.
  • a distance measuring method called ToF (Time of Flight) method is known.
  • ToF Time of Flight
  • Such a ToF method is a method of irradiating an object with light using a light source, receiving the reflected light with a ToF sensor, analyzing the received light result, and measuring the distance to the object.
  • the light source clock for the light source and the sensor clock for the ToF sensor are separate bodies. Therefore, the modulation frequency of the light source and the modulation frequency of the ToF sensor are not always synchronized, and the frequency may shift. Then, when the modulation frequency of the ToF sensor deviates from the modulation frequency of the light source, there is a possibility that an error may occur in the distance measurement result.
  • the present disclosure proposes an adjustment method of a distance measuring device, a distance measuring system, and a distance measuring device capable of adjusting the modulation frequency of the ToF sensor to the modulation frequency of the light source.
  • the distance measuring device includes a ToF (Time of Flight) sensor, a distance calculation unit, a mode switching unit, and an estimation unit.
  • the ToF sensor is a device-specific clock in which the sensor clock that controls the imaging timing is different from the light source clock that controls the modulation frequency of the emission pulse of the light source, and the emitted light of the light source that emits the pulsed light is reflected on the surface of the object. To shoot.
  • the distance calculation unit calculates the distance to the object based on the image data taken by the ToF sensor.
  • the mode switching unit switches the operation mode of the ToF sensor.
  • the estimation unit estimates the modulation frequency of the light source generated from the light source clock based on a plurality of image data captured by switching the operation mode by the mode switching unit.
  • the modulation frequency of the ToF sensor can be matched with the modulation frequency of the light source.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • a distance measuring method called ToF (Time of Flight) method is known.
  • ToF Time of Flight
  • Such a ToF method is a method of irradiating an object with light using a light source, receiving the reflected light with a ToF sensor, analyzing the received light result, and measuring the distance to the object.
  • the light source clock for the light source and the sensor clock for the ToF sensor are separate bodies.
  • the modulation frequency of the light source and the modulation frequency of the ToF sensor are not always synchronized, and the frequency may shift. Then, when the modulation frequency of the ToF sensor deviates from the modulation frequency of the light source, there is a possibility that an error may occur in the distance measurement result.
  • the present disclosure relates to a technique for performing distance measurement using light. Therefore, in order to facilitate understanding of each embodiment of the present disclosure, a distance measuring method applicable to each embodiment will be described with reference to FIGS. 1 to 5.
  • the ToF method is a method of irradiating an object with emitted light and analyzing the reflected light to measure the distance (depth) to the object and the shape of the object.
  • the three-dimensional shape measurement process is not particularly mentioned in the following description, it is possible to measure the three-dimensional shape of an object by measuring the distance of the object surface over the entire surface of the object.
  • FIGS. 1 to 5 are diagrams for explaining the outline of the distance measuring process by the ToF method.
  • the distance measuring system 1 according to each embodiment includes a light source 2 and a distance measuring device 3. Then, in the distance measuring system 1, the light L1 emitted from the light source 2 is reflected by the object 4, and the reflected light L2 is received by the distance measuring device 3.
  • pulsed light is emitted from the light source 2 as emitted light L1.
  • the phase ⁇ of the pulsed light (light receiving pattern) returned to the distance measuring device 3 as the reflected light L2 based on the pulsed light (light emitting pattern) from the light source 2 is set to the time ⁇ t. Convert.
  • the distance d from the distance measuring device 3 to the object 4 can be calculated by the following equation (3).
  • d (c ⁇ ) / 4 ⁇ f ... (3)
  • the ranging device 3 has a ToF sensor 23 (see FIG. 6).
  • the ToF sensor 23 has a function of each pixel repeating ON / OFF at high speed and accumulating electric charge only during the ON period.
  • the ON / OFF execution timing switching patterns are, for example, the following four types shown in FIG. (C1) Phase 0 degrees (c2) Phase 90 degrees (c3) Phase 180 degrees (c4) Phase 270 degrees
  • each switching pattern The details of each switching pattern are as follows.
  • the phase 0 degree is set so that the ON timing (light receiving timing) is the phase of the pulsed light emitted by the light source 2, that is, the same phase as the emission pattern of (a).
  • the phase of 90 degrees is set so that the ON timing (light receiving timing) is 90 degrees behind the pulsed light ((a) emission pattern) emitted by the light source 2.
  • the phase of 180 degrees is set so that the ON timing (light receiving timing) is 180 degrees behind the pulsed light ((a) emission pattern) emitted by the light source 2.
  • the phase of 270 degrees is set so that the ON timing (light receiving timing) is 270 degrees behind the pulsed light ((a) emission pattern) emitted by the light source 2.
  • the ToF sensor 23 of the distance measuring device 3 sequentially executes these four types of switching to acquire the amount of received light when the light receiving timing is changed. That is, four types of light-receiving amounts with different accumulation phases and charges corresponding to the light-received amounts are obtained.
  • the electric charges accumulated when the phases of the light receiving pixels with respect to the light emission pattern are 0 degrees, 90 degrees, 180 degrees, and 270 degrees are set to Q 0 , Q 90 , Q 180 , and Q 270 , respectively. To do.
  • phase ⁇ required to calculate the distance d to the object by applying the above equation (3) is the pulse received by the distance measuring device 3 with reference to the pulsed light emitted from the light source 2. This is the phase of light ((b) light receiving pattern)).
  • This phase ⁇ can be calculated by the following equation (4).
  • Arctan ((Q 90- Q 270 ) / (Q 180- Q 0 )) ... (4)
  • the distance d from the distance measuring device 3 to the object 4 can be calculated by inputting the phase ⁇ calculated by the equation (4) into the above equation (3).
  • FIG. 5 is a diagram showing image data captured by the ToF sensor 23 according to the time axis shown from left to right.
  • the phase difference between the pulsed light emission pattern and the drive pattern of the sensor pixel is 0 degrees, 90 degrees, 180 degrees, and 270 degrees.
  • the accumulated charge of the captured image in each phase setting is referred to as a "component".
  • the captured images of each phase setting in which the amount of phase shift from the light emission pattern (pulse) is 0 degree, 90 degree, 180 degree, and 270 degree are sequentially and repeatedly photographed.
  • one set of a combination of components for each phase setting of 0 degree, 90 degree, 180 degree, and 270 degree is referred to as a "frame". That is, one frame has accumulated charges (components) Q 0 , Q 90 , and Q of captured images in each phase setting in which the amount of phase shift from the light emission pattern (pulse) is 0 degrees, 90 degrees, 180 degrees, and 270 degrees. 180, with information about the Q 270.
  • phase image the image obtained by the equation (4) will be referred to as a "phase image”. Further, in each embodiment, the time between each component is set to be shorter than the time between frames.
  • FIG. 6 is a block diagram showing a configuration example of the distance measuring system 1 according to the first embodiment of the present disclosure.
  • the distance measuring system 1 includes a light source 2 and a distance measuring device 3.
  • the light source 2 and the distance measuring device 3 are formed separately.
  • the light source 2 and the distance measuring device 3 do not necessarily have to be formed separately, but may be integrally formed.
  • the light source 2 emits pulsed light having a predetermined modulation frequency to the object 4 as emitted light L1.
  • the light source 2 communicates with the light source clock 11, the PLL (Phase Locked Loop) circuit 12, the plurality of delay adjusting units 13a, 13b ..., the plurality of light source units 14a, 14b ..., And the control unit 15. It has a part 16.
  • the PLL Phase Locked Loop
  • the light source clock 11 generates a clock signal having a predetermined frequency f CL1 .
  • the PLL circuit 12 generates a pulse signal having a predetermined modulation frequency f L by multiplying the frequency f CL1 of the clock signal generated by the light source clock 11 by a constant.
  • C L which is set by the PLL circuit 12 as "PLL factor”.
  • the PLL circuit 12 is provided in association with the light source clock 11, by changing the PLL coefficients C L of such PLL circuit 12 can generate a plurality of modulation frequencies f L from one light source clock 11 ..
  • the delay adjusting units 13a, 13b ... Are the amount of delay in the light emission timing of the light source units 14a, 14b ... According to the length of the wiring from the light source clock 11 to the corresponding light source units 14a, 14b ... To control.
  • the light source units 14a, 14b ... emit pulsed light corresponding to the pulse signal generated by the PLL circuit 12 as emitted light L1.
  • the light source units 14a, 14b ... Emit pulsed light having the above-mentioned modulation frequency f L.
  • the light source units 14a, 14b ... are composed of, for example, a laser diode such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting LASER).
  • VCSEL Vertical Cavity Surface Emitting LASER
  • the light source units 14a, 14b ... are not limited to VCSELs, and laser diode arrays in which laser diodes are arranged on a line may be used.
  • the control unit 15 controls the overall operation of the light source 2 according to, for example, a program incorporated in advance.
  • the control unit 15 can switch the operation mode of the light source 2 by controlling the PLL circuit 12, the light source units 14a, 14b, and so on.
  • control unit 15 by controlling the PLL coefficients C L of the PLL circuit 12 can control the modulation frequency f L of the emitted light L1. Further, the control unit 15 can control ON / OFF of the emitted light L1 by controlling the light source units 14a, 14b ...
  • the communication unit 16 transmits and receives various information to and from the communication unit 31 of the distance measuring device 3.
  • the communication method used between the communication unit 16 and the communication unit 31 is any method regardless of whether it is wired or wireless (for example, LAN (Local Area Network), WiFi (registered trademark), Bluetooth (registered trademark), etc.). Can be applied.
  • the communication unit 16 synchronizes the time of the light source 2 and the distance measuring device 3, and determines the light emission timing and the light reception timing in advance. For example, PTP (Precision Time Protocol) can be used to synchronize the time.
  • PTP Precision Time Protocol
  • the distance measuring device 3 measures the distance d (see FIG. 1) to the object 4 by using the light emitted from the plurality of light source units 14a, 14b.
  • the distance measuring device 3 includes a sensor clock 21, a PLL circuit 22, a ToF sensor 23, a phase calculation unit 24, a storage unit 25, a distance calculation unit 26, a moving subject detection unit 27, an estimation unit 28, and the like. It has an adjusting unit 29, a control unit 30, and a communication unit 31.
  • the control unit 30 is an example of a mode switching unit.
  • the sensor clock 21 generates a clock signal having a predetermined frequency f CL2 .
  • the PLL circuit 22 is provided in association with the sensor clock 21, by changing the PLL coefficients C S of such PLL circuit 22 can generate a plurality of modulation frequencies f S from one sensor clock 21 ..
  • the ToF sensor 23 receives the reflected light L2 from the plurality of light source units 14a, 14b ... At different light receiving timings, and acquires image data in which the different light receiving timings are set. That is, the ToF sensor 23 acquires a frame including a plurality of components Q 0 , Q 90 , Q 180 , and Q 270 . To determine the light receiving timing of the ToF sensor 23, a pulse signal of a modulation frequency f S which is generated using the sensor clock 21, PLL circuit 22, and a control unit 30. The control unit 30 exposes the ToF sensor 23 in accordance with the light emission timing determined in advance.
  • the phase calculation unit 24 calculates the phase ⁇ using the above equation (4) from the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 acquired by the ToF sensor 23.
  • the phase calculation unit 24 calculates the phase ⁇ for each frame.
  • the storage unit 25 stores a frame image including the components captured by the ToF sensor 23 and the phase ⁇ data calculated by the phase calculation unit 24.
  • the distance calculation unit 26 calculates the distance d of the object 4 to be measured by the method described in Patent Document 1 from the difference data of the phase images of the plurality of light sources stored in the storage unit 25. This distance d is the distance from the distance measuring device 3 to the surface of the object 4.
  • the moving subject detection unit 27 detects a moving subject from the image captured by the ToF sensor 23.
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2.
  • the adjusting unit 29 adjusts the modulation frequency f S of the distance measuring device 3 based on the modulation frequency f L of the light source 2 estimated by the estimation unit 28. Details of the estimation process of the modulation frequency f L and the adjustment process of the modulation frequency f S will be described later.
  • the control unit 30 controls the overall operation of the distance measuring device 3 according to, for example, a program incorporated in advance.
  • the control unit 30 can switch the operation mode of the distance measuring device 3 by controlling the PLL circuit 22 and the ToF sensor 23.
  • control unit 30 controls the PLL coefficients C S of the PLL circuit 22, it is possible to control the light receiving timing of the ToF sensor 23. Further, the control unit 30 can control ON / OFF of the light reception of the reflected light L2 by controlling the ToF sensor 23.
  • the communication unit 31 synchronizes the system time with the communication unit 16 of the light source 2 and transmits / receives various information. Examples of various information include light emission timing.
  • FIG. 7 is a diagram showing a change in the phase ⁇ of each frame when there is no deviation between the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3.
  • Patent Document 1 uses a plurality of light source units 14a, 14b ... In order to measure the distance d using an external light source. Since the plurality of external light source units 14a, 14b ... Are driven by the same clock, the modulation frequency is the same as that of the other light sources if synchronization is performed with any one of them.
  • the plurality of light sources receive light in, for example, time-division (switched for each frame) by the ToF sensor 23.
  • FIG. 8 is a diagram showing a change in the phase ⁇ when there is a deviation between the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3.
  • the deviation amount ⁇ f between the modulation frequency f L and the modulation frequency f S is set as follows based on the deviation amount ⁇ of the phase ⁇ between adjacent frames (for example, frame 2 and frame 3). It can be calculated by the method.
  • the estimation unit 28 can calculate the deviation amount ⁇ f between the modulation frequency f L and the modulation frequency f S by the following equation (6) using the above equation (5).
  • the adjustment unit 29 is able to use the above equation (6), adjusting a new modulation frequency f S of the distance measuring device 3 (N) as in Equation (7) below.
  • the deviation between the modulation frequency f L of the light source 2 and the modulation frequency f S (N) of the distance measuring device 3 can be eliminated, so that the distance d can be calculated accurately.
  • FIG. 9 is a diagram showing a change in the phase difference ⁇ when the deviation between the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3 is large.
  • the deviation between the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3 is large, and the inclination of the broken line X indicating the change in the phase difference ⁇ is large as compared with the example of FIG. Even in this case, the value of the phase difference ⁇ in each frame may not be different from the example of FIG.
  • the value of the phase ⁇ observed by the ranging device 3 is in the range of 0 to 2 ⁇ , so that when the value of the phase ⁇ returns from 2 ⁇ to 0 after one round, it is distinguished from the value before one round.
  • the cause is that it cannot be used.
  • the amount of deviation ⁇ f between the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3 is ⁇ f (Hz). ), ⁇ f ⁇ 30 (Hz), ⁇ f ⁇ 60 (Hz) ...
  • FIG. 10 is a diagram for explaining the first photographing process according to the first embodiment of the present disclosure.
  • the control unit 30 sets the operation mode of the distance measuring device 3 according to the operation mode of the light source 2 previously communicated by the communication unit 31.
  • the light source 2 and ranging third frame rate is to set the operation mode to a predetermined frame rate F 1.
  • the operation mode may be set by adjusting the drive of the ToF sensor 23 with the setting of the light source 2 as the master as described above, or by another method.
  • the operation mode of the distance measuring device 3 may be set with the setting of the distance measuring device 3 as the master and the light source 2 as the slave.
  • the operation mode of the distance measuring device 3 may be set by switching the operation modes of both the light source 2 and the distance measuring device 3 at a predetermined time. In this case, communication is not required between the light source 2 and the distance measuring device 3.
  • the ToF sensor 23 photographs the object 4 and acquires the image data.
  • the phase calculation unit 24 calculates the phase ⁇ of the acquired image data for each frame.
  • the estimation unit 28 calculates the shift amount [Delta] [phi 1 of the phase ⁇ between adjacent frames, and calculates the deviation amount Delta] f 1 frequency is used from such displacement amount [Delta] [phi 1 Equation (8) below.
  • ⁇ f 1 ⁇ 1 ⁇ F 1 / (2 ⁇ ) ⁇ ⁇ (8)
  • FIG. 11 is a diagram for explaining a second photographing process according to the first embodiment of the present disclosure.
  • the control unit 30 and the control unit 15 switch the operation modes of the light source 2 and the distance measuring device 3 from the operation modes of the first photographing process. Specifically, the control unit 30 and the control unit 15 switch the operation mode so that the frame rates of the light source 2 and the distance measuring device 3 become a predetermined frame rate F 2 .
  • the ToF sensor 23 photographs the object 4 and acquires image data. Then, the phase calculation unit 24 calculates the phase ⁇ of the acquired image data for each frame.
  • the estimation unit 28 calculates the shift amount [Delta] [phi 2 of the phase ⁇ between adjacent frames, and calculates the shift amount Delta] f 2 frequency using from such displacement amount [Delta] [phi 2 Equation (10) below.
  • ⁇ f 2 ⁇ 2 ⁇ F 2 / (2 ⁇ ) ⁇ ⁇ (10)
  • the value of the true deviation amount ⁇ f GT between the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3 is as shown in the following equation (11) from “indefiniteness of 2 ⁇ ”.
  • ⁇ f GT ⁇ f 2 + N 2 ⁇ F 2 ⁇ ⁇ (11) (N 2 : Integer)
  • the integer N 1 and integer N 2 of formula (11) of the above formula (9) determine the true amount of deviation Delta] f GT.
  • the integer N 1 and the integer N 2 can be obtained by using a method known as the "Chinese Remainder Theorem”. Next, an example using such a method will be described.
  • the estimation unit 28 calculates the value A 1 and the value A 2 from the following equations (12) and (13) using the least common multiple A.
  • a 1 A / F 1 ... (12)
  • a 2 A / F 2 ... (13)
  • the least common multiple A does not match the frame rate F 1 and F 2, and used to select the frame rate F 1, F 2.
  • the estimation unit 28 uses the integer N 2 calculated as described above to obtain the true result of the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3 from the following equation (24).
  • the amount of deviation ⁇ f GT can be calculated.
  • ⁇ f GT N 2 ⁇ F 2 + ⁇ f 2 ⁇ ⁇ (24)
  • estimation unit 28 exchanges various numerical values for the first imaging process and the second imaging process, and applies the methods described in the above equations (12) to (24) again to obtain a true deviation amount ⁇ f. It is possible to verify whether or not the GT is calculated correctly.
  • the adjusting unit 29 can adjust the new modulation frequency f S (N) of the distance measuring device 3 as shown in the following formula (25) by using the above formula (24).
  • f S (N) f S + ⁇ f GT ... (25)
  • the deviation between the modulation frequency f L of the light source 2 and the modulation frequency f S (N) of the distance measuring device 3 can be eliminated, so that the distance d can be calculated accurately.
  • the true deviation amount ⁇ f GT is calculated by applying the above method, so that the estimated range of the true deviation amount ⁇ f GT is set to ⁇ A / 2 (Hz) ⁇ f GT ⁇ A / 2. It can be in the range of (Hz).
  • the least common multiple A is 120, so the estimated range of the true deviation amount ⁇ f GT is -60 ( It can be in the range of Hz) ⁇ f GT ⁇ +60 (Hz).
  • the estimated range of the deviation amount ⁇ f is in the range of ⁇ F / 2 (Hz) ⁇ f GT ⁇ F / 2 (Hz). That is, when the frame rate F is 30 (fps), the estimated range of the deviation amount ⁇ f is in the range of ⁇ 15 (Hz) ⁇ f GT ⁇ +15 (Hz).
  • the estimation range of the true deviation amount ⁇ f GT can be expanded by calculating the true deviation amount ⁇ f GT by applying the above method. Therefore, according to the first embodiment, even when the light source 2 and the modulation frequency f L and the modulation frequency f S of the distance measuring device 3 deviates greatly, the modulation frequency f S of the distance measuring apparatus 3 of the light source 2 modulation frequencies It can be adjusted to f L.
  • the modulation frequency f L of the light source 2 is based on a plurality of image data in which the frame rate is switched between the frame rates F 1 and F 2 by the control unit 30. That is, the true deviation amount ⁇ f GT ) is estimated.
  • the modulation frequency f S of the ToF sensor 23 (that is, the distance measuring device 3) can be adjusted to the modulation frequency f L of the light source 2.
  • FIG. 12 is a diagram showing an example of an operation in the estimation process of the distance measuring system 1 according to the first embodiment of the present disclosure.
  • the control unit 30 and the control unit 15 switch both the operation modes of the light source 2 and the ToF sensor 23 of the distance measuring device 3.
  • control unit 30 and the control unit 15 carry out the first photographing process. Specifically, as shown in FIG. 12, the control unit 30 and the control unit 15 simultaneously turn on / off the light source 2 and the ToF sensor 23 at the same frame rate F 1 (for example, 30 (fps)). To operate.
  • F 1 for example, 30 (fps)
  • the control unit 30 sets the operation mode of the distance measuring device 3 according to the operation mode of the light source 2 previously communicated by the communication unit 31. Further, the control unit 30 and the control unit 15 can accurately synchronize the light source 2 and the ToF sensor 23 by using the PTP (Precision Time Protocol) technology.
  • PTP Precision Time Protocol
  • the ToF sensor 23 acquires data of a plurality of components Q 0 , Q 90 , Q 180 , and Q 270 for each frame. Then, the phase calculation unit 24 calculates the phase ⁇ for each frame based on the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 .
  • the estimation unit 28 calculates the shift amount [Delta] [phi 1 of the phase ⁇ between frames adjacent in a frame rate F 1.
  • control unit 30 and the control unit 15 carry out the second photographing process. Specifically, the control unit 30 and the control unit 15 simultaneously turn on / off the light source 2 and the ToF sensor 23 at a frame rate F 2 (for example, 40 (fps)) different from the frame rate F 1. Switch the operation mode.
  • F 2 for example, 40 (fps)
  • the control unit 30 switches the operation mode of the distance measuring device 3 according to the operation mode of the light source 2 previously communicated by the communication unit 31.
  • the ToF sensor 23 acquires data of a plurality of components Q 0 , Q 90 , Q 180 , and Q 270 for each frame. Then, the phase calculation unit 24 calculates the phase ⁇ for each frame based on the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 .
  • the estimation unit 28 the difference (deviation amount) of the phase ⁇ between frames adjacent in a frame rate F 2 calculates the [Delta] [phi 2. Since the subsequent processing is described above, the description thereof will be omitted.
  • the light emission time of the light source 2 can be minimized by switching both the operation modes of the light source 2 and the ToF sensor 23. Therefore, according to the example of FIG. 12, the power consumption of the distance measuring system 1 can be reduced.
  • FIG. 13 is a diagram showing another example of the operation in the estimation process of the distance measuring system 1 according to the first embodiment of the present disclosure.
  • the control unit 30 switches only the operation mode of the ToF sensor 23 of the distance measuring device 3.
  • the control unit 30 performs the first photographing process. Specifically, as shown in FIG. 13, the control unit 30 operates the ToF sensor 23 so as to turn it on / off at a predetermined frame rate F 1 (for example, 30 (fps)). In the example of FIG. 13, the light source 2 is controlled to continuously emit the emitted light L1.
  • F 1 for example, 30 (fps)
  • the ToF sensor 23 acquires data of a plurality of components Q 0 , Q 90 , Q 180 , and Q 270 for each frame. Then, the phase calculation unit 24 calculates the phase ⁇ for each frame based on the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 .
  • the estimation unit 28 calculates the shift amount [Delta] [phi 1 of the phase ⁇ between frames adjacent in a frame rate F 1.
  • control unit 30 performs the second photographing process. Specifically, the control unit 30 switches the operation mode so that the ToF sensor 23 is turned on / off at a frame rate F 2 (for example, 40 (fps)) different from the frame rate F 1 .
  • F 2 for example, 40 (fps)
  • the ToF sensor 23 acquires data of a plurality of components Q 0 , Q 90 , Q 180 , and Q 270 for each frame. Then, the phase calculation unit 24 calculates the phase ⁇ for each frame based on the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 .
  • the estimation unit 28 calculates the shift amount [Delta] [phi 2 of the phase ⁇ between frames adjacent in a frame rate F 2. Since the subsequent processing is described above, the description thereof will be omitted.
  • the modulation frequency f L of the light source 2 can be estimated even when the communication unit 16 is not provided in the light source 2. Therefore, according to the example of FIG. 13, since the communication unit 16 can be omitted from the light source 2, the cost of the distance measuring system 1 can be reduced.
  • the number of switchable operation modes is not limited to two, and three or more types are available. It may be switched to the operation mode.
  • object to be adjusted is not limited to the modulation frequency f S of the distance measuring device 3.
  • the adjusting unit 29 may adjust the modulation frequency f L of the light source 2. Further, in order to match the modulation frequency f S of the distance measuring device 3 to the modulation frequency f L of the light source 2, the adjustment unit 29, both the adjustment of the light source 2 and the modulation frequency f L range finder 3 of a modulation frequency f S You may.
  • the adjustment unit 29 controls the PLL coefficients C L of the PLL circuit 12 to the control unit 15 You should send a command to let them do it.
  • FIG. 14 is a diagram for explaining the first photographing process according to the second embodiment of the present disclosure.
  • the control unit 30 and the control unit 15 set the operation mode so that the modulation frequencies of the light source 2 and the distance measuring device 3 are predetermined modulation frequencies f L1 and f S1 .
  • the control unit 30 by changing the PLL coefficients of the PLL circuit 22 so as to match the PLL coefficients C L1 of the PLL circuit 12 to C S1, the distance measuring device 3 modulation frequency f S1 light source 2
  • the operation mode is set so as to match the modulation frequency f L1 of .
  • the modulation frequencies f L1 and f S1 are frequencies that are considered to be equal to each other.
  • the frame rate is constant at F.
  • the ToF sensor 23 photographs the object 4 and acquires the image data.
  • the phase calculation unit 24 calculates the phase ⁇ of the acquired image data for each frame.
  • the estimation unit 28 calculates the shift amount [Delta] [phi 1 of the phase ⁇ between adjacent frames, and calculates the deviation amount Delta] f 1 frequency is used from such displacement amount [Delta] [phi 1 Equation (26) below.
  • ⁇ f 1 ⁇ 1 ⁇ F / (2 ⁇ ) ⁇ ⁇ (26)
  • FIG. 15 is a diagram for explaining the second photographing process according to the second embodiment of the present disclosure. Subsequently, the control unit 30 and the control unit 15 switch the operation modes of the light source 2 and the distance measuring device 3 from the operation modes of the first photographing process.
  • the control unit 30 switches the operation mode so that the modulation frequency f S2 of the distance measuring device 3 matches the modulation frequency f L2 of the light source 2. That is, the control unit 30, a PLL factor of the PLL circuit 12 to match the C L2, changing the PLL coefficients C S2 of PLL circuit 22.
  • the modulation frequencies f L2 and f S2 are frequencies that are considered to be equal to each other.
  • the ToF sensor 23 photographs the object 4 and acquires image data. Then, the phase calculation unit 24 calculates the phase ⁇ of the acquired image data for each frame.
  • the estimation unit 28 calculates the shift amount [Delta] [phi 2 of the phase ⁇ between adjacent frames, and calculates the shift amount Delta] f 2 frequency using from such displacement amount [Delta] [phi 2 Equation (28) below.
  • ⁇ f 2 ⁇ 2 ⁇ F / (2 ⁇ ) ⁇ ⁇ (28)
  • the integer N 1 and the integer N 2 can be obtained by using a method known as the "Chinese Remainder Theorem". Next, an example using such a method will be described.
  • C is set so that the values A 1 and A 2 of the following equations (30) and (31) are relatively prime.
  • a 1 C / C S1 ... (30)
  • a 2 C / C S2 ... (31)
  • the estimation unit 28 obtains in advance a value b that satisfies the following equation (36).
  • (B ⁇ A 2 ) modA 1 1 ⁇ ⁇ (36)
  • the estimation unit 28 uses the integer N 2 calculated as described above to generate the frequency f CL1 of the clock signal generated by the light source clock 11 and the sensor clock 21 from the following equation (42). It is possible to calculate the error ⁇ f Err of the clock signal to be performed with the frequency f CL2 .
  • ⁇ f Err ( ⁇ f 2 + N 2 ⁇ F) / CS2 ⁇ ⁇ (42)
  • estimation unit 28 exchanges various numerical values in the first imaging process and the second imaging process, and applies the methods described in the above equations (26) to (42) again, so that the error ⁇ f Err is correct. It is possible to verify whether or not it has been calculated.
  • the adjusting unit 29 can adjust the new modulation frequency f S (N) of the distance measuring device 3 based on the error ⁇ f Err calculated by the above equation (42). As a result, the deviation between the modulation frequency f L of the light source 2 and the modulation frequency f S (N) of the distance measuring device 3 can be eliminated, so that the distance d can be calculated accurately.
  • the estimation range of the error ⁇ f Err can be expanded by calculating the error ⁇ f Err by applying the above method. Therefore, according to the second embodiment, even when the light source 2 and the modulation frequency f L and the modulation frequency f S of the distance measuring device 3 deviates greatly, the modulation frequency f S of the distance measuring apparatus 3 of the light source 2 modulation frequencies It can be adjusted to f L.
  • the measurement with respect to the light source clock 11 of the light source 2 is performed based on a plurality of image data captured by switching the modulation frequencies f L and f S by the control unit 30 and the control unit 15.
  • the error ⁇ f Err of the sensor clock 21 of the distance device 3 is estimated.
  • the modulation frequency f S of the ToF sensor 23 (that is, the distance measuring device 3) can be adjusted to the modulation frequency f L of the light source 2.
  • FIG. 16 is a diagram showing an example of an operation in the estimation process of the distance measuring system 1 according to the second embodiment of the present disclosure.
  • the control unit 30 and the control unit 15 alternately switch the modulation frequencies f L and f S of the light source 2 and the ToF sensor 23 for each frame.
  • the control unit 30 and the control unit 15 perform the first shooting process in the first frame (hereinafter, also referred to as frame 1). Specifically, as shown in FIG. 16, the control unit 30 and the control unit 15 set the modulation frequency of the light source 2 to f L1 in the frame 1, and set the modulation frequency of the distance measuring device 3 (that is, the ToF sensor 23). Is set to f S1 .
  • the control unit 30 sets the modulation frequency of the light source 2 to f L1 by sending a command to the control unit 15 via the communication unit 31 and the communication unit 16.
  • the operation mode of the light source 2 and the distance measuring device 3 may be set with the setting of the light source 2 as the master and the distance measuring device 3 as the slave. Further, by switching the operation modes of both the light source 2 and the distance measuring device 3 at a predetermined time, the modulation frequency of the light source 2 is set to f L1 and the modulation frequency of the distance measuring device 3 is set to f S1 . You may.
  • the ToF sensor 23 acquires the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 in the frame 1. Then, the phase calculation unit 24 calculates the phase ⁇ of the frame 1 based on the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 .
  • control unit 30 and the control unit 15 perform the second shooting process in the next frame (hereinafter, also referred to as frame 2). Specifically, as shown in FIG. 16, the control unit 30 and the control unit 15 set the modulation frequency of the light source 2 to f L2 in the frame 2, and the modulation frequency of the distance measuring device 3 (that is, the ToF sensor 23). Is set to f S2 .
  • the ToF sensor 23 acquires data of a plurality of components Q 0 , Q 90 , Q 180 , and Q 270 in the frame 2. Then, the phase calculation unit 24 calculates the phase ⁇ of the frame 2 based on the data of the plurality of components Q 0 , Q 90 , Q 180 , and Q 270 .
  • the first shooting process is performed in the frames 3, 5, 7 ...
  • the second shooting process is performed in the frames 4, 6, 8 ...
  • the estimation unit 28 calculates the shift amount [Delta] [phi 1 of the phase ⁇ in the modulation frequency f L1, f S1. Further, the estimation unit 28, the phase ⁇ acquired in the second photography processing (frame 2,4,6 ...), calculates the shift amount [Delta] [phi 2 of the phase ⁇ in the modulation frequency f L2, f S2. Since the subsequent processing is described above, the description thereof will be omitted.
  • the above-mentioned error ⁇ f Err can be calculated by alternately switching the modulation frequencies f L and f S of the light source 2 and the ToF sensor 23.
  • FIG. 17 is a diagram showing another example of the operation in the estimation process of the distance measuring system 1 according to the second embodiment of the present disclosure.
  • the interval between the frame in which the first shooting process is performed for example, frame 1 and the frame in the second shooting process performed after the first shooting process (for example, frame 2) is possible. Make it as short as possible.
  • the value of the distance d of the object 4 in the first photographing process and the value of the distance d of the object 4 in the subsequent second photographing process can be brought close to each other. it can. Therefore, according to the example of FIG. 17, even if the object 4 is slightly moving, the error ⁇ f Err can be calculated satisfactorily.
  • the number of switchable operation modes is not limited to two, and three or more types are available. It may be switched to the operation mode.
  • object to be adjusted is not limited to the modulation frequency f S of the distance measuring device 3.
  • the adjusting unit 29 may adjust the modulation frequency f L of the light source 2. Further, in order to match the modulation frequency f S of the distance measuring device 3 to the modulation frequency f L of the light source 2, the adjustment unit 29, both the adjustment of the light source 2 and the modulation frequency f L range finder 3 of a modulation frequency f S You may.
  • FIG. 18 is a diagram showing an example of an operation in the estimation process of the distance measuring system 1 according to the third embodiment of the present disclosure.
  • the amount of deviation ⁇ f between the modulation frequency f L and the modulation frequency f S is calculated by using the methods described in the above equations (1) to (6).
  • the deviation amount ⁇ f calculated here has “indefiniteness of 2 ⁇ ”
  • the true value of the deviation amount ⁇ f is as shown in the following equation (43).
  • ⁇ f (true value) ⁇ f + F ⁇ N ⁇ ⁇ (43) (N: integer)
  • the most appropriate deviation amount ⁇ f is regarded as the true deviation amount ⁇ f (true value) in consideration of the indefiniteness of 2 ⁇ .
  • the estimation unit 28 selects one value of the integer N.
  • control unit 30 on the basis of the selected integer N of shift amount obtained by inputting the above formula the value (43) Delta] f (true value), the distance measuring device 3 modulation frequency f S To adjust.
  • the estimation unit 28 selects a value of a different integer N. Then, the control unit 30 is different from the value of the integer N based on the shift amount obtained by inputting the above formula (43) Delta] f (true value), readjusting the modulation frequency f S of the distance measuring apparatus 3 ..
  • control unit 30 as the modulation frequency f S is changed in F (Hz) increments the value of the frame rate, switch the operation mode of the distance measuring device 3.
  • the confidence value of a different integer N is calculated by the same processing as above. Further, by the same processing as described above, the confidence values when the integer N is 0, ⁇ 1, ⁇ 2, ... Are calculated respectively.
  • the estimation unit 28 regards the integer N for which the confidence value having the largest value is obtained as the integer N having the highest validity. Then, the estimation unit 28 can calculate the true value of the deviation amount ⁇ f by inputting the integer N considered to be the most valid into the above equation (43).
  • the deviation amount ⁇ f between the modulation frequency f L and the modulation frequency f S is calculated by switching the operation mode of the distance measuring device 3 and calculating the feasibility value in each operation mode. can do.
  • the modulation frequency f S of the ToF sensor 23 that is, the distance measuring device 3
  • the modulation frequency f L of the light source 2 can be adjusted to the modulation frequency f L of the light source 2.
  • the search is performed by changing the modulation frequency on the ToF sensor 23 side, but the search may be performed by changing the modulation frequency on the light source 2 side.
  • the modulation frequency f L of the light source is changed by the control unit 15 via the communication unit 31 and the communication unit 16 in increments of F (Hz), which is the value of the frame rate.
  • F the modulation frequency f L of the light source 2
  • the modulation frequency f L of the light source 2 can be adjusted to the modulation frequency f S of the ToF sensor 23 (that is, the distance measuring device 3).
  • the modulation frequencies f L and f S are changed in increments of F (Hz), which is a frame rate value.
  • F a frame rate value.
  • the modulation frequency f L or f S is changed in increments of 30 (Hz). This makes it possible to prevent unnecessary searches.
  • the formula for calculating the confidence value used in the third embodiment is not limited to the formula (44).
  • the following formulas (45) and (46) can be applied as formulas for calculating the confidence value.
  • Confidence value
  • Confidence value max (
  • FIG. 19 is a flowchart showing a processing procedure of the estimation process and the adjustment process according to the first embodiment.
  • control unit 30 or the control unit 15, from among a plurality of frame rates is preset as a candidate of a plurality of operation modes, one frame rate (for example, the frame rate F 1) selecting (step S101 ).
  • the ToF sensor 23 measures the phase image at a certain frame (step S102). That is, the ToF sensor 23 measures the components Q 0 , Q 90 , Q 180 , and Q 270 at a certain frame, and calculates the equation (4).
  • the ToF sensor 23 measures the phase image in another frame (step S103). That is, the ToF sensor 23 measures the components Q 0 , Q 90 , Q 180 , and Q 270 in another frame, and calculates the equation (4).
  • the moving subject detection unit 27 detects the moving subject position (that is, the position of the moving subject) from the image captured by the ToF sensor 23 (step S104).
  • the estimation unit 28 calculates the amount of phase ⁇ deviation at one selected frame rate based on the phase images measured in steps S102 and S103 (step S105).
  • step S104 the position of the moving subject detected in step S104 is excluded from the phase image used in step S105. This is because it is assumed that the subject is stationary in the process of calculating the amount of phase ⁇ deviation, so that the amount of phase ⁇ deviation can be calculated accurately when the position of the moving subject is included. Because it is difficult.
  • the estimation unit 28 determines whether or not data has been acquired for a specified number of frames (step S106). Then, when the data has not been acquired by the specified number of frames (steps S106, No), the process returns to the process of step S102.
  • the estimation unit 28 calculates the average value of the deviation amounts of all the acquired phases (step S107), and calculates the average value. It is regarded as the amount of phase ⁇ shift at one selected frame rate.
  • the estimation unit 28 determines whether or not the amount of phase ⁇ deviation has been calculated for all candidate frame rates (step S108).
  • the control unit 30 or the control unit 15 selects a different frame rate (for example, the frame rate F 2) Then (step S109), the process returns to the process of step S102.
  • the estimation unit 28 uses the light source 2 based on the amount of phase ⁇ deviation at all candidate frame rates.
  • the modulation frequency f L of the above is estimated (step S110).
  • the adjusting unit 29 adjusts the modulation frequency f S of the distance measuring device 3 based on the modulation frequency f L of the light source 2 estimated in step S110 (step S111), and completes the process.
  • FIG. 20 is a flowchart showing a processing procedure of the estimation process and the adjustment process according to the second embodiment.
  • control unit 30 or the control unit 15 selects one modulation frequency (for example, modulation frequencies f L1 and f S1 ) from a plurality of modulation frequencies preset as candidates for a plurality of operation modes. (Step S201).
  • modulation frequencies f L1 and f S1 for example, modulation frequencies f L1 and f S1 .
  • the ToF sensor 23 measures the phase image at a certain frame (step S202). That is, the ToF sensor 23 measures the components Q 0 , Q 90 , Q 180 , and Q 270 at a certain frame, and calculates the equation (4).
  • the ToF sensor 23 measures the phase image in another frame (step S203). That is, the ToF sensor 23 measures the components Q 0 , Q 90 , Q 180 , and Q 270 in another frame, and calculates the equation (4).
  • the moving subject detection unit 27 detects the moving subject position (that is, the position of the moving subject) from the image captured by the ToF sensor 23 (step S204).
  • the estimation unit 28 calculates the amount of phase ⁇ deviation at one selected modulation frequency based on the phase images measured in steps S202 and S203 (step S205).
  • the position of the moving subject detected in step S204 is excluded from the phase image used in step S205.
  • the estimation unit 28 determines whether or not data has been acquired for a specified number of frames (step S206). Then, when the data has not been acquired by the specified number of frames (steps S206 and No), the process returns to the process of step S202.
  • the estimation unit 28 calculates the average value of the deviation amounts of all the acquired phases (step S207), and calculates the average value. It is regarded as the amount of phase ⁇ shift at one selected modulation frequency.
  • the estimation unit 28 determines whether or not the amount of phase ⁇ deviation has been calculated for all the candidate modulation frequencies (step S208).
  • the control unit 30 or the control unit 15 may use another modulation frequency (for example, modulation frequencies f L2 , f S2). ) Is selected (step S209), and the process returns to the process of step S202.
  • the estimation unit 28 uses the light source 2 based on the amount of phase ⁇ deviation at all candidate modulation frequencies.
  • the modulation frequency f L of is estimated (step S210).
  • the adjusting unit 29 adjusts the modulation frequency f S of the distance measuring device 3 based on the modulation frequency f L of the light source 2 estimated in step S210 (step S211), and completes the process.
  • FIG. 21 is a flowchart showing a processing procedure of the estimation process and the adjustment process according to the third embodiment.
  • the ToF sensor 23 measures a phase image at a certain frame (step S301). That is, the ToF sensor 23 measures the components Q 0 , Q 90 , Q 180 , and Q 270 at a certain frame, and calculates the equation (4).
  • the ToF sensor 23 measures the phase image in another frame (step S302). That is, the ToF sensor 23 measures the components Q 0 , Q 90 , Q 180 , and Q 270 in another frame, and calculates the equation (4).
  • the moving subject detection unit 27 detects the moving subject position (that is, the position of the moving subject) from the image captured by the ToF sensor 23 (step S303).
  • the estimation unit 28 calculates the amount of phase ⁇ deviation based on the phase images measured in steps S301 and S302 (step S304).
  • the position of the moving subject detected in step S303 is excluded from the phase image used in step S304.
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2 based on the amount of phase ⁇ deviation calculated in step S304 (step S305). Then, the control unit 30 selects one integer N from a plurality of integers preset as candidates (step S306).
  • control unit 30 based on one of the integers N chosen, adjusting the modulation frequency f S (step S307). Then, the estimation unit 28 calculates a confidence value in the adjusted modulation frequency f S (step S308).
  • the estimation unit 28 determines whether or not the confidence value has been calculated with all the candidate integers (step S309). Then, when the confidence value is not calculated for all the candidate integers (step S309, No), the control unit 30 selects another integer N (step S310), and returns to the process of step S307.
  • the estimation unit 28 selects the integer N having the largest confidence value (step S311).
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2 based on the selected integer N (step S311).
  • the adjusting unit 29 adjusts the modulation frequency f S of the distance measuring device 3 based on the modulation frequency f L of the light source 2 estimated in step S311 (step S312), and completes the process.
  • FIG. 22 is a block diagram showing a configuration example of the ranging module 210 according to each embodiment of the present disclosure.
  • the distance measuring module 210 includes an image pickup lens 220, a solid-state image pickup element 300, and a distance measurement calculation unit 230.
  • the distance measuring module 210 is an example of the distance measuring device 3 (see FIG. 6) according to each embodiment
  • the solid-state image sensor 300 is an example of the ToF sensor 23 (see FIG. 6) according to each embodiment.
  • the distance measurement calculation unit 230 is an example of the distance calculation unit 26 (see FIG. 6) according to each embodiment.
  • the image pickup lens 220 collects the emitted light L1 (see FIG. 6) from the plurality of light source units 14a, 14b ... (See FIG. 6) and the reflected light L2 (see FIG. 6) from the emitted light L1. It leads to the solid-state image sensor 300.
  • the solid-state image sensor 300 generates image data by photoelectrically converting the light from the image sensor 220.
  • a vertical synchronization signal VSYNC with a predetermined frequency and reference clocks CLKs are input to the solid-state image sensor 300.
  • the frequency of the vertical synchronization signal VSYNC is set to a value (60 Hz, etc.) lower than the frequency (20 MHz, etc.) of the emitted light L1 emitted by the plurality of light source units 14a, 14b. Further, the frequency of the reference clock CLKs is set to the same value as the frequency of the emitted light L1.
  • the reference clocks CLKs are not synchronized with the emitted light L1 of the plurality of light source units 14a, 14b ..., And the phase is not always the same as the emitted light L1.
  • the solid-state image sensor 300 generates image data in synchronization with the vertical synchronization signal VSYNC or the like, and supplies the image data to the distance measurement calculation unit 230.
  • the distance measurement calculation unit 230 creates a depth map including information on the distance d to the object 4 based on the image data supplied from the solid-state image sensor 300, and outputs the depth map to the outside.
  • FIG. 23 is a block diagram showing a configuration example of the solid-state image sensor 300 according to each embodiment of the present disclosure.
  • the solid-state image sensor 300 includes a row scanning circuit 310, a pixel array unit 320, a timing control unit 340, a plurality of AD (Analog to Digital) conversion units 350, a column scanning circuit 360, and a signal processing unit 370. Be prepared.
  • a plurality of pixel circuits 330 are arranged in a two-dimensional grid pattern in the pixel array unit 320.
  • a set of pixel circuits 330 arranged in a predetermined direction is referred to as a "row”
  • a set of pixel circuits 330 arranged in a direction perpendicular to the row is referred to as a "column”.
  • the AD conversion unit 350 described above is provided for each column.
  • the timing control unit 340 controls the row scanning circuit 310, the AD conversion unit 350, and the column scanning circuit 360 in synchronization with the vertical synchronization signal VSYNC.
  • the row scanning circuit 310 selects rows in order and outputs a pixel signal.
  • the pixel circuit 330 outputs a pixel signal at a level corresponding to the amount of received light according to the control of the row scanning circuit 310.
  • the AD conversion unit 350 AD-converts the pixel signal from the corresponding column.
  • the AD conversion unit 350 outputs the AD-converted pixel signal as pixel data to the signal processing unit 370 under the control of the column scanning circuit 360.
  • the column scanning circuit 360 sequentially selects the AD conversion unit 350 to output pixel data.
  • the signal processing unit 370 performs signal processing such as CDS (Correlated Double Sampling) processing on image data composed of pixel data.
  • the signal processing unit 370 supplies the image data after signal processing to the distance measurement calculation unit 230.
  • FIG. 24 is a block diagram showing a configuration example of the pixel circuit 330 according to each embodiment of the present disclosure.
  • a pixel circuit 330 includes a light receiving element 331, a transfer switch 332, charge storage units 333 and 334, and selection switches 335 and 336.
  • the light receiving element 331 photoelectrically converts light to generate an electric charge.
  • a SPAD element for example, a SPAD element, a photodiode, or the like is used.
  • the transfer switch 332 connects the light receiving element 331 to any of the charge storage unit 333, the charge storage unit 334, and the reset power supply Vrst according to the control of the row scanning circuit 310.
  • the "frequency on the ToF sensor 23 side" described in each embodiment is a cycle in which charges are distributed to the two charge storage units 333 and 334.
  • This transfer switch 332 is realized by, for example, a plurality of MOS (Metal-Oxide-Semiconductor) transistors. When connected to the reset power supply Vrst, the charge output from the drain of the MOS transistor is discarded, and the charge of the light receiving element 331 is initialized.
  • MOS Metal-Oxide-Semiconductor
  • the electric charge storage units 333 and 334 accumulate electric charges and generate a voltage according to the accumulated amount.
  • a floating diffusion layer is used as these charge storage units 333 and 334.
  • the selection switch 335 opens and closes the line between the charge storage unit 333 and the AD conversion unit 350 under the control of the row scanning circuit 310.
  • the selection switch 336 opens and closes the line between the charge storage unit 334 and the AD conversion unit 350 under the control of the row scanning circuit 310.
  • the selection switch 335 transitions to the closed state when the FD read signal RD_FD1 is supplied by the row scanning circuit 310, and the selection switch 336 transitions to the closed state when the FD read signal RD_FD2 is supplied by the row scanning circuit 310.
  • Each of these selection switches 335 and 336 is realized by, for example, a MOS transistor.
  • FIG. 25 is a timing chart showing an example of the operation of the solid-state image sensor during the Q1Q2 detection period according to each embodiment of the present disclosure.
  • the pixel circuit 330 alternately repeats the detection of the light receiving amounts Q1 and Q2 and the detection of the light receiving amounts Q3 and Q4.
  • the detection period of the received light amounts Q1 and Q2 is referred to as “Q1Q2 detection period”
  • the detection period of the received light received amounts Q3 and Q4 is referred to as "Q3Q4 detection period”.
  • the period consisting of the Q1Q2 detection period and the Q3Q4 detection period is referred to as a "measurement period”.
  • the length of each of the Q1Q2 detection period and the Q3Q4 detection period is the period of the vertical synchronization signal VSYNC (for example, 1/60 second).
  • the received light amount Q1 is a cumulative amount of the received light amount q1 from 0 degrees to 180 degrees over the Q1Q2 detection period, with the specific phase (for example, rising edge) of the reference clock CLKs being 0 degrees. Since the frequency of the reference clock CLKs is as high as 20 MHz (MHz), the amount of received light q1 per cycle (1/20 microsecond) is very small, and it is difficult to detect.
  • the pixel circuit 330 accumulates each of q1 over a Q1Q2 detection period such as 1/60 second, which is longer than the period of the reference clock CLKs (1/20 microsecond), and detects the total amount as the received light amount Q1. To do. Further, the received light amount Q2 is a cumulative amount of the received light amount q2 from 180 degrees to 360 degrees over the Q1Q2 detection period.
  • the light receiving amount Q3 is the cumulative amount of the light receiving amount q3 from 90 degrees to 270 degrees over the Q3Q4 detection period. Further, the received light amount Q4 is a cumulative amount of the received light amount q4 from 270 degrees to 90 degrees over the Q3Q4 detection period.
  • the distance measuring calculation unit 230 calculates the phase difference dP between the reference clock CLKs and the received light. Can be done.
  • the derivation method of this equation is described, for example, in “Larry Li,” Time-of-Flight Camera --An Introduction ", Texas Instruments, Technical White Paper SLOA190B January 2014 Revised May 2014".
  • dP Arctan ⁇ (Q3-Q4) / (Q1-Q2) ⁇ ... (47)
  • the row scanning circuit 310 supplies the reset signal RST to all rows from the timing T1 over a predetermined pulse period.
  • the row scanning circuit 310 initializes the charges of the light receiving elements 331 of all rows by the FD selection signal SEL_FD.
  • the row scanning circuit 310 transfers the charge generated by the light receiving element 331 by the FD selection signal SEL_FD to the charge storage unit 333 for all rows from 0 degrees to 180 degrees within the period of the reference clock CLKs. Transfer. By this control, the light receiving amount q1 is accumulated in the charge storage unit 333.
  • the row scanning circuit 310 transfers the charge generated by the light receiving element 331 by the FD selection signal SEL_FD to the charge storage unit 334 for all rows from 180 degrees to 360 degrees within the period of the reference clock CLKs. Transfer. By this control, the light receiving amount q2 is accumulated in the charge storage unit 334.
  • the row scanning circuit 310 sequentially supplies the FD read signals RD_FD1 and RD_FD2 to the first row.
  • the pixel signal corresponding to the received light amount Q1 and Q2 in the first line is read out.
  • the row scanning circuit 310 supplies the FD read signals RD_FD1 and RD_FD2 in order to the second row to read the pixel signal.
  • the row scanning circuit 310 selects rows in order and reads out pixel signals.
  • each of the pixel circuits 330 detects the light receiving amount Q1 from 0 degrees to 180 degrees and the light receiving amount Q2 from 180 degrees to 360 degrees.
  • the distance measuring device 3 includes a ToF sensor 23, a distance calculation unit 26, a mode switching unit (control unit 30), and an estimation unit 28.
  • the ToF sensor 23 is a device-specific clock in which the sensor clock 21 that controls the imaging timing is different from the light source clock 11 that controls the light emission timing of the light source 2, and the emitted light L1 of the light source 2 that emits pulsed light is the surface of the object 4. Take a picture by reflecting it with.
  • the distance calculation unit 26 calculates the distance d to the object 4 based on the image data captured by the ToF sensor 23.
  • the mode switching unit (control unit 30) switches the operation mode of the ToF sensor 23.
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2 generated from the light source clock 11 based on a plurality of image data captured by switching the operation mode by the mode switching unit (control unit 30).
  • the modulation frequency f S of the ToF sensor 23 can be adjusted to the modulation frequency f L of the light source 2.
  • the distance measuring device 3 is adjusted to adjust the modulation frequency f S of the distance measuring device 3 generated from the sensor clock 21 based on the modulation frequency f L of the light source 2 estimated by the estimation unit 28.
  • a unit 29 is further provided.
  • the modulation frequency f S of the ToF sensor 23 can be adjusted to the modulation frequency f L of the light source 2.
  • the mode switching unit (control unit 30) switches the frame rate of the ToF sensor 23 to a plurality of different frame rates.
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2 based on the phase information of a plurality of image data captured at a plurality of different frame rates.
  • the mode switching unit (control unit 30) switches the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3 to a plurality of different frequencies.
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2 based on the phase information of a plurality of image data captured at a plurality of different modulation frequencies.
  • the mode switching unit changes the modulation frequency f L of the light source 2 or the modulation frequency f S of the distance measuring device 3 in increments of a predetermined frame rate. ..
  • the ranging system 1 has a light source clock 11 that controls the modulation frequency of the emission pulse, and uses the light source 2 that emits pulsed light and the emitted light L1 of the light source 2 to determine the distance d to the object 4.
  • a distance measuring device 3 for measuring is provided.
  • the distance measuring device 3 includes a ToF sensor 23, a distance calculation unit 26, a mode switching unit (control unit 30), and an estimation unit 28.
  • the ToF sensor 23 is a device-specific clock in which the sensor clock 21 that controls the imaging timing is different from the light source clock 11, and the emitted light L1 of the light source 2 is reflected by the surface of the object 4 for imaging.
  • the distance calculation unit 26 calculates the distance d to the object 4 based on the image data captured by the ToF sensor 23.
  • the mode switching unit (control unit 30) switches the operation modes of the light source 2 and the ToF sensor 23.
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2 generated from the light source clock 11 based on a plurality of image data captured by switching the operation mode by the mode switching unit (control unit 30).
  • the modulation frequency f S of the ToF sensor 23 can be adjusted to the modulation frequency f L of the light source 2.
  • the distance measuring device 3 further includes an adjusting unit 29. Adjustment unit 29, based on the modulation frequency f L of the light source 2 which is estimated by the estimating section 28, at least one of the modulation frequency f S of the distance measuring apparatus 3 that is generated from the modulation frequency f L and the sensor clock 21 of the light source 2 Adjust one.
  • the modulation frequency f S of the ToF sensor 23 can be adjusted to the modulation frequency f L of the light source 2.
  • the mode switching unit (control unit 30) switches the frame rate of the ToF sensor 23 to a plurality of different frame rates.
  • the estimation unit 28 estimates the modulation frequency f L of the light source 2 based on the phase information of a plurality of image data captured at a plurality of different frame rates.
  • the mode switching unit (control unit 30) switches the modulation frequency f L of the light source 2 and the modulation frequency f S of the distance measuring device 3 to a plurality of different frequencies. Further, the estimation unit 28 estimates the modulation frequency f L of the light source 2 based on the phase information of a plurality of image data captured at a plurality of different modulation frequencies.
  • mode switching unit switches the modulation frequency f L of the modulation frequency f L and ranging third light source 2 to a plurality of different frequencies.
  • the estimation unit 28 uses the modulation frequency f L of the light source 2 based on the phase information of the image data captured at one modulation frequency and the confidence values of the plurality of image data captured at a plurality of different modulation frequencies. To estimate.
  • the modulation frequency f S of the ToF sensor 23 can be adjusted to the modulation frequency f L of the light source 2.
  • the mode switching unit changes the modulation frequency f L of the light source 2 or the modulation frequency f S of the distance measuring device 3 in increments of a predetermined frame rate. ..
  • the light source 2 has a communication unit 16 that receives information on the operation mode of the light source 2 set by the mode switching unit (control unit 30) from the distance measuring device 3.
  • the distance measuring device 3 has a communication unit 31 that receives information regarding the operation mode of the light source 2 from the light source 2. Further, the mode switching unit (control unit 30) sets the operation mode of the distance measuring device 3 based on the operation mode of the light source 2 received by the communication unit 31.
  • the adjustment method of the distance measuring device 3 includes a first photographing step, a mode switching step, a second photographing step, and an estimation step.
  • a light source that emits pulsed light using a ToF sensor 23, which is a device-specific clock in which the sensor clock 21 that controls the imaging timing is different from the light source clock 11 that controls the modulation frequency of the emission pulse of the light source 2.
  • the emitted light L1 of 2 is reflected on the surface of the object 4 for photographing.
  • the mode switching step switches the operation mode of the ToF sensor 23.
  • the object 4 is photographed by the ToF sensor 23 whose operation mode is switched.
  • the estimation step estimates the modulation frequency f L of the light source 2 generated from the light source clock 11 based on a plurality of image data captured in the first imaging step and the second imaging step.
  • the modulation frequency f S of the ToF sensor 23 can be adjusted to the modulation frequency f L of the light source 2.
  • the present technology can also have the following configurations.
  • the sensor clock that controls the shooting timing is a clock unique to the device that is different from the light source clock that controls the modulation frequency of the emission pulse of the light source, and ToF that shoots by reflecting the emitted light of the light source that emits pulsed light on the surface of an object.
  • (Time of Flight) sensor and A distance calculation unit that calculates the distance to the object based on the image data taken by the ToF sensor, and A mode switching unit that switches the operation mode of the ToF sensor,
  • An estimation unit that estimates the modulation frequency of the light source generated from the light source clock based on a plurality of image data captured by switching the operation mode by the mode switching unit.
  • a distance measuring device equipped with is a distance measuring device equipped with.
  • the distance measuring device further comprising an adjusting unit that adjusts the modulation frequency of the distance measuring device generated from the sensor clock based on the modulation frequency of the light source estimated by the estimation unit.
  • the mode switching unit switches the frame rate of the ToF sensor to a plurality of different frame rates.
  • the distance measuring device according to (1) or (2) above, wherein the estimation unit estimates the modulation frequency of the light source based on the phase information of a plurality of image data captured at a plurality of different frame rates.
  • the mode switching unit switches the modulation frequency of the light source and the modulation frequency of the distance measuring device to a plurality of different frequencies.
  • the distance measuring device wherein the estimation unit estimates the modulation frequency of the light source based on the phase information of a plurality of image data captured at a plurality of different modulation frequencies.
  • the mode switching unit switches the modulation frequency of the light source or the modulation frequency of the distance measuring device to a plurality of different frequencies.
  • the estimation unit estimates the modulation frequency of the light source based on the phase information of the image data captured at one modulation frequency and the confidence values of the plurality of image data captured at a plurality of different modulation frequencies.
  • the distance measuring device according to (1) or (2).
  • (6) The distance measuring device according to (5), wherein the mode switching unit changes the modulation frequency of the light source and the modulation frequency of the distance measuring device in increments of a predetermined frame rate.
  • a light source that has a light source clock that controls the modulation frequency of the emission pulse and emits pulsed light
  • a distance measuring device that measures the distance to an object using the emitted light from the light source, and With The distance measuring device is
  • the sensor clock that controls the shooting timing is a clock unique to the device that is different from the light source clock, and the ToF (Time of Flight) sensor that shoots by reflecting the emitted light of the light source on the surface of the object.
  • a distance calculation unit that calculates the distance to the object based on the image data taken by the ToF sensor, and A mode switching unit that switches the operation mode of the light source and the ToF sensor, and A distance measuring system including an estimation unit that estimates the modulation frequency of the light source generated from the light source clock based on a plurality of image data captured by switching the operation mode by the mode switching unit.
  • the distance measuring device is The adjustment unit further includes an adjustment unit that adjusts at least one of the modulation frequency of the light source and the modulation frequency of the distance measuring device generated from the sensor clock based on the modulation frequency of the light source estimated by the estimation unit.
  • the ranging system according to (7).
  • the mode switching unit switches the frame rate of the ToF sensor to a plurality of different frame rates.
  • the distance measuring system according to (7) or (8) above, wherein the estimation unit estimates the modulation frequency of the light source based on the phase information of a plurality of image data captured at a plurality of different frame rates. (10) The mode switching unit switches the modulation frequency of the light source and the modulation frequency of the distance measuring device to a plurality of different frequencies.
  • the ranging system according to (7) or (8) above, wherein the estimation unit estimates the modulation frequency of the light source based on the phase information of a plurality of image data captured at a plurality of different modulation frequencies. (11) The mode switching unit switches the modulation frequency of the light source and the modulation frequency of the distance measuring device to a plurality of different frequencies.
  • the estimation unit estimates the modulation frequency of the light source based on the phase information of the image data captured at one modulation frequency and the confidence values of the plurality of image data captured at a plurality of different modulation frequencies.
  • the ranging system according to (7) or (8).
  • (12) The distance measuring system according to (11), wherein the mode switching unit changes the modulation frequency of the light source and the modulation frequency of the distance measuring device in increments of a predetermined frame rate.
  • (13) The distance measuring system according to any one of (7) to (12) above, wherein the light source has a communication unit that receives information about an operation mode of the light source set by the mode switching unit from the distance measuring device. ..
  • the ranging device has a communication unit that receives information about an operation mode of the light source from the light source.
  • the distance measuring system according to any one of (7) to (12), wherein the mode switching unit sets the operation mode of the distance measuring device based on the operation mode of the light source received by the communication unit. .. (15) Using a ToF (Time of Flight) sensor, which is a device-specific clock whose sensor clock that controls the shooting timing is different from the light source clock that controls the modulation frequency of the emission pulse of the light source, the emitted light of the light source that emits pulsed light is emitted.
  • ToF Time of Flight
  • the first shooting process in which the image is reflected on the surface of an object and photographed,
  • How to adjust the ranging device including.
  • the frame rate of the ToF sensor is switched to a plurality of different frame rates.
  • the modulation frequency of the light source and the modulation frequency of the distance measuring device are switched to a plurality of different frequencies.
  • the method for adjusting the ranging device according to (15) or (16), wherein the estimation step estimates the modulation frequency of the light source based on the phase information of a plurality of image data captured at a plurality of different modulation frequencies. ..
  • the modulation frequency of the light source or the modulation frequency of the distance measuring device is switched to a plurality of different frequencies.
  • the estimation step estimates the modulation frequency of the light source based on the phase information of the image data captured at one modulation frequency and the confidence values of the plurality of image data captured at a plurality of different modulation frequencies.
  • the light source that emits pulsed light using the ToF (Time of Flight) sensor of the ranging device which is a clock unique to the device whose sensor clock that controls the shooting timing is different from the light source clock that controls the modulation frequency of the emission pulse of the light source.
  • the first shooting process in which the light emitted from the clock is reflected by the surface of the object and photographed,
  • the adjustment step further includes an adjustment step of adjusting at least one of the modulation frequency of the light source and the modulation frequency of the distance measuring device generated from the sensor clock based on the modulation frequency of the light source estimated in the estimation step.
  • the frame rate of the ToF sensor is switched to a plurality of different frame rates.
  • the adjustment method of the distance measuring system according to (21) or (22), wherein the estimation step estimates the modulation frequency of the light source based on the phase information of a plurality of image data captured at a plurality of different frame rates. ..
  • the modulation frequency of the light source and the modulation frequency of the distance measuring device are switched to a plurality of different frequencies.
  • the method for adjusting the ranging system according to (21) or (22), wherein the estimation step estimates the modulation frequency of the light source based on the phase information of a plurality of image data captured at a plurality of different modulation frequencies. .. (25)
  • the mode switching step the modulation frequency of the light source and the modulation frequency of the distance measuring device are switched to a plurality of different frequencies.
  • the estimation step estimates the modulation frequency of the light source based on the phase information of the image data captured at one modulation frequency and the confidence values of the plurality of image data captured at a plurality of different modulation frequencies. (21) or (22).
  • the adjustment method of the distance measuring system is described in the range of the light source.
  • the ranging device has a communication unit that receives information about an operation mode of the light source from the light source.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示に係る測距装置(3)は、ToF(Time of Flight)センサ(23)と、距離算出部(26)と、モード切替部と、推定部(28)とを備える。ToFセンサ(23)は、撮影タイミングを制御するセンサクロック(2)が光源(2)の発光パルスの変調周波数(f)を制御する光源クロック(11)と異なる装置固有のクロックであり、パルス光を出射する光源(2)の出射光(L1)を物体(4)の表面で反射させて撮影する。距離算出部(26)は、ToFセンサ(23)で撮影された画像データに基づいて、物体(4)までの距離(d)を算出する。モード切替部は、ToFセンサ(23)の動作モードを切り替える。推定部(28)は、モード切替部により動作モードが切り替えられて撮影された複数の画像データに基づいて、光源クロック(11)から生成される光源(2)の変調周波数(f)を推定する。

Description

測距装置、測距システムおよび測距装置の調整方法
 本開示は、測距装置、測距システムおよび測距装置の調整方法に関する。
 光を用いて被測定物までの距離を測定する測距方式の一つとして、ToF(Time of Flight)方式と呼ばれる測距手法が知られている。かかるToF方式は、光源を用いて光を物体に照射し、その反射光をToFセンサで受光し、かかる受光結果を解析して物体までの距離などを計測する方式である。
 また、ToFセンサとは別体の光源から物体に光を照射し、その反射光をToFセンサで受光して物体までの距離などを計測する技術も知られている(たとえば、特許文献1参照)。
特開2018-31607号公報
 しかしながら、上記の技術では、光源とToFセンサとが別体で構成されていることから、光源用の光源クロックとToFセンサ用のセンサクロックとが別体となる。したがって、光源の変調周波数とToFセンサの変調周波数とが必ずしも同期せず、周波数がずれる場合があった。そして、ToFセンサの変調周波数が光源の変調周波数からずれた場合、測距結果に誤差が生じる恐れがあった。
 そこで、本開示では、ToFセンサの変調周波数を光源の変調周波数に合わせることができる測距装置、測距システムおよび測距装置の調整方法を提案する。
 本開示によれば、測距装置が提供される。測距装置は、ToF(Time of Flight)センサと、距離算出部と、モード切替部と、推定部とを備える。ToFセンサは、撮影タイミングを制御するセンサクロックが光源の発光パルスの変調周波数を制御する光源クロックと異なる装置固有のクロックであり、パルス光を出射する前記光源の出射光を物体の表面で反射させて撮影する。距離算出部は、前記ToFセンサで撮影された画像データに基づいて、前記物体までの距離を算出する。モード切替部は、前記ToFセンサの動作モードを切り替える。推定部は、前記モード切替部により動作モードが切り替えられて撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する。
 本開示によれば、ToFセンサの変調周波数を光源の変調周波数に合わせることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ToF方式による測距処理の概要について説明する図である。 ToF方式による測距処理の概要について説明する図である。 ToF方式による測距処理の概要について説明する図である。 ToF方式による測距処理の概要について説明する図である。 ToFセンサによって撮影される画像データを左から右に示す時間軸に従って示した図である。 本開示の第1実施形態に係る測距システムの構成例を示すブロック図である。 光源の変調周波数と測距装置の変調周波数とにズレがない場合の位相の変化を示した図である。 光源の変調周波数と測距装置の変調周波数とにズレがある場合の位相の変化を示した図である。 光源の変調周波数と測距装置の変調周波数とのズレが大きい場合の位相の変化を示した図である。 本開示の第1実施形態に係る第1撮影処理について説明するための図である。 本開示の第1実施形態に係る第2撮影処理について説明するための図である。 本開示の第1実施形態に係る測距システムの推定処理における動作の一例を示した図である。 本開示の第1実施形態に係る測距システムの推定処理における動作の別の一例を示した図である。 本開示の第2実施形態に係る第1撮影処理について説明するための図である。 本開示の第2実施形態に係る第2撮影処理について説明するための図である。 本開示の第2実施形態に係る測距システムの推定処理における動作の一例を示した図である。 本開示の第2実施形態に係る測距システムの推定処理における動作の別の一例を示した図である。 本開示の第3実施形態に係る測距システムの推定処理における動作の一例を示した図である。 本開示の第1実施形態に係る推定処理および調整処理の処理手順を示すフローチャートである。 本開示の第2実施形態に係る推定処理および調整処理の処理手順を示すフローチャートである。 本開示の第3実施形態に係る推定処理および調整処理の処理手順を示すフローチャートである。 本開示の各実施形態に係る測距モジュールの一構成例を示すブロック図である。 本開示の各実施形態に係る固体撮像素子の一構成例を示すブロック図である。 本開示の各実施形態に係る画素回路の一構成例を示すブロック図である。 本開示の各実施形態に係るQ1Q2検出期間の固体撮像素子の動作の一例を示すタイミングチャートである。
 以下に、本開示の各実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 光を用いて被測定物までの距離を測定する測距方式の一つとして、ToF(Time of Flight)方式と呼ばれる測距手法が知られている。かかるToF方式は、光源を用いて光を物体に照射し、その反射光をToFセンサで受光し、かかる受光結果を解析して物体までの距離などを計測する方式である。
 また、ToFセンサとは別体の光源から物体に光を照射し、その反射光をToFセンサで受光して物体までの距離などを計測する技術も知られている。この構成では、光源を物体の近傍に配置することができることから、光源とToFセンサとを一体で構成した場合に比べて、ToFセンサで受光する光量を向上させることができる。これにより、測距装置の測距精度を向上させることができる。
 しかしながら、上記の技術では、光源とToFセンサとが別体で構成されていることから、光源用の光源クロックとToFセンサ用のセンサクロックとが別体となる。
 したがって、光源の変調周波数とToFセンサの変調周波数とが必ずしも同期せず、周波数がずれる場合があった。そして、ToFセンサの変調周波数が光源の変調周波数からずれた場合、測距結果に誤差が生じる恐れがあった。
 そこで、上述の問題点を克服し、ToFセンサの変調周波数を光源の変調周波数に合わせることができる測距装置、測距システムおよび測距装置の調整方法の実現が期待されている。
[測距方法]
 本開示は、光を用いて測距を行う技術に関するものである。そこで、本開示の各実施形態の理解を容易とするために、図1~図5を参照しながら、各実施形態に適用可能な測距方法について説明する。
 ToF方式は、出射光を物体に照射し、その反射光を解析して物体までの距離(デプス)や、物体の形状を計測する方式である。なお、以下の説明では3次元形状の計測処理については特に言及しないが、物体表面の距離を物体表面全体に渡って計測することで物体の3次元形状を計測することが可能となる。
 図1~図5は、ToF方式による測距処理の概要について説明する図である。図1に示すように、各実施形態に係る測距システム1は、光源2と、測距装置3とを備える。そして、測距システム1では、光源2からの出射光L1を物体4に反射させ、反射光L2を測距装置3で受光する。
 従来一般的に用いられていたToF方式では、光源2と測距装置3とがほぼ同一の位置に配置されていたため、光源2からの出射光L1が物体4に反射して測距装置3に入射するまでの時間Δtを計測することにより、測距装置3から物体4までの距離(デプス)dを下記の式(1)で算出することができる。なおΔtは光の往復の時間なのに対し、dは片道の距離であるため、2で除算してある。
d=(c/2)×Δt  …(1)
(c:光速度(2.9979×108[m/sec]))
 一方で、この時間Δtを直接計測することは容易ではないことから、各実施形態に係る測距システム1では、図2に示すように、光源2からパルス光を出射光L1として発光する。そして、図3に示すように、かかる光源2からのパルス光(発光パターン)を基準とした、反射光L2として測距装置3に戻ってきたパルス光(受光パターン)の位相φを時間Δtに変換する。
 たとえば、光源2から出射されるパルス光の周波数をfとした場合、時間Δtは、下記の式(2)で算出することができる。
Δt=(1/f)×(φ/2π)  …(2)
 これにより、測距装置3から物体4までの距離dは、下記の式(3)で算出することができる。
d=(cφ)/4πf  …(3)
 次に、上述の位相φを算出する手法について、図4を参照しながら説明する。各実施形態に係る測距装置3は、ToFセンサ23(図6参照)を有する。かかるToFセンサ23は、各画素が高速にON/OFFを繰り返し、ON期間のみの電荷を蓄積する機能を有する。
 かかるToFセンサ23を用いて物体の距離計測を行う場合、ON/OFFの実行タイミングを順次切り替えて、各タイミングにおける蓄積電荷を解析する。ON/OFFの実行タイミングの切り替えパターンは、たとえば、図4に示す以下の4種類である。
(c1)位相0度
(c2)位相90度
(c3)位相180度
(c4)位相270度
 なお、各切り替えパターンの詳細は以下の通りである。
(c1)位相0度は、ONタイミング(受光タイミング)を光源2の出射するパルス光の位相、すなわち(a)発光パターンと同じ位相とした設定である。
(c2)位相90度は、ONタイミング(受光タイミング)を光源2の出射するパルス光((a)発光パターン)から90度遅れた位相とした設定である。
(c3)位相180度は、ONタイミング(受光タイミング)を光源2の出射するパルス光((a)発光パターン)から180度遅れた位相とした設定である。
(c4)位相270度は、ONタイミング(受光タイミング)を光源2の出射するパルス光((a)発光パターン)から270度遅れた位相とした設定である。
 測距装置3のToFセンサ23では、これら4種類の切り替えを順次実行し、受光タイミングを変化させた場合の受光量を取得する。すなわち蓄積位相を変えた4種類の受光量とその受光量に応じた電荷とを得る。
 そして、図4に示すように、発光パターンに対する受光画素の位相が0度、90度、180度、270度である場合に蓄積する電荷を、それぞれQ、Q90、Q180、Q270とする。
 ここで、上述の式(3)を適用して物体までの距離dを算出するために必要な位相φは、光源2から出射されるパルス光を基準とした、測距装置3で受光するパルス光((b)受光パターン))の位相である。この位相φは、下記の式(4)で算出することができる。
φ=Arctan((Q90-Q270)/(Q180-Q))  …(4)
 そして、ToF方式では、かかる式(4)で算出された位相φを上記の式(3)に入力することにより、測距装置3から物体4までの距離dを算出することができる。
 図5は、ToFセンサ23によって撮影される画像データを左から右に示す時間軸に従って示した図である。図5に示すように、本開示では、ToFセンサ23において撮影される1つの画像フレームにおいて、パルス状の発光パターンとセンサ画素の駆動パターンの位相差が0度、90度、180度、270度である各位相設定における撮影画像の蓄積電荷を「コンポーネント」と呼称する。
 そして、各実施形態では、発光パターン(パルス)との位相ズレ量が0度、90度、180度、270度である各位相設定の撮影画像が順次、繰り返し撮影される。
 また、本開示では、0度、90度、180度、270度の各位相設定のコンポーネントの組み合わせの1セットを「フレーム」と呼称する。すなわち、1つのフレームは、発光パターン(パルス)との位相ズレ量が0度、90度、180度、270度である各位相設定における撮影画像の蓄積電荷(コンポーネント)Q、Q90、Q180、Q270に関する情報を持つ。
 なお、以降の説明では、式(4)により得られる画像を「位相画像」と呼称する。また、各実施形態において、各コンポーネント間の時間は、フレーム間の時間より短い設定である。
[測距システムの詳細]
 つづいて、第1実施形態に係る測距システム1の詳細について、図6を参照しながら説明する。図6は、本開示の第1実施形態に係る測距システム1の構成例を示すブロック図である。
 図6に示すように、第1実施形態に係る測距システム1は、光源2と測距装置3とを備える。第1実施形態において、光源2と測距装置3とは別体で構成される。なお、第1実施形態において、光源2と測距装置3とは必ずしも別体で構成されなくともよく、一体で構成されてもよい。
 光源2は、所定の変調周波数を有するパルス光を出射光L1として物体4に出射する。光源2は、光源クロック11と、PLL(Phase Locked Loop)回路12と、複数の遅延調整部13a、13b・・・と、複数の光源部14a、14b・・・と、制御部15と、通信部16とを有する。
 光源クロック11は、所定の周波数fCL1を有するクロック信号を生成する。PLL回路12は、光源クロック11で生成されるクロック信号の周波数fCL1を定数倍させて、所定の変調周波数fを有するパルス信号を生成する。
 たとえば、光源クロック11で生成されるクロック信号の周波数fCL1をPLL回路12でC(倍)する場合、PLL回路12で生成されるパルス信号の変調周波数fはf=C×fCL1となる。以降の説明では、PLL回路12で設定されるCを「PLL係数」とも呼称する。
 このように、光源クロック11に付随してPLL回路12を設け、かかるPLL回路12のPLL係数Cを変更することにより、1つの光源クロック11から複数の変調周波数fを生成することができる。
 遅延調整部13a、13b・・・は、光源クロック11から対応する光源部14a、14b・・・までの配線の長さに応じて、光源部14a、14b・・・での発光タイミングの遅延量を制御する。
 光源部14a、14b・・・は、PLL回路12で生成されるパルス信号に応じたパルス光を出射光L1として出射する。たとえば、光源部14a、14b・・・は、上述の変調周波数fを有するパルス光を出射する。
 光源部14a、14b・・・は、たとえば、垂直共振器面発光レーザ(VCSEL:Vertical Cavity Surface Emitting LASER)などのレーザダイオードで構成される。なお、光源部14a、14b・・・は、VCSELに限られず、レーザダイオードがライン上に配列されたレーザダイオードアレイなどを用いてもよい。
 制御部15は、たとえば予め組み込まれるプログラムに従い、光源2の全体の動作を制御する。たとえば、制御部15は、PLL回路12や光源部14a、14b・・・を制御することにより、光源2の動作モードを切り替えることができる。
 具体的には、制御部15は、PLL回路12のPLL係数Cを制御することにより、出射光L1の変調周波数fを制御することができる。また、制御部15は、光源部14a、14b・・・を制御することにより、出射光L1のON/OFFを制御することができる。
 通信部16は、測距装置3の通信部31との間で各種の情報を送受信する。かかる通信部16と通信部31との間で用いられる通信方式は、有線または無線(たとえば、LAN(Local Area Network)、WiFi(登録商標)、Bluetooth(登録商標)など)を問わず任意の方式を適用することができる。また、通信部16では、光源2と測距装置3の時刻を同期し、発光タイミングと受光タイミングを予め決めておく。なお、かかる時刻の同期は、例えばPTP(Precision Time Protocol)が使用できる。
 測距装置3は、複数の光源部14a、14b・・からの出射光を用いて物体4までの距離d(図1参照)を測定する。測距装置3は、センサクロック21と、PLL回路22と、ToFセンサ23と、位相算出部24と、記憶部25と、距離算出部26と、動被写体検知部27と、推定部28と、調整部29と、制御部30と、通信部31とを有する。制御部30は、モード切替部の一例である。
 センサクロック21は、所定の周波数fCL2を有するクロック信号を生成する。PLL回路22は、センサクロック21で生成されるクロック信号の周波数fCL2を定数倍させて、所定の変調周波数fを有するパルス信号を生成する。すなわち、PLL回路22のPLL係数をCとした場合、変調周波数fはf=C×fCL2となる。
 このように、センサクロック21に付随してPLL回路22を設け、かかるPLL回路22のPLL係数Cを変更することにより、1つのセンサクロック21から複数の変調周波数fを生成することができる。
 ToFセンサ23は、上述のように、複数の光源部14a、14b・・からの反射光L2を異なる受光タイミングで受光し、かかる異なる受光タイミングを設定した画像データを取得する。すなわち、ToFセンサ23は、複数のコンポーネントQ、Q90、Q180、Q270を含むフレームを取得する。かかるToFセンサ23の受光タイミングを決定するのが、センサクロック21、PLL回路22を用いて生成される変調周波数fのパルス信号、および制御部30である。制御部30では、予めきめた発光タイミングにあわせて、ToFセンサ23の露光を行う。
 位相算出部24は、ToFセンサ23で取得された複数のコンポーネントQ、Q90、Q180、Q270のデータから、上記の式(4)を用いて位相φを算出する。位相算出部24は、各フレームごとに位相φを算出する。
 記憶部25には、ToFセンサ23により撮影されたコンポーネントを含んだフレーム画像と、位相算出部24により算出された位相φのデータとが格納される。
 距離算出部26は、記憶部25に格納される複数光源の位相画像の差分のデータから、上記特許文献1に記載の方式を用いて距離計測対象となる物体4の距離dを算出する。この距離dは、測距装置3から物体4表面までの距離である。動被写体検知部27は、ToFセンサ23によって撮影された画像から動く被写体を検出する。
 推定部28は、光源2の変調周波数fを推定する。調整部29は、推定部28で推定された光源2の変調周波数fに基づいて、測距装置3の変調周波数fを調整する。かかる変調周波数fの推定処理および変調周波数fの調整処理の詳細については後述する。
 制御部30は、たとえば予め組み込まれるプログラムに従い、測距装置3の全体の動作を制御する。たとえば、制御部30は、PLL回路22やToFセンサ23を制御することにより、測距装置3の動作モードを切り替えることができる。
 具体的には、制御部30は、PLL回路22のPLL係数Cを制御することにより、ToFセンサ23の受光タイミングを制御することができる。また、制御部30は、ToFセンサ23を制御することにより、反射光L2の受光のON/OFFを制御することができる。
 通信部31は、光源2の通信部16との間で、システムの時刻の同期を行い、各種の情報を送受信する。各種情報の例としては、発光タイミングが含まれる。
[第1実施形態]
 つづいて、第1実施形態に係る変調周波数fの推定処理および変調周波数fの調整処理の詳細について、図7~図11を参照しながら説明する。図7は、光源2の変調周波数fと測距装置3の変調周波数fとにズレがない場合の各フレームの位相φの変化を示した図である。
 なお、特許文献1に記載の技術では、外部の光源を使用して距離dを計測するために、複数の光源部14a、14b・・を使用する。そして、複数の外部の光源部14a、14b・・は同一のクロックにより駆動されているため、どれか一つと同期を行えば他の光源とも変調周波数は一致する。複数光源は、例えば時分割(フレームごとに切り替えて)ToFセンサ23にて受光する。
 また、以下の説明では、理解を容易にするため、そのうちの一つの光源部のみの動作を記載する。なお、本開示のポイント(変調周波数を同期する)のためには、1つの光源部でも問題なく動作する。
 図7に示すように、光源2の変調周波数fと測距装置3の変調周波数fとにズレがなく、かつ物体4が静止している状態である場合は、測距装置3と物体4との距離dが変化しないことから、各フレームでの位相φは常に一定である。
 しかしながら、光源2の変調周波数fと測距装置3の変調周波数fとにズレがある場合、物体4が静止している状態であっても、図8に示すように、2つの周波数のズレ量に応じて位相φが変動する。図8は、光源2の変調周波数fと測距装置3の変調周波数fとにズレがある場合の位相φの変化を示した図である。
 ここで、第1実施形態では、隣接するフレーム間(たとえば、フレーム2およびフレーム3)における位相φのズレ量Δφに基づいて、変調周波数fと変調周波数fとのズレ量Δfを以下の手法で算出することができる。
 隣接するフレーム同士の間隔をT(秒)とした場合、隣接するフレーム間における位相差φのズレ量Δφは、下記の式(5)で算出することができる。
Δφ=2π(f-f)T ・・(5)
 ここで、ToFセンサ23のフレームレートをFとした場合、隣接するフレーム間の時間TはT=1/Fとなる。これにより、推定部28は、上記の式(5)を用いて、変調周波数fと変調周波数fとのズレ量Δfを下記の式(6)で算出することができる。
Δf=f-f=Δφ・F/(2π) ・・(6)
 そして、調整部29は、上記の式(6)を用いて、測距装置3の新たな変調周波数f(N)を下記の式(7)のように調整することができる。
(N)=f+Δf=f+Δφ・F/(2π) ・・(7)
 これにより、光源2の変調周波数fと測距装置3の変調周波数f(N)とのズレをなくすことができることから、距離dを精度よく算出することができる。
 一方で、ここまで説明した変調周波数fの推定処理では、いわゆる「2πの不定性」という問題がある。図9は、光源2の変調周波数fと測距装置3の変調周波数fとのズレが大きい場合の位相差φの変化を示した図である。
 図9に示すように、光源2の変調周波数fと測距装置3の変調周波数fとのズレが大きく、位相差φの変化を示す破線Xの傾きが図8の例に比べて大きい場合でも、各フレームでの位相差φの値自体は図8の例と変わらない場合がある。
 これは、測距装置3で観測される位相φの値が0~2πの範囲であることから、1周回って位相φの値が2πから0に戻ると、1周回る前の値と区別がつかなくなるのが原因である。
 たとえば、ToFセンサ23のフレームレートFが30(fps)である場合、上記の手法において、光源2の変調周波数fと測距装置3の変調周波数fとのズレ量Δfは、Δf(Hz)、Δf±30(Hz)、Δf±60(Hz)・・の区別がつかない。
 そこで、第1実施形態では、この「2πの不定性」があった場合でも、光源2の変調周波数fと測距装置3の変調周波数fとのズレ量Δfを精度よく求めることとした。
 図10は、本開示の第1実施形態に係る第1撮影処理について説明するための図である。第1実施形態では、まず、制御部30が、予め通信部31で通信した光源2の動作モードに合わせて、測距装置3の動作モードを設定する。具体的には、光源2および測距装置3のフレームレートが所定のフレームレートFとなるように動作モードを設定する。
 なお、かかる動作モードの設定は、上記のように光源2の設定をマスターとしてToFセンサ23の駆動を調整してもよいし、他の手法で設定してもよい。たとえば、測距装置3の設定をマスターとし、光源2をスレーブとして測距装置3の動作モードを設定してもよい。
 また、予め取り決められた時刻で、光源2および測距装置3両方の動作モードをそれぞれ切り替えることにより、測距装置3の動作モードを設定してもよい。なお、この場合、光源2と測距装置3との間では通信が不要となる。
 次に、所定の動作モードに設定された測距装置3において、ToFセンサ23は、物体4を撮影し画像データを取得する。そして、位相算出部24は、取得された画像データの位相φを各フレームごとに算出する。
 次に、推定部28は、隣接するフレーム間における位相φのズレ量Δφを算出し、かかるズレ量Δφから下記の式(8)を用いて周波数のズレ量Δfを算出する。
Δf=Δφ・F/(2π) ・・(8)
 ここで、光源2の変調周波数fと測距装置3の変調周波数fとの真のズレ量をΔfGTとした場合、「2πの不定性」から、真のズレ量ΔfGTの値は下記の式(9)のようになる。
ΔfGT=Δf+N・F ・・(9)
(N:整数)
 図11は、本開示の第1実施形態に係る第2撮影処理について説明するための図である。つづいて、制御部30および制御部15は、光源2および測距装置3の動作モードを第1撮影処理の動作モードから切り替える。具体的には、制御部30および制御部15は、光源2および測距装置3のフレームレートが所定のフレームレートFとなるように動作モードを切り替える。
 次に、動作モードが切り替えられた測距装置3において、ToFセンサ23は、物体4を撮影し画像データを取得する。そして、位相算出部24は、取得された画像データの位相φを各フレームごとに算出する。
 次に、推定部28は、隣接するフレーム間における位相φのズレ量Δφを算出し、かかるズレ量Δφから下記の式(10)を用いて周波数のズレ量Δfを算出する。
Δf=Δφ・F/(2π) ・・(10)
 ここで、光源2の変調周波数fと測距装置3の変調周波数fとの真のズレ量ΔfGTの値は、「2πの不定性」から下記の式(11)のようになる。
ΔfGT=Δf+N・F ・・(11)
(N:整数)
 次に、第1実施形態では、上記の式(9)の整数Nと式(11)の整数Nとを求めることにより、真のズレ量ΔfGTを求める。第1実施形態では、たとえば、「中国人の剰余定理」として知られる手法を用いることにより、整数Nと整数Nとを求めることができる。つづいては、かかる手法を用いた例について説明する。
 第1撮影処理でのフレームレートFと、第2撮影処理でのフレームレートFとの最小公倍数をAとする。そして、推定部28は、かかる最小公倍数Aを用いて、下記の式(12)および式(13)から値Aおよび値Aを算出する。
=A/F ・・(12)
=A/F ・・(13)
なお、最小公倍数AがフレームレートFやFと一致しないよう、フレームレートF、Fを選択するものとする。
 次に、推定部28は、上記の式(8)で算出したズレ量Δfと、式(10)で算出したズレ量Δfとを用いて、下記の式(14)から値eを算出する。
e=A・(Δf-Δf)/(F・F) ・・(14)
 ここで、式(9)および式(11)から、下記の式(15)が成立し、
ΔfGT=Δf+N・F=Δf+N・F ・・(15)
 かかる式(15)から、下記の式(16)が成立する。
Δf-Δf=N・F-N・F ・・(16)
 したがって、上記の式(12)~(14)および式(16)から、下記の式(17)が成立する。
e=A・(N・F-N・F)=N・A-N・A ・・(17)
 次に、推定部28は、下記の式(18)を満たす値bをあらかじめ求めておく。
(b・A)modA=1 ・・(18)
 そして、推定部28は、下記の式(19)、(20)のように整数N’を算出する。なお計算上、整数N’は整数Nとして使用され、0≦N’<Aとする。
(1)e≧0の場合
(b・e)modA=b・(N’・A-N・A)modA
=(N’modA)×(b・AmodA)-(b・N・AmodA
=N’ ・・(19)
(2)e<0の場合
-[b・|e|modA]=N’ ・・(20)
 そして、推定部28は、下記の式(21)~(23)のように整数Nを算出する。
(1)-A/2≦N’≦A/2の場合
=N’ ・・(21)
(2)A/2<N’≦Aの場合
=N’-A ・・(22)
(3)-A<N’<-A/2の場合
=N’+A ・・(23)
 最後に、推定部28は、上記のように算出された整数Nを用いて、下記の式(24)から、光源2の変調周波数fと測距装置3の変調周波数fとの真のズレ量ΔfGTを算出することができる。
ΔfGT=N・F+Δf ・・(24)
 なお、推定部28は、第1撮影処理と第2撮影処理との各種数値を入れ替えて、上記の式(12)~(24)で説明した手法を改めて適用することにより、真のズレ量ΔfGTが正しく算出されているか否かを検証することができる。
 そして、調整部29は、上記の式(24)を用いて、測距装置3の新たな変調周波数f(N)を下記の式(25)のように調整することができる。
(N)=f+ΔfGT ・・(25)
 これにより、光源2の変調周波数fと測距装置3の変調周波数f(N)とのズレをなくすことができることから、距離dを精度よく算出することができる。たとえば、調整部29は、PLL回路22のPLL係数Cの値を調整することにより、測距装置3の変調周波数fを変調周波数f(N)に調整することができる。
 第1実施形態では、上記の手法を適用して真のズレ量ΔfGTを算出することにより、かかる真のズレ量ΔfGTの推定範囲を-A/2(Hz)<ΔfGT<A/2(Hz)の範囲にすることができる。
 たとえば、フレームレートFが30(fps)であり、フレームレートFが40(fps)である場合、最小公倍数Aは120となることから、真のズレ量ΔfGTの推定範囲を-60(Hz)<ΔfGT<+60(Hz)の範囲にすることができる。
 一方で、上記の手法を適用しない場合、ズレ量Δfの推定範囲は-F/2(Hz)<ΔfGT<F/2(Hz)の範囲となる。すなわち、フレームレートFが30(fps)である場合、ズレ量Δfの推定範囲を-15(Hz)<ΔfGT<+15(Hz)の範囲となる。
 このように、第1実施形態では、上記の手法を適用して真のズレ量ΔfGTを算出することにより、真のズレ量ΔfGTの推定範囲を拡大することができる。したがって、第1実施形態によれば、光源2の変調周波数fと測距装置3の変調周波数fとが大きくずれた場合でも、測距装置3の変調周波数fを光源2の変調周波数fに合わせることができる。
 ここまで説明したように、第1実施形態では、制御部30によりフレームレートがフレームレートF、Fに切り替えられて撮影された複数の画像データに基づいて、光源2の変調周波数f(すなわち、真のズレ量ΔfGT)を推定する。これにより、ToFセンサ23(すなわち、測距装置3)の変調周波数fを光源2の変調周波数fに合わせることができる。
 図12は、本開示の第1実施形態に係る測距システム1の推定処理における動作の一例を示した図である。図12の例では、制御部30および制御部15が、光源2と測距装置3のToFセンサ23との動作モードを両方切り替える。
 最初に、制御部30および制御部15は、第1撮影処理を実施する。具体的には、図12に示すように、制御部30および制御部15は、光源2とToFセンサ23とを同じフレームレートF(たとえば30(fps))で同期してON/OFFするように動作させる。
 なお、制御部30は、予め通信部31で通信した光源2の動作モードに合わせて、測距装置3の動作モードを設定する。また、制御部30および制御部15は、PTP(Precision Time Protocol)技術を用いることにより、光源2とToFセンサ23とを精度よく同期させることができる。
 次に、ToFセンサ23は、各フレームごとに複数のコンポーネントQ、Q90、Q180、Q270のデータを取得する。そして、位相算出部24は、かかる複数のコンポーネントQ、Q90、Q180、Q270のデータに基づいて、位相φを各フレームごとに算出する。
 次に、推定部28は、フレームレートFでの隣接するフレーム間における位相φのズレ量Δφを算出する。
 つづいて、制御部30および制御部15は、第2撮影処理を実施する。具体的には、制御部30および制御部15は、光源2とToFセンサ23とをフレームレートFとは異なるフレームレートF(たとえば40(fps))で同期してON/OFFするように動作モードを切り替える。
 なお、制御部30は、予め通信部31で通信した光源2の動作モードに合わせて、測距装置3の動作モードを切り替える。
 次に、ToFセンサ23は、各フレームごとに複数のコンポーネントQ、Q90、Q180、Q270のデータを取得する。そして、位相算出部24は、かかる複数のコンポーネントQ、Q90、Q180、Q270のデータに基づいて、位相φを各フレームごとに算出する。
 次に、推定部28は、フレームレートFでの隣接するフレーム間における位相φの差分(ズレ量)Δφを算出する。なお、以降の処理は上述しているため、説明を省略する。
 図12の例では、光源2およびToFセンサ23の動作モードを両方切り替えることにより、光源2の発光時間を必要最小限にすることができる。したがって、図12の例によれば、測距システム1の消費電力を低減することができる。
 図13は、本開示の第1実施形態に係る測距システム1の推定処理における動作の別の一例を示した図である。図13の例では、制御部30が、測距装置3のToFセンサ23の動作モードのみを切り替える。
 最初に、制御部30は、第1撮影処理を実施する。具体的には、図13に示すように、制御部30は、ToFセンサ23が所定のフレームレートF(たとえば30(fps))でON/OFFするように動作させる。なお、図13の例では、光源2が連続的に出射光L1を出射するように制御される。
 次に、ToFセンサ23は、各フレームごとに複数のコンポーネントQ、Q90、Q180、Q270のデータを取得する。そして、位相算出部24は、かかる複数のコンポーネントQ、Q90、Q180、Q270のデータに基づいて、位相φを各フレームごとに算出する。
 次に、推定部28は、フレームレートFでの隣接するフレーム間における位相φのズレ量Δφを算出する。
 つづいて、制御部30は、第2撮影処理を実施する。具体的には、制御部30は、ToFセンサ23をフレームレートFとは異なるフレームレートF(たとえば40(fps))でON/OFFするように動作モードを切り替える。
 次に、ToFセンサ23は、各フレームごとに複数のコンポーネントQ、Q90、Q180、Q270のデータを取得する。そして、位相算出部24は、かかる複数のコンポーネントQ、Q90、Q180、Q270のデータに基づいて、位相φを各フレームごとに算出する。
 次に、推定部28は、フレームレートFでの隣接するフレーム間における位相φのズレ量Δφを算出する。なお、以降の処理は上述しているため、説明を省略する。
 図13の例では、ToFセンサ23の動作モードのみを切り替えることにより、光源2に通信部16が設けられない場合でも、かかる光源2の変調周波数fを推定することができる。したがって、図13の例によれば、光源2から通信部16を省略することができることから、測距システム1のコストを低減することができる。
 なお、ここまで説明した第1実施形態では、光源2およびToFセンサ23が2種類の動作モードに切り替えられる例について示したが、切り替えられる動作モードの数は2種類に限られず、3種類以上の動作モードに切り替えられてもよい。
 また、上記の第1実施形態では、測距装置3の変調周波数fを光源2の変調周波数fに合わせるために、測距装置3の変調周波数fを調整する例について示したが、調整される対象は測距装置3の変調周波数fに限られない。
 たとえば、測距装置3の変調周波数fを光源2の変調周波数fに合わせるために、調整部29は、光源2の変調周波数fを調整してもよい。また、測距装置3の変調周波数fを光源2の変調周波数fに合わせるために、調整部29は、光源2の変調周波数fと測距装置3の変調周波数fとを両方調整してもよい。
 また、上記のように、光源2の変調周波数fを調整するために、調整部29は、通信部31および通信部16を介して、制御部15にPLL回路12のPLL係数Cを制御させるよう指令を送るとよい。
[第2実施形態]
 ここまで説明した第1実施形態では、光源2および測距装置3のフレームレートFを切り替える例について示したが、切り替えられる動作モードはフレームレートFに限られない。つづいては、第2実施形態として、光源2および測距装置3の変調周波数f、fを切り替える例について、図14~図17を参照しながら説明する。
 図14は、本開示の第2実施形態に係る第1撮影処理について説明するための図である。第2実施形態では、まず、制御部30および制御部15が、光源2および測距装置3の変調周波数が所定の変調周波数fL1、fS1となるように動作モードを設定する。
 具体的には、制御部30が、PLL回路12のPLL係数CL1に一致するようにPLL回路22のPLL係数をCS1に変更することにより、測距装置3の変調周波数fS1が光源2の変調周波数fL1と一致するように動作モードを設定する。なお、かかる変調周波数fL1、fS1は、互いに等しいとみなされる周波数である。また、第2実施形態では、フレームレートはFで一定である。
 次に、所定の動作モードに設定された測距装置3において、ToFセンサ23は、物体4を撮影し画像データを取得する。そして、位相算出部24は、かかる取得された画像データの位相φを各フレームごとに算出する。
 次に、推定部28は、隣接するフレーム間における位相φのズレ量Δφを算出し、かかるズレ量Δφから下記の式(26)を用いて周波数のズレ量Δfを算出する。
Δf=Δφ・F/(2π) ・・(26)
 ここで、光源クロック11で生成されるクロック信号の周波数fCL1と、センサクロック21で生成されるクロック信号の周波数fCL2との誤差をΔfErrとした場合、「2πの不定性」から、誤差ΔfErrの値は下記の式(27)のようになる。
ΔfErr=(Δf+N・F)/CS1 ・・(27)
(N:整数)
 図15は、本開示の第2実施形態に係る第2撮影処理について説明するための図である。つづいて、制御部30および制御部15は、光源2および測距装置3の動作モードを第1撮影処理の動作モードから切り替える。
 具体的には、制御部30は、測距装置3の変調周波数fS2が光源2の変調周波数fL2と一致するように動作モードを切り替える。すなわち、制御部30は、PLL回路12のPLL係数をCL2と一致するように、PLL回路22のPLL係数CS2を変更する。なお、かかる変調周波数fL2、fS2は、互いに等しいとみなされる周波数である。
 次に、動作モードが切り替えられた測距装置3において、ToFセンサ23は、物体4を撮影し画像データを取得する。そして、位相算出部24は、かかる取得された画像データの位相φを各フレームごとに算出する。
 次に、推定部28は、隣接するフレーム間における位相φのズレ量Δφを算出し、かかるズレ量Δφから下記の式(28)を用いて周波数のズレ量Δfを算出する。
Δf=Δφ・F/(2π) ・・(28)
 ここで、誤差ΔfErrの値は、「2πの不定性」から下記の式(29)のようになる。
ΔfErr=(Δf+N・F)/CS2 ・・(29)
(N:整数)
 次に、第2実施形態では、上記の式(27)の整数Nと式(29)の整数Nとを求めることにより、誤差ΔfErrを求める。第2実施形態では、たとえば、「中国人の剰余定理」として知られる手法を用いることにより、整数Nと整数Nとを求めることができる。つづいては、かかる手法を用いた例について説明する。
 第1撮影処理でのPLL回路12のPLL係数CS1と、第2撮影処理でのPLL回路12のPLL係数CS2は、CS1・fCL1とCS2・fCL1が互いに割り切れないように、値CS1と値CS2を設定する。下記の式(30)および式(31)の値Aおよび値Aが互いに素となる値になるようCを設定する。
=C/CS1 ・・(30)
=C/CS2 ・・(31)
 次に、推定部28は、上記の式(26)で算出したズレ量Δfと、式(28)で算出したズレ量Δfとを用いて、下記の式(32)から値eを算出する。
e=(C/(CS1・CS2・F))・(CS2・Δf-CS1・Δf) ・・(32)
 ここで、式(26)および式(28)から、下記の式(33)が成立し、
ΔfErr=(Δf+N・F)/CS1=(Δf+N・F)/CS2・・(33)
 かかる式(33)から、下記の式(34)が成立する。
S2・Δf-CS1・Δf=(CS1・N-CS2・N)・F ・・(34)
 したがって、上記の式(30)~(32)および式(34)から、下記の式(35)が成立する。
e=(C/(CS1・CS2))・(CS1・N-CS2・N)=N・A-N・A ・・(35)
 次に、推定部28は、下記の式(36)を満たす値bをあらかじめ求めておく。
(b・A)modA=1 ・・(36)
 そして、推定部28は、下記の式(37)、(38)のように整数N’を算出する。なお計算上、整数N’は整数Nとして使用され、0≦N’<Aとする。
(1)e≧0の場合
(b・e)modA=b・(N’・A-N・A)modA
=(N’modA)×(b・AmodA)-(b・N・AmodA
=N’ ・・(37)
(2)e<0の場合
-[b・|e|modA]=N’ ・・(38)
 そして、推定部28は、下記の式(39)~(41)のように整数Nを算出する。
(1)-A/2≦N’≦A/2の場合
=N’ ・・(39)
(2)A/2<N’≦Aの場合
=N’-A ・・(40)
(3)-A<N’<-A/2の場合
=N’+A ・・(41)
 最後に、推定部28は、上記のように算出された整数Nを用いて、下記の式(42)から、光源クロック11で生成されるクロック信号の周波数fCL1と、センサクロック21で生成されるクロック信号の周波数fCL2との誤差ΔfErrを算出することができる。
ΔfErr=(Δf+N・F)/CS2 ・・(42)
 なお、推定部28は、第1撮影処理と第2撮影処理との各種数値を入れ替えて、上記の式(26)~(42)で説明した手法を改めて適用することにより、誤差ΔfErrが正しく算出されているか否かを検証することができる。
 そして、調整部29は、上記の式(42)で算出された誤差ΔfErrに基づいて、測距装置3の新たな変調周波数f(N)を調整することができる。これにより、光源2の変調周波数fと測距装置3の変調周波数f(N)とのズレをなくすことができることから、距離dを精度よく算出することができる。
 たとえば、調整部29は、PLL回路22のPLL係数Cを調整することにより、測距装置3の変調周波数fを変調周波数f(N)に調整することができる。
 第2実施形態では、上記の手法を適用して誤差ΔfErrを算出することにより、かかる誤差ΔfErrの推定範囲を-F/2A(Hz)<ΔfErr<F/2A(Hz)の範囲にすることができる。なおA=C/(A・A)とする。
 このように、第2実施形態では、上記の手法を適用して誤差ΔfErrを算出することにより、誤差ΔfErrの推定範囲を拡大することができる。したがって、第2実施形態によれば、光源2の変調周波数fと測距装置3の変調周波数fとが大きくずれた場合でも、測距装置3の変調周波数fを光源2の変調周波数fに合わせることができる。
 ここまで説明したように、第2実施形態では、制御部30および制御部15により変調周波数f、fを切り替えて撮影された複数の画像データに基づいて、光源2の光源クロック11に対する測距装置3のセンサクロック21の誤差ΔfErrを推定する。これにより、ToFセンサ23(すなわち、測距装置3)の変調周波数fを光源2の変調周波数fに合わせることができる。
 図16は、本開示の第2実施形態に係る測距システム1の推定処理における動作の一例を示した図である。図16の例では、制御部30および制御部15が、光源2およびToFセンサ23の変調周波数f、fをフレームごとに交互に切り替える。
 制御部30および制御部15は、最初のフレーム(以降、フレーム1とも呼称する)で、第1撮影処理を実施する。具体的には、図16に示すように、制御部30および制御部15は、フレーム1で光源2の変調周波数をfL1に設定し、測距装置3(すなわち、ToFセンサ23)の変調周波数をfS1に設定する。
 なお、制御部30は、通信部31および通信部16を介して制御部15に指令を送ることにより、光源2の変調周波数をfL1に設定する。
 なお、光源2の設定をマスターとし、測距装置3をスレーブとして光源2および測距装置3の動作モードを設定してもよい。また、予め取り決められた時刻で、光源2および測距装置3両方の動作モードをそれぞれ切り替えることにより、光源2の変調周波数をfL1に設定し、測距装置3の変調周波数をfS1に設定してもよい。
 次に、ToFセンサ23は、フレーム1における複数のコンポーネントQ、Q90、Q180、Q270のデータを取得する。そして、位相算出部24は、かかる複数のコンポーネントQ、Q90、Q180、Q270のデータに基づいて、フレーム1の位相φを算出する。
 つづいて、制御部30および制御部15は、次のフレーム(以降、フレーム2とも呼称する)で、第2撮影処理を実施する。具体的には、図16に示すように、制御部30および制御部15は、フレーム2で光源2の変調周波数をfL2に設定し、測距装置3(すなわち、ToFセンサ23)の変調周波数をfS2に設定する。
 次に、ToFセンサ23は、フレーム2における複数のコンポーネントQ、Q90、Q180、Q270のデータを取得する。そして、位相算出部24は、かかる複数のコンポーネントQ、Q90、Q180、Q270のデータに基づいて、フレーム2の位相φを算出する。
 以降は同様に、フレーム3、5、7・・で第1撮影処理を実施し、フレーム4、6、8・・で第2撮影処理を実施する。
 そして、推定部28は、第1撮影処理(フレーム1、3、5・・)において取得された位相φから、変調周波数fL1、fS1における位相φのズレ量Δφを算出する。また、推定部28は、第2撮影処理(フレーム2、4、6・・)において取得された位相φから、変調周波数fL2、fS2における位相φのズレ量Δφを算出する。なお、以降の処理は上述しているため、説明を省略する。
 図16の例では、光源2およびToFセンサ23の変調周波数f、fを交互に切り替えることで、上述の誤差ΔfErrを算出することができる。
 図17は、本開示の第2実施形態に係る測距システム1の推定処理における動作の別の一例を示した図である。図17の例では、第1撮影処理が行われるフレーム(たとえば、フレーム1)と、かかる第1撮影処理につづいて行われる第2撮影処理のフレーム(たとえば、フレーム2)との間隔を可能な限り短くする。
 これにより、仮に物体4がわずかに動いていた場合でも、第1撮影処理における物体4の距離dの値と、つづいて行われる第2撮影処理における物体4の距離dの値とを近づけることができる。したがって、図17の例によれば、仮に物体4がわずかに動いていた場合でも、誤差ΔfErrを良好に算出することができる。
 なお、ここまで説明した第2実施形態では、光源2およびToFセンサ23が2種類の動作モードに切り替えられる例について示したが、切り替えられる動作モードの数は2種類に限られず、3種類以上の動作モードに切り替えられてもよい。
 また、上記の第2実施形態では、測距装置3の変調周波数fを光源2の変調周波数fに合わせるために、測距装置3の変調周波数fを調整する例について示したが、調整される対象は測距装置3の変調周波数fに限られない。
 たとえば、測距装置3の変調周波数fを光源2の変調周波数fに合わせるために、調整部29は、光源2の変調周波数fを調整してもよい。また、測距装置3の変調周波数fを光源2の変調周波数fに合わせるために、調整部29は、光源2の変調周波数fと測距装置3の変調周波数fとを両方調整してもよい。
[第3実施形態]
 つづいて、第3実施形態に係る変調周波数fの推定処理および変調周波数fの調整処理の詳細について、図18を参照しながら説明する。図18は、本開示の第3実施形態に係る測距システム1の推定処理における動作の一例を示した図である。
 第3実施形態では、最初に、上記の式(1)~(6)で説明した手法を用いて、変調周波数fと変調周波数fとのズレ量Δfを算出する。一方で、ここで算出されたズレ量Δfは「2πの不定性」を有することから、ズレ量Δfの真値は下記の式(43)のようになる。
Δf(真値)=Δf+F・N ・・(43)
(N:整数)
 そこで、第3実施形態では、かかる2πの不定性も勘案して、もっとも妥当性が高いズレ量Δfを真のズレ量Δf(真値)とみなす。
 具体的には、上記の式(43)の整数Nが0、±1、±2、・・・である場合のそれぞれのズレ量Δf(真値)の妥当性について、コンフィデンス値を用いて評価する。最初に、推定部28は、整数Nの値を1つ選択する。
 次に、制御部30は、かかる選択された整数Nの値を上記の式(43)に入力して得られたズレ量Δf(真値)に基づいて、測距装置3の変調周波数fを調整する。
 次に、ToFセンサ23は、図18に示すように、調整された変調周波数f、fにおける複数のコンポーネントQ、Q90、Q180、Q270のデータを取得する。そして、推定部28は、下記の式(44)を用いて、選択された整数Nのコンフィデンス値を算出する。
コンフィデンス値=[(Q180-Q+(Q90-Q2701/2 ・・(44)
 次に、推定部28は、異なる整数Nの値を選択する。そして、制御部30は、異なる整数Nの値を上記の式(43)に入力して得られたズレ量Δf(真値)に基づいて、測距装置3の変調周波数fを再調整する。
 すなわち、制御部30は、フレームレートの値であるF(Hz)刻みで変調周波数fが変更されるように、測距装置3の動作モードを切り替える。
 そして、上記と同様の処理によって、異なる整数Nのコンフィデンス値を算出する。さらに、上記と同様の処理によって、整数Nが0、±1、±2、・・・である場合のコンフィデンス値をそれぞれ算出する。
 次に、推定部28は、もっとも値の大きいコンフィデンス値が得られた整数Nを、もっとも妥当性が高い整数Nとみなす。そして、推定部28は、もっとも妥当性が高いとみなされた整数Nを上記の式(43)に入力することにより、ズレ量Δfの真値を算出することができる。
 このように、第3実施形態では、測距装置3の動作モードを切り替えて、各動作モードでのコンフィデンス値を算出することにより、変調周波数fと変調周波数fとのズレ量Δfを算出することができる。これにより、ToFセンサ23(すなわち、測距装置3)の変調周波数fを光源2の変調周波数fに合わせることができる。
 上記の説明は、ToFセンサ23側の変調周波数を変更して探索していたが、光源2側の変調周波数を変更し探索しても良い。その場合、通信部31,通信部16を経由し、制御部15にて、フレームレートの値であるF(Hz)刻みで光源の変調周波数fを変更する。その結果光源2の変調周波数fを、ToFセンサ23(すなわち、測距装置3)の変調周波数fに合わせることができる。
 また、第3実施形態では、フレームレートの値であるF(Hz)刻みで変調周波数f、fを変更する。たとえば、フレームレートが30(fps)である場合は、30(Hz)刻みで変調周波数fあるいはfを変更する。これにより、無駄なサーチを防ぐことができる。
 なお、第3実施形態で用いられるコンフィデンス値の算出式は、式(44)に限られない。たとえば、コンフィデンス値の算出式として下記の式(45)や式(46)を適用することもできる。
コンフィデンス値=|Q180-Q|+|Q90-Q270| ・・(45)
コンフィデンス値=max(|Q|、|Q90|、|Q180|、|Q270|) ・・(46)
[推定処理および調整処理の詳細]
 つづいて、図19~図21を参照しながら、各実施形態に係る測距システム1が実行する推定処理および調整処理の詳細について説明する。図19は、第1実施形態に係る推定処理および調整処理の処理手順を示すフローチャートである。
 最初に、制御部30あるいは制御部15は、複数の動作モードの候補としてあらかじめ設定されている複数のフレームレートの中から、1つのフレームレート(たとえば、フレームレートF)を選択する(ステップS101)。
 次に、ToFセンサ23は、あるフレームでの位相画像を計測する(ステップS102)。すなわち、ToFセンサ23は、あるフレームでのコンポーネントQ、Q90、Q180、Q270を計測し、式(4)を計算する。
 次に、ToFセンサ23は、別のフレームでの位相画像を計測する(ステップS103)。すなわち、ToFセンサ23は、別のフレームでのコンポーネントQ、Q90、Q180、Q270を計測し、式(4)を計算する。
 次に、動被写体検知部27は、ToFセンサ23によって撮影された画像から動被写体位置(すなわち、動く被写体の位置)を検出する(ステップS104)。
 次に、推定部28は、ステップS102、S103で計測された位相画像に基づいて、選択された1つのフレームレートにおける位相φのズレ量を算出する(ステップS105)。
 なお、かかるステップS105で用いられる位相画像からは、ステップS104で検出された動く被写体の位置が除かれる。なぜなら、位相φのズレ量を算出する処理において、被写体は静止していることが前提とされていることから、動く被写体の位置を含めた場合、位相φのズレ量を精度よく算出することが困難だからである。
 次に、推定部28は、規定のフレーム数だけデータを取得したか否かを判定する(ステップS106)。そして、規定のフレーム数だけデータを取得していない場合(ステップS106,No)、ステップS102の処理に戻る。
 一方で、規定のフレーム数だけデータを取得した場合(ステップS106,Yes)、推定部28は、取得されたすべての位相のズレ量の平均値を算出し(ステップS107)、かかる平均値を、選択された1つのフレームレートにおける位相φのズレ量とみなす。
 次に、推定部28は、すべての候補のフレームレートで位相φのズレ量が算出されたか否かを判定する(ステップS108)。そして、すべての候補のフレームレートで位相φのズレ量が算出されていない場合(ステップS108,No)、制御部30あるいは制御部15は、別のフレームレート(たとえば、フレームレートF)を選択して(ステップS109)、ステップS102の処理に戻る。
 一方で、すべての候補のフレームレートで位相φのズレ量が算出された場合(ステップS108,Yes)、推定部28は、すべての候補のフレームレートにおける位相φのズレ量に基づいて、光源2の変調周波数fを推定する(ステップS110)。
 最後に、調整部29は、ステップS110で推定された光源2の変調周波数fに基づいて、測距装置3の変調周波数fを調整し(ステップS111)、処理を完了する。
 図20は、第2実施形態に係る推定処理および調整処理の処理手順を示すフローチャートである。
 最初に、制御部30あるいは制御部15は、複数の動作モードの候補としてあらかじめ設定されている複数の変調周波数の中から、1つの変調周波数(たとえば、変調周波数fL1、fS1)を選択する(ステップS201)。
 次に、ToFセンサ23は、あるフレームでの位相画像を計測する(ステップS202)。すなわち、ToFセンサ23は、あるフレームでのコンポーネントQ、Q90、Q180、Q270を計測し、式(4)を計算する。
 次に、ToFセンサ23は、別のフレームでの位相画像を計測する(ステップS203)。すなわち、ToFセンサ23は、別のフレームでのコンポーネントQ、Q90、Q180、Q270を計測し、式(4)を計算する。
 次に、動被写体検知部27は、ToFセンサ23によって撮影された画像から動被写体位置(すなわち、動く被写体の位置)を検出する(ステップS204)。
 次に、推定部28は、ステップS202、S203で計測された位相画像に基づいて、選択された1つの変調周波数における位相φのズレ量を算出する(ステップS205)。なお、かかるステップS205で用いられる位相画像からは、ステップS204で検出された動く被写体の位置が除かれる。
 次に、推定部28は、規定のフレーム数だけデータを取得したか否かを判定する(ステップS206)。そして、規定のフレーム数だけデータを取得していない場合(ステップS206,No)、ステップS202の処理に戻る。
 一方で、規定のフレーム数だけデータを取得した場合(ステップS206,Yes)、推定部28は、取得されたすべての位相のズレ量の平均値を算出し(ステップS207)、かかる平均値を、選択された1つの変調周波数における位相φのズレ量とみなす。
 次に、推定部28は、すべての候補の変調周波数で位相φのズレ量が算出されたか否かを判定する(ステップS208)。そして、すべての候補の変調周波数で位相φのズレ量が算出されていない場合(ステップS208,No)、制御部30あるいは制御部15は、別の変調周波数(たとえば、変調周波数fL2、fS2)を選択して(ステップS209)、ステップS202の処理に戻る。
 一方で、すべての候補の変調周波数で位相φのズレ量が算出された場合(ステップS208,Yes)、推定部28は、すべての候補の変調周波数における位相φのズレ量に基づいて、光源2の変調周波数fを推定する(ステップS210)。
 最後に、調整部29は、ステップS210で推定された光源2の変調周波数fに基づいて、測距装置3の変調周波数fを調整し(ステップS211)、処理を完了する。
 図21は、第3実施形態に係る推定処理および調整処理の処理手順を示すフローチャートである。
 最初に、ToFセンサ23は、あるフレームでの位相画像を計測する(ステップS301)。すなわち、ToFセンサ23は、あるフレームでのコンポーネントQ、Q90、Q180、Q270を計測し、式(4)を計算する。
 次に、ToFセンサ23は、別のフレームでの位相画像を計測する(ステップS302)。すなわち、ToFセンサ23は、別のフレームでのコンポーネントQ、Q90、Q180、Q270を計測し、式(4)を計算する。
 次に、動被写体検知部27は、ToFセンサ23によって撮影された画像から動被写体位置(すなわち、動く被写体の位置)を検出する(ステップS303)。
 次に、推定部28は、ステップS301、S302で計測された位相画像に基づいて、位相φのズレ量を算出する(ステップS304)。なお、かかるステップS304で用いられる位相画像からは、ステップS303で検出された動く被写体の位置が除かれる。
 次に、推定部28は、ステップS304で算出された位相φのズレ量に基づいて、光源2の変調周波数fを推定する(ステップS305)。そして、制御部30は、候補としてあらかじめ設定されている複数の整数の中から、1つの整数Nを選択する(ステップS306)。
 次に、制御部30は、選択された1つの整数Nに基づいて、変調周波数fを調整する(ステップS307)。そして、推定部28は、調整された変調周波数fにおけるコンフィデンス値を算出する(ステップS308)。
 次に、推定部28は、すべての候補の整数でコンフィデンス値が算出されたか否かを判定する(ステップS309)。そして、すべての候補の整数でコンフィデンス値が算出されていない場合(ステップS309,No)、制御部30は、別の整数Nを選択して(ステップS310)、ステップS307の処理に戻る。
 一方で、すべての候補の整数でコンフィデンス値が算出された場合(ステップS309,Yes)、推定部28は、もっともコンフィデンス値の大きい整数Nを選択する(ステップS311)。
 そして、推定部28は、選択された整数Nに基づいて、光源2の変調周波数fを推定する(ステップS311)。最後に、調整部29は、ステップS311で推定された光源2の変調周波数fに基づいて、測距装置3の変調周波数fを調整し(ステップS312)、処理を完了する。
[固体撮像素子]
 つづいて、各実施形態に係る固体撮像素子300の構成例について、図22~図25を参照しながら説明する。図22は、本開示の各実施形態に係る測距モジュール210の一構成例を示すブロック図である。
 図22に示すように、測距モジュール210は、撮像レンズ220、固体撮像素子300および測距演算部230を備える。なお、測距モジュール210は、各実施形態に係る測距装置3(図6参照)の一例であり、固体撮像素子300は、各実施形態に係るToFセンサ23(図6参照)の一例であり、測距演算部230は、各実施形態に係る距離算出部26(図6参照)の一例である。
 撮像レンズ220は、複数の光源部14a、14b・・(図6参照)からの出射光L1(図6参照)や、その出射光L1からの反射光L2(図6参照)を集光して固体撮像素子300に導くものである。
 固体撮像素子300は、撮像レンズ220からの光を光電変換して画像データを生成するものである。この固体撮像素子300には、所定の周波数の垂直同期信号VSYNCと、基準クロックCLKsとが入力される。
 垂直同期信号VSYNCの周波数は、複数の光源部14a、14b・・が照射する出射光L1の周波数(20メガヘルツなど)よりも低い値(60ヘルツなど)に設定される。また、基準クロックCLKsの周波数は、その出射光L1の周波数と同じ値に設定される。
 ただし、基準クロックCLKsは、複数の光源部14a、14b・・の出射光L1と同期しておらず、その出射光L1と位相が一致するとは限らない。固体撮像素子300は、垂直同期信号VSYNC等に同期して画像データを生成し、測距演算部230に供給する。
 測距演算部230は、固体撮像素子300から供給される画像データに基づいて、物体4までの距離dに関する情報を含んだデプスマップを作成し、外部に出力する。
 図23は、本開示の各実施形態に係る固体撮像素子300の一構成例を示すブロック図である。この固体撮像素子300は、行走査回路310と、画素アレイ部320と、タイミング制御部340と、複数のAD(Analog to Digital)変換部350と、列走査回路360と、信号処理部370とを備える。
 画素アレイ部320には、二次元格子状に複数の画素回路330が配置される。以下、所定の方向に配列された画素回路330の集合を「行」と称し、行に垂直な方向に配列された画素回路330の集合を「列」と称する。前述のAD変換部350は、列ごとに設けられる。
 タイミング制御部340は、垂直同期信号VSYNCに同期して行走査回路310、AD変換部350および列走査回路360を制御するものである。
 行走査回路310は、行を順に選択して画素信号を出力させるものである。画素回路330は、行走査回路310の制御に従って、受光量に応じたレベルの画素信号を出力するものである。
 AD変換部350は、対応する列からの画素信号をAD変換するものである。このAD変換部350は、列走査回路360の制御に従って、AD変換した画素信号を画素データとして信号処理部370に出力する。列走査回路360は、AD変換部350を順に選択して画素データを出力させるものである。
 信号処理部370は、画素データからなる画像データに対して、CDS(Correlated Double Sampling)処理などの信号処理を行うものである。この信号処理部370は、信号処理後の画像データを測距演算部230に供給する。
 図24は、本開示の各実施形態に係る画素回路330の一構成例を示すブロック図である。かかる画素回路330は、受光素子331と、転送スイッチ332と、電荷蓄積部333および334と、選択スイッチ335および336とを備える。
 受光素子331は、光を光電変換して電荷を生成するものである。この受光素子331として、たとえば、SPAD素子やフォトダイオードなどが用いられる。
 転送スイッチ332は、行走査回路310の制御に従って受光素子331を電荷蓄積部333、電荷蓄積部334およびリセット電源Vrstのいずれかに接続するものである。なお、各実施形態において説明した「ToFセンサ23側の周波数」とは、2つの電荷蓄積部333、334へ電荷を振り分ける周期のことである。
 この転送スイッチ332は、たとえば、複数のMOS(Metal-Oxide-Semiconductor)トランジスタなどにより実現される。リセット電源Vrstに接続された際において、MOSトランジスタのドレインから出力された電荷は破棄され、受光素子331の電荷が初期化される。
 電荷蓄積部333および334は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部333および334として、たとえば、浮遊拡散層が用いられる。
 選択スイッチ335は、行走査回路310の制御に従って、電荷蓄積部333とAD変換部350との間の線路を開閉するものである。選択スイッチ336は、行走査回路310の制御に従って、電荷蓄積部334とAD変換部350との間の線路を開閉するものである。
 たとえば、行走査回路310によりFD読出し信号RD_FD1が供給された際に選択スイッチ335が閉状態に遷移し、行走査回路310によりFD読出し信号RD_FD2が供給された際に選択スイッチ336が閉状態に遷移する。これらの選択スイッチ335および336のそれぞれは、たとえば、MOSトランジスタなどにより実現される。
 図25は、本開示の各実施形態に係るQ1Q2検出期間の固体撮像素子の動作の一例を示すタイミングチャートである。測距モジュール210に測距させるための所定の操作が行われると、画素回路330は、受光量Q1およびQ2の検出と、受光量Q3およびQ4の検出とを交互に繰り返し行う。
 以下、受光量Q1およびQ2の検出期間を「Q1Q2検出期間」と称し、受光量Q3およびQ4の検出期間を「Q3Q4検出期間」と称する。また、Q1Q2検出期間およびQ3Q4検出期間からなる期間を「測定期間」と称する。Q1Q2検出期間およびQ3Q4検出期間のそれぞれの長さは、垂直同期信号VSYNCの周期(たとえば、1/60秒)である。
 ここで、受光量Q1は、基準クロックCLKsの特定の位相(たとえば、立上り)を0度として、0度から180度までの受光量q1をQ1Q2検出期間に亘って累積したものである。基準クロックCLKsの周波数は20メガヘルツ(MHz)と高いため、その1周期(1/20マイクロ秒)当たりの受光量q1は非常に少なく、検出が困難である。
 このため、画素回路330は、基準クロックCLKsの周期(1/20マイクロ秒)より長い1/60秒などのQ1Q2検出期間に亘って、q1のそれぞれを累積し、その総量を受光量Q1として検出する。また、受光量Q2は、180度から360度までの受光量q2をQ1Q2検出期間に亘って累積したものである。
 また、受光量Q3は、90度から270度までの受光量q3をQ3Q4検出期間に亘って累積したものである。また、受光量Q4は、270度から90度までの受光量q4をQ3Q4検出期間に亘って累積したものである。
 これらの受光量Q1、Q2、Q3およびQ4を下記の式(47)に代入することにより、測距演算部230は、基準クロックCLKsと、受光した光との間の位相差dPを算出することができる。この式の導出方法は、たとえば、「Larry Li、"Time-of-Flight Camera - An Introduction"、テキサスインスツルメンツ、Technical White Paper SLOA190B January 2014Revised May 2014」に記載されている。
dP=Arctan{(Q3-Q4)/(Q1-Q2)} ・・・(47)
 たとえば、タイミングT1からタイミングT2までのQ1Q2検出期間において、その期間の受光量Q1およびQ2が検出される。まず、行走査回路310は、タイミングT1から所定のパルス期間に亘ってリセット信号RSTを全行に供給する。
 このリセット信号RSTにより、全行の電荷蓄積部333および334の電荷蓄積量が初期化される。また、行走査回路310は、FD選択信号SEL_FDにより、全行の受光素子331の電荷を初期化する。
 そして、行走査回路310は、Q1Q2検出期間において、基準クロックCLKsの周期内の0度から180度までに亘って全行についてFD選択信号SEL_FDにより受光素子331が生成した電荷を電荷蓄積部333に転送させる。この制御により、電荷蓄積部333に受光量q1が蓄積される。
 また、行走査回路310は、Q1Q2検出期間において、基準クロックCLKsの周期内の180度から360度までに亘って全行についてFD選択信号SEL_FDにより受光素子331が生成した電荷を電荷蓄積部334に転送させる。この制御により、電荷蓄積部334に受光量q2が蓄積される。
 そして、タイミングT2の直前のタイミングT11において行走査回路310は、1行目にFD読出し信号RD_FD1およびRD_FD2を順に供給する。この制御により、1行目の受光量Q1およびQ2に応じた画素信号が読み出される。
 次に、行走査回路310は、2行目にFD読出し信号RD_FD1およびRD_FD2を順に供給して画素信号を読み出す。以下、同様に行走査回路310は、行を順に選択して画素信号を読み出す。
 このように、Q1Q2検出期間において画素回路330のそれぞれは、0度から180度までの受光量Q1と、180度から360度までの受光量Q2とを検出する。
[効果]
 実施形態に係る測距装置3は、ToFセンサ23と、距離算出部26と、モード切替部(制御部30)と、推定部28とを備える。ToFセンサ23は、撮影タイミングを制御するセンサクロック21が光源2の発光タイミングを制御する光源クロック11と異なる装置固有のクロックであり、パルス光を出射する光源2の出射光L1を物体4の表面で反射させて撮影する。距離算出部26は、ToFセンサ23で撮影された画像データに基づいて、物体4までの距離dを算出する。モード切替部(制御部30)は、ToFセンサ23の動作モードを切り替える。推定部28は、モード切替部(制御部30)により動作モードが切り替えられて撮影された複数の画像データに基づいて、光源クロック11から生成される光源2の変調周波数fを推定する。
 これにより、ToFセンサ23の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距装置3は、推定部28で推定された光源2の変調周波数fに基づいて、センサクロック21から生成される測距装置3の変調周波数fを調整する調整部29をさらに備える。
 これにより、ToFセンサ23の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距装置3において、モード切替部(制御部30)は、ToFセンサ23のフレームレートを複数の異なるフレームレートに切り替える。また、推定部28は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、光源2の変調周波数fを推定する。
 これにより、光源2の変調周波数fと測距装置3の変調周波数fとが大きくずれた場合でも、測距装置3の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距装置3において、モード切替部(制御部30)は、光源2の変調周波数fおよび測距装置3の変調周波数fを複数の異なる周波数に切り替える。また、推定部28は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、光源2の変調周波数fを推定する。
 これにより、光源2の変調周波数fと測距装置3の変調周波数fとが大きくずれた場合でも、測距装置3の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距装置3において、モード切替部(制御部30)は、所定のフレームレートの値刻みで光源2の変調周波数fあるいは測距装置3の変調周波数fを変更する。
 これにより、無駄なサーチを防ぐことができる。
 実施形態に係る測距システム1は、発光パルスの変調周波数を制御する光源クロック11を有し、パルス光を出射する光源2と、光源2の出射光L1を用いて物体4までの距離dを測定する測距装置3とを備える。測距装置3は、ToFセンサ23と、距離算出部26と、モード切替部(制御部30)と、推定部28とを有する。ToFセンサ23は、撮影タイミングを制御するセンサクロック21が光源クロック11と異なる装置固有のクロックであり、光源2の出射光L1を物体4の表面で反射させて撮影する。距離算出部26は、ToFセンサ23で撮影された画像データに基づいて、物体4までの距離dを算出する。モード切替部(制御部30)は、光源2およびToFセンサ23の動作モードを切り替える。推定部28は、モード切替部(制御部30)により動作モードが切り替えられて撮影された複数の画像データに基づいて、光源クロック11から生成される光源2の変調周波数fを推定する。
 これにより、ToFセンサ23の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距システム1において、測距装置3は、調整部29をさらに有する。調整部29は、推定部28で推定された光源2の変調周波数fに基づいて、光源2の変調周波数fおよびセンサクロック21から生成される測距装置3の変調周波数fのうち少なくとも一つを調整する。
 これにより、ToFセンサ23の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距システム1において、モード切替部(制御部30)は、ToFセンサ23のフレームレートを複数の異なるフレームレートに切り替える。また、推定部28は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、光源2の変調周波数fを推定する。
 これにより、光源2の変調周波数fと測距装置3の変調周波数fとが大きくずれた場合でも、測距装置3の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距システム1において、モード切替部(制御部30)は、光源2の変調周波数fおよび測距装置3の変調周波数fを複数の異なる周波数に切り替える。また、推定部28は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、光源2の変調周波数fを推定する。
 これにより、光源2の変調周波数fと測距装置3の変調周波数fとが大きくずれた場合でも、測距装置3の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距システム1において、モード切替部(制御部30)は、光源2の変調周波数fおよび測距装置3の変調周波数fを複数の異なる周波数に切り替える。また、推定部28は、1つの変調周波数で撮影された画像データの位相情報と、複数の異なる変調周波数で撮影された複数の画像データのコンフィデンス値とに基づいて、光源2の変調周波数fを推定する。
 これにより、ToFセンサ23の変調周波数fを光源2の変調周波数fに合わせることができる。
 また、実施形態に係る測距システム1において、モード切替部(制御部30)は、所定のフレームレートの値刻みで光源2の変調周波数fあるいは測距装置3の変調周波数fを変更する。
 これにより、無駄なサーチを防ぐことができる。
 また、実施形態に係る測距システム1において、光源2は、モード切替部(制御部30)で設定される光源2の動作モードに関する情報を測距装置3から受信する通信部16を有する。
 これにより、光源2と測距装置3とが別体で構成される場合であっても、光源2の動作モードに関する情報を測距装置3から受信することができる。
 また、実施形態に係る測距システム1において、測距装置3は、光源2の動作モードに関する情報を光源2から受信する通信部31を有する。また、モード切替部(制御部30)は、通信部31が受信した光源2の動作モードに基づいて、測距装置3の動作モードを設定する。
 これにより、光源2と測距装置3とが別体で構成される場合であっても、光源2の動作モードに関する情報を光源2から受信することができる。
 実施形態に係る測距装置3の調整方法は、第1撮影工程と、モード切替工程と、第2撮影工程と、推定工程とを含む。第1撮影工程は、撮影タイミングを制御するセンサクロック21が光源2の発光パルスの変調周波数を制御する光源クロック11と異なる装置固有のクロックであるToFセンサ23を用いて、パルス光を出射する光源2の出射光L1を物体4の表面で反射させて撮影する。モード切替工程は、ToFセンサ23の動作モードを切り替える。第2撮影工程は、動作モードが切り替えられたToFセンサ23で物体4を撮影する。推定工程は、第1撮影工程および第2撮影工程で撮影された複数の画像データに基づいて、光源クロック11から生成される光源2の変調周波数fを推定する。
 これにより、ToFセンサ23の変調周波数fを光源2の変調周波数fに合わせることができる。
 以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 撮影タイミングを制御するセンサクロックが光源の発光パルスの変調周波数を制御する光源クロックと異なる装置固有のクロックであり、パルス光を出射する前記光源の出射光を物体の表面で反射させて撮影するToF(Time of Flight)センサと、
 前記ToFセンサで撮影された画像データに基づいて、前記物体までの距離を算出する距離算出部と、
 前記ToFセンサの動作モードを切り替えるモード切替部と、
 前記モード切替部により動作モードが切り替えられて撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する推定部と、
 を備える測距装置。
(2)
 前記推定部で推定された前記光源の変調周波数に基づいて、前記センサクロックから生成される測距装置の変調周波数を調整する調整部をさらに備える
 前記(1)に記載の測距装置。
(3)
 前記モード切替部は、前記ToFセンサのフレームレートを複数の異なるフレームレートに切り替え、
 前記推定部は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(1)または(2)に記載の測距装置。
(4)
 前記モード切替部は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定部は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(1)または(2)に記載の測距装置。
(5)
 前記モード切替部は、前記光源の変調周波数あるいは前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定部は、1つの変調周波数で撮影された画像データの位相情報と、複数の異なる変調周波数で撮影された複数の画像データのコンフィデンス値とに基づいて、前記光源の変調周波数を推定する
 前記(1)または(2)に記載の測距装置。
(6)
 前記モード切替部は、所定のフレームレートの値刻みで前記光源の変調周波数および前記測距装置の変調周波数を変更する
 前記(5)に記載の測距装置。
(7)
 発光パルスの変調周波数を制御する光源クロックを有し、パルス光を出射する光源と、
 前記光源の出射光を用いて物体までの距離を測定する測距装置と、
 を備え、
 前記測距装置は、
 撮影タイミングを制御するセンサクロックが前記光源クロックと異なる装置固有のクロックであり、前記光源の出射光を前記物体の表面で反射させて撮影するToF(Time of Flight)センサと、
 前記ToFセンサで撮影された画像データに基づいて、前記物体までの距離を算出する距離算出部と、
 前記光源および前記ToFセンサの動作モードを切り替えるモード切替部と、
 前記モード切替部により動作モードが切り替えられて撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する推定部と、を有する
 測距システム。
(8)
 前記測距装置は、
 前記推定部で推定された前記光源の変調周波数に基づいて、前記光源の変調周波数および前記センサクロックから生成される前記測距装置の変調周波数のうち少なくとも一つを調整する調整部をさらに有する
 前記(7)に記載の測距システム。
(9)
 前記モード切替部は、前記ToFセンサのフレームレートを複数の異なるフレームレートに切り替え、
 前記推定部は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(7)または(8)に記載の測距システム。
(10)
 前記モード切替部は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定部は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(7)または(8)に記載の測距システム。
(11)
 前記モード切替部は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定部は、1つの変調周波数で撮影された画像データの位相情報と、複数の異なる変調周波数で撮影された複数の画像データのコンフィデンス値とに基づいて、前記光源の変調周波数を推定する
 前記(7)または(8)に記載の測距システム。
(12)
 前記モード切替部は、所定のフレームレートの値刻みで前記光源の変調周波数および前記測距装置の変調周波数を変更する
 前記(11)に記載の測距システム。
(13)
 前記光源は、前記モード切替部で設定される前記光源の動作モードに関する情報を前記測距装置から受信する通信部を有する
 前記(7)~(12)のいずれか一つに記載の測距システム。
(14)
 前記測距装置は、前記光源の動作モードに関する情報を前記光源から受信する通信部を有し、
 前記モード切替部は、前記通信部が受信した前記光源の動作モードに基づいて、前記測距装置の動作モードを設定する
 前記(7)~(12)のいずれか一つに記載の測距システム。
(15)
 撮影タイミングを制御するセンサクロックが光源の発光パルスの変調周波数を制御する光源クロックと異なる装置固有のクロックであるToF(Time of Flight)センサを用いて、パルス光を出射する前記光源の出射光を物体の表面で反射させて撮影する第1撮影工程と、
 前記ToFセンサの動作モードを切り替えるモード切替工程と、
 動作モードが切り替えられた前記ToFセンサで前記物体を撮影する第2撮影工程と、
 前記第1撮影工程および前記第2撮影工程で撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する推定工程と、
 を含む測距装置の調整方法。
(16)
 前記推定工程で推定された前記光源の変調周波数に基づいて、前記センサクロックから生成される測距装置の変調周波数を調整する調整工程をさらに含む
 前記(15)に記載の測距装置の調整方法。
(17)
 前記モード切替工程は、前記ToFセンサのフレームレートを複数の異なるフレームレートに切り替え、
 前記推定工程は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(15)または(16)に記載の測距装置の調整方法。
(18)
 前記モード切替工程は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定工程は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(15)または(16)に記載の測距装置の調整方法。
(19)
 前記モード切替工程は、前記光源の変調周波数あるいは前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定工程は、1つの変調周波数で撮影された画像データの位相情報と、複数の異なる変調周波数で撮影された複数の画像データのコンフィデンス値とに基づいて、前記光源の変調周波数を推定する
 前記(15)または(16)に記載の測距装置の調整方法。
(20)
 前記モード切替工程は、所定のフレームレートの値刻みで前記光源の変調周波数および前記測距装置の変調周波数を変更する
 前記(19)に記載の測距装置の調整方法。
(21)
 撮影タイミングを制御するセンサクロックが光源の発光パルスの変調周波数を制御する光源クロックと異なる装置固有のクロックである測距装置のToF(Time of Flight)センサを用いて、パルス光を出射する前記光源の出射光を物体の表面で反射させて撮影する第1撮影工程と、
 前記ToFセンサの動作モードを切り替えるモード切替工程と、
 動作モードが切り替えられた前記ToFセンサで前記物体を撮影する第2撮影工程と、
 前記第1撮影工程および前記第2撮影工程で撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する推定工程と、
 を含む測距システムの調整方法。
(22)
 前記推定工程で推定された前記光源の変調周波数に基づいて、前記光源の変調周波数および前記センサクロックから生成される前記測距装置の変調周波数のうち少なくとも一つを調整する調整工程をさらに含む
 前記(21)に記載の測距システムの調整方法。
(23)
 前記モード切替工程は、前記ToFセンサのフレームレートを複数の異なるフレームレートに切り替え、
 前記推定工程は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(21)または(22)に記載の測距システムの調整方法。
(24)
 前記モード切替工程は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定工程は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
 前記(21)または(22)に記載の測距システムの調整方法。
(25)
 前記モード切替工程は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
 前記推定工程は、1つの変調周波数で撮影された画像データの位相情報と、複数の異なる変調周波数で撮影された複数の画像データのコンフィデンス値とに基づいて、前記光源の変調周波数を推定する
 前記(21)または(22)に記載の測距システムの調整方法。
(26)
 前記モード切替工程は、所定のフレームレートの値刻みで前記光源の変調周波数および前記測距装置の変調周波数を変更する
 前記(25)に記載の測距システムの調整方法。
(27)
 前記光源は、前記モード切替工程で設定される前記光源の動作モードに関する情報を前記測距装置から受信する通信部を有する
 前記(21)~(26)のいずれか一つに記載の測距システムの調整方法。
(28)
 前記測距装置は、前記光源の動作モードに関する情報を前記光源から受信する通信部を有し、
 前記モード切替工程は、前記通信部が受信した前記光源の動作モードに基づいて、前記測距装置の動作モードを設定する
 前記(21)~(26)のいずれか一つに記載の測距システムの調整方法。
1  測距システム
2  光源
3  測距装置
11 光源クロック
12 PLL回路
16 通信部
21 センサクロック
22 PLL回路
23 ToFセンサ
28 推定部
29 調整部
30 制御部(モード切替部の一例)
31 通信部
d  距離
、f 変調周波数
L1 出射光
L2 反射光

Claims (15)

  1.  撮影タイミングを制御するセンサクロックが光源の発光パルスの変調周波数を制御する光源クロックと異なる装置固有のクロックであり、パルス光を出射する前記光源の出射光を物体の表面で反射させて撮影するToF(Time of Flight)センサと、
     前記ToFセンサで撮影された画像データに基づいて、前記物体までの距離を算出する距離算出部と、
     前記ToFセンサの動作モードを切り替えるモード切替部と、
     前記モード切替部により動作モードが切り替えられて撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する推定部と、
     を備える測距装置。
  2.  前記推定部で推定された前記光源の変調周波数に基づいて、前記センサクロックから生成される測距装置の変調周波数を調整する調整部をさらに備える
     請求項1に記載の測距装置。
  3.  前記モード切替部は、前記ToFセンサのフレームレートを複数の異なるフレームレートに切り替え、
     前記推定部は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
     請求項1に記載の測距装置。
  4.  前記モード切替部は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
     前記推定部は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
     請求項1に記載の測距装置。
  5.  前記モード切替部は、前記光源の変調周波数あるいは前記測距装置の変調周波数を複数の異なる周波数に切り替え、
     前記推定部は、1つの変調周波数で撮影された画像データの位相情報と、複数の異なる変調周波数で撮影された複数の画像データのコンフィデンス値とに基づいて、前記光源の変調周波数を推定する
     請求項1に記載の測距装置。
  6.  前記モード切替部は、所定のフレームレートの値刻みで前記光源の変調周波数および前記測距装置の変調周波数を変更する
     請求項5に記載の測距装置。
  7.  発光パルスの変調周波数を制御する光源クロックを有し、パルス光を出射する光源と、
     前記光源の出射光を用いて物体までの距離を測定する測距装置と、
     を備え、
     前記測距装置は、
     撮影タイミングを制御するセンサクロックが前記光源クロックと異なる装置固有のクロックであり、前記光源の出射光を前記物体の表面で反射させて撮影するToF(Time of Flight)センサと、
     前記ToFセンサで撮影された画像データに基づいて、前記物体までの距離を算出する距離算出部と、
     前記光源および前記ToFセンサの動作モードを切り替えるモード切替部と、
     前記モード切替部により動作モードが切り替えられて撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する推定部と、を有する
     測距システム。
  8.  前記測距装置は、
     前記推定部で推定された前記光源の変調周波数に基づいて、前記光源の変調周波数および前記センサクロックから生成される前記測距装置の変調周波数のうち少なくとも一つを調整する調整部をさらに有する
     請求項7に記載の測距システム。
  9.  前記モード切替部は、前記ToFセンサのフレームレートを複数の異なるフレームレートに切り替え、
     前記推定部は、複数の異なるフレームレートで撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
     請求項7に記載の測距システム。
  10.  前記モード切替部は、前記光源の変調周波数および前記測距装置の変調周波数を複数の異なる周波数に切り替え、
     前記推定部は、複数の異なる変調周波数で撮影された複数の画像データの位相情報に基づいて、前記光源の変調周波数を推定する
     請求項7に記載の測距システム。
  11.  前記モード切替部は、前記光源の変調周波数あるいは前記測距装置の変調周波数を複数の異なる周波数に切り替え、
     前記推定部は、1つの変調周波数で撮影された画像データの位相情報と、複数の異なる変調周波数で撮影された複数の画像データのコンフィデンス値とに基づいて、前記光源の変調周波数を推定する
     請求項7に記載の測距システム。
  12.  前記モード切替部は、所定のフレームレートの値刻みで前記光源の変調周波数および前記測距装置の変調周波数を変更する
     請求項11に記載の測距システム。
  13.  前記光源は、前記モード切替部で設定される前記光源の動作モードに関する情報を前記測距装置から受信する通信部を有する
     請求項7に記載の測距システム。
  14.  前記測距装置は、前記光源の動作モードに関する情報を前記光源から受信する通信部を有し、
     前記モード切替部は、前記通信部が受信した前記光源の動作モードに基づいて、前記測距装置の動作モードを設定する
     請求項7に記載の測距システム。
  15.  撮影タイミングを制御するセンサクロックが光源の発光パルスの変調周波数を制御する光源クロックと異なる装置固有のクロックであるToF(Time of Flight)センサを用いて、パルス光を出射する前記光源の出射光を物体の表面で反射させて撮影する第1撮影工程と、
     前記ToFセンサの動作モードを切り替えるモード切替工程と、
     動作モードが切り替えられた前記ToFセンサで前記物体を撮影する第2撮影工程と、
     前記第1撮影工程および前記第2撮影工程で撮影された複数の画像データに基づいて、前記光源クロックから生成される前記光源の変調周波数を推定する推定工程と、
     を含む測距装置の調整方法。
PCT/JP2020/023140 2019-07-26 2020-06-12 測距装置、測距システムおよび測距装置の調整方法 WO2021019929A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20848464.2A EP4006586A4 (en) 2019-07-26 2020-06-12 DISTANCE MEASUREMENT DEVICE, DISTANCE MEASUREMENT SYSTEM AND ADJUSTMENT METHOD FOR A DISTANCE MEASUREMENT DEVICE
US17/626,664 US20220260690A1 (en) 2019-07-26 2020-06-12 Distance measuring device, distance measuring system, and method of adjusting distance measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019138251A JP2021021633A (ja) 2019-07-26 2019-07-26 測距装置、測距システムおよび測距装置の調整方法
JP2019-138251 2019-07-26

Publications (1)

Publication Number Publication Date
WO2021019929A1 true WO2021019929A1 (ja) 2021-02-04

Family

ID=74230603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023140 WO2021019929A1 (ja) 2019-07-26 2020-06-12 測距装置、測距システムおよび測距装置の調整方法

Country Status (4)

Country Link
US (1) US20220260690A1 (ja)
EP (1) EP4006586A4 (ja)
JP (1) JP2021021633A (ja)
WO (1) WO2021019929A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022210330A1 (ja) * 2021-03-31 2022-10-06 パナソニックIpマネジメント株式会社 距離測定装置及び固体撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024167310A1 (ko) * 2023-02-07 2024-08-15 삼성전자 주식회사 Tof 센서의 소모 전류를 감소하는 방법 및 이를 지원하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013091016A1 (en) * 2011-12-23 2013-06-27 Canon Kabushiki Kaisha Structured light system for robust geometry acquisition
JP2015172551A (ja) * 2014-03-12 2015-10-01 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
JP2018031607A (ja) 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
JP2018036144A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 距離計測システム、および距離計測方法
JP2019106588A (ja) * 2017-12-11 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
DE102017105142B4 (de) * 2017-03-10 2021-09-16 Infineon Technologies Ag Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013091016A1 (en) * 2011-12-23 2013-06-27 Canon Kabushiki Kaisha Structured light system for robust geometry acquisition
JP2015172551A (ja) * 2014-03-12 2015-10-01 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
JP2018031607A (ja) 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
JP2018036144A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 距離計測システム、および距離計測方法
JP2019106588A (ja) * 2017-12-11 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4006586A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022210330A1 (ja) * 2021-03-31 2022-10-06 パナソニックIpマネジメント株式会社 距離測定装置及び固体撮像装置

Also Published As

Publication number Publication date
EP4006586A1 (en) 2022-06-01
EP4006586A4 (en) 2022-09-07
US20220260690A1 (en) 2022-08-18
JP2021021633A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US20220357427A1 (en) Hybrid lidar receiver and lidar methods
US11408983B2 (en) Lidar 2D receiver array architecture
CN108712245B (zh) 飞行时间成像设备和用于调节参考频率的方法
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
JP6320406B2 (ja) 深さ情報および画像センサにより画像を生成する方法
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
US7834985B2 (en) Surface profile measurement
JP5858688B2 (ja) 距離画像生成装置
WO2021019929A1 (ja) 測距装置、測距システムおよび測距装置の調整方法
US20120098964A1 (en) System and Method for Multi TOF Camera Operation Using Phase Hopping
KR20170050058A (ko) 깊이 정보 획득 장치 및 방법
EP3038340A1 (en) Semiconductor device, electronic device module and network system
WO2013121267A1 (en) Time of flight camera with stripe illumination
JP2008116308A (ja) 距離画像生成方法及びその装置
US11539873B2 (en) Camera apparatus and autofocusing method therefor
WO2011157712A1 (en) Method of controlling a system including an image sensor and a light source
JP2008241257A (ja) 測距装置及び測距方法
JP2001116516A (ja) 3次元画像検出装置
JP2008241258A (ja) 測距装置及び測距方法
JP2001148867A (ja) 3次元画像検出装置
JP4428831B2 (ja) 3次元画像検出装置
KR20200125713A (ko) 멀티-카메라 환경을 위한 최적화된 비행 시간 비전 카메라
Steinbaeck et al. A hybrid timestamping approach for multi-sensor perception systems
CN115407365A (zh) 一种深度测量装置及系统
WO2022016448A1 (en) Indirect tof sensor, stacked sensor chip, and method for measuring distance to object using the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20848464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020848464

Country of ref document: EP

Effective date: 20220228