WO2021075287A1 - 測距デバイスおよびその受光方法 - Google Patents

測距デバイスおよびその受光方法 Download PDF

Info

Publication number
WO2021075287A1
WO2021075287A1 PCT/JP2020/037691 JP2020037691W WO2021075287A1 WO 2021075287 A1 WO2021075287 A1 WO 2021075287A1 JP 2020037691 W JP2020037691 W JP 2020037691W WO 2021075287 A1 WO2021075287 A1 WO 2021075287A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light source
distance measuring
distance
measuring device
Prior art date
Application number
PCT/JP2020/037691
Other languages
English (en)
French (fr)
Inventor
堅誠 城
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202080071163.2A priority Critical patent/CN114556133A/zh
Priority to EP20876522.2A priority patent/EP4047307A4/en
Priority to US17/639,523 priority patent/US20220268930A1/en
Priority to JP2021552318A priority patent/JPWO2021075287A1/ja
Publication of WO2021075287A1 publication Critical patent/WO2021075287A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present technology relates to a distance measuring device and its light receiving method.
  • the distance measuring device and its light receiving device are such that the modulation frequency of the light source and the modulation frequency of the ToF sensor are synchronized.
  • the light receiving method is described in detail below.
  • the ToF method is a method in which an object is irradiated with light using a light source, the reflected light is received by a ToF sensor, the received light result is analyzed, and the distance to the object is measured.
  • the light source clock for the light source and the sensor clock for the ToF sensor are separate bodies. Therefore, the modulation frequency of the light source and the modulation frequency of the ToF sensor are not always synchronized, and the frequency may shift. Then, when the modulation frequency of the ToF sensor deviates from the modulation frequency of the light source, there is a possibility that an error may occur in the distance measurement result.
  • This technology was made in view of such a situation, and makes it possible to synchronize the modulation frequency of the light source and the modulation frequency of the ToF sensor when the light source and the ToF sensor are configured separately. It is a thing.
  • the ranging device of the first aspect of the present technology is a receiving unit that generates a signal synchronized with the synchronous clock signal of another device by synchronizing the transmitted signal transmitted from another device by wireless communication.
  • the reference clock generator that generates a reference clock signal that serves as a reference when the light source emits light based on the synchronous clock signal, and the irradiation light emitted from the light source based on the reference clock signal are objects. It is equipped with a ToF sensor that receives the reflected light that has been reflected and returned.
  • the ranging device on the second aspect of the present technology is a reference clock signal that serves as a reference when the light source emits light based on a communication unit that transmits a transmission signal of wireless communication and a synchronization clock signal synchronized with the transmission signal.
  • a reference clock generation unit for generating the reference clock signal and a light source for irradiating the irradiation light based on the reference clock signal are provided.
  • the ranging device of the third aspect of the present technology is a reference clock signal that serves as a reference when the light source emits light based on a communication unit that transmits and receives a transmission signal of wireless communication and a synchronization clock signal synchronized with the transmission signal.
  • the reference clock generator Based on the reference clock generator, the light source that irradiates the irradiation light based on the reference clock signal, and the reference clock signal, the irradiation light emitted from another device is reflected by the object and returned. It is equipped with a ToF sensor that receives reflected light.
  • the distance measuring device synchronizes the transmission signal transmitted from the other device by wireless communication to obtain the synchronization clock signal of the other device.
  • a synchronized signal is generated, a reference clock signal that serves as a reference when the light source emits light is generated based on the synchronous clock signal, and the irradiation light emitted from the light source is an object based on the reference clock signal.
  • a reference clock signal as a reference when the light source emits light is generated based on the synchronous clock signal synchronized with the transmission signal of wireless communication, and the reference clock is generated. Based on the signal, the irradiation light emitted from the light source is reflected by the object and the reflected light returned is received.
  • a reference clock signal as a reference when the light source emits light is generated based on a synchronous clock signal synchronized with a transmission signal of wireless communication, and the reference clock signal is used as a reference.
  • the irradiation light is emitted from the light source.
  • the ranging device may be an independent device or a module incorporated in another device.
  • FIG. 1 It is a figure which shows the structural example of the light receiving part of a ToF sensor. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.
  • ToF Time of Flight
  • the ToF method is a method in which an object is irradiated with light using a light source, the reflected light is received by a ToF sensor, the received light result is analyzed, and the distance to the object is measured.
  • This disclosure relates to a distance measuring technique using the ToF method. Therefore, in order to facilitate understanding of each embodiment of the present disclosure, the basic principle of distance measurement processing by the ToF method will be described with reference to FIGS. 1 to 7.
  • the ToF method is a method that irradiates an object with light and analyzes the reflected light to measure the distance (depth) to the object and the shape of the object.
  • the three-dimensional shape measurement process is not particularly mentioned in the following description, it is possible to measure the three-dimensional shape of an object by measuring the distance of the object surface over the entire surface of the object.
  • FIG. 1 shows the configuration of a ranging system.
  • the distance measuring system 1 shown in FIG. 1 includes a light source 2 and a distance measuring device 3.
  • the light source 2 irradiates the object 4 as the object to be measured with light.
  • the irradiation light L1 emitted from the light source 2 is reflected by the object 4 and is incident on the distance measuring device 3 as the reflected light L2.
  • the light source 2 and the distance measuring device 3 are arranged at substantially the same position.
  • the distance (depth) d from the distance measuring device 3 to the object 4 can be calculated by the following equation (1).
  • ⁇ t of formula (1) is the time of the irradiation light L1 emitted from the light source 2 is incident on the distance measuring device 3 is reflected on the object 4, c is the speed of light (2.9979 ⁇ 10 8 [m / Sec]).
  • the irradiation light L1 emitted from the light source 2 pulsed light having a light emitting pattern that repeatedly turns on and off at a predetermined frequency f (modulation frequency) as shown in FIG. 2 is adopted.
  • One cycle of the light emission pattern is 1 / f.
  • the reflected light L2 is detected out of phase according to the time ⁇ t from the light source 2 to the distance measuring device 3. Assuming that the amount of phase shift (phase difference) is ⁇ , the time ⁇ t can be calculated by the following equation (2).
  • the distance d from the distance measuring device 3 to the object 4 can be calculated from the equations (1) and (2) by the following equation (3).
  • the distance measuring device 3 has a ToF sensor in which pixels for photoelectric conversion of incident light are two-dimensionally arranged in a matrix. Each pixel of the ToF sensor repeats ON / OFF at high speed and accumulates electric charge only during the ON period.
  • the distance measuring device 3 When measuring the distance of an object using the ToF sensor, the distance measuring device 3 sequentially switches the ON / OFF execution timing of the ToF sensor, accumulates electric charges at each execution timing, and outputs a detection signal according to the accumulated electric charge. Output.
  • phase 0 degrees phase 90 degrees
  • phase 180 degrees phase 270 degrees.
  • the execution timing of the phase 0 degree is the timing at which the ON timing (light receiving timing) of the ToF sensor is set to the phase of the pulsed light emitted by the light source 2, that is, the same phase as the light emission pattern.
  • the execution timing of the phase 90 degrees is the timing at which the ON timing (light receiving timing) of the ToF sensor is set to a phase 90 degrees behind the pulsed light (emission pattern) emitted by the light source 2.
  • the execution timing of the phase 180 degrees is the timing at which the ON timing (light receiving timing) of the ToF sensor is set to a phase 180 degrees behind the pulsed light (emission pattern) emitted by the light source 2.
  • the execution timing of the phase 270 degrees is a timing in which the ON timing (light receiving timing) of the ToF sensor is set to a phase 270 degrees behind the pulsed light (emission pattern) emitted by the light source 2.
  • the ToF sensor sequentially switches between these four types of execution timings and acquires the amount of received light (accumulated charge) of the reflected light L2 at each light receiving timing.
  • the ON timing (light receiving timing) of each phase the timing at which the reflected light L2 is incident is shaded.
  • phase difference ⁇ can be calculated by the following equation (4) using Q 0 , Q 90 , Q 180 , and Q 270.
  • the distance d from the distance measuring device 3 to the object 4 can be calculated.
  • a value representing the intensity of light received by each pixel is called a Confidence value, and is calculated by the following equation (5) or equation (6).
  • the ToF sensor switches the light receiving timing in order of phase 0 degrees, phase 90 degrees, phase 180 degrees, and phase 270 degrees, and the accumulated charges (charge Q 0 , charge Q) in each phase. 90 , charge Q 180 , and charge Q 270 ) are sequentially output as detection signals.
  • a one-phase image frame of 0 degree, 90 degree phase, 180 degree phase, or 270 degree phase output by the ToF sensor is referred to as a "component”, and has 0 degree phase, 90 degree phase, and 180 degree phase.
  • a set of four components (four-phase image frame) having a degree and a phase of 270 degrees is referred to as a "frame”.
  • FIG. 5 is a diagram showing the concept of cyclic error correction processing.
  • the graph on the left side of FIG. 5 shows the relationship between the phase difference ⁇ obs output from the ToF sensor and the distance d.
  • the relationship between the phase difference ⁇ obs and the distance d is ideally a linear relationship as shown by the broken line, but in reality, it is a non-linear relationship including an error due to a cyclic error as shown by the solid line. It becomes a relationship.
  • the corrected phase difference ⁇ linear and The relationship with the distance d is linearly corrected.
  • phase difference phi obs As a specific correction process, an object with a known distance d is measured with a ToF sensor, and the relationship between the actually observed phase difference ⁇ obs and the true phase difference ⁇ linear corresponding to the distance d to the object. From, the correction function f ( ⁇ obs ) that converts the phase difference ⁇ obs into the true value phase difference ⁇ linear is calculated.
  • the correction function f ( ⁇ obs) is stored in advance in the memory of the signal processing unit, signal processing unit, the ToF sensor, when the phase difference phi obs as a measure supplied, the phase difference phi obs Execute the correction process.
  • the correction process looks at the pair of the phase difference ⁇ obs as the measured value and the phase difference ⁇ linear of the true value.
  • the correction process looks at the pair of the phase difference ⁇ obs as the measured value and the phase difference ⁇ linear of the true value.
  • the actually measured correction function f (x) may be approximated to another parameter function, and only a small number of correction coefficients may be stored in the memory as parameters.
  • the correction function f (x) is expanded by Fourier series, and the correction coefficients ( ak , b k ) from the 0th to Nth order k are stored in the memory. Can be done.
  • the ranging device 3A receives the reflected light reflected by the object 4 from the irradiation light emitted from the light source 2A, and calculates the phase difference ⁇ A.
  • Distance measuring device 3B the irradiation light irradiated from the light source 2B is receiving reflected light reflected by the object 4, to calculate a phase difference phi B.
  • the irradiation light emitted from the light source 2A may adversely affect the light reception of the distance measuring device 3B, and the irradiation light emitted from the light source 2B may adversely affect the light reception of the distance measuring device 3A.
  • a in FIG. 7 shows an example of (2) a method of making the modulation frequency of the pulsed light of each light source 2 different.
  • the light source 2A of the set A irradiates the pulsed light having the modulation frequency f of 100 MHz, and the light source 2B of the set B emits the pulsed light having the modulation frequency f of 71 MHz. Irradiate.
  • the drive frequency of the ToF sensor corresponds to the frequency of the ON period in which the electric charge is accumulated in FIG.
  • the distance measuring device 3A Since the distance measuring device 3A is driven at the same drive frequency as the modulation frequency f of the pulsed light from the light source 2A, the light from the light source 2A can be received with high correlation. That is, a signal having a high Confidence value can be detected.
  • the ranging device 3B receives the pulsed light from the light source 2A, the driving frequency is different, so that the phase difference ⁇ cannot be calculated. That is, in the distance measuring device 3B, the values of the charges Q 0 , Q 90 , Q 180 , and Q 270 corresponding to the reflected light from the light source 2A are almost the same and are not observed as a modulation light source, so that the phase difference ⁇ is calculated. Does not affect. Therefore, even if the plurality of light sources 2A and 2B emit the irradiation light at the same time, the distance measuring devices 3A and 3B can independently measure the accurate distance d, respectively.
  • FIG. 7 shows an example of (3) a method of making the emission pattern of the pulsed light of each light source 2 different.
  • the light source 2A of the set A irradiates the pulsed light with the predetermined light emission pattern A
  • the light source 2B of the set B irradiates the pulsed light with the predetermined light emission pattern B.
  • the distance measuring device 3A of the set A drives the ToF sensor with the light emission pattern A
  • the distance measuring device 3B of the set B drives the ToF sensor with the light emission pattern B.
  • the light emission pattern A and the light emission pattern B are different.
  • the distance measuring devices 3A and 3B In each of the distance measuring devices 3A and 3B, the reflected light of the same emission pattern shows a high correlation, and the Confidence value also becomes high. On the other hand, since the correlation is low for the reflected light of different emission patterns, it does not affect the calculation of the phase difference ⁇ . Therefore, even if the plurality of light sources 2A and 2B emit the irradiation light at the same time, the distance measuring devices 3A and 3B can independently measure the accurate distance d, respectively.
  • Which of the methods of identifying by the light source pattern of is adopted can be set by the operation mode.
  • the operation modes of are referred to as (1) time division mode, (2) modulation frequency mode, and (3) light emission pattern mode, respectively.
  • the phase difference ⁇ is detected based on the charges Q 0 , Q 90 , Q 180 , and Q 270 detected in a plurality of types of phases with respect to the irradiation timing of the irradiation light L1.
  • the method of calculating the distance d to the object 4 is called the indirect ToF method.
  • the directToF method which directly counts the time ⁇ t from the light emitted from the light source 2 to the arrival at the distance measuring device 3.
  • the direct ToF type ToF sensor is equipped with a SPAD (Single Photon Avalanche Diode), APD (Avalanche photodiode), etc. as light receiving elements for each pixel arranged two-dimensionally in a matrix.
  • SPAD and APD are light receiving elements that output a signal by avalanche amplification of the generated electrons when incident light is incident.
  • the flight time of light from the time when the light source 2 starts irradiating light to the time when the distance measuring device 3 receives the reflected light is a digital count value (hereinafter referred to as TDC code) by TDC (time to digital converter). .) Is converted. Light irradiation and reception are performed multiple times in order to eliminate the influence of ambient light and multipath.
  • a histogram of the TDC code for multiple times is generated.
  • the TDC code having the highest frequency value is determined as the final flight time ⁇ t, and the distance d can be calculated by the above equation (1).
  • the light source 2 and the distance measuring device 3 are integrally configured such as in the same module and arranged at substantially the same position.
  • the light source 2 and the distance measuring device 3 are separated, the object 4 is irradiated with light from the light source 2 installed at a distant position, the reflected light is received by the distance measuring device 3, and the distance to the object 4 is received. There is also a method of measuring d.
  • the light source 2 and the distance measuring device 3 are separately arranged at separate positions, the light source 2 can be arranged in the vicinity of the object 4, so that the light source 2 and the distance measuring device 3 are integrally configured. Compared with the case, the amount of light received by the ToF sensor can be improved. Thereby, the distance measuring accuracy of the distance measuring device 3 can be improved.
  • the distance measuring device 3 needs to be synchronized with the light emission timing of the light source 2 with high accuracy, so that the light source 2 and the distance measuring device 3 are separated.
  • the problem is whether the ToF sensor of the distance measuring device 3 can realize frequency synchronization and phase synchronization with high accuracy with respect to the light emission timing of the light source 2 when they are arranged separately in the above.
  • FIG. 9 shows a configuration example of the distance measuring system according to the first embodiment of the present disclosure.
  • the distance measuring system 11 includes a plurality of distance measuring devices 21.
  • a configuration is shown in which the distance measuring system 11 includes five distance measuring devices 21 of the distance measuring devices 21A to 21E, but the number of the distance measuring devices 21 is not limited to five and is arbitrary. Can be the number of.
  • the distance measuring device 21 includes a configuration including both a light source 2 and a distance measuring device 3, a configuration including only the light source 2, and a configuration including only the distance measuring device 3.
  • the distance measuring device 21A includes only the light source 2
  • the distance measuring device 21B includes the light source 2 and the distance measuring device 3.
  • the distance measuring device 21C includes only the distance measuring device 3
  • the distance measuring device 21D includes a light source 2 and a distance measuring device 3.
  • the distance measuring device 21E includes only the distance measuring device 3.
  • Each ranging device 21 is identified by a unique ID assigned to each.
  • the distance measuring device 21A is given a unique ID of "0" (ID0)
  • the distance measuring device 21B is given a unique ID of "1" (ID1).
  • "2" (ID2) is assigned to 21C as a unique ID.
  • the distance measuring device 21D is given a unique ID of "3" (ID3)
  • the distance measuring device 21E is given a unique ID of "4" (ID4).
  • the distance measuring device 3 includes a ToF sensor 52 (FIG. 10) that measures the distance d to an object by the indirect ToF method or the direct ToF method.
  • a ToF sensor 52 (FIG. 10) that measures the distance d to an object by the indirect ToF method or the direct ToF method.
  • the ToF sensor 52 included in each ranging device 3 will be described as an indirect ToF type ToF sensor, and the case of the direct ToF type will be supplementarily described as necessary.
  • the ranging devices 21A to 21D are fixedly attached to, for example, the ceiling.
  • the distance measuring device 21E is attached to a predetermined position of the mobile transport vehicle 22, and the mobile transport vehicle 22 changes the traveling direction according to the distance measurement result of the distance measuring device 21E, for example, the distance to the object 24. It is possible.
  • the five ranging devices 21A to 21E can perform communication (wireless communication) by a predetermined wireless signal via the network 23. Further, each of the five distance measuring devices 21A to 21E may directly perform wireless communication with the other party's distance measuring device 21 without going through the network 23.
  • the network 23 is composed of, for example, a wide area communication network for wireless mobiles such as WiFi (registered trademark), Bluetooth (registered trademark), so-called 4G line and 5G line.
  • the ranging device 21A composed of only the light source 2 emits irradiation light when measuring the distance of another ranging device 21 (for example, the ranging device 21C) including the ranging device 3.
  • the distance measuring device 21C and the distance measuring device 21E composed of only the distance measuring device 3 receive the reflected light emitted from the light source 2 of the other distance measuring device 21 and measure the distance d to the object.
  • the distance measuring devices 21B and 21D including the light source 2 and the distance measuring device 3 can receive the reflected light of the irradiation light emitted from their own light source 2 and measure the distance d to the object. It is also possible to receive the reflected light of the irradiation light emitted from the light source 2 of the distance measuring device 21 (for example, the distance measuring device 21C) and measure the distance d to the object.
  • the distance measuring device 21E composed of only the distance measuring device 3 synchronizes with the emission timing of the irradiation light emitted from the light source 2 of the other distance measuring device 21D, from the distance measuring device 21E to the object 24. Distance d is measured.
  • the ranging device 21E synchronizes with the clock of the radio signal emitted by the light source 2 of the other ranging device 21D, so that the light emitting timing of the light source 2 and the light receiving timing of its own ranging device 3 are synchronized. Synchronize with.
  • the distance measuring device 21E and the distance measuring device 21D perform wireless communication by WiFi (registered trademark) or Bluetooth (registered trademark), for example, with a 2.4 GHz clock signal
  • the light emission timing and its own distance measuring device 3 Synchronize with the light reception timing of.
  • FIG. 10 is a block diagram showing a functional configuration example of the distance measuring device 21 including the light source 2 and the distance measuring device 3.
  • the distance measuring device 21 includes a clock source 41, a communication module 42, an antenna 43, a reference clock generation unit 44, an operation mode setting unit 45, a laser driver 46, and a laser light emitting unit 47.
  • the distance measuring device 21 includes a light source information acquisition unit 48, a memory (storage unit) 49, a time synchronization unit 50, a timing control unit 51, a ToF sensor 52, and a signal processing unit 53.
  • the clock source 41 is composed of, for example, a crystal oscillator, generates a master clock that serves as a reference for both wireless communication and light emission timing, and supplies it to the communication module 42.
  • the communication module 42 controls the wireless communication performed by the distance measuring device 21, and processes data based on the wireless signal transmitted and received via the antenna 43.
  • the communication module 42 encodes and modulates the transmitted data by using a predetermined coding method, modulation method, or the like, and the transmission signal obtained as a result. Is transmitted from the antenna 43.
  • the transmitted data is supplied from the light source information acquisition unit 48, the time synchronization unit 50, the timing control unit 51, and the like.
  • the communication module 42 performs processing (decoding and demodulation) opposite to that at the time of data transmission in response to the data received via the antenna 43, and the data obtained as a result is obtained in the subsequent stage.
  • processing decoding and demodulation
  • the communication module 42 has a synchronous clock generation unit 61 and a signal transmission / reception unit 62.
  • the synchronous clock generation unit 61 At the time of data transmission, the synchronous clock generation unit 61 generates a transmission signal in which the frequency of the carrier wave is modulated to a predetermined modulation frequency, and transmits the transmission signal via the antenna 43. Further, the synchronous clock generation unit 61 generates a synchronous clock signal corresponding to the carrier frequency or the modulation frequency and supplies the synchronous clock signal to the reference clock generation unit 44.
  • the synchronous clock generation unit 61 At the time of data reception, the synchronous clock generation unit 61 generates a signal (synchronous clock signal) corresponding to the synchronous clock signal at the time of data transmission by performing synchronous processing of the signal received via the antenna 43, and is a reference. It is supplied to the clock generation unit 44.
  • the signal transmission / reception unit 62 encodes the data to be transmitted by a predetermined coding method and supplies the data to the synchronous clock generation unit 61.
  • the data to be transmitted includes, for example, a unique ID for identifying the ranging device 21 supplied from the light source information acquisition unit 48, light emission start time information and light emission time of the irradiation light emitted by the laser light emitting unit 47, an operation mode, and the like.
  • Light source information including.
  • the signal transmission / reception unit 62 demodulates the signal supplied from the synchronization clock generation unit 61, acquires the transmitted data, and operates mode setting unit 45, light source information acquisition unit 48, and time synchronization. It is supplied to either the unit 50 or the timing control unit 51.
  • the signal transmission / reception unit 62 supplies the operation mode, which is one of the light source information acquired from the received signal, to the operation mode setting unit 45, and supplies all the light source information to the light source information acquisition unit 48.
  • the antenna 43 At the time of data transmission, the antenna 43 amplifies the transmission signal supplied from the communication module 42 and transmits it as an electromagnetic wave. Further, when receiving data, the antenna 43 receives a transmission signal transmitted from another device and supplies the transmission signal to the communication module 42 as a reception signal.
  • the reference clock generation unit 44 includes a PLL (Phase Locked Loop) circuit and the like, and uses a reference clock signal as a reference when the laser light emitting unit 47 emits light based on the synchronization clock signal supplied from the synchronization clock generation unit 61. Generate and supply to the operation mode setting unit 45.
  • PLL Phase Locked Loop
  • the operation mode setting unit 45 uses the reference clock signal supplied from the reference clock generation unit 44 to generate an emission pulse signal according to the operation mode supplied from the signal transmission / reception unit 62, and the laser driver 46 and the ToF sensor 52. Supply to.
  • the operation mode setting unit 45 when the operation mode is the time division mode, the operation mode setting unit 45 generates a reference clock signal from the reference clock generation unit 44 according to the time zone in which itself (distance measuring device 21) emits light (or receives light). , Is supplied to the laser driver 46 and the ToF sensor 52 as an emission pulse signal.
  • the operation mode setting unit 45 adjusts the frequency of the reference clock signal from the reference clock generation unit 44 to the modulation frequency that itself (distance measuring device 21) emits or receives light. Then, it is supplied to the laser driver 46 and the ToF sensor 52 as a light emitting pulse signal.
  • the operation mode setting unit 45 when the operation mode is the light emission pattern mode, the operation mode setting unit 45 generates a light emission pattern that itself (distance measuring device 21) emits or receives light based on the reference clock signal from the reference clock generation unit 44. Then, it is supplied to the laser driver 46 and the ToF sensor 52 as a light emitting pulse signal.
  • the laser driver 46 transmits a drive signal for driving a VCSEL (Vertical Cavity Surface Emitting Laser), which is a light source of the laser light emitting unit 47, based on a light emitting pulse signal supplied from the operation mode setting unit 45. It is generated and supplied to the laser light emitting unit 47.
  • VCSEL Vertical Cavity Surface Emitting Laser
  • the laser driver 46 is supplied with start timing control information that defines the timing for starting light emission (or light reception) from the timing control unit 51.
  • the start timing control information includes light emission start time information indicating a time when light emission or light reception is started, a light emission time of a VCSEL (exposure time of a pixel), a period of a component and a frame, and the like.
  • the laser driver 46 supplies a drive signal to the laser light emitting unit 47 at a predetermined timing based on the start timing control information.
  • the laser light emitting unit 47 is composed of, for example, a VCSEL array (light source array) in which a plurality of VCSELs as a light source are arranged in a plane, and repeats light emission on / off at a predetermined cycle according to a drive signal from the laser driver 46.
  • a VCSEL array light source array
  • the light source information acquisition unit 48 acquires the light source information from the memory 49 and supplies it to the signal transmission / reception unit 62 at the time of light emission. Further, when receiving light, the light source information acquisition unit 48 acquires the received light source information from the signal transmission / reception unit 62 and stores it in the memory 49.
  • the light source information is also supplied to the timing control unit 51, the ToF sensor 52, and the signal processing unit 53 as needed. For example, the calibration data of the light source is supplied to the ToF sensor 52.
  • the memory 49 stores the light source information and supplies it to the light source information acquisition unit 48 as needed.
  • examples of the information stored in the memory 49 as the light source information include the following information. ⁇ Unique ID -Light emission time / exposure time-light emission start time information / exposure start time information-repetition frequency (direct ToF method) ⁇ Modulation frequency (indirect ToF method) -Component length (indirect ToF method) ⁇ Position and orientation of ranging device ⁇ Frame length ⁇ Wavelength of light source ⁇ Light emission pattern ⁇ Calibration data of light source (indirect ToF method) ⁇ action mode
  • the unique ID is information that identifies the ranging device 21.
  • the light emitting time represents the length of time (the above-mentioned ON period) in which the laser light emitting unit 47 (light source 2) emits light once.
  • the light emitting time corresponds to the exposure time of the ToF sensor 52 on the light receiving side.
  • the light emission start time information represents the time when the laser light emitting unit 47 starts emitting the irradiation light.
  • the light emission start time information corresponds to the time when the ToF sensor 52 starts exposure on the light receiving side.
  • the repetition frequency represents the irradiation time interval, that is, the time interval from the previous irradiation start time to the next irradiation start in the directToF method in which light irradiation and reception are repeated multiple times.
  • the modulation frequency represents the modulation frequency in the indirect ToF method.
  • the component length represents the time length of one component in the indirect ToF method.
  • the position and orientation of the ranging device is information indicating its own position or orientation when the ranging device 21 is equipped with an IMU (Inertial Measurement Unit), a magnetic sensor, a GNSS (Global Navigation Satellite System) receiver, or the like. Is. Either position or posture may be used, or both may be used.
  • IMU Inertial Measurement Unit
  • GNSS Global Navigation Satellite System
  • the frame length represents the time length of one frame in the indirect ToF method.
  • the wavelength of the light source represents the wavelength of the irradiation light emitted by the laser emitting unit 47.
  • the wavelength is in the range of about 850 nm to 940 nm.
  • the light emission pattern represents information that the distance measuring device 21 identifies the light emission pattern of the pulsed light emitted by the light source 2.
  • the calibration data of the light source is data for correcting cyclic errors in the indirect ToF method.
  • a correction function or a correction coefficient that corrects a non-linear relationship on the left side of FIG. 5 to a linear relationship on the right side of FIG. And so on.
  • the operation mode includes information indicating one of (1) time division mode, (2) modulation frequency mode, and (3) emission pattern mode for countermeasures against interference of irradiation light, and is necessary for the operation of the operation mode.
  • the detailed operation mode setting information is, for example, (1) information indicating the time zone used by the user in the time division mode in the time division mode, and (3) information indicating the time zone used by the user in the time division mode, and (3) the information indicating the time zone used by the user in the time division mode. Includes information that represents the light emission pattern used by.
  • FIG. 11 shows an operation example of the plurality of distance measuring devices 21 on the light emitting side and the distance measuring device 21 on the light receiving side when the operation mode is operated in the time division mode as a countermeasure against interference of the irradiation light. There is.
  • the distance measuring device 21A and the distance measuring device 21B which are the distance measuring devices 21 on the light emitting side, emit light in a time division manner.
  • the ranging device 21E on the light receiving side performs a light receiving operation in synchronization with the light emission timing of the ranging device 21B to prevent interference of the irradiation light and receive the reflected light of the irradiation light emitted by the ranging device 21B. can do.
  • the light emission timing of the distance measuring device 21B to be received can be confirmed by the light emission start time information representing the light emission start time, which is a part of the light source information.
  • FIG. 12 shows an operation example of the plurality of distance measuring devices 21 on the light emitting side and the distance measuring device 21 on the light receiving side when the operation mode is operated in the modulation frequency mode as a countermeasure against interference of the irradiation light. There is.
  • the distance measuring device 21 on the light emitting side is the distance measuring device 21A and the distance measuring device 21B, and the distance measuring device 21 on the light receiving side is the distance measuring device 21E.
  • the ranging device 21A emits irradiation light at a modulation frequency of 71 MHz.
  • the ranging device 21B emits irradiation light at a modulation frequency of 100 MHz.
  • the ranging device 21E on the light receiving side performs a light receiving operation in synchronization with the modulation frequency of the ranging device 21B to prevent interference of the irradiation light and receive the reflected light of the irradiation light emitted by the ranging device 21B. can do.
  • the modulation frequency of the ranging device 21B to be received light can be confirmed by the modulation frequency information representing the modulation frequency, which is a part of the light source information.
  • FIG. 13 shows an operation example of the plurality of distance measuring devices 21 on the light emitting side and the distance measuring device 21 on the light receiving side when the operation mode is operated in the light emission pattern mode as a countermeasure against interference of the irradiation light. There is.
  • the distance measuring device 21 on the light emitting side is the distance measuring device 21A and the distance measuring device 21B, and the distance measuring device 21 on the light receiving side is the distance measuring device 21E.
  • the ranging device 21A emits irradiation light in the light emission pattern A.
  • the ranging device 21B emits irradiation light in the light emission pattern B.
  • the ranging device 21E on the light receiving side performs a light receiving operation in synchronization with the light emission pattern B of the ranging device 21B to prevent interference of the irradiation light and to receive the reflected light of the irradiation light emitted by the ranging device 21B. Can receive light.
  • the light emission pattern of the distance measuring device 21B to be received can be confirmed by the light emission pattern information representing the light emission pattern, which is a part of the light source information.
  • the time synchronization unit 50 exchanges time stamps between the distance measuring device 21 on the side that emits the pulsed light and the distance measuring device 21 on the side that receives the pulsed light, and the time is set with high accuracy. Synchronize. For example, the time synchronization unit 50 synchronizes the time with an accuracy that does not cause any problem in light emission / reception between a remote light source / sensor by using a protocol such as PTP (Precision Time Protocol).
  • PTP Precision Time Protocol
  • the time synchronization unit 50 is disclosed in "Sameer Ansari; Neal Wadhwa; Rahul Garg; Jiawen Chen,” Wireless Software Synchronization of Multiple Distributed Cameras ", 2019 IEEE International Conference on Computational Photography, ICCP 2019".
  • the time may be synchronized by adopting a method of synchronizing the shutter timings of a plurality of cameras using communication.
  • the timing control unit 51 generates start timing control information based on the time information from the time synchronization unit 50 and supplies the start timing control information to the laser driver 46 and the ToF sensor 52.
  • the ToF sensor 52 generates an image signal of the component by receiving the reflected light reflected by the object from the irradiation light emitted from the laser emitting unit 47 of itself (distance measuring device 21) or another ranging device 21. , Supply to the signal processing unit 53. A part of the light source information is supplied to the ToF sensor 52 from the light source information acquisition unit 48 as needed.
  • the ToF sensor 52 is a pixel array unit based on an emission pulse signal from the operation mode setting unit 45 according to the operation mode, light source information from the light source information acquisition unit 48, and start timing control information from the timing control unit 51.
  • the exposure of each pixel is controlled, and an image frame having a phase of 0 degrees, a phase of 90 degrees, a phase of 180 degrees, or a phase of 270 degrees is supplied to the signal processing unit 53.
  • the ToF sensor 52 performs correction processing for correcting cyclic errors and calculates an image frame of each phase.
  • the signal processing unit 53 acquires image frames of each phase of 0 degree, 90 degree, 180 degree, and 270 degree from the ToF sensor 52. Further, the signal processing unit 53 acquires information such as the modulation frequency of the received reflected light from the light source information acquisition unit 48.
  • the signal processing unit 53 uses the above-mentioned equation (3) based on the acquired four-phase image frame and information such as the modulation frequency to obtain the distance (depth value) from the distance measuring device 3 to the object 24.
  • d is calculated in pixel units.
  • the signal processing unit 53 generates a depth image in which the distance d from the distance measuring device 3 calculated for each pixel to the object 24 is stored as a pixel value of each pixel, and outputs the depth image to a device or a block in a subsequent stage.
  • the distance measuring device 21 includes both the light source 2 and the distance measuring device 3, in other words, when the distance measuring device 21 has both a light emitting function and a light receiving function, the distance measuring device 21 is described as described above. It is composed.
  • the distance measuring device 21 is composed of only one of the light emitting function and the light receiving function, the block required only for the light emitting function or the light receiving function is appropriately omitted.
  • the functional block diagram of the distance measuring device 21 is configured as shown in FIG. ..
  • the distance measuring device 21 is composed of only the light receiving function of the reflected light, for example, the distance measuring device 21C
  • the functional block diagram of the distance measuring device 21 is configured as shown in FIG.
  • the light emission control process of the distance measuring device 21 on the light emitting side that emits pulsed light will be described with reference to the flowchart of FIG. This process is started, for example, when the distance measuring device 21 on the light emitting side is turned on.
  • the memory of each distance measuring device 21 As a premise of the light emission control process of FIG. 16 which is the process of the distance measuring device 21 on the light emitting side and the light receiving control process of FIG. 17 which is the process of the distance measuring device 21 on the light receiving side, the memory of each distance measuring device 21. It is assumed that the information regarding the position (relative position) of each distance measuring device 21 measured in advance is stored in the 49 as the light source information.
  • the communication module 42 connects to the ranging device 21 on the light receiving side that receives the pulsed light emitted by itself via the network 23 or directly.
  • the wireless LAN Local Area Network
  • IEEE The Institute of Electrical and Electronics Engineers 802.11
  • CSMA / CA Carrier Sense Multiple Access / Collision Avoidance
  • the synchronous clock generation unit 61 of the communication module 42 generates a transmission signal based on the master clock supplied from the clock source 41 in the wireless communication connection, and transmits the transmission signal via the antenna 43. Further, the synchronous clock generation unit 61 generates a synchronous clock signal corresponding to the frequency (carrier frequency or modulation frequency) of the transmission signal and supplies the synchronous clock signal to the reference clock generation unit 44.
  • step S2 the time synchronization unit 50 exchanges the time stamp with the distance measuring device 21 on the light receiving side that receives the pulsed light, and synchronizes the time with high accuracy.
  • the time information after synchronization is supplied to the timing control unit 51.
  • step S3 the light source information acquisition unit 48 acquires the light source information from the memory 49 and supplies it to the signal transmission / reception unit 62.
  • step S4 the signal transmission / reception unit 62 of the communication module 42 encodes the data to be transmitted by a predetermined coding method and supplies the data to the synchronous clock generation unit 61.
  • the data to be transmitted includes, for example, at least one of the light source information supplied from the light source information acquisition unit 48, such as a unique ID, a light emission time, light emission start time information, and an operation mode. Further, the signal transmission / reception unit 62 supplies the operation mode to the operation mode setting unit 45.
  • step S5 the reference clock generation unit 44 generates a reference clock signal based on the synchronization clock signal supplied from the synchronization clock generation unit 61, and supplies the reference clock signal to the operation mode setting unit 45.
  • step S6 the operation mode setting unit 45 uses the reference clock signal supplied from the reference clock generation unit 44 to generate an emission pulse signal according to the operation mode supplied from the signal transmission / reception unit 62, and the laser driver 46. Supply to.
  • step S7 the timing control unit 51 generates start timing control information based on the time information from the time synchronization unit 50 and supplies the start timing control information to the laser driver 46.
  • step S8 the laser driver 46 supplies the drive signal to the laser light emitting unit 47 at a predetermined timing based on the start timing control information.
  • step S9 the laser light emitting unit 47 repeats on / off of light emission at a predetermined cycle according to the drive signal from the laser driver 46.
  • step S21 the communication module 42 connects to the distance measuring device 21 on the light emitting side that emits pulsed light via the network 23 or directly.
  • the synchronous clock generation unit 61 of the communication module 42 generates a signal corresponding to the synchronous clock signal at the time of data transmission by performing synchronous processing on the transmission signal received via the antenna 43 in the wireless communication connection, and generates a reference. It is supplied to the clock generation unit 44. As a result, the operation of the light receiving side is controlled based on the synchronous clock signal with reference to one clock source 41 on the light emitting side, and the frequencies of the light emitting side and the light receiving side are synchronized.
  • step S22 the time synchronization unit 50 exchanges the time stamp with the distance measuring device 21 on the light emitting side that emits pulsed light, and synchronizes the time with high accuracy.
  • the time information after synchronization is supplied to the timing control unit 51.
  • step S23 the signal transmission / reception unit 62 demodulates the signal supplied from the synchronous clock generation unit 61 and acquires the transmitted data.
  • the signal transmission / reception unit 62 supplies the operation mode acquired from the received signal to the operation mode setting unit 45, and supplies other light source information to the light source information acquisition unit 48.
  • step S24 the light source information acquisition unit 48 stores the light source information acquired from the signal transmission / reception unit 62 in the memory 49, and supplies a part of the light source information to the ToF sensor 52 and the signal processing unit 53.
  • step S25 the reference clock generation unit 44 generates a reference clock signal based on the synchronization clock signal supplied from the synchronization clock generation unit 61, and supplies the reference clock signal to the operation mode setting unit 45.
  • step S26 the operation mode setting unit 45 uses the reference clock signal supplied from the reference clock generation unit 44 to generate an emission pulse signal according to the operation mode supplied from the signal transmission / reception unit 62, and the ToF sensor 52. Supply to.
  • step S27 the ToF sensor 52 receives the reflected light reflected by the predetermined object 24 based on the emission pulse signal, and the signal processing unit 53 irradiates another ranging device 21 based on the light receiving result. Detects the phase difference of light and aligns the phases.
  • the ranging device 21B emits irradiation light from its own light source 2 and acquires the three-dimensional position of the point F of the object 24 in the light source coordinate system.
  • the ranging device 21B receives, for example, the reflected light emitted from the light source 2 of the ranging device 21A in a time-divided manner so that the irradiation light does not interfere with each other, and receives the reflected light reflected at the point F of the object 24.
  • the distance D AFB based on the light reception result.
  • the acquired distance D AFB can be expressed by the following equation.
  • the distance D AFB is the distance
  • V AF represents the vector of the point F of the object 24 from the distance measuring device 21A
  • V FB represents the vector of the distance measuring device 21B from the point F of the object 24.
  • the symbol representing the vector (the symbol of the arrow ( ⁇ ) marked above V AF and V FB in FIG. 18) is omitted.
  • the signal processing unit 53 converts the distance C AB into the phase shift T AB using the speed of light. Then, by using wireless communication to give an instruction to shift the phase of the light source 2 of the distance measuring device 21A by the phase shift T AB , the phase difference between the distance measuring devices 21A and 21B can be made uniform.
  • the distance measuring device 21 on the light receiving side synchronizes the transmission signal of the wireless communication transmitted by the light emitting side.
  • time synchronization is performed, and a reference clock signal that serves as a reference clock for light emission timing and light reception timing is generated.
  • the light emission timing and the light reception timing of both the light emitting side and the light receiving side ranging devices 21 are controlled with reference to one clock source 41 on the light emitting side.
  • the laser light emitting unit 47 (light source) and the ToF sensor 52 can be used. Frequency synchronization can be achieved, and the error of the distance measurement result can be reduced.
  • the operation is either (1) time division mode, (2) modulation frequency mode, or (3) light emission pattern mode.
  • the operation is either (1) time division mode, (2) modulation frequency mode, or (3) light emission pattern mode.
  • all the ranging devices 21 synchronize with the master clock of the clock source 41 of any one ranging device 21 to synchronize the synchronous clock signal or the reference clock. A signal is generated.
  • the operation mode is the modulation frequency mode or the light emission pattern mode, frequency synchronization is necessary, but time synchronization is not necessary.
  • the phase difference between the distance measuring device 21 on the light emitting side and the distance measuring device 21 on the light receiving side can be detected and the phase difference can be made uniform.
  • the distance measuring is attached to the movable mobile carrier 22.
  • the distance measuring device 3 of the device 21E can measure the distance to an arbitrary object 24 based on the irradiation light emitted from the light sources 2 of the plurality of distance measuring devices 21.
  • the method by which the distance measuring device 3 of the distance measuring device 21E attached to the mobile carrier 22 measures the distance to an arbitrary object 24 will be described later.
  • the light emitting side ranging device 21 and the light receiving side ranging device 21 can transmit and receive light source information by wireless communication.
  • Information that can be transmitted and received as light source information includes unique ID, light emission time, light emission start time information, repetition frequency, modulation frequency, component length, position and orientation of ranging device, frame length, light source wavelength, light emission pattern, and light source.
  • various information such as the calibration data and the operation mode of the above are illustrated, it is not necessary to send and receive all the information, and a part of the information may be stored in the memory 49 in advance as fixed data.
  • the light emitting side and the light receiving side are different distance measuring devices 21, it may be difficult for the light receiving side distance measuring device 21 which is another device to hold the calibration data of the light source in advance. In such a case, by transmitting the calibration data of the light source from the light emitting side to the light receiving side as a part of the light source information, accurate phase difference can be detected on the light receiving side.
  • each distance measuring device 21 synchronizes the synchronization clock signal and the reference clock signal with the clock source 41 of any one of the plurality of distance measuring devices 21 constituting the distance measuring system 11. It was configured.
  • each distance measuring device 21 may be a clock source of another device other than the plurality of distance measuring devices 21 constituting the distance measuring system 11.
  • GPS Global Positioning System
  • GLONASS Global Navigation Satellite System
  • Galileo Galileo
  • QZSS quasi-zenith satellite
  • GNSS signals other Global Navigation Satellite System (GNSS) signals
  • GNSS signals has a function to output a highly accurate clock signal and time information. It is possible to adopt a configuration in which each of the plurality of distance measuring devices 21 constituting the distance measuring system 11 receives the GNSS signal and uniformly synchronizes with the clock signal acquired from the GNSS signal and the time information.
  • FIG. 19 is a block diagram of a distance measuring device 21'that synchronizes time based on a GNSS signal.
  • FIG. 19 the parts corresponding to the configurations shown in FIG. 10 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
  • FIG. 19 shows two ranging devices 21'having both a light emitting function and a light receiving function. Then, one of the two ranging devices 21'is the ranging device 21'-1 on the light emitting side, and the other ranging device 21'-2 is on the light receiving side.
  • the ranging device 21'with the same configuration operates as a light emitting side or a light receiving side, for example, according to preset setting information (light source information).
  • the distance measuring device 21' has a GNSS receiving unit 81, a time information setting unit 82, a reference clock generating unit 44, an operation mode setting unit 45, a laser driver 46, a laser emitting unit 47, a light source information acquisition unit 48, a memory 49, and a time synchronization.
  • a unit 50, a timing control unit 51, a ToF sensor 52, and a signal processing unit 53 are provided.
  • the clock source 41, the communication module 42, and the antenna 43 are replaced with the GNSS receiving unit 81 and the time information setting unit 82 as compared with the distance measuring device 21 of FIG. It is said that it has a structure.
  • the GNSS receiving unit 81 receives the GNSS signal from the GNSS satellite 83 and supplies it to the time information setting unit 82 and the reference clock generation unit 44.
  • the time information setting unit 82 acquires highly accurate time information from the GNSS signal supplied from the GNSS receiving unit 81, and sets the time to the standard time.
  • the reference clock generation unit 44 extracts a clock signal from the GNSS signal, generates a reference clock signal as a reference when the laser light emitting unit 47 emits light based on the clock signal, and supplies the clock signal to the operation mode setting unit 45.
  • the memory 49 stores the light source information and supplies it to the light source information acquisition unit 48 as needed.
  • the light source information of the memory 49 stores information necessary for the distance measuring device 21'to operate as a light emitting side or a light receiving side.
  • the memory 49 of the distance measuring device 21'-2 on the light receiving side stores data such as the operation mode, the light emitting pattern, and the calibration data of the light source of the distance measuring device 21'on the light emitting side in advance.
  • the distance measuring device 21' Since the distance measuring device 21'has the above configuration, the light emitting timing and the light receiving timing are used by using the clock source of another device (GNSS satellite 83) different from both the light emitting side and the light receiving side distance measuring device 21'. Can be synchronized. That is, the frequency synchronization between the laser light emitting unit 47 on the light emitting side and the ToF sensor 52 on the light receiving side can be synchronized, and the error of the distance measurement result can be reduced.
  • GNSS satellite 83 GNSS satellite 83
  • the GNSS signal was received, and the time and clock were synchronized based on the received GNSS signal, and the transmission / reception of data such as light source information was set in advance, and was not particularly performed.
  • a UWB (Ultra Wide Band) communication wireless signal may be used as a signal for outputting high-precision clock signal and time information.
  • the GNSS receiving unit 81 of the ranging device 21' is used as the UWB receiving unit 81, and the UWB receiving unit 81 receives the radio signal of UWB (Ultra Wide Band) communication.
  • the configuration of the distance measuring device 21'on the light emitting side and the distance measuring device 21'on the light receiving side are the same, and the distance measuring device 21'can be either the light emitting side or the light receiving side. did. However, when limited to either the light emitting side or the light receiving side, unnecessary configurations can be omitted as in FIGS. 14 and 15.
  • FIG. 20 shows a configuration example of the distance measuring system according to the second embodiment of the present disclosure.
  • the distance measuring system 11 is composed of a plurality of drones 101.
  • the drone 101 is a flying mobile body having a plurality of rotors, and has a distance measuring device including both a light source 2 and a distance measuring device 3.
  • the ranging system 11 can be composed of three or more drones 101, but for the sake of simplicity, it is assumed that the distance measuring system 11 is composed of two drones 101A and 101B, as shown in FIG. To do.
  • the drones 101A and 101B have the same configuration and have different unique IDs for identifying the aircraft. For example, the unique ID of the drone 101A is "0" (ID0), and the unique ID of the drone 101B is "1" (ID1).
  • the drone 101A irradiates the drone 101B with irradiation light having a predetermined modulation frequency, and also receives the irradiation light emitted from the drone 101B.
  • the drone 101B also irradiates the drone 101A with irradiation light having a predetermined modulation frequency, and also receives the irradiation light emitted from the drone 101A.
  • the synchronous clock signal and the reference clock signal of the drones 101A and 101B are controlled to be synchronized based on the GNSS signal from the GNSS satellite 102, as in the modification of the first embodiment.
  • Drones 101A and 101B can accurately measure the distance to the other party (hereinafter referred to as relative distance) by teaching each other the propagation time or distance of the light measured by themselves.
  • each of the drones 101A and 101B includes a light source 2 and a distance measuring device 3.
  • the light source 2 of the drone 101A irradiates the drone 101B with irradiation light having a predetermined modulation frequency. Further, the distance measuring device 3 of the drone 101A receives the irradiation light emitted from the light source 2 of the drone 101B.
  • the light source 2 of the drone 101B irradiates the drone 101A with irradiation light having a predetermined modulation frequency. Further, the distance measuring device 3 of the drone 101B receives the irradiation light emitted from the light source 2 of the drone 101A.
  • the light propagation time ⁇ t d between the drones 101A and 101B can be expressed by the equation (8).
  • C in the formula (8) represents the speed of light.
  • FIG. 22 is a diagram schematically showing the pulsed light emitted by the drones 101A and 101B by the indirect ToF method.
  • Each of the drones 101A and 101B can align the emission timing of the irradiation light by sharing highly accurate time information based on the GNSS signal from the GNSS satellite 102. However, it is difficult to match the timing of each emission pulse.
  • the light emission pulse of the drone 101A seems to be delayed by ⁇ t offset when viewed from the drone 101B. Sometimes.
  • the light propagation time ⁇ t 1 ⁇ 2 between the drones 101 observed by the distance measuring device 3 of the drone 101B is also affected by the offset ⁇ t offset according to the deviation of the light emission timing, and is expressed by the following equation (9).
  • ⁇ t 1 ⁇ 2 ⁇ t d + ⁇ t offset ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (9)
  • the accurate light propagation time ⁇ t d excluding the influence of the offset ⁇ t offset can be obtained by the following equation (11). ..
  • the accurate relative distance d can be obtained by the equation (12) which is a modification of the equation (8).
  • the drones 101A and 101B may teach each other the propagation time ⁇ t, or they may teach each other the distance d obtained by multiplying the propagation time ⁇ t and the speed of light c, and calculate the average of the distance d between them.
  • the accurate relative distance d can be obtained.
  • FIG. 23 is a diagram schematically showing the pulsed light emitted by the drones 101A and 101B by the directToF method.
  • the directToF method can also be formulated in exactly the same way as the indirectToF method described with reference to FIG.
  • the light propagation time ⁇ t 2 ⁇ 1 between the drones 101 observed by the distance measuring device 3 of the drone 101A is represented by the equation (10).
  • the accurate light propagation time ⁇ t d excluding the influence of the offset ⁇ t offset can be obtained by the equation (11), and the accurate relative distance d can be obtained by the equation (12).
  • FIG. 24 is a block diagram of a ranging device built into the drone 101.
  • FIG. 24 the parts corresponding to the distance measuring device 21'in FIG. 19 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
  • the drone 101 (distance measuring device) has a configuration in which an IMU 121, a position / attitude calculation unit 122, a communication unit 123, and a light source distance calculation unit 124 are further added to the configuration of the distance measuring device 21'shown in FIG. Has.
  • the light source information acquisition unit 48 acquires the light source information such as the operation mode stored in the memory 49, and appropriately informs the operation mode setting unit 45, the timing control unit 51, the signal processing unit 53, and the like. Supply.
  • the IMU 121 is a device that detects the angle (or angular velocity) and acceleration of the drone 101 in the three axial directions, and supplies a signal indicating the detection result to the position / attitude calculation unit 122.
  • the position / attitude calculation unit 122 detects the position and attitude of the drone 101 based on the detection signal supplied from the IMU 121 and the position information supplied from the GNSS reception unit 81, and calculates the distance between the communication unit 123 and the light source. Supply to unit 124.
  • the position / attitude calculation unit 122 may detect either the position or the attitude of the drone 101.
  • IMU121 is not an essential configuration requirement and may be omitted.
  • the position / attitude calculation unit 122 detects the position and attitude of the drone 101 based on the position information supplied from the GNSS receiving unit 81.
  • other sensors such as a magnetic sensor and a pressure sensor may be provided, and the position and orientation of the drone 101 may be detected based on the sensor detection signal.
  • both the IMU 121 and the magnetic sensor may be provided.
  • the signal processing unit 53 includes a depth image generation unit 141 and an external modulation light source detection unit 142.
  • the depth image generation unit 141 generates a depth image in which the distance d to the drone 101 of the other party calculated in pixel units is stored as the pixel value of each pixel.
  • the generated depth image is supplied to the communication unit 123 and the light source distance calculation unit 124.
  • the external modulation light source detection unit 142 detects the position (light source position) of the light source 2 (laser light source unit 47) that the drone 101 of the other party emits light.
  • the external modulation light source detection unit 142 detects the light source position using a Confidence image in which a Confidence value representing the light intensity is stored as a pixel value of each pixel.
  • FIG. 25 shows an example of a Confidence image when the drone 101A observes the drone 101B and a Confidence image when the drone 101B observes the drone 101A.
  • the externally modulated light source detection unit 142 detects, as the light source position, a pixel position in which the pixel value (Confidence value) is equal to or higher than a predetermined threshold value and the pixel value is the maximum among each pixel of the Confidence image.
  • the external modulation light source detection unit 142 detects as the light source position the pixel position where the peak value of the generated histogram is equal to or higher than the predetermined threshold value and the peak value is the maximum.
  • Drone 101A and Drone 101B can emit light by time division with each other, and can operate by separating light emission and light reception.
  • Drone 101A and Drone 101B can emit light by time division with each other, and can operate by separating light emission and light reception.
  • the background other than the drone 101 is empty, even if the drone 101A and the drone 101B simultaneously emit light and receive light. Good.
  • the signal processing unit 53 supplies the light source position detected by the external modulation light source detection unit 142 and the distance d 1 detected at the light source position to the communication unit 123 and the light source distance calculation unit 124.
  • the communication unit 123 communicates with the drone 101 of the other party by wireless communication such as WiFi (registered trademark), Bluetooth (registered trademark), so-called mobile communication such as 4G line or 5G line.
  • the communication unit 123 by wireless communication with the light source position and the distance d 1 drone 101 of the other party obtained in the signal processing unit 53, the detected own coarse position position and orientation calculation unit 122, drone 101 of the counterparty Send to. Further, the communication unit 123 receives the light source position and distance d 2 detected by the other party's drone 101 and the coarse position of the other party's drone 101, and supplies the light source distance calculation unit 124 to the light source distance calculation unit 124.
  • the inter-light source distance calculation unit 124 acquires the light source position and the distance d 2 and the coarse position received from the drone 101 of the other party by wireless communication from the communication unit 123. Further, the inter-light source distance calculation unit 124 acquires the distance d 1 to the other party's drone 101 and the light source position detected by itself from the signal processing unit 53. The inter-light source distance calculation unit 124 calculates an accurate relative distance d excluding the influence of the above-mentioned offset ⁇ t offset by using the distance d 1 measured by itself and the distance d 2 measured by the drone 101 of the other party. .. Further, the inter-light source distance calculation unit 124 uses its own rough position / orientation detected by the position / attitude calculation unit 122 to improve the accuracy of the relative distance d.
  • FIG. 26 is a diagram illustrating a process of improving the accuracy of the relative distance d by using its own rough posture detected by the position / posture calculation unit 122.
  • the direction of the drone 101 of the other party is grasped by the position of the light source detected in the Confidence image by the principle of the pinhole camera. Further, an accurate relative distance d is obtained by using the distance d 1 to the drone 101 of the other party detected by itself and the distance d 2 transmitted from the other party.
  • the gravity direction of the ToF sensor 52 can be specified by using the detection result of the IMU 121, so the arbitraryness is solved by using the detection result of the IMU 121. That is, in the image observed by the ToF sensor 52 of either the drone 101A or the drone 101B, the relative position and orientation can be uniquely obtained based on the detection result of the IMU 121.
  • the magnetic sensor can also detect a common orientation for both the drone 101A and the drone 101B, so that a relative position and orientation can be obtained.
  • the relative position and orientation can be improved. be able to.
  • FIG. 27 shows a process of improving the accuracy of the relative distance d by using its own rough position detected by the position / attitude calculation unit 122 and the rough position of the other party's drone 101 transmitted from the other party's drone 101. It is a figure explaining.
  • the phase difference detected at the relative distances d of 15 m and 30 m is the same value, and the relative distances d are 15 m and 30 m. The distance cannot be distinguished.
  • the relative distance d is 15 m or 30 m by using the rough position of itself detected by the position / attitude calculation unit 122 and the rough position of the drone 101 of the other party transmitted from the drone 101 of the other party. It is possible to determine which is which. That is, the relative distance d can be made highly accurate by using its own rough position detected by the position / attitude calculation unit 122.
  • a method of setting a plurality of modulation frequencies and determining the final distance from the distances commonly obtained by the measurement results of each modulation frequency is used. It may be adopted.
  • the GNSS receiving unit 81 receives the GNSS signal from the GNSS satellite 83 and supplies it to the time information setting unit 82 and the reference clock generation unit 44.
  • the time information setting unit 82 acquires highly accurate time information from the GNSS signal supplied from the GNSS receiving unit 81, and sets the time to the standard time.
  • the reference clock generation unit 44 extracts a clock signal from the GNSS signal, generates a reference clock signal based on the clock signal, and supplies the reference clock signal to the operation mode setting unit 45. Further, the GNSS receiving unit 81 supplies the position information acquired from the GNSS signal to the position / attitude calculation unit 122.
  • step S42 the position / attitude calculation unit 122 detects the position and attitude of the drone 101 based on the detection signal supplied from the IMU 121 and the position information supplied from the GNSS receiving unit 81, and the communication unit 123 and the communication unit 123 It is supplied to the distance calculation unit 124 between light sources.
  • the IMU 121 is omitted, the position and orientation of the drone 101 are detected based only on the position information supplied from the GNSS receiving unit 81.
  • step S43 the timing control unit 51 generates start timing control information based on the highly accurate time information from the time information setting unit 82 and supplies the start timing control information to the laser driver 46 and the ToF sensor 52.
  • step S44 the operation mode setting unit 45 uses the reference clock signal supplied from the reference clock generation unit 44 to generate an emission pulse signal according to the operation mode supplied from the light source information acquisition unit 48, and the laser driver. It supplies the 46 and the ToF sensor 52.
  • step S45 the laser driver 46 generates a drive signal at a predetermined timing based on the start timing control information and supplies it to the laser light emitting unit 47.
  • step S46 the laser light emitting unit 47 repeats on / off of light emission at a predetermined cycle according to the drive signal from the laser driver 46.
  • step S47 the ToF sensor 52 receives the irradiation light emitted by the drone 101 of the other party based on the start timing control information from the timing control unit 51 and the reference clock signal from the operation mode setting unit 45, and receives the irradiation light.
  • Image frames having phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees are sequentially generated and supplied to the signal processing unit 53.
  • step S48 the depth image generation unit 141 of the signal processing unit 53 generates a depth image in which the distance d 1 to the other party's drone 101 calculated in pixel units is stored as the pixel value of each pixel, and the communication unit 123 and the light source. It is supplied to the distance calculation unit 124.
  • step S49 the external modulation light source detection unit 142 detects the position (light source position) of the light source 2 (laser light source unit 47) that the other drone 101 emits light, and supplies it to the communication unit 123 and the light source distance calculation unit 124. ..
  • step S50 the communication unit 123 by wireless communication with the light source position and the distance d 1 drone 101 of the other party obtained in the signal processing unit 53, and a detected own coarse position position and orientation calculation unit 122 , Send to the other party's drone 101. Further, the communication unit 123 receives the light source position and distance d 2 detected by the other party's drone 101 and the coarse position of the other party's drone 101, and supplies the light source distance calculation unit 124 to the light source distance calculation unit 124.
  • the inter-light source distance calculation unit 124 calculates an accurate relative distance d with the drone 101 of the other party. Specifically, the inter-light source distance calculation unit 124 specifies the direction of gravity using its own rough posture detected by the position / posture calculation unit 122, and obtains a relative position / posture. Further, the inter-light source distance calculation unit 124 acquires the light source position and the distance d 2 and the coarse position received from the drone 101 of the other party by wireless communication from the communication unit 123. Then, the inter-light source distance calculation unit 124 uses the distance d 1 to the other party's drone 101 detected by itself and the distance d 2 transmitted from the other party, and excludes the influence of the offset ⁇ t offset to make an accurate relative. Calculate the distance d. Further, the distance calculation unit 124 between the light sources uses the rough positions detected by the drone 101 of itself and the other party to improve the accuracy of the relative distance d.
  • the relative distance measurement process described above is executed in parallel on each of the drones 101A and 101B.
  • an accurate distance d can be calculated by mutually teaching the distance d 1 (or d 2) measured by oneself.
  • the frequencies of the drones 101A and 101B are synchronized by synchronizing based on the received radio signal, which is disclosed in Patent Document 1. You may adopt the method of performing frequency synchronization using the reflected light (irradiation light of the master) of the drone 101 which is the master.
  • FIG. 29 shows a configuration example of the distance measuring system according to the third embodiment of the present disclosure.
  • the distance measuring system 11 includes a plurality of distance measuring devices 201.
  • the configuration in which the distance measuring system 11 includes five distance measuring devices 201 of the distance measuring devices 201A to 201E is shown, but the number of the distance measuring devices 201 is not limited to five and is arbitrary. Can be the number of.
  • the four ranging devices 201A to 201D include both the light source 2 and the ranging device 3, and are fixed above, for example, the ceiling.
  • the distance measuring device 201E includes only the distance measuring device 3, and is arranged at a position where the irradiation light emitted from the four distance measuring devices 201A to 201D or the reflected light thereof can be received, for example, on the ground. ..
  • the configuration of the distance measuring devices 201A to 201D including both the light source 2 and the distance measuring device 3 is the same as the configuration shown in FIG. 10 in the first embodiment, and the distance measuring device 201E including only the distance measuring device 3 Since the configuration of is the same as the configuration shown in FIG. 15 in the first embodiment, the description thereof will be omitted.
  • the distance measuring device 201E provided with only the distance measuring device 3 by receiving the irradiation light from a plurality of (4) distance measuring devices 201A to 201D fixed to the ceiling or the like is an object. The process of calculating the distance to 202 will be described.
  • FIG. 30 is a flowchart illustrating the distance calculation process of the distance measuring system 11 according to the third embodiment.
  • each of the distance measuring devices 201A to 201E makes a wireless communication connection. Then, each of the distance measuring devices 201A to 201E exchanges time stamps and synchronizes the time with high accuracy.
  • each of the ranging devices 201A to 201E reads the light source information from its own memory 49 and transmits it to the other ranging device 201 by wireless communication. As a result, the light source information of each of the distance measuring devices 201A to 201E is shared.
  • each of the ranging devices 201A to 201E generates a reference clock signal from the synchronous clock signal generated by detecting the transmission signal of the master ranging device 201 (for example, the ranging device 201A), and operates. Generates an emission pulse signal according to the mode.
  • each of the distance measuring devices 201A to 201D fixed to the ceiling emits light and receives light based on the light emission pulse signal.
  • the light source 2 (laser light emitting unit 47) of the distance measuring devices 201A to 201D emits light in response to the emission pulse signal
  • the distance measuring device 3 (ToF sensor 52) emits reflected light in response to the emission pulse signal. Is received, and image frames having phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees are sequentially generated.
  • each of the distance measuring devices 201A to 201D fixed to the ceiling calculates its own position and orientation, in other words, the position and orientation relative to the other ranging devices 201.
  • step S65 Since each of the distance measuring devices 201A to 201D is a depth camera that measures the distance d to the subject, the three-dimensional position of the subject can be obtained in the camera coordinate system.
  • a method of obtaining the relative position and orientation of a 3D point and a camera by observing a known 3D point with a camera is generally known as PNP (Perspective-n-Point).
  • PNP Perspective-n-Point
  • Each of the distance measuring devices 201A to 201D uses PNP to calculate the relative position and orientation of its own distance measuring device 201 with respect to the other distance measuring device 201.
  • the ranging device 201A acquires the coordinate values of the feature points of the object 202 by receiving the reflected light from the known object 202.
  • the ranging device 201B also acquires the coordinate values of the feature points of the object 202 by receiving the reflected light from the known object 202.
  • the relative posture of the distance measuring devices 201A and 201B can be obtained when the optimization problem is performed so that the shapes of the surrounding environment created by the distance measuring devices 201A and 201B best match.
  • This method is known as ICP (Iterative Clisest Point).
  • ICP International Clisest Point
  • ICP for example, "Digital Image Processing [Revised New Edition], Image Information Education Promotion Association”, Szymon.R and Marc.L, "Efficient Variants of the ICP Algorithm", Proceedings Third International Conference on 3-D Digital Imaging It is disclosed in and Modeling, 2001, pp. 145-152.
  • each of the distance measuring devices 201A to 201D calculates the relative position and orientation. As a result, the relative relationship between the positions and orientations of all the distance measuring devices 201A to 201D can be grasped.
  • step S66 each of the distance measuring devices 201A to 201D fixed to the ceiling detects the phase difference of the irradiation light and aligns the phases.
  • the ranging devices 201A and 201B irradiate the object 202 at the same physical position with the irradiation light, and receive the reflected reflected light.
  • ⁇ t offset_12 ( ⁇ t 1 ⁇ 2 - ⁇ t 2 ⁇ 1 ) / 2 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (15)
  • the phase difference of each light source 2 of the distance measuring devices 201A to 201D is detected, and the phase of the irradiation light of each of the distance measuring devices 201A to 201D is adjusted so that there is no phase difference.
  • the calculation may be performed in consideration of the phase difference in the signal processing in the subsequent stage.
  • step S67 the ToF sensor 52 of the distance measuring device 201E including only the distance measuring device 3 receives the reflected light reflected by the object 202 from the irradiation light emitted by each of the distance measuring devices 201A to 201D fixed to the ceiling. To do.
  • the frequencies and phases of the irradiation light emitted by each of the distance measuring devices 201A to 201D are synchronized by the process of step S66. Further, since the light source information is shared, it is possible to specify which ranging device 201A to 201D the reflected light currently received is emitted from.
  • step S68 the signal processing unit 53 of the distance measuring device 201E calculates the distance to the object 202 based on the phase difference of the reflected light of the received distance measuring devices 201A to 201D.
  • the method of calculating the distance to the object 202 will be described later.
  • the light source information of the irradiation light emitted from the distance measuring devices 201A to 201D fixed to the ceiling is known, and the phase and frequency are synchronized, so that, for example, the distance measuring device 201A Or 201D is regarded as a GNSS satellite, and the self-position is calculated from the difference of the GNSS signal.
  • the distance measuring device 201E Position and orientation can be calculated.
  • the frequencies of the drones 101A and 101B are synchronized by synchronizing based on the received radio signal, which is disclosed in Patent Document 1.
  • a method of performing frequency synchronization using the reflected light (irradiation light of the master) of the distance measuring device 201 as the master may be adopted.
  • the distance measuring device 3 of the distance measuring device 21E for example, the irradiation light emitted from the light source 2 of the distance measuring device 21A and the light source 2 of the distance measuring device 21B is the object 24. By receiving the reflected reflected light, the distance to the object 24 can be measured.
  • the irradiation light emitted from the light source 2 of the distance measuring device 201B and the light source 2 of the distance measuring device 201D is an object.
  • the distance to the object 202 can be measured.
  • Point D is the reflection position of the pulsed light from the light sources a to c in the object 301.
  • the point O is the origin of the camera coordinate system, which is the coordinate system of the distance measuring device 302.
  • the light sources a to c correspond to, for example, the light sources 2 of the ranging devices 21A, 21B, and 21D in the first embodiment, and in the third embodiment, for example, the light sources 2 of the ranging devices 201A, 201B, and 201D.
  • the object 301 corresponds to the object 24 in the first embodiment and corresponds to the object 202 in the third embodiment.
  • the distance measuring device 302 corresponds to the distance measuring device 3 of the distance measuring device 21E in the first embodiment, and corresponds to the distance measuring device 3 of the distance measuring device 201E in the third embodiment.
  • the three light sources a to c are located at positions E 1 , E 2 , and E 3 , respectively.
  • the relative positions of the light sources a to c in the light source coordinate system are known, but it is not known where all three light sources a to c are arranged.
  • the relative position of the ranging device 302 with respect to the position of each light source a to c is unknown.
  • the ranging device 302 can perform frequency synchronization based on the radio signals from the light sources a to c, but the phase shift remains.
  • the distance measuring device 302 uses a frame in which the irradiation light emitted by each light source a to c is acquired based on the reflected light reflected by the object 301 (distance from each light source a to c to the distance measuring device 302). Is calculated.
  • the distance from the light sources a to c to the distance measuring device 302 is expressed by the following equation (16).
  • u D (u D , v D ) is the pixel position where the point D on the object 301 is projected, and in Obs (u D , E 1 ), the light source a located at the position E 1 emits light.
  • Obs (u D, E 2) is the distance measuring device 302 when the light source b located at position E 2 emits light distance observed in the pixel position u D of the pixel array
  • Obs (u D, E 3) the distance to be observed at the pixel position u D when the light source c located at position E 3 emits light
  • C represents an offset term corresponding to a
  • the vector notation (the symbol of the arrow ( ⁇ )) in the above equation (16) indicates a vector from the origin of a certain coordinate system, for example, the light source coordinate system.
  • the vector notation is omitted in the description of the above equation in the specification. In the following, the vector notation will be omitted in the explanation portion in the specification.
  • the distance measuring device 302 is used as three distance calculation formulas from the three light sources a to c to the distance measuring device 302.
  • A Distance data between the distance measuring device 302 and the object 301
  • B Distance data between the object 301 and each light source a to c
  • C Offset C, which corresponds to a distance measurement error generated based on the phase difference between the clock (sensor clock) of the distance measuring device 302 and the clock (light source clock) of the light sources a to c. Calculate three distance calculation formulas consisting of the above data.
  • the distance measuring device 302 includes the three distance Obs (u D , E 1 ), the distance Obs (u D , E 2 ), and the distance Obs (u D , E 2) described above.
  • the simultaneous equations of the equation (17) consisting of the equations for calculating the difference of each distance are generated.
  • the plurality of subject positions L Dk include, for example, the positions E 1 , E 2 , E 3 of each light source a to c, and the surface position of the object 301.
  • the relative position / orientation between the coordinate system and the camera coordinate system can be obtained. That is, by solving the so-called PnP problem, the relative relationship between the light source coordinate system and the camera coordinate system can be derived, and the subject position in the light source coordinate system can be converted into the camera coordinate system.
  • the subject position L Dk in the camera coordinate system and the corresponding pixel position u D can be obtained, and the positions E 1 and E 2 of the light sources a to c can be obtained from the captured pixel positions of the light sources a to c.
  • the distance to the object 301 that is, the distance from the distance measuring device 302 to the object 301 can be calculated.
  • ToF sensor configuration The configuration of the ToF sensor 52 will be described.
  • FIG. 34 shows a configuration example of the light receiving portion of the ToF sensor 52.
  • the ToF sensor 52 has a pixel array unit 232 in which pixels 231 that generate an electric charge according to the amount of received light and output a signal corresponding to the electric charge are two-dimensionally arranged in a matrix in the row direction and the column direction, and a pixel array. It has a drive control circuit 233 arranged in a peripheral region of the unit 232.
  • the drive control circuit 233 outputs a control signal (for example, a distribution signal DIMIX, a selection signal ADDRESS DECODE, a reset signal RST, etc.) for controlling the drive of the pixel 231 based on a light emission pulse signal or the like.
  • a control signal for example, a distribution signal DIMIX, a selection signal ADDRESS DECODE, a reset signal RST, etc.
  • the pixel 231 has a photodiode 251 and a first tap 252A and a second tap 252B that detect the charge photoelectrically converted by the photodiode 251.
  • the electric charge generated by one photodiode 251 is distributed to the first tap 252A or the second tap 252B.
  • the charges distributed to the first tap 252A are output as a detection signal A from the signal line 253A
  • the charges distributed to the second tap 252B are detected signals B from the signal line 253B. Is output as.
  • the first tap 252A is composed of a transfer transistor 241A, an FD (Floating Diffusion) unit 242A, a selection transistor 243A, and a reset transistor 244A.
  • the second tap 252B is composed of a transfer transistor 241B, an FD unit 242B, a selection transistor 243B, and a reset transistor 244B.
  • the light source 2 outputs the irradiation light modulated so as to repeat the on / off of the irradiation in the 1 / f cycle, and the photo is delayed by the delay time ⁇ T according to the distance to the object.
  • the reflected light is received by the diode 251.
  • the distribution signal DIMIX_A controls the on / off of the transfer transistor 241A
  • the distribution signal DIMIX_B controls the on / off of the transfer transistor 241B.
  • the distribution signal DIMIX_A is a signal having the same phase as the irradiation light (that is, the phase is 0 degree), and the distribution signal DIMIX_B is the phase in which the distribution signal DIMIX_A is inverted (that is, the phase is 180 degrees).
  • the distribution signal DIMIX_A is a signal whose phase is shifted by 90 degrees with respect to the irradiation light, and the distribution signal DIMIX_B is the phase in which the distribution signal DIMIX_A is inverted (that is, the phase is 270 degrees).
  • the electric charge generated by the photodiode 251 receiving the reflected light is transferred to the FD unit 242A according to the distribution signal DIMIX_A while the transfer transistor 241A is on, and is transferred to the transfer transistor according to the distribution signal DIMIX_B. While 241B is on, it is transferred to the FD unit 242B.
  • the electric charges transferred via the transfer transistor 241A are sequentially accumulated in the FD unit 242A and transferred via the transfer transistor 241B during a predetermined period in which the irradiation light is periodically irradiated in the 1 / f cycle.
  • the charged charges are sequentially accumulated in the FD unit 242B.
  • the selection transistor 243A is turned on according to the selection signal ADDRESS DECODE_A after the end of the accumulation period for accumulating the electric charge
  • the electric charge accumulated in the FD unit 242A is read out via the signal line 253A, and according to the amount of the electric charge.
  • the detection signal A is output from the pixel array unit 232.
  • the selection transistor 243B is turned on according to the selection signal ADDRESS DECODE_B
  • the electric charge accumulated in the FD unit 242B is read out via the signal line 253B, and the detection signal B according to the amount of the electric charge is the pixel array unit 232. Is output from.
  • the electric charge stored in the FD unit 242A is discharged when the reset transistor 244A is turned on according to the reset signal RST_A, and the electric charge stored in the FD unit 242B is discharged when the reset transistor 244B is turned on according to the reset signal RST_B. Will be done.
  • the pixel 231 distributes the electric charge generated by the reflected light received by the photodiode 251 to the first tap 252A or the second tap 252B according to the delay time ⁇ T, and outputs the detection signal A and the detection signal B.
  • the signal A and the detection signal B correspond to the 90-degree phase charge Q 90 and the 270-degree phase charge Q 270 in FIG. 3, respectively.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any kind of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 35 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microprocessor 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 36 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as the image pickup unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 36 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microprocessor 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microprocessor 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the above-mentioned ranging device 21 can be applied as the imaging unit 12031.
  • Distance information can be acquired by applying the technique according to the present disclosure to the imaging unit 12031.
  • the obtained distance information can be used to improve the safety level of the driver and the vehicle.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present technology can have the following configurations.
  • a receiver that generates a signal synchronized with the synchronization clock signal of another device by performing synchronization processing of the transmission signal transmitted by wireless communication from another device.
  • a reference clock generator that generates a reference clock signal that serves as a reference when the light source emits light based on the synchronous clock signal.
  • a ranging device including a ToF sensor that receives the reflected light that is reflected by an object and returned from the irradiation light emitted from the light source based on the reference clock signal.
  • the light source information includes calibration data of the light source.
  • the light source information includes an operation mode.
  • the operation mode includes information representing either a time division mode, a modulation frequency mode, or a light emission pattern mode.
  • the light source information includes any of a light emission time, a light emission start time information, a modulation frequency, a wavelength of a light source, or a light emission pattern.
  • the receiving unit receives a transmission signal transmitted by wireless communication from the other device via a network.
  • the distance measuring device according to any one of (1) to (6) above, wherein the receiving unit receives a GNSS signal as the transmission signal.
  • the distance measuring device according to any one of (1) to (8), further comprising a signal processing unit that calculates a distance to the other device based on the detection result of the ToF sensor.
  • the communication unit further includes a communication unit that transmits the distance to the other device as the first distance to the other device and receives the distance calculated by the other device as the second distance.
  • Distance measuring device (11) The distance measuring device according to (10), further comprising a distance calculation unit that calculates a relative distance to the other device from the first distance and the second distance.
  • the ranging device according to any one of (1) to (11) above, wherein the ToF sensor receives the reflected light that is reflected by an object and the irradiation light emitted from each of the plurality of light sources is received.
  • the distance measuring device further comprising a signal processing unit that calculates a distance to the object based on the phase difference of irradiation light emitted from each of the plurality of light sources.
  • the communication unit that transmits the transmission signal of wireless communication and A reference clock generator that generates a reference clock signal that serves as a reference when the light source emits light based on a synchronous clock signal synchronized with the transmission signal.
  • a ranging device including a light source that irradiates irradiation light based on the reference clock signal.
  • a communication unit that sends and receives wireless communication transmission signals, A reference clock generator that generates a reference clock signal that serves as a reference when the light source emits light based on a synchronous clock signal synchronized with the transmission signal.
  • a light source that irradiates the irradiation light based on the reference clock signal and a ToF sensor that receives the reflected light that is reflected by an object and returned from the irradiation light emitted from another device based on the reference clock signal.
  • a distance measuring device equipped.
  • the ranging device By synchronizing the transmission signal transmitted by wireless communication from another device, a signal synchronized with the synchronization clock signal of the other device is generated. Based on the synchronous clock signal, a reference clock signal that serves as a reference when the light source emits light is generated. A light receiving method of a distance measuring device that receives the reflected light that is reflected by an object and returned from the irradiation light emitted from the light source based on the reference clock signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技術は、光源とToFセンサとを別体で構成した場合において光源の変調周波数とToFセンサの変調周波数とを同期させるようにする測距デバイスおよびその受光方法に関する。 測距デバイスは、他の装置から無線通信により送信されてきた送信信号の同期処理を行うことにより、他の装置の同期クロック信号に同期した信号を生成する受信部と、同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、基準クロック信号に基づいて、光源から照射された照射光が物体で反射されて返ってきた反射光を受光するToFセンサとを備える。本技術は、例えば、被写体までの距離を測定する測距デバイス等に適用できる。

Description

測距デバイスおよびその受光方法
　本技術は、測距デバイスおよびその受光方法に関し、特に、光源とToFセンサとを別体で構成した場合において光源の変調周波数とToFセンサの変調周波数とを同期させるようにした測距デバイスおよびその受光方法に関する。
　光を用いて被測定物までの距離を測定する測距方式の一つとして、ToF(Time of Flight)方式と呼ばれる測距手法が知られている。ToF方式は、光源を用いて光を物体に照射し、その反射光をToFセンサで受光し、受光結果を解析して物体までの距離などを計測する方式である。
　また、ToFセンサとは別体の光源から物体に光を照射し、その反射光をToFセンサで受光して物体までの距離などを計測する技術も提案されている（たとえば、特許文献１参照）。
特開２０１８－３１６０７号公報
　しかしながら、光源とToFセンサとを別体で構成した場合、光源用の光源クロックとToFセンサ用のセンサクロックとが別体となる。したがって、光源の変調周波数とToFセンサの変調周波数とが必ずしも同期せず、周波数がずれる場合があった。そして、ToFセンサの変調周波数が光源の変調周波数からずれた場合、測距結果に誤差が生じる恐れがあった。
　本技術は、このような状況に鑑みてなされたものであり、光源とToFセンサとを別体で構成した場合において光源の変調周波数とToFセンサの変調周波数とを同期させることができるようにするものである。
　本技術の第１の側面の測距デバイスは、他の装置から無線通信により送信されてきた送信信号の同期処理を行うことにより、他の装置の同期クロック信号に同期した信号を生成する受信部と、前記同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、前記基準クロック信号に基づいて、前記光源から照射された照射光が物体で反射されて返ってきた反射光を受光するToFセンサとを備える。
　本技術の第２の側面の測距デバイスは、無線通信の送信信号を送信する通信部と、前記送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、前記基準クロック信号に基づいて、照射光を照射する光源とを備える。
　本技術の第３の側面の測距デバイスは、無線通信の送信信号を送受信する通信部と、前記送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、前記基準クロック信号に基づいて、照射光を照射する光源と前記基準クロック信号に基づいて、他の装置から照射された照射光が物体で反射されて返ってきた反射光を受光するToFセンサとを備える。
　本技術の第４の側面の測距デバイスの受光方法は、測距デバイスが、他の装置から無線通信により送信されてきた送信信号の同期処理を行うことにより、他の装置の同期クロック信号に同期した信号を生成し、前記同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成し、前記基準クロック信号に基づいて、前記光源から照射された照射光が物体で反射されて返ってきた反射光を受光する。
　本技術の第１、第３および第４の側面においては、無線通信の送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号が生成され、前記基準クロック信号に基づいて、前記光源から照射された照射光が物体で反射されて返ってきた反射光が受光される。
　本技術の第２の側面においては、無線通信の送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号が生成され、前記基準クロック信号に基づいて、前記光源から照射光が照射される。
　測距デバイスは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
direct ToF方式による測距処理の基本原理を説明する図である。 direct ToF方式による測距処理の基本原理を説明する図である。 位相差φを算出する手法を説明する図である。 本開示におけるコンポーネントとフレームを説明する図である。 サイクリックエラーの補正処理の概念を説明する図である。 複数の光源の干渉防止方法を説明する図である。 複数の光源の干渉防止方法を説明する図である。 direct ToF方式を説明する図である。 本開示の第１実施の形態に係る測距システムの構成例を示す図である。 光源と測距装置とを備える測距デバイスの機能構成例を示すブロック図である。 動作モードを時分割モードで動作させた場合の動作例を示す図である。 動作モードを変調周波数モードで動作させた場合の動作例を示す図である。 動作モードを発光パターンモードで動作させた場合の動作例を示す図である。 発光機能のみで構成される場合の測距デバイスの機能ブロック図である。 受光機能のみで構成される場合の測距デバイスの機能ブロック図である。 発光側の測距デバイスの発光制御処理を説明するフローチャートである。 受光側の測距デバイスの発光制御処理を説明するフローチャートである。 位相の同期処理を説明する図である。 GNSS信号に基づいて時刻同期を行う測距デバイスのブロック図である。 本開示の第２実施の形態に係る測距システムの構成例を示す図である。 相対距離算出の原理を説明する図である。 相対距離算出の原理を説明する図である。 相対距離算出の原理を説明する図である。 ドローンに内蔵された測距デバイスに関するブロック図である。 ドローンが観測したConfidence画像の例を示す図である。 正確な相対距離を用いて位置姿勢を高精度化する処理を説明する図である。 変調周波数と測定距離との関係を説明する図である。 ドローンの相対距離計測処理を説明するフローチャートである。 本開示の第３実施の形態に係る測距システムの構成例を示す図である。 第３実施の形態における測距システムの距離算出処理を説明するフローチャートである。 図３０のステップＳ６６の位相差の検出を説明する図である。 複数光源の反射光受光による距離算出方法を説明する図である。 複数光源の反射光受光による距離算出方法を説明する図である。 ToFセンサの受光部の構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．ToF方式による測距処理の概要
２．測距システムの第１実施の形態
３．測距デバイスのブロック図
４．測距デバイスの処理フロー
５．第１実施の形態の変形例
６．測距システムの第２実施の形態
７．測距システムの第３実施の形態
８．複数光源の反射光受光による距離算出方法
９．ToFセンサの構成
１０．移動体への応用例
＜１．ToF方式による測距処理の概要＞
　光を用いて被測定物までの距離を測定する測距方式の一つとして、ToF(Time　of　Flight)方式と呼ばれる測距手法が知られている。ToF方式は、光源を用いて光を物体に照射し、その反射光をToFセンサで受光し、受光結果を解析して物体までの距離などを計測する方式である。
　本開示は、ToF方式を用いた測距技術に関するものである。そこで、本開示の各実施形態の理解を容易とするために、図１ないし図７を参照しながら、ToF方式による測距処理の基本原理について説明する。
　ToF方式は、光を物体に照射し、その反射光を解析して物体までの距離（デプス）や、物体の形状を計測する方式である。なお、以下の説明では３次元形状の計測処理については特に言及しないが、物体表面の距離を物体表面全体に渡って計測することで物体の３次元形状を計測することが可能となる。
（測距システムの構成）
　図１は、測距システムの構成を示している。
　図１に示される測距システム１は、光源２と、測距装置３とを備える。光源２は、被測定物としての物体４へ光を照射する。光源２から照射された照射光Ｌ１は、物体４で反射され、反射光Ｌ２として、測距装置３に入射される。
　光源２と測距装置３とは、ほぼ同一の位置に配置されている。この場合、測距装置３から物体４までの距離（デプス）ｄは、以下の式（１）で計算することができる。
Figure JPOXMLDOC01-appb-M000001
　式（１）のΔｔは、光源２から出射された照射光Ｌ１が物体４に反射して測距装置３に入射するまでの時間であり、ｃは、光速（２．９９７９×１０8［ｍ／ｓｅｃ］）を表す。
　光源２から照射される照射光L1には、図２に示されるような、所定の周波数ｆ（変調周波数）で高速にオンオフを繰り返す発光パターンのパルス光が採用される。発光パターンの１周期は１／ｆとなる。測距装置３では、光源２から測距装置３に到達するまでの時間Δｔに応じて、反射光Ｌ２の位相がずれて検出される。この位相のずれ量（位相差）をφとすると、時間Δｔは、下記の式（２）で算出することができる。
Figure JPOXMLDOC01-appb-M000002
　したがって、測距装置３から物体４までの距離ｄは、式（１）と式（２）とから、下記の式（３）で算出することができる。
Figure JPOXMLDOC01-appb-M000003
　次に、上述の位相差φを算出する手法について、図３を参照しながら説明する。
　測距装置３は、入射光を光電変換する画素が行列状に２次元配置されたToFセンサを有している。ToFセンサの各画素は、高速にON／OFFを繰り返し、ON期間のみの電荷を蓄積する。
　ToFセンサを用いて物体の距離計測を行う場合、測距装置３は、ToFセンサのON／OFFの実行タイミングを順次切り替えて、各実行タイミングにおける電荷を蓄積し、蓄積電荷に応じた検出信号を出力する。
　ON／OFFの実行タイミングには、たとえば、位相０度、位相９０度、位相１８０度、および、位相２７０度の４種類がある。
　位相０度の実行タイミングは、ToFセンサのONタイミング（受光タイミング）を、光源２が出射するパルス光の位相、すなわち発光パターンと同じ位相とするタイミングである。
　位相９０度の実行タイミングは、ToFセンサのONタイミング（受光タイミング）を、光源２が出射するパルス光（発光パターン）から９０度遅れた位相とするタイミングである。
　位相１８０度の実行タイミングは、ToFセンサのONタイミング（受光タイミング）を、光源２が出射するパルス光（発光パターン）から１８０度遅れた位相とするタイミングである。
　位相２７０度の実行タイミングは、ToFセンサのONタイミング（受光タイミング）を、光源２が出射するパルス光（発光パターン）から２７０度遅れた位相とするタイミングである。
　ToFセンサは、これら４種類の実行タイミングを順次切り替え、各受光タイミングにおける反射光Ｌ２の受光量（蓄積電荷）を取得する。図３では、各位相のONタイミング（受光タイミング）において、反射光Ｌ２が入射されるタイミングに斜線が付されている。
　図３において、受光タイミングを、位相０度、位相９０度、位相１８０度、および、位相２７０度としたときに蓄積された電荷を、それぞれ、Ｑ０、Ｑ９０、Ｑ１８０、および、Ｑ２７０とすると、位相差φは、Ｑ０、Ｑ９０、Ｑ１８０、および、Ｑ２７０を用いて、下記の式（４）で算出することができる。
Figure JPOXMLDOC01-appb-M000004
　式（４）で算出された位相差φを上記の式（３）に入力することにより、測距装置３から物体４までの距離ｄを算出することができる。
　また、ToFセンサにおいて、各画素で受光した光の強度を表す値は、Confidence値と呼ばれ、以下の式（５）または式（６）で計算される。
Figure JPOXMLDOC01-appb-M000005
　ToFセンサは、図４に示されるように、受光タイミングを、位相０度、位相９０度、位相１８０度、および、位相２７０度と順番に切り替え、各位相における蓄積電荷（電荷Ｑ０、電荷Ｑ９０、電荷Ｑ１８０、および、電荷Ｑ２７０）に応じた検出信号を順次出力する。
　本開示では、ToFセンサが出力する、位相０度、位相９０度、位相１８０度、または、位相２７０度の１位相の画像フレームを「コンポーネント」と称し、位相０度、位相９０度、位相１８０度、および、位相２７０度の４つのコンポーネント（４位相の画像フレーム）のセットを「フレーム」と称する。
（サイクリックエラーの補正）
　上述した式（４）は、光源２から出射される照射光L1の輝度変化をsin波と仮定して計算されている。しかしながら、実際には、光源２から出射される光は、図２で示したように矩形波であるため、矩形波をsin波として処理することにより、距離dに周期的な誤差（以下、サイクリックエラーと称する。）が発生する。そのため、一般に、ToFセンサから出力される各位相の検出信号に対して、サイクリックエラーを補正する補正処理が行われる。
　図５は、サイクリックエラーの補正処理の概念を示す図である。
　図５の左側のグラフは、ToFセンサから出力される位相差φobsと距離ｄとの関係を示している。位相差φobsと距離ｄとの関係は、理想的には、破線で示されるような線形な関係になるが、実際には、実線で示されるような、サイクリックエラーによる誤差を含む非線形な関係となってしまう。
　そこで、ToFセンサからの検出信号を処理する後段の信号処理部では、サイクリックエラーを補正する補正処理を実行することにより、図５の右側に示されるように、補正後の位相差φlinearと距離ｄとの関係が線形に補正される。
　具体的な補正処理としては、距離ｄが既知の物体をToFセンサで測定し、実際に観測された位相差φobsと、物体までの距離ｄに対応する真値の位相差φlinearとの関係から、位相差φobsを真値の位相差φlinearに変換する補正関数ｆ（φobs）が算出される。この補正関数ｆ（φobs）が信号処理部のメモリに予め記憶され、信号処理部は、ToFセンサから、測定値としての位相差φobsが供給された場合に、位相差φobsに対して補正処理を実行する。
　なお、補正処理は、補正関数ｆ（φobs）としてメモリに記憶し、演算を行う方法以外に、例えば、測定値としての位相差φobsと、真値の位相差φlinearとの組をルックアップテーブル等で記憶しておき、測定値に対応する真値の位相差φlinearをルックアップテーブルから読み出して出力する方法もある。
　あるいはまた、実測した補正関数ｆ（ｘ）を、別のパラメータ関数に近似し、少数の補正係数のみをパラメータとしてメモリに記憶してもよい。例えば、式（７）のように、補正関数ｆ（ｘ）をフーリエ級数展開し、kが0ないしN次の項までの補正係数（ak, bk）を、メモリに記憶しておくことができる。
Figure JPOXMLDOC01-appb-M000006
（複数の光源の干渉防止方法）
　測距システム１において、測距装置３の測定範囲内に、光源２と測距装置３とのセットが複数存在する場合、他の光源２から出射された照射光により、位相差φが正しく計測できない場合がある。
　例えば、図６に示されるように、光源２Aと測距装置３Aとのセット５Aと、光源２Bと測距装置３Bとのセット５Bとが、お互いの光源２からの光を受光し得る範囲（測定範囲）内に設置されている場合を想定する。
　測距装置３Aは、光源２Aから照射された照射光が物体４で反射された反射光を受光し、位相差φAを算出する。測距装置３Bは、光源２Bから照射された照射光が物体４で反射された反射光を受光し、位相差φBを算出する。この際、光源２Aから照射された照射光が、測距装置３Bの受光に悪影響を及ぼし、光源２Bから照射された照射光が、測距装置３Aの受光に悪影響を及ぼすおそれがある。
　そのような他の光源２からの照射光の干渉の対策としては、次の３通りの方法がある。すなわち、（１）各光源２のパルス光を時分割で発光させる方法、（２）各光源２のパルス光の変調周波数を異ならせる方法、（３）各光源２のパルス光の発光パターンを異ならせる方法、の３通りがある。
　（１）各光源２のパルス光を時分割で発光させる方法は、任意の各時刻においては、光源２から出射されるパルス光の種類は１つであるので、他の光源２の照射光の影響はない。
　図７のAは、（２）各光源２のパルス光の変調周波数を異ならせる方法の例を示している。
　パルス光の変調周波数を異ならせる方法では、例えば、セットAの光源２Aは、変調周波数ｆを１００MHzとするパルス光を照射し、セットBの光源２Bは、変調周波数ｆを７１MHｚとするパルス光を照射する。
　セットAの測距装置３Aは、変調周波数ｆ＝１００MHzと同じ駆動周波数でToFセンサを駆動し、セットBの測距装置３Bは、変調周波数ｆ＝７１MHzと同じ駆動周波数でToFセンサを駆動する。ToFセンサの駆動周波数とは、図３において、電荷を蓄積するON期間の周波数に相当する。
　測距装置３Aは、光源２Aからのパルス光の変調周波数ｆと同じ駆動周波数で駆動するので、光源２Aからの光を、高い相関で受光することができる。すなわち、高いConfidence値をもつ信号を検出することができる。
　一方、測距装置３Bが、光源２Aからのパルス光を受光した場合、駆動周波数が異なるので、位相差φの算出ができない。すなわち、測距装置３Bでは、光源２Aからの反射光に対応する電荷Ｑ０、Ｑ９０、Ｑ１８０、および、Ｑ２７０の値がほぼ同じとなり、変調光源として観測されないため、位相差φの計算に影響を及ぼさない。したがって、複数の光源２Aおよび２Bが同時に照射光を出射していても、測距装置３Aおよび３Bは、それぞれ、独立して、正確な距離ｄを測定することができる。
　図７のBは、（３）各光源２のパルス光の発光パターンを異ならせる方法の例を示している。
　セットAの光源２Aは、所定の発光パターンAでパルス光を照射し、セットBの光源２Bは、所定の発光パターンBでパルス光を照射する。セットAの測距装置３Aは、発光パターンAでToFセンサを駆動し、セットBの測距装置３Bは、発光パターンBでToFセンサを駆動する。発光パターンAと発光パターンBとは異なる。
　測距装置３Aおよび３Bそれぞれにおいて、同じ発光パターンの反射光については高い相関を示し、Confidence値も高くなる。一方、異なる発光パターンの反射光については相関が低くなるので、位相差φの計算に影響を及ぼさない。したがって、複数の光源２Aおよび２Bが同時に照射光を出射していても、測距装置３Aおよび３Bは、それぞれ、独立して、正確な距離ｄを測定することができる。
　照射光の干渉対策として、（１）各光源２のパルス光を時分割で識別する方法、（２）各光源２のパルス光を変調周波数で識別する方法、（３）各光源２のパルス光の発光パターンで識別する方法、のいずれを採用するかは、動作モードによって設定することができる。（１）各光源２のパルス光を時分割で識別する方法、（２）各光源２のパルス光を変調周波数で識別する方法、（３）各光源２のパルス光の発光パターンで識別する方法の動作モードを、それぞれ、（１）時分割モード、（２）変調周波数モード、（３）発光パターンモード、と称する。
（direct ToF方式）
　ToF方式のなかでも、上述したように、照射光L1の照射タイミングに対して複数種類の位相で検出した電荷Ｑ０、Ｑ９０、Ｑ１８０、および、Ｑ２７０に基づいて位相差φを検出し、物体４までの距離ｄを算出する方法は、indirect ToF方式と呼ばれる。
　これに対して、光源２から光が出射されてから、測距装置３に到達するまでの時間Δｔを直接カウントするdirect ToF方式と呼ばれる方式もある。
　図８を参照して、direct ToF方式について、簡単に説明する。
　direct ToF方式のToFセンサは、行列状に２次元配置された各画素に、SPAD（Single Photon Avalanche Diode）やAPD(Avalanche photodiode)などを受光素子として備える。SPADやAPDは、入射光が入射されたとき、発生する電子をアバランシェ増幅させて信号を出力する受光素子である。光源２が光の照射を開始した時刻から、測距装置３が反射光を受信した時刻までの光の飛行時間が、TDC(time to digital converter)によってデジタルのカウント値（以下、TDCコードと称する。）に変換される。光の照射と受信は、外乱光やマルチパスの影響を除去するために、複数回に渡って実施される。
　そして、図８に示されるように、複数回分のTDCコードのヒストグラムが生成される。頻度値が最も大きいTDCコードが、最終的な飛行時間Δｔとして決定され、上述の式（１）により、距離ｄを計算することができる。
　したがって、direct ToF方式のToFセンサにおいても、光源２が光の照射を開始した時刻を基準として時間をカウントするため、発光のタイミングをToFセンサ側に知らせる必要がある。
　以上がToF方式による測距処理の概要となる。
　上述したように、ToF方式では、光源２と測距装置３とを同一モジュールとするなど一体で構成し、ほぼ同一の位置に配置することが一般的である。
　しかしながら、光源２と測距装置３とを分離し、離れた位置に設置された光源２から物体４に光を照射し、その反射光を測距装置３で受光して、物体４までの距離ｄを計測する方法もある。
　光源２と測距装置３とを別体で離れた位置に配置した場合には、物体４の近傍に光源２を配置することができることから、光源２と測距装置３とを一体で構成した場合に比べて、ToFセンサが受光する受光量を向上させることができる。これにより、測距装置３の測距精度を向上させることができる。
　しかしながら、ToF方式による距離ｄの測定では、上述したように、測距装置３が、光源２の発光タイミングと高精度に同期をとる必要があるため、光源２と測距装置３とを別体で分離して配置した場合に、測距装置３のToFセンサが、光源２の発光タイミングに対して、周波数同期と位相同期を高精度に実現できるかが問題となる。
　そこで、以下では、分離配置された光源と測距装置との同期を高精度に実現した測距システムについて説明する。
＜２．測距システムの第１実施の形態＞
　図９は、本開示の第１実施の形態に係る測距システムの構成例を示している。
　図９の第１実施の形態に係る測距システム１１は、複数の測距デバイス２１を備える。図９の例では、測距システム１１が測距デバイス２１Aないし２１Eの５個の測距デバイス２１を含む構成が示されているが、測距デバイス２１の個数は５個に限定されず、任意の個数とすることができる。
　測距デバイス２１には、光源２と測距装置３との両方を備える構成と、光源２のみを備える構成と、測距装置３のみを備える構成とがある。具体的には、測距デバイス２１Aは、光源２のみを備え、測距デバイス２１Bは、光源２と測距装置３とを備える。測距デバイス２１Cは、測距装置３のみを備え、測距デバイス２１Dは、光源２と測距装置３とを備える。測距デバイス２１Eは、測距装置３のみを備える。
　各測距デバイス２１は、各々に付与された固有IDによって識別される。本実施の形態においては、測距デバイス２１Aには、固有IDとして“0”（ID0）が付与され、測距デバイス２１Bには、固有IDとして“1”（ID1）が付与され、測距デバイス２１Cには、固有IDとして“2”（ID2）が付与されている。同様に、測距デバイス２１Dには、固有IDとして“3”（ID3）が付与され、測距デバイス２１Eには、固有IDとして“4”（ID4）が付与されている。
　測距装置３は、indirect ToF方式またはdirect ToF方式による物体までの距離ｄを測定するToFセンサ５２（図１０）を備える。なお、以下では、簡単のため、各測距装置３が備えるToFセンサ５２は、indirect ToF方式のToFセンサであるとして説明し、direct ToF方式である場合については、必要に応じて補足説明する。
　測距デバイス２１Aないし２１Dは、例えば、天井などに固定して取り付けられている。測距デバイス２１Eは、移動運搬車２２の所定の箇所に取り付けられており、移動運搬車２２は、例えば物体２４までの距離など、測距デバイス２１Eの測距結果に応じて、進行方向を変更可能である。
　５個の測距デバイス２１Aないし２１Eは、ネットワーク２３を介して、所定の無線信号による通信（無線通信）を行うことができる。また、５個の測距デバイス２１Aないし２１Eそれぞれが、ネットワーク２３を介さずに、直接、相手方の測距デバイス２１と、無線通信を行う方式でもよい。
　ネットワーク２３は、例えば、WiFi（登録商標）、Bluetooth（登録商標）、所謂4G回線や5G回線等の無線移動体用の広域通信網などで構成される。
　光源２のみで構成される測距デバイス２１Aは、測距装置３を備える他の測距デバイス２１（例えば、測距デバイス２１C）の測距に際し、照射光を出射する。
　測距装置３のみで構成される測距デバイス２１Cや測距デバイス２１Eは、他の測距デバイス２１の光源２から照射された反射光を受光して、物体までの距離ｄを測定する。
　光源２と測距装置３とを備える測距デバイス２１Bおよび２１Dは、自身の光源２から照射させた照射光の反射光を受光して、物体までの距離ｄを測定することもできるし、他の測距デバイス２１（例えば、測距デバイス２１C）の光源２から照射させた照射光の反射光を受光して、物体までの距離ｄを測定することもできる。
　例えば、測距装置３のみで構成される測距デバイス２１Eは、他の測距デバイス２１Dの光源２から照射された照射光の発光タイミングと同期をとることで、測距デバイス２１Eから物体２４までの距離ｄを測定する。
　より具体的には、測距デバイス２１Eは、他の測距デバイス２１Dの光源２が発する無線信号のクロックに同期をとることにより、光源２の発光タイミングと、自身の測距装置３の受光タイミングとの同期をとる。例えば、測距デバイス２１Eと測距デバイス２１Dとが、WiFi（登録商標）またはBluetooth（登録商標）による無線通信を行う場合、例えば2.4GHzのクロック信号で、発光タイミングと、自身の測距装置３の受光タイミングとの同期をとる。これにより、光源２と測距装置３とが分離された配置構成である場合においても、高精度な測距を実現することができる。
＜３．測距デバイスのブロック図＞
　図１０は、光源２と測距装置３とを備える測距デバイス２１の機能構成例を示すブロック図である。
　測距デバイス２１は、クロック源４１、通信モジュール４２、アンテナ４３、基準クロック生成部４４、動作モード設定部４５、レーザドライバ４６、および、レーザ発光部４７を備える。
　また、測距デバイス２１は、光源情報取得部４８、メモリ（記憶部）４９、時刻同期部５０、タイミング制御部５１、ToFセンサ５２、および、信号処理部５３を備える。
　クロック源４１は、例えば、水晶発振器により構成され、無線通信と発光タイミングの両方の基準となるマスタクロックを生成し、通信モジュール４２へ供給する。
　通信モジュール４２は、測距デバイス２１が行う無線通信の制御を行い、アンテナ４３を介して送受信される無線信号に基づくデータの処理を行う。
　例えば、通信モジュール４２は、データ送信時においては、送信されるデータに対応して、予め決定された符号化方式および変調方式等を用いて符号化および変調等を行い、その結果得られる送信信号を、アンテナ４３から送信させる。送信されるデータは、光源情報取得部４８、時刻同期部５０、タイミング制御部５１などから供給される。
　また、通信モジュール４２は、データ受信時においては、アンテナ４３を介して受信したデータに対応して、データ送信時と反対の処理（復号および復調）を行い、その結果得られるデータを、後段のブロックのいずれか、具体的には、動作モード設定部４５、光源情報取得部４８、時刻同期部５０、または、タイミング制御部５１などに供給する。
　通信モジュール４２は、同期クロック生成部６１と信号送受信部６２とを有している。
　同期クロック生成部６１は、データ送信時においては、搬送波の周波数を、所定の変調周波数に変調した送信信号を生成し、アンテナ４３を介して送信する。また、同期クロック生成部６１は、搬送波周波数または変調周波数に対応した同期クロック信号を生成し、基準クロック生成部４４に供給する。
　同期クロック生成部６１は、データ受信時においては、アンテナ４３を介して受信した信号の同期処理を行うことにより、データ送信時の同期クロック信号に対応する信号（同期クロック信号）を生成し、基準クロック生成部４４に供給する。
　信号送受信部６２は、データ送信時においては、送信対象のデータを所定の符号化方式で符号化し、同期クロック生成部６１に供給する。送信対象のデータとしては、例えば、光源情報取得部４８から供給される、測距デバイス２１を識別する固有ID、レーザ発光部４７が出射する照射光の発光開始時刻情報や発光時間、動作モードなどを含む光源情報が挙げられる。
　信号送受信部６２は、データ受信時においては、同期クロック生成部６１から供給される信号の復調を行い、送信されてきたデータを取得し、動作モード設定部４５、光源情報取得部４８、時刻同期部５０、または、タイミング制御部５１のいずれかに供給する。例えば、信号送受信部６２は、受信信号から取得した光源情報の一つである動作モードを、動作モード設定部４５に供給し、光源情報の全てを光源情報取得部４８に供給する。
　アンテナ４３は、データ送信時においては、通信モジュール４２から供給される送信信号を増幅し、電磁波として送信する。また、アンテナ４３は、データ受信時においては、他の装置から送信されてきた送信信号を受信し、受信信号として通信モジュール４２に供給する。
　基準クロック生成部４４は、PLL（Phase　Locked　Loop）回路等を含み、同期クロック生成部６１から供給される同期クロック信号に基づいて、レーザ発光部４７が発光する際の基準となる基準クロック信号を生成し、動作モード設定部４５に供給する。
　動作モード設定部４５は、基準クロック生成部４４から供給される基準クロック信号を用いて、信号送受信部６２から供給される動作モードに応じた発光パルス信号を生成し、レーザドライバ４６およびToFセンサ５２に供給する。
　例えば、動作モードが時分割モードである場合、動作モード設定部４５は、自身（測距デバイス２１）が発光（または受光）する時間帯に合わせて、基準クロック生成部４４からの基準クロック信号を、発光パルス信号として、レーザドライバ４６およびToFセンサ５２に供給する。
　また例えば、動作モードが変調周波数モードである場合、動作モード設定部４５は、基準クロック生成部４４からの基準クロック信号の周波数を、自身（測距デバイス２１）が発光または受光する変調周波数に調整し、発光パルス信号として、レーザドライバ４６およびToFセンサ５２に供給する。
　また例えば、動作モードが発光パターンモードである場合、動作モード設定部４５は、基準クロック生成部４４からの基準クロック信号に基づいて、自身（測距デバイス２１）が発光または受光する発光パターンを生成し、発光パルス信号として、レーザドライバ４６およびToFセンサ５２に供給する。
　レーザドライバ４６は、動作モード設定部４５から供給される発光パルス信号に基づいて、レーザ発光部４７の光源であるVCSEL（Vertical Cavity Surface Emitting Laser：垂直共振器面発光レーザ)を駆動する駆動信号を生成し、レーザ発光部４７に供給する。
　レーザドライバ４６には、発光（または受光）を開始するタイミングを規定する開始タイミング制御情報が、タイミング制御部５１から供給される。開始タイミング制御情報は、発光または受光を開始する時刻を示す発光開始時刻情報や、VCSELの発光時間（画素の露光時間）、コンポーネントおよびフレームの周期などを含む。レーザドライバ４６は、開始タイミング制御情報に基づく所定のタイミングで、駆動信号を、レーザ発光部４７に供給する。
　レーザ発光部４７は、例えば、光源としてのVCSELを平面状に複数配列したVCSELアレイ（光源アレイ）で構成され、レーザドライバ４６からの駆動信号に応じて、所定の周期で発光のオンオフを繰り返す。
　光源情報取得部４８は、発光時は、光源情報をメモリ４９から取得し、信号送受信部６２に供給する。また、光源情報取得部４８は、受光時は、受信した光源情報を信号送受信部６２から取得し、メモリ４９に記憶させる。光源情報は、必要に応じて、タイミング制御部５１、ToFセンサ５２、および、信号処理部５３にも供給される。例えば、光源のキャリブレーションデータが、ToFセンサ５２に供給される。
　メモリ４９は、光源情報を記憶し、必要に応じて、光源情報取得部４８に供給する。
　ここで、メモリ４９が光源情報として記憶する情報には、例えば、以下のような情報が挙げられる。
・固有ID
・発光時間／露光時間
・発光開始時刻情報／露光開始時刻情報
・繰り返し周波数（direct ToF方式）
・変調周波数（indirect ToF方式）
・コンポーネント長さ（indirect ToF方式）
・測距デバイスの位置および姿勢
・フレーム長
・光源の波長
・発光パターン
・光源のキャリブレーションデータ（indirect ToF方式）
・動作モード
　固有IDは、測距デバイス２１を識別する情報である。発光時間は、レーザ発光部４７（光源２）が１回の発光を行う時間の長さ（上述のON期間）を表す。発光時間は、受光側では、ToFセンサ５２の露光時間に相当する。発光開始時刻情報は、レーザ発光部４７が照射光の発光を開始する時刻を表す。発光開始時刻情報は、受光側では、ToFセンサ５２が露光を開始する時刻に相当する。
　繰り返し周波数は、光の照射と受信を複数回繰り返し行うdirect ToF方式において、照射の時間間隔、即ち、前回の照射開始時刻から次の照射開始までの時間間隔を表す。
　変調周波数は、indirect ToF方式における変調周波数を表す。コンポーネント長さは、indirect ToF方式における１回のコンポーネントの時間長さを表す。
　測距デバイスの位置および姿勢は、測距デバイス２１が、IMU（Inertial Measurement Unit）、磁気センサ、GNSS（Global Navigation Satellite System）受信機、などを備えている場合、自身の位置または姿勢を示す情報である。位置または姿勢のどちらか一方でもよいし、両方でもよい。
　フレーム長は、indirect ToF方式における１回のフレームの時間長さを表す。光源の波長は、レーザ発光部４７が出射する照射光の波長を表す。例えば、照射光が赤外光である場合、波長は、約８５０ｎｍから９４０ｎｍの範囲となる。
　発光パターンは、測距デバイス２１が、光源２が出射するパルス光の発光パターンを識別する情報を表す。
　光源のキャリブレーションデータは、indirect ToF方式におけるサイクリックエラーの補正用のデータであり、例えば、図５の左側の非線形な関係を、図５の右側の線形な関係に補正する補正関数または補正係数などで構成される。
　動作モードは、照射光の干渉対策のための（１）時分割モード、（２）変調周波数モード、（３）発光パターンモードのいずれかを表す情報と、その動作モードの動作のために必要な動作モード詳細設定情報を表す。動作モード詳細設定情報は、例えば、（１）時分割モードでは、時分割されたなかで、自身が使用する時間帯を表す情報、（３）発光パターンモードでは、複数の発光パターンのなかで、自身が使用する発光パターンを表す情報などを含む。
　図１１は、照射光の干渉対策のため、動作モードを時分割モードで動作させた場合の、発光側の複数の測距デバイス２１と、受光側の測距デバイス２１との動作例を示している。
　例えば、発光側の測距デバイス２１である測距デバイス２１Aと測距デバイス２１Bが、時分割で発光する。受光側の測距デバイス２１Eは、測距デバイス２１Bの発光タイミングに同期して受光動作を行うことで、照射光の干渉を防止して、測距デバイス２１Bが出射した照射光の反射光を受光することができる。受光対象となる測距デバイス２１Bの発光タイミングは、光源情報の一部である、発光開始時刻を表す発光開始時刻情報で確認することができる。
　図１２は、照射光の干渉対策のため、動作モードを変調周波数モードで動作させた場合の、発光側の複数の測距デバイス２１と、受光側の測距デバイス２１との動作例を示している。
　図１１と同様に、発光側の測距デバイス２１は、測距デバイス２１Aと測距デバイス２１Bであり、受光側の測距デバイス２１は、測距デバイス２１Eである。
　測距デバイス２１Aは、変調周波数７１MHｚで、照射光を出射する。測距デバイス２１Bは、変調周波数１００MHｚで、照射光を出射する。受光側の測距デバイス２１Eは、測距デバイス２１Bの変調周波数に同期して受光動作を行うことで、照射光の干渉を防止して、測距デバイス２１Bが出射した照射光の反射光を受光することができる。受光対象となる測距デバイス２１Bの変調周波数は、光源情報の一部である、変調周波数を表す変調周波数情報で確認することができる。
　図１３は、照射光の干渉対策のため、動作モードを発光パターンモードで動作させた場合の、発光側の複数の測距デバイス２１と、受光側の測距デバイス２１との動作例を示している。
　図１１と同様に、発光側の測距デバイス２１は、測距デバイス２１Aと測距デバイス２１Bであり、受光側の測距デバイス２１は、測距デバイス２１Eである。
　測距デバイス２１Aは、発光パターンAで、照射光を出射する。測距デバイス２１Bは、発光パターンBで、照射光を出射する。受光側の測距デバイス２１Eは、測距デバイス２１Bの発光パターンBに同期して受光動作を行うことで、照射光の干渉を防止して、測距デバイス２１Bが出射した照射光の反射光を受光することができる。受光対象となる測距デバイス２１Bの発光パターンは、光源情報の一部である、発光パターンを表す発光パターン情報で確認することができる。
　図１０の説明に戻り、時刻同期部５０は、パルス光を発光する側の測距デバイス２１と、パルス光を受光する側の測距デバイス２１とでタイムスタンプを交換し、高精度に時刻の同期を行う。例えば、時刻同期部５０は、PTP(Precision　Time　Protocol)等のプロトコルを用いて、遠隔の光源・センサ間の発光・受光に問題ない精度で、時刻の同期を行う。あるいはまた、時刻同期部５０は、「Sameer Ansari； Neal Wadhwa； Rahul Garg； Jiawen Chen, ”Wireless Software Synchronization of Multiple Distributed Cameras”, 2019 IEEE International Conference on Computational Photography, ICCP 2019」に開示されている、無線通信を用いて複数カメラのシャッタータイミングの同期をかける手法などを採用して、時刻の同期を行ってもよい。
　タイミング制御部５１は、時刻同期部５０からの時刻情報などに基づいて、開始タイミング制御情報を生成し、レーザドライバ４６およびToFセンサ５２に供給する。
　ToFセンサ５２は、自身（測距デバイス２１）または他の測距デバイス２１のレーザ発光部４７から出射された照射光が物体で反射された反射光を受光して、コンポーネントの画像信号を生成し、信号処理部５３に供給する。ToFセンサ５２には、光源情報取得部４８から、光源情報の一部が必要に応じて供給される。
　ToFセンサ５２は、動作モード設定部４５からの動作モードに応じた発光パルス信号、光源情報取得部４８からの光源情報、および、タイミング制御部５１からの開始タイミング制御情報に基づいて、画素アレイ部の各画素の露光を制御し、位相０度、位相９０度、位相１８０度、または、位相２７０度の画像フレームを、信号処理部５３に供給する。ToFセンサ５２は、光源のキャリブレーションデータが光源情報取得部４８から供給された場合、サイクリックエラーを補正する補正処理を行って、各位相の画像フレームを算出する。
　信号処理部５３は、ToFセンサ５２から、位相０度、位相９０度、位相１８０度、および、位相２７０度の各位相の画像フレームを取得する。また、信号処理部５３は、受光した反射光の変調周波数などの情報を、光源情報取得部４８から取得する。
　そして、信号処理部５３は、取得した４位相の画像フレームと、変調周波数などの情報に基づいて、上述した式（３）を用いて、測距装置３から物体２４までの距離（デプス値）ｄを画素単位に計算する。信号処理部５３は、画素単位に計算した測距装置３から物体２４までの距離ｄを各画素の画素値として格納したデプス画像を生成し、後段の装置またはブロックに出力する。
　測距デバイス２１が光源２と測距装置３との両方を備える場合、換言すれば、測距デバイス２１が、発光機能と受光機能の両方を備える場合、測距デバイス２１は、以上のように構成される。
　なお、測距デバイス２１が、発光機能または受光機能のいずれか一方のみで構成される場合、発光機能または受光機能のみに必要なブロックが適宜省略される。
　具体的には、測距デバイス２１が、例えば測距デバイス２１Aのように、照射光の発光機能のみで構成される場合、測距デバイス２１の機能ブロック図は、図１４のように構成される。
　一方、測距デバイス２１が、例えば測距デバイス２１Cのように、反射光の受光機能のみで構成される場合、測距デバイス２１の機能ブロック図は、図１５のように構成される。
＜４．測距デバイスの処理フロー＞
　次に、発光機能を有する各測距デバイス２１、具体的には、測距デバイス２１A、測距デバイス２１B、および、測距デバイス２１Dの各光源２から出力されるパルス光と周波数同期および位相同期をとる制御について説明する。発光機能を有する各測距デバイス２１と周波数同期および位相同期がとれることにより、任意の測距デバイス２１の測距装置３が、他の測距デバイス２１の光源２から出射された照射光を受光して、任意の物体２４の距離を測定することが可能となる。
　まず、図１６のフローチャートを参照して、パルス光を発光する発光側の測距デバイス２１の発光制御処理について説明する。この処理は、例えば、発光側の測距デバイス２１が、電源オンとされたとき開始される。
　なお、発光側の測距デバイス２１の処理である図１６の発光制御処理、および、受光側の測距デバイス２１の処理である図１７の受光制御処理の前提として、各測距デバイス２１のメモリ４９には、予め測定された各測距デバイス２１の位置（相対位置）に関する情報が、光源情報として記憶されていることとする。
　初めに、ステップＳ１において、通信モジュール４２は、自身が発光するパルス光を受光する受光側の測距デバイス２１と、ネットワーク２３を介してまたは直接に、無線通信の接続を行う。例えばIEEE（The Institute of Electrical and Electronic Engineers）802.11で規格化されている無線LAN（Local Area Network）では、CSMA／CA（Carrier Sense Multiple Access／Collision Avoidance）と呼ばれる、各端末の相互干渉を回避する仕組みを用いて、送信機会を獲得し、通信相手と接続される。
　通信モジュール４２の同期クロック生成部６１は、無線通信の接続において、クロック源４１から供給されるマスタクロックに基づいて送信信号を生成し、アンテナ４３を介して送信する。また、同期クロック生成部６１は、送信信号の周波数（搬送波周波数または変調周波数）に対応した同期クロック信号を生成し、基準クロック生成部４４に供給する。
　ステップＳ２において、時刻同期部５０は、パルス光を受光する受光側の測距デバイス２１とタイムスタンプを交換し、高精度に時刻の同期を行う。同期後の時刻情報は、タイミング制御部５１に供給される。
　ステップＳ３において、光源情報取得部４８は、光源情報をメモリ４９から取得し、信号送受信部６２に供給する。
　ステップＳ４において、通信モジュール４２の信号送受信部６２は、送信対象のデータを所定の符号化方式で符号化し、同期クロック生成部６１に供給する。送信対象のデータとしては、例えば、光源情報取得部４８から供給された光源情報のうち、固有ID、発光時間、発光開始時刻情報、動作モードなどの少なくとも１つを含む。また、信号送受信部６２は、動作モードを、動作モード設定部４５に供給する。
　ステップＳ５において、基準クロック生成部４４は、同期クロック生成部６１から供給された同期クロック信号に基づいて、基準クロック信号を生成し、動作モード設定部４５に供給する。
　ステップＳ６において、動作モード設定部４５は、基準クロック生成部４４から供給された基準クロック信号を用いて、信号送受信部６２から供給された動作モードに応じた発光パルス信号を生成し、レーザドライバ４６に供給する。
　ステップＳ７において、タイミング制御部５１は、時刻同期部５０からの時刻情報などに基づいて、開始タイミング制御情報を生成し、レーザドライバ４６に供給する。
　ステップＳ８において、レーザドライバ４６は、開始タイミング制御情報に基づく所定のタイミングで、駆動信号を、レーザ発光部４７に供給する。
　ステップＳ９において、レーザ発光部４７は、レーザドライバ４６からの駆動信号に応じて、所定の周期で発光のオンオフを繰り返す。
　以上で、発光制御処理が終了する。
　次に、図１７のフローチャートを参照して、パルス光を受光する受光側の測距デバイス２１の受光制御処理について説明する。この処理は、例えば、受光側の測距デバイス２１が、電源オンとされたとき開始される。
　初めに、ステップＳ２１において、通信モジュール４２は、パルス光を発光する発光側の測距デバイス２１と、ネットワーク２３を介してまたは直接に、無線通信の接続を行う。
　通信モジュール４２の同期クロック生成部６１は、無線通信の接続において、アンテナ４３を介して受信した送信信号に対する同期処理を行うことにより、データ送信時の同期クロック信号に相当する信号を生成し、基準クロック生成部４４に供給する。これにより、受光側の動作が、発光側の１つのクロック源４１を基準とした同期クロック信号に基づいて制御されることとなり、発光側と受光側の周波数が同期する。
　ステップＳ２２において、時刻同期部５０は、パルス光を発光する発光側の測距デバイス２１とタイムスタンプを交換し、高精度に時刻の同期を行う。同期後の時刻情報は、タイミング制御部５１に供給される。
　ステップＳ２３において、信号送受信部６２は、同期クロック生成部６１から供給された信号の復調を行い、送信されてきたデータを取得する。信号送受信部６２は、例えば、受信信号から取得した動作モードを、動作モード設定部４５に供給し、その他の光源情報を光源情報取得部４８に供給する。
　ステップＳ２４において、光源情報取得部４８は、信号送受信部６２から取得した光源情報をメモリ４９に記憶させるとともに、光源情報の一部を、ToFセンサ５２および信号処理部５３に供給する。
　ステップＳ２５において、基準クロック生成部４４は、同期クロック生成部６１から供給された同期クロック信号に基づいて、基準クロック信号を生成し、動作モード設定部４５に供給する。
　ステップＳ２６において、動作モード設定部４５は、基準クロック生成部４４から供給された基準クロック信号を用いて、信号送受信部６２から供給される動作モードに応じた発光パルス信号を生成し、ToFセンサ５２に供給する。
　ステップＳ２７において、ToFセンサ５２は、発光パルス信号に基づいて、所定の物体２４で反射された反射光を受光し、信号処理部５３は、受光結果に基づいて、他の測距デバイス２１の照射光の位相差を検出し、位相を揃える。
　周波数同期を行っていても、各測距デバイス２１が照射する発光パルスは、タイミングがわずかにずれるので、その位相差を揃える必要がある。
　例えば、図１８に示されるように、測距デバイス２１Bが、自身の光源２から照射光を出射し、光源座標系における物体２４の点Fの３次元位置を取得する。
　次に、測距デバイス２１Bは、例えば、照射光が干渉しないように時分割で測距デバイス２１Aの光源２から出射された照射光が物体２４の点Fで反射された反射光を受光し、受光結果に基づいて距離DAFBを取得する。ここで、取得される距離DAFBは、次式で表すことができる。
Figure JPOXMLDOC01-appb-M000007
　すなわち、距離DAFBは、測距デバイス２１Aから物体２４の点Fまでの距離｜VAF｜と、物体２４の点Fから測距デバイス２１Bまでの｜VFB｜と、測距デバイス２１Bの位相を基準とした測距デバイス２１Aの光源２の位相のずれに相当する距離CABとが合算されたものに等しい。ここで、VAFは、測距デバイス２１Aから物体２４の点Fのベクトルを表し、VFBは、物体２４の点Fから測距デバイス２１Bのベクトルを表す。なお、明細書では、ベクトルを表す記号（図１８においてVAFおよびVFBの上部に記された矢印（→）の記号）は省略する。｜V｜は、ベクトルVの絶対値を表す。
　信号処理部５３は、光速を用いて距離CABを位相のずれTABに換算する。そして、無線通信を用いて、測距デバイス２１Aの光源２の位相を、位相のずれTABだけずらす指示を行うことで、測距デバイス２１Aと２１Bとの位相差を揃えることができる。
　以上で、受光制御処理が終了する。
　発光側の測距デバイス２１による発光制御処理と、受光側の測距デバイス２１による受光制御処理とによれば、受光側の測距デバイス２１は、発光側が送信した無線通信の送信信号に対する同期処理を行うことにより、発光側の測距デバイス２１で生成された同期クロック信号に周波数同期された同期クロック信号を生成することができる。そして、時刻同期が行われ、発光タイミングや受光タイミングの基準クロックとなる基準クロック信号が生成される。
　すなわち、発光側と受光側の両方の測距デバイス２１の発光タイミングと受光タイミングが、発光側の１つのクロック源４１を基準として制御される。
　したがって、発光側の測距デバイス２１と、受光側の両方の測距デバイス２１とが別の装置として離れて配置された構成であっても、レーザ発光部４７（光源）とToFセンサ５２との周波数同期をとることができ、測距結果の誤差を低減することができる。
　図１１ないし図１３のように、パルス光を発光する測距デバイス２１が複数存在し、（１）時分割モード、（２）変調周波数モード、または、（３）発光パターンモードのいずれかの動作モードで、３以上の測距デバイス２１が同時に動作する場合、全ての測距デバイス２１は、いずれか１つの測距デバイス２１のクロック源４１のマスタクロックに同期して、同期クロック信号や基準クロック信号が生成される。
　なお、動作モードが、変調周波数モード、または、発光パターンモードである場合には、周波数同期は必要であるが、時刻同期は不要である。
　また、上述した受光制御処理によれば、発光側の測距デバイス２１と、受光側の測距デバイス２１との位相差を検出し、位相差も揃えることができる。
　測距システム１１において、発光機能を有する複数の測距デバイス２１の発光パルスの周波数と位相の同期が取れた状態を構築することで、例えば、移動可能な移動運搬車２２に取り付けられた測距デバイス２１Eの測距装置３が、複数の測距デバイス２１の光源２から出射される照射光に基づいて、任意の物体２４までの距離を測定することができる。移動運搬車２２に取り付けられた測距デバイス２１Eの測距装置３が任意の物体２４までの距離を測定する方法については後述する。
　発光側の測距デバイス２１と、受光側の測距デバイス２１とは、光源情報を、無線通信により、送受信することができる。光源情報として送受信し得る情報としては、固有ID、発光時間、発光開始時刻情報、繰り返し周波数、変調周波数、コンポーネント長さ、測距デバイスの位置および姿勢、フレーム長、光源の波長、発光パターン、光源のキャリブレーションデータ、動作モードなど、様々な情報を例示したが、全ての情報を送受信する必要はなく、一部はメモリ４９に固定データとして予め記憶されていてもよい。
　発光側と受光側とが異なる測距デバイス２１とされる場合、光源のキャリブレーションデータを、他の装置となる受光側の測距デバイス２１が予め保持することは難しい場合がある。そのような場合に、光源情報の一部として、光源のキャリブレーションデータを発光側から受光側へ伝送することにより、受光側で正確な位相差の検出が可能となる。
＜５．第１実施の形態の変形例＞
　上述した第１実施の形態では、測距システム１１を構成する複数の測距デバイス２１のいずれか１つのクロック源４１に、各測距デバイス２１が同期クロック信号および基準クロック信号を同期させるように構成されていた。
　しかしながら、各測距デバイス２１が同期させるクロック源は、測距システム１１を構成する複数の測距デバイス２１ではない、別の装置のクロック源であってもよい。
　例えば、GPS(Global Positioning System)、GLONASS(Global Navigation Satellite System)、Galileo、準天頂衛星（QZSS）などの全地球航法衛星システム（GNSS：Global Navigation Satellite System）の信号（以下、GNSS信号と称する。）には、高精度なクロック信号と時刻情報を出力する機能がある。測距システム１１を構成する複数の測距デバイス２１それぞれが、GNSS信号を受信し、GNSS信号から取得されるクロック信号と時刻情報に統一して同期する構成を採用することができる。
　図１９は、GNSS信号に基づいて時刻同期を行う測距デバイス２１’のブロック図である。
　図１９において、図１０に示した構成と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１９には、発光機能と受光機能の両方を備える２つの測距デバイス２１’が示されている。そして、２つの測距デバイス２１’の一方である測距デバイス２１’－１が発光側とされ、他方の測距デバイス２１’－２が受光側とされている。同一構成の測距デバイス２１’は、例えば、予め設定された設定情報（光源情報）によって、発光側または受光側として動作する。
　測距デバイス２１’は、GNSS受信部８１、時刻情報設定部８２、基準クロック生成部４４、動作モード設定部４５、レーザドライバ４６、レーザ発光部４７、光源情報取得部４８、メモリ４９、時刻同期部５０、タイミング制御部５１、ToFセンサ５２、および、信号処理部５３を備える。
　換言すれば、測距デバイス２１’は、図１０の測距デバイス２１と比較して、クロック源４１、通信モジュール４２、および、アンテナ４３が、GNSS受信部８１と時刻情報設定部８２に置き換えられた構成とされている。
　GNSS受信部８１は、GNSS衛星８３からのGNSS信号を受信し、時刻情報設定部８２と、基準クロック生成部４４とに供給する。
　時刻情報設定部８２は、GNSS受信部８１から供給されるGNSS信号から、高精度の時刻情報を取得し、標準時刻に時刻を合わせる。
　基準クロック生成部４４は、GNSS信号からクロック信号を抽出し、クロック信号に基づいて、レーザ発光部４７が発光する際の基準となる基準クロック信号を生成し、動作モード設定部４５に供給する。
　メモリ４９は、光源情報を記憶し、必要に応じて、光源情報取得部４８に供給する。メモリ４９の光源情報には、自身の測距デバイス２１’が発光側または受光側として動作するために必要な情報が記憶されている。例えば、受光側の測距デバイス２１’－２のメモリ４９には、発光側の測距デバイス２１’の動作モード、発光パターン、光源のキャリブレーションデータなどのデータが予め記憶されている。
　測距デバイス２１’が、以上の構成を有することにより、発光側および受光側の測距デバイス２１’のいずれとも異なる別の装置（GNSS衛星８３）のクロック源を用いて、発光タイミングと受光タイミングを同期させることができる。すなわち、発光側のレーザ発光部４７と受光側のToFセンサ５２との周波数同期をとることができ、測距結果の誤差を低減することができる。
　上述の例では、GNSS信号を受信し、受信したGNSS信号に基づいて、時刻とクロックの同期をとる構成とし、光源情報等のデータの送受信は予め設定されていることとして、特に行わなかった。しかし、WiFi（登録商標）、Bluetooth（登録商標）等の別の無線通信を用いて、光源情報等のデータを送受信する構成とすることも可能である。
　なお、高精度なクロック信号と時刻情報を出力する信号として、上述したGNSS信号の他、UWB（Ultra Wide Band）通信の無線信号を用いてもよい。この場合、測距デバイス２１’のGNSS受信部８１が、UWB受信部８１とされ、UWB受信部８１は、UWB（Ultra Wide Band）通信の無線信号を受信する。
　また、図１９では、発光側の測距デバイス２１’と、受光側の測距デバイス２１’の構成が同一であり、測距デバイス２１’が発光側および受光側のどちらにもなり得る構成とした。しかしながら、発光側または受光側のどちらか一方に限定される場合には、図１４および図１５と同様に、不要な構成は省略することができる。
＜６．測距システムの第２実施の形態＞
　図２０は、本開示の第２実施の形態に係る測距システムの構成例を示している。
　図２０の第２実施の形態に係る測距システム１１は、複数のドローン１０１で構成される。ドローン１０１は、複数のロータを有する飛行移動体であり、光源２と測距装置３との両方を備える測距デバイスを有している。
　測距システム１１は、３以上のドローン１０１で構成することができるが、説明を簡単にするため、以下では、図２０に示されるように、２台のドローン１０１Aおよび１０１Bで構成されるものとする。ドローン１０１Aおよび１０１Bは、同一構成を有し、機体を識別する固有IDが異なる。例えば、ドローン１０１Aの固有IDは、“0”（ID0）であり、ドローン１０１Bの固有IDは、“1”（ID1）である。
　ドローン１０１Aは、ドローン１０１Bに対して、所定の変調周波数の照射光を照射するとともに、ドローン１０１Bから照射された照射光を受光する。ドローン１０１Bも、ドローン１０１Aに対して、所定の変調周波数の照射光を照射するとともに、ドローン１０１Aから照射された照射光を受光する。
　ドローン１０１Aと１０１Bの同期クロック信号および基準クロック信号は、第１実施の形態の変形例と同様に、GNSS衛星１０２からのGNSS信号に基づいて、同期するように制御される。
　ドローン１０１Aおよび１０１Bは、自身が計測した光の伝搬時間または距離を、互いに教え合うことで、相手までの距離（以下、相対距離と称する。）を正確に測定することができる。
　図２１ないし図２３を参照して、相対距離算出の原理について説明する。
　まず、図２１に示されるように、ドローン１０１Aおよび１０１Bのそれぞれが、光源２と測距装置３とを備える。
　ドローン１０１Aの光源２は、ドローン１０１Bに対して、所定の変調周波数の照射光を照射する。また、ドローン１０１Aの測距装置３は、ドローン１０１Bの光源２から照射された照射光を受光する。
　ドローン１０１Bの光源２は、ドローン１０１Aに対して、所定の変調周波数の照射光を照射する。また、ドローン１０１Bの測距装置３は、ドローン１０１Aの光源２から照射された照射光を受光する。
　ここで、ドローン１０１Aと１０１Bとの相対距離をｄとすると、ドローン１０１Aと１０１Bとの間の光の伝搬時間Δｔｄは、式（８）で表すことができる。
Figure JPOXMLDOC01-appb-M000008
 　式（８）のｃは、光速を表す。
　図２２は、indirect ToF方式でドローン１０１Aおよび１０１Bが照射するパルス光を模式的に示した図である。
　ドローン１０１Aおよび１０１Bのそれぞれは、GNSS衛星１０２からのGNSS信号に基づいて高精度な時刻情報を共有することで、照射光の発光タイミングを揃えることができる。ただし、発光パルスの１つ１つのタイミングまで合わせることは難しい。
　具体的には、ドローン１０１Aおよび１０１Bで発光タイミングを揃えた場合であっても、図２２に示されるように、ドローン１０１Bから見ると、ドローン１０１Aの発光パルスがΔｔoffsetだけ遅れているように見えることがある。
　即ち、ドローン１０１Bの測距装置３で観測されるドローン１０１間の光の伝搬時間Δｔ１→２は、発光タイミングのズレに応じたオフセットΔｔoffsetの影響も受け、次式（９）で表される。
　　Δｔ１→２＝Δｔｄ＋Δｔoffset　　・・・・・・・・・（９）
　一方、ドローン１０１Aから見ると、ドローン１０１Bの発光パルスがΔｔoffsetだけ進んでいるように見えるので、ドローン１０１Aの測距装置３で観測されるドローン１０１間の光の伝搬時間Δｔ２→１は、次式（１０）で表される。
　　Δｔ２→１＝Δｔｄ－Δｔoffset　　・・・・・・・・・（１０）
　そこで、ドローン１０１Aおよび１０１Bが、自身で計測された伝搬時間Δｔを教え合うことで、次式（１１）により、オフセットΔｔoffsetの影響を除外した正確な光の伝搬時間Δｔｄを求めることができる。そして、式（８）を変形した式（１２）により、正確な相対距離ｄを求めることができる。
Figure JPOXMLDOC01-appb-M000009
　なお、ドローン１０１Aおよび１０１Bが伝搬時間Δｔを相互に教え合うのでもよいし、伝搬時間Δｔと光速ｃとを乗算した距離ｄを相互に教え合い、両者の距離ｄの平均を算出しても、正確な相対距離ｄを求めることができる。
　図２３は、direct ToF方式でドローン１０１Aおよび１０１Bが照射するパルス光を模式的に示した図である。
　direct ToF方式においても、図２２で説明したindirect ToF方式と全く同じように定式化することができる。
　すなわち、図２３に示されるように、ドローン１０１Bから見ると、ドローン１０１Aの発光パルスがΔｔoffsetだけ遅れているように見える場合、ドローン１０１Bの測距装置３で観測されるドローン１０１間の光の伝搬時間Δｔ１→２は、式（９）で表される。
　一方、ドローン１０１Aの測距装置３で観測されるドローン１０１間の光の伝搬時間Δｔ２→１は、式（１０）で表される。
　したがって、式（１１）により、オフセットΔｔoffsetの影響を除外した正確な光の伝搬時間Δｔｄを求めることができ、式（１２）により、正確な相対距離ｄを求めることができる。
＜ドローンのブロック図＞
　図２４は、ドローン１０１に内蔵された測距デバイスに関するブロック図である。
　図２４においても、図１９の測距デバイス２１’と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　ドローン１０１（の測距デバイス）は、図１９に示した測距デバイス２１’の構成に、IMU１２１、位置・姿勢計算部１２２、通信部１２３、および、光源間距離計算部１２４をさらに追加した構成を有する。
　第２実施の形態では、光源情報取得部４８が、メモリ４９に記憶されている、動作モードなどの光源情報を取得し、動作モード設定部４５、タイミング制御部５１、信号処理部５３などに適宜供給する。
　IMU１２１は、ドローン１０１の３軸方向の角度（または角速度）と加速度を検出する装置であり、検出結果を示す信号を、位置・姿勢計算部１２２に供給する。
　位置・姿勢計算部１２２は、IMU１２１から供給される検出信号と、GNSS受信部８１から供給される位置情報とに基づいて、ドローン１０１の位置および姿勢を検出し、通信部１２３および光源間距離計算部１２４に供給する。位置・姿勢計算部１２２は、ドローン１０１の位置または姿勢のいずれか一方を検出するものでもよい。
　なお、IMU１２１は必須の構成要件ではなく、省略されてもよい。この場合、位置・姿勢計算部１２２は、GNSS受信部８１から供給される位置情報に基づいて、ドローン１０１の位置および姿勢を検出する。また、IMU１２１の代わりに、磁気センサ、圧力センサ等その他のセンサを備え、センサ検出信号に基づいて、ドローン１０１の位置および姿勢を検出してもよい。また、IMU１２１と磁気センサ等の両方を備えていてもよい。
　信号処理部５３は、デプス画像生成部１４１と、外部変調光源検出部１４２とを備える。
　デプス画像生成部１４１は、画素単位に計算した相手方のドローン１０１までの距離ｄを各画素の画素値として格納したデプス画像を生成する。生成されたデプス画像は、通信部１２３と光源間距離計算部１２４に供給される。
　外部変調光源検出部１４２は、相手方のドローン１０１が発光する光源２（レーザ発光部４７）の位置（光源位置）を検出する。
　indirect ToF方式では、外部変調光源検出部１４２は、光の強度を表すConfidence値を各画素の画素値として格納したConfidence画像を用いて、光源位置を検出する。
　図２５は、ドローン１０１Aがドローン１０１Bを観測したときのConfidence画像と、ドローン１０１Bがドローン１０１Aを観測したときのConfidence画像の例を示している。
　外部変調光源検出部１４２は、Confidence画像の各画素のなかで、画素値（Confidence値）が予め決定した閾値以上で、かつ、画素値が最大の画素位置を、光源位置として検出する。
　一方、direct ToF方式では、外部変調光源検出部１４２は、生成したヒストグラムのピーク値が予め決定した閾値以上で、かつ、ピーク値が最大の画素位置を、光源位置として検出する。
　ドローン１０１Aとドローン１０１Bは、お互いに時分割で発光させ、発光と受光を切り分けて動作することができる。あるいはまた、ドローン１０１Aとドローン１０１Bの周囲に他の物体がないような環境下、例えば、ドローン１０１以外の背景が空である場合などでは、ドローン１０１Aおよびドローン１０１Bが同時に発光および受光を行ってもよい。
　そして、信号処理部５３は、外部変調光源検出部１４２により検出された光源位置と、その光源位置で検出された距離ｄ１を、通信部１２３と光源間距離計算部１２４に供給する。
　通信部１２３は、例えば、WiFi（登録商標）、Bluetooth（登録商標）、所謂4G回線や5G回線等の移動体通信などの無線通信により、相手方のドローン１０１と通信を行う。通信部１２３は、無線通信により、信号処理部５３で得られた相手方のドローン１０１の光源位置および距離ｄ１と、位置・姿勢計算部１２２で検出された自身の粗い位置を、相手方のドローン１０１に送信する。また、通信部１２３は、相手方のドローン１０１が検出した光源位置および距離ｄ２と、相手方のドローン１０１の粗い位置を受信し、光源間距離計算部１２４に供給する。
　光源間距離計算部１２４は、相手方のドローン１０１から無線通信により受信した、光源位置および距離ｄ２と粗い位置とを、通信部１２３から取得する。また、光源間距離計算部１２４は、自身が検出した相手方のドローン１０１までの距離ｄ１と光源位置を、信号処理部５３から取得する。光源間距離計算部１２４は、自身が計測した距離ｄ１と、相手方のドローン１０１が計測した距離ｄ２とを用いて、上述したオフセットΔｔoffsetの影響を除外した正確な相対距離ｄを計算する。また、光源間距離計算部１２４は、位置・姿勢計算部１２２で検出された自身の粗い位置姿勢を用いて、相対距離ｄを高精度化する。
　図２６は、位置・姿勢計算部１２２で検出された自身の粗い姿勢を用いて、相対距離ｄを高精度化する処理を説明する図である。
　相手方のドローン１０１の方向が、ピンホールカメラの原理により、Confidence画像内で検出された光源位置により把握される。また、自身が検出した相手方のドローン１０１までの距離ｄ１と、相手方から送信されてきた距離ｄ２とを用いて、正確な相対距離ｄが求められている。
　この条件では、図２６のAに示されるように、視線方向周りの回転に対し任意性を持ち、位置姿勢は一意には求まらない。
　そこで、図２６のBに示されるように、IMU１２１の検出結果を用いることで、ToFセンサ５２の重力方向を特定することができるので、IMU１２１の検出結果を用いて任意性を解く。すなわち、ドローン１０１Aとドローン１０１BのどちらのToFセンサ５２で観測された画像でも、IMU１２１の検出結果に基づいて、一意に相対的な位置姿勢が求まる。IMU１２１の代わりに、磁気センサを備えている場合、磁気センサも、ドローン１０１Aとドローン１０１Bのどちらにも共通の方位を検出することができるので、相対的な位置姿勢が求まる。
　以上のように、距離ｄを相互に教え合うことで求めた高精度な距離ｄに、IMU１２１で検出されたドローン１０１の姿勢（傾き）を用いることで、相対的な位置姿勢を高精度化することができる。
　図２７は、位置・姿勢計算部１２２で検出された自身の粗い位置と、相手方のドローン１０１から送信されてきた相手方のドローン１０１の粗い位置とを用いて、相対距離ｄを高精度化する処理を説明する図である。
　indirect ToF方式では、変調周波数によって、測定できる距離ｄに限界がある。例えば、変調周波数が２０MHzである場合、約１５ｍで位相が一周するため、図２７に示されるように、相対距離ｄが１５ｍと３０ｍとで検出される位相差が同じ値となり、１５ｍと３０ｍの距離を区別することができない。
　この対策としては、位置・姿勢計算部１２２で検出された自身の粗い位置と、相手方のドローン１０１から送信されてきた相手方のドローン１０１の粗い位置とを用いて、相対距離ｄが１５ｍまたは３０ｍのどちらであるのかを判別することができる。すなわち、位置・姿勢計算部１２２で検出された自身の粗い位置を用いて、相対距離ｄを高精度化することができる。
　なお、相対距離ｄが１５ｍまたは３０ｍのどちらであるのかの判別は、変調周波数を複数設定し、それぞれの変調周波数による測定結果で共通に得られた距離から、最終的な距離を決定する方法を採用してもよい。
＜相対距離計測処理の処理フロー＞
　次に、図２８のフローチャートを参照して、ドローン１０１の相対距離計測処理について説明する。この処理は、例えば、ドローン１０１の飛行開始後、開始される。
　初めに、ステップＳ４１において、GNSS受信部８１は、GNSS衛星８３からのGNSS信号を受信し、時刻情報設定部８２と基準クロック生成部４４に供給する。時刻情報設定部８２は、GNSS受信部８１から供給されたGNSS信号から、高精度の時刻情報を取得し、標準時刻に時刻を合わせる。基準クロック生成部４４は、GNSS信号からクロック信号を抽出し、クロック信号に基づいて基準クロック信号を生成し、動作モード設定部４５に供給する。また、GNSS受信部８１は、GNSS信号から取得した位置情報を位置・姿勢計算部１２２に供給する。
　ステップＳ４２において、位置・姿勢計算部１２２は、IMU１２１から供給された検出信号と、GNSS受信部８１から供給された位置情報とに基づいて、ドローン１０１の位置および姿勢を検出し、通信部１２３および光源間距離計算部１２４に供給する。IMU１２１が省略される場合には、GNSS受信部８１から供給された位置情報のみに基づいて、ドローン１０１の位置および姿勢が検出される。
　ステップＳ４３において、タイミング制御部５１は、時刻情報設定部８２からの高精度の時刻情報などに基づいて、開始タイミング制御情報を生成し、レーザドライバ４６およびToFセンサ５２に供給する。
　ステップＳ４４において、動作モード設定部４５は、基準クロック生成部４４から供給された基準クロック信号を用いて、光源情報取得部４８から供給された動作モードに応じた発光パルス信号を生成し、レーザドライバ４６およびToFセンサ５２に供給する。
　ステップＳ４５において、レーザドライバ４６は、開始タイミング制御情報に基づく所定のタイミングで、駆動信号を生成し、レーザ発光部４７に供給する。
　ステップＳ４６において、レーザ発光部４７は、レーザドライバ４６からの駆動信号に応じて、所定の周期で発光のオンオフを繰り返す。
　ステップＳ４７において、ToFセンサ５２は、タイミング制御部５１からの開始タイミング制御情報と、動作モード設定部４５からの基準クロック信号とに基づいて、相手方のドローン１０１が照射した照射光を受光して、位相０度、位相９０度、位相１８０度、および、位相２７０度の各位相の画像フレームを順次生成し、信号処理部５３に供給する。
　ステップＳ４８において、信号処理部５３のデプス画像生成部１４１は、画素単位に計算した相手方のドローン１０１までの距離ｄ１を各画素の画素値として格納したデプス画像を生成し、通信部１２３と光源間距離計算部１２４に供給する。
　ステップＳ４９において、外部変調光源検出部１４２は、相手方のドローン１０１が発光する光源２（レーザ発光部４７）の位置（光源位置）を検出し、通信部１２３と光源間距離計算部１２４に供給する。
　ステップＳ５０において、通信部１２３は、無線通信により、信号処理部５３で得られた相手方のドローン１０１の光源位置および距離ｄ１と、位置・姿勢計算部１２２で検出された自身の粗い位置とを、相手方のドローン１０１に送信する。また、通信部１２３は、相手方のドローン１０１が検出した光源位置および距離ｄ２と、相手方のドローン１０１の粗い位置を受信し、光源間距離計算部１２４に供給する。
　ステップＳ５１において、光源間距離計算部１２４は、相手方のドローン１０１との正確な相対距離ｄを計算する。具体的には、光源間距離計算部１２４は、位置・姿勢計算部１２２で検出された自身の粗い姿勢を用いて重力方向を特定し、相対的な位置姿勢を求める。また、光源間距離計算部１２４は、相手方のドローン１０１から無線通信により受信した、光源位置および距離ｄ２と粗い位置とを、通信部１２３から取得する。そして、光源間距離計算部１２４は、自身が検出した相手方のドローン１０１までの距離ｄ１と、相手方から送信されてきた距離ｄ２とを用いて、オフセットΔｔoffsetの影響を除外した正確な相対距離ｄを計算する。さらに、光源間距離計算部１２４は、自身と相手方のドローン１０１で検出された粗い位置を用いて、相対距離ｄを高精度化する。
　以上で、相対距離計測処理が終了する。上述した相対距離計測処理は、ドローン１０１Aおよび１０１Bのそれぞれで並行して実行される。
　以上の相対距離計測処理によれば、自身が測定した距離ｄ１（またはｄ２）を、相互に教え合うことで、正確な距離ｄを計算することができる。
　第２実施の形態では、第１実施の形態と同様に、受信した無線信号に基づいて同期することにより、ドローン１０１Aおよび１０１Bそれぞれの周波数同期を行うようにしたが、特許文献１に開示されているような、マスタとなるドローン１０１の反射光（マスタの照射光）を用いて周波数同期を行う方法を採用してもよい。
＜７．測距システムの第３実施の形態＞
　図２９は、本開示の第３実施の形態に係る測距システムの構成例を示している。
　図２９の第３実施の形態に係る測距システム１１は、複数の測距デバイス２０１を備える。図２９の例では、測距システム１１が測距デバイス２０１Aないし２０１Eの５個の測距デバイス２０１を含む構成が示されているが、測距デバイス２０１の個数は５個に限定されず、任意の個数とすることができる。
　第３実施の形態においては、４個の測距デバイス２０１Aないし２０１Dは、光源２と測距装置３との両方を備え、例えば、天井などの上方に固定されている。一方、測距デバイス２０１Eは、測距装置３のみを備え、４個の測距デバイス２０１Aないし２０１Dから照射される照射光またはその反射光を受光可能な位置、例えば、地面などに配置されている。
　光源２と測距装置３との両方を備える測距デバイス２０１Aないし２０１Dの構成は、第１実施の形態において図１０に示した構成と同様であり、測距装置３のみを備える測距デバイス２０１Eの構成は、第１実施の形態において図１５に示した構成と同様であるので、その説明は省略する。
　第３実施の形態においては、天井などに固定された複数（４個）の測距デバイス２０１Aないし２０１Dからの照射光を受光することにより、測距装置３のみを備える測距デバイス２０１Eが、物体２０２までの距離を算出する処理について説明する。
　図３０は、第３実施の形態における測距システム１１の距離算出処理を説明するフローチャートである。
　初めに、ステップＳ６１において、測距デバイス２０１Aないし２０１Eのそれぞれは、無線通信の接続を行う。そして、測距デバイス２０１Aないし２０１Eのそれぞれは、タイムスタンプを交換し、高精度に時刻の同期を行う。
　ステップＳ６２において、測距デバイス２０１Aないし２０１Eのそれぞれは、光源情報を、自身のメモリ４９から読み出し、無線通信により、他の測距デバイス２０１へ送信する。これにより、測距デバイス２０１Aないし２０１Eのそれぞれの光源情報が共有される。
　ステップＳ６３において、測距デバイス２０１Aないし２０１Eのそれぞれは、マスタとなる測距デバイス２０１（例えば、測距デバイス２０１A）の送信信号を検波して生成した同期クロック信号から基準クロック信号を生成し、動作モードに応じた発光パルス信号を生成する。
　ステップＳ６４において、天井に固定された測距デバイス２０１Aないし２０１Dのそれぞれは、発光パルス信号に基づいて、発光および受光を行う。具体的には、測距デバイス２０１Aないし２０１Dの光源２（レーザ発光部４７）が、発光パルス信号に応じて発光し、測距装置３（ToFセンサ５２）が、発光パルス信号に応じて反射光を受光して、位相０度、位相９０度、位相１８０度、および、位相２７０度の各位相の画像フレームを順次生成する。
　ステップＳ６５において、天井に固定された測距デバイス２０１Aないし２０１Dのそれぞれは、自身の位置姿勢、換言すれば、他の測距デバイス２０１との相対的な位置姿勢を算出する。
　ステップＳ６５の処理について説明する。測距デバイス２０１Aないし２０１Dのそれぞれは、被写体までの距離ｄを測定するデプスカメラであるので、被写体の３次元位置をカメラ座標系で求めることができる。
　既知の３次元点をカメラで観測することで、３次元点とカメラの相対的な位置姿勢を求める手法が、PNP（Perspective-n-Point）として一般に知られている。測距デバイス２０１Aないし２０１Dのそれぞれは、PNPを用いて、自身の測距デバイス２０１の、他の測距デバイス２０１との相対的な位置姿勢を算出する。
　例えば、測距デバイス２０１Aは、既知の物体２０２からの反射光を受光することで、物体２０２の特徴点の座標値を取得する。測距デバイス２０１Bも同様に、既知の物体２０２からの反射光を受光することで、物体２０２の特徴点の座標値を取得する。測距デバイス２０１Aおよび２０１Bで得られた特徴点の座標値と、既知の３次元点の座標値とを用いて、PNP問題を解くことで、測距デバイス２０１Aおよび２０１Bそれぞれの相対的な位置姿勢を算出する。
　あるいはまた、測距デバイス２０１Aおよび２０１Bで作成した周辺環境の形状がもっともよく合うように最適化問題をとき、測距デバイス２０１Aおよび２０１Bの相対姿勢を求めることもできる。この手法は、ICP(Iterative Clisest Point)として知られている。ICPについては、例えば、「ディジタル画像処理[改訂新版]、画像情報教育振興協会」や、Szymon.R and Marc.L, “Efficient Variants of the ICP Algorithm”, Proceedings Third International Conference on 3-D Digital Imaging and Modeling, 2001, pp. 145-152.などに開示されている。
　以上のようにして、測距デバイス２０１Aないし２０１Dのそれぞれが、相対的な位置姿勢を算出する。これにより、測距デバイス２０１Aないし２０１D全ての位置姿勢の相対関係が把握される。
　ステップＳ６６において、天井に固定された測距デバイス２０１Aないし２０１Dのそれぞれは、照射光の位相差を検出し、位相を揃える。
　第２実施の形態の図２２でも説明したように、周波数同期を行っていても、各測距デバイス２０１が照射する発光パルスは、タイミングがわずかにずれるので、その位相差をキャリブレーションする必要がある。
　具体的には、例えば、図３１に示されるように、測距デバイス２０１Aと２０１Bとで、物理的に同じ位置の物体２０２に照射光を照射し、反射された反射光を受光する。
　測距デバイス２０１Aと２０１Bとの発光パルスのズレ（位相差）をΔｔoffset_12とすると、測距デバイス２０１Aが出射した光が測距デバイス２０１Bで受光されるまでの時間は、次の式（１３）となる。
　　Δｔ１→２＝Δｔｄ＋Δｔoffset_12　　・・・・・・・・・（１３）
　一方、測距デバイス２０１Bが出射した光が測距デバイス２０１Aで受光されるまでの時間は、次の式（１４）となる。
　　Δｔ２→１＝Δｔｄ－Δｔoffset_12　　・・・・・・・・・（１４）
　したがって、測距デバイス２０１Aと２０１Bとの発光パルスのズレ（位相差）Δｔoffset_12が、以下の式（１５）で求めることができる。
　　Δｔoffset_12＝（Δｔ１→２－Δｔ２→１）／２　　・・・・・・・・・（１５）
　以上のようにして、測距デバイス２０１Aないし２０１Dのそれぞれの光源２の位相差を検出し、測距デバイス２０１Aないし２０１Dのそれぞれの照射光の位相が、位相差がないように調整される。なお、照射光の位相を調整するのではなく、後段の信号処理で位相差を考慮して計算するようにしてもよい。
　ステップＳ６７において、測距装置３のみを備える測距デバイス２０１EのToFセンサ５２は、天井に固定された測距デバイス２０１Aないし２０１Dのそれぞれが出射した照射光が物体２０２で反射された反射光を受光する。測距デバイス２０１Aないし２０１Dのそれぞれが出射する照射光の周波数および位相は、ステップＳ６６の処理により同期がとれている。また、光源情報が共有されているので、いま受光されている反射光が、どの測距デバイス２０１Aないし２０１Dから出射されたものであるかは特定可能である。
　ステップＳ６８において、測距デバイス２０１Eの信号処理部５３は、受光した測距デバイス２０１Aないし２０１Dそれぞれの反射光の位相差に基づいて、物体２０２までの距離を算出する。物体２０２までの距離の算出方法は、後述する。
　以上の距離算出処理では、天井に固定された測距デバイス２０１Aないし２０１Dから照射される照射光の光源情報が既知であり、位相および周波数の同期がとれていることで、例えば、測距デバイス２０１Aないし２０１DをGNSS衛星と考えてGNSS信号の差分により自己位置を算出する場合と同様に、測距デバイス２０１Aないし２０１Dから照射される照射光どうしの位相差を検出することで、測距デバイス２０１Eの位置姿勢を算出することができる。
　第３実施の形態では、第１実施の形態と同様に、受信した無線信号に基づいて同期することにより、ドローン１０１Aおよび１０１Bそれぞれの周波数同期を行うようにしたが、特許文献１に開示されているような、マスタとなる測距デバイス２０１の反射光（マスタの照射光）を用いて周波数同期を行う方法を採用してもよい。
＜８．複数光源の反射光受光による距離算出方法＞
　上述した第１実施の形態においては、測距デバイス２１Eの測距装置３は、例えば、測距デバイス２１Aの光源２と、測距デバイス２１Bの光源２とから出射される照射光が物体２４で反射された反射光を受光することにより、物体２４までの距離を測定することができる。
　また、上述した第３実施の形態においては、測距デバイス２０１Eの測距装置３は、例えば、測距デバイス２０１Bの光源２と、測距デバイス２０１Dの光源２とから出射される照射光が物体２０２で反射された反射光を受光することにより、物体２０２までの距離を測定することができる。
　以下では、複数の光源２の照射光が所定の物体で反射された反射光を受光することにより、所定の物体までの距離を測定する算出方法について説明する。
　説明のためのシステム配置として、図３２に示されるように、３つの光源ａないしｃと、物体３０１と、測距装置３０２とを想定する。点Dは、光源ａないしｃからのパルス光の物体３０１における反射位置である。点Oは、測距装置３０２の座標系であるカメラ座標系の原点である。
　光源ａないしｃは、第１実施の形態では、例えば測距デバイス２１A、２１B、および２１Dの光源２に対応し、第３実施の形態では、例えば測距デバイス２０１A、２０１B、および２０１Dの光源２に対応する。物体３０１は、第１実施の形態では、物体２４に対応し、第３実施の形態では、物体２０２に対応する。測距装置３０２は、第１実施の形態では、測距デバイス２１Eの測距装置３に対応し、第３実施の形態では、測距デバイス２０１Eの測距装置３に対応する。
　図３２において、３つの光源ａないしｃは、それぞれ、位置E１、E２、およびE３に配置されている。光源座標系における各光源ａないしｃどうしの相対位置は既知であるが、３つの光源ａないしｃ全体がどこに配置されているかはわからない。各光源ａないしｃの位置に対する測距装置３０２の相対位置は未知である。測距装置３０２は、光源ａないしｃからの無線信号に基づいて周波数同期は行うことができるが、位相のずれは残っている。
　測距装置３０２は、各光源ａないしｃが発する照射光が物体３０１で反射された反射光に基づいて取得されるフレームを用いて距離（各光源ａないしｃから測距装置３０２までの距離）を算出する。光源ａないしｃから測距装置３０２までの距離は、以下の式（１６）によって表される。
Figure JPOXMLDOC01-appb-M000010
　式（１６）のｕＤ＝（ｕＤ，ｖＤ）は、物体３０１上の点Ｄが投影される画素位置、Obs（uＤ，E１）は、位置E１に位置する光源ａが発光したときに測距装置３０２の画素アレイの画素位置ｕＤにて観測される距離、Obs（uＤ，E２）は、位置E２に位置する光源ｂが発光したときに測距装置３０２の画素アレイの画素位置ｕＤにて観測される距離、Obs（ｕＤ，E３）は、位置E３に位置する光源ｃが発光したときに画素位置ｕＤにて観測される距離、｜OD｜は、測距装置３０２と物体３０１とを結ぶベクトルの大きさ（距離）、｜DEｋ｜は、位置Eｋ（ｋ＝1,2,3）にある各光源と物体３０１における反射位置とを結ぶベクトルの大きさ（距離）を表す。Cは、光源ａないしｃと測距装置３０２のクロックの位相ズレに起因する計測距離誤差に相当するオフセット項を表す。
　なお、上記式（１６）におけるベクトル表記（矢印（→）の記号）は、ある１つの座標系、例えば光源座標系の原点からのベクトルを示す。なお、明細書中の上記式の説明においてベクトル表記は省略している。なお、以下においても、明細書中の説明部分ではベクトル表記は省略して説明する。
　このように、測距装置３０２は、３つの光源ａないしｃから測距装置３０２までの３つの距離算出式として、
（ａ）測距装置３０２と物体３０１間の距離データ｜OD｜と、
（ｂ）物体３０１と各光源ａないしｃ間の距離データ｜DEｋ｜と、
（ｃ）測距装置３０２のクロック（センサクロック）と光源ａないしｃのクロック（光源クロック）との位相差に基づいて発生する距離計測誤差に相当するオフセットC、
のデータからなる３つの距離算出式を算出する。
　次に、測距装置３０２は、図３３に示されるように、上述した３つの距離Obs（uＤ，E１）、距離Obs（uＤ，E２）、および、距離Obs（uＤ，E３）を用いて、各距離の差分の算出式からなる式（１７）の連立方程式を生成する。
Figure JPOXMLDOC01-appb-M000011
 　測距装置３０２は、式（１７）の連立方程式を解いて、光源座標系での複数の被写体位置ＬDk（ｋ＝1,2,3,4）と、対応する画素位置ｕＤを求める。カメラ座標系からみた各光源ａないしｃの位置は未知であるため、この式をカメラ座標系でそのまま解くことはできない。しかし、光源座標系での各光源ａないしｃの位置は既知であるため、光源座標系であれば解くことができる。
　上記の式（１７）に示した連立方程式を光源座標系を用いて解くことで、光源座標系での複数の被写体位置ＬDkと、対応する画素位置ｕDを求めることができる。なお、上記の複数の被写体位置ＬDkには、例えば各光源ａないしｃの位置E１，E２，E３や、物体３０１の表面位置が含まれる。
　なお、一般に、ある座標系での複数の点と、その点がカメラで投影される画素位置の対応関係がわかっていれば、その座標系とカメラ座標系の相対位置姿勢を求めることができる。すなわち、いわゆるPnP問題を解くことで、光源座標系とカメラ座標系との相対関係を導き、光源座標系での被写体位置をカメラ座標系に変換することができる。
　この処理により、カメラ座標系における被写体位置LDkと、対応する画素位置uＤを求めることができ、光源ａないしｃの撮影された画素位置から、各光源ａないしｃの位置E１，E２，E３や、物体３０１の表面位置をカメラ座標系で求めることが可能となる。物体３０１の表面位置をカメラ座標系で求めることで、物体３０１までの距離、すなわち、測距装置３０２から物体３０１までの距離を算出することができる。
＜９．ToFセンサの構成＞
　ToFセンサ５２の構成について説明する。
　図３４は、ToFセンサ５２の受光部の構成例を示している。
　ToFセンサ５２は、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素２３１が行方向および列方向の行列状に２次元配置された画素アレイ部２３２と、画素アレイ部２３２の周辺領域に配置された駆動制御回路２３３とを有する。
　駆動制御回路２３３は、発光パルス信号などに基づいて、画素２３１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。
　画素２３１は、フォトダイオード２５１と、フォトダイオード２５１で光電変換された電荷を検出する第１タップ２５２Aおよび第２タップ２５２Bとを有する。画素２３１では、１つのフォトダイオード２５１で発生した電荷が、第１タップ２５２Aまたは第２タップ２５２Bに振り分けられる。そして、フォトダイオード２５１で発生した電荷のうち、第１タップ２５２Aに振り分けられた電荷が信号線２５３Aから検出信号Aとして出力され、第２タップ２５２Bに振り分けられた電荷が信号線２５３Bから検出信号Bとして出力される。
　第１タップ２５２Aは、転送トランジスタ２４１A、FD（Floating Diffusion）部２４２A、選択トランジスタ２４３A、およびリセットトランジスタ２４４Aにより構成される。同様に、第２タップ２５２Bは、転送トランジスタ２４１B、FD部２４２B、選択トランジスタ２４３B、およびリセットトランジスタ２４４Bにより構成される。
　画素２３１の動作について説明する。
　光源２から、図２に示したように、１／ｆ周期で照射のオン／オフを繰り返すように変調された照射光が出力され、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード２５１において反射光が受光される。また、振り分け信号DIMIX_Aは、転送トランジスタ２４１Aのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ２４１Bのオン／オフを制御する。位相０度の実行タイミングでは、振り分け信号DIMIX_Aは、照射光と同一位相（すなわち位相０度）の信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相（すなわち位相１８０度）となる。位相９０度の実行タイミングでは、振り分け信号DIMIX_Aは、照射光に対して位相を９０度ずらした信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相（すなわち位相２７０度）となる。
　従って、図３４において、フォトダイオード２５１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ２４１Aがオンとなっている間ではFD部２４２Aに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ２４１Bがオンとなっている間ではFD部２４２Bに転送される。これにより、１／ｆ周期で照射光の照射が周期的に行われる所定の期間において、転送トランジスタ２４１Aを介して転送された電荷はFD部２４２Aに順次蓄積され、転送トランジスタ２４１Bを介して転送された電荷はFD部２４２Bに順次蓄積される。
　そして、電荷を蓄積する蓄積期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ２４３Aがオンとなると、FD部２４２Aに蓄積されている電荷が信号線２５３Aを介して読み出され、その電荷量に応じた検出信号Aが画素アレイ部２３２から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ２４３Bがオンとなると、FD部２４２Bに蓄積されている電荷が信号線２５３Bを介して読み出され、その電荷量に応じた検出信号Bが画素アレイ部２３２から出力される。また、FD部２４２Aに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ２４４Aがオンになると排出され、FD部２４２Bに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ２４４Bがオンになると排出される。
　このように、画素２３１は、フォトダイオード２５１が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第１タップ２５２Aまたは第２タップ２５２Bに振り分けて、検出信号Aおよび検出信号Bを出力する。位相０度の実行タイミングの検出信号Aおよび検出信号Bが、それぞれ、図３の位相０度の電荷Ｑ０、および、位相１８０度の電荷Ｑ１８０に対応し、位相９０度の実行タイミングの検出信号Aおよび検出信号Bが、それぞれ、図３の位相９０度の電荷Ｑ９０、および、位相２７０度の電荷Ｑ２７０に対応する。
＜１０．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３６は、撮像部１２０３１の設置位置の例を示す図である。
　図３６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１として、上述した測距デバイス２１を適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、距離情報を取得することができる。また、得られた距離情報を用いて、ドライバや車両の安全度を高めることが可能になる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　他の装置から無線通信により送信されてきた送信信号の同期処理を行うことにより、他の装置の同期クロック信号に同期した信号を生成する受信部と、
　前記同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、
　前記基準クロック信号に基づいて、前記光源から照射された照射光が物体で反射されて返ってきた反射光を受光するToFセンサと
　を備える測距デバイス。
（２）
　前記受信部は、前記光源から照射される前記照射光に関する光源情報を、前記無線通信により受信する
　前記（１）に記載の測距デバイス。
（３）
　前記光源情報は、前記光源のキャリブレーションデータを含む
　前記（２）に記載の測距デバイス。
（４）
　前記光源情報は、動作モードを含む
　前記（２）または（３）に記載の測距デバイス。
（５）
　前記動作モードは、時分割モード、変調周波数モード、または、発光パターンモードのいずれかを表す情報を含む
　前記（４）に記載の測距デバイス。
（６）
　前記光源情報は、発光時間、発光開始時刻情報、変調周波数、光源の波長、または、発光パターンのいずれかを含む
　前記（２）ないし（５）のいずれかに記載の測距デバイス。
（７）
　前記受信部は、ネットワークを介して前記他の装置から無線通信により送信されてきた送信信号を受信する
　前記（１）ないし（６）のいずれかに記載の測距デバイス。
（８）
　前記受信部は、前記送信信号としてGNSS信号を受信する
　前記（１）ないし（６）のいずれかに記載の測距デバイス。
（９）
　前記ToFセンサの検出結果に基づいて、前記他の装置までの距離を算出する信号処理部をさらに備える
　前記（１）ないし（８）のいずれかに記載の測距デバイス。
（１０）
　前記他の装置までの距離を第１の距離として前記他の装置へ送信するとともに、前記他の装置が算出した距離を第２の距離として受信する通信部をさらに備える
　前記（９）に記載の測距デバイス。
（１１）
　前記第１の距離と前記第２の距離とから、前記他の装置との相対距離を計算する距離計算部をさらに備える
　前記（１０）に記載の測距デバイス。
（１２）
　前記ToFセンサは、複数の前記光源それぞれから照射された照射光が物体で反射されて返ってきた反射光を受光する
　前記（１）ないし（１１）のいずれかに記載の測距デバイス。
（１３）
　複数の前記光源それぞれから照射された照射光の位相差に基づいて、前記物体までの距離を算出する信号処理部をさらに備える
　前記（１２）に記載の測距デバイス。
（１４）
　無線通信の送信信号を送信する通信部と、
　前記送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、
　前記基準クロック信号に基づいて、照射光を照射する光源と
　を備える測距デバイス。
（１５）
　無線通信の送信信号を送受信する通信部と、
　前記送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、
　前記基準クロック信号に基づいて、照射光を照射する光源と
　前記基準クロック信号に基づいて、他の装置から照射された照射光が物体で反射されて返ってきた反射光を受光するToFセンサと
　を備える測距デバイス。
（１６）
　測距デバイスが、
　他の装置から無線通信により送信されてきた送信信号の同期処理を行うことにより、他の装置の同期クロック信号に同期した信号を生成し、
　前記同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成し、
　前記基準クロック信号に基づいて、前記光源から照射された照射光が物体で反射されて返ってきた反射光を受光する
　測距デバイスの受光方法。
　１　測距システム，　２　光源，　３　測距装置，　１１　測距システム，　２１（２１’，２１Aないし２１E）　測距デバイス，　２３　ネットワーク，　４１　クロック源，　４２　通信モジュール，　４４　基準クロック生成部，　４５　動作モード設定部，　４７　レーザ発光部，　４８　光源情報取得部，　４９　メモリ，　５０　時刻同期部，　５１　タイミング制御部，　５２　ToFセンサ，　５３　信号処理部，　６１　同期クロック生成部，　６２　信号送受信部，　８１　GNSS受信部，　８２　時刻情報設定部，　１０１（１０１A，１０１B）　ドローン，　１２２　位置・姿勢計算部，　１２３　通信部，　１２４　光源間距離計算部，　１４１　デプス画像生成部，　１４２　外部変調光源検出部

Claims (16)

  1. 　他の装置から無線通信により送信されてきた送信信号の同期処理を行うことにより、他の装置の同期クロック信号に同期した信号を生成する受信部と、
    　前記同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、
    　前記基準クロック信号に基づいて、前記光源から照射された照射光が物体で反射されて返ってきた反射光を受光するToFセンサと
    　を備える測距デバイス。
  2. 　前記受信部は、前記光源から照射される前記照射光に関する光源情報を、前記無線通信により受信する
    　請求項１に記載の測距デバイス。
  3. 　前記光源情報は、前記光源のキャリブレーションデータを含む
    　請求項２に記載の測距センサ。
  4. 　前記光源情報は、動作モードを含む
    　請求項２に記載の測距デバイス。
  5. 　前記動作モードは、時分割モード、変調周波数モード、または、発光パターンモードのいずれかを表す情報を含む
    　請求項４に記載の測距デバイス。
  6. 　前記光源情報は、発光時間、発光開始時刻情報、変調周波数、光源の波長、または、発光パターンのいずれかを含む
    　請求項２に記載の測距デバイス。
  7. 　前記受信部は、ネットワークを介して前記他の装置から無線通信により送信されてきた送信信号を受信する
    　請求項１に記載の測距デバイス。
  8. 　前記受信部は、前記送信信号としてGNSS信号を受信する
    　請求項１に記載の測距デバイス。
  9. 　前記ToFセンサの検出結果に基づいて、前記他の装置までの距離を算出する信号処理部をさらに備える
    　請求項１に記載の測距デバイス。
  10. 　前記他の装置までの距離を第１の距離として前記他の装置へ送信するとともに、前記他の装置が算出した距離を第２の距離として受信する通信部をさらに備える
    　請求項９に記載の測距デバイス。
  11. 　前記第１の距離と前記第２の距離とから、前記他の装置との相対距離を計算する距離計算部をさらに備える
    　請求項１０に記載の測距デバイス。
  12. 　前記ToFセンサは、複数の前記光源それぞれから照射された照射光が物体で反射されて返ってきた反射光を受光する
    　請求項１に記載の測距デバイス。
  13. 　複数の前記光源それぞれから照射された照射光の位相差に基づいて、前記物体までの距離を算出する信号処理部をさらに備える
    　請求項１２に記載の測距デバイス。
  14. 　無線通信の送信信号を送信する通信部と、
    　前記送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、
    　前記基準クロック信号に基づいて、照射光を照射する光源と
    　を備える測距デバイス。
  15. 　無線通信の送信信号を送受信する通信部と、
    　前記送信信号に同期した同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成する基準クロック生成部と、
    　前記基準クロック信号に基づいて、照射光を照射する光源と
    　前記基準クロック信号に基づいて、他の装置から照射された照射光が物体で反射されて返ってきた反射光を受光するToFセンサと
    　を備える測距デバイス。
  16. 　測距デバイスが、
    　他の装置から無線通信により送信されてきた送信信号の同期処理を行うことにより、他の装置の同期クロック信号に同期した信号を生成し、
    　前記同期クロック信号に基づいて、光源が発光する際の基準となる基準クロック信号を生成し、
    　前記基準クロック信号に基づいて、前記光源から照射された照射光が物体で反射されて返ってきた反射光を受光する
    　測距デバイスの受光方法。
PCT/JP2020/037691 2019-10-15 2020-10-05 測距デバイスおよびその受光方法 WO2021075287A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080071163.2A CN114556133A (zh) 2019-10-15 2020-10-05 测距设备及其光接收方法
EP20876522.2A EP4047307A4 (en) 2019-10-15 2020-10-05 TELEMETRY DEVICE AND ASSOCIATED LIGHT RECEIVING METHOD
US17/639,523 US20220268930A1 (en) 2019-10-15 2020-10-05 Ranging device and light reception method thereof
JP2021552318A JPWO2021075287A1 (ja) 2019-10-15 2020-10-05

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019188699 2019-10-15
JP2019-188699 2019-10-15

Publications (1)

Publication Number Publication Date
WO2021075287A1 true WO2021075287A1 (ja) 2021-04-22

Family

ID=75537999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037691 WO2021075287A1 (ja) 2019-10-15 2020-10-05 測距デバイスおよびその受光方法

Country Status (5)

Country Link
US (1) US20220268930A1 (ja)
EP (1) EP4047307A4 (ja)
JP (1) JPWO2021075287A1 (ja)
CN (1) CN114556133A (ja)
WO (1) WO2021075287A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009749A1 (ja) * 2022-07-05 2024-01-11 ソニーグループ株式会社 信号処理装置、信号処理方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10213432A (ja) * 1997-01-30 1998-08-11 Mitsubishi Electric Corp 発光源判定装置
US20110037849A1 (en) * 2008-04-11 2011-02-17 Cristiano Niclass Time-of-flight based imaging system using a display as illumination source
JP2014153160A (ja) * 2013-02-07 2014-08-25 Denso Corp レーダ装置
JP2018031607A (ja) 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
JP2019505818A (ja) * 2015-12-18 2019-02-28 ジェラルド ディルク スミッツ 物体のリアルタイム位置検知

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017222043A1 (de) * 2017-12-06 2019-06-06 Osram Gmbh Verfahren zum betreiben einer sensoranordnung mit mindestens zwei lidar-sensoren und sensoranordnung
US11486978B2 (en) * 2018-12-26 2022-11-01 Intel Corporation Technology to support the coexistence of multiple independent lidar sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10213432A (ja) * 1997-01-30 1998-08-11 Mitsubishi Electric Corp 発光源判定装置
US20110037849A1 (en) * 2008-04-11 2011-02-17 Cristiano Niclass Time-of-flight based imaging system using a display as illumination source
JP2014153160A (ja) * 2013-02-07 2014-08-25 Denso Corp レーダ装置
JP2019505818A (ja) * 2015-12-18 2019-02-28 ジェラルド ディルク スミッツ 物体のリアルタイム位置検知
JP2018031607A (ja) 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAMEER ANSARINEAL WADHWARAHUL GARGJIAWEN CHEN: "Wireless Software Synchronization of Multiple Distributed Cameras", 2019 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY, ICCP, 2019
See also references of EP4047307A4
SZYMON. RMARC. L: "Efficient Variants of the ICP Algorithm", PROCEEDINGS THIRD INTERNATIONAL CONFERENCE ON 3-D DIGITAL IMAGING AND MODELING, 2001, pages 145 - 152, XP010542858

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009749A1 (ja) * 2022-07-05 2024-01-11 ソニーグループ株式会社 信号処理装置、信号処理方法、およびプログラム

Also Published As

Publication number Publication date
CN114556133A (zh) 2022-05-27
EP4047307A1 (en) 2022-08-24
JPWO2021075287A1 (ja) 2021-04-22
US20220268930A1 (en) 2022-08-25
EP4047307A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
EP3674747B1 (en) Signal processing device, signal processing method, program, moving body, and signal processing system
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
WO2018207661A1 (ja) 光センサ、及び、電子機器
CN109729723B (zh) 测距装置和测距方法
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2021075287A1 (ja) 測距デバイスおよびその受光方法
WO2021177045A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
JP2019191119A (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
EP3682423B1 (en) Signal processing apparatus, signal processing method, program, and moving body
US20210325176A1 (en) Information processing device, terminal device, information processing method and information processing program
CN114096881A (zh) 测量设备、测量方法和程序
WO2022004441A1 (ja) 測距装置および測距方法
US20240168159A1 (en) Distance measuring device, distance measuring system, and distance measuring method
WO2024071173A1 (ja) 光検出装置及び測距システム
WO2019049710A1 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
WO2023190279A1 (ja) 測距装置
JP7517349B2 (ja) 信号処理装置、信号処理方法、および、測距装置
WO2023189917A1 (ja) 測距装置及び測距方法
JP7476170B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20876522

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552318

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020876522

Country of ref document: EP

Effective date: 20220516