WO2023176226A1 - 測距装置及び車載装置 - Google Patents

測距装置及び車載装置 Download PDF

Info

Publication number
WO2023176226A1
WO2023176226A1 PCT/JP2023/004506 JP2023004506W WO2023176226A1 WO 2023176226 A1 WO2023176226 A1 WO 2023176226A1 JP 2023004506 W JP2023004506 W JP 2023004506W WO 2023176226 A1 WO2023176226 A1 WO 2023176226A1
Authority
WO
WIPO (PCT)
Prior art keywords
threshold voltage
comparator
output
time difference
measuring device
Prior art date
Application number
PCT/JP2023/004506
Other languages
English (en)
French (fr)
Inventor
智輝 大野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023176226A1 publication Critical patent/WO2023176226A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to a distance measuring device and a vehicle-mounted device.
  • non-patent literature 1 and non-patent literature 2 disclose distance measuring systems that measure the distance to a distance measuring object (hereinafter sometimes abbreviated as object).
  • One of the objects of the present disclosure is to provide a distance measuring device that can expand the measurable range and an in-vehicle device that includes the distance measuring device.
  • a photodetector that is capable of single photon detection and whose analog output changes depending on the number of photons received simultaneously; an extraction unit that extracts a high frequency component of the output of the light receiving element; an amplification section that amplifies the output of the extraction section; at least three comparators to which the output of the amplifier section is supplied and have mutually different threshold voltages; Equipped with The threshold voltage set for a predetermined comparator among the comparators is a threshold voltage corresponding to single photon detection in at least a part of the measurement interval, It is a distance measuring device.
  • the present disclosure may be applied to an in-vehicle device having the distance measuring device described above.
  • FIG. 3 is a diagram illustrating an example of the relationship between the expected value of the number of photons according to Poisson distribution and the detection probability.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment.
  • FIG. 3 is a diagram showing an example of time differences and the like with respect to measurement signals.
  • FIG. 3 is a diagram showing an example of the relationship between exposure time and the expected number of photons received by a light receiving element in a 10,000 lux environment.
  • FIG. 3 is a diagram referred to when an example of the operation of a demultiplexer according to an embodiment is described.
  • FIG. 3 is a diagram illustrating an example of the relationship between the distance to an object to be measured and the expected value of the number of photons received by a light receiving element.
  • FIG. 4 is a diagram that is referred to when an example of the operation of a switch included in the distance measuring device is explained.
  • FIG. 3 is a diagram for explaining an example of modulating a threshold voltage.
  • FIG. 3 is a diagram for explaining an example of modulating an offset.
  • FIG. 3 is a diagram that is referred to when an application example is explained.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 2 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
  • the pulse width of the laser provides measurable time resolution. Since the speed of light is constant, the laser pulse width contributes to the measured distance resolution. For example, when the speed of light is 3 ⁇ 10 8 m/s, if the time resolution is 1 nanosecond, the distance resolution is 15 cm, and if the time resolution is 1 picosecond, it is 0.15 mm.
  • Highly accurate distance sensors are also expected to be used in entertainment fields such as sports, movie shooting, and art.
  • the point cloud density is more than 100 times that of conventional LiDAR, and distance accuracy on the order of millimeter is required.
  • One factor that limits the maximum point cloud density of LiDAR is laser safety, with systems built with laser powers permitted by Laser Safety Class 1.
  • statistical processing of multiple shots may be used to increase distance accuracy or reduce the effects of sunlight, etc., which are factors that reduce point cloud density.
  • the light source used in such LiDAR is a solid-state laser whose wavelength is strictly controlled and stabilized, and the receiving system uses a very narrow band notch filter that matches the wavelength of the laser.
  • the receiving system uses a very narrow band notch filter that matches the wavelength of the laser.
  • false signals caused by sunlight and other external light are significantly reduced.
  • Light-receiving elements that support single-photon detection are used at low temperatures, and the frequency of false signals called dark counts is minimized. In this way, while suppressing erroneous signals, TOF measurement is performed when two or more photons are detected, increasing the accuracy of point cloud data even though it is a single shot.
  • the light source used in the aforementioned consumer LiDAR which is expected to be used in entertainment, is a small and inexpensive semiconductor laser. It is known that the oscillation wavelength of a semiconductor laser varies by several nanometers to more than ten nanometers depending on the injection current and temperature, and the transmission wavelength width of a notch filter needs to be 10 nm or more, which is not sufficient to suppress external light. Furthermore, since the light receiving element is used in an environment close to room temperature, the dark count cannot be ignored. In recent years, the SPL method has been reported for consumer LiDAR, but in order to account for these erroneous signals, the minimum number of detected photons is often higher than for space LiDAR.
  • the present disclosure improves the maximum detectable distance, point cloud density, and distance accuracy of a distance sensor. Specifically, it supports single-shot and one-photon detection, making it possible to reduce the influence of erroneous signals as much as possible.
  • the detection threshold is 98% for 1 photon, 91% for 2 photons, 76% for 3 photons, and 57% for 4 photons. In this case, when a relatively large number of photons are converted into electrons, there is no significant difference in any detection threshold.
  • the respective detection probabilities become 0.095, 0.0046, 0.0015, and 3.8 ⁇ 10 ⁇ 6 , which are large differences.
  • the detection probability is less than 1.
  • the cumulative number of measurement points is 1,000,000 per second, this means that nearly 20,000 effective points can be acquired in one second.
  • the cumulative detection probability over 40 shots is 0.0. 98 and 0.17, and in the latter case, 850 shots are required to obtain a detection probability of 0.98.
  • time measurement and time walk errors will be briefly explained.
  • TOF measurement is performed in a single shot such as SPL
  • rise time detection of the output of the light receiving element is used, and a TDC (time-to-digital converter) is often used as the time detector.
  • the TDC of consumer LiDAR generally uses an inverter ring oscillator method, and the single-shot time resolution is approximately 20 ps to 300 ps. As the frequency of the inverter ring oscillator increases, the number of switching increases, resulting in increased power consumption. On the other hand, TDC used in space LiDAR can achieve a time resolution of about 1 ps.
  • the distribution is discretized on the time axis.
  • a graph of the number of photons and delay time can be obtained. This graph can be used to correct the time walk error described above.
  • the number of photons is estimated from the time difference between two comparators with different thresholds, which were installed between the SPAD cathode and the quenching resistor in an SLR from the 1990s. Since the amount of saturated charge does not change, this reflects the time required for avalanche multiplication.
  • a configuration example of a distance measuring device (distance sensor) (hereinafter appropriately referred to as a distance measuring device 1000) according to an embodiment will be described with reference to FIG. 2. Note that the distance measuring device 1000 does not need to have all of the configurations described below, and other devices may have some of the configurations.
  • a distance sensor system may be configured by the device and the distance measuring device 1000.
  • the distance measuring device 1000 has, for example, a first aperture 101, a condensing mirror 102, and a second aperture 103 as an optical system. Further, the distance measuring device 1000 includes, as circuits connected to the optical system, a light receiving element 104, a replica 105, a balun transformer 106 which is an example of an extraction section, a first adjustment circuit 107, a second adjustment circuit 108, It has a resistor 130, a resistor 131, and a modulation circuit 132. One ends of the resistor 130 and the resistor 131 are connected to a modulation circuit 132.
  • the other end of the resistor 130 is connected to the light receiving element 104 , the first adjustment circuit 107 , and one terminal on the primary side of the balun transformer 106 .
  • the other end of the resistor 131 is connected to the replica 105, the second adjustment circuit 108, and the other terminal on the primary side of the balun transformer 106.
  • the distance measuring device 1000 includes a differential amplifier 110, which is an example of an amplifying section, a first comparator 111, a second comparator 112, a third comparator 113, and a first buffer on the secondary side of the balun transformer 106.
  • a differential amplifier 110 which is an example of an amplifying section
  • a first comparator 111 a second comparator 112, a third comparator 113
  • 114 a second buffer 115, a third buffer 116, a first TDC 121, a second TDC 122, a third TDC 123, a fourth TDC 124, a demultiplexer 125, and an FPGA (Field Programmable Gate Array) 126. are doing.
  • one input terminal of the first comparator 111, one input terminal of the second comparator 112, and one input terminal of the third comparator 113 are connected to the output of the differential amplifier 110. be done.
  • the first threshold voltage 141 is input to the other input terminal of the first comparator 111 .
  • the second threshold voltage 142 is input to the other input terminal of the second comparator 112 .
  • the third threshold voltage 143 is input to the other input terminal of the third comparator 113.
  • the first buffer 114 is connected to the output side of the first comparator 111.
  • the second buffer 115 is connected to the output side of the second comparator 112.
  • the third buffer 116 is connected to the output side of the third comparator 113. Note that the first buffer 114, the second buffer 115, and the third buffer 116 may not be provided.
  • the output side of the first buffer 114 is connected to the first TDC 121, and the output of the first comparator 111 is supplied to the first TDC 121 via the first buffer 114. Further, a reference signal 151 is input to the first TDC 121 .
  • the output side of the second buffer 115 is connected to the second TDC 122, and the output of the second comparator 112 is supplied to the second TDC 122 via the second buffer 115. Further, the reference signal 151 is input to the second TDC 122 .
  • the output side of the third buffer 116 is input to the demultiplexer 125 .
  • the output of the third comparator 113 is selectively input to each of the third TDC 123 and the fourth TDC 124 via the third buffer 116. Further, the reference signal 151 is input to each of the third TDC 123 and the fourth TDC 124.
  • a laser beam emitted from a laser light source (not shown) is reflected by the object to be measured, and the reflected light is input to the distance measuring device 1000.
  • the reflected light is incident on the condensing mirror 102 via the first aperture 101.
  • the first aperture 101 may be replaced by an object having this function.
  • the first aperture 101 may be a scanning element such as a MEMS mirror or a galvano mirror.
  • the condensing mirror 102 condenses the reflected light.
  • the collected reflected light passes through the second aperture 103.
  • the second aperture 103 is a basic optical component for increasing the ratio of reflected light from the object to be measured to external light, that is, improving S/N (Signal Noise Ratio).
  • the reflected light that has passed through the second aperture 103 is received by the light receiving element 104.
  • the light receiving element 104 is, for example, an element whose analog output value changes from a single photon to a multiphoton, and in this embodiment, a SiPM (silicon photomultiplier) is used, but an SNSPD (superconducting nanowire Other light-receiving elements may be used, such as one-photon detector (detector) arrays.
  • the electrical equivalent circuit of the light receiving element 104 can be expressed as, for example, an RC circuit in which a resistor and a capacitor are connected in series. Note that the equivalent circuit of the light receiving element 104 may be divided into cells or may be synthesized down to the smallest element.
  • the replica 105 an element similar to the light-receiving element 104, that is, one having the function of the light-receiving element 104 but shielded from light, or one replaced with an equivalent circuit is applied.
  • common mode noise mixed into the signal line is removed by connecting the light receiving element 104 and its replica 105 to the primary side of the balun transformer 106.
  • the base voltage on the primary side is the same as the drive power source of the light receiving element 104, and the secondary side is DC-connected to the differential amplifier 110. Therefore, it is equal to the offset voltage of the differential amplifier 110.
  • the high frequency component of the light receiving element 104 is extracted by the balun transformer 106 (transmitted to the secondary side).
  • the first adjustment circuit 107 and the second adjustment circuit 108 are circuits that adjust the time constant.
  • a known circuit can be used as the circuit for adjusting the time constant.
  • the resistance and capacitance of the equivalent circuits of the light receiving element 104 and the replica 105 vary. Adjustment is performed by the first adjustment circuit 107 and the second adjustment circuit 108 so as to eliminate such variations.
  • the second adjustment circuit 108 and the replica 105 may be integrated.
  • the resistor 130 and the resistor 131 are, for example, resistors with substantially equal resistance values.
  • the modulation circuit 132 generates a predetermined modulation voltage.
  • the multiplication factor of the light receiving element 104 is modulated at high speed and avalanche amplification is switched. This makes it possible to prevent false detections due to stray light noise and dark counts.
  • By slightly changing the resistance values of the resistors 130 and 131 and the characteristics of the replica 105 it is possible to form a dip in the baseline of the signal line and prevent false detections such as common mode noise and stray light noise.
  • the differential amplifier 110 outputs a differential signal according to the input signal.
  • Differential amplifier 110 may be a fully differential amplifier.
  • the first comparator 111, the second comparator 112, and the third comparator 113 output signals according to the comparison results.
  • the distance measuring device 1000 has three comparators, but the distance measuring device 1000 only needs to have at least three comparators with different threshold voltages.
  • the distance measuring device 1000 may have a configuration including four or more comparators.
  • the first threshold voltage 141, the second threshold voltage 142, and the third threshold voltage 143 are different threshold voltages.
  • FIG. 3 is a diagram for explaining an example of the first threshold voltage 141, the second threshold voltage 142, and the third threshold voltage 143.
  • the first threshold voltage 141 corresponds to the threshold voltage Vth3 for three-photon detection
  • the second threshold voltage 142 corresponds to the threshold voltage Vth2 for two-photon detection
  • the third threshold voltage 143 corresponds to the threshold voltage Vth2 for two-photon detection. It corresponds to the threshold voltage Vth1 for one-photon detection.
  • the threshold voltage Vth1 is a threshold voltage corresponding to single photon detection in at least a part of the measurement section.
  • the threshold voltage Vth3 for one-photon detection is set lower than the equivalent of one photon, and is often written as 0.5 p.e. (Photo electron) (one photon is also referred to as one photoelectron). ). However, it does not need to be strictly 0.5, and it is sufficient as long as it is higher than the baseline (or offset) noise.
  • the threshold voltage Vth2 for two-photon detection is set higher than that equivalent to one photon and lower than that equivalent to two photons.
  • the threshold voltage Vth1 for three-photon detection is set higher than that equivalent to three photons and lower than that equivalent to three photons.
  • Vth1 ⁇ Vth2 ⁇ Vth3 the corresponding number of photons is not limited to the above and can be changed.
  • TDC is connected to each comparator.
  • Each TDC determines the time difference based on the output of the comparator and the reference signal.
  • Each TDC corresponds to an example of a time difference measuring section. For example, when the first TDC 121 receives a signal (for example, a high level signal) indicating that the output voltage of the differential amplifier 110 exceeds the first threshold voltage 141, the first TDC 121 uses the received timing and the reference signal 151. Find dT3, which is the time difference between the input timing and the input timing (see Figure 3).
  • the second TDC 122 When the second TDC 122 receives a signal (for example, a high level signal) indicating that the output voltage of the differential amplifier 110 exceeds the second threshold voltage 142, the second TDC 122 inputs the received timing and the reference signal 151.
  • dT2 which is the time difference between the timing and the specified timing, is calculated (see Figure 3).
  • the third TDC 123 receives a signal (for example, a high level signal) indicating that the output voltage of the differential amplifier 110 exceeds the third threshold voltage 143, the third TDC 123 inputs the received timing and the reference signal 151.
  • dT1 which is the time difference between the current timing and the current timing, is calculated (see Figure 3).
  • the fourth TDC 124 When the fourth TDC 124 receives a signal (for example, a high level signal) indicating that the output voltage of the differential amplifier 110 exceeds the third threshold voltage 143, the fourth TDC 124 inputs the received timing and the reference signal 151.
  • dT1 which is the time difference between the current timing and the current timing, is calculated (see Figure 3).
  • a third TDC 123 and a fourth TDC 124 are connected to the demultiplexer 125.
  • the demultiplexer 125 switches the supply destination of the output of the third comparator 113 to the third TDC 123 or the fourth TDC 124. More specifically, the demultiplexer 125 determines that the first output of the third comparator 113 during the measurement period (for example, the period after emitting the laser beam and receiving the reflected light from the object to be measured) is the third output.
  • the second output of the third comparator 113 which is output after the first output in the measurement period described above, is supplied to the fourth time difference measurement unit 124. control so that
  • the FPGA 126 is a programmable integrated circuit. Time difference data indicating the time difference determined by each TDC is input to the FPGA 126.
  • the FPGA 126 performs processes such as noise removal and error correction from time difference data, conversion to distance data, conversion to point cloud data, and point cloud reconstruction. Specifically, the FPGA 126 calculates the number of photons corresponding to the time difference and the time walk error corresponding to the number of photons, corrects the provisional time difference based on the time difference by the time walk error, and calculates the distance to the target object based on the correction result. Perform the process of calculating.
  • control unit that centrally controls the range finder, a light source, a scanning unit, appropriate optical components, etc. can be added to the range finder 1000 as needed.
  • a part of the pulsed laser output from the light source (not shown) is converted into an electric signal by a light receiving element (not shown), and is inputted as a reference signal 151 to each TDC via a comparator or the like.
  • the pulsed laser passes through a scanning unit (not shown) such as a MEMS mirror and is irradiated onto the object to be measured.
  • the acceptance angle of the reflected light reflected from the object to be measured is limited by the first aperture 101. Therefore, the larger the first aperture 101, the more light it can receive.
  • the width is approximately several tens of mm2 .
  • the condensing mirror 102 and the second aperture 103 can suppress external light such as sunlight. External light may be further suppressed by disposing a notch filter that does not transmit light other than the wavelength of the laser together with these optical systems.
  • the reflected light is received by the light receiving element 104.
  • SiPM is used as the light receiving element 104.
  • SiPM is a photodetector with multiple SPADs connected in parallel, and common mode noise is likely to be mixed into the output due to the capacitor formed by the PN junction and the parasitic capacitor of the quenching resistor.
  • the balance circuit constituted by the replica 105 and the balun transformer 106 cancels common mode noise and does not transmit the common mode noise to the secondary side of the balun transformer 106. Even if the driving voltage of the SiPM is modulated by the modulation circuit 132 in the balanced state, transmission of the modulated voltage to the secondary side of the balun transformer 106 is suppressed in the balanced state. Further, by appropriately adjusting the first and second adjustment circuits 107 and 108, a slight modulation in synchronization with the modulation circuit 132 is applied to the secondary side of the balun transformer 106.
  • the charge generated in the light receiving element 104 that received the light that is, the SiPM cell
  • charges the cell that is not receiving light and then passes through the primary side of the balun transformer 106 to charge the replica.
  • the charge on the power supply or modulation circuit 132 is relaxed (suppressed to the original charge level).
  • the extracted component is amplified by the differential amplifier 110 at the subsequent stage.
  • the small number of photons following a Poisson distribution received by the SiPM generates 1 ⁇ 10 6 electrons through avalanche multiplication, so it is thought that the output from the SiPM follows a normal distribution. Therefore, by detecting the rising edge of the output of the differential amplifier 110 using at least three comparators, it is possible to average out the jitter after the comparators.
  • the time difference dT1 shown in FIG. dT2 and dT3 are obtained.
  • the obtained time difference is supplied to the FPGA 126.
  • the FPGA 126 converts them using, for example, a LUT (look-up table).
  • the description content of the LUT may be determined by calibration or may use an analytical solution. Note that as long as the number of photons is estimated from dT1, dT2, and dT3, the method is not limited to the method of estimating the number of photons using LUT.
  • the FPGA 126 calculates a provisional time difference based on the time differences dT1, dT2, and dT3.
  • the method of calculating the provisional time difference is not limited, and for example, the average value of three time differences may be used, or the value of the time difference dT1 may be used.
  • the time walk error corresponding to the estimated number of photons is determined by referring to the LUT, etc., and the provisional time difference is corrected to cancel the time walk error.
  • the FPGA 126 calculates the corrected time difference multiplied by the speed of light and halved as the distance to the distance measurement target. The calculated distance is used for appropriate applications.
  • TDC time resolution of TDC using an inverter ring oscillator used in consumer LiDAR is low, and time walk errors are buried in the TDC's single-shot noise.
  • One embodiment uses a fine TDC having a time resolution on the order of ps, and incorporates, for example, PSGBR (pulse shrink gated buffering) or VGBR (vernier gated buffering).
  • PSGBR pulse shrink gated buffering
  • VGBR vernier gated buffering
  • the above description of the operation example is an operation example when three or more photons are received by the light receiving element 104. If three or more photons are received, the number of photons can be estimated according to the difference in dT3. Further, when two photons are received by the light receiving element 104, the output of the first comparator 111 becomes a signal (for example, a low level signal) indicating that it is smaller than the first threshold voltage 141. . In this case, the provisional time difference is determined based on dT2 and dT3. When one photon is received by the light receiving element 104, the provisional time difference is determined based on dT1.
  • the distance measuring device 1000 is capable of single photon detection and distance measurement according to the single photon detection.
  • FIG. 4 shows the exposure time (horizontal axis) and the number of photons received by the light receiving element 104 (SiPM in this embodiment) when the illuminance of external light is 10,000 lux in the configuration of the distance measuring device 1000 according to one embodiment. It is a figure showing the relationship with the expected value (vertical axis) of .
  • the exposure time approximately the reciprocal of the detection frequency of the balun transformer 106
  • the expected value of the number of photons is 0.0425. Therefore, in a 10,000 lux environment, an error signal equivalent to one photon due to external light will occur several times during the measurable period of one cycle, that is, the period during which the measurement system can accept the signal after irradiation with the pulsed laser. arise.
  • the expected value of the number of photons received is one order of magnitude lower, 0.00425. An erroneous signal equivalent to one photon due to external light occurs approximately once every few cycles.
  • the cutoff frequency to the secondary side of the balun transformer 106 is about 1 GHz, the probability of receiving two photons at the same time in a 10,000 lux environment is lower than 0.001, and the generated error signal is due to one photon. Since the expected value of the number of photons for external light changes depending on the configuration of the system, the configuration of the balun transformer 106 is changed as appropriate to adjust the cutoff frequency. Note that the pulse width of the pulsed laser is several tens of ps, and the reflected light from the object can be treated as being received by the SiPM at the same time.
  • the dark count of SiPM is approximately 1 MHz at 30°C, which means that an erroneous signal due to dark count occurs once every few cycles.
  • the error signal is suppressed to the one-photon level, and by setting the detection threshold voltage of the comparator to 1.5 photons (the amount of charge generated when 1.5 photons are received), the error signal from the comparator to TDC can be suppressed. It is possible to prevent signal propagation. However, the reflected light from the object is very weak, making it impossible to measure when a single photon is received by the SiPM.
  • the third threshold voltage 143 is set to be equivalent to 0.5 photons, for example, single photon detection is made possible.
  • the third TDC 123 that supports one-photon detection operates about once every few cycles due to an erroneous signal. Therefore, as shown in FIG. 5, when the third TDC 123 receives a high-level signal (signal indicating that the input exceeds the third threshold voltage 143) from the third comparator 113, the result is , is fed back to the demultiplexer 125 provided at the previous stage. For example, a feedback signal 127 is provided to the demultiplexer 125.
  • the demultiplexer 125 Upon receiving the feedback signal 127, the demultiplexer 125 switches the connection destination of the third comparator 113 from the third TDC 123 to the fourth TDC 124. Thereby, even if the third TDC 123 operates due to an erroneous signal (signal SA in FIG. 5), the true signal (signal SB in FIG. 5) can be detected by the fourth TDC 124.
  • the distance measuring device 1000 may include an illuminance sensor that detects the level of external light. Then, when the illuminance of external light is low and the occurrence of false signals is small, the demultiplexer 125 may not be operated.
  • FIG. 6 is a diagram showing a relationship between a distance and an expected value of the number of photons received according to the distance in the distance measuring system according to the present embodiment.
  • the reflectance of the object to be measured was 30%.
  • the expected value of received photons decreases monotonically. Further, the reason that the expected value of the number of photons decreases below 10 m is due to the characteristics of the condensing mirror 102.
  • the demultiplexer 125 changes the output destination of the third comparator 113 from the reference timing Ref (for example, at the start of measurement) to the timing when the reflected light from the distance measurement object located at a distance of 20 m ahead is received.
  • TDC123 of 3.
  • the demultiplexer 125 changes the output destination of the third comparator 113 after the timing of receiving the reflected light from the object to be measured up to 20 meters away.
  • Set to the fourth TDC 124 This can prevent the fourth TDC 124 from malfunctioning due to an erroneous signal generated before that timing.
  • the distance measuring device 1000 does not include the demultiplexer 125 and the fourth TDC 124, and includes a switch provided before the third TDC 123 and connected to the third comparator 113. 128 may be used.
  • the switch 128 is turned off (closed) until the time when reflected light from an object 20 meters or more ahead of Ref is detected.
  • the third TDC 123 is prevented from malfunctioning due to an erroneous signal generated before that timing. I can do it.
  • the switch does not need to be separate from the TDC, and its functionality may be incorporated into the TDC, or may be incorporated into the demultiplexer 125 or buffer.
  • the on/off state of the switch may be changed by, for example, the FPGA 126, so that the period during which the switch is on (open) may be changed in response to changes in external light intensity.
  • the threshold voltage for the comparator may be changed. For example, if the distance to the object to be measured is less than 20 m and the frequency of two-photon detection is high (see FIG. 6), the third TDC 123 may be assigned for two-photon detection.
  • the third threshold voltage 143 (threshold voltage Vth1) for the third comparator 113 is modulated to make the threshold voltage at less than 20 m from Ref higher than the threshold voltage at 20 m or more.
  • the threshold voltage is set to a threshold voltage that does not allow single photon detection.
  • the threshold voltage at 20 m or more is modulated so as to correspond to one-photon detection.
  • the third TDC 123 can detect two photons or more at a distance of less than 20 m, and can detect one photon or more at a distance of 20 m or more.
  • the threshold voltage may be discrete or continuous. Further, the threshold voltage of not only the third comparator 113 but also other comparators may be modulated.
  • the offset may be modulated.
  • the offset By modulating the drive voltage of the light receiving element 104SiPM with a predetermined modulation circuit (not shown), the offset can be modulated by a slight mismatch in the circuit on the primary side of the balun transformer 106.
  • Vth1 becomes available for one-photon detection, and one-photon detection becomes possible. Photon detection can be prevented from occurring before the above-mentioned timing.
  • the offset Since the offset is formed at the stage of inputting it to the differential amplifier 110, it can equally affect the first comparator 111, the second comparator 112, and the third comparator 113. Note that although the threshold voltage and offset change continuously in FIGS. 9 and 10, they may change stepwise. Further, the above-mentioned distance threshold (for example, 20 m) can be changed as appropriate depending on the application targeted by the distance measuring device 1000.
  • the distance measuring device enables accurate one-photon detection. That is, it is also possible to measure distances corresponding to one-photon detection, so it is possible to expand the measurable range. Furthermore, it is possible to improve the point group density and the accuracy of distance measurement. It also supports single-shot and one-photon detection, and can reduce the influence of erroneous signals as much as possible.
  • the time difference dT1 occurs when more photons are received simultaneously than the time differences dT2 and dT3, so the influence of erroneous signals is the smallest, and the reliability, which is the accuracy of the signal, is dT1 > dT2 > dT, which means that the lowest photon that can be measured is The larger the number, the larger it becomes. Therefore, when determining the provisional time difference or correcting the time week error, the weight of the time difference dT1 may be increased.
  • weights digital values indicating reliability
  • back-end software processing can be performed in accordance with various applications based on highly accurate point cloud data. As a result, improvements in accuracy and processing time can be expected.
  • the format of the value corresponding to such a weight is not limited, and it can be added to an appropriate position other than the header of the point cloud data.
  • the number of TDC stages connected to the demultiplexer is not limited to two stages, but can be increased.
  • the number of TDC stages connected to the demultiplexer is appropriately determined by considering the use and cost of the consumer LiDAR.
  • the present disclosure can be realized not only by a distance measuring device but also by an in-vehicle device having the distance measuring device, a method, and the like. Note that the effects described in this specification are merely examples and are not limiting, and other effects may also be present.
  • a photodetector that is capable of single photon detection and whose analog output changes depending on the number of photons received simultaneously; an extraction unit that extracts a high frequency component of the output of the light receiving element; an amplification section that amplifies the output of the extraction section; at least three comparators to which the output of the amplification section is supplied and have mutually different threshold voltages; Equipped with The threshold voltage set for a predetermined comparator among the comparators is a threshold voltage corresponding to single photon detection in at least a part of the measurement interval, Ranging device.
  • a time difference measurement unit that is connected to each comparator and calculates a time difference based on the output of the comparator and the reference signal; Distance calculation that calculates the number of photons corresponding to the time difference and the time walk error corresponding to the number of photons, corrects the provisional time difference based on the time difference by the time walk error, and calculates the distance to the target object based on the correction result.
  • the demultiplexer controls so that the first output of the comparator in the measurement period is supplied to the first time difference measuring section, and the demultiplexer controls the comparator to be output after the first output in the measurement period. controlling such that a second output of is supplied to the second time difference measuring section;
  • the distance measuring device according to (3) A switch is connected between a comparator in which a threshold voltage corresponding to single photon detection is set and the time difference measuring section connected to the comparator, and the switch is turned on from off for a predetermined period. Control is performed to switch to The distance measuring device according to (2). (6) The period during which the switch is turned on is changed depending on the intensity of external light.
  • the distance measuring device according to (5) A switch is connected between a comparator in which a threshold voltage corresponding to single photon detection is set and the time difference measuring section connected to the comparator, and the switch is turned on from off for a predetermined period. Control is performed to switch to The distance measuring device according to (2).
  • (6) The period during which the switch is turned on is changed
  • the threshold voltage corresponding to the single photon detection is set to a first threshold voltage at which the single photon detection is not possible at the start of measurement in the measurement period, and the single photon is detected at a timing after a predetermined time from the start of the measurement. transition to a second threshold voltage that allows detection;
  • the distance measuring device according to (2) (8)
  • the threshold voltage corresponding to the single photon detection continuously changes from the first threshold voltage to the second threshold voltage.
  • Single photon detection becomes possible at a predetermined timing by increasing the baseline for the output of the extraction unit from the start of measurement; The distance measuring device according to (2).
  • (10) Reliability is set for the time difference determined by each time difference measurement unit, and at least one of the time walk error and the provisional time difference is determined using a weight based on the reliability, The reliability is set higher as the minimum measurable number of photons is larger.
  • the extraction section includes a balun transformer;
  • An on-vehicle device comprising the distance measuring device according to any one of (1) to (11).
  • the use of real-time point cloud data in sports applications is expanding to include training, injury prevention, and broadcasting.
  • the light source is a Q-switching pulsed semiconductor laser
  • the scanning section is a MEMS mirror
  • the pulsed laser is irradiated onto an object.
  • the amplitude of the MEMS mirror in the scanning section can be controlled by driving voltage and frequency, and the FOV (viewing angle) can be widened or narrowed depending on the measurement target while complying with laser safety class 1.
  • FIG. 11 shows, for example, point cloud data of one shot measured in a high frame, capturing detailed body movements (golf swing in the example of FIG. 11).
  • point cloud data In order to more accurately capture body movements, it is desirable to acquire point cloud data from at least three directions.Furthermore, by acquiring point cloud data from the same direction using multiple distance sensors and superimposing them, a high-definition point cloud can be created. data can be obtained. The probability that single-shot and scanning distance sensors will interfere with each other is extremely low, and it is possible to acquire point cloud data in proportion to the number of sensors used simultaneously.
  • conventional consumer LiDARs have low laser utilization efficiency and are difficult to integrate due to the heat generated by power consumption, but the method described in one embodiment that supports single-shot and single-photon detection overcomes these problems. can be overcome.
  • Real-time and high-precision distance sensors can be used to automate camera work in movie shooting technology.
  • Automation from an artistic perspective is possible through deep learning that compares point cloud data acquired in real time with actual effects.
  • the consumer LiDAR described in one embodiment is inexpensive and can provide a high point cloud density, and can also be tiled as described above. For example, by tiling around 20 units and using multiple units that can acquire point cloud data at a maximum of 100 million points/second, it is possible to significantly reduce point cloud acquisition time and reduce costs accordingly.
  • effective use of the point cloud accuracy parameters described in one embodiment can improve real-time performance and reduce costs associated with processing time. Connect.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of transportation such as a car, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility vehicle, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may also be realized as a device mounted on the body.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 includes multiple electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting these plurality of control units is, for example, a communication network based on any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs calculation processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Equipped with Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and also communicates with devices or sensors inside and outside the vehicle through wired or wireless communication. A communication I/F is provided for communication. In FIG.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon receiving section 7650, an in-vehicle device I/F 7660, an audio image output section 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units similarly include a microcomputer, a communication I/F, a storage section, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, or a steering wheel. At least one sensor for detecting angle, engine speed, wheel rotation speed, etc. is included.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection section 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
  • the body system control unit 7200 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 7200.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is a power supply source for the drive motor, according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including a secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the external information detection unit 7400 detects information external to the vehicle in which the vehicle control system 7000 is mounted. For example, at least one of an imaging section 7410 and an external information detection section 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle external information detection unit 7420 includes, for example, an environmental sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunlight sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging section 7410 and the vehicle external information detection section 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 13 shows an example of the installation positions of the imaging section 7410 and the vehicle external information detection section 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirrors mainly capture images of the sides of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 13 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate imaging ranges of imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d is The imaging range of an imaging unit 7916 provided in the rear bumper or back door is shown. For example, by superimposing image data captured by imaging units 7910, 7912, 7914, and 7916, an overhead image of vehicle 7900 viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided at the front, rear, sides, corners, and the upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices.
  • These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image of the exterior of the vehicle, and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection section 7420 to which it is connected.
  • the external information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the external information detection unit 7400 transmits ultrasonic waves or electromagnetic waves, and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing to recognize rain, fog, road surface conditions, etc. based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the outside-vehicle information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, cars, obstacles, signs, characters on the road, etc., based on the received image data.
  • the outside-vehicle information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and also synthesizes image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. Good too.
  • the outside-vehicle information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver condition detection section 7510 that detects the condition of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that images the driver, a biosensor that detects biometric information of the driver, a microphone that collects audio inside the vehicle, or the like.
  • the biosensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is dozing off. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch, or a lever that can be inputted by the passenger.
  • the integrated control unit 7600 may be input with data obtained by voice recognition of voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000. It's okay.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information using gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by a passenger may be input. Further, the input section 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 described above and outputs it to the integrated control unit 7600. By operating this input unit 7800, a passenger or the like inputs various data to the vehicle control system 7000 and instructs processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. Further, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I/F7620 supports cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-Advanced). , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
  • the general-purpose communication I/F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal). You can also connect it with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • P2P Peer To Peer
  • a terminal located near the vehicle for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal. You can also connect it with
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols developed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), which is a combination of lower layer IEEE802.11p and upper layer IEEE1609, DSRC (Dedicated Short Range Communications), or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 typically supports vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) communications, a concept that includes one or more of the following:
  • the positioning unit 7640 performs positioning by receiving, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), and determines the latitude, longitude, and altitude of the vehicle. Generate location information including. Note that the positioning unit 7640 may specify the current location by exchanging signals with a wireless access point, or may acquire location information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current location, traffic jams, road closures, or required travel time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 connects to USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High).
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 communicates via at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information obtained. For example, the microcomputer 7610 calculates a control target value for a driving force generating device, a steering mechanism, or a braking device based on acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Good too.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. Coordination control may be performed for the purpose of
  • the microcomputer 7610 controls the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can drive the vehicle autonomously without depending on the driver's operation. Cooperative control for the purpose of driving etc. may also be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 acquires information through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including surrounding information of the current position of the vehicle may be generated. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, a pedestrian approaching, or entering a closed road, based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio and image output unit 7670 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display section 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp.
  • the output device When the output device is a display device, the display device displays results obtained from various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Show it visually. Further, when the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs the analog signal.
  • control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be provided to another control unit.
  • predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • the distance measuring device of the present disclosure can be applied to, for example, the outside-vehicle information detection section.

Abstract

本開示は、測距可能な範囲を拡大できるようにした測距装置を提供することを目的の一つとする。 本開示の発明は、単一光子検出が可能であり、同時に受光した光子数によりアナログ出力が変化する受光素子(104)と、受光素子の出力の高周波成分を抽出する抽出部(106)と、抽出部の出力を増幅する増幅部(110)と、増幅部の出力が供給され、互いに閾値電圧が異なる(第1の閾値電圧141、第2の閾値電圧142、及び、第3の閾値電圧143)少なくとも3個のコンパレータ(第1のコンパレータ111、第2のコンパレータ112、及び、第3のコンパレータ113)と、を備え、所定のコンパレータ(第3のコンパレータ113)に対して設定される閾値電圧(第3の閾値電圧143)は、計測区間の少なくとも一部において単一光子検出に対応した閾値電圧(Vth1)である、測距装置(1000)である。測距装置(1000)は、タイムウォークエラーを打ち消すように暫定時間差を補正する。

Description

測距装置及び車載装置
 本開示は、測距装置及び車載装置に関する。
 下記の非特許文献1及び非特許文献2は、測距対象物(以下、対象物と略称する場合もある)までの距離を測定する測距システムを開示する。
Remote Sens. 2016, 8, 958 Georg Kirchner and Franz Koidl 1999 J. Opt. A: Pure Appl. Opt. 1 163
 この分野では、測距装置が測距可能な範囲を拡大することが望まれている。
 本開示は、測距可能な範囲を拡大できるようにした測距装置及び当該測距装置を有する車載装置を提供することを目的の一つとする。
 本開示は、例えば、
 単一光子検出が可能であり、同時に受光した光子数によりアナログ出力が変化する受光素子と、
 受光素子の出力の高周波成分を抽出する抽出部と、
 抽出部の出力を増幅する増幅部と、
 増幅部の出力が供給され、互いに閾値電圧が異なる少なくとも3個のコンパレータと、
 を備え、
 コンパレータのうちの所定のコンパレータに対して設定される閾値電圧は、計測区間の少なくとも一部において単一光子検出に対応した閾値電圧である、
 測距装置である。
 本開示は、上述した測距装置を有する車載装置でもよい。
ポアソン分布に従う光子数の期待値と検出確率との関係の一例を示す図である。 一実施形態に係る測距装置の構成例を示す図である。 計測信号に対する時間差等の例を示す図である。 10000ルクス環境において、露光時間と受光素子で受光する光子数の期待値との関係の一例を示す図である。 一実施形態に係るディマルチプレクサの動作例についての説明がなされる際に参照される図である。 測距対象物までの距離と受光素子で受光する光子数の期待値との関係の一例を示す図である。 測距装置の他の構成例を示す図である。 測距装置が有するスイッチの動作例についての説明がなされる際に参照される図である。 閾値電圧を変調する例を説明するための図である。 オフセットを変調する例を説明するための図である。 応用例についての説明がなされる際に参照される図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<本開示の背景>
<一実施形態>
<変形例>
<応用例>
 以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。なお、以下の説明において、実質的に同一の機能構成を有するものについては同一の符号を付し、重複説明を適宜省略する。また、図示が煩雑になることを防止するために、一部の構成のみに参照符号を付す場合や、図示を簡略化したり、拡大/縮小する場合もある。
<本開示の背景>
 始めに、本開示の理解を容易とするために、本開示の背景について説明する。飛行時間計測法(以下、TOF(Time of Flight)と適宜、称する)の距離センサーは地形測定、構造物の管理、自律航行、生産ラインにおける不良検査など多岐の用途に利用されている。レーザーのパルス幅は、計測可能な時間分解能を与える。光の速度が一定であるため、レーザーのパルス幅は、計測される距離分解能に寄与する。例えば、光の速度を3×10m/sとした場合、時間分解能が1ナノ秒であれば距離分解能は15cm、時間分解能が1ピコ秒であれば0.15mmである。
 精度の高い距離センサーはスポーツ、映画撮影、アートなどのエンターテイメントの分野でも利用が期待されている。例えばスポーツ用途でフォームの確認を行う場合、高いフレームレートで密な点群データを取得する必要があり、従来のLiDAR(Light Detection and Ranging)のフレームレートや点群密度では不十分であった。映画撮影では実際の物体を膨大な点群データに変換してバーチャルに再構築するため、点群データの取得時間と再構築時間がコストに反映する。従って、従来のLiDARの100倍以上の点群密度であり、且つ、ミリオーダーの距離精度が求められる。LiDARの最大点群密度を制限するひとつの要因はレーザー安全であり、レーザー安全クラス1で許容されるレーザー出力でシステムが構築される。また、LiDARの方式によっては複数のショットの統計処理により距離精度を上げたり、太陽光などの影響を減らしたりしており、点群密度を下げる要因となっている。
 点群密度を向上するためにはLiDARから照射されるレーザーの利用効率を上げることが求められる。すなわち、ひとつの点の位置情報を取得するために必要なレーザー出力が低い程点群密度が高く、更にはフレームレートが高いLiDARを実現できる。人工衛星に搭載される宇宙用LiDARではSPL(Single Photon LiDAR)という手法によりパルスレーザーを地上に照射して反射したわずか2光子~10光子を受信することで点群データを取得している。またシングルショットで点群データを取得できるため7km/秒の速度で地球を周回する人工衛星から地形を計測できる。同様に飛行機から地形を計測する場合にも用いられている(例えば、上述した非特許文献1を参照のこと。)。
 このようなLiDARに用いられる光源は波長を厳密に安定化制御した固体レーザーなどが用いられ、受信系にはレーザーの波長に合わせた非常に狭帯域のノッチフィルタを用いている。この結果、太陽光などの外光による誤信号を著しく減らしている。単一光子検出に対応した受光素子は低温で利用され、ダークカウントと呼ばれる誤信号の発生頻度も極力抑えられている。このように誤信号を抑えつつ、更に2光子以上を検出した際にTOFの計測を行うことでシングルショットでありながら点群データの確度を上げている。
 一方、前述のエンターテイメントで利用が期待されるコンシューマLiDARで用いられる光源は価格が安く小型の半導体レーザーである。半導体レーザーの発振波長は注入電流や温度で数nmから十数nm変わることが知らており、ノッチフィルタの透過波長幅は10nm以上必要であるため外光を抑えるには十分ではない。また、受光素子は室温に近い環境で利用されるためダークカウントが無視できなくなる。近年、コンシューマLiDARでもSPL方式が報告されているが、これらの誤信号を考慮して最低検出光子数は宇宙用LiDARよりも高くなっている場合が多い。
 本開示では係る問題を鑑みて、距離センサーの最大検出可能距離、点群密度、距離精度を改善する。具体的には、シングルショットかつ1光子検出に対応し、誤信号の影響を極力下げることを可能とする。
<一実施形態>
[技術説明の補足]
 一実施形態の説明にあたり、本開示の技術の理解を容易にするため、一般的な統計から求められる内容を紹介する。SPLのように10光子以下の事象はポアソン分布に従うことが知られている。図1の横軸は受信する光子数の期待値、縦軸は検出確率を示す。図中の曲線L1、L2、L3、L4は、検出閾値がそれぞれ1光子、2光子、3光子、4光子の場合を示す。例えば光子数の期待値が4の場合、検出閾値が1光子では98%、2光子では91%、3光子では76%、4光子では57%である。このように比較的多くの光子が電子に変換される場合にはいずれの検出閾値でも大差がない。
 一方で期待値が0.1になるとそれぞれの検出確率は0.095、0.0046、0.0015、3.8×10-6と差が大きくなる。三次元の形状を測定する場合、検出確率が1未満であっても有効である。例えば、ある平面に100ショットのレーザー光を放つ場合に、確定した2点の位置情報が取れることは、全く取得できないシステムに比べて圧倒的に有利である。累積により100万計測点/秒であれば1秒間で2万点近い有効点が取得できる換算になる。上述した例の期待値0.1で検出閾値が1光子の検出確率が0.095の場合と、検出閾値2光子の検出確率0.0046の場合の40ショットでの累積検出確率はそれぞれ0.98と0.17であり、後者で0.98の検出確率を得るためには850ショットが必要になる。
 本開示の技術の理解を容易にするため、時間計測とタイムウォークエラーとについて簡単に説明する。SPLのようにシングルショットでTOF計測を行う場合には受光素子の出力の立上時間検出が用いられ、時間検出器にはTDC(時間デジタル変換器)が用いられることが多い。コンシューマLiDARのTDCはインバーターリングオシレータ方式が一般的であり、シングルショットの時間分解能は概ね20ps~300psである。インバーターリングオシレータの周波数が高くなるとスイッチング回数が多くなるため消費電力が増加する。一方、宇宙用LiDARで用いられるTDCでは1ps程度の時間分解能を得ることができる。このような高い時間分解能で測定する場合、単一光子(1光子)検出が可能な受光素子で生じるタイムウォークエラーが問題になる。この問題は1990年代にSLR(衛星レーザーレンジング)で対策されており、同時に飛来する光子の数量が1~1000で最大200ps程度計測時間がシフトする現象である(上述した非特許文献2を参照のこと。)。例えばSPAD(シングルフォトンアバランシェダイオード)では1光子から生成したエレクトロンホールペアーが複数回の衝突を誘起しておよそ1×10のゲインを得る受光素子であるが、同時に受信した光子数により電荷が飽和するまでの時間が異なる。例えば1光子を受信した場合の衝突回数はおよそ20回になるのに対して、1000光子を受信した場合の衝突回数はおよそ10回である。従って、同時に受信する光子数が多いほど検出時間が早くなる。これがタイムウォークエラーと呼ばれている。
 複数のショットを累積して、横軸に検出時間、縦軸に頻度を取ると、時間軸上に分布が離散化される。最も時間が遅い集団から1光子、2光子とすることで光子数と遅延時間のグラフを取得することができる。このグラフを利用して上述したタイムウォークエラーを補正することができる。シングルショットでタイムウォークエラー補正を行う方法として同じく1990年代のSLRにてSPADのカソードとクエンチング抵抗の間に設けた閾値の異なる2つのコンパレータの時間差から光子数を推測している。飽和電荷量が変わらないため、アバランシェ増倍にかかる時間が反映している。この手法ではゲートの再放電に時間がかかるため、誤信号が発生する環境では誤信号により計測不能になる。従ってSLRのような特殊な環境での利用が前提になる。以上のことを踏まえつつ、本開示の一実施形態について詳細に説明する。
<一実施形態>
[測距装置の構成例]
 図2を参照しつつ、一実施形態に係る測距装置(距離センサー)(以下、測距装置1000と適宜、称する。)の構成例について説明する。なお、測距装置1000は、以下に説明する構成を全て有する必要はなく、一部の構成を他の装置が有していてもよい。そして、当該装置と測距装置1000とで距離センサーシステムが構成されてもよい。
 測距装置1000は、例えば、光学系として、第1のアパーチャ101、集光ミラー102、及び、第2のアパーチャ103を有する。また、測距装置1000は、光学系に接続される回路として、受光素子104、レプリカ105、抽出部の一例であるバラントランス106、第1の調整用回路107、第2の調整用回路108、抵抗130、抵抗131、及び、変調回路132を有する。抵抗130及び抵抗131の一端側は、変調回路132に接続されている。抵抗130の他端側は、受光素子104、第1の調整用回路107、及び、バラントランス106の1次側の一方の端子に接続される。抵抗131の他端側は、レプリカ105、第2の調整用回路108、及び、バラントランス106の1次側の他方の端子に接続される。
 さらに、測距装置1000は、バラントランス106の2次側に、増幅部の一例である差動アンプ110、第1のコンパレータ111、第2のコンパレータ112、第3のコンパレータ113、第1のバッファ114、第2のバッファ115、第3のバッファ116、第1のTDC121、第2のTDC122、第3のTDC123、第4のTDC124、ディマルチプレクサ125、及び、FPGA(Field Programmable Gate Array)126を有している。
 例えば、差動アンプ110の出力に対して、第1のコンパレータ111の一方の入力端子、第2のコンパレータ112の一方の入力端子、及び、第3のコンパレータ113の一方の入力端子のそれぞれが接続される。第1のコンパレータ111の他方の入力端子には、第1の閾値電圧141が入力される。第2のコンパレータ112の他方の入力端子には、第2の閾値電圧142が入力される。第3のコンパレータ113の他方の入力端子には、第3の閾値電圧143が入力される。第1のバッファ114は、第1のコンパレータ111の出力側に接続される。第2のバッファ115は、第2のコンパレータ112の出力側に接続される。第3のバッファ116は、第3のコンパレータ113の出力側に接続される。なお、第1のバッファ114は、第2のバッファ115、及び、第3のバッファ116はなくてもよい。
 第1のバッファ114の出力側が第1のTDC121と接続されており、第1のコンパレータ111の出力が、第1のバッファ114を介して第1のTDC121に供給される。また、第1のTDC121には、参照信号151が入力される。第2のバッファ115の出力側が第2のTDC122と接続されており、第2のコンパレータ112の出力が、第2のバッファ115を介して第2のTDC122に供給される。また、第2のTDC122には、参照信号151が入力される。第3のバッファ116の出力側がディマルチプレクサ125に入力される。ディマルチプレクサ125が動作することにより、第3のコンパレータ113の出力が第3のバッファ116を介して、第3のTDC123及び第4のTDC124のそれぞれに対して選択的に入力される。また、第3のTDC123及び第4のTDC124のそれぞれには、参照信号151が入力される。
 不図示のレーザー光源から出射されたレーザー光が測距対象物によって反射され、反射光が測距装置1000に入力される。反射光は第1のアパーチャ101を介して集光ミラー102に入射される。第1のアパーチャ101はその機能を有する物で代替されてもよい。例えば、第1のアパーチャ101は、MEMSミラー、ガルバノミラーなどの走査素子であってもよい。
 集光ミラー102は、反射光を集光する。集光された反射光が第2のアパーチャ103を通る。第2のアパーチャ103は、測距対象物からの反射光の外光に対する比率を上げる、すなわち、S/N(Signal Noise Ratio)を向上するための基本的な光学部品である。第2のアパーチャ103を通過した反射光は、受光素子104で受光される。
 受光素子104は、例えば、単一光子から多光子に対応してアナログ出力値が変化する素子であり、本実施形態では、SiPM(シリコンフォトマルチプライヤー)が用いられるが、SNSPD(超電導ナノワイヤー単一光子検出器)アレイなど、他の受光素子が用いられてもよい。受光素子104の電気的な等価回路は、例えば、抵抗及びコンデンサーが直列接続されたRC回路として表すことができる。なお、受光素子104の等価回路はセル単位に分割されていても、最小の要素まで合成されていてもよい。
 レプリカ105は、受光素子104と同様の素子、すなわち、受光素子104の機能を有しつつ遮光されたものや、等価回路に置き換えたものが適用される。本実施形態では、受光素子104とそのレプリカであるレプリカ105とをバラントランス106の1次側に接続することで信号線に混入するコモンモードノイズを除去する。
 バラントランス106は1次側と2次側が絶縁されているため、1次側のベース電圧は受光素子104の駆動電源と同じであり、2次側は、差動アンプ110にDC接続されているため差動アンプ110のオフセット電圧に等しくなっている。バラントランス106により、受光素子104の高周波成分が抽出される(2次側に伝達される。)
 第1の調整用回路107及び第2の調整用回路108は、時定数を調整する回路である。時定数を調整する回路としては、公知の回路を適用することができる。例えば、製造時のばらつき等に起因して、受光素子104やレプリカ105の等価回路における抵抗や容量の大きさにばらつきが生じる。係るばらつきを無くすように、第1の調整用回路107及び第2の調整用回路108による調整が行われる。第2の調整用回路108、レプリカ105と一体となっていてもよい。
 抵抗130及び抵抗131は、例えば、抵抗値が略等しい抵抗である。
 変調回路132は、所定の変調電圧を発生する。受光素子104とレプリカ105とがそれぞれ抵抗130、131を介して変調回路132に接続されることにより、受光素子104の増倍率を高速変調したり、アバランシェ増幅をスイッチングしたりする。これにより、迷光ノイズやダークカウントによる誤検知を防止できる。抵抗130、131の抵抗値やレプリカ105の特性をわずかに変えることで信号線のベースラインにディップを形成し、コモンモードノイズや迷光ノイズなどの誤検知を防止できる。
 差動アンプ110は、入力信号に応じた差動信号を出力する。差動アンプ110は、完全差動アンプであってもよい。
 第1のコンパレータ111、第2のコンパレータ112、及び、第3のコンパレータ113は、比較結果に応じた信号を出力する。本実施形態では、測距装置1000がコンパレータを3個有する構成としているが、測距装置1000は、互いに閾値電圧が異なる少なくとも3個のコンパレータを有していればよい。例えば、測距装置1000が4個以上のコンパレータを有する構成であってもよい。
 第1の閾値電圧141、第2の閾値電圧142、及び、第3の閾値電圧143は互いに異なる閾値電圧である。図3は、第1の閾値電圧141、第2の閾値電圧142、及び、第3の閾値電圧143の一例を説明するための図である。本実施形態では、第1の閾値電圧141が3光子検出用の閾値電圧Vth3に対応し、第2の閾値電圧142が2光子検出用の閾値電圧Vth2に対応し、第3の閾値電圧143が1光子検出用の閾値電圧Vth1に対応している。ここで、閾値電圧Vth1は、計測区間の少なくとも一部において単一光子検出に対応した閾値電圧である。例えば、1光子検出用の閾値電圧Vth3は1光子相当よりも低く設定され、0.5p.e.(Photo electron)と記載されることが多い(なお、1光子は1光電子とも称される。)。但し、厳密に0.5である必要はなく、ベースライン(あるいはオフセット)のノイズよりも高ければ良い。2光子検出用の閾値電圧Vth2は1光子相当よりも高く、且つ、2光子相当よりも低く設定される。また3光子検出用の閾値電圧Vth1は3光子相当よりも高く、且つ、3光子相当よりも低く設定される。Vth1≦Vth2≦Vth3とした場合に、それぞれの対応する光子数は上記に限らず変更することが出来る。これらの電圧をFPGA126や書き込み可能なメモリーから制御することでキャリブレーションや環境対応を容易にすることができる。
 上述したように、それぞれのコンパレータに対してTDCが接続される。各TDCは、コンパレータの出力と参照信号とに基づいて時間差を求める。各TDCが時間差計測部の一例に対応している。例えば、第1のTDC121は、差動アンプ110の出力電圧が第1の閾値電圧141を超えたことを示す信号(例えば、ハイレベルの信号)を受信した場合は、受信したタイミングと参照信号151が入力されたタイミングとの時間差であるdT3を求める(図3参照)。第2のTDC122は、差動アンプ110の出力電圧が第2の閾値電圧142を超えたことを示す信号(例えば、ハイレベルの信号)を受信した場合は、受信したタイミングと参照信号151が入力されたタイミングとの時間差であるdT2を求める(図3参照)。第3のTDC123は、差動アンプ110の出力電圧が第3の閾値電圧143を超えたことを示す信号(例えば、ハイレベルの信号)を受信した場合は、受信したタイミングと参照信号151が入力されたタイミングとの時間差であるdT1を求める(図3参照)。第4のTDC124は、差動アンプ110の出力電圧が第3の閾値電圧143を超えたことを示す信号(例えば、ハイレベルの信号)を受信した場合は、受信したタイミングと参照信号151が入力されたタイミングとの時間差であるdT1を求める(図3参照)。
 ディマルチプレクサ125に対して第3のTDC123及び第4のTDC124が接続されている。ディマルチプレクサ125は、第3のコンパレータ113の出力の供給先を、第3のTDC123又は第4のTDC124に切り替える。より具体的には、ディマルチプレクサ125は、計測期間(例えば、レーザー光を出射してから測距対象物からの反射光を受光する期間)における第3のコンパレータ113の第1の出力が第3の時間差計測部123に供給されるように制御し、上述した計測期間において第1の出力よりも後に出力される第3のコンパレータ113の第2の出力が第4の時間差計測部124に供給されるように制御する。
 FPGA126は、プログラミングが可能な集積回路である。各TDCにより求められた時間差を示す時間差データがFPGA126に入力される。FPGA126は、時間差データのノイズ除去、エラー補正の他、距離データへの変換、点群データへの変換、点群再構成などの処理を行う。具体的には、FPGA126は、時間差に対応する光子数と当該光子数に対応するタイムウォークエラーを求め、時間差に基づく暫定時間差をタイムウォークエラーにより補正し、補正結果に基づいて対象物までの距離を計算する処理を行う。
 なお、測距装置を統括的に制御する制御部や、光源、走査部、適宜な光学部品などが測距装置1000に必要に応じて追加できることは言うまでもない。
[測距装置の動作例]
 次に、測距装置1000の動作例について説明する。光源(不図示)から出力されたパルスレーザーの一部は受光素子(不図示)で電気信号に変換され、コンパレータなどを経てそれぞれのTDCに参照信号151として入力される。一方、パルスレーザーはMEMSミラーなどの走査部(不図示)を経て測距対象物に照射される。
 測距対象物で反射した反射光は第1のアパーチャ101で受入れ角が制限される。従って、第1のアパーチャ101が大きいほど多くの光を受けることができる。例えば、第1のアパーチャ101がMEMSミラーである場合には数十mm程度である。集光ミラー102と第2のアパーチャ103により太陽光などの外光を抑えることができる。レーザーの波長以外の光を透過しないノッチフィルタをこれらの光学系と共に配置することでさらに外光を抑えることができるようにしてもよい。反射光が受光素子104に受光される。
 本実施形態では、受光素子104としてSiPMが用いられる。SiPMは複数のSPADが並列接続された受光素子で、PNジャンクションが成すコンデンサーとクエンチング抵抗の寄生コンデンサーによりコモンモードノイズが出力に混入しやすい。上述したように、レプリカ105とバラントランス106によって構成されるバランス回路はコモンモードノイズをキャンセルし、コモンモードノイズをバラントランス106の2次側に伝達しない。バランス状態では変調回路132によってSiPMの駆動電圧を変調した場合であってもバランス状態では変調電圧をバラントランス106の2次側への伝達を抑える。さらに、第1及び第2の調整用回路107、108を適宜調整することにより、バラントランス106の2次側に変調回路132に同期した僅かな変調を与える。
 飛来する光子が少ない場合、光を受信した受光素子104、すなわちSiPMのセルで生成した電荷は、受光していないセルを充電した後、バラントランス106の1次側を経てレプリカを充電する。SiPMとレプリカ105のアンバランスが解消されると電源あるいは変調回路132に電荷が緩和する(元の電荷のレベルに抑制する)。バラントランス106のインダクタンスと2次側への結合率を調整することにより数百ps~数nsの範囲で2次側へ伝搬する検出周波数を調整することができる。すなわち、バラントランス106によりSiPMの立ち上がり出力の高周波成分のみが抽出され、抽出された成分が後段の差動アンプ110で増幅される。SiPMで受信したポアソン分布に従う小数の光子は、アバランシェ増倍により1×10の電子を生成するため、SiPMの出力以降は正規分布に従うと考えられる。従って、差動アンプ110の出力を少なくとも3つ以上のコンパレータで立ち上がり検出することで、コンパレータ以降のジッタを平均化することができる。
 それぞれのTDCにより、参照信号151とコンパレータ(第1のコンパレータ111、第2のコンパレータ112、及び、第3のコンパレータ113)の出力との時間差が測定されることで図2に記載の時間差dT1、dT2、dT3が取得される。取得された時間差は、FPGA126に供給される。
 これらの時間差の期待値は徐々に長くなるため。dT1、dT2、dT3を比較することでSiPMにより受光された光子数を推定することができる。これらの値は非線形であって、更にそれぞれの素子のばらつきの影響を受けるため、FPGA126は、例えば、LUT(ルックアップテーブル)を用いて変換する。LUTの記述内容は、キャリブレーションで決定しても解析解を用いてもよい。なお、dT1、dT2、dT3から光子数を推定する構成であればLUTにより光子数を推定する方法に限定されることはない。
 FPGA126は、時間差dT1、dT2、dT3に基づいて暫定時間差を求める。暫定時間差の算出方法は限定されず、例えば3つの時間差の平均値であってもよいし、時間差dT1の値を用いてもよい。そして、推定した光子数に対応するタイムウォークエラーをLUT等を参照して求め、タイムウォークエラーを打ち消すように暫定時間差を補正する。そして、FPGA126は、補正後の時間差に光速を乗じて1/2したものを測距対象物までの距離として算出する。算出された距離は、適宜なアプリケーションに応じた用途に用いられる。
 前述のようにコンシューマLiDARで用いられるインバーターリングオシレータを用いたTDCでは時間分解能が低く、タイムウォークエラーがTDCのシングルショットノイズに埋もれる。一実施形態ではpsオーダーの時間分解能を有するファインTDCを用いており、例えばPSGBR(パルスシュリンクゲーテッドバッファリング)やVGBR(バーニアゲーテッドバッファリング)などを組み込む。このようなファインTDCは計測時間軸を拡張することで、従来のインバーターリングオシレータで懸念される半導体の微細化による高コスト化や、動作周波数の向上による消費電力の増加などの影響が少ない特徴がある。
 なお、上述した動作例の説明は、受光素子104に3個以上の光子が受光された場合の動作例である。3個以上の光子が受光された場合は、dT3の違いに応じて光子数を推定することができる。また、受光素子104に2個の光子が受光された場合には、第1のコンパレータ111の出力は、第1の閾値電圧141よりも小さいことを示す信号(例えば、ローレベルの信号)となる。この場合、暫定時間差はdT2及びdT3に基づいて求められる。受光素子104に1個の光子が受光された場合には、暫定時間差はdT1に基づいて求められる。
[単一光子検出について]
 次に、本実施形態に係る測距装置1000によって、単一光子検出が可能であり、単一光子検出に応じた測距が可能である点について説明する。
 図4は、一実施形態に係る測距装置1000の構成において、外光の照度が10000ルクスの場合に、露光時間(横軸)と受光素子104(本実施形態ではSiPM)が受信する光子数の期待値(縦軸)との関係を示す図である。露光時間(およそバラントランス106の検出周波数の逆数)が1nsの時に、光子数の期待値は0.0425である。従って、10000ルクス環境下では1サイクルの計測可能期間、すなわち、パルスレーザーを照射してから計測系が信号を受入可能な期間において数回の割合で外光に起因した1光子相当の誤信号が生じる。また、外光が1000ルクスの環境では受信する光子数の期待値は一桁低く0.00425である。数サイクルに1回程度、外光に起因した1光子相当の誤信号が発生する。
 バラントランス106の2次側へのカットオフ周波数が1GHz程度であれば10000ルクス環境下で同時に2光子を受信する確率は0.001よりも低く、発生する誤信号は1光子に起因する。外光に対する光子数の期待値はシステムの構成により変わるため、バラントランス106の構成を適宜変更してカットオフ周波数を調整する。なお、パルスレーザーのパルス幅は数十psであり、物体からの反射光はSiPMに同時に受信したとして扱える。
 SiPMのダークカウントは30℃でおよそ1MHzであり、数サイクルに1回の頻度でダークカウントによる誤信号が発生する換算になる。このように誤信号は1光子レベルに抑えられており、コンパレータの検出閾値電圧を1.5光子(1.5光子を受信した場合に生成する電荷量)に設定することでコンパレータからTDCへ誤信号を伝搬しないようにできる。しかしながら、物体からの反射光が非常に弱く、SiPMで1光子を受信した場合に計測ができなくなる。
 そこで、第3の閾値電圧143を例えば0.5光子相当とすることで、単一光子検出を可能とする。また、例えば1000ルクス環境下でSiPMが室温動作の場合には1光子検出に対応した第3のTDC123は数サイクルに一回程度、誤信号により動作する。そこで、図5に示すように第3のTDC123が第3のコンパレータ113からハイレベルの信号(入力が第3の閾値電圧143を超えたことを示す信号)を受信した場合には、その結果を、前段に設けられたディマルチプレクサ125にフィードバックする。例えば、ディマルチプレクサ125にフィードバック信号127が与えられる。フィードバック信号127を受けたディマルチプレクサ125は、第3のコンパレータ113の接続先を第3のTDC123から第4のTDC124に切り替える。これにより、誤信号(図5における信号SA)により第3のTDC123が動作した場合でも第4のTDC124で真の信号(図5における信号SB)を検出することができる。
 なお、測距装置1000が外光のレベルを検出する照度センサーを有していてもよい。そして、外光の照度が小さく、誤信号の発生が小さい場合には、ディマルチプレクサ125を動作させないようにしてもよい。
 なお、受光素子104で受光する光子数の期待値は、測距対象物までの距離によっても異なる。図6は、本実施形態に係る測距システムで、距離と当該距離に応じて受光する光子数の期待値との関係を示す図である。ここで測距対象物の反射率は30%とした。測距対象物までの距離が10m以上では受信する光子の期待値が単調に減少している。また10m未満で光子数の期待値が下がっているのは集光ミラー102の特性によるものである。エンターテイメント用途では1m~20mで用いられることが多いが、スタジアムで行われるスポーツのリアルタイム点群データ、ビルなどの建築物の高精細の点群データなどの取得においては最大50mの計測可能距離が求められる。20m未満では光子数の期待値が3以上であり、同時に2光子以上を検出できる確率が高い。従って誤信号が検出されにくいコンパレータの検出閾値電圧を1.5光電子以上にすることで点群データの確度が上がる。一方、20m以上では光子数の期待値が3以下になり同時に2光子以上を検出する確率が低くなるため、1光子検出を併用する必要がある。
 基準のタイミングであるRef(例えば計測開始時)から20m先までの距離にある測距対象物からの反射光を受光するタイミングまでは、ディマルチプレクサ125が、第3のコンパレータ113の出力先を第3のTDC123に設定する。20m先までの距離にある測距対象物からの反射光を受光するタイミング以降、換言すれば、1光子検出の頻度が増える場合には、ディマルチプレクサ125が、第3のコンパレータ113の出力先を第4のTDC124に設定する。これにより、そのタイミング以前に発生した誤信号により第4のTDC124が誤動作することを防ぐことができる。
 なお、図7に示すように、測距装置1000が、ディマルチプレクサ125及び第4のTDC124を有さず、且つ、第3のTDC123の前段に設けられ、第3のコンパレータ113と接続されるスイッチ128を有する構成であってもよい。例えば、図8に示すように、Refから20m以上先の物体からの反射光を検出するタイミングまでの間は、スイッチ128をオフ(閉)にする。そして、20m以上先の物体からの反射光を検出するタイミングに合わせてスイッチ128をオン(開)にすることで、そのタイミング以前に発生した誤信号により第3のTDC123が誤動作することを防ぐことができる。
 なお、同様に、第1のTDC121、第2のTDC122の前段にスイッチを配して、所望のタイミングのみ、第1のTDC121や第2のTDC122を開にすることもできる。また、スイッチはTDCとは分離している必要はなく、その機能をTDCに組み込んだり、あるいはディマルチプレクサ125やバッファに組み込んだりしてもよい。スイッチのオン/オフは例えばFPGA126で変更可能な構成として、外光強度などの変化に対応してスイッチがオンする(開となる)期間が変更されるようにしてもよい。
 また、コンパレータに対する閾値電圧が変更されるようにしてもよい。例えば、測距対象物までの距離が20m未満で2光子検出の頻度が高い場合(図6参照)には、第3のTDC123を2光子検出用に割り当てもよい。例えば、図9に示すように例えば第3のコンパレータ113に対する第3の閾値電圧143(閾値電圧Vth1)を変調して、Refから20m未満における閾値電圧を20m以上における閾値電圧よりも高くする。これにより、閾値電圧が単一光子検出をできない閾値電圧に設定される。20m以上における閾値電圧は、1光子検出に対応する閾値電圧となるように、閾値電圧が変調される。これにより、第3のTDC123は、20m未満では2光子以上を検出し、20m以上では1光子以上を検出することができる。閾値電圧は離散化されてあっても連続的であってもよい。また、第3のコンパレータ113に限定されず他のコンパレータの閾値電圧を変調してもよい。
 図10に示すように、オフセット(ベースライン)を変調してもよい。受光素子104SiPMの駆動電圧を所定の変調回路(不図示)で変調して、バラントランス106の1次側の回路のわずかなミスマッチによりオフセットを変調することができる。オフセットを変調することによりオフセットが上昇し、所定期間後のタイミングで1光子検出可能なVth1となり、1光子検出が可能となる。上述したタイミング以前では、光子検出が行われないようにすることができる。オフセットは差動アンプ110に入力する段階で形成されるため、第1のコンパレータ111、第2のコンパレータ112、第3のコンパレータ113に同等な影響を与えことができる。なお、図9及び図10では、閾値電圧やオフセットが連続的に変化しているがステップ状に変化してもよい。また、上述した距離の閾値(例えば、20m)は、測距装置1000が対象とするアプリケーションに応じて適宜、変更できる。
 以上のようにして、本実施形態に係る測距装置では、正確な1光子検出が可能となる。すなわち、1光子検出に対応する距離の測定も可能となるので、測距可能な範囲を拡大できる。また、点群密度及び測距の精度を向上させることができる。また、シングルショット且つ1光子検出にも対応し、誤信号影響を極力低減できる。
<変形例>
 以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
 時間差dT1は、時間差dT2やdT3よりも多くの光子を同時に受信した際に生じるため、誤信号による影響がもっとも小さく、信号の確度である信頼度はdT1>dT2>dTとなり、計測可能な最低光子数が大きいほど大きくなる。そこで、暫定時間差の決定やタイムウィークエラー補正を行う際に、時間差dT1の重みを重くするようにしてもよい。重みに対応した値(信頼度を示すデジタル値)を点群データにヘッダ等に付加することでバックエンドのソフトウェア処理においても確度の高い点群データをもとに各種アプリケーションに対応した処理がなされるため精度や処理時間の短縮などが期待できる。このような重みに対応した値のフォーマットは限定されるものではなく、点群データのヘッダ以外の適宜な位置に付加できる。
 上述した一実施形態において、ディマルチプレクサと接続されるTDCの段数は2段に限らず増やすことができる。ディマルチプレクサと接続されるTDCの段数は、コンシューマLiDARの用途やコストを考慮して適切に決定される。
 本開示は、測距装置だけでなく、当該測距装置を有する車載装置や、方法等の形態によっても実現できる。なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
 なお、本開示は以下のような構成もとることができる。
(1)
 単一光子検出が可能であり、同時に受光した光子数によりアナログ出力が変化する受光素子と、
 前記受光素子の出力の高周波成分を抽出する抽出部と、
 前記抽出部の出力を増幅する増幅部と、
 前記増幅部の出力が供給され、互いに閾値電圧が異なる少なくとも3個のコンパレータと、
 を備え、
 前記コンパレータのうちの所定のコンパレータに対して設定される前記閾値電圧は、計測区間の少なくとも一部において単一光子検出に対応した閾値電圧である、
 測距装置。
(2)
 それぞれのコンパレータに対して接続され、当該コンパレータの出力と参照信号とに基づいて時間差を求める時間差計測部と、
 前記時間差に対応する光子数と当該光子数に対応するタイムウォークエラーを求め、前記時間差に基づく暫定時間差を前記タイムウォークエラーにより補正し、補正結果に基づいて対象物までの距離を計算する距離計算部と、
 を備える
 (1)に記載の測距装置。
(3)
 前記単一光子検出に対応した閾値電圧が設定されるコンパレータに接続されるディマルチプレクサと、
 前記ディマルチプレクサに対して接続される、少なくとも第1の前記時間差計測部及び第2の前記時間差計測部を備える、
 (2)に記載の測距装置。
(4)
 前記ディマルチプレクサは、前記計測期間における前記コンパレータの第1の出力が前記第1の時間差計測部に供給されるように制御し、前記計測期間において前記第1の出力よりも後に出力される前記コンパレータの第2の出力が前記第2の時間差計測部に供給されるように制御する、
 (3)に記載の測距装置。
(5)
 前記単一光子検出に対応した閾値電圧が設定されるコンパレータと、当該コンパレータに対して接続される前記時間差計測部との間にスイッチが接続されており、所定の期間、前記スイッチがオフからオンに切り替わる制御が行われる、
 (2)に記載の測距装置。
(6)
 外光の強度に応じて前記スイッチがオンする期間が変更される、
 (5)に記載の測距装置。
(7)
 前記単一光子検出に対応した閾値電圧が、計測期間における計測開始時では前記単一光子検出ができない第1の閾値電圧に設定され、前記計測開始時から所定時間後のタイミングで前記単一光子検出ができる第2の閾値電圧へと遷移する、
 (2)に記載の測距装置。
(8)
 前記単一光子検出に対応した閾値電圧が、前記第1の閾値電圧から前記第2の閾値電圧へと連続的に変化する、
 (7)に記載の測距装置。
(9)
 前記抽出部の出力に対するベースラインが計測開始から上昇することにより、所定のタイミングで単一光子検出が可能になる、
 (2)に記載の測距装置。
(10)
 それぞれの時間差計測部により求められた時間差に対して信頼度が設定され、前記信頼度に基づく重みを用いて、前記タイムウォークエラー及び前記暫定時間差の少なくとも一方が求められ、
 前記信頼度は、計測可能な最低光子数が大きいほど大きく設定される、
 (2)から(9)までの何れかに記載の測距装置。
(11)
 前記抽出部にバラントランスが含まれる、
 (1)から(10)までの何れかに記載の測距装置。
(12)
 (1)から(11)までの何れかに記載の測距装置を有する車載装置。
<応用例>
 次に、本開示の応用例について説明する。但し、本開示は、以下の応用例に限定されるものではない。
[第1の応用例]
 スポーツ用途におけるリアルタイム点群データの活用はトレーニング、ケガ防止、ブロードキャストなどに広がっている。一実施形態で記載した測距装置の受信部から計測部を含む距離センサーとして、例えば光源にQスイッチング型のパルス半導体レーザー、走査部にMEMSミラーがあって、パルスレーザーを物体に照射してその反射光を該MEMSミラーで受ける同軸光学系を例にする。走査部のMEMSミラーの振幅は駆動電圧や周波数により制御可能であり、レーザー安全クラス1に対応しつつ測定対象に応じてFOV(視野角)を広げたり狭くしたりしてもよい。最大測定距離が20mの場合の点群密度を5百万点/秒としてFOVがおよそ60度、シングルショットの距離精度は数mの位置で1mm程度とする。図11は例えばハイフレーム計測したワンショットの点群データを示し、細部の体の動き(図11の例ではゴルフスウィング)を捉えている。
 より正確に体の動きを捉えるため、少なくとも3方向から点群データを取得することが望ましく、さらに同じ方向から複数台の距離センサーで点群データを取得して重ね合わせることで高精細な点群データを得ることができる。シングルショットかつ走査型の距離センサーが相互干渉する確率は非常に低く、同時に使用する台数に比例した点群データの取得が可能である。しかしながら、従来のコンシューマLiDARはレーザーの利用効率が低く、消費電力に伴う発熱により集積が困難であったが、一実施形態に記載のシングルショットかつ単一光子検出に対応した手法ではこれらの問題を克服することができる。
 スポーツの判定やブロードキャストなどでは20台程度をタイリングして、最大1億点/秒の点群データを取得できるユニットを複数台用いることもできる。このような非常に大容量の点群データから再構成を行う場合には一実施形態で説明した点群の確度パラメータを有効に活用することでリアルタイム性の向上や処理時間に伴うコストの削減につながる。
[第2の応用例]
 近年、メタバースなどのデジタル空間の活用が進んでいる。リアル空間からデジタル空間への接続方法のひとつとして距離センサーが活用される。個人から少人数を対象とした場合には、高精細な点群データやリアルタイム性が求められる。数mの近距離で高精細な距離センサーの手法は多々あるものの、ダンスなど動きを伴う場合には十分な精度が得られなかった。前述の距離センサーを単体、あるいは複数台用いることでこれらの問題を克服することができる。大人数のリアル空間ではオクルージョンによりステレオカメラの手法から距離データを構築することが難しく、また、従来のLiDARを用いる場合には点群密度が低いため測定した点から対象物の同定が困難になる。前述の距離センサーを例えば20台程度をタイリングして、最大1億点/秒の点群データを取得できるユニットを複数台用いることで、人物の隙間から裏にいる人物の点群データが得られる。このような非常に大容量の点群データから再構成を行う場合には一実施形態で説明した点群の確度パラメータを有効に活用することでリアルタイム性の向上や処理時間に伴うコストの削減につながる。
[第3の応用例]
 近年、バーチャルプロダクションによる映画撮影技術が開発されている。リアルな空間を点群データとして取得して、再構成してコンピュータグラフィック化したり大型のディスプレイに表示して再撮したりする。多量の点群データにかかるコストは膨大で安価な機材や取得時間の短縮が問題となっている。一実施形態で説明したコンシューマLiDARは安価かつ高い点群密度が得られる他、前述のようにタイリングが可能である。例えば20台程度をタイリングして、最大1億点/秒の点群データを取得できるユニットを複数台用いることで、点群取得時間を大幅に削減し、それに伴いコストダウンが期待できる。このような非常に大容量の点群データから再構成を行う場合には一実施形態で説明した点群の確度パラメータを有効に活用することでリアルタイム性の向上や処理時間に伴うコストの削減につながる。
[第4の応用例]
 映画撮影技術におけるカメラワークの自動化においてリアルタイムかつ高精度の距離センサーが活用できる。アート視点の動画を撮影する場合は単に対象物にフォーカスするのではなく、表現したい空間に応じたエフェクトを考慮したスキルが必要になる。リアルタイムに取得した点群データと実際のエフェクトを比較したディープラーニングによりアート視点での自動化が可能になる。一実施形態で説明したコンシューマLiDARは安価かつ高い点群密度が得られる他、前述のようにタイリングが可能である。例えば20台程度をタイリングして、最大1億点/秒の点群データを取得できるユニットを複数台用いることで、点群取得時間を大幅に削減し、それに伴いコストダウンが期待できる。このような非常に大容量の点群データから再構成を行う場合には一実施形態で説明した点群の確度パラメータを有効に活用することでリアルタイム性の向上や処理時間に伴うコストの削減につながる。
[他の応用例]
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図12は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図12に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサー等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図12では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサー、車両の加速度を検出する加速度センサー、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサーのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサー、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサーのうちの少なくとも一つが含まれる。
 環境センサーは、例えば、雨天を検出する雨滴センサー、霧を検出する霧センサー、日照度合いを検出する日照センサー、及び降雪を検出する雪センサーのうちの少なくとも一つであってよい。周囲情報検出センサーは、超音波センサー、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサーないし装置として備えられてもよいし、複数のセンサーないし装置が統合された装置として備えられてもよい。
 ここで、図13は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図13には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサー又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図12に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサー、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサー又は車室内の音声を集音するマイク等を含んでもよい。生体センサーは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサー値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インターフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインターフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図12の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図12に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサー又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 以上説明した車両制御システム7000において、本開示の測距装置は、例えば、車外情報検出部に適用され得る。
104・・・受光素子
105・・・レプリカ
106・・・バラントランス
110・・・差動アンプ
111・・・第1のコンパレータ
112・・・第2のコンパレータ
113・・・第3のコンパレータ
123・・・第3のTDC
124・・・第4のTDC
125・・・ディマルチプレクサ
126・・・FPGA
128・・・スイッチ
1000・・・測距装置

Claims (12)

  1.  単一光子検出が可能であり、同時に受光した光子数によりアナログ出力が変化する受光素子と、
     前記受光素子の出力の高周波成分を抽出する抽出部と、
     前記抽出部の出力を増幅する増幅部と、
     前記増幅部の出力が供給され、互いに閾値電圧が異なる少なくとも3個のコンパレータと、
     を備え、
     前記コンパレータのうちの所定のコンパレータに対して設定される前記閾値電圧は、計測区間の少なくとも一部において単一光子検出に対応した閾値電圧である、
     測距装置。
  2.  それぞれのコンパレータに対して接続され、当該コンパレータの出力と参照信号とに基づいて時間差を求める時間差計測部と、
     前記時間差に対応する光子数と当該光子数に対応するタイムウォークエラーを求め、前記時間差に基づく暫定時間差を前記タイムウォークエラーにより補正し、補正結果に基づいて対象物までの距離を計算する距離計算部と、
     を備える
     請求項1に記載の測距装置。
  3.  前記単一光子検出に対応した閾値電圧が設定されるコンパレータに接続されるディマルチプレクサと、
     前記ディマルチプレクサに対して接続される、少なくとも第1の前記時間差計測部及び第2の前記時間差計測部を備える、
     請求項2に記載の測距装置。
  4.  前記ディマルチプレクサは、前記計測期間における前記コンパレータの第1の出力が前記第1の時間差計測部に供給されるように制御し、前記計測期間において前記第1の出力よりも後に出力される前記コンパレータの第2の出力が前記第2の時間差計測部に供給されるように制御する、
     請求項3に記載の測距装置。
  5.  前記単一光子検出に対応した閾値電圧が設定されるコンパレータと、当該コンパレータに対して接続される前記時間差計測部との間にスイッチが接続されており、所定の期間、前記スイッチがオフからオンに切り替わる制御が行われる、
     請求項2に記載の測距装置。
  6.  外光の強度に応じて前記スイッチがオンする期間が変更される、
     請求項5に記載の測距装置。
  7.  前記単一光子検出に対応した閾値電圧が、計測期間における計測開始時では前記単一光子検出ができない第1の閾値電圧に設定され、前記計測開始時から所定時間後のタイミングで前記単一光子検出ができる第2の閾値電圧へと遷移する、
     請求項2に記載の測距装置。
  8.  前記単一光子検出に対応した閾値電圧が、前記第1の閾値電圧から前記第2の閾値電圧へと連続的に変化する、
     請求項7に記載の測距装置。
  9.  前記抽出部の出力に対するベースラインが計測開始から上昇することにより、所定のタイミングで単一光子検出が可能になる、
     請求項2に記載の測距装置。
  10.  それぞれの時間差計測部により求められた時間差に対して信頼度が設定され、前記信頼度に基づく重みを用いて、前記タイムウォークエラー及び前記暫定時間差の少なくとも一方が求められ、
     前記信頼度は、計測可能な最低光子数が大きいほど大きく設定される、
     請求項2に記載の測距装置。
  11.  前記抽出部にバラントランスが含まれる、
     請求項1に記載の測距装置。
  12.  請求項1に記載の測距装置を有する車載装置。
PCT/JP2023/004506 2022-03-14 2023-02-10 測距装置及び車載装置 WO2023176226A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-038872 2022-03-14
JP2022038872 2022-03-14

Publications (1)

Publication Number Publication Date
WO2023176226A1 true WO2023176226A1 (ja) 2023-09-21

Family

ID=88022828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004506 WO2023176226A1 (ja) 2022-03-14 2023-02-10 測距装置及び車載装置

Country Status (1)

Country Link
WO (1) WO2023176226A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017053833A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置
US20180259625A1 (en) * 2017-03-10 2018-09-13 Sensl Technologies Ltd. LiDAR Readout Circuit
WO2021100644A1 (ja) * 2019-11-18 2021-05-27 ソニー株式会社 Qスイッチ半導体発光素子及び測距装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017053833A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置
US20180259625A1 (en) * 2017-03-10 2018-09-13 Sensl Technologies Ltd. LiDAR Readout Circuit
WO2021100644A1 (ja) * 2019-11-18 2021-05-27 ソニー株式会社 Qスイッチ半導体発光素子及び測距装置

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
US11397250B2 (en) Distance measurement device and distance measurement method
WO2018179650A1 (ja) 測距装置及び車両
WO2020137755A1 (ja) 測距装置及び測距方法
WO2020022137A1 (ja) 受光装置及び測距装置
WO2020121736A1 (ja) 光検出装置及び測距装置
WO2021100644A1 (ja) Qスイッチ半導体発光素子及び測距装置
JP2021128084A (ja) 測距装置および測距方法
WO2021124762A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2021111766A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2023176226A1 (ja) 測距装置及び車載装置
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
WO2021161858A1 (ja) 測距装置および測距方法
WO2024084921A1 (ja) 光検出素子及び電子機器
WO2023218870A1 (ja) 測距装置、測距方法及びプログラムを記録した記録媒体
US20220146647A1 (en) Light receiving device, method of evaluating the same, and method of driving the same
WO2023243497A1 (ja) 固体撮像素子、および、撮像装置
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
JP7407734B2 (ja) 光検出装置及び光検出装置の制御方法、並びに、測距装置
WO2023223928A1 (ja) 測距装置及び測距システム
WO2023162733A1 (ja) 測距装置及び測距方法
WO2023058411A1 (ja) Memsデバイス、測距装置、車載装置、および、memsデバイスの駆動方法
US20230106211A1 (en) Distance measuring device and distance measuring method
WO2023162734A1 (ja) 測距装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770187

Country of ref document: EP

Kind code of ref document: A1