WO2020255855A1 - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
WO2020255855A1
WO2020255855A1 PCT/JP2020/023036 JP2020023036W WO2020255855A1 WO 2020255855 A1 WO2020255855 A1 WO 2020255855A1 JP 2020023036 W JP2020023036 W JP 2020023036W WO 2020255855 A1 WO2020255855 A1 WO 2020255855A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
light
histogram
unit
peak
Prior art date
Application number
PCT/JP2020/023036
Other languages
English (en)
French (fr)
Inventor
広之 平野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112020002990.5T priority Critical patent/DE112020002990T5/de
Priority to US17/617,139 priority patent/US20220260691A1/en
Priority to CN202080043375.XA priority patent/CN113966475A/zh
Publication of WO2020255855A1 publication Critical patent/WO2020255855A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495Counter-measures or counter-counter-measures using electronic or electro-optical means

Definitions

  • This disclosure relates to a distance measuring device and a distance measuring method.
  • a distance measuring method for measuring the distance to the object to be measured using light
  • a distance measuring method called a direct ToF (Time of Flight) method is known.
  • the light emitted from the light source receives the reflected light reflected by the object to be measured by the light receiving element, and the distance to the target is based on the time from the emission of the light to the reception as the reflected light. To measure.
  • a ranging device includes a time measuring unit, a histogram generating unit, a light source control unit, a selection unit, and a distance calculating unit.
  • the time measuring unit measures time information indicating the time from the light emission timing when the light source emits light to the light reception timing when the light receiving element receives light.
  • the histogram generation unit generates a histogram based on the time information.
  • the light source control unit dynamically changes the driving state of the light source. When a plurality of peaks are detected in the histogram in one frame, the selection unit selects one peak based on the driving state of the light source.
  • the distance calculation unit calculates the distance to the object based on the selected peak.
  • interference caused by other ranging devices can be suppressed.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • a distance measuring method for measuring the distance to the object to be measured using light
  • a distance measuring method called a direct ToF (Time of Flight) method is known.
  • the light emitted from the light source receives the reflected light reflected by the object to be measured by the light receiving element, and the distance to the target is based on the time from the emission of the light to the reception as the reflected light. To measure.
  • the present disclosure relates to a technique for performing distance measurement using light. Therefore, in order to facilitate understanding of the embodiments of the present disclosure, a distance measuring method applicable to the embodiments will be described with reference to FIGS. 1 and 2.
  • FIG. 1 is a diagram schematically showing distance measurement by the direct ToF method applicable to the embodiment of the present disclosure.
  • the ToF method is directly applied as the distance measuring method.
  • the light emitted from the light source 2 L1 receives the reflected light L2 reflected by the object 100 to be measured by the light receiving element 3, and the distance is measured based on the time difference between the light emission timing and the light receiving timing. It is a method.
  • the distance measuring device 1 includes a light source 2 and a light receiving element 3.
  • the light source 2 is, for example, a laser diode, and is driven so as to emit laser light in a pulsed manner.
  • the emitted light L1 from the light source 2 is reflected by the object to be measured 100 and is received by the light receiving element 3 as the reflected light L2.
  • the light receiving element 3 converts light into an electric signal by photoelectric conversion, and outputs a signal corresponding to the received light.
  • the time when the light source 2 emits light (light emission timing) is set to time t 0
  • the time when the light receiving element 3 receives the reflected light L2 reflected by the object 100 to be measured by the emitted light L1 from the light source 2 (light receiving timing). Let the time be t 1 .
  • the distance D between the distance measurement apparatus 1 and the object to be measured 100 can be calculated by the following equation (1).
  • D (c / 2) ⁇ (t 1 ⁇ t 0 )... (1)
  • the ranging device 1 sets the time t m (hereinafter, also referred to as “light receiving time t m ”) from the light emitting timing time t 0 to the light receiving timing when the light is received by the light receiving element 3. Classify based on class (bins) and generate a histogram.
  • FIG. 2 is a diagram showing an example histogram based on the time when the light receiving element 3 receives light, which is applicable to the embodiment of the present disclosure.
  • the horizontal axis shows the bin and the vertical axis shows the frequency for each bin.
  • the bins are obtained by classifying the light receiving time t m for each predetermined unit time d.
  • bin # 0 is 0 ⁇ t m ⁇ d
  • bin # 1 is d ⁇ t m ⁇ 2 ⁇ d
  • bin # 2 2 ⁇ d ⁇ t m ⁇ 3 ⁇ d
  • bottles # (N -2) is (N-2) ⁇ d ⁇ t m ⁇ (N-1) ⁇ d.
  • the distance measuring device 1 counts the number of times the light receiving time t m is acquired based on the bin, obtains the frequency 200 for each bin, and generates a histogram.
  • the light receiving element 3 also receives light other than the reflected light L2 reflected from the light emitted from the light source 2.
  • ambient light is light that is randomly incident on the light receiving element 3, and the ambient light component 201 due to the ambient light in the histogram becomes noise with respect to the target reflected light L2.
  • the target reflected light L2 is light received according to a specific distance and appears as an active light component 202 in the histogram.
  • the bin corresponding to the frequency of the peak in the active light component 202 is the bin corresponding to the distance D of the object to be measured 100.
  • the distance measuring device 1 acquires the representative time of the bottle (for example, the time in the center of the bottle) as the time t 1 described above, and calculates the distance D to the object to be measured 100 according to the formula (1) described above. be able to. In this way, by using a plurality of light receiving results, it is possible to perform appropriate distance measurement for random noise.
  • FIG. 3 is a block diagram showing a configuration example of the distance measuring device 1 according to the embodiment of the present disclosure.
  • the distance measuring device 1 includes a light source 2, a light receiving element 3, a light source driving unit 4, a light source control unit 5, a TDC (Time to Digital Converter: time digital converter) 6, and a histogram.
  • a generation unit 7, a selection unit 8, and a distance calculation unit 9 are provided.
  • the TDC 6 is an example of a time measuring unit.
  • the light source 2 is composed of a laser diode such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting LASER), for example.
  • VCSEL Vertical Cavity Surface Emitting LASER
  • the light source 2 is not limited to the VCSEL, and a laser diode array in which laser diodes are arranged on a line may be used.
  • the light receiving element 3 converts light into an electric signal by photoelectric conversion, and outputs a signal corresponding to the received light.
  • the light receiving element 3 has, for example, a plurality of SPAD (Single Photon Avalanche Diode) elements arranged in a two-dimensional lattice pattern.
  • SPAD Single Photon Avalanche Diode
  • the SPAD element has a characteristic that a large current flows according to the incident of one photon. Then, the SPAD element can detect the incident of one photon contained in the reflected light L2 with high sensitivity by utilizing such a characteristic.
  • the signal generated by the SPAD element of the light receiving element 3 is supplied to the TDC 6.
  • the light source driving unit 4 drives the light source 2.
  • the light source driving unit 4 drives the light source 2 so that the emission light L1 having a predetermined timing and pulse width is emitted from the light source 2 based on the light emission control signal from the light source control unit 5.
  • the light source driving unit 4 can drive the light source 2 so that the laser light is scanned in the direction perpendicular to the line from the light source 2 having the laser diodes arranged on the line, for example. The details of the light source driving unit 4 will be described later.
  • the light source control unit 5 controls the overall operation of the distance measuring device 1 according to, for example, a program incorporated in advance. For example, the light source control unit 5 controls the light emission timing and the pulse width of the light source 2 by controlling the pulse generation circuit 28 (see FIG. 4) of the light source drive unit 4.
  • the light source control unit 5 controls the operation of the plurality of SPAD elements in the light receiving element 3.
  • the light source control unit 5 can control the reading of signals from each SPAD element for each block including (n ⁇ m) SPAD elements having n pixels in the row direction and m pixels in the column direction. ..
  • the light source control unit 5 can scan each SPAD element in the row direction and further scan each row in the column direction in units of the block to read a signal from each SPAD element.
  • the light source control unit 5 may independently read a signal from each SPAD element.
  • FIG. 4 is a circuit diagram showing a configuration example of the light source driving unit 4 and the light source 2 according to the embodiment of the present disclosure.
  • the light source driving unit 4 includes reference current sources 20, 21, n-type transistors 22, 23, 27, 29, 30, 31, 32, and p-type transistors 24, 25. It has 26 and a pulse generation circuit 28.
  • the reference current sources 20 and 21 generate a predetermined reference current.
  • the reference current source 20 is connected to the drain of the n-type transistor 22. Then, the reference current generated by the reference current source 20 is duplicated by the current mirror circuit CM1 whose replication source is the n-type transistor 22 and whose replication destination is the n-type transistor 23.
  • the drain of the n-type transistor 23 is connected to the drain of the p-type transistor 24.
  • the source of the p-type transistor 24 is connected to the power supply voltage Vdd, and the gate of the p-type transistor is connected to the gate of the p-type transistor 25 and the drain of the p-type transistor 24. That is, the current mirror circuit CM2 is configured by the p-type transistors 24 and 25.
  • the p-type transistor 24 includes a predetermined number of p-type transistors connected in parallel. Then, the light source control unit 5 can control the current mirror ratio of the current mirror circuit CM2 composed of the p-type transistors 24 and 25 by controlling the number of p-type transistors in the on state in the p-type transistor 24. it can.
  • the source of the p-type transistor 25 is connected to the power supply voltage Vdd, and the drain of the p-type transistor 25 is connected to the source of the p-type transistor 26.
  • a CMOS (Complementary Metal-Oxide-Semiconductor) circuit is configured by the p-type transistor 26 and the n-type transistor 27.
  • the input terminal of the CMOS circuit is connected to the pulse generation circuit 28.
  • the pulse generation circuit 28 generates a pulse signal. Then, the light source control unit 5 can control the pulse width and the pulse period of the pulse signal generated by the pulse generation circuit 28.
  • the output terminal of the CMOS circuit composed of the p-type transistor 26 and the n-type transistor 27 is connected to the gate of the n-type transistor 29.
  • the pulse width and the pulse period are controlled by the pulse generation circuit 28, and the pulse signal whose pulse rise time is controlled by the current mirror ratio of the current mirror circuit CM2 is input to the gate of the n-type transistor 29.
  • the shape of the pulse signal input to the gate of the n-type transistor 29 is controlled by the light source control unit 5.
  • the reference current source 21 is connected to the drain of the n-type transistor 30.
  • the reference current generated by the reference current source 21 is duplicated by the current mirror circuit CM3 whose replication source is the n-type transistor 30 and whose replication destination is the n-type transistor 31.
  • the n-type transistor 32 connected in series with the n-type transistor 30 is normally maintained in the ON state.
  • the n-type transistor 30 includes a predetermined number of n-type transistors connected in parallel. Then, the light source control unit 5 can control the current mirror ratio of the current mirror circuit CM3 composed of the n-type transistors 30 and 31 by controlling the number of on-type n-type transistors in the n-type transistor 30. it can.
  • the anode of the light source 2 which is a laser diode is connected to the power supply voltage Vdd, and the cathode of the light source 2 is connected to the drain of the n-type transistor 31. Further, the source of the n-type transistor 31 is connected to the drain of the n-type transistor 29, and the source of the n-type transistor 29 is grounded. That is, the light source 2, the n-type transistor 31 and the n-type transistor 29 are connected in series between the power supply voltage Vdd and the ground potential.
  • pulse upper limit of the drive current I B for driving the light source 2 is controlled by the current mirror ratio of the current mirror circuit CM3, the waveform of the drive current I B is input to the gate of the n-type transistor 29 It is controlled by a signal.
  • FIG. 5 is a diagram showing an example of the drive current I B of the light source 2 according to an embodiment of the present disclosure.
  • the light source control unit 5 controls the two current mirror circuits CM2 and CM3, and also controls the pulse width and pulse period of the pulse signal output from the pulse generation circuit 28 to control the light source 2.
  • the drive state can be changed dynamically.
  • the light source control section 5 is shown an example of controlling the upper limit value and the rise time of the drive current I B, it may control the fall time of the drive current I B in addition to these. Further, the example of FIG. 4 is just an example of the light source driving unit 4, and circuits having different configurations may be used as the light source driving unit 4.
  • the TDC 6 converts the pixel signal supplied from the light receiving element 3 into time information indicating the timing. Specifically, the TDC 6 regards the light emission timing of the light source 2 sent from the light source control unit 5 as the time t 0 (see FIG. 2).
  • the TDC 6 measures the time from the light emission timing of the light source 2 to the light reception timing of the light reception element 3 based on the time t 0, and outputs the measured result as digital time information.
  • the histogram generation unit 7 generates a histogram as shown in FIG. 2 based on the time information output from the TDC 6. Specifically, the histogram generation unit 7 classifies the time information sent from the TDC 6 according to the histogram, and increments the value of the corresponding bin of the histogram.
  • a series of processes such as output of a light emission command to the light source drive unit 4, light emission of the light source 2 in response to the light source command, conversion to time information by the TDC 6, and increment of the histogram bin based on the time information by the histogram generation unit 7 are predetermined. It is repeated a number of times (for example, tens of thousands of times). As a result, the histogram generation unit 7 completes the generation of the histogram per frame.
  • the selection unit 8 selects one peak based on the driving state of the light source 2 controlled by the light source control unit 5. The specific operation of the selection unit 8 will be described later.
  • the distance calculation unit 9 calculates the distance D to the object by the above equation (1) based on one peak selected by the selection unit 8.
  • FIG. 6 is a diagram showing an example of the pulse shape of the emitted light L1 from the light source 2 according to the embodiment of the present disclosure.
  • the pulse shapes of the four types of emitted light L1 emitted from the light source 2 are set. These pulse shapes are the pulse shapes of the emission light L1 emitted from the light source 2 controlled by the light source control unit 5 in four types of drive states 1 to 4.
  • the driving state of the light source 2 changes from the driving state 1 to the driving states 2, 3 and 4, the rise time and the falling time of the pulse of the emitted light L1 are shortened.
  • the pulse shape is set.
  • FIG. 7 is a diagram showing an example of a histogram generated by the histogram generation unit 7 according to the embodiment of the present disclosure. Specifically, FIG. 7 shows a simulation result of a histogram generated based on the reflected light L2 caused by the emitted light L1 controlled in the above-mentioned driving states 1 to 4.
  • the intensity and summary statistics of the peaks in the histogram generated by the histogram generation unit 7 for example, variance, skewness, kurtosis, asymmetry, tail). Skewness, average, mode, median, etc.
  • the intensity of the peak and the summary statistic are collectively referred to as "peak shape".
  • the light source control unit 5 dynamically changes the driving state of the light source 2, thereby dynamically changing the peak intensity and the summary statistic (that is, the peak shape) obtained for each frame.
  • FIG. 8 is a diagram for explaining a change in the peak shape in the histogram caused by the own device according to the embodiment of the present disclosure.
  • the light source control unit 5 controls the driving state of the light source 2 so that the peak P1 having a low intensity can be obtained in the frame 1, and the variance is the same as that of the previous peak P1 in the frame 2.
  • the driving state of the light source 2 is controlled so that a peak P2 having a large value can be obtained.
  • the light source control unit 5 controls the driving state of the light source 2 so that the peak P3 having the same intensity as the previous peak P2 and a small dispersion can be obtained in the frame 3, and the intensity is smaller than the previous peak P3 in the frame 4.
  • the driving state of the light source 2 is controlled so that the peak P4 having a large dispersion can be obtained.
  • FIG. 9 is a diagram for explaining a change in peak shape in the histogram caused by another device according to the embodiment of the present disclosure. Even if another device can inject light at a timing synchronized with the emission light L1 caused by its own device, the other device emits light whose intensity and summary statistics are synchronized with the emission light L1. It is difficult to make it incident on the device.
  • the peaks P1a to P4a in the histograms of frames 1 to 4 caused by other devices all have substantially the same intensity and summary statistic peaks.
  • a plurality of peaks are detected in one frame as shown in FIG.
  • the above-mentioned peak P1 and peak P1a are detected in frame 1
  • peak P2 and peak P2a are detected in frame 2
  • peak P3 and peak P3a are detected in frame 3
  • peak P4 and peak P3a are detected in frame 4.
  • Peak P4a is detected.
  • the selection unit 8 has higher validity from a plurality of peaks detected in one frame based on the information regarding the driving state of the light source 2 sent from the light source control unit 5. Select one peak.
  • the light source control unit 5 sends information to the selection unit 8 indicating that "the peak detected in frame 2 has the same dispersion and higher intensity than the peak detected in frame 1."
  • the selection unit 8 compares the peak shapes of the peak P1 in the frame 1 and the peak P2 in the frame 2 and the peak shapes of the peak P1a in the frame 1 and the peak P2a in the frame 2.
  • the selection unit 8 can select a highly valid peak P1 from the histogram in the frame 1 by using the information regarding the drive state sent from the light source control unit 5, and the selection unit 8 can select the highly valid peak P1 from the histogram in the frame 2. High peak P2 can be selected.
  • the selection unit 8 can see the peaks with high validity from the histogram in the frame 3. P3 can be selected.
  • the selection unit 8 can obtain a highly valid peak from the histogram in the frame 4. P4 can be selected.
  • the selection unit 8 plots the summary statistics (for example, variance) of the peaks detected in each frame. Then, when the movement of the polygonal line plotted and formed matches the movement predicted from the driving state of the light source 2, the selection unit 8 can determine that the peak forming the polygonal line is a highly valid peak. ..
  • the summary statistic used is not limited to one type, and by using a plurality of types of summary statistic in multiple dimensions and comparing it with the movement predicted from the driving state of the light source 2, further. Highly relevant peaks can be selected.
  • the light source control unit 5 dynamically changes the drive state of the light source 2
  • the movement of the polygonal line becomes large by changing the drive state of the light source 2 so that the difference in the summary statistics becomes large.
  • the selection unit 8 can accurately determine a highly valid peak.
  • the distance calculation unit 9 is based on the peaks P1 to P4 caused by the own device selected by the selection unit 8 instead of the peaks P1a to P4a caused by the other device selected by the selection unit 8.
  • the distance D to is calculated.
  • the embodiment by determining whether or not the peak shape matches the driving state of the light source 2 every frame, when a plurality of peaks are detected in one frame, the injection from the own device is performed.
  • the peak caused by the light L1 can be selected. Therefore, according to the embodiment, it is possible to suppress interference caused by other ranging devices and the like.
  • one peak is selected from a plurality of separated peaks, but one peak is selected from a plurality of peaks detected in an overlapping manner. You may choose.
  • the overlapping peaks may be separated into peaks using an existing method, and one peak may be selected from the plurality of separated peaks.
  • the dispersion value of the peak caused by the light directly incident from another device is much smaller than the peak caused by the reflected light L2 from the object. Therefore, the variance values of a plurality of peaks detected in one frame are compared, and if the variance value of a certain peak is very small compared to the variance value of another peak, such a peak is transmitted from another device. It can be regarded as a peak caused by directly incident light and excluded from the selection candidates.
  • the light source control unit 5 may randomly change the driving state of the light source 2.
  • the light source control unit 5 according to the embodiment randomly changes the drive state of the light source 2 by including the output result of the random number generator (not shown) in the process of determining the drive state of the light source 2. Can be done.
  • the light source control section 5 the pulse width of the drive current I B for driving the light source 2, by changing at least one of the rise and fall times, changing the driving state of the light source 2 Good.
  • the driving state of the light source 2 can be changed by using a simple circuit as shown in FIG. 4, so that the area of the circuit required for the distance measuring device 1 can be reduced. Therefore, according to the embodiment, the manufacturing cost of the distance measuring device 1 can be reduced.
  • the pulse width of the drive current I B by changing the non-rise and fall times, it may be changed driving state of the light source 2.
  • the selection unit 8 selects one peak from a plurality of peaks based on at least one summary statistic of the variance, skewness, kurtosis, asymmetry, and tailing of the peaks. It is good to do it. This is because, as shown in FIG. 7, these five types of summary statistics can be accurately controlled by controlling the driving state of the light source 2.
  • one peak may be selected from a plurality of peaks based on summary statistics other than peak variance, skewness, kurtosis, asymmetry, and tailing.
  • one peak may be selected using at least one of these five types of summary statistics, as well as at least one of mean, mode, and median summary statistics.
  • the selection unit 8 may execute machine learning to select one peak from a plurality of peaks. Specifically, the selection unit 8 executes machine learning based on the information on the driving state of the light source 2 and the information on the summary statistic of the peak in the driving state, and the summary statistic of the peak corresponding to the driving state of the light source 2. Generate a learning model for. The selection unit 8 stores the generated learning model information in a storage unit (not shown).
  • the selection unit 8 can select one peak based on the summary statistics of the plurality of peaks and the generated learning model.
  • the selection unit 8 may not be operated. In this way, when the plurality of peaks are not detected and there is no risk of interference, the power consumed by the selection unit 8 can be reduced by stopping the operation of the selection unit 8.
  • the power consumption of the distance measuring device 1 can be reduced.
  • FIG. 11 is a flowchart showing a processing procedure of the distance measuring process according to the embodiment.
  • the TDC 6 performs a time measurement process for measuring time information indicating the time from the light emission timing when the light source 2 emits light to the light reception timing when the light receiving element 3 receives light (step S101).
  • the TDC 6 regards the light emission timing of the light source 2 sent from the light source control unit 5 as the time t 0, and based on the time t 0 , the light receiving light received by the light receiving element 3 from the light emission timing of the light source 2 is emitted. Measure the time to the timing. Then, the TDC 6 outputs the measured result to the histogram generation unit 7 as time information of the digital value.
  • the histogram generation unit 7 executes a histogram generation process for generating a histogram based on the time information (step S102). Specifically, the histogram generation unit 7 classifies the time information sent from the TDC 6 according to the histogram, and increments the value of the corresponding bin of the histogram.
  • the light emission of the light source 2 in response to the light emission command, the conversion to the time information by the TDC 6, and the increment by the histogram generation unit 7 are repeated a predetermined number of times, so that the histogram generation unit 7 completes the generation of the histogram per frame. ..
  • the light source control unit 5 executes a light source control process that dynamically changes the drive state of the light source 2 (step S103). Specifically, the light source control unit 5 drives the light source 2 by controlling the two current mirror circuits CM2 and CM3 and controlling the pulse width and pulse period of the pulse signal output from the pulse generation circuit 28. Change the state dynamically.
  • the light source control unit 5 dynamically changes the peak shape obtained for each frame by dynamically changing the driving state of the light source 2.
  • the selection unit 8 determines whether or not a plurality of peaks are detected in the histogram in one frame (step S104). Then, when a plurality of peaks are detected in the histogram in one frame (step S104, Yes), the selection unit 8 performs a selection process of selecting one peak based on the driving state of the light source 2 (step). S105).
  • the distance calculation unit 9 executes a distance calculation process for calculating the distance D to the object based on the selected peak (step S106), and ends a series of distance measurement processes.
  • the distance calculation unit 9 calculates the distance D to the object based on the detected one peak (step S104, No). Step S106). That is, if a plurality of peaks are not detected in the histogram in one frame, the selection unit 8 does not perform the selection process.
  • the distance measuring device 1 includes a time measuring unit (TDC 6), a histogram generating unit 7, a light source control unit 5, a selection unit 8, and a distance calculating unit 9.
  • the time measuring unit (TDC6) measures time information indicating the time from the light emitting timing when the light source 2 emits light to the light receiving timing when the light receiving element 3 receives light.
  • the histogram generation unit 7 generates a histogram based on time information.
  • the light source control unit 5 dynamically changes the driving state of the light source 2. When a plurality of peaks are detected in the histogram in one frame, the selection unit 8 selects one peak based on the driving state of the light source 2.
  • the distance calculation unit 9 calculates the distance D to the object based on the selected peak.
  • the light source control unit 5 randomly changes the driving state of the light source 2.
  • the light source control unit 5 changes the driving state of the light source 2 by changing at least one of the pulse width, the rising time, and the falling time of the current that drives the light source 2. change.
  • the area of the circuit required for the distance measuring device 1 can be reduced, so that the manufacturing cost of the distance measuring device 1 can be reduced.
  • the selection unit 8 determines one peak based on at least one summary statistic of the variance, skewness, kurtosis, asymmetry, and tailing degree of the plurality of peaks. select.
  • the selection unit 8 is a learning model generated by using the information on the driving state of the dynamically changed light source 2 and the information on the summary statistic of the peak in the histogram. Select one peak from.
  • the ranging device 1 does not operate the selection unit 8 when a plurality of peaks are not detected in the histogram in one frame.
  • the power consumption of the ranging device 1 can be reduced.
  • the distance measuring method includes a time measurement step (step S101), a histogram generation step (step S102), a light source control step (step S103), a selection step (step S104), and a distance calculation step (step S105). ) And.
  • time measurement step step S101
  • time information indicating the time from the light emission timing when the light source 2 emits light to the light reception timing when the light receiving element 3 receives light is measured.
  • the histogram generation step (step S102) generates a histogram based on time information.
  • the light source control step (step S103) dynamically changes the driving state of the light source 2.
  • step S104 when a plurality of peaks are detected in the histogram in one frame, one peak is selected based on the driving state of the light source 2.
  • the distance calculation step (step S105) calculates the distance D to the object based on the selected peak.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 13 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 13 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the distance measuring device 1 of FIG. 1 can be applied to the imaging unit 12031.
  • the technique according to the present disclosure it is possible to suppress interference caused by a distance measuring device of another vehicle or the like.
  • the selection unit 8 and the distance calculation unit 9 are provided inside the distance measuring device 1, but the selection unit 8 and the distance calculation unit 9 are provided in the application processor provided outside the distance measuring device 1. It may be provided.
  • the present technology can also have the following configurations.
  • a time measuring unit that measures time information indicating the time from the light emission timing of the light source to the light reception timing of the light receiving element.
  • a histogram generator that generates a histogram based on the time information
  • a light source control unit that dynamically changes the drive state of the light source
  • a selection unit that selects one peak based on the driving state of the light source when a plurality of peaks are detected in the histogram in one frame.
  • a distance calculation unit that calculates the distance to the object based on the selected peak, A distance measuring device equipped with.
  • the light source control unit changes the driving state of the light source by changing at least one of a pulse width, a rising time, and a falling time of a current that drives the light source according to the above (1) or (2).
  • Distance measuring device (4)
  • the selection unit selects one peak based on at least one summary statistic of the variance, skewness, kurtosis, asymmetry and tailing of the plurality of peaks (1) to (3).
  • the ranging device according to any one.
  • the selection unit selects one peak from a learning model generated using the dynamically changed information about the driving state of the light source and the information about the summary statistics of the peaks in the histogram (4). ).
  • the light source control step is described in (7) or (8) above, wherein the driving state of the light source is changed by changing at least one of a pulse width, a rising time, and a falling time of a current that drives the light source.
  • Distance measurement method In the selection step, one peak is selected based on at least one summary statistic of the variance, skewness, kurtosis, asymmetry and tailing of the plurality of peaks (7) to (9). The distance measuring method described in any one of them.
  • the selection step selects one peak from a learning model generated using the dynamically modified information about the driving state of the light source and the information about the summary statistics of the peaks in the histogram. ).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示に係る測距装置(1)は、時間計測部と、ヒストグラム生成部(7)と、光源制御部(5)と、選択部(8)と、距離算出部(9)とを備える。時間計測部は、光源(2)が発光した発光タイミングから、受光素子(3)が受光した受光タイミングまでの時間を示す時間情報を計測する。ヒストグラム生成部(7)は、時間情報に基づくヒストグラムを生成する。光源制御部(5)は、光源(2)の駆動状態を動的に変更する。選択部(8)は、1つのフレーム内のヒストグラムに複数のピークが検出された場合に、光源(2)の駆動状態に基づいて1つのピークを選択する。距離算出部(9)は、選択されたピークに基づいて、対象物までの距離(D)を算出する。

Description

測距装置および測距方法
 本開示は、測距装置および測距方法に関する。
 光を用いて被測定物までの距離を測定する測距方式の一つとして、直接ToF(Time of Flight)方式と呼ばれる測距手法が知られている。かかる直接ToF方式では、光源から射出された光が被測定物により反射された反射光を受光素子により受光し、光が射出されてから反射光として受光されるまでの時間に基づき対象までの距離を計測する。
 また、光源から射出される光の発光タイミングをランダムに変更することにより、他車両の測距装置から射出される光に起因する混信を抑制することができる(たとえば、特許文献1参照)。
特開2017-125682号公報
 しかしながら、発光タイミングをランダムに変更するだけでは、多数の車両が近接する場合に混信を十分に防止することが困難であった。さらに、上記の従来技術では、悪意を持った第三者が発光タイミングに追従する形で異なる発光を行った場合、測距データが改ざんされる恐れがあった。
 そこで、本開示では、他の測距装置などに起因する混信を抑制することができる測距装置および測距方法を提案する。
 本開示によれば、測距装置が提供される。測距装置は、時間計測部と、ヒストグラム生成部と、光源制御部と、選択部と、距離算出部とを備える。時間計測部は、光源が発光した発光タイミングから、受光素子が受光した受光タイミングまでの時間を示す時間情報を計測する。ヒストグラム生成部は、前記時間情報に基づくヒストグラムを生成する。光源制御部は、前記光源の駆動状態を動的に変更する。選択部は、1つのフレーム内の前記ヒストグラムに複数のピークが検出された場合に、前記光源の駆動状態に基づいて1つのピークを選択する。距離算出部は、前記選択されたピークに基づいて、対象物までの距離を算出する。
 本開示によれば、他の測距装置などに起因する混信を抑制することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態に適用可能である直接ToF方式による測距を模式的に示す図である。 本開示の実施形態に適用可能である受光部が受光した時刻に基づく一例のヒストグラムを示す図である。 本開示の実施形態に係る測距装置の構成例を示すブロック図である。 本開示の実施形態に係る光源駆動部および光源の構成例を示す回路図である。 本開示の実施形態に係る光源の駆動電流の一例を示す図である。 本開示の実施形態に係る光源からの射出光のパルス形状の一例を示す図である。 本開示の実施形態に係るヒストグラム生成部で生成されるヒストグラムの一例を示す図である。 本開示の実施形態に係る自装置に起因するヒストグラムのピーク形状の変化について説明するための図である。 本開示の実施形態に係る他装置に起因するヒストグラムのピーク形状の変化について説明するための図である。 本開示の実施形態に係るヒストグラム生成部で生成されるヒストグラムの変化について説明するための図である。 実施形態に係る測距処理の処理手順を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下に、本開示の各実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 光を用いて被測定物までの距離を測定する測距方式の一つとして、直接ToF(Time of Flight)方式と呼ばれる測距手法が知られている。かかる直接ToF方式では、光源から射出された光が被測定物により反射された反射光を受光素子により受光し、光が射出されてから反射光として受光されるまでの時間に基づき対象までの距離を計測する。
 また、光源から射出される光の発光タイミングをランダムに変更することにより、他車両の測距装置から射出される光に起因する混信を抑制することができる。
 しかしながら、発光タイミングをランダムに変更するだけでは、多数の車両が近接する場合に混信を十分に防止することが困難であった。さらに、上記の従来技術では、悪意を持った第三者が発光タイミングに追従する形で異なる発光を行った場合、測距データが改ざんされる恐れがあった。
 そこで、上述の問題点を克服し、他の測距装置などに起因する混信を抑制することができる測距装置および測距方法の実現が期待されている。
[測距方法]
 本開示は、光を用いて測距を行う技術に関するものである。そこで、本開示の実施形態の理解を容易とするために、図1および図2を参照しながら、実施形態に適用可能な測距方法について説明する。
 図1は、本開示の実施形態に適用可能である直接ToF方式による測距を模式的に示す図である。実施形態では、測距方式として直接ToF方式を適用する。
 かかる直接ToF方式は、光源2からの射出光L1が被測定物100により反射した反射光L2を受光素子3により受光し、光の射出タイミングと受光タイミングとの差分の時間に基づき測距を行う方式である。
 測距装置1は、光源2と、受光素子3とを備える。光源2は、たとえばレーザダイオードであり、レーザ光をパルス状に発光するように駆動される。
 光源2からの射出光L1は、被測定物100により反射され、反射光L2として受光素子3に受光される。受光素子3は、光電変換によって光を電気信号に変換し、受光した光に応じた信号を出力する。
 ここで、光源2が発光した時刻(発光タイミング)を時間t0、光源2からの射出光L1が被測定物100により反射された反射光L2を受光素子3が受光した時刻(受光タイミング)を時間t1とする。
 定数cを光速度(2.9979×108[m/sec])とすると、測距装置1と被測定物100との間の距離Dは、次式(1)により算出することができる。
D=(c/2)×(t1-t0)  …(1)
 より具体的には、測距装置1は、発光タイミングの時間t0から受光素子3に光が受光された受光タイミングまでの時間tm(以下、「受光時間tm」とも呼称する。)を階級(ビン(bins))に基づき分類し、ヒストグラムを生成する。
 図2は、本開示の実施形態に適用可能である受光素子3が受光した時刻に基づく一例のヒストグラムを示す図である。図2において、横軸はビン、縦軸はビン毎の頻度を示す。ビンは、受光時間tmを所定の単位時間d毎に分類したものである。
 具体的には、ビン#0が0≦tm<d、ビン#1がd≦tm<2×d、ビン#2が2×d≦tm<3×d、…、ビン#(N-2)が(N-2)×d≦tm<(N-1)×dとなる。受光素子3の露光時間を時間tepとした場合、tep=N×dとなる。
 測距装置1は、受光時間tmを取得した回数をビンに基づき計数してビン毎の頻度200を求め、ヒストグラムを生成する。ここで、受光素子3は、光源2からの射出光L1が反射された反射光L2以外の光も受光する。
 たとえば、対象となる反射光L2以外の光の例として、測距装置1の周囲の環境光がある。かかる環境光は、受光素子3にランダムに入射する光であって、ヒストグラムにおける環境光による環境光成分201は、対象となる反射光L2に対するノイズとなる。
 一方、対象となる反射光L2は、特定の距離に応じて受光される光であって、ヒストグラムにおいてアクティブ光成分202として現れる。このアクティブ光成分202内のピークの頻度に対応するビンが、被測定物100の距離Dに対応するビンとなる。
 測距装置1は、そのビンの代表時間(たとえばビンの中央の時間)を上述した時間t1として取得することで、上述した式(1)に従い、被測定物100までの距離Dを算出することができる。このように、複数の受光結果を用いることで、ランダムなノイズに対して適切な測距が実行可能となる。
[測距装置の詳細]
 つづいて、実施形態に係る測距装置1の詳細について、図3~図10を参照しながら説明する。図3は、本開示の実施形態に係る測距装置1の構成例を示すブロック図である。
 図3に示すように、測距装置1は、光源2と、受光素子3と、光源駆動部4と、光源制御部5と、TDC(Time to Digital Converter:時間デジタル変換回路)6と、ヒストグラム生成部7と、選択部8と、距離算出部9とを備える。TDC6は、時間計測部の一例である。
 光源2は、たとえば、垂直共振器面発光レーザ(VCSEL:Vertical Cavity Surface Emitting LASER)などのレーザダイオードで構成される。なお、光源2は、VCSELに限られず、レーザダイオードがライン上に配列されたレーザダイオードアレイなどを用いてもよい。
 受光素子3は、光電変換によって光を電気信号に変換し、受光した光に応じた信号を出力する。受光素子3は、たとえば、2次元格子状に配列される複数のSPAD(Single Photon Avalanche Diode)素子を有する。
 かかるSPAD素子は、アバランシ増倍が発生する大きな逆バイアス電圧をカソードに印加することにより、1光子の入射に応じて発生した電子に起因して、内部でアバランシ増倍が生じる。
 すなわち、SPAD素子は、1光子の入射に応じて大電流が流れる特性を有する。そして、SPAD素子では、かかる特性を利用することで、反射光L2に含まれる1光子の入射を高感度で検知することができる。受光素子3のSPAD素子で発生する信号は、TDC6に供給される。
 光源駆動部4は、光源2を駆動する。光源駆動部4は、たとえば、光源制御部5からの発光制御信号に基づいて、光源2から所定のタイミングおよびパルス幅を有する射出光L1が出射されるように光源2を駆動する。
 光源駆動部4は、たとえば、ライン上に配列されるレーザダイオードを有する光源2から、レーザ光がラインに垂直の方向にスキャンされるように光源2を駆動することができる。かかる光源駆動部4の詳細については後述する。
 光源制御部5は、たとえば予め組み込まれるプログラムに従い、測距装置1の全体の動作を制御する。たとえば、光源制御部5は、光源駆動部4のパルス生成回路28(図4参照)を制御することにより、光源2の発光タイミングおよびパルス幅を制御する。
 また、光源制御部5は、受光素子3における複数のSPAD素子の動作を制御する。たとえば、光源制御部5は、各SPAD素子からの信号の読み出しを、行方向にn画素、列方向にm画素の、(n×m)個のSPAD素子を含むブロック毎に制御することができる。
 また、光源制御部5は、当該ブロックを単位として、各SPAD素子を行方向にスキャンし、さらに行毎に列方向にスキャンして、各SPAD素子から信号を読み出すことができる。なお、実施形態において、光源制御部5は、各SPAD素子からそれぞれ単独に信号を読み出してもよい。
 ここで、実施形態に係る光源制御部5は、光源駆動部4の動作を制御することにより、光源2の駆動状態を動的に変更する。そこで以降では、図4を参照しながら、光源制御部5によって制御される光源駆動部4および光源2の回路構成について説明する。図4は、本開示の実施形態に係る光源駆動部4および光源2の構成例を示す回路図である。
 図4に示すように、実施形態に係る光源駆動部4は、基準電流源20、21と、n型トランジスタ22、23、27、29、30、31、32と、p型トランジスタ24、25、26と、パルス生成回路28とを有する。
 基準電流源20、21は、所定の基準電流を生成する。基準電流源20は、n型トランジスタ22のドレインに接続される。そして、基準電流源20で生成される基準電流は、n型トランジスタ22を複製元とし、n型トランジスタ23を複製先とするカレントミラー回路CM1により複製される。
 n型トランジスタ23のドレインは、p型トランジスタ24のドレインに接続される。かかるp型トランジスタ24のソースは電源電圧Vddに接続され、p型トランジスタのゲートはp型トランジスタ25のゲートおよびp型トランジスタ24のドレインに接続される。すなわち、p型トランジスタ24、25によって、カレントミラー回路CM2が構成される。
 なお、p型トランジスタ24は、並列接続される所定数のp型トランジスタを含む。そして、光源制御部5は、p型トランジスタ24におけるオン状態のp型トランジスタの数を制御することにより、p型トランジスタ24、25で構成されるカレントミラー回路CM2のカレントミラー比を制御することができる。
 p型トランジスタ25のソースは電源電圧Vddに接続され、p型トランジスタ25のドレインはp型トランジスタ26のソースに接続される。また、p型トランジスタ26およびn型トランジスタ27によって、CMOS(Complementary Metal-Oxide-Semiconductor)回路が構成される。
 かかるCMOS回路の入力端子は、パルス生成回路28に接続される。パルス生成回路28は、パルス信号を生成する。そして、光源制御部5は、パルス生成回路28で生成されるパルス信号のパルス幅およびパルス周期を制御することができる。
 また、p型トランジスタ26およびn型トランジスタ27で構成されるCMOS回路の出力端子は、n型トランジスタ29のゲートに接続される。
 そして、パルス生成回路28でパルス幅およびパルス周期が制御され、カレントミラー回路CM2のカレントミラー比でパルスの立ち上がり時間が制御されたパルス信号がn型トランジスタ29のゲートに入力される。このn型トランジスタ29のゲートに入力されるパルス信号の形状は、光源制御部5によって制御される。
 基準電流源21は、n型トランジスタ30のドレインに接続される。かかる基準電流源21で生成される基準電流は、n型トランジスタ30を複製元とし、n型トランジスタ31を複製先とするカレントミラー回路CM3により複製される。なお、n型トランジスタ30と直列に接続されるn型トランジスタ32は、通常オン状態で維持される。
 なお、n型トランジスタ30は、並列接続される所定数のn型トランジスタを含む。そして、光源制御部5は、n型トランジスタ30におけるオン状態のn型トランジスタの数を制御することにより、n型トランジスタ30、31で構成されるカレントミラー回路CM3のカレントミラー比を制御することができる。
 レーザダイオードである光源2のアノードは電源電圧Vddに接続され、光源2のカソードはn型トランジスタ31のドレインに接続される。さらに、n型トランジスタ31のソースはn型トランジスタ29のドレインに接続され、n型トランジスタ29のソースは接地される。すなわち、光源2、n型トランジスタ31およびn型トランジスタ29は、電源電圧Vddと接地電位との間で直列に接続される。
 ここまで説明した回路によって、光源2を駆動する駆動電流Iの上限値がカレントミラー回路CM3のカレントミラー比で制御され、駆動電流Iの波形がn型トランジスタ29のゲートに入力されるパルス信号で制御される。
 たとえば、図5に示すように、光源制御部5は、光源2を駆動する駆動電流Iの上限値や立ち上がり時間を様々に制御することができる。図5は、本開示の実施形態に係る光源2の駆動電流Iの一例を示す図である。
 すなわち、実施形態に係る光源制御部5は、2つのカレントミラー回路CM2、CM3を制御するとともに、パルス生成回路28から出力されるパルス信号のパルス幅およびパルス周期を制御することにより、光源2の駆動状態を動的に変更することができる。
 なお、実施形態では、光源制御部5が駆動電流Iの上限値および立ち上がり時間を制御する例について示したが、これらに加えて駆動電流Iの立ち下がり時間を制御してもよい。また、図4の例は光源駆動部4のあくまで一例では、異なる構成を有する回路を光源駆動部4として用いてもよい。
 図3の説明に戻る。TDC6は、受光素子3から供給された画素信号を、タイミングを示す時間情報に変換する。具体的には、TDC6は、光源制御部5から送られる光源2の発光タイミングを時間t(図2参照)とみなす。
 そして、TDC6は、かかる時間tに基づいて、光源2が発光した発光タイミングから受光素子3が受光した受光タイミングまでの時間を計測し、計測された結果をデジタル値の時間情報として出力する。
 ヒストグラム生成部7は、TDC6から出力された時間情報に基づいて、図2に示したようなヒストグラムを生成する。具体的には、ヒストグラム生成部7は、TDC6から送られた時間情報をヒストグラムに従い分類し、ヒストグラムの対応するビンの値をインクリメントする。
 そして、光源駆動部4に対する発光命令の出力、発光命令に応じた光源2の発光、TDC6による時間情報への変換、ヒストグラム生成部7による時間情報に基づくヒストグラムのビンのインクリメントといった一連の処理が所定回数(例えば数万回)繰り返される。これにより、ヒストグラム生成部7による1フレーム当たりのヒストグラムの生成が完了する。
 選択部8は、1つのフレーム内のヒストグラムに複数のピークが検出された場合に、光源制御部5で制御された光源2の駆動状態に基づいて1つのピークを選択する。かかる選択部8の具体的な動作については後述する。
 距離算出部9は、選択部8で選択された1つのピークに基づいて、対象物までの距離Dを上述の式(1)によって算出する。
 つづいて、選択部8の具体的な動作について、図6~図10を参照しながら説明する。図6は、本開示の実施形態に係る光源2からの射出光L1のパルス形状の一例を示す図である。
 本開示では、シミュレーションの入力条件の一例として、光源2から射出される4種類の射出光L1のパルス形状を設定した。これらのパルス形状は、光源制御部5によって4種類の駆動状態1~4に制御される光源2から射出される射出光L1のパルス形状である。
 図6に示すように、本開示では、光源2の駆動状態が駆動状態1から駆動状態2、3、4になるにしたがい、射出光L1のパルスの立ち上がり時間および立ち下がり時間が短くなるようにパルス形状を設定している。
 図7は、本開示の実施形態に係るヒストグラム生成部7で生成されるヒストグラムの一例を示す図である。具体的には、図7は、上述の駆動状態1~4に制御された射出光L1に起因する反射光L2に基づいて生成されるヒストグラムのシミュレーション結果を示している。
 図7に示すように、光源2の駆動状態が駆動状態1から駆動状態2、3、4になるにしたがい、生成されるヒストグラム内のピークの強度が大きくなるとともに、分散が小さくなることがわかる。
 また、光源2の駆動状態が駆動状態1から駆動状態2、3、4になるにしたがい、生成されるヒストグラム内のピークの尖度が大きくなり、歪度が小さくなることがわかる。
 さらに、光源2の駆動状態が駆動状態1から駆動状態2、3、4になるにしたがい、生成されるヒストグラム内のピークの対称性が良好になり、尾引き具合が小さくなることがわかる。
 すなわち、実施形態では、光源2の駆動状態を制御することにより、ヒストグラム生成部7で生成されるヒストグラム内のピークの強度や要約統計量(例えば、分散や歪度、尖度、非対称性、尾引き具合、平均、最頻値、メディアン等)を制御することができる。なお、以降の説明では、ピークの強度や要約統計量のことを総称して、「ピーク形状」とも呼称する。
 そして、実施形態では、光源制御部5が光源2の駆動状態を動的に変更することにより、フレームごとに得られるピークの強度や要約統計量(すなわち、ピーク形状)を動的に変更する。図8は、本開示の実施形態に係る自装置に起因するヒストグラム内のピーク形状の変化について説明するための図である。
 たとえば、図8に示すように、光源制御部5は、フレーム1では強度が小さいピークP1が得られるように光源2の駆動状態を制御し、フレーム2では前のピークP1と分散が変わらず強度が大きいピークP2が得られるように光源2の駆動状態を制御する。
 また、光源制御部5は、フレーム3では前のピークP2と強度が変わらず分散が小さいピークP3が得られるように光源2の駆動状態を制御し、フレーム4では前のピークP3より強度が小さく分散が大きいピークP4が得られるように光源2の駆動状態を制御する。
 図9は、本開示の実施形態に係る他装置に起因するヒストグラム内のピーク形状の変化について説明するための図である。仮に、自装置に起因する射出光L1と同期したタイミングで他装置が光を入射させることができたとしても、かかる他装置は、射出光L1と強度や要約統計量を同期させた光を自装置に入射させることは困難である。
 なぜなら、射出光L1や反射光L2を測定した他装置が、かかる射出光L1や反射光L2の強度や要約統計量を測定し、同期させて別の光を出射するまでには相応の時間が必要となることから、動的に変更されたピーク形状に同期させることは困難だからである。
 したがって、図9に示すように、他装置に起因するフレーム1~4のヒストグラム内のピークP1a~P4aは、全てほぼ同じ強度および要約統計量のピークとなる。
 そして、自装置に起因する反射光L2と他装置に起因する光とがいずれも受光素子3に入射する場合、図10に示すように、1つのフレーム内に複数のピークが検出される。たとえば、フレーム1には上述のピークP1およびピークP1aが検出され、フレーム2にはピークP2およびピークP2aが検出され、フレーム3にはピークP3およびピークP3aが検出され、フレーム4にはピークP4およびピークP4aが検出される。
 ここで、実施形態に係る選択部8は、光源制御部5から送られた光源2の駆動状態に関する情報に基づいて、1つのフレーム内で検出される複数のピークの中からより妥当性の高いピークを1つ選択する。
 たとえば、光源制御部5は、「フレーム2で検出されるピークは、フレーム1で検出されるピークに比べて分散が変わらず強度が大きくなる」旨が示された情報を選択部8に送る。
 また、選択部8は、フレーム1内のピークP1とフレーム2内のピークP2とのピーク形状を対比するとともに、フレーム1内のピークP1aとフレーム2内のピークP2aとのピーク形状を対比する。
 そして、選択部8は、光源制御部5から送られる駆動状態に関する情報を用いることにより、フレーム1内のヒストグラムから妥当性の高いピークP1を選択することができ、フレーム2内のヒストグラムから妥当性の高いピークP2を選択することができる。
 また、同様の手法を用いて、フレーム2内のピークP2、P2aとフレーム3内のピークP3、P3aとをそれぞれ対比することにより、選択部8は、フレーム3内のヒストグラムから妥当性の高いピークP3を選択することができる。
 さらに、同様の手法を用いて、フレーム3内のピークP3、P3aとフレーム4内のピークP4、P4aとをそれぞれ対比することにより、選択部8は、フレーム4内のヒストグラムから妥当性の高いピークP4を選択することができる。
 たとえば、選択部8は、各フレームで検出されるピークの要約統計量(たとえば、分散)をプロットする。そして、プロットされて形成される折れ線の動きが光源2の駆動状態から予測される動きと一致する場合、選択部8は、かかる折れ線を形成するピークを妥当性の高いピークと判定することができる。
 なお、上述の手法において、用いられる要約統計量は1種類に限られず、複数種類の要約統計量を多次元的に用いて、光源2の駆動状態から予測される動きと対比することにより、さらに妥当性の高いピークを選択することができる。
 また、光源制御部5が光源2の駆動状態を動的に変更する際に、要約統計量の差異が大きくなるように光源2の駆動状態を変更することにより、折れ線の動きが大きくなることから、選択部8は、妥当性の高いピークを精度よく判定することができる。
 そして、距離算出部9は、選択部8で選択されなかった他装置に起因するピークP1a~P4aではなく、選択部8で選択された自装置に起因するピークP1~P4に基づいて、対象物までの距離Dを算出する。
 このように、実施形態では、ピーク形状が光源2の駆動状態にマッチするか否かを毎フレーム判定することにより、1つのフレーム内で複数のピークが検出される場合に、自装置からの射出光L1に起因するピークを選択することができる。したがって、実施形態によれば、他の測距装置などに起因する混信を抑制することができる。
 なお、実施形態では、図10に示したように、分離された複数のピークの中から1つのピークを選択する例について示したが、重なって検出される複数のピークの中から1つのピークを選択してもよい。この場合、たとえば、重なったピークを既存の手法を用いてピーク分離し、分離された複数のピークの中から1つのピークを選択すればよい。
 また、実施形態では、異なるフレームの間で検出されるピーク同士の要約統計量を相対的に比較してピークの妥当性を判定する例について示したが、1つのフレーム内で検出される複数のピーク同士の要約統計量の絶対値に基づいて1つのピークを選択してもよい。
 たとえば、対象物からの反射光L2に起因するピークに比べて、他装置から直接入射する光に起因するピークの分散値は非常に小さいことがわかっている。そこで、1つのフレーム内に検出される複数のピーク同士の分散値を比較して、あるピークの分散値が他のピークの分散値と比べて非常に小さい場合には、かかるピークを他装置から直接入射する光に起因するピークとみなして、選択候補から除外することができる。
 また、実施形態では、光源制御部5が、光源2の駆動状態をランダムに変更するとよい。たとえば、実施形態に係る光源制御部5は、光源2の駆動状態を決定するプロセスに乱数生成器(図示せず)の出力結果を含ませることにより、光源2の駆動状態をランダムに変更することができる。
 これにより、実施形態では、光源2の過去の駆動状態に基づいて、他装置が光源2の駆動状態を予測し、自装置のピーク形状に同期させようとした場合でも、かかる他装置に起因する混信を抑制することができる。したがって、実施形態によれば、他の測距装置などに起因する混信を効果的に抑制することができる。
 また、実施形態では、光源制御部5が、光源2を駆動する駆動電流Iのパルス幅、立ち上がり時間および立ち下がり時間のうち少なくとも1つを変更することによって、光源2の駆動状態を変更するとよい。
 これにより、図4に示したような簡便な回路を用いて、光源2の駆動状態を変更することができることから、測距装置1に必要となる回路の面積を小さくすることができる。したがって、実施形態によれば、測距装置1の製造コストを低減することができる。
 なお、実施形態では、駆動電流Iのパルス幅、立ち上がり時間および立ち下がり時間以外を変更することによって、光源2の駆動状態を変更してもよい。
 また、実施形態では、選択部8が、ピークの分散、歪度、尖度、非対称性および尾引き具合のうち少なくとも1つの要約統計量に基づいて、複数のピークの中から1つのピークを選択するとよい。なぜなら、図7に示したように、これら5種類の要約統計量は、光源2の駆動状態を制御することにより、精度よく制御することが可能な要約統計量だからである。
 すなわち、実施形態では、これら5種類の要約統計量のうち少なくとも1つの要約統計量に基づくことにより、妥当性の高いピークを精度よく選択することができる。したがって、実施形態によれば、他の測距装置などに起因する混信を効果的に抑制することができる。
 なお、実施形態では、ピークの分散、歪度、尖度、非対称性および尾引き具合以外の要約統計量に基づいて、複数のピークの中から1つのピークを選択してもよい。たとえば、これら5種類の要約統計量のうち少なくとも1つの要約統計量に加え、平均、最頻値およびメディアンのうち少なくとも1つの要約統計量を用いて1つのピークを選択してもよい。これにより、他の測距装置などに起因する混信をさらに効果的に抑制することができる。
 また、実施形態では、選択部8が機械学習を実行して複数のピークの中から1つのピークを選択してもよい。具体的には、選択部8は、光源2の駆動状態に関する情報と、かかる駆動状態におけるピークの要約統計量に関する情報により機械学習を実行し、光源2の駆動状態に対応するピークの要約統計量についての学習モデルを生成する。選択部8は、生成した学習モデルの情報を記憶部(図示せず)に記憶する。
 そして、選択部8は、1つのフレーム内に複数のピークが検出された場合に、かかる複数のピークの要約統計量および生成された学習モデルに基づいて、1つのピークを選択することができる。
 このように、機械学習を実行して1つのピークを選択することにより、妥当性の高いピークを精度よく選択することができる。したがって、実施形態によれば、他の測距装置などに起因する混信を効果的に抑制することができる。
 また、実施形態では、1つのフレーム内のヒストグラムに複数のピークが検出されない場合、選択部8を動作させないとよい。このように、複数のピークが検出されず混信の恐れがない場合に、選択部8の動作を停止させることにより、かかる選択部8で消費される電力を低減することができる。
 したがって、実施形態によれば、測距装置1の消費電力を低減することができる。
[測距処理の詳細]
 つづいて、図11を参照しながら、実施形態に係る測距装置1が実行する測距処理の詳細について説明する。図11は、実施形態に係る測距処理の処理手順を示すフローチャートである。
 最初に、TDC6は、光源2が発光した発光タイミングから、受光素子3が受光した受光タイミングまでの時間を示す時間情報を計測する時間計測処理を実施する(ステップS101)。
 具体的には、TDC6は、光源制御部5から送られる光源2の発光タイミングを時間tとみなし、かかる時間tに基づいて、光源2が発光した発光タイミングから受光素子3が受光した受光タイミングまでの時間を計測する。そして、TDC6は、計測された結果をデジタル値の時間情報としてヒストグラム生成部7に出力する。
 次に、ヒストグラム生成部7は、かかる時間情報に基づくヒストグラムを生成するヒストグラム生成処理を実施する(ステップS102)。具体的には、ヒストグラム生成部7は、TDC6から送られた時間情報をヒストグラムに従い分類し、ヒストグラムの対応するビンの値をインクリメントする。
 そして、発光命令に応じた光源2の発光、TDC6による時間情報への変換、およびヒストグラム生成部7によるインクリメントが所定回数繰り返されることにより、ヒストグラム生成部7による1フレーム当たりのヒストグラムの生成が完了する。
 次に、光源制御部5は、光源2の駆動状態を動的に変更する光源制御処理を実施する(ステップS103)。具体的には、光源制御部5は、2つのカレントミラー回路CM2、CM3を制御するとともに、パルス生成回路28から出力されるパルス信号のパルス幅およびパルス周期を制御することにより、光源2の駆動状態を動的に変更する。
 そして、光源制御部5は、光源2の駆動状態を動的に変更することにより、フレームごとに得られるピーク形状を動的に変更する。
 次に、選択部8は、1つのフレーム内のヒストグラムに複数のピークが検出されるか否かを判定する(ステップS104)。そして、1つのフレーム内のヒストグラムに複数のピークが検出される場合(ステップS104,Yes)、選択部8は、光源2の駆動状態に基づいて1つのピークを選択する選択処理を実施する(ステップS105)。
 次に、距離算出部9は、選択されたピークに基づいて、対象物までの距離Dを算出する距離算出処理を実施し(ステップS106)、一連の測距処理を終了する。
 一方で、1つのフレーム内のヒストグラムに複数のピークが検出されない場合(ステップS104,No)、距離算出部9は、検出される1つのピークに基づいて、対象物までの距離Dを算出する(ステップS106)。すなわち、1つのフレーム内のヒストグラムに複数のピークが検出されない場合、選択部8は選択処理を実施しない。
[効果]
 実施形態に係る測距装置1は、時間計測部(TDC6)と、ヒストグラム生成部7と、光源制御部5と、選択部8と、距離算出部9とを備える。時間計測部(TDC6)は、光源2が発光した発光タイミングから、受光素子3が受光した受光タイミングまでの時間を示す時間情報を計測する。ヒストグラム生成部7は、時間情報に基づくヒストグラムを生成する。光源制御部5は、光源2の駆動状態を動的に変更する。選択部8は、1つのフレーム内のヒストグラムに複数のピークが検出された場合に、光源2の駆動状態に基づいて1つのピークを選択する。距離算出部9は、選択されたピークに基づいて、対象物までの距離Dを算出する。
 これにより、他の測距装置などに起因する混信を抑制することができる。
 また、実施形態に係る測距装置1において、光源制御部5は、光源2の駆動状態をランダムに変更する。
 これにより、他の測距装置などに起因する混信を効果的に抑制することができる。
 また、実施形態に係る測距装置1において、光源制御部5は、光源2を駆動する電流のパルス幅、立ち上がり時間および立ち下がり時間のうち少なくとも1つを変更することにより光源2の駆動状態を変更する。
 これにより、測距装置1に必要となる回路の面積を小さくすることができることから、測距装置1の製造コストを低減することができる。
 また、実施形態に係る測距装置1において、選択部8は、複数のピークの分散、歪度、尖度、非対称性および尾引き具合のうち少なくとも1つの要約統計量に基づいて1つのピークを選択する。
 これにより、他の測距装置などに起因する混信を効果的に抑制することができる。
 また、実施形態に係る測距装置1において、選択部8は、動的に変更された光源2の駆動状態に関する情報とヒストグラム内のピークの要約統計量に関する情報とを用いて生成された学習モデルから1つのピークを選択する。
 これにより、他の測距装置などに起因する混信を効果的に抑制することができる。
 また、実施形態に係る測距装置1は、1つのフレーム内のヒストグラムに複数のピークが検出されない場合、選択部8を動作させない。
 これにより、測距装置1の消費電力を低減することができる。
 実施形態に係る測距方法は、時間計測工程(ステップS101)と、ヒストグラム生成工程(ステップS102)と、光源制御工程(ステップS103)と、選択工程(ステップS104)と、距離算出工程(ステップS105)とを含む。時間計測工程(ステップS101)は、光源2が発光した発光タイミングから、受光素子3が受光した受光タイミングまでの時間を示す時間情報を計測する。ヒストグラム生成工程(ステップS102)は、時間情報に基づくヒストグラムを生成する。光源制御工程(ステップS103)は、光源2の駆動状態を動的に変更する。選択工程(ステップS104)は、1つのフレーム内のヒストグラムに複数のピークが検出された場合に、光源2の駆動状態に基づいて1つのピークを選択する。距離算出工程(ステップS105)は、選択されたピークに基づいて、対象物までの距離Dを算出する。
 これにより、他の測距装置などに起因する混信を抑制することができる。
[移動体への応用例]
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図12は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図12に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図12の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図13は、撮像部12031の設置位置の例を示す図である。
 図13では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
 撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図13には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、図1の測距装置1は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、他車両の測距装置などに起因する混信を抑制することができる。
 以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 たとえば、実施形態では、選択部8および距離算出部9が測距装置1の内部に設けられる例について示したが、測距装置の外部に設けられるアプリケーションプロセッサに選択部8および距離算出部9を設けてもよい。
 これにより、選択部8や距離算出部9のアルゴリズムに不具合などが有った場合でも、アプリケーションプロセッサ内をソフトウェアアップデートで改良することができることから、かかる不具合を容易に改良することができる。
 また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 光源が発光した発光タイミングから、受光素子が受光した受光タイミングまでの時間を示す時間情報を計測する時間計測部と、
 前記時間情報に基づくヒストグラムを生成するヒストグラム生成部と、
 前記光源の駆動状態を動的に変更する光源制御部と、
 1つのフレーム内の前記ヒストグラムに複数のピークが検出された場合に、前記光源の駆動状態に基づいて1つのピークを選択する選択部と、
 前記選択されたピークに基づいて、対象物までの距離を算出する距離算出部と、
 を備える測距装置。
(2)
 前記光源制御部は、前記光源の駆動状態をランダムに変更する
 前記(1)に記載の測距装置。
(3)
 前記光源制御部は、前記光源を駆動する電流のパルス幅、立ち上がり時間および立ち下がり時間のうち少なくとも1つを変更することにより前記光源の駆動状態を変更する
 前記(1)または(2)に記載の測距装置。
(4)
 前記選択部は、前記複数のピークの分散、歪度、尖度、非対称性および尾引き具合のうち少なくとも1つの要約統計量に基づいて1つのピークを選択する
 前記(1)~(3)のいずれか一つに記載の測距装置。
(5)
 前記選択部は、動的に変更された前記光源の駆動状態に関する情報と前記ヒストグラム内のピークの前記要約統計量に関する情報とを用いて生成された学習モデルから1つのピークを選択する
 前記(4)に記載の測距装置。
(6)
 1つのフレーム内の前記ヒストグラムに複数のピークが検出されない場合、前記選択部を動作させない
 前記(1)~(5)のいずれか一つに記載の測距装置。
(7)
 光源が発光した発光タイミングから、受光素子が受光した受光タイミングまでの時間を示す時間情報を計測する時間計測工程と、
 前記時間情報に基づくヒストグラムを生成するヒストグラム生成工程と、
 前記光源の駆動状態を動的に変更する光源制御工程と、
 1つのフレーム内の前記ヒストグラムに複数のピークが検出された場合に、前記光源の駆動状態に基づいて1つのピークを選択する選択工程と、
 前記選択されたピークに基づいて、対象物までの距離を算出する距離算出工程と、
 を含む測距方法。
(8)
 前記光源制御工程は、前記光源の駆動状態をランダムに変更する
 前記(7)に記載の測距方法。
(9)
 前記光源制御工程は、前記光源を駆動する電流のパルス幅、立ち上がり時間および立ち下がり時間のうち少なくとも1つを変更することにより前記光源の駆動状態を変更する
 前記(7)または(8)に記載の測距方法。
(10)
 前記選択工程は、前記複数のピークの分散、歪度、尖度、非対称性および尾引き具合のうち少なくとも1つの要約統計量に基づいて1つのピークを選択する
 前記(7)~(9)のいずれか一つに記載の測距方法。
(11)
 前記選択工程は、動的に変更された前記光源の駆動状態に関する情報と前記ヒストグラム内のピークの前記要約統計量に関する情報とを用いて生成された学習モデルから1つのピークを選択する
 前記(10)に記載の測距方法。
(12)
 1つのフレーム内の前記ヒストグラムに複数のピークが検出されない場合、前記選択工程を実施しない
 前記(7)~(11)のいずれか一つに記載の測距方法。
1  測距装置
2  光源
3  受光素子
4  光源駆動部
5  光源制御部
6  TDC(時間計測部の一例)
7  ヒストグラム生成部
8  選択部
9  距離算出部

Claims (7)

  1.  光源が発光した発光タイミングから、受光素子が受光した受光タイミングまでの時間を示す時間情報を計測する時間計測部と、
     前記時間情報に基づくヒストグラムを生成するヒストグラム生成部と、
     前記光源の駆動状態を動的に変更する光源制御部と、
     1つのフレーム内の前記ヒストグラムに複数のピークが検出された場合に、前記光源の駆動状態に基づいて1つのピークを選択する選択部と、
     前記選択されたピークに基づいて、対象物までの距離を算出する距離算出部と、
     を備える測距装置。
  2.  前記光源制御部は、前記光源の駆動状態をランダムに変更する
     請求項1に記載の測距装置。
  3.  前記光源制御部は、前記光源を駆動する電流のパルス幅、立ち上がり時間および立ち下がり時間のうち少なくとも1つを変更することにより前記光源の駆動状態を変更する
     請求項1に記載の測距装置。
  4.  前記選択部は、前記複数のピークの分散、歪度、尖度、非対称性および尾引き具合のうち少なくとも1つの要約統計量に基づいて1つのピークを選択する
     請求項1に記載の測距装置。
  5.  前記選択部は、動的に変更された前記光源の駆動状態に関する情報と前記ヒストグラム内のピークの前記要約統計量に関する情報とを用いて生成された学習モデルから1つのピークを選択する
     請求項4に記載の測距装置。
  6.  1つのフレーム内の前記ヒストグラムに複数のピークが検出されない場合、前記選択部を動作させない
     請求項1に記載の測距装置。
  7.  光源が発光した発光タイミングから、受光素子が受光した受光タイミングまでの時間を示す時間情報を計測する時間計測工程と、
     前記時間情報に基づくヒストグラムを生成するヒストグラム生成工程と、
     前記光源の駆動状態を動的に変更する光源制御工程と、
     1つのフレーム内の前記ヒストグラムに複数のピークが検出された場合に、前記光源の駆動状態に基づいて1つのピークを選択する選択工程と、
     前記選択されたピークに基づいて、対象物までの距離を算出する距離算出工程と、
     を含む測距方法。
PCT/JP2020/023036 2019-06-20 2020-06-11 測距装置および測距方法 WO2020255855A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020002990.5T DE112020002990T5 (de) 2019-06-20 2020-06-11 Abstandsmessvorrichtung und abstandsmessverfahren
US17/617,139 US20220260691A1 (en) 2019-06-20 2020-06-11 Distance measurement device and distance measurement method
CN202080043375.XA CN113966475A (zh) 2019-06-20 2020-06-11 测距装置和测距方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019114472A JP2021001756A (ja) 2019-06-20 2019-06-20 測距装置
JP2019-114472 2019-06-20

Publications (1)

Publication Number Publication Date
WO2020255855A1 true WO2020255855A1 (ja) 2020-12-24

Family

ID=73994019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023036 WO2020255855A1 (ja) 2019-06-20 2020-06-11 測距装置および測距方法

Country Status (5)

Country Link
US (1) US20220260691A1 (ja)
JP (1) JP2021001756A (ja)
CN (1) CN113966475A (ja)
DE (1) DE112020002990T5 (ja)
WO (1) WO2020255855A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181881A1 (ja) * 2022-03-22 2023-09-28 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214781A (ja) * 2004-01-29 2005-08-11 Hosiden Corp 物体検知装置
JP2007324812A (ja) * 2006-05-31 2007-12-13 Toshiba Lighting & Technology Corp 物体反射型センサ装置およびこれを具備した照明装置
JP2011191142A (ja) * 2010-03-12 2011-09-29 Furuno Electric Co Ltd 信号処理装置、レーダ装置、信号処理方法、および信号処理プログラム
JP2011215005A (ja) * 2010-03-31 2011-10-27 Hokuyo Automatic Co 信号処理装置、及び走査式測距装置
JP2016224009A (ja) * 2015-06-03 2016-12-28 富士電機株式会社 信号処理装置及びノイズ強度決定方法
JP2018091760A (ja) * 2016-12-05 2018-06-14 株式会社豊田中央研究所 光学測定装置、光学測定方法、及び光学測定プログラム
JP2018194297A (ja) * 2017-05-12 2018-12-06 国立大学法人電気通信大学 測距装置及び侵入検出装置
JP2019078602A (ja) * 2017-10-23 2019-05-23 ミネベアミツミ株式会社 レーザー距離計測装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214781A (ja) * 2004-01-29 2005-08-11 Hosiden Corp 物体検知装置
JP2007324812A (ja) * 2006-05-31 2007-12-13 Toshiba Lighting & Technology Corp 物体反射型センサ装置およびこれを具備した照明装置
JP2011191142A (ja) * 2010-03-12 2011-09-29 Furuno Electric Co Ltd 信号処理装置、レーダ装置、信号処理方法、および信号処理プログラム
JP2011215005A (ja) * 2010-03-31 2011-10-27 Hokuyo Automatic Co 信号処理装置、及び走査式測距装置
JP2016224009A (ja) * 2015-06-03 2016-12-28 富士電機株式会社 信号処理装置及びノイズ強度決定方法
JP2018091760A (ja) * 2016-12-05 2018-06-14 株式会社豊田中央研究所 光学測定装置、光学測定方法、及び光学測定プログラム
JP2018194297A (ja) * 2017-05-12 2018-12-06 国立大学法人電気通信大学 測距装置及び侵入検出装置
JP2019078602A (ja) * 2017-10-23 2019-05-23 ミネベアミツミ株式会社 レーザー距離計測装置

Also Published As

Publication number Publication date
JP2021001756A (ja) 2021-01-07
DE112020002990T5 (de) 2022-03-10
US20220260691A1 (en) 2022-08-18
CN113966475A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
JP7044107B2 (ja) 光センサ、及び、電子機器
CN212321848U (zh) 光检测设备以及距离测量传感器
US10996320B2 (en) Electronic device and control method of electronic device
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN110291414B (zh) 距离测量装置和距离测量方法
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
WO2020153261A1 (ja) 受光装置および測距装置
JP2021001763A (ja) 測距装置、測距方法、および、測距システム
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
WO2020255855A1 (ja) 測距装置および測距方法
CN114502977A (zh) 光接收装置、测距装置和光接收电路
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
US20220011411A1 (en) Time measurement device
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021010175A1 (ja) 測定装置および測定方法、並びにプログラム
JP2021056142A (ja) 測距センサ、信号処理方法、および、測距モジュール
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
US20220268890A1 (en) Measuring device and distance measuring device
WO2021256276A1 (ja) 測距装置および測距システム
WO2021251057A1 (ja) 光検出回路および測距装置
WO2022239459A1 (ja) 測距装置及び測距システム
US20230062562A1 (en) Sensing system and distance measuring system
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020129474A1 (ja) 測距装置および計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20825681

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20825681

Country of ref document: EP

Kind code of ref document: A1