WO2021053958A1 - 受光装置、並びに、測距装置及び測距装置の制御方法 - Google Patents

受光装置、並びに、測距装置及び測距装置の制御方法 Download PDF

Info

Publication number
WO2021053958A1
WO2021053958A1 PCT/JP2020/027978 JP2020027978W WO2021053958A1 WO 2021053958 A1 WO2021053958 A1 WO 2021053958A1 JP 2020027978 W JP2020027978 W JP 2020027978W WO 2021053958 A1 WO2021053958 A1 WO 2021053958A1
Authority
WO
WIPO (PCT)
Prior art keywords
light receiving
time
light
calculation unit
unit
Prior art date
Application number
PCT/JP2020/027978
Other languages
English (en)
French (fr)
Inventor
広之 平野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/753,622 priority Critical patent/US20220342040A1/en
Publication of WO2021053958A1 publication Critical patent/WO2021053958A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Definitions

  • the present disclosure relates to a light receiving device, a distance measuring device (distance measuring device), and a control method of the distance measuring device.
  • a light receiving element there is a light receiving device using an element that generates a signal in response to the light reception of a photon.
  • a measurement method for measuring the distance to a measurement object the time until the light emitted from the light source toward the measurement object is reflected by the measurement object and returned.
  • the ToF (Time of Flight) method for measuring the distance is adopted.
  • the time is measured a plurality of times over a predetermined time, and the time is measured by detecting the position of the peak of the histogram obtained by accumulating the measured times, and the time is measured based on the measured time.
  • the operation of finding the distance to the object to be measured (subject) is performed.
  • the position of the peak of the histogram changes depending on the intensity of the reflected light from the measurement object incident on the light receiving device. For example, when the reflected light from the object to be measured is strong, the peak position of the histogram becomes higher than before. As a result, in the case of the ToF method in which the peak position of the histogram is the distance, the change in the peak position becomes the distance measurement error.
  • the pulse width of the light receiving pulse when the reflected light from the measurement object is received is detected, and the pulse width of the detected light receiving pulse and the light from the light source are irradiated.
  • the correction amount was calculated based on the time difference from the time to the return from the light source, and the distance was calculated based on the time difference and the correction amount (see, for example, Patent Document 1).
  • the pulse width of the received light receiving pulse is detected, and the correction amount is calculated based on the detected pulse width of the received light receiving pulse.
  • the flying rate of photons is required to be constant
  • the conventional technique of performing control based on the pulse width of the received light pulse is used. The reliability of distance measurement will be reduced.
  • An object of the present disclosure is to provide a light receiving device capable of performing distance measurement with high reliability, a distance measuring device using the light receiving device, and a control method thereof.
  • the light receiving device of the present disclosure for achieving the above object is A light receiving element that receives reflected light from a subject based on the irradiation of light from a light source.
  • Time calculation unit that calculates the rise time or fall time of the light receiving response based on the incident of light on the light receiving element,
  • a control unit that outputs a control signal for controlling at least one of the light emission amount of the light source and the sensitivity of the light receiving element based on the rise time or fall time calculated by the time calculation unit.
  • the ranging device of the present disclosure for achieving the above object is A light source that irradiates the object to be measured with light, and A light receiving device for detecting the light reflected by the object to be measured is provided. And The light receiving device is A light receiving element that receives reflected light from a subject based on the irradiation of light from a light source. Time calculation unit that calculates the rise time or fall time of the light receiving response based on the incident of light on the light receiving element, A control unit that outputs a control signal for controlling at least one of the light emission amount of the light source and the sensitivity of the light receiving element based on the rise time or fall time calculated by the time calculation unit. To be equipped.
  • a light source that irradiates the object to be measured with light and A light receiving device that receives the light reflected by the object to be measured,
  • a distance measuring device equipped with Based on the irradiation of light from the light source, the rise time or fall time of the light receiving response of the light receiving element that receives the reflected light from the subject is calculated.
  • a control signal for controlling at least one of the light emission amount of the light source and the sensitivity of the light receiving element is output.
  • FIG. 1 is a schematic configuration diagram showing an example of a distance measuring device to which the technique according to the present disclosure is applied.
  • 2A and 2B are block diagrams showing an example of a specific configuration of the distance measuring device according to this application example.
  • FIG. 3 is a circuit diagram showing an example of a basic pixel circuit using a SPAD element.
  • FIG. 4A is a characteristic diagram showing the current-voltage characteristics of the PN junction of the SPAD element, and
  • FIG. 4B is a waveform diagram provided for explaining the circuit operation of the pixel circuit.
  • FIG. 5A is a block diagram showing an example of the configuration of the light receiving device according to the embodiment of the present disclosure, and FIG. 5B is a waveform diagram showing a response waveform of each part of the light receiving device of FIG.
  • FIG. 6 is a schematic perspective view showing an example of a laminated structure of the light receiving device according to the embodiment of the present disclosure.
  • FIG. 7 is a block diagram showing an example of the configuration of the distance measuring device according to the embodiment of the present disclosure.
  • FIG. 8 is a flowchart showing an example of the flow of the distance measuring process by the distance measuring device according to the embodiment of the present disclosure.
  • FIG. 9 is a block diagram showing a configuration example of a light receiving device including a calculation unit according to the first embodiment.
  • FIG. 10A is a diagram showing a ToF histogram
  • FIG. 10B is a diagram showing a fall time t f histogram when the intensity of the signal light is too strong
  • FIG. 10C is a diagram showing a case where the intensity of the signal light is appropriate. It is a figure which shows the histogram.
  • FIG. 11 is a diagram showing a configuration example of the device arrangement according to the second embodiment.
  • FIG. 12 is a block diagram showing a configuration example of a light receiving device including a calculation unit according to the third embodiment.
  • FIG. 13 is a block diagram showing a configuration example of the light receiving device according to the fourth embodiment.
  • FIG. 14 is a block diagram showing a configuration example of a light receiving device when three time calculation units including TDC are provided.
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • FIG. 16 is a diagram showing an example of an installation position of the distance measuring device.
  • Embodiments of the present disclosure 3-1.
  • Light receiving device according to the embodiment 3-2.
  • Distance measuring device according to the embodiment 3-3.
  • Example 1 (Specific circuit configuration example of the calculation unit) 3-4.
  • Example 2 (Example of device arrangement of laser light source and SPAD element) 3-5.
  • Example 3 (Example of correcting the distance measurement result using the correction table) 3-6.
  • Example 4 (Example of thinning out the arrangement of the second time calculation unit with respect to the SPAD element) 4.
  • Modification example 5 Application example of the technology according to the present disclosure (example of mobile body) 6. Configuration that can be taken by this disclosure
  • the light source of the control unit emits light so that the rise time or the fall time calculated by the time calculation unit becomes a predetermined reference time.
  • the configuration may be such that at least one of the amount and the sensitivity of the light receiving element is controlled.
  • the predetermined reference time can be set to the rise time or fall time of the light receiving response when the distance is measured under the background light.
  • the control unit controls the amount of light emitted from the light source by changing the current value of the drive current of the light source.
  • the control unit can be configured to control the sensitivity of the light receiving element by changing the voltage value of the voltage applied to the light receiving element.
  • the time calculation unit shall be composed of a plurality of time calculation units having different threshold values. Can be done. Further, the plurality of time calculation units may be configured to include a combination of an inverter and a time measurement unit.
  • the different thresholds of the plurality of time calculation units may be configured to be given by the threshold voltage of the inverter.
  • the inverter is a CMOS inverter, and has a configuration in which different threshold values of a plurality of time calculation units are set by different threshold voltages for each transistor constituting the CMOS inverter or different size ratios for each transistor. Can be done.
  • the time calculation unit is based on the difference value information obtained from the calculation results of the plurality of time calculation units.
  • the configuration may include a calculation unit for calculating the rise time or fall time of the light receiving response. Further, for the calculation unit, a histogram that obtains the difference value information based on the calculation results of a plurality of time calculation units, and a histogram of the rise time or the fall time of the light receiving response are generated based on the difference value information obtained by the subtractor.
  • the histogram generation unit and the average calculation unit in which the average value of the histograms generated by the histogram generation unit is set as the rise time or the fall time of the light receiving response can be configured.
  • the control unit of the light source is based on the rise time or the fall time calculated by the time calculation unit. At least one of the amount of light emitted and the sensitivity of the light receiving element can be feedback-controlled. Further, the arithmetic unit can be configured to acquire the photon flux density from the calculation result of the rise time or the fall time of the light receiving response.
  • the ranging device and its control method the subtractor for obtaining the difference value information based on the calculation results of a plurality of time calculation units for the calculation unit.
  • a histogram generator that generates a histogram of the rise time or fall time of the light receiving response based on the difference value information obtained by the subtractor, and photon flux density information based on the difference value information obtained by the subtractor, and should be corrected.
  • the configuration may include a correction table that corresponds to the distance information, and a correction unit that corrects the distance information using the correction table based on the rise time or fall time of the light receiving response.
  • the time calculation unit calculates the rise time or fall time of the light receiving response based on the first threshold value. It is possible to have a first time calculation unit and a second time calculation unit for calculating the rise time or fall time of the light receiving response based on a second threshold value different from the first threshold value. Then, the second time calculation unit can be arranged by thinning out each light receiving element of the pixel array unit.
  • the light receiving element may be configured to be an element that generates a signal in response to the light reception of a photon. it can. Further, the light receiving element may be configured to be composed of a single photon avalanche diode.
  • the light source and the light receiving element are composed of a one-dimensional, two-dimensional or three-dimensional array, and the light source and the light receiving element are 1
  • N N ⁇ 1
  • FIG. 1 is a schematic configuration diagram showing an example of a distance measuring device to which the technique according to the present disclosure is applied.
  • the distance measuring device 1 according to this application example is a measuring method for measuring the distance to the subject 10 which is a measurement target, and is a laser irradiating the subject 10 (for example, a laser having a peak wavelength in the infrared wavelength region).
  • the ToF method is used to measure the flight time until the light) is reflected by the subject 10 and returned.
  • the distance measuring device 1 according to this application example includes a light source 20 and a light receiving device 30. Then, as the light receiving device 30, the light receiving device according to the embodiment of the present disclosure described later can be used.
  • the light source 20 has, for example, a laser driving unit 21, a laser light source 22, and a diffusion lens 23, and irradiates the subject 10 with a laser beam.
  • the laser drive unit 21 drives the laser light source 22 under the control of the control unit 40.
  • the laser light source 22 is composed of, for example, a semiconductor laser, and emits laser light by being driven by the laser driving unit 21.
  • the diffusing lens 23 diffuses the laser light emitted from the laser light source 22 and irradiates the subject 10.
  • the light receiving device 30 includes a light receiving lens 31, a light sensor 32 which is a light receiving unit, and a signal processing unit 33, and receives the reflected laser light which is reflected by the subject 10 and returned by the laser irradiation unit 20. To do.
  • the light receiving lens 31 collects the reflected laser light from the subject 10 on the light receiving surface of the light sensor 32.
  • the optical sensor 32 receives the reflected laser light from the subject 10 that has passed through the light receiving lens 31 in pixel units and performs photoelectric conversion.
  • a two-dimensional array sensor (so-called area sensor) in which pixels including light receiving elements are two-dimensionally arranged in a matrix (array) can be used.
  • the output signal of the optical sensor 32 is supplied to the control unit 40 via the signal processing unit 33.
  • the control unit 40 is composed of, for example, a CPU (Central Processing Unit) or the like, controls the light source 20 and the light receiving device 30, and the laser beam emitted from the light source 20 toward the subject 10 is the subject 10. Measure the time until it is reflected and returned. Based on this measured time, the distance to the subject 10 can be obtained.
  • a CPU Central Processing Unit
  • the timer is started at the timing when the pulse light is irradiated from the light source 20, and the timer is stopped at the timing when the light receiving device 30 receives the pulse light to measure the time.
  • pulsed light is irradiated from the light source 20 at a predetermined cycle, the cycle when the light receiving device 30 receives the pulsed light is detected, and the phase difference between the light emitting cycle and the light receiving cycle is used. You may measure the time. The time measurement is executed a plurality of times, and the time is measured by detecting the position of the peak of the ToF histogram obtained by accumulating the times measured a plurality of times.
  • the light receiving element of the pixel is an element that generates a signal in response to the light receiving of the photon, for example, SPAD (Single Photon Avalanche Diode).
  • SPAD Single Photon Avalanche Diode
  • a sensor consisting of elements is used. That is, the light receiving device 30 in the distance measuring device 1 according to this application example has a configuration in which the light receiving element of the pixel is composed of a SPAD element.
  • the light receiving element is not limited to the SPAD element, and may be various elements such as APD (Avalanche PhotoDiode) and CAPD (Current Assisted Photonic Demodulator).
  • FIG. 3 shows an example of a basic pixel circuit in the light receiving device 30 using the SPAD element. Here, the basic configuration for one pixel is illustrated.
  • the basic pixel circuit of the pixel 50 with SPAD devices the cathode electrode of the SPAD device 51, via the P-type MOS transistor Q L is a load, is connected to a terminal 52 to which the voltage V eb applied, anode electrode However, it is connected to the terminal 53 to which the anode voltage V bd is applied.
  • V bd a large negative voltage that causes avalanche multiplication is applied.
  • a capacitive element C is connected between the anode electrode and the ground.
  • the cathode voltage V CA of the MOSFET element 51 is derived as a MOSFET output (pixel output) via an inverter (CMOS inverter) 54 in which a P-type MOS transistor Q p and an N-type MOS transistor Q n are connected in series. ..
  • a voltage equal to or higher than the breakdown voltage V BD is applied to the SPAD element 51.
  • the excess voltage above the breakdown voltage V BD is called the excess bias voltage V EX, and is generally a voltage of about 2-5 V.
  • the SPAD element 51 operates in a region called Geiger mode where there is no DC-like stable point.
  • the I (current) -V (voltage) characteristics of the PN junction of the SPAD element 51 are shown in FIG. 4A.
  • circuit operation example of a pixel circuit using a SPAD element [Circuit operation example of a pixel circuit using a SPAD element] Subsequently, an example of the circuit operation of the pixel circuit having the above configuration will be described with reference to the waveform diagram of FIG. 4B.
  • the detection efficiency PDE Photon Detection Efficiency
  • the cathode voltage V CA is waveform-shaped by the inverter 54, and the pulse signal having the pulse width T starting from the arrival time of one photon becomes the SPAD output (pixel output).
  • the reaction of the SPAD element 51 becomes faster. That is, there is a relationship of reflectance ⁇ photon flying rate ⁇ illuminance of the surrounding environment of the object to be measured, and an error occurs in the ToF histogram depending on the illuminance of the surrounding environment. As a result, the accuracy of distance measurement may decrease depending on the illuminance of the surrounding environment.
  • An object of the present disclosure embodiment is to enable highly reliable distance measurement regardless of the illuminance of the surrounding environment (without being affected by the illuminance). Then, for this purpose, the light receiving device according to the embodiment of the present disclosure calculates the rise time tr or the fall time t f of the light receiving response based on the incident light on the light receiving element, and this rise time tr. Alternatively, at least one of the light emission amount of the light source and the sensitivity of the light receiving element (Detection efficiency PDE: Photon Detection Efficiency) is controlled based on the fall time t f. Further, for the above purpose, the distance measuring device according to the embodiment of the present disclosure may be configured to use the light receiving device having the above configuration.
  • the light receiving device and the distance measuring device have a plurality of time measuring units having different threshold values as a time calculating unit for calculating the rising time tr or the falling time t f of the light receiving response.
  • the control unit that controls at least one of the light emission amount of the light source and the sensitivity of the light receiving element the rise time or fall time calculated by the time calculation unit including the plurality of time measurement units is a predetermined reference time (reference value). (Specifically, it is controlled so as to converge to a predetermined reference value ⁇ ⁇ ).
  • FIG. 5A is a block diagram showing an example of the configuration of the light receiving device according to the embodiment of the present disclosure.
  • the light receiving device according to the present embodiment is configured to include a time calculation unit 60 for calculating the fall time t f of the light receiving response.
  • the time calculation unit 60 includes, for example, two (two systems) time measurement units, that is, a first time calculation unit 61 and a second time calculation unit 62 as a plurality of time measurement units having different threshold values.
  • the arithmetic unit 63 is provided.
  • the first threshold value V th1 is a first threshold voltage of the inverter 54 1.
  • the second time calculation unit 62 is composed of a second inverter 542 and TDC 621 corresponding to the inverter 54 in FIG. 3, and has a second threshold value V th2 (V th1 > V th2 ) smaller than the first threshold value V th1. Therefore, the fall of the light receiving response based on the incident light on the SPAD element 51 is detected.
  • the second threshold value V th2 is the second threshold voltage of the inverter 54 2.
  • the threshold voltage V th, the transistor of each transistor It can be set by making each size ratio, that is, W (channel width) / L (channel length), or the power supply voltage different.
  • FIG. 5B is a waveform diagram showing a response waveform of each part of the light receiving device of FIG. 5A.
  • the response waveform of the SPAD element 51 when the value is low is shown by a dotted line.
  • first shows a response waveform of the inverter 54 1 and the second inverter 54 2 SPAD device 51 after passing through the case flying rate is relatively high in solid line
  • flying rate is relatively low
  • first shows a response waveform of the first inverter 54 1 and the second inverter 54 2 SPAD device 51 after passing through the dotted line.
  • the output of one first inverter 54, the polarity when the response waveform of SPAD device 51 when when flying rate is relatively high / low is below the first threshold value V th1 Is reversed.
  • the output of the 2 second inverter 54, the polarity is reversed when the response waveform of SPAD device 51 when when flying rate is relatively high / low is below the second threshold value V th2.
  • the time ⁇ t from the time when the response waveform of the SPAD element 51 falls below the first threshold value V th1 to the time when it falls below the second threshold value V th2 is obtained from the histogram result.
  • First time calculation unit 61 detects the first polarity inversion of the output of the inverter 54 1, to measure the time when the response waveform of the SPAD device 51 is below the first threshold value V th1 by TDC611.
  • Second time calculation unit 62 detects the polarity inversion of the output of the 2 second inverter 54, to measure the time when the response waveform of the SPAD device 51 is below the second threshold value V th2 by TDC621.
  • the calculation unit 63 calculates the fall time t f of the light receiving response based on the incident light on the SPAD element 51 based on the measurement results of the first time calculation unit 61 and the second time calculation unit 62.
  • the calculation result of the calculation unit 63 that is, the information of the fall time t f of the light receiving response is given to the control unit 40.
  • the control unit 40 corresponds to the control unit 40 of FIG. 2A, and is a control signal for controlling the sensitivity (detection efficiency PDE) of the SPAD element 51 based on the fall time t f of the light receiving response calculated by the calculation unit 63. Is output.
  • the SPAD drive unit 55 receives a control signal output from the control unit 40 and controls the sensitivity of the SPAD element 51.
  • the SPAD drive unit 55 determines the sensitivity of the SPAD element 51 until the fall time t f of the light receiving response converges to a predetermined reference value (reference time) ⁇ ⁇ . Control to lower.
  • the predetermined reference value since the background light does not depend on the distance, the system is operated without the signal light in advance, and for example, the light receiving response falls when the distance is measured under the background light.
  • the time t f can be acquired, and the background light fall time t f can be set as a reference value (reference time). In the case of indoors, the falling time t f of a point that seems to be a long distance can be used as a reference value. Further, the fall time t f of the reference pixel can be used as the reference value.
  • the sensitivity (detection efficiency PDE) of the SPAD element 51 can be controlled by changing the voltage value (V eb ⁇ V bd) of the voltage applied to the SPAD element 51.
  • the control unit 40 can reduce the sensitivity of the SPAD element 51 by controlling the voltage value (V eb ⁇ V bd ) of the voltage applied to the SPAD element 51 to be lowered.
  • the means for acquiring the fall time t f (or rise time tr ) of the light receiving response that is, the first time calculation unit 61 and the second time calculation unit 62 are different.
  • first inverter 54 1 and a second inverter 54 having a threshold voltage has a configuration comprising a combination of TDC611 and TDC621.
  • this combination is advantageous from the viewpoint of cost reduction, the means for obtaining the fall time t f (or rise time tr ) of the light receiving response is limited to the configuration consisting of the above combinations. is not it.
  • Other configurations may include, for example, a combination of a digital-to-analog converter or reference voltage source for different threshold settings, a comparator, and a TDC.
  • the fall time t f of the light receiving response of the SPAD element 51 is acquired, and the fall time t f converges to the reference value (converges to the reference value ⁇ ⁇ ).
  • the feedback control is performed on the sensitivity of the SPAD element 51. Since the flight rate can be kept constant by this feedback control, the photon flux density is stabilized and the distance measurement can be performed with high reliability as compared with the case of the control based on the pulse width of the light receiving response.
  • the chip structure of the light receiving device may be a laminated structure in which a plurality of semiconductor substrates are laminated.
  • the first semiconductor substrate is used as the upper chip 101
  • the pixel 50 including the SPAD element 51 is formed on the upper chip 101
  • the second semiconductor substrate is used as the lower chip 102.
  • a first time calculation unit 61 and a second time calculation unit 62 are formed on the lower chip 102.
  • the upper chip 101 on which the pixel 50 including the SPAD element 51 is formed and the lower chip 102 on which the first time calculation unit 61 and the second time calculation unit 62 are formed are laminated.
  • FIG. 7 is a block diagram showing an example of the configuration of the distance measuring device according to the embodiment of the present disclosure.
  • the distance measuring device according to the present embodiment is configured to include a light source 20, that is, a laser driving unit 21 and a laser light source 22 in addition to the pixels 50 and the time calculating unit 60 of the light receiving device shown in FIG. 5A.
  • the control unit 40 determines the amount of light emitted from the laser light source 22 or the sensitivity of the SPAD element 51 (detection efficiency PDE) based on the fall time t f of the light receiving response calculated by the calculation unit 63.
  • a control signal for controlling both the light emission amount of the laser light source 22 and the sensitivity of the SPAD element 51, that is, at least one of the light emission amount of the laser light source 22 and the sensitivity of the SPAD element 51 is output.
  • the SPAD drive unit 55 controls the sensitivity (detection efficiency PDE) of the SPAD element 51 in response to the control signal output by the control unit 40.
  • the SPAD drive unit 55 is, for example, a SPAD element so that the fall time t f of the light receiving response converges to a predetermined reference value (reference time) ⁇ ⁇ under the control of the control unit 40.
  • the voltage value (V eb ⁇ V bd ) of the voltage applied to the 51 the sensitivity of the SPAD element 51 is reduced.
  • the laser drive unit 21 receives a control signal output from the control unit 40 and controls the amount of light emitted from the laser light source 22. Specifically, the laser drive unit 21 uses, for example, a laser light source so that the fall time t f of the light receiving response converges to a predetermined reference value (reference time) ⁇ ⁇ under the control of the control unit 40. By changing the current value of the drive current of 22, the laser light source 22 is controlled to weaken the light emission amount (intensity).
  • the control unit 40 first measures a distance for a certain frame (step S11), and then the calculation unit 63 calculates based on the measurement results of the first time calculation unit 61 and the second time calculation unit 62. It is determined whether or not the fall time t f of the received light reception response is larger than the preset reference value (reference time) (step S12), and if the fall time t f is not larger than the reference value (S12). NO), this distance measurement process is completed.
  • the control unit 40 determines that the light receiving response fall time t f is larger than the reference value (YES in S12), the light receiving response fall time t f is a predetermined reference value (reference time) ⁇ ⁇ .
  • the amount of light emitted from the laser light source 22 and the sensitivity of the SPAD element 51 are controlled so as to converge to (step S13), and then the process returns to step S11.
  • the control of the amount of light emitted from the laser light source 22 can be realized, for example, by changing the drive current of the laser light source 22.
  • the sensitivity of the SPAD element 51 can be controlled by changing the voltage value (V eb ⁇ V bd ) of the voltage applied to the SPAD element 51.
  • the fall time t f (or rise time tr ) of the light receiving response of the SPAD element 51 is acquired, and the fall time t f (or rise time) is obtained.
  • t r to become the reference value (so as to converge to the reference value ⁇ alpha), performs the feedback control for the sensitivity of the SPAD device 51. Since the flight rate can be kept constant by this feedback control, the photon flux density is stabilized and the distance measurement can be performed with high reliability as compared with the case of the control based on the pulse width of the light receiving response.
  • the distance measuring device since the feedback control is performed, the acquired fall time t f (or rise time tr ) can be corrected, or a table for correction can be created. There is also the advantage that there is no need to do it.
  • the first embodiment is a specific circuit configuration example of the calculation unit 63 for calculating the fall time t f (or rise time tr ) of the light receiving response of the SPAD element 51.
  • the case where the fall time t f is calculated will be described as an example, but the case where the rise time tr is calculated is the same as the case where the fall time t f is calculated. This point is the same in each of the examples described later.
  • FIG. 9 shows an example of the configuration of the light receiving device including the calculation unit 63 according to the first embodiment.
  • the calculation unit 63 for calculating the fall time t f of the light receiving response includes the subtractor 631, the ToF histogram generation unit 632, the fall time t f histogram generation unit 633, and the average calculation unit 634. It has a structure to have.
  • the subtractor 631 is based on the measurement result (falling time t f of the light receiving response) of the first time calculation unit 61 based on the first threshold value V th1 and the second threshold value V th2 .
  • the difference value from the measurement result (falling time t f of the light receiving response) of the second time calculation unit 62 is obtained.
  • the time measurement by the first time calculation unit 61 is executed a plurality of times.
  • the ToF histogram generation unit 632 generates a ToF histogram by accumulating the measurement times based on the first threshold value V th1 measured a plurality of times by the first time calculation unit 61.
  • the ToF histogram is shown in FIG. 10A.
  • the peak position of the histogram serves as distance information. In other words, by measuring the time of the peak position of the ToF histogram, the distance to the subject can be obtained based on this time.
  • the ToF histogram may be shifted to the left, so it is necessary to confirm the fall time t f of the light receiving response of the SPAD element 51.
  • a histogram of the fall time t f when the signal light intensity is too strong is shown in FIG. 10B.
  • the fall time t f histogram generation unit 633 stands up based on the output of the subtractor 631, that is, the difference value information between the measurement result of the first time calculation unit 61 and the measurement result of the second time calculation unit 62. Generate a histogram of the fall time t f.
  • the average calculation unit 634, an average value of the histogram of the fall time t f histogram generation unit 633 is the fall time t f generated is calculated as the fall time t f of the light receiving responses SPAD device 51.
  • the laser light source The intensity (light emission amount) of 22 is weakened and / or the sensitivity (detection efficiency PDE) of the SPAD element 51 is lowered.
  • the calculation unit 63 is the output of the subtractor 631, that is, the measurement result of the first time calculation unit 61 and the measurement result of the second time calculation unit 62. From the difference value information from the measurement result, the fall time t f of the light receiving response of the SPAD element 51 can be obtained, and the photon bundle density (illuminance) can be obtained from the calculation result. That is, the calculation unit 63 according to the first embodiment can be used as a photon flux densitometer (illuminance meter).
  • the light receiving device including the arithmetic unit 63 obtains the fall time t f of the light receiving response of the SPAD element 51 from the difference value information of the subtractor 631, and the photon bundle density (illuminance) is obtained from the result.
  • the photon flux density (illuminance) acquired by the photon flux densitometer (illuminance meter)
  • the amount of light emitted from the laser light source 22 and the sensitivity of the SPAD element 51 (detection efficiency PDE) until the intended illuminance value is reached. Feedback control will be performed for at least one of the above.
  • the light receiving device including the calculation unit 63 utilizes the jitter (fluctuation) possessed by the SPAD element 51 itself, and the measurement result of the first time calculation unit 61 and the second time calculation.
  • a calculation unit 63 is used to generate a histogram of the difference value from the measurement result of the unit 62 and perform an appropriate averaging calculation.
  • the second embodiment is an example of each device arrangement of the laser light source 22 and the SPAD element 51 configured by a one-dimensional, two-dimensional, or three-dimensional array.
  • FIG. 11 shows a configuration example of the device arrangement according to the second embodiment.
  • the average calculation unit 634 and the control unit 40 of the calculation unit 63 are not shown.
  • each laser light source is based on the illuminance information of each SPAD element 51 based on the difference value between the measurement result of the first time calculation unit 61 and the measurement result of the second time calculation unit 62.
  • the laser intensity (light emission amount) of 22 is independently feedback-controlled. This feedback control stabilizes the photon flux density, so that highly reliable distance measurement can be performed.
  • the laser intensity (the amount of light emitted from the laser light source 22) is feedback-controlled according to the illuminance information of the SPAD element 51 is illustrated, but the case is not limited to the feedback control of the laser intensity, and the SPAD element 51 is not limited to the feedback control.
  • the sensitivity (detection efficiency PDE) may be feedback-controlled.
  • the first embodiment is an example in which the fall time t f of the light receiving response of the SPAD element 51 is acquired, and feedback control is performed on the light emission amount of the laser light source 22 / the sensitivity of the SPAD element 51 based on the acquired information.
  • the third embodiment is an example in which the calculation unit 63 corrects the distance measurement result (that is, the acquired distance information) by using the correction table.
  • FIG. 12 shows an example of the configuration of the light receiving device including the calculation unit 63 according to the third embodiment.
  • the calculation unit 63 includes a subtractor 631, a ToF histogram generation unit 632, a fall time t f histogram generation unit 633, a ToF correction unit 635, and a correction table storage unit 636. It is configured to have.
  • a non-volatile memory can be used as the correction table storage unit 636.
  • the non-volatile memory may be provided inside the light receiving device or may be provided outside the light receiving device.
  • the correction table storage unit 636 should be corrected with illuminance information (photon bundle density information) based on the difference value information between the measurement result of the first time calculation unit 61 and the measurement result of the second time calculation unit 62.
  • a correction table corresponding to the distance information is stored in advance.
  • the ToF correction unit 635 uses the correction table stored in the correction table storage unit 636 based on the fall time t f of the light receiving response obtained by the fall time t f histogram generation unit 633, and uses the ToF histogram.
  • the distance information acquired by the generation unit 632 is corrected.
  • the voltage / temperature information 636 may be used for the correction of the distance information by the ToF correction unit 635, and according to this, the distance information can be corrected more reliably.
  • Example 4 In Examples 1 to 3, a second time calculation unit 62 for measuring the time when the response waveform of the SPAD element 51 falls below the second threshold value V th2 is arranged for all the SPAD elements 51. Is.
  • the fourth embodiment is an example in which the arrangement of the second time calculation unit 62 with respect to the SPAD element 51 is thinned out.
  • FIG. 13 shows an example of the configuration of the light receiving device according to the fourth embodiment.
  • the average calculation unit 634 and the control unit 40 of the calculation unit 63 are not shown. It is not necessary for all the SPAD elements 51 to have the second time calculation unit 62 for acquiring the fall time t f of the light reception response, and the second time calculation for each SPAD element 51 of the pixel array unit. It may be a two-dimensionally coarse arrangement in which the portions 62 are thinned out and arranged.
  • a second time calculation unit 62 is arranged in each of the three rows in units of three rows of the pixel array unit.
  • FIG. 13 shows, for example, four SPAD elements 51 for four rows arranged adjacent to each other, and for convenience, the four SPAD elements 51 are shown as a SPAD element (1), a SPAD element (2), and a SPAD element. (3), SPAD element (4).
  • the light receiving device includes an illuminance calculation unit 638 and an illuminance interpolation unit 639.
  • Illuminance calculation unit 638, the SPAD device (1), with a fall time t f of the light receiving responses obtained at the fall time t f histogram generation unit 633 calculates the illuminance of the SPAD device 51. Since the second time calculation unit 62 is not arranged for the SPAD element (2) and the SPAD element (3), the illuminance of the SPAD element 51 is not calculated.
  • the illuminance interpolation unit 639 obtains the illuminance of the SPAD element (2) and the SPAD element (3) in which the second time calculation unit 62 is not arranged by the interpolation calculation. Specifically, the illuminance interpolation unit 639 outputs the illuminance obtained by the illuminance calculation unit 638 as it is for the SPAD element (1).
  • the illuminance of the SPAD element (2) is estimated from the illuminance of the SPAD element (1) and the illuminance of the SPAD element (4) by interpolation calculation.
  • the illuminance of the SPAD element (3) is also estimated from the illuminance of the SPAD element (1) and the illuminance of the SPAD element (4) by interpolation calculation in the same manner as the illuminance of the SPAD element (2).
  • the second time calculation unit 62 for acquiring the falling time t f of the light receiving response is not arranged for all the SPAD elements 51, but is arranged by thinning out. Therefore, the circuit scale can be reduced as compared with the case where all the SPAD elements 51 are arranged.
  • the technique according to the present disclosure has been described above based on the preferred embodiment, but the technique according to the present disclosure is not limited to the embodiment.
  • the configurations and structures of the light receiving device and the distance measuring device described in the above embodiment are examples, and can be changed as appropriate.
  • the case where the SPAD element is used as the light receiving element has been described as an example, but the light receiving element is not limited to the SPAD element, and the case where an element such as APD or CAPD is used. Even if there is, the same action and effect can be obtained.
  • FIG. 14 shows a configuration in which three time measuring units (three systems) including a TDC are provided.
  • the light receiving device includes a third time calculation unit 62'in addition to the first time calculation unit 61 and the second time calculation unit 62.
  • the third time calculator 62 ', a third inverter 542, which corresponds to the inverter 54 in FIG. 3' consists and TDC621 ', smaller than the second threshold value V th2 third threshold V th3 (V th1> V th2 > V th3 ), and detects the fall of the light receiving response based on the incident of light on the SPAD element 51.
  • a subtractor 631'and a fall time t f histogram generation unit 633' are provided after the third time calculation unit 62'.
  • the subtractor 631' obtains a difference value between the measurement result of the second time calculation unit 62 based on the second threshold value V th2 and the measurement result of the third time calculation unit 62' based on the third threshold value V th3.
  • the fall time t f histogram generation unit 633' is based on the output of the subtractor 631', that is, the difference value information between the measurement result of the second time calculation unit 62 and the measurement result of the third time calculation unit 62'. To generate a histogram of the fall time t f.
  • the technique of the present disclosure also applies to a light receiving device having four or more time measuring units (4 systems) including TDC, as in the case of a light receiving device having three (3 systems) time measuring units including TDC. Can be applied.
  • an unnecessary circuit for example, the fall time of the light receiving response t f / a mechanism to reduce power supply to the TDC and the histogram generation unit required only to obtain the rise time t r, may be to have by a means such as power gating and clock gating.
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as a distance measuring device mounted on the body.
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetics, and a drive circuit that drives various control target devices. To be equipped.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 the microcomputer 7610, the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, the audio image output unit 7670,
  • vehicle-mounted network I / F 7680 and the storage unit 7690 are shown.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle condition detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. Includes at least one of the sensors for detecting angular velocity, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a braking device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 7200 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 is used to detect, for example, the current weather or an environmental sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 16 shows an example of the installation positions of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided on the front nose and the image pickup section 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 16 shows an example of the photographing range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the vehicle outside information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle outside information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is dozing or not. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input-operated by a passenger. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi).
  • GSM Global System of Mobile communications
  • WiMAX Wireless F
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-Fi wireless LAN
  • Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
  • the general-purpose communication I / F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via, for example, a base station or an access point. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian, or a store, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or a cellular communication protocol, which is a combination of the lower layer IEEE802.11p and the upper layer IEEE1609. May be implemented.
  • Dedicated communication I / F7630 typically includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-pedestrian (Vehicle to Pedertian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microprocessor 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is connected via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or an information device carried or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits and receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680. Based on the information acquired in the above, the vehicle control system 7000 is controlled according to various programs. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control for the purpose of driving or the like may be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microprocessor 7610 may predict a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road based on the acquired information, and may generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or turning on a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a heads-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps, in addition to these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to one of the control units may be connected to the other control unit, and the plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the ToF camera in the above-described configuration, for example, when the imaging unit 7410 includes a ToF camera. Then, by applying the technique according to the present disclosure, it is possible to realize a light receiving device capable of performing distance measurement with high reliability. Then, by mounting the light receiving device as a light receiving device of the distance measuring device, for example, a vehicle control system capable of detecting an object to be measured with high accuracy can be constructed.
  • the present disclosure may also have the following configuration.
  • a light receiving element that receives reflected light from a subject based on irradiation of light from a light source.
  • Time calculation unit that calculates the rise time or fall time of the light receiving response based on the incident of light on the light receiving element,
  • a control unit that outputs a control signal for controlling at least one of the light emission amount of the light source and the sensitivity of the light receiving element based on the rise time or fall time calculated by the time calculation unit.
  • a light receiving device comprising. [A-2] The control unit controls at least one of the light emission amount of the light source and the sensitivity of the light receiving element so that the rise time or fall time calculated by the time calculation unit becomes a predetermined reference time.
  • the light receiving device according to the above [A-1].
  • the predetermined reference time is the rise time or fall time of the light receiving response when the distance is measured under the background light.
  • the light receiving device according to the above [A-2].
  • the control unit controls the amount of light emitted from the light source by changing the current value of the drive current of the light source.
  • the light receiving device according to the above [A-2] or the above [A-3].
  • the control unit controls the sensitivity of the light receiving element by changing the voltage value of the voltage applied to the light receiving element.
  • the time calculation unit is composed of a plurality of time calculation units having different threshold values. The light receiving device according to any one of the above [A-1] to the above [A-5].
  • the plurality of time calculation units are composed of a combination of an inverter and a time measurement unit.
  • Different thresholds of the plurality of time calculation units are given by the threshold voltage of the inverter.
  • the inverter is a CMOS inverter. Different thresholds of the plurality of time calculation units are set by different threshold voltages for each transistor constituting the CMOS inverter or different size ratios for each transistor.
  • the time calculation unit has a calculation unit that calculates the rise time or fall time of the light receiving response based on the difference value information obtained from the calculation results of the plurality of time calculation units.
  • the light receiving device according to any one of the above [A-6] to the above [A-9].
  • the calculation unit A subtractor that obtains difference value information based on the calculation results of multiple time calculation units, A histogram generator that generates a histogram of the rise time or fall time of the light receiving response based on the difference value information obtained by the subtractor, and the histogram generator.
  • An average calculation unit that uses the average value of the histograms generated by the histogram generation unit as the rise time or fall time of the light receiving response.
  • the control unit feedback-controls at least one of the light emission amount of the light source and the sensitivity of the light receiving element based on the rise time or the fall time calculated by the time calculation unit.
  • the arithmetic unit acquires the photon bundle density from the calculation result of the rise time or fall time of the light receiving response.
  • the calculation unit A subtractor that obtains difference value information based on the calculation results of multiple time calculation units, A histogram generator that generates a histogram of the rise time or fall time of the light receiving response based on the difference value information obtained by the subtractor.
  • a correction table that corresponds the photon flux density information based on the difference value information obtained by the subtractor with the distance information to be corrected, and A correction unit that corrects distance information using a correction table based on the rise time or fall time of the light reception response.
  • the time calculation unit The first time calculation unit that calculates the rise time or fall time of the light receiving response based on the first threshold value, and A second time calculation unit that calculates the rise time or fall time of the light receiving response based on the second threshold value different from the first threshold value.
  • Have The second time calculation unit is arranged by thinning out each light receiving element of the pixel array unit.
  • the light receiving device according to any one of the above [A-6] to the above [A-14].
  • the light receiving element is an element that generates a signal in response to the light receiving of a photon.
  • the light receiving element is composed of a single photon avalanche diode.
  • Time calculation unit that calculates the rise time or fall time of the light receiving response based on the incident of light on the light receiving element,
  • a control unit that outputs a control signal for controlling at least one of the light emission amount of the light source and the sensitivity of the light receiving element based on the rise time or fall time calculated by the time calculation unit.
  • a distance measuring device equipped with A distance measuring device equipped with.
  • the control unit controls at least one of the light emission amount of the light source and the sensitivity of the light receiving element so that the rise time or fall time calculated by the time calculation unit becomes a predetermined reference time.
  • the distance measuring device according to the above [B-1].
  • the predetermined reference time is the rise time or fall time of the light receiving response when the distance is measured under the background light.
  • the distance measuring device according to the above [B-2].
  • the control unit controls the amount of light emitted from the light source by changing the current value of the drive current of the light source.
  • the control unit controls the sensitivity of the light receiving element by changing the voltage value of the voltage applied to the light receiving element.
  • the distance measuring device is composed of a plurality of time calculation units having different threshold values.
  • the distance measuring device is composed of any one of the above [B-1] to the above [B-5].
  • the plurality of time calculation units are composed of a combination of an inverter and a time measurement unit.
  • the distance measuring device according to the above [B-6].
  • Different thresholds of the plurality of time calculation units are given by the threshold voltage of the inverter.
  • the inverter is a CMOS inverter.
  • Different thresholds of the plurality of time calculation units are set by different threshold voltages for each transistor constituting the CMOS inverter or different size ratios for each transistor.
  • the distance measuring device according to the above [B-8].
  • the time calculation unit has a calculation unit that calculates the rise time or fall time of the light receiving response based on the difference value information obtained from the calculation results of the plurality of time calculation units.
  • the distance measuring device according to any one of the above [B-6] to the above [B-9].
  • the calculation unit A subtractor that obtains difference value information based on the calculation results of multiple time calculation units, A histogram generator that generates a histogram of the rise time or fall time of the light receiving response based on the difference value information obtained by the subtractor, and the histogram generator.
  • An average calculation unit that uses the average value of the histograms generated by the histogram generation unit as the rise time or fall time of the light receiving response.
  • the [B-12] control unit feedback-controls at least one of the light emission amount of the light source and the sensitivity of the light receiving element based on the rise time or the fall time calculated by the time calculation unit.
  • the distance measuring device acquires the photon bundle density from the calculation result of the rise time or fall time of the light receiving response.
  • the distance measuring device according to the above [B-10].
  • the calculation unit A subtractor that obtains difference value information based on the calculation results of multiple time calculation units, A histogram generator that generates a histogram of the rise time or fall time of the light receiving response based on the difference value information obtained by the subtractor.
  • a correction table that corresponds the photon flux density information based on the difference value information obtained by the subtractor with the distance information to be corrected, and A correction unit that corrects distance information using a correction table based on the rise time or fall time of the light reception response.
  • the distance measuring device has, The distance measuring device according to the above [B-10].
  • the time calculation unit The first time calculation unit that calculates the rise time or fall time of the light receiving response based on the first threshold value, and A second time calculation unit that calculates the rise time or fall time of the light receiving response based on the second threshold value different from the first threshold value.
  • Have The second time calculation unit is arranged by thinning out each light receiving element of the pixel array unit.
  • the distance measuring device according to any one of the above [B-6] to the above [B-14].
  • the light receiving element is an element that generates a signal in response to the light receiving of a photon.
  • the distance measuring device according to any one of the above [B-1] to the above [B-15].
  • the light receiving element is composed of a single photon avalanche diode.
  • the distance measuring device according to the above [B-16].
  • the light source and the light receiving element are composed of a one-dimensional, two-dimensional, or three-dimensional array.
  • N ⁇ 1 The amount of light emitted from each light source is independently feedback-controlled according to the illuminance information of the light receiving element.
  • the light receiving device according to any one of the above [B-1] to the above [B-18].
  • ... Distance measuring device 10 ... Subject (measurement object), 20 ... Light source, 21 ... Laser drive unit, 22 ... Laser light source, 23 ... Diffuse lens, 30 ... -Light receiving device, 31 ... Light receiving lens, 32 ... Optical sensor, 33 ... Signal processing unit, 40 ... Control unit, 50 ... Pixels, 51 ... SPAD element, 54, 54 1 , 54 2 ... inverter, 55 ... SPAD driver, 60 ... time calculation unit, 61 first time calculation unit ..., 62 ... second time calculation unit, 63 ... Calculation unit, 631 ... subtractor, 632 ... ToF histogram generation unit, 633 ... fall time t f histogram generation unit, 634 ... average calculation unit, 635 ... ToF correction unit is 636. ... correction table storage unit, 637 ... voltage / temperature information storage unit, 638 ... illuminance calculation unit, 639 ... illuminance interpolation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示の受光装置は、光源からの光の照射に基づく、被写体からの反射光を受光する受光素子、受光素子への光の入射に基づく受光応答の立ち上がり時間又は立ち下がり時間を算出する時間算出部、時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する制御部を備える。

Description

受光装置、並びに、測距装置及び測距装置の制御方法
 本開示は、受光装置、並びに、測距装置(距離測定装置)及び測距装置の制御方法に関する。
 受光素子として、光子の受光に応じて信号を発生する素子を用いた受光装置がある。この種の受光装置では、測定対象物(被写体)までの距離を測定する測定法として、測定対象物に向けて光源から照射した光が、当該測定対象物で反射されて戻ってくるまでの時間を計測するToF(Time of Flight:飛行時間)法が採用されている。
 このToF法では、時間の計測を所定の時間に亘って複数回実行し、複数回計測した時間を積み上げたヒストグラムのピークの位置を検出することで時間を計測し、この計測した時間を基に、測定対象物(被写体)までの距離を求める動作が行われる。このとき、光子の飛来率(=受光素子入射時の光子束密度/レーザ光発射時の光子束密度)が一定であることが重要となる。
 ところで、同じ測定対象物であっても、受光装置に入射する、測定対象物からの反射光の強弱によってヒストグラムのピークの位置が変化する。例えば、測定対象物からの反射光が強かった場合に、ヒストグラムのピークの位置が前よりになる現象が生じる。これにより、ヒストグラムのピークの位置を距離とするToF法の場合、ピーク位置の変化が測距誤差となる。
 測距誤差を補正するために、従来は、測定対象物からの反射光を受光した際の受光パルスのパルス幅を検出し、この検出した受光パルスのパルス幅と、光源から光を照射してから戻ってくるまでの時間差とに基づいて補正量を算出し、時間差と補正量とに基づいて距離を算出するようにしていた(例えば、特許文献1参照)。
特開2016-142534号公報
 上述したように、特許文献1に記載の従来技術では、受光パルスのパルス幅を検出し、この検出した受光パルスのパルス幅に基づいて補正量を算出するようにしている。しかしながら、光子の飛来率が一定であることが求められるToF法にあっては、受光パルスのパルス幅が飛来率と相関を持たない場合、受光パルスのパルス幅に基づく制御を行う従来技術では、測距の信頼性が低下することになる。
 本開示は、信頼性の高い測距を行うことができる受光装置、並びに、当該受光装置を用いる測距装置及びその制御方法を提供することを目的とする。
 上記の目的を達成するための本開示の受光装置は、
 光源からの光の照射に基づく、被写体からの反射光を受光する受光素子、
 受光素子への光の入射に基づく受光応答の立ち上がり時間又は立ち下がり時間を算出する時間算出部、
 時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する制御部、
 を備える。
 上記の目的を達成するための本開示の測距装置は、
 測定対象物に対して光を照射する光源、及び、
 測定対象物で反射された光を検出する受光装置を備える。そして、
 受光装置は、
 光源からの光の照射に基づく、被写体からの反射光を受光する受光素子、
 受光素子への光の入射に基づく受光応答の立ち上がり時間又は立ち下がり時間を算出する時間算出部、
 時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する制御部、
 を備える。
 上記の目的を達成するための本開示の測距装置の制御方法は、
 測定対象物に対して光を照射する光源、及び、
 測定対象物で反射された光を受光する受光装置、
 を備える測距装置において、
 光源からの光の照射に基づく、被写体からの反射光を受光する受光素子の受光応答の立ち上がり時間又は立ち下がり時間を算出し、
 この算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する。
図1は、本開示に係る技術が適用される測距装置の一例を示す概略構成図である。 図2A及び図2Bは、本適用例に係る測距装置の具体的な構成の一例を示すブロック図である。 図3は、SPAD素子を用いた基本的な画素回路の一例を示す回路図である。 図4Aは、SPAD素子のPN接合の電流-電圧特性を示す特性図であり、図4Bは、画素回路の回路動作の説明に供する波形図である。 図5Aは、本開示の実施形態に係る受光装置の構成の一例を示すブロック図であり、図5Bは、図5Aの受光装置の各部の応答波形を示す波形図である。 図6は、本開示の実施形態に係る受光装置の積層構造の一例を示す概略斜視図である。 図7は、本開示の実施形態に係る測距装置の構成の一例を示すブロック図である。 図8は、本開示の実施形態に係る測距装置による測距処理の流れの一例を示すフローチャートである。 図9は、実施例1に係る演算部を含む受光装置の構成例を示すブロック図である。 図10Aは、ToFヒストグラムを示す図であり、図10Bは、信号光の強度が強すぎる場合の立ち下がり時間tfヒストグラムを示す図であり、図10Cは、信号光の強度が適切な場合のヒストグラムを示す図である。 図11は、実施例2に係るデバイス配置の構成例を示す図である。 図12は、実施例3に係る演算部を含む受光装置の構成例を示すブロック図である。 図13は、実施例4に係る受光装置の構成例を示すブロック図である。 図14は、TDCを含む時間算出部を3つ備える場合の受光装置の構成例を示すブロック図である。 図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図16は、測距装置の設置位置の例を示す図である。
 以下、本開示に係る技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の受光装置、並びに、測距装置及びその制御方法、全般に関する説明
2.本開示に係る技術が適用される測距装置
 2-1.測距装置の具体的な構成例
 2-2.SPAD素子を用いた基本的な画素回路例
 2-3.SPAD素子を用いた画素回路の回路動作例
3.本開示の実施形態
 3-1.実施形態に係る受光装置
 3-2.実施形態に係る測距装置
 3-3.実施例1(演算部の具体的な回路構成例)
 3-4.実施例2(レーザ光源及びSPAD素子のデバイス配置の例)
 3-5.実施例3(補正用テーブルを用いて測距結果を補正する例)
 3-6.実施例4(SPAD素子に対する第2の時間算出部の配置を間引く例)
4.変形例
5.本開示に係る技術の適用例(移動体の例)
6.本開示がとることができる構成
<本開示の受光装置、並びに、測距装置及びその制御方法、全般に関する説明>
 本開示の受光装置、並びに、測距装置及びその制御方法にあっては、制御部について、時間算出部が算出した立ち上がり時間又は立ち下がり時間が、所定の基準時間になるように、光源の発光量、及び、受光素子の感度の少なくとも一方を制御する構成とすることができる。また、所定の基準時間について、背景光の下で測距したときの受光応答の立ち上がり時間又は立ち下がり時間とすることができる。
 上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、制御部について、光源の駆動電流の電流値を変更することによって光源の発光量を制御する構成とすることができる。また、制御部について、受光素子への印加電圧の電圧値を変更することによって受光素子の感度を制御する構成とすることができる。
 また、上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、時間算出部にいて、互いに異なる閾値を有する複数の時間算出部から成る構成とすることができる。また、複数の時間算出部について、インバータ及び時間計測部の組み合わせから成る構成とすることができる。
 また、上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、複数の時間算出部の異なる閾値について、インバータの閾値電圧によって与えられる構成とすることができる。また、インバータは、CMOSインバータであり、複数の時間算出部の異なる閾値について、CMOSインバータを構成するトランジスタ毎の閾値電圧、あるいは、トランジスタ毎のサイズ比を異ならせることによって設定される構成とすることができる。
 また、上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、時間算出部について、複数の時間算出部の算出結果から得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間を算出する演算部を有する構成とすることができる。また、演算部について、複数の時間算出部の算出結果を基に差分値情報を得る減算器、減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、及び、ヒストグラム生成部が生成したヒストグラムの平均値を、受光応答の立ち上がり時間又は立ち下がり時間とする平均演算部、を有する構成とすることができる。
 また、上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、制御部について、時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方をフィードバック制御する構成とすることができる。また、演算部について、受光応答の立ち上がり時間又は立ち下がり時間の算出結果から、光子束密度を取得する構成とすることができる。
 また、上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、演算部について、複数の時間算出部の算出結果を基に差分値情報を得る減算器、減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、減算器で得られる差分値情報に基づく光子束密度情報と、補正すべき距離情報とを対応させた補正用テーブル、及び、受光応答の立ち上がり時間又は立ち下がり時間を基に、補正用テーブルを用いて距離情報を補正する補正部、を有する構成とすることができる。
 また、上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、時間算出部について、第1閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第1の時間算出部、及び、第1閾値と異なる第2閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第2の時間算出部、有する構成とすることができる。そして、第2の時間算出部について、画素アレイ部の各受光素子に対して間引いて配置されている構成とすることができる。
 また、上述した好ましい構成を含む本開示の受光装置、並びに、測距装置及びその制御方法にあっては、受光素子について、光子の受光に応じて信号を発生する素子である構成とすることができる。また、受光素子について、単一光子アバランシェダイオードから成る構成とすることができる。
 また、上述した好ましい構成を含む本開示の測距装置にあっては、光源及び受光素子が、1次元、2次元、又は、3次元アレイで構成されており、光源と受光素子とが、1対N(N≧1)の対応関係にあるとき、受光素子の照度情報に応じて、各光源の発光量を独立にフィードバック制御する構成とすることができる。
<本開示に係る技術が適用される測距装置>
 図1は、本開示に係る技術が適用される測距装置の一例を示す概略構成図である。本適用例に係る測距装置1は、測定対象物である被写体10までの距離を測定する測定法として、被写体10に向けて照射した光(例えば、赤外の波長域にピーク波長を有するレーザ光)が、当該被写体10で反射されて戻ってくるまでの飛行時間を測定するToF法を採用している。ToF法による距離測定を実現するために、本適用例に係る測距装置1は、光源20及び受光装置30を備えている。そして、受光装置30として、後述する本開示の実施形態に係る受光装置を用いることができる。
[測距装置の具体的な構成例]
 本適用例に係る測距装置1の具体的な構成の一例を図2A及び図2Bに示す。光源20は、例えば、レーザ駆動部21、レーザ光源22、及び、拡散レンズ23を有し、被写体10に対してレーザ光を照射する。レーザ駆動部21は、制御部40による制御の下に、レーザ光源22を駆動する。レーザ光源22は、例えば半導体レーザから成り、レーザ駆動部21によって駆動されることによってレーザ光を出射する。拡散レンズ23は、レーザ光源22から出射されたレーザ光を拡散し、被写体10に対して照射する。
 受光装置30は、受光レンズ31、受光部である光センサ32、及び、信号処理部33を有し、レーザ照射部20による照射レーザ光が被写体10で反射されて戻ってくる反射レーザ光を受光する。受光レンズ31は、被写体10からの反射レーザ光を光センサ32の受光面上に集光する。光センサ32は、受光レンズ31を経た被写体10からの反射レーザ光を画素単位で受光し、光電変換する。光センサ32としては、受光素子を含む画素が行列状(アレイ状)に2次元配置されて成る2次元アレイセンサ(所謂、エリアセンサ)を用いることができる。
 光センサ32の出力信号は、信号処理部33を経由して制御部40へ供給される。制御部40は、例えば、CPU(Central Processing Unit:中央処理ユニット)等によって構成され、光源20及び受光装置30を制御するとともに、光源20から被写体10に向けて照射したレーザ光が、当該被写体10で反射されて戻ってくるまでの時間の計測を行う。この計測した時間を基に、被写体10までの距離を求めることができる。
 時間計測の方法としては、光源20からパルス光を照射したタイミングでタイマーをスタートさせ、受光装置30が当該パルス光を受光したタイミングでタイマーをストップして時間を計測する。時間計測のその他の方法として、光源20から所定の周期でパルス光を照射し、受光装置30が当該パルス光を受光した際の周期を検出し、発光の周期と受光の周期との位相差から時間を計測してもよい。時間計測は複数回実行され、複数回計測された時間を積み上げたToFヒストグラムのピークの位置を検出することによって時間を計測する。
 そして、本適用例に係る測距装置1では、光センサ32として、画素の受光素子が、光子の受光に応じて信号を発生する素子、例えば、SPAD(Single Photon Avalanche Diode:単一光子アバランシェダイオード)素子から成るセンサを用いている。すなわち、本適用例に係る測距装置1における受光装置30は、画素の受光素子がSPAD素子から成る構成となっている。尚、受光素子は、SPAD素子に限定されるものではなく、APD(Avalanche Photo Diode)やCAPD(Current Assisted Photonic Demodulator)等の種々の素子であってもよい。
[SPAD素子を用いた基本的な画素回路例]
 SPAD素子を用いた受光装置30における基本的な画素回路の一例を図3に示す。ここでは、1画素分の基本構成を図示している。
 SPAD素子を用いた画素50の基本的な画素回路は、SPAD素子51のカソード電極が、負荷であるP型MOSトランジスタQLを介して、電圧Vebが与えられる端子52に接続され、アノード電極が、アノード電圧Vbdが与えられる端子53に接続された構成となっている。アノード電圧Vbdとしては、アバランシェ増倍が発生する大きな負電圧が印加される。アノード電極とグランドとの間には容量素子Cが接続されている。そして、SPAD素子51のカソード電圧VCAが、P型MOSトランジスタQp及びN型MOSトランジスタQnが直列接続されて成るインバータ(CMOSインバータ)54を介してSPAD出力(画素出力)として導出される。
 SPAD素子51には、ブレークダウン電圧VBD以上の電圧が印加される。ブレークダウン電圧VBD以上の過剰電圧は、エクセスバイアス電圧VEXと呼ばれ、2-5V程度の電圧が一般的である。SPAD素子51は、DC的な安定点が無いガイガーモードと呼ばれる領域で動作する。SPAD素子51のPN接合のI(電流)-V(電圧)特性を図4Aに示す。
[SPAD素子を用いた画素回路の回路動作例]
 続いて、上記の構成の画素回路の回路動作の一例について、図4Bの波形図を用いて説明する。
 SPAD素子51に電流が流れていない状態では、SPAD素子51には、Veb-Vbdの値の電圧が印加されている。この電圧値(Veb-Vbd)は、(VBD+VEX)である。そして、SPAD素子51のPN接合部で暗電子の発生レートDCR(Dark Count Rate)や光照射によって発生した電子がアバランシェ増倍を生じ、アバランシェ電流が発生する。この現象は、遮光されている状態(即ち、光が入射していない状態)でも確率的に発生している。これが暗電子の発生レートDCRである。
 カソード電圧VCAが低下し、SPAD素子51の端子間の電圧がPNダイオードのフレークダウン電圧VBDになると、アバランシェ電流が停止する。そして、アバランシェ増倍で発生し、蓄積された電子が、負荷の抵抗素子R(又は、P型MOSトランジスタQL)によって放電し、カソード電圧VCAが電圧Vebまで回復し、再び初期状態に戻る。
 SPAD素子51に光が入射して1個でも電子-正孔対が発生すると、それが種となってアバランシェ電流が発生するので、光子1個の入射でも、ある検知効率PDE(Photon Detection Efficiency)で検出することができる。この光子を検知できる検知効率PDEは、通常、数%~20%程度のものが多い。
 以上の動作が繰り返される。そして、この一連の動作において、カソード電圧VCAが、インバータ54で波形整形され、1フォトンの到来時刻を開始点とするパルス幅Tのパルス信号がSPAD出力(画素出力)となる。
<本開示の実施形態>
 次に、上記の構成の測距装置1として用いることができる本開示の実施形態に係る測距装置、及び、当該測距装置に用いることができる本開示の実施形態に係る受光装置について説明する。
 SPAD素子51へ光子が一度に大量に入射すると、SPAD素子51の反応が速くなる。すなわち、測定対象物の反射率∝光子の飛来率令∝周辺環境の照度の関係にあり、周辺環境の照度によってToFヒストグラムに誤差が生じる。その結果、周辺環境の照度によって、測距の精度が低下する場合がある。
 本開示の実施形態では、周辺環境の照度に関わらず(照度の影響を受けることなく)、信頼性の高い測距を行えるようにすることを目的とする。そして、当該目的のために、本開示の実施形態に係る受光装置は、受光素子への光の入射に基づく受光応答の立ち上がり時間tr又は立ち下がり時間tfを算出し、この立ち上がり時間tr又は立ち下がり時間tfに基づいて、光源の発光量、及び、受光素子の感度(検知効率PDE:Photon  Detection Efficiency)の少なくとも一方を制御するようにする。また、上記の目的のために、本開示の実施形態に係る測距装置は、上記の構成の受光装置を用いる構成をとることができる。
 本実施形態に係る受光装置及び測距装置は、受光応答の立ち上がり時間tr又は立ち下がり時間tfを算出する時間算出部として、互いに異なる閾値を有する複数の時間計測部を有する。光源の発光量、及び、受光素子の感度の少なくとも一方を制御する制御部は、複数の時間計測部を含む時間算出部が算出した立ち上がり時間又は立ち下がり時間が、所定の基準時間(基準値)になるように(具体的には、所定の基準値±αに収束するように)制御を行う。
 以下に、本開示の実施形態に係る受光装置、及び、本開示の実施形態に係る測距装置の具体的な構成について説明する。以下では、受光素子への光の入射に基づく受光応答の立ち下がり時間tfを算出する場合を例に挙げて説明するが、立ち上がり時間trを算出する場合も、基本的に、立ち下がり時間tfを算出する場合と同じである。
[実施形態に係る受光装置]
 図5Aは、本開示の実施形態に係る受光装置の構成の一例を示すブロック図である。本実施形態に係る受光装置は、受光応答の立ち下がり時間tfを算出する時間算出部60を備える構成となっている。時間算出部60は、互いに異なる閾値を有する複数の時間計測部として例えば2つ(2系統)の時間計測部、即ち、第1の時間算出部61及び第2の時間算出部62を備え、更に、演算部63を備えている。
 第1の時間算出部61は、図3のインバータ54に相当する第1のインバータ541及びTDC(Time-to-Digital Converter:時間計測部)611から成り、第1閾値Vth1を有しており、SPAD素子51への光の入射に基づく受光応答の立ち下がりを検出する。第1閾値Vth1は、第1のインバータ541の閾値電圧である。第2の時間算出部62は、図3のインバータ54に相当する第2のインバータ542及びTDC621から成り、第1閾値Vth1よりも小さい第2閾値Vth2(Vth1>Vth2)を有しており、SPAD素子51への光の入射に基づく受光応答の立ち下がりを検出する。第2閾値Vth2は、第2のインバータ542の閾値電圧である。
 互いに異なる第1閾値Vth1及び第2閾値Vth2については、図3に示すCMOSインバータ54を構成するP型MOSトランジスタQp及びN型MOSトランジスタQnにおいて、トランジスタ毎の閾値電圧Vth、トランジスタ毎のサイズ比、即ち、W(チャネル幅)/L(チャネル長)、あるいは、電源電圧を異ならせることによって設定することができる。
 図5Bは、図5Aの受光装置の各部の応答波形を示す波形図である。図5Bには、光子の飛来率(=SPAD入射時の光子束密度/レーザ光発射時の光子束密度)が相対的に高い場合のSPAD素子51の応答波形を実線で示し、飛来率が相対的に低い場合のSPAD素子51の応答波形を点線で示している。また、飛来率が相対的に高い場合の第1のインバータ541及び第2のインバータ542を通過した後のSPAD素子51の応答波形を実線で示し、飛来率が相対的に低い場合の第1のインバータ541及び第2のインバータ542を通過した後のSPAD素子51の応答波形を点線で示している。
 図5Bの波形図に示すように、第1のインバータ541の出力は、飛来率が相対的に高い場合/低い場合のSPAD素子51の応答波形が第1閾値Vth1を下回ったときに極性が反転する。第2のインバータ542の出力は、飛来率が相対的に高い場合/低い場合のSPAD素子51の応答波形が第2閾値Vth2を下回ったときに極性が反転する。受光装置では、SPAD素子51の応答波形が第1閾値Vth1を下回った時点から第2閾値Vth2を下回った時点までの時間Δtを、ヒストグラム結果から求めることになる。
 第1の時間算出部61は、第1のインバータ541の出力の極性反転を検出し、TDC611によってSPAD素子51の応答波形が第1閾値Vth1を下回ったときの時間を計測する。第2の時間算出部62は、第2のインバータ542の出力の極性反転を検出し、TDC621によってSPAD素子51の応答波形が第2閾値Vth2を下回ったときの時間を計測する。演算部63は、第1の時間算出部61及び第2の時間算出部62の各計測結果に基づいて、SPAD素子51への光の入射に基づく受光応答の立ち下がり時間tfを算出する。
 演算部63の算出結果、即ち、受光応答の立ち下がり時間tfの情報は、制御部40に与えられる。制御部40は、図2Aの制御部40に相当し、演算部63が算出した受光応答の立ち下がり時間tfに基づいて、SPAD素子51の感度(検知効率PDE)を制御するための制御信号を出力する。SPAD駆動部55は、制御部40が出力する制御信号を受けて、SPAD素子51の感度を制御する。
 具体的には、SPAD駆動部55は、制御部40による制御の下に、受光応答の立ち下がり時間tfが、所定の基準値(基準時間)±αに収束するまで、SPAD素子51の感度を下げる制御を行う。ここで、「所定の基準値」については、背景光は距離依存がないことから、事前に信号光無しでシステムを稼働させ、例えば、背景光の下で測距したときの受光応答の立ち下がり時間tfを取得し、背景光の立ち下がり時間tfを基準値(基準時間)として設定することができる。室内の場合は、遠距離らしきポイントの立ち下がり時間tfを基準値とすることができる。また、基準画素の立ち下がり時間tfを基準値とすることもできる。
 SPAD素子51の感度(検知効率PDE)については、SPAD素子51への印加電圧の電圧値(Veb-Vbd)を変更することによって制御することができる。例えば、制御部40は、SPAD素子51への印加電圧の電圧値(Veb-Vbd)を下げる制御を行うことにより、SPAD素子51の感度を下げることができる。
 本実施形態に係る受光装置では、受光応答の立ち下がり時間tf(又は、立ち上がり時間tr)を取得する手段、即ち、第1の時間算出部61及び第2の時間算出部62について、異なる閾値電圧を有する第1のインバータ541及び第2のインバータ542と、TDC611及びTDC621との組み合わせから成る構成としている。但し、この組み合わせは、低コスト化の観点では有利であるが、受光応答の立ち下がり時間tf(又は、立ち上がり時間tr)を取得する手段としては、上記の組み合わせから成る構成に限られるものではない。他の構成としては、例えば、異なる閾値設定のためのデジタル-アナログ変換器又は基準電圧源、コンパレータ、及び、TDCの組み合わせから成る構成とすることも可能である。
 上述したように、本実施形態に係る受光装置では、SPAD素子51の受光応答の立ち下がり時間tfを取得し、当該立ち下がり時間tfが基準値になるように(基準値±αに収束するように)、SPAD素子51の感度についてフィードバック制御を行うようにしている。このフィードバック制御により、飛来率を常に一定にすることができるため、受光応答のパルス幅に基づく制御の場合よりも、光子束密度が安定化し、信頼性の高い測距を行うことができる。
 上記の構成の本実施形態に係る受光装置のチップ構造としては、複数の半導体基板を積層した積層構造とすることができる。具体的には、図6に示すように、第1の半導体基板を上チップ101として、当該上チップ101にSPAD素子51を含む画素50を形成し、第2の半導体基板を下チップ102として、当該下チップ102に第1の時間算出部61及び第2の時間算出部62を形成する。そして、SPAD素子51を含む画素50が形成された上チップ101と、第1の時間算出部61及び第2の時間算出部62が形成された下チップ102とを積層する。
[実施形態に係る測距装置]
 図7は、本開示の実施形態に係る測距装置の構成の一例を示すブロック図である。本実施形態に係る測距装置は、図5Aに示す受光装置の画素50及び時間算出部60の他に、光源20、即ち、レーザ駆動部21及びレーザ光源22を備える構成となっている。
 本実施形態に係る測距装置において、制御部40は、演算部63が算出した受光応答の立ち下がり時間tfに基づいて、レーザ光源22の発光量又はSPAD素子51の感度(検知効率PDE)、あるいは、レーザ光源22の発光量及びSPAD素子51の感度の両方、即ち、レーザ光源22の発光量及びSPAD素子51の感度の少なくとも一方を制御するための制御信号を出力する。
 SPAD駆動部55は、制御部40が出力する制御信号を受けて、SPAD素子51の感度(検知効率PDE)を制御する。具体的には、SPAD駆動部55は、制御部40による制御の下に、受光応答の立ち下がり時間tfが、所定の基準値(基準時間)±αに収束するように、例えば、SPAD素子51への印加電圧の電圧値(Veb-Vbd)を変更することにより、SPAD素子51の感度を下げる制御を行う。
 レーザ駆動部21は、制御部40が出力する制御信号を受けて、レーザ光源22の発光量を制御する。具体的には、レーザ駆動部21は、制御部40による制御の下に、受光応答の立ち下がり時間tfが、所定の基準値(基準時間)±αに収束するように、例えば、レーザ光源22の駆動電流の電流値を変更することにより、レーザ光源22の発光量(強度)を弱める制御を行う。
 本実施形態に係る測距装置による測距処理の一例を図8のローチャートに示す。この測距処理は、制御部40による制御の下に実行される。
 制御部40は、先ず、ある1フレームについて測距を行い(ステップS11)、次いで、第1の時間算出部61及び第2の時間算出部62の各計測結果に基づいて、演算部63が算出した受光応答の立ち下がり時間tfが、あらかじめ設定した基準値(基準時間)よりも大きいか否かを判断し(ステップS12)、基準値よりも立ち下がり時間tfが大きくなければ(S12のNO)、本測距処理を終了する。
 制御部40は、受光応答の立ち下がり時間tfが基準値よりも大きいと判断した場合は(S12のYES)、受光応答の立ち下がり時間tfが、所定の基準値(基準時間)±αに収束するように、レーザ光源22の発光量及びSPAD素子51の感度を制御し(ステップS13)、しかる後、ステップS11に戻る。レーザ光源22の発光量の制御は、例えば、レーザ光源22の駆動電流を変更することによって実現できる。SPAD素子51の感度の制御は、SPAD素子51への印加電圧の電圧値(Veb-Vbd)を変更することによって実現できる。
 尚、ここでは、一例として、レーザ光源22の発光量及びSPAD素子51の感度の両方を制御する場合について説明したが、制御部40による制御の下に、レーザ光源22の発光量のみ、あるいは、SPAD素子51の感度のみを制御するようにしてもよい。
 上述したように、本実施形態に係る測距装置では、SPAD素子51の受光応答の立ち下がり時間tf(又は、立ち上がり時間tr)を取得し、当該立ち下がり時間tf(又は、立ち上がり時間tr)が基準値になるように(基準値±αに収束するように)、SPAD素子51の感度についてフィードバック制御を行う。このフィードバック制御により、飛来率を常に一定にすることができるため、受光応答のパルス幅に基づく制御の場合よりも、光子束密度が安定化し、信頼性の高い測距を行うことができる。
 また、本実施形態に係る測距装置によれば、フィードバック制御であるために、取得した立ち下がり時間tf(又は、立ち上がり時間tr)について補正したり、補正のためのテーブルを作成したりする必要がないという利点もある。
 以下に、周辺環境の照度に関わらず、信頼性の高い測距を行えるようにするための、本実施形態に係る受光装置、又は、本実施形態に係る測距装置の具体的な実施例について説明する。
[実施例1]
 実施例1は、SPAD素子51の受光応答の立ち下がり時間tf(又は、立ち上がり時間tr)を算出する演算部63の具体的な回路構成例である。実施例1では、立ち下がり時間tfを算出する場合を例に挙げて説明するが、立ち上がり時間trを算出する場合も、立ち下がり時間tfを算出する場合と同じである。この点については、後述する各実施例においても同様である。
 実施例1に係る演算部63を含む受光装置の構成の一例を図9に示す。図9に示すように、受光応答の立ち下がり時間tfを算出する演算部63は、減算器631、ToFヒストグラム生成部632、立ち下がり時間tfヒストグラム生成部633、及び、平均演算部634を有する構成となっている。
 上記の構成の演算部63において、減算器631は、第1閾値Vth1に基づく第1の時間算出部61の計測結果(受光応答の立ち下がり時間tf)と、第2閾値Vth2に基づく第2の時間算出部62の計測結果(受光応答の立ち下がり時間tf)との差分値を求める。
 第1の時間算出部61での時間計測は、複数回実行される。ToFヒストグラム生成部632は、第1の時間算出部61で複数回計測された、第1閾値Vth1に基づく計測時間を積み上げて、ToFのヒストグラムを生成する。ToFヒストグラムを図10Aに示す。このToFヒストグラムにおいて、ヒストグラムのピーク位置が距離情報となる。換言すれば、ToFヒストグラムのピーク位置の時間を計測することで、この時間を基に被写体までの距離を求めることができる。
 ここで、信号光の強度が強すぎる場合、ToFヒストグラムが左シフトしている可能性があるため、SPAD素子51の受光応答の立ち下がり時間tfを確認する必要がある。信号光の強度が強すぎる場合の立ち下がり時間tfヒストグラムを図10Bに示す。立ち下がり時間tfヒストグラム生成部633は、減算器631の出力、即ち、第1の時間算出部61の計測結果と第2の時間算出部62の計測結果との差分値情報に基づいて、立ち下がり時間tfのヒストグラムを生成する。平均演算部634は、立ち下がり時間tfヒストグラム生成部633が生成した立ち下がり時間tfのヒストグラムの平均値を、SPAD素子51の受光応答の立ち下がり時間tfとして算出する。
 図10Bに示すように、信号光の強度が強すぎる場合、信号光の立ち下がり時間tfのヒストグラムと背景光の立ち下がり時間tfのヒストグラムが分離する。尚、第1の時間算出部61及び第2の時間算出部62の分解能が細かい方が、信号光の立ち下がり時間tfのヒストグラムと背景光の立ち下がり時間tfのヒストグラムとが分離しやすく、正しく平均値をとることができる。但し、信号光の立ち下がり時間tfのヒストグラムと背景光の立ち下がり時間tfのヒストグラムが分離していなくても、フィードバック制御は可能であるため問題はない。
 信号光の強度が適切な場合、信号光の立ち下がり時間tfのヒストグラムと背景光の立ち下がり時間tfのヒストグラムとが、図10Cに示すように重なるまで、フィードバック制御を働かせて、レーザ光源22の強度(発光量)を弱める、及び/又は、SPAD素子51の感度(検知効率PDE)を下げる。
 上記の構成の実施例1に係る演算部63を含む受光装置において、演算部63は、減算器631の出力、即ち、第1の時間算出部61の計測結果と第2の時間算出部62の計測結果との差分値情報から、SPAD素子51の受光応答の立ち下がり時間tfを求め、その演算結果から光子束密度(照度)を取得することができる。すなわち、実施例1に係る演算部63を光子束密度計(照度計)として用いることができる。
 換言すれば、実施例1に係る演算部63を含む受光装置は、減算器631の差分値情報から、SPAD素子51の受光応答の立ち下がり時間tfを求め、その結果から光子束密度(照度)を取得する光子束密度計(照度計)を用いた受光装置ということができる。この場合、光子束密度計(照度計)で取得した光子束密度(照度)の情報に基づいて、意図した照度値になるまでレーザ光源22の発光量及びSPAD素子51の感度(検知効率PDE)の少なくとも一方についてフィードバック制御を行うことになる。
 上述したように、実施例1に係る演算部63を含む受光装置は、SPAD素子51自体が保有するジッタ(揺らぎ)を活用し、第1の時間算出部61の計測結果と第2の時間算出部62の計測結果との差分値のヒストグラムを生成し、適切な平均演算を行う演算部63を用いる構成となっている。この構成により、TDCの時間分解能は、測定対象のSPAD素子51の受光応答の立ち下がり時間tfよりも大きいとしても、TDCの時間分解能よりも遥かに細かい精度での立ち下がり時間tfの測定が可能となる。
[実施例2]
 実施例2は、1次元、2次元、又は、3次元アレイで構成されているレーザ光源22及びSPAD素子51の各デバイス配置の例である。
 実施例2に係るデバイス配置の構成例を図11に示す。図11では、図面の簡略化のために、演算部63の平均演算部634及び制御部40については図示を省略している。レーザ光源22とSPAD素子51とは、1対N(N≧1)の対応関係にあり、ここでは、N=2の場合、即ち、1つのレーザ光源22に対して、SPAD素子51が2つの場合を例示している。
 上記の構成の測距装置では、第1の時間算出部61の計測結果と第2の時間算出部62の計測結果との差分値に基づく各SPAD素子51の照度情報に応じて、各レーザ光源22を独立にレーザ強度(発光量)をフィードバック制御する。このフィードバック制御により、光子束密度が安定化するため、信頼性の高い測距を行うことができる。
 尚、ここでは、SPAD素子51の照度情報に応じて、レーザ強度(レーザ光源22の発光量)をフィードバック制御する場合を例示したが、レーザ強度のフィードバック制御に限られるものではなく、SPAD素子51の感度(検知効率PDE)をフィードバック制御するようにしてもよい。
[実施例3]
 実施例1は、SPAD素子51の受光応答の立ち下がり時間tfを取得し、この取得した情報を基に、レーザ光源22の発光量/SPAD素子51の感度についてフィードバック制御を行う例である。これに対して、実施例3は、演算部63において、補正用テーブルを用いて測距結果(即ち、取得した距離情報)を補正する例である。
 実施例3に係る演算部63を含む受光装置の構成の一例を図12に示す。図12に示すように、演算部63は、減算器631、ToFヒストグラム生成部632、及び、立ち下がり時間tfヒストグラム生成部633の他に、ToF補正部635、及び、補正用テーブル記憶部636を有する構成となっている。補正用テーブル記憶部636としては、不揮発性メモリを用いることができる。不揮発性メモリについては、受光装置の内部に設ける構成をとることもできるし、受光装置の外部に設ける構成をとることもできる。
 補正用テーブル記憶部636には、第1の時間算出部61の計測結果と第2の時間算出部62の計測結果との差分値情報に基づく照度情報(光子束密度情報)と、補正すべき距離情報とを対応させた補正用テーブルがあらかじめ記憶されている。ToF補正部635は、立ち下がり時間tfヒストグラム生成部633で求められた受光応答の立ち下がり時間tfを基に、補正用テーブル記憶部636に記憶された補正用テーブルを用いて、ToFヒストグラム生成部632で取得した距離情報を補正する。
 尚、ToF補正部635による距離情報の補正に当たっては、電圧・温度情報636を用いるようにしてもよく、これによれば、距離情報の補正をより確実に行うことが可能となる。
[実施例4]
 実施例1乃至実施例3は、SPAD素子51の応答波形が第2閾値Vth2を下回ったときの時間を計測する第2の時間算出部62を、全てのSPAD素子51に対して配置する例である。これに対して、実施例4は、SPAD素子51に対する第2の時間算出部62の配置を間引く例である。
 実施例4に係る受光装置の構成の一例を図13に示す。図13では、図面の簡略化のために、演算部63の平均演算部634及び制御部40については図示を省略している。受光応答の立ち下がり時間tfを取得する第2の時間算出部62については、全てのSPAD素子51に対して持つ必要はなく、画素アレイ部の各SPAD素子51に対して第2の時間算出部62を間引いて配置した、二次元的に粗い配置であってもよい。ここでは、画素アレイ部の3行を単位として、3行に1つ第2の時間算出部62を配置する例を示している。
 図13には、例えば、互いに隣接して配置された4行分の4つのSPAD素子51を図示し、便宜上、4つのSPAD素子51を、SPAD素子(1)、SPAD素子(2)、SPAD素子(3)、SPAD素子(4)としている。
 実施例4に係る受光装置は、照度計算部638及び照度補間部639を備えている。照度計算部638は、SPAD素子(1)について、立ち下がり時間tfヒストグラム生成部633で求められた受光応答の立ち下がり時間tfを用いて、SPAD素子51の照度を計算する。SPAD素子(2)及びSPAD素子(3)については、第2の時間算出部62が配置されていないため、SPAD素子51の照度の計算は行われない。
 そこで、照度補間部639は、補間演算によって、第2の時間算出部62が配置されていないSPAD素子(2)及びSPAD素子(3)について照度を求める。具体的には、照度補間部639は、SPAD素子(1)については、照度計算部638で求められた照度をそのまま出力する。SPAD素子(2)の照度については、補間演算により、SPAD素子(1)の照度、及び、SPAD素子(4)の照度から推定する。SPAD素子(3)の照度についても、SPAD素子(2)の照度と同様に、補間演算により、SPAD素子(1)の照度、及び、SPAD素子(4)の照度から推定する。
 実施例4に係る受光装置によれば、受光応答の立ち下がり時間tfを取得する第2の時間算出部62を、全てのSPAD素子51に対して配置するのではなく、間引いて配置しているため、全てのSPAD素子51に対して配置する場合に比べて、回路規模の縮小化を図ることができる。
<変形例>
 以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した受光装置及び測距装置の構成、構造は例示であり、適宜、変更することができる。例えば、上記の実施形態では、受光素子としてSPAD素子を用いる場合を例に挙げて説明したが、受光素子としては、SPAD素子に限られるものではなく、APDやCAPD等の素子を用いた場合であっても同様の作用、効果を得ることができる。
 また、上記の実施形態では、互いに異なる閾値を有する複数の時間計測部として、時間計測部を2つ(即ち、第1の時間算出部61及び第2の時間算出部62)を備える場合を例に挙げて説明したが、2つに限られるものではない。例えば、TDCを含む時間計測部を3つ(3系統)備える場合の構成を図14に示す。
 本変形例に係る受光装置は、第1の時間算出部61及び第2の時間算出部62の他に、第3の時間算出部62’を備えている。第3の時間算出部62’は、図3のインバータ54に相当する第3のインバータ542’及びTDC621’から成り、第2閾値Vth2よりも小さい第3閾値Vth3(Vth1>Vth2>Vth3)を有しており、SPAD素子51への光の入射に基づく受光応答の立ち下がりを検出する。
 第3の時間算出部62’の後段には、減算器631’及び立ち下がり時間tfヒストグラム生成部633’が設けられている。減算器631’は、第2閾値Vth2に基づく第2の時間算出部62の計測結果と、第3閾値Vth3に基づく第3の時間算出部62’の計測結果との差分値を求める。立ち下がり時間tfヒストグラム生成部633’は、減算器631’の出力、即ち、第2の時間算出部62の計測結果と第3の時間算出部62’の計測結果との差分値情報に基づいて、立ち下がり時間tfのヒストグラムを生成する。
 TDCを含む時間計測部を4つ(4系統)以上備える受光装置の場合に対しても、TDCを含む時間計測部を3つ(3系統)備える受光装置の場合と同様に、本開示の技術を適用することができる。
 また、仮に遠距離測定用途や細かい測距性能を求めない場合で、且つ、光子束密度(照度)の調整の必要が無い場合は、不要な回路、例えば、受光応答の立ち下がり時間tf/立ち上がり時間trの取得のみに必要なTDCやヒストグラム生成部への電力供給を抑える仕組みを、パワーゲーティングやクロックゲーティングといった手段で持つようにすることもできる。
<本開示に係る技術の適用例>
 本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
[移動体]
 図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図15では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図16は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 尚、図16には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図15に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 尚、図15に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7410がToFカメラを含む場合に、当該ToFカメラに適用され得る。そして、本開示に係る技術を適用することにより、信頼性の高い測距を行うことができる受光装置を実現できる。そして、当該受光装置を測距装置の受光装置として搭載することで、例えば、測定対象物を高精度にて検出可能な車両制御システムを構築できる。
<本開示がとることができる構成>
 尚、本開示は、以下のような構成をとることもできる。
≪A.受光装置≫
[A-1]光源からの光の照射に基づく、被写体からの反射光を受光する受光素子、
 受光素子への光の入射に基づく受光応答の立ち上がり時間又は立ち下がり時間を算出する時間算出部、
 時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する制御部、
 を備える受光装置。
[A-2]制御部は、時間算出部が算出した立ち上がり時間又は立ち下がり時間が、所定の基準時間になるように、光源の発光量、及び、受光素子の感度の少なくとも一方を制御する、
 上記[A-1]に記載の受光装置。
[A-3]所定の基準時間は、背景光の下で測距したときの受光応答の立ち上がり時間又は立ち下がり時間である、
 上記[A-2]に記載の受光装置。
[A-4]制御部は、光源の駆動電流の電流値を変更することによって光源の発光量を制御する、
 上記[A-2]又は上記[A-3]に記載の受光装置。
[A-5]制御部は、受光素子への印加電圧の電圧値を変更することによって受光素子の感度を制御する、
 上記[A-2]又は上記[A-3]に記載の受光装置。
[A-6]時間算出部は、互いに異なる閾値を有する複数の時間算出部から成る、
 上記[A-1]乃至上記[A-5]のいずれかに記載の受光装置。
[A-7]複数の時間算出部は、インバータ及び時間計測部の組み合わせから成る、
 上記[A-6]に記載の受光装置。
[A-8]複数の時間算出部の異なる閾値は、インバータの閾値電圧によって与えられる、
 上記[A-7]に記載の受光装置。
[A-9]インバータは、CMOSインバータであり、
 複数の時間算出部の異なる閾値は、CMOSインバータを構成するトランジスタ毎の閾値電圧、あるいは、トランジスタ毎のサイズ比を異ならせることによって設定される、
 上記[A-8]に記載の受光装置。
[A-10]時間算出部は、複数の時間算出部の算出結果から得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間を算出する演算部を有する、
 上記[A-6]乃至上記[A-9]のいずれかに記載の受光装置。
[A-11]演算部は、
 複数の時間算出部の算出結果を基に差分値情報を得る減算器、
 減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、及び、
 ヒストグラム生成部が生成したヒストグラムの平均値を、受光応答の立ち上がり時間又は立ち下がり時間とする平均演算部、
 を有する、
 上記[A-10]に記載の受光装置。
[A-12]制御部は、時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方をフィードバック制御する、
 上記[A-1]乃至上記[A-12]のいずれかに記載の受光装置。
[A-13]演算部は、受光応答の立ち上がり時間又は立ち下がり時間の算出結果から、光子束密度を取得する、
 上記[A-10]に記載の受光装置。
[A-14]演算部は、
 複数の時間算出部の算出結果を基に差分値情報を得る減算器、
 減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、
 減算器で得られる差分値情報に基づく光子束密度情報と、補正すべき距離情報とを対応させた補正用テーブル、及び、
 受光応答の立ち上がり時間又は立ち下がり時間を基に、補正用テーブルを用いて距離情報を補正する補正部、
 を有する、
 上記[A-10]に記載の受光装置。
[A-15]時間算出部は、
 第1閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第1の時間算出部、及び、
 第1閾値と異なる第2閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第2の時間算出部、
 有し、
 第2の時間算出部は、画素アレイ部の各受光素子に対して間引いて配置されている、
 上記[A-6]乃至上記[A-14]のいずれかに記載の受光装置。
[A-16]受光素子は、光子の受光に応じて信号を発生する素子である、
 上記[A-1]乃至上記[A-15]のいずれかに記載の受光装置。
[A-17]受光素子は、単一光子アバランシェダイオードから成る、
 上記[A-16]に記載の受光装置。
≪B.測距装置≫
[B-1]測定対象物に対して光を照射する光源、及び、
 測定対象物で反射された光を受光する受光装置、
 を備え、
 受光装置は、
 光源からの光の照射に基づく、被写体からの反射光を受光する受光素子、
 受光素子への光の入射に基づく受光応答の立ち上がり時間又は立ち下がり時間を算出する時間算出部、
 時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する制御部、
 を備える測距装置。
[B-2]制御部は、時間算出部が算出した立ち上がり時間又は立ち下がり時間が、所定の基準時間になるように、光源の発光量、及び、受光素子の感度の少なくとも一方を制御する、
 上記[B-1]に記載の測距装置。
[B-3]所定の基準時間は、背景光の下で測距したときの受光応答の立ち上がり時間又は立ち下がり時間である、
 上記[B-2]に記載の測距装置。
[B-4]制御部は、光源の駆動電流の電流値を変更することによって光源の発光量を制御する、
 上記[B-2]又は上記[B-3]に記載の測距装置。
[B-5]制御部は、受光素子への印加電圧の電圧値を変更することによって受光素子の感度を制御する、
 上記[B-2]又は上記[B-3]に記載の測距装置。
[B-6]時間算出部は、互いに異なる閾値を有する複数の時間算出部から成る、
 上記[B-1]乃至上記[B-5]のいずれかに記載の測距装置。
[B-7]複数の時間算出部は、インバータ及び時間計測部の組み合わせから成る、
 上記[B-6]に記載の測距装置。
[B-8]複数の時間算出部の異なる閾値は、インバータの閾値電圧によって与えられる、
 上記[B-7]に記載の測距装置。
[B-9]インバータは、CMOSインバータであり、
 複数の時間算出部の異なる閾値は、CMOSインバータを構成するトランジスタ毎の閾値電圧、あるいは、トランジスタ毎のサイズ比を異ならせることによって設定される、
 上記[B-8]に記載の測距装置。
[B-10]時間算出部は、複数の時間算出部の算出結果から得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間を算出する演算部を有する、
 上記[B-6]乃至上記[B-9]のいずれかに記載の測距装置。
[B-11]演算部は、
 複数の時間算出部の算出結果を基に差分値情報を得る減算器、
 減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、及び、
 ヒストグラム生成部が生成したヒストグラムの平均値を、受光応答の立ち上がり時間又は立ち下がり時間とする平均演算部、
 を有する、
 上記[B-10]に記載の測距装置。
[B-12]制御部は、時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方をフィードバック制御する、
 上記[B-1]乃至上記[B-12]のいずれかに記載の測距装置。
[B-13]演算部は、受光応答の立ち上がり時間又は立ち下がり時間の算出結果から、光子束密度を取得する、
 上記[B-10]に記載の測距装置。
[B-14]演算部は、
 複数の時間算出部の算出結果を基に差分値情報を得る減算器、
 減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、
 減算器で得られる差分値情報に基づく光子束密度情報と、補正すべき距離情報とを対応させた補正用テーブル、及び、
 受光応答の立ち上がり時間又は立ち下がり時間を基に、補正用テーブルを用いて距離情報を補正する補正部、
 を有する、
 上記[B-10]に記載の測距装置。
[B-15]時間算出部は、
 第1閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第1の時間算出部、及び、
 第1閾値と異なる第2閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第2の時間算出部、
 有し、
 第2の時間算出部は、画素アレイ部の各受光素子に対して間引いて配置されている、
 上記[B-6]乃至上記[B-14]のいずれかに記載の測距装置。
[B-16]受光素子は、光子の受光に応じて信号を発生する素子である、
 上記[B-1]乃至上記[B-15]のいずれかに記載の測距装置。
[B-17]受光素子は、単一光子アバランシェダイオードから成る、
 上記[B-16]に記載の測距装置。
[B-18]光源及び受光素子は、1次元、2次元、又は、3次元アレイで構成されており、
 光源と受光素子とが、1対N(N≧1)の対応関係にあるとき、
 受光素子の照度情報に応じて、各光源の発光量を独立にフィードバック制御する、
 上記[B-1]乃至上記[B-18]のいずれかに記載の受光装置。
 1・・・測距装置、10・・・被写体(測定対象物)、20・・・光源、21・・・レーザ駆動部、22・・・レーザ光源、23・・・拡散レンズ、30・・・受光装置、31・・・受光レンズ、32・・・光センサ、33・・・信号処理部、40・・・制御部、50・・・画素、51・・・SPAD素子、54,541,542・・・インバータ、55・・・SPAD駆動部、60・・・時間算出部、61・・・第1の時間算出部、62・・・第2の時間算出部、63・・・演算部、631・・・減算器、632・・・ToFヒストグラム生成部、633・・・立ち下がり時間tfヒストグラム生成部、634・・・平均演算部、635・・・ToF補正部は、636・・・補正用テーブル記憶部、637・・・電圧・温度情報記憶部、638・・・照度計算部、639・・・照度補間部

Claims (20)

  1.  光源からの光の照射に基づく、被写体からの反射光を受光する受光素子、
     受光素子への光の入射に基づく受光応答の立ち上がり時間又は立ち下がり時間を算出する時間算出部、
     時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する制御部、
     を備える受光装置。
  2.  制御部は、時間算出部が算出した立ち上がり時間又は立ち下がり時間が、所定の基準時間になるように、光源の発光量、及び、受光素子の感度の少なくとも一方を制御する、
     請求項1に記載の受光装置。
  3.  所定の基準時間は、背景光の下で測距したときの受光応答の立ち上がり時間又は立ち下がり時間である、
     請求項2に記載の受光装置。
  4.  制御部は、光源の駆動電流の電流値を変更することによって光源の発光量を制御する、
     請求項2に記載の受光装置。
  5.  制御部は、受光素子への印加電圧の電圧値を変更することによって受光素子の感度を制御する、
     請求項2に記載の受光装置。
  6.  時間算出部は、互いに異なる閾値を有する複数の時間算出部から成る、
     請求項1に記載の受光装置。
  7.  複数の時間算出部は、インバータ及び時間計測部の組み合わせから成る、
     請求項6に記載の受光装置。
  8.  複数の時間算出部の異なる閾値は、インバータの閾値電圧によって与えられる、
     請求項7に記載の受光装置。
  9.  インバータは、CMOSインバータであり、
     複数の時間算出部の異なる閾値は、CMOSインバータを構成するトランジスタ毎の閾値電圧、あるいは、トランジスタ毎のサイズ比を異ならせることによって設定される、
     請求項8に記載の受光装置。
  10.  時間算出部は、複数の時間算出部の算出結果から得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間を算出する演算部を有する、
     請求項6に記載の受光装置。
  11.  演算部は、
     複数の時間算出部の算出結果を基に差分値情報を得る減算器、
     減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、及び、
     ヒストグラム生成部が生成したヒストグラムの平均値を、受光応答の立ち上がり時間又は立ち下がり時間とする平均演算部、
     を有する、
     請求項10に記載の受光装置。
  12.  制御部は、時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方をフィードバック制御する、
     請求項1に記載の受光装置。
  13.  演算部は、受光応答の立ち上がり時間又は立ち下がり時間の算出結果から、光子束密度を取得する、
     請求項10に記載の受光装置。
  14.  演算部は、
     複数の時間算出部の算出結果を基に差分値情報を得る減算器、
     減算器で得られる差分値情報に基づいて、受光応答の立ち上がり時間又は立ち下がり時間のヒストグラムを生成するヒストグラム生成部、
     減算器で得られる差分値情報に基づく光子束密度情報と、補正すべき距離情報とを対応させた補正用テーブル、及び、
     受光応答の立ち上がり時間又は立ち下がり時間を基に、補正用テーブルを用いて距離情報を補正する補正部、
     を有する、
     請求項10に記載の受光装置。
  15.  時間算出部は、
     第1閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第1の時間算出部、及び、
     第1閾値と異なる第2閾値を基準に受光応答の立ち上がり時間又は立ち下がり時間を算出する第2の時間算出部、
     有し、
     第2の時間算出部は、画素アレイ部の各受光素子に対して間引いて配置されている、
     請求項6に記載の受光装置。
  16.  受光素子は、光子の受光に応じて信号を発生する素子である、
     請求項1に記載の受光装置。
  17.  受光素子は、単一光子アバランシェダイオードから成る、
     請求項16に記載の受光装置。
  18.  測定対象物に対して光を照射する光源、及び、
     測定対象物で反射された光を受光する受光装置、
     を備え、
     受光装置は、
     光源からの光の照射に基づく、被写体からの反射光を受光する受光素子、
     受光素子への光の入射に基づく受光応答の立ち上がり時間又は立ち下がり時間を算出する時間算出部、
     時間算出部が算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する制御部、
     を備える測距装置。
  19.  光源及び受光素子は、1次元、2次元、又は、3次元アレイで構成されており、
     光源と受光素子とが、1対N(N≧1)の対応関係にあるとき、
     受光素子の照度情報に応じて、各光源の発光量を独立にフィードバック制御する、
     請求項18に記載の受光装置。
  20.  測定対象物に対して光を照射する光源、及び、
     測定対象物で反射された光を受光する受光装置、
     を備える測距装置の制御に当たって、
     光源からの光の照射に基づく、被写体からの反射光を受光する受光素子の受光応答の立ち上がり時間又は立ち下がり時間を算出し、
     この算出した立ち上がり時間又は立ち下がり時間に基づいて、光源の発光量、及び、受光素子の感度の少なくとも一方を制御するための制御信号を出力する、
     測距装置の制御方法。
PCT/JP2020/027978 2019-09-18 2020-07-18 受光装置、並びに、測距装置及び測距装置の制御方法 WO2021053958A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/753,622 US20220342040A1 (en) 2019-09-18 2020-07-18 Light reception device, distance measurement apparatus, and method of controlling distance measurement apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-169114 2019-09-18
JP2019169114A JP2021047069A (ja) 2019-09-18 2019-09-18 受光装置、並びに、測距装置及び測距装置の制御方法

Publications (1)

Publication Number Publication Date
WO2021053958A1 true WO2021053958A1 (ja) 2021-03-25

Family

ID=74878263

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027978 WO2021053958A1 (ja) 2019-09-18 2020-07-18 受光装置、並びに、測距装置及び測距装置の制御方法

Country Status (3)

Country Link
US (1) US20220342040A1 (ja)
JP (1) JP2021047069A (ja)
WO (1) WO2021053958A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414748B2 (ja) * 2021-01-22 2024-01-16 キヤノン株式会社 光電変換装置及び光検出システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069322A1 (en) * 2008-06-27 2012-03-22 Juha Kostamovaara Method and Device For Measuring Distance
JP2014081254A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
WO2016121531A1 (ja) * 2015-01-29 2016-08-04 シャープ株式会社 距離測定装置
WO2017042993A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置
US20180356502A1 (en) * 2017-06-13 2018-12-13 Hexagon Technology Center Gmbh Distance measuring device with spad array and range walk compensenation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069322A1 (en) * 2008-06-27 2012-03-22 Juha Kostamovaara Method and Device For Measuring Distance
JP2014081254A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
WO2016121531A1 (ja) * 2015-01-29 2016-08-04 シャープ株式会社 距離測定装置
WO2017042993A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置
US20180356502A1 (en) * 2017-06-13 2018-12-13 Hexagon Technology Center Gmbh Distance measuring device with spad array and range walk compensenation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KURTTI, S. ET AL.: "A wide dynamic range CMOS laser radar receiver with a time-domain walk error compensation scheme", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS-I: REGULAR PAPERS, vol. 64, no. 3, 1 December 2016 (2016-12-01), pages 550 - 561, XP011641888, DOI: 10.1109/TCSI.20162619762 *

Also Published As

Publication number Publication date
JP2021047069A (ja) 2021-03-25
US20220342040A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
WO2020022137A1 (ja) 受光装置及び測距装置
WO2020121736A1 (ja) 光検出装置及び測距装置
WO2021019939A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2021111766A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2021124762A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
JP7407734B2 (ja) 光検出装置及び光検出装置の制御方法、並びに、測距装置
WO2021192770A1 (ja) 受光装置及び測距装置
TWI840456B (zh) 光檢測裝置、光檢測裝置之控制方法及測距裝置
WO2024095625A1 (ja) 測距装置および測距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20864694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20864694

Country of ref document: EP

Kind code of ref document: A1