WO2020145035A1 - 距離測定装置及び距離測定方法 - Google Patents

距離測定装置及び距離測定方法 Download PDF

Info

Publication number
WO2020145035A1
WO2020145035A1 PCT/JP2019/048938 JP2019048938W WO2020145035A1 WO 2020145035 A1 WO2020145035 A1 WO 2020145035A1 JP 2019048938 W JP2019048938 W JP 2019048938W WO 2020145035 A1 WO2020145035 A1 WO 2020145035A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance measuring
light
distance
distance measurement
measuring device
Prior art date
Application number
PCT/JP2019/048938
Other languages
English (en)
French (fr)
Inventor
久美子 馬原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/419,432 priority Critical patent/US20220057520A1/en
Publication of WO2020145035A1 publication Critical patent/WO2020145035A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals

Definitions

  • the present technology relates to a distance measuring device and a distance measuring method.
  • a distance measuring device (sometimes called a distance measuring sensor) that measures the distance to an object (object) based on ToF (Time of Flight) is known.
  • TOF includes direct TOF (dTOF) and indirect TOF (iTOF).
  • Direct ToF emits pulsed light from a light emitting element, receives reflected light from an object irradiated with a single pulsed light by a light receiving element called a SPAD (Single Photon Avalanche Diode), detects photons, and generates it.
  • SPAD Single Photon Avalanche Diode
  • This is a technology for converting the generated carrier into an electric signal by using avalanche multiplication, inputting this into a TDC (Time to Digital Converter), measuring the arrival time of reflected light, and calculating the distance to the object.
  • TDC Time to Digital Converter
  • a distance measuring device using SPAD generally creates a histogram in which responses of several SPADs forming a pixel are added to a single pulsed light at each time divided according to a sampling frequency. The distance is calculated by adopting the time corresponding to the peak value.
  • the direct TOF the reflected light (photon) with respect to the emission of a single pulsed light is detected by SPAD, so it is stochastic whether or not the photon arrives due to the influence of the distance to the object and the ambient light (disturbance light). It is an event. Therefore, typically, a distance measuring device using SPAD creates a histogram by accumulating the SPAD reaction by light emission a plurality of times (for example, several times to several thousand times) within a predetermined unit time. , The distance measurement accuracy is improved. Such a distance measuring device can obtain an imaging frame (distance image) having distance information for each pixel in real time by reading out the photons for each pixel column arranged in a line.
  • Patent Document 1 calculates and calculates the reliability of a histogram created based on the amount of received light repeatedly observed in order to reduce unnecessary measurement even in an environment where there is a large amount of ambient light and fluctuations. Disclosed is a technique of stopping the creation of a histogram when the reliability of the histogram is equal to or higher than a threshold value.
  • the conventional distance measuring device did not consider changing the number of SPADs constituting a pixel or the sampling frequency during its operation, particularly during the formation of an imaging frame.
  • the present disclosure provides a technique that makes it possible to change the number of SPADs forming a pixel and the sampling frequency during formation of an imaging frame.
  • the present technology may be configured to include the following matters specifying the invention or technical features.
  • the present technology is directed to a distance measuring device.
  • the distance measuring device includes a light emitting unit that emits light to a target area, a light receiving unit that includes a plurality of light receiving elements that receives observation light in the target area and outputs an electric signal, and a predetermined distance measuring condition. , Emitted from the light emitting unit, which is included in the observation light received by some light receiving element groups of the plurality of light receiving elements forming a pixel in an imaging frame formed by the plurality of light receiving elements A distance measurement processing unit that performs distance measurement processing for calculating the distance to the object based on an electric signal corresponding to the reflected light from the object irradiated with the light, and controls the predetermined distance measurement condition. And a control unit.
  • the control unit may change the predetermined distance measurement condition while the current imaging frame is being formed.
  • the present technology is directed to a distance measuring method.
  • the method includes emitting light from a light emitting unit to a target area, receiving observation light in the target area by a light receiving unit including a plurality of light receiving elements, and outputting an electric signal; In the image pickup frame formed by the elements, by irradiation of the light emitted from the light emitting unit, which is included in the observation light received by some light receiving element groups of the plurality of light receiving elements that form a pixel.
  • distance measurement processing for calculating the distance to the object based on an electric signal corresponding to the reflected light from the object, according to a predetermined distance measurement condition, and measuring the distance to the object with a predetermined distance measurement accuracy. And controlling a predetermined distance measuring condition while the current imaging frame is being formed.
  • a section or means does not simply mean a physical mechanism, but also includes a case where the function of the mechanism is realized by software. Further, the functions of one unit or means may be realized by two or more physical mechanisms, or the functions of two or more units or means may be realized by one physical mechanism.
  • FIG. 9 is a flowchart for explaining a distance measuring condition changing process by the distance measuring device according to the embodiment of the present technology.
  • FIG. 9 is a flowchart for explaining a distance measuring condition changing process by the distance measuring device according to the embodiment of the present technology.
  • FIG. 6 is a diagram for explaining a change in distance measurement condition during formation of an imaging frame by the distance measurement device according to the embodiment of the present technology.
  • 6 is a timing chart for explaining an example of switching distance measuring conditions in the distance measuring device according to the embodiment of the present technology. It is a block diagram showing an example of composition of a distance measuring device in one embodiment of this art.
  • FIG. 6 is a diagram for explaining a change in distance measurement condition during formation of an imaging frame by the distance measurement device according to the embodiment of the present technology. It is a block diagram showing an example of composition of a distance measuring device in one embodiment of this art.
  • FIG. 1 is a block diagram showing an example of the configuration of a distance measuring device 1 according to an embodiment of the present technology.
  • the distance measuring device 1 emits pulsed light from a light emitting element and receives reflected light from the object OBJ irradiated with the pulsed light by a light receiving element called a SPAD (Single Photon Avalanche Diode) based on an electric signal obtained.
  • SPAD Single Photon Avalanche Diode
  • a so-called TOF distance measuring sensor for measuring a distance to an object OBJ (object or subject).
  • the distance measuring device 1 includes components such as a control unit 10, a light emitting unit 20, a light emission timing adjusting unit 30, a light receiving unit 40, and a distance measurement processing unit 50. Although these components can be integrally configured as a system-on-chip (SoC) such as a CMOS LSI, for example, some components such as the light emitting unit 20 and the light receiving unit 40 are configured as separate LSIs. May be done.
  • SoC system-on-chip
  • the distance measuring device 1 operates according to an operation clock (not shown).
  • the distance measuring device 1 also includes a communication interface unit (communication IF unit) 60 for outputting data (distance measurement data) related to the distance calculated by the distance measurement processing unit 50 to the outside.
  • the distance measuring device 1 is configured to be communicable with a host IC arranged outside via the communication interface unit 60.
  • the distance measuring device 1 may be configured to include a CMOS image sensor (not shown) in order to interpolate the calculation of the distance.
  • the control unit 10 is a component that comprehensively controls the operation of the distance measuring device 1.
  • the control unit 10 typically includes a microprocessor. As will be described later, the control unit 10 changes or adjusts the distance measuring conditions stored in the register unit 16, for example, so that other components, in particular, the light emission timing adjusting unit 30, the light receiving unit 40, and the distance measuring process are performed. The operation of the unit 50 is controlled respectively.
  • the distance measuring condition is a combination of various parameters for defining the distance measuring accuracy.
  • the control unit 10 includes a determination unit 12 that determines whether or not to change the distance measurement condition, and a change unit 14 that performs an operation for changing the distance measurement condition according to the determination result of the determination unit 12. including.
  • the determination unit 12 determines whether to change the distance measuring condition, for example, based on the ambient light or the calculated distance. Further, as will be described later, the changing unit 14 changes the distance measuring condition by switching the register of the register unit 16, for example. Alternatively, the changing unit 14 may change the distance measuring condition by dynamically rewriting the contents of the register of the register unit 16.
  • the register unit 16 is composed of a plurality of registers that respectively hold a plurality of distance measuring conditions.
  • Each of the plurality of registers is identified by, for example, a register number.
  • the register unit 16 is arranged outside the control unit 10, but it may be arranged inside the control unit 10, for example, inside the microprocessor.
  • the distance-measuring condition is, for example, a combination of parameters indicating the SPAD number, the sampling frequency, the SPAD drive voltage, and the like (see FIG. 4 ). In the present disclosure, such a combination of parameters is referred to as a parameter set.
  • Each of the plurality of registers holds a ranging condition including different parameter sets.
  • the distance measuring condition (parameter set) held in the register unit 16 is referred to by the light emission timing adjusting unit 30, the light receiving unit 40, and the distance measuring processing unit 50.
  • each of the light emission timing adjusting unit 30, the light receiving unit 40, and the distance measuring processing unit 50 is configured to operate according to the distance measuring condition held in the specific register designated by the register number.
  • the light emitting unit 20 is configured to include a light source that emits or emits laser pulse light (hereinafter referred to as “pulse light”) for TOF distance measurement to the target area.
  • the pulsed light used for such distance measurement may be referred to as active light.
  • the light source may be, for example, an edge emitting semiconductor laser or a surface emitting semiconductor laser.
  • the light source of the light emitting unit 20 can spatially emit light toward the entire target area. In the present disclosure, the light emitting unit 20 is provided outside the LSI chip, but is not limited to this.
  • the light emission timing adjustment unit 30 is a circuit that adjusts the light emission timing of the light emitting unit 20.
  • the light emission timing adjustment unit 30 outputs a trigger pulse so as to be synchronized with the read timing of each line from the light receiving unit 40, which will be described later, according to the distance measurement condition held in the register unit 16, and drives the pulsed light source.
  • the pulsed light may typically have a pulse width of several to several tens of ns.
  • the light receiving section 40 is a sensor that outputs an electric signal pulse in response to light incident from the target area.
  • Incident light includes ambient light that acts as ambient light for distance measurement and reflected light from the object OBJ illuminated by the pulsed light emitted by the light emitting unit 20.
  • an optical element such as a lens is provided in front of the light receiving surface of the light receiving unit 40 so that light can be efficiently received.
  • the light receiving unit 40 is a CMOS image sensor configured to include a plurality of light receiving elements (SPAD) arranged in a two-dimensional array. That is, each SPAD detects incoming light (photons) and converts the carriers generated thereby into electrical signal pulses using avalanche multiplication.
  • SPAD light receiving elements
  • a specific SPAD group for example, a SPAD group in the one-line direction in an imaging frame
  • the electrical signal pulse is read.
  • the SPAD group of each line is sequentially activated in one frame time, and one imaging frame for the target area is formed by the electric signal pulses output from each of the activated SPAD groups.
  • FIG. 2 is a diagram for explaining an imaging frame and pixels that configure the imaging frame according to the present disclosure. That is, in the present disclosure, a group of some adjacent SPADs (SPAD group) is referred to as a pixel P.
  • the pixel P is a set of SPADs formed by an arbitrary number of arrays (array patterns) such as adjacent 2 ⁇ 3, 3 ⁇ 3, 3 ⁇ 6, 3 ⁇ 9, 6 ⁇ 3, 6 ⁇ 6, 9 ⁇ 9. It is composed by the body, but is not limited to these numbers.
  • an aggregate of SPADs forming the pixel P is referred to as a SPAD sub-array (or simply a sub-array).
  • the size of one pixel P depends on the size of the SPAD sub-array, that is, the number of SPADs.
  • the image pickup frame is composed of, for example, all effective SPADs of the light receiving unit 40, and its size is constant. Therefore, when the size of the pixel P becomes large (when the number of SPADs forming the pixel P becomes large).
  • the number of pixels for the imaging frame is small, that is, the resolution is low.
  • the size of the pixel P is small (the number of SPADs forming the pixel P is small)
  • the number of pixels for the imaging frame is large, that is, the resolution is high.
  • the number of SPADs forming the pixel P is proportional to the number of photons that can be detected. Therefore, since the SN ratio increases as the number of SPADs forming the pixel P increases (the resolution decreases), the influence of noise during distance measurement is reduced.
  • the number of SPADs forming the pixels P used for distance measurement is determined by, for example, the parameter of the distance measurement condition held in the register unit 16.
  • the control unit 10 may change the distance measurement condition in order to change the resolution as necessary during the formation of the imaging frame, for example.
  • the distance measuring condition is changed by, for example, selecting one of the register units 16 that holds a specific distance measuring condition.
  • the SPAD group is selectively validated and the electric signal pulse is read in line units (that is, in the horizontal or vertical pixel rows in the drawing).
  • the line width the number of SPADs to be activated in the vertical direction for outputting the electric signal pulse is variably controlled.
  • the distance measurement processing unit 50 is a component that calculates the distance to the object OBJ based on the pulsed light emitted by the light emitting unit 20 and the observation light received by the light receiving unit 40.
  • the distance measurement processing unit 50 is typically composed of a signal processor.
  • the distance measurement processing unit 50 includes a sampling circuit 52, a histogram creation unit 54, and a distance calculation unit 56.
  • the sampling circuit 52 is a component that samples electrical signal pulses output from a specific SPAD group in response to the emission of pulsed light at a predetermined sampling frequency. As will be described later, the sampling circuit 52 outputs a High or Low value (sampling value) according to the value of the electric signal pulse output from each of the activated SPAD groups, and the register unit 16 further Sampling values corresponding to the SPAD group of the pixel P according to the distance measuring condition shown are added. The total value of the sampling values for each pixel P is output to the histogram creation unit 54.
  • the histogram creation unit 54 is based on the total value of sampling values output by the sampling circuit 52 for each sampling time (bin) (that is, the total value of photons output from the SPAD group corresponding to the pixel P). It is a component that creates a histogram as shown in FIG.
  • the histogram is held, for example, in a memory (not shown) as a certain data structure or table. Histograms are created by the number corresponding to the number of SPAD sub-arrays based on the pulsed light emitted for each read line in the imaging frame. The size of the bin corresponds to the read time according to the sampling frequency.
  • the histogram created by the histogram creation unit 54 is referred to by the distance calculation unit 56.
  • the distance calculation unit 56 is a component that refers to each of the created histograms, detects the peak value in the histogram, and calculates the distance from the time corresponding to the peak value (that is, the arrival time). That is, if the reflected light when the emitted pulsed light irradiates the object OBJ is received, this time is the round-trip time to the object OBJ, and is multiplied by c/2 (c is the speed of light). By doing so, the distance to the object OBJ can be calculated for each pixel P. Therefore, a distance image can be obtained from the distances calculated for all the pixels P that form the imaging frame.
  • the distance calculation unit 56 sequentially outputs the data (distance measurement data) related to the distance calculated for each pixel P in each imaging frame to the control unit 10 and the communication interface unit 60.
  • the communication interface unit 60 is an interface circuit for outputting the calculated distance measurement data to an external host IC.
  • the communication interface unit 60 is an interface circuit compliant with MIPI (Mobile Industry Processor Interface), but is not limited to this.
  • MIPI Mobile Industry Processor Interface
  • SPI Serial Peripheral Interface
  • LVDS LVDS
  • SLVS-EC Spin-On-Chip
  • FIG. 3 is a diagram for explaining the configuration of the sampling circuit in the distance measuring device 1 according to the embodiment of the present technology.
  • the sampling circuit 52 includes, for example, a plurality of samplers 522 and an adding circuit 524.
  • Each of the plurality of samplers 522 outputs a sampling value according to the value of the electric signal pulse output from the corresponding SPAD.
  • the sampler 522 is provided so as to correspond to a plurality of SPADs in line units, respectively. That is, at the time of distance measurement, the SPAD group of the predetermined read line is activated according to the distance measurement condition indicated by the predetermined register of the register unit 16, and when the electric signal pulse is output by this, each of the plurality of samplers 522 becomes , And outputs a sampling value (value of either High or Low) according to the value of the electric signal pulse to the adding circuit 524.
  • the adder circuit 524 adds the sampling values output from the sampler 522 and corresponding to the SPAD group of the pixels P according to the distance measurement conditions. For example, when the pixel P is composed of a 6 ⁇ 6 SPAD group, the adding circuit 524 calculates the total value obtained by adding the sampling values output from the sampler 522 corresponding to these SPAD groups. The added value obtained by the adding circuit 524 is output to the histogram creation unit 54.
  • FIG. 4 is a diagram for explaining a histogram created by the distance measuring device 1 according to an embodiment of the present technology.
  • the horizontal axis represents the elapsed time, and bins are formed according to the sampling cycle.
  • the horizontal axis represents the total value of the sampling values of the electric signal pulse output in each sampling cycle, that is, the total value of the photons.
  • an example of bins corresponding to a sampling period of 1 ns (sampling frequency 1 GHz) and a sampling period of 0.5 ns (sampling frequency 2 GHz) is shown.
  • the histogram of this example is calibrated according to the amount of noise caused by ambient light.
  • FIG. 5 is a diagram showing an example of distance measurement data obtained by the distance measuring device 1 according to an embodiment of the present technology.
  • the distance measurement data is configured, for example, as a data sequence for each imaging frame.
  • a data sequence includes, for example, a frame start code 510, distance measurement data 520 for each pixel P, and a frame end code 530.
  • the number given to the distance measurement data 520 for each pixel P indicates the number of the pixel P according to the raster scan.
  • the distance measurement processing unit 50 is configured to output the distance measurement data calculated by the distance calculation unit 56 to the outside via the communication interface unit 60, but the present invention is not limited to this. ..
  • the distance measuring device 1 has, as a data output mode of the distance measurement processing unit 50, a mode in which distance measurement data is output, and echo data relating to data around peak values in a histogram. May be output and a mode of outputting data forming a histogram may be provided, and the operation may be performed according to any of the output modes.
  • FIG. 6 is a diagram showing an example of distance measuring conditions of the distance measuring device 1 according to an embodiment of the present technology.
  • the plurality of distance measuring conditions are held in the plurality of registers of the register unit 16, respectively.
  • the distance measurement condition is, for example, a parameter set including a combination of parameters related to the number of SPADs, parameters related to the sampling frequency, and parameters related to the drive voltage.
  • the register with the register number “1” has the SPAD number “36” (6 ⁇ 6), the driving voltage “3” (V), and the sampling frequency “2” (GHz) as the distance measuring conditions of the standard distance measuring accuracy.
  • Parameter set is retained.
  • the register having the smaller register number holds the ranging condition of the parameter set having the lower resolution, but the register is not limited to this.
  • Each component that should refer to the register unit 16 refers to a valid register according to the register number specified by the control unit 10.
  • FIG. 7 is a flowchart for explaining a distance measuring condition changing process by the distance measuring device 1 according to an embodiment of the present technology.
  • the process shown in the figure is executed during the distance measuring process by the distance measuring device 1.
  • the distance measuring device 1 may have a normal mode and a variable distance measuring condition mode, and may be configured to execute such processing in the variable distance measuring condition mode.
  • the distance measuring device 1 starts distance measuring according to the distance measuring condition held in the designated register of the register unit 16.
  • a register for example, register number “3” holding the default distance measurement condition is designated as the register.
  • the ranging conditions can be selected, for example, line by line in the scan direction, as will be made clear below.
  • the reading line in the imaging frame is selected (S701). For example, immediately after the start of the distance measurement processing, the bottom line in the image pickup frame is selected.
  • the distance measuring device 1 measures the ambient light in order to remove the influence of noise due to the ambient light during distance measurement (S702).
  • the measurement of the ambient light is performed by the same process as the distance measurement, but is different from this in that the light emitting unit 20 does not emit the light.
  • the control unit 10 controls so as to drive only the light receiving unit 40 without driving the light emitting unit 20, whereby the light receiving unit 40 performs reading according to the current distance measuring condition.
  • the electrical signal pulse is output from the SPAD group in the line.
  • the distance measurement processing unit 50 determines a sampling value according to a predetermined sampling frequency based on the output electric signal pulse, and sets a value obtained by adding the sampling values for each pixel P as an initial value of each bin of the histogram.
  • the histogram is calibrated according to the influence of ambient light.
  • the distance measurement processing unit 50 detects the peak value from these initial values and outputs it to the control unit 10.
  • the peak value here indicates the intensity (noise amount) of the measured ambient light.
  • the measurement of the ambient light can be performed by simply not driving the light emitting unit 20 without requiring a new component.
  • the control unit 10 compares the peak value with a predetermined threshold value in order to determine whether or not the influence of ambient light on the distance measurement is large. S703).
  • the control unit 10 sets the distance measurement condition to reduce the resolution (S704). That is, when the peak value exceeds a predetermined threshold value, the control unit 10 stores a distance measurement condition set as a high resolution (upper limit of resolution) in order to relatively reduce the influence of ambient light. (For example, register number "5"). In this way, the distance measuring device 1 can change the distance measuring condition based on the amount of noise caused by the ambient light.
  • control unit 10 may set the upper limit so that the resolution does not increase too much.
  • the distance measuring device 1 starts an actual distance measuring process.
  • the distance measuring condition is not limited to this.
  • the distance measuring condition may be changed to a low resolution. Is also good.
  • the distance measuring device 1 drives the light emitting unit 20 and the light receiving unit 40 to measure the distance to the pixel P in the selected read line (S705). Accordingly, the light receiving unit 40 outputs the electric signal pulse from the SPAD group according to the current distance measuring condition to the distance measuring processing unit 50.
  • the distance measurement processing unit 50 determines the sampling value while sampling the electric signal pulse at a predetermined sampling frequency, adds the sampling value for each pixel P according to the current distance measurement condition, and adds the value. Is set to the value of the corresponding bin in the histogram to create a histogram (S706). As mentioned above, the histogram is divided into bins according to time according to the sampling frequency. The distance measurement processing unit 50 then detects the peak value in the created histogram and calculates the distance from the time corresponding to the peak value (S707). The distance measurement processing unit 50 outputs data regarding the calculated distance (distance measurement data) to the outside via the communication interface unit 60, and also outputs the data to the determination unit 12 of the control unit 10.
  • the control unit 10 Upon receiving the distance measurement data from the distance measurement processing unit 50, the control unit 10 selects a register that holds the optimum distance measurement condition based on the distance measurement data (S708). More specifically, the control unit 10 compares the distance measurement data with a predetermined threshold value to determine whether or not the distance to the object OBJ is short, and according to the result of the determination, the next distance measurement is performed. Change the distance measurement conditions for.
  • a predetermined threshold value for example, a first threshold value and a second threshold value (provided that the first threshold value ⁇ the second threshold value) is prepared.
  • the control unit 10 determines that the distance measurement data is smaller than the first threshold value (that is, when the object OBJ is close)
  • the control unit 10 sets the distance measurement condition to increase the sampling frequency and/or decrease the resolution. change. That is, the control unit 10 switches to a register that holds the distance measurement condition in which a high sampling frequency is set (for example, register number “2”). This is because the distance to the object OBJ is short, so that a distance with higher ranging accuracy is acquired.
  • the control unit 10 determines that the distance measurement data is larger than the second threshold value (that is, when the object OBJ is far)
  • the control unit 10 measures to reduce the sampling frequency and/or increase the resolution. Change the distance condition. That is, the control unit 10 switches to the register that holds the distance measurement condition set as the low sampling frequency. This is because the distance to the object OBJ is long, and thus distance measurement with lower distance measurement accuracy is allowed. It should be noted that, if the register of the distance measuring condition of the low sampling frequency is already selected, the register is not changed. Further, in this example, when the control unit 10 determines that the distance measurement data is equal to or greater than the first threshold and equal to or less than the second threshold, the distance to the object OBJ is neither short nor far. , The current distance measurement conditions remain unchanged. Further, although the first threshold value and the second threshold value are prepared as the predetermined threshold values, the present invention is not limited to this, and more threshold values may be prepared according to the type of measurement conditions.
  • the distance measuring device 1 may use, for example, the peak value of a specific pixel P on the read line or the average value of the peak values of a plurality of pixels P when selecting the distance measuring condition. good.
  • the distance measuring device 1 returns to the processing of S701 to measure the distance of the next read line.
  • the distance measuring device 1 returns to the first read line of the image pickup frame and selects it. In this way, the distance measuring device 1 can change the distance measuring condition of the next line according to the result of distance measuring by the adjacent line and/or the peripheral pixels P.
  • the distance measuring device 1 measures the distance according to the distance measuring condition during operation, and as shown in FIG. 8, the distance to the object OBJ is determined by the pixel P of the adjacent line for which the distance has been previously measured. Accordingly, the distance measuring condition can be changed appropriately. In particular, when the distance to the object OBJ is short as a result of the distance measurement, the distance measurement condition is changed so that the distance measurement can be performed with higher distance measurement accuracy. Accordingly, for example, in a scene in front of the vehicle, it becomes possible to more accurately avoid an obstacle such as a collision with a nearby obstacle (for example, another vehicle) by measuring the distance with higher distance measurement accuracy.
  • a nearby obstacle for example, another vehicle
  • the distance measurement condition is changed to allow the distance measurement with lower distance measurement accuracy.
  • distance measurement with lower distance measurement accuracy is allowed, thereby reducing the SPAD drive voltage and the calculation load by the processor. It will be possible to lower the power consumption.
  • the present invention in measuring the distance of the imaging frame, an example of first measuring the ambient light is shown, but the present invention is not limited to this, and the ambient light measurement may be omitted.
  • the disturbance light may be measured at the beginning of every several imaging frames. By doing so, the power consumption can be further suppressed.
  • the present embodiment is a modification of the first embodiment, and discloses a distance measuring device 1 that sequentially switches ranging conditions (parameter sets) according to a predetermined ranging pattern in one imaging frame.
  • FIG. 9 is a timing chart for explaining an example of a distance measuring pattern in the distance measuring device 1 according to the embodiment of the present technology.
  • distance measurement patterns (1) to (4) in the operation time for one image pickup frame are shown.
  • the distance measuring pattern (1) is a pattern in which the distance measuring conditions A to D are sequentially repeated. Each of the distance measuring conditions A to D is switched, for example, every several tens of ns. Such switching can be performed according to a register number switching pattern, for example.
  • the distance measuring pattern (2) is a pattern including distance measuring conditions A and B.
  • the distance measuring pattern (3) is a pattern in which the distance measuring conditions A to C are sequentially repeated, and the distance measuring condition B is set for a long time to some extent.
  • the distance measuring pattern (4) includes distance measuring conditions A to C.
  • the distance measurement condition A set as high distance measurement accuracy is selected so as to be used for the lower region in the imaging frame where the object OBJ may exist at a short distance.
  • the distance measuring condition B set as the medium distance measuring accuracy is selected so as to be used for the lower area in the imaging frame.
  • the distance measurement condition C set as a low distance measurement accuracy is selected to be used for the lower region in the image pickup frame.
  • the distance measuring device 1 once selects a predetermined distance measuring pattern and performs the distance measuring process according to the selected distance measuring pattern based on the distance measuring for each read line. It is not necessary to change the distance measurement pattern.
  • the distance measurement pattern may be determined to be changed every several image pickup frames, or the distance measurement pattern may be changed according to an instruction from the outside.
  • the present embodiment discloses a distance measuring device 1 capable of changing a distance measuring condition by using an external host IC that has received distance measuring data calculated by the distance measuring processing unit 50.
  • the external host IC is used to mean that it is provided outside the distance measuring device 1 as the SoC described in the above embodiment.
  • FIG. 10 is a block diagram showing an example of the configuration of the distance measuring device 1 according to an embodiment of the present technology.
  • the distance measuring device 1 of the present embodiment whether the host IC 70 should change the distance measuring condition based on the distance measuring data received from the distance measuring processing unit 50 via the communication interface unit 60. It is different from the one shown in the above embodiment in that it is configured to determine whether or not.
  • components having the same functions or configurations as those of the components already illustrated are designated by the same reference numerals, and the description thereof will be appropriately omitted.
  • the determination unit 12 shown in FIG. 1 is provided in the host IC 70 instead of being provided in the control unit 10 in the distance measuring device 1.
  • the host IC 70 includes a corresponding communication interface unit.
  • the determination unit 72 of the host IC 70 receives the distance measurement data from the distance measurement processing unit 50 via the communication interface unit 60
  • the determination unit 72 of the host IC 70 determines the distance measurement condition based on the distance indicated by the distance measurement data. Determine whether to change.
  • the determination unit 72 transmits the result of the determination to the control unit 10 via the communication interface unit 60.
  • the control unit 10 delivers the received determination result to the changing unit 14, and the changing unit 14 switches the register of the register unit 16 according to the determination result.
  • the host IC 70 may include a frame buffer (not shown) that can hold the distance measurement data for one imaging frame.
  • the determination unit 82 of the host IC 80 refers to the frame buffer and determines which distance measurement condition to change for each read line in the next imaging frame.
  • the determination unit 72 of the host IC 70 determines whether or not the distance measurement condition should be changed based on the distance measurement data of the pixel P at the same position in the past imaged frame. Since it is determined whether or not the current distance measurement condition can be changed according to the result of the determination while the current image pickup frame is being formed.
  • the configuration in which the external host IC 70 includes the determination unit 72 has been described, but the configuration is not limited to this, and the control unit 10 in the SoC may also include the determination unit 12.
  • the distance measuring device 1 has a first mode in which the determination unit 12 provided in the SoC performs the determination process and a second mode in which the determination unit 82 provided in the external host IC 80 performs the determination process. It may be configured to selectively operate in any one of the modes.
  • a distance measuring device in which an external host IC replaces the distance measurement processing unit 50 described above and performs distance measurement processing.
  • FIG. 12 is a block diagram showing an example of a configuration of a distance measuring device according to an embodiment of the present technology.
  • the host IC 70 includes a determination unit 72 and a distance measurement processing unit 74 having the same function as the distance measurement processing unit 50 of the sensor side chip. This point is different from the one shown in the above embodiment.
  • the determination unit 12 is not explicitly shown in the control unit 10 in the drawing, the determination unit 12 may be provided in the control unit 10 as in the first embodiment.
  • components having the same functions or configurations as the components already shown are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • Distance measuring device 1' is typically configured to operate in multiple data output modes. For example, in the distance measuring device 1, a mode in which the sampling circuit 52 outputs the echo data (total value of time-series sampling values) of each pixel P to the host IC 70, and a mode in which the histogram creation unit 54 outputs the histogram data to the host IC 70 , And the distance calculation unit 56 outputs the distance measurement data to the host IC 70.
  • the distance measurement processing unit 50 on the sensor side chip operates in one of the data output modes under the control of the control unit 10 and outputs predetermined data to the host IC 70 via the communication interface unit 60.
  • the host IC 70 performs processing according to the data type based on the data transmitted from the distance measurement processing unit 50, calculates distance measurement data, and outputs this to the determination unit 72.
  • the distance measurement processing unit 74 creates a histogram based on the received echo data, determines the peak value from the created histogram, and calculates the distance measurement data.
  • the distance measurement processing unit 74 determines a peak value from the histogram and calculates distance measurement data.
  • the host IC 70 is responsible for the distance measurement processing that requires high performance, while the register switching is performed by the control unit 10. Therefore, the distance measurement condition can be changed flexibly and at high speed.
  • steps, operations, or functions may be performed in parallel or in different orders as long as the results do not conflict.
  • the steps, actions and functions described are provided as examples only, and some of the steps, actions and functions may be omitted or combined together without departing from the spirit of the technology. They may be one, and other steps, actions or functions may be added.
  • the distance measuring device 1 is configured such that the changing unit 14 of the control unit 10 dynamically generates a parameter set according to the calculated distance and rewrites the contents of the register referred to by the generated parameter set. May be done.
  • a light emitting unit that emits light to the target area
  • a light receiving unit including a plurality of light receiving elements that receive observation light in the target area and output an electric signal
  • a distance measurement condition in an imaging frame formed by the plurality of light receiving elements, included in the observation light received by some light receiving element groups of the plurality of light receiving elements forming a pixel
  • a distance measurement processing unit Based on an electric signal corresponding to the reflected light from the object irradiated with the light emitted from the light emitting unit, a distance measurement processing unit that performs a distance measurement process for calculating the distance to the object
  • a control unit for controlling the predetermined distance measuring condition, The control unit changes the predetermined distance measuring condition while the current imaging frame is being formed, Distance measuring device.
  • the control unit performs control so that some light-receiving element groups of the plurality of light-receiving elements receive ambient light before light is emitted by the light-emitting unit,
  • the distance measurement processing unit calculates a noise amount based on the ambient light,
  • the distance measuring device (1), wherein the control unit changes the predetermined distance measuring condition based on the calculated noise amount.
  • the control unit changes the predetermined distance measuring condition such that the number of the light receiving element groups forming the pixel increases, (1) or (2) ) The distance measuring device described in.
  • the distance measurement device according to any one of (1) to (3), wherein the control unit changes the predetermined distance measurement condition based on the distance calculated by the distance measurement processing unit.
  • the control unit controls the second line following the first line based on the distance calculated by light reception by some light receiving element groups of the plurality of light receiving elements in the first line in the imaging frame. Determine whether to change the predetermined distance measuring condition for the line, The distance measuring device according to any one of (1) to (4).
  • the control unit determines whether to change the predetermined distance measuring condition for the second line based on an average value of the calculated distances in the first line, (1) to (1) The distance measuring device according to any one of 5).
  • the control unit changes the predetermined distance measurement condition based on the distance calculated by the distance measurement processing unit in the past imaging frame, (1) to (6) Distance measuring device.
  • the distance measuring device according to one.
  • the control unit changes the predetermined distance measuring condition such that the closer the calculated distance is, the higher the sampling frequency for sampling the electric signal is,
  • the distance measuring device according to any one of (1) to (8).
  • the distance measurement processing unit, Sampling is performed at a predetermined sampling frequency to sample the electrical signal output for each pixel, which is configured by some light receiving element groups of the plurality of light receiving elements, according to the predetermined distance measuring condition.
  • a sampling circuit that outputs the value, Based on the plurality of sampling values obtained by emitting and receiving the light, a histogram creation unit that creates a histogram showing the intensity of the reflected light for each time section, A peak value in the histogram is detected, and a distance calculation unit that calculates the distance from the detected peak value,
  • the distance measuring device according to any one of (1) to (9).
  • the distance measuring device is configured as a system-on-chip (SoC) including a register holding a plurality of parameter sets indicating the predetermined distance measuring condition.
  • SoC system-on-chip
  • the control unit changes the predetermined distance measurement condition by selecting any one of the plurality of parameter sets held in the register without communicating with the outside of the SoC via the communication interface. , The distance measuring device according to any one of (1) to (13).
  • Emitting light from the light emitting part to the target area By receiving the observation light in the target area by a light receiving unit including a plurality of light receiving elements, and outputting an electrical signal, In the imaging frame formed by the plurality of light receiving elements, the light emitted from the light emitting unit, which is included in the observation light received by some light receiving element groups of the plurality of light receiving elements that form a pixel, Based on an electric signal corresponding to the reflected light from the object due to light irradiation, according to a predetermined distance measuring condition, performing a distance measuring process for calculating the distance to the object, Controlling the predetermined distance measuring condition to be changed while the current imaging frame is formed so that the distance to the object is calculated under the predetermined distance measuring condition.
  • Distance measurement method By receiving the observation light in the target area by a light receiving unit including a plurality of light receiving elements, and outputting an electrical signal, In the imaging frame formed by the plurality of light receiving elements, the light emitted from the light emitting unit, which is included in the observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

距離測定装置は、対象エリアに対して光を出射する発光部と、前記対象エリアにおける観測光を受光し、電気信号を出力する複数の受光素子を含む受光部と、所定の測距条件に従い、前記複数の受光素子によって形成される撮像フレームにおいて、画素を構成する前記複数の受光素子のうちの幾つかの受光素子群により受光された前記観測光に含まれる、前記発光部から出射された前記光が照射された物体からの反射光に応じた電気信号に基づいて、前記物体までの距離を算出するための測距処理を行う測距処理部と、前記所定の測距条件を制御する制御部とを備える。前記制御部は、現在の前記撮像フレームが形成されている間に、前記所定の測距条件を変更する。これにより、撮像フレームの形成中に、画素を構成するＳＰＡＤの個数やサンプリング周波数を変更することを可能にする。

Description

距離測定装置及び距離測定方法
　本技術は、距離測定装置及び距離測定方法に関する。
　物体（対象物）までの距離をＴｏＦ（Time of Flight）に基づいて計測する距離測定装置（測距センサと称されることもある。）が知られている。ＴＯＦには、直接ＴＯＦ（ｄＴＯＦ）と間接ＴＯＦ（ｉＴＯＦ）とがある。直接ＴｏＦは、発光素子からパルス光を発射し、単一のパルス光が照射された物体からの反射光をＳＰＡＤ（Single Photon Avalanche Diode）と呼ばれる受光素子で受けてフォトンを検出し、これにより発生したキャリアを、アバランシ増倍を用いて電気信号に変換し、これをＴＤＣ（Time to Digital Converter）に入力することで反射光の到来時刻を計測し、物体までの距離を算出する技術である。
　ＳＰＡＤを用いた距離測定装置は、一般には、単一のパルス光に対して、画素を構成する幾つかのＳＰＡＤによる反応をサンプリング周波数に従って分割された時間ごとに加算したヒストグラムを作成し、そこからピーク値に対応する時刻を採用することにより、距離を算出している。直接ＴＯＦでは、単一のパルス光の発光に対する反射光（フォトン）をＳＰＡＤにより検出するため、物体までの距離や環境光（外乱光）の影響により、フォトンが到来するかしないかは確率的な事象である。したがって、典型的には、ＳＰＡＤを用いた距離測定装置は、所定単位時間内における複数回（例えば数回～数千回）の発光によるＳＰＡＤの反応を時間ごとに累積したヒストグラムを作成することで、測距精度を高めている。このような距離測定装置は、ライン状に配置された画素列ごとにフォトンを読み出すことにより、画素ごとに距離情報を持った撮像フレーム（距離画像）をリアルタイムに得ることができる。
　下記特許文献１は、外乱光が多く且つ変動する環境であっても不要な測定を減少させるために、繰り返し観測された受光量に基づいて作成したヒストグラムについて、その信頼度を算出し、算出したヒストグラムの信頼度が閾値以上である場合に、ヒストグラムの作成を停止させる技術を開示している。
特開２０１０－０９１３７７号公報
　ＳＰＡＤアレイを用いた距離測定装置において、外乱光等のノイズの影響を減らすためには、画素を構成するＳＰＡＤの個数を増やす（解像度を下げる）必要があり、また、測距精度を上げるためには、時分割のためのサンプリング周波数を上げる必要がある。
　しかしながら、従前の距離測定装置は、その動作中に、とりわけ、撮像フレームの形成中に、画素を構成するＳＰＡＤの個数やサンプリング周波数を変更することを何ら考慮するものではなかった。
　上記事情に鑑み、本開示では、撮像フレームの形成中に、画素を構成するＳＰＡＤの個数やサンプリング周波数を変更することを可能にする技術が提供される。
　上記事情に鑑み、本技術は、以下に示す発明特定事項乃至は技術的特徴を含み構成され得る。
　すなわち、ある側面（aspect）に従う本技術は、距離測定装置に向けられる。前記距離測定装置は、対象エリアに対して光を出射する発光部と、前記対象エリアにおける観測光を受光し、電気信号を出力する複数の受光素子を含む受光部と、所定の測距条件に従い、前記複数の受光素子によって形成される撮像フレームにおいて、画素を構成する前記複数の受光素子のうちの幾つかの受光素子群により受光された前記観測光に含まれる、前記発光部から出射された前記光が照射された物体からの反射光に応じた電気信号に基づいて、前記物体までの距離を算出するための測距処理を行う測距処理部と、前記所定の測距条件を制御する制御部とを備える。前記制御部は、現在の前記撮像フレームが形成されている間に、前記所定の測距条件を変更し得る。
　また、他の側面に従う本技術は、距離測定方法に向けられる。前記方法は、発光部から対象エリアに対して光を出射することと、複数の受光素子を含む受光部により前記対象エリアにおける観測光を受光し、電気信号を出力することと、前記複数の受光素子によって形成される撮像フレームにおいて、画素を構成する前記複数の受光素子のうちの幾つかの受光素子群により受光された前記観測光に含まれる、前記発光部から出射された前記光の照射による物体からの反射光に応じた電気信号に基づいて、所定の測距条件に従い、前記物体までの距離を算出するための測距処理を行うことと、前記物体までの距離が所定の測距精度で算出されるように、現在の前記撮像フレームが形成されている間に、所定の測距条件を制御することと、を含む。
　なお、本明細書等において、部ないしは手段とは、単に物理的機構を意味するものではなく、その機構が有する機能をソフトウェアによって実現する場合も含む。また、１つの部ないしは手段が有する機能が２つ以上の物理的機構により実現されても、２つ以上の部ないしは手段の機能が１つの物理的機構により実現されてもよい。
　本技術の他の技術的特徴、目的、及び作用効果ないしは利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。なお、本明細書に記載された作用効果はあくまで例示であって限定されるものでは無く、また、ここに記載されていない他の作用効果もあり得る。
本技術の一実施形態における距離測定装置の構成の一例を示すブロックダイアグラムである。 本技術における撮像フレームとこれを構成する画素を説明するための図である。 本技術の一実施形態における距離測定装置におけるサンプリング回路の構成を説明するための図である。 本技術の一実施形態における距離測定装置により作成されるヒストグラムを説明するための図である。 本技術の一実施形態における距離測定装置により得られる測距データの一例を示す図である。 本技術の一実施形態における距離測定装置の測距条件の一例を示す図である。 本技術の一実施形態における距離測定装置による測距条件の変更処理を説明するためのフローチャートである。 本技術の一実施形態における距離測定装置による撮像フレームの形成中の測距条件の変更を説明するための図である。 本技術の一実施形態における距離測定装置における測距条件の切り替え例を説明するためのタイミングチャートである。 本技術の一実施形態における距離測定装置の構成の一例を示すブロックダイアグラムである。 本技術の一実施形態における距離測定装置による撮像フレームの形成中の測距条件の変更を説明するための図である。 本技術の一実施形態における距離測定装置の構成の一例を示すブロックダイアグラムである。
　以下、図面を参照して本開示に係る技術の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本技術は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
［第１の実施形態］
　図１は、本技術の一実施形態における距離測定装置１の構成の一例を示すブロックダイアグラムである。距離測定装置１は、発光素子からパルス光を発射し、パルス光が照射された物体ＯＢＪからの反射光をＳＰＡＤ（Single Photon Avalanche Diode）と呼ばれる受光素子で受けることにより得られる電気信号に基づいて、物体ＯＢＪ（対象物ないしは被写体）までの距離を測定するいわゆるＴＯＦ測距センサである。
　同図に示すように、距離測定装置１は、例えば、制御部１０と、発光部２０と、発光タイミング調整部３０と、受光部４０と、測距処理部５０といったコンポーネントを備える。これらのコンポーネントは、例えば、ＣＭＯＳ　ＬＳＩのようなシステム・オン・チップ（ＳｏＣ）として一体的に構成され得るが、例えば、発光部２０や受光部４０といった幾つかのコンポーネントが別体のＬＳＩとして構成されても良い。距離測定装置１は、図示しない動作クロックに従って動作する。距離測定装置１はまた、測距処理部５０により算出された距離に係るデータ（測距データ）を外部に出力するための通信インタフェース部（通信ＩＦ部）６０を含む。図示されていないが、距離測定装置１は、通信インタフェース部６０を介して、外部に配置されたホストＩＣとの通信可能に構成されている。なお、距離測定装置１は、距離の算出を補間するために、ＣＭＯＳイメージセンサ（図示せず）を含み構成されても良い。
　制御部１０は、距離測定装置１の動作を統括的に制御するコンポーネントである。典型的には、制御部１０は、マイクロプロセッサを含み構成される。制御部１０は、後述するように、例えば、レジスタ部１６に記憶された測距条件を変更ないしは調整することにより、他のコンポーネント、とりわけ、発光タイミング調整部３０、受光部４０、及び測距処理部５０の動作をそれぞれ制御する。測距条件は、測距精度を規定するための各種のパラメータの組み合わせからなる。本開示では、制御部１０は、測距条件を変更するか否かを判定する判定部１２と、判定部１２による判定の結果に従って、測距条件を変更するための動作を行う変更部１４とを含む。判定部１２は、後述するように、例えば、外乱光や算出された距離に基づいて、測距条件を変更するか否かを判定する。また、変更部１４は、後述するように、例えば、レジスタ部１６のレジスタを切り替えることによって、測距条件を変更する。或いは、変更部１４は、レジスタ部１６のレジスタの内容を動的に書き換えることによって、測距条件を変更しても良い。
　レジスタ部１６は、複数の測距条件のそれぞれを保持する複数のレジスタから構成される。複数のレジスタのそれぞれは、例えば、レジスタ番号によって識別される。図中、レジスタ部１６は、制御部１０の外部に配置されているが、制御部１０の内部、例えばマイクロプロセッサ内部に配置されるものであっても良い。測距条件は、例えば、ＳＰＡＤ数、サンプリング周波数、及びＳＰＡＤ駆動電圧等をそれぞれ示すパラメータの組み合わせからなる（図４参照）。本開示では、このようなパラメータの組み合わせをパラメータセットと称する。複数のレジスタのそれぞれは、異なるパラメータセットからなる測距条件を保持する。
　レジスタ部１６に保持された測距条件（パラメータセット）は、発光タイミング調整部３０、受光部４０及び測距処理部５０により参照される。言い換えれば、発光タイミング調整部３０、受光部４０及び測距処理部５０のそれぞれは、レジスタ番号で指定される特定のレジスタに保持された測距条件に従って動作するように構成されている。
　発光部２０は、対象エリアに対して、ＴＯＦ測距のためのレーザパルス光（以下「パルス光」という。）を発光ないしは出射する光源を含み構成される。このような測距に用いるためのパルス光は、アクティブ光と称されることもある。光源は、例えば、端面発光型半導体レーザであっても良いし、面発光型半導体レーザであっても良い。典型的には、発光部２０の光源は、対象エリア全体に向けて光を空間的に発光し得る。本開示では、発光部２０は、ＬＳＩチップの外に設けられているが、これに限られるものではない。
　発光タイミング調整部３０は、発光部２０の発光タイミングを調整する回路である。例えば、発光タイミング調整部３０は、レジスタ部１６に保持された測距条件に従って、後述する受光部４０からのラインごとの読み出しタイミングに同期するようにトリガパルスを出力し、パルス光の光源を駆動する。パルス光は、典型的には、数～数十ｎｓのパルス幅を有し得る。
　受光部４０は、対象エリアから入射する光に反応して、電気信号パルスを出力するセンサである。入射光（観測光）は、測距に対して外乱光として作用する環境光及び発光部２０により出射されたパルス光が照射した物体ＯＢＪからの反射光を含む。図示されていないが、典型的には、受光部４０の受光面の前方には、光を効率よく受光することができるように、レンズ等の光学素子が設けられる。
　本開示において、受光部４０は、２次元アレイ状に配置された複数の受光素子（ＳＰＡＤ）を含み構成されたＣＭＯＳイメージセンサである。すなわち、各ＳＰＡＤは、飛来した光（フォトン）を検出し、これにより発生したキャリアを、アバランシ増倍を用いて電気信号パルスに変換する。本開示では、例えば、制御部１０の制御の下、レジスタ部１６に保持された測距条件に従って、特定のＳＰＡＤ群（例えば撮像フレームにおける１ライン方向のＳＰＡＤ群）が有効化され、これによって、電気信号パルスが読み出される。また、１フレーム時間において順次に各ラインのＳＰＡＤ群が有効化され、有効化されたＳＰＡＤ群のそれぞれから出力される電気信号パルスによって、対象エリアに対する１撮像フレームが形成される。
　図２は、本開示における撮像フレームとこれを構成する画素を説明するための図である。すなわち、本開示において、隣接する幾つかのＳＰＡＤの集合体（ＳＰＡＤ群）を画素Ｐと称している。例えば、画素Ｐは、隣接する２×３、３×３、３×６、３×９、６×３、６×６、９×９といった任意の数の配列（アレイパターン）からなるＳＰＡＤの集合体により構成されるが、これらの数に限定されない。また、本開示では、画素Ｐを構成するＳＰＡＤの集合体をＳＰＡＤサブアレイ（又は単にサブアレイ）と称するものとする。
　１つの画素Ｐのサイズは、ＳＰＡＤサブアレイのサイズ、すなわち、ＳＰＡＤ数に依存する。一方、撮像フレームは、受光部４０の例えば有効な全てのＳＰＡＤにより構成され、そのサイズは一定であることから、画素Ｐのサイズが大きくなれば（それを構成するＳＰＡＤ数が多くなれば）、撮像フレームに対する画素数は少なくなる、すなわち、解像度が低くなる。一方、画素Ｐのサイズが小さくなれば（それを構成するＳＰＡＤ数が少なくなれば）、撮像フレームに対する画素数は多くなる、すなわち、解像度が高くなる。また、画素Ｐを構成するＳＰＡＤ数は、検出し得るフォトンの数に比例する。したがって、画素Ｐを構成するＳＰＡＤ数が多いほど（解像度が低いほど）、ＳＮ比が上がることから、測距時のノイズの影響を受けにくくなる。
　測距に用いられる画素Ｐを構成するＳＰＡＤ数、すなわち、解像度は、例えば、レジスタ部１６に保持された測距条件のパラメータによって決定される。制御部１０は、例えば撮像フレームの形成中に、必要に応じて解像度を変更するために、測距条件を変更し得る。測距条件の変更は、例えば、特定の測距条件を保持する、レジスタ部１６の一つを選択することにより行われる。
　なお、本開示では、ライン単位（すなわち、図中、横方向又は縦方向の画素列）で、そのＳＰＡＤ群が選択的に有効化され、電気信号パルスが読み出される。後述するように、１撮像フレームにおいて、画素Ｐのサイズが変更され得るので、電気信号パルスを出力するライン幅（有効化されるＳＰＡＤの縦方向の数）は可変に制御される。
　図１に戻り、測距処理部５０は、発光部２０により出射したパルス光と受光部４０により受光した観測光とに基づいて、物体ＯＢＪまでの距離を算出するコンポーネントである。測距処理部５０は、典型的には、信号処理プロセッサにより構成される。本開示では、測距処理部５０は、サンプリング回路５２と、ヒストグラム作成部５４と、距離演算部５６とを含み構成されている。
　サンプリング回路５２は、パルス光の出射に応答して特定のＳＰＡＤ群から出力される電気信号パルスを所定のサンプリング周波数でサンプリングするコンポーネントである。後述するように、サンプリング回路５２は、例えば、有効化されたＳＰＡＤ群のそれぞれから出力される電気信号パルスの値に従って、Ｈｉｇｈ又はＬｏｗの値（サンプリング値）を出力し、さらに、レジスタ部１６が示す測距条件に従った画素ＰのＳＰＡＤ群に対応するサンプリング値を加算する。画素Ｐごとのサンプリング値の合計値は、ヒストグラム作成部５４に出力される。
　ヒストグラム作成部５４は、サンプリング回路５２により出力される、サンプリング時間（ビン）ごとのサンプリング値の合計値（すなわち、画素Ｐに対応するＳＰＡＤ群から出力されるフォトンの合計値）に基づいて、図４に示すようなヒストグラムを作成するコンポーネントである。ヒストグラムは、例えば、図示しないメモリ上に、ある種のデータ構造ないしはテーブルとして保持される。ヒストグラムは、撮像フレームにおける読み出しラインごとに発光されるパルス光に基づいて、ＳＰＡＤサブアレイの数に対応する数だけ作成される。ビンのサイズは、サンプリング周波数に従った読み出し時間に対応する。ヒストグラム作成部５４により作成されたヒストグラムは、距離演算部５６により参照される。
　距離演算部５６は、作成された各ヒストグラムを参照して、ヒストグラム中のピーク値を検出し、ピーク値に対応する時間（すなわち到来時間）から距離を算出するコンポーネントである。すなわち、出射されたパルス光が物体ＯＢＪに照射したときの反射光が受光されたとすれば、該時間は、物体ＯＢＪまでの往復時間であるから、これにｃ／２（ｃは光速）を乗算することにより、画素Ｐごとに物体ＯＢＪまでの距離を算出することができる。したがって、撮像フレームを構成する全ての画素Ｐに対して算出された距離により、距離画像を得ることができる。距離演算部５６は、各撮像フレームにおける画素Ｐごとに算出した距離に係るデータ（測距データ）を、制御部１０及び通信インタフェース部６０に順次に出力する。
　通信インタフェース部６０は、算出された測距データを外部のホストＩＣに出力するためのインタフェース回路である。例えば、通信インタフェース部６０は、ＭＩＰＩ（Mobile Industry Processor Interface）に準拠したインタフェース回路であるが、これに限られない。例えば、ＳＰＩ（Serial Peripheral Interface）やＬＶＤＳ、ＳＬＶＳ－ＥＣ等であっても良いし、これらのインタフェース回路のうちの幾つかを実装していても良い。
　図３は、本技術の一実施形態における距離測定装置１におけるサンプリング回路の構成を説明するための図である。同図に示すように、サンプリング回路５２は、例えば、複数のサンプラー５２２と加算回路５２４とを含む。
　複数のサンプラー５２２のそれぞれは、対応するＳＰＡＤから出力される電気信号パルスの値に従ったサンプリング値を出力する。サンプラー５２２は、例えば、ライン単位の複数のＳＰＡＤにそれぞれ対応するように設けられる。すなわち、測距時に、レジスタ部１６の所定のレジスタが示す測距条件に従って所定の読み出しラインのＳＰＡＤ群が有効化され、これにより、電気信号パルスが出力されると、複数のサンプラー５２２のそれぞれは、該電気信号パルスの値に従ったサンプリング値（Ｈｉｇｈ又はＬｏｗのいずれかの値）を加算回路５２４に出力する。
　加算回路５２４は、サンプラー５２２から出力される、測距条件に従った画素ＰのＳＰＡＤ群に対応するサンプリング値を加算する。例えば、画素Ｐが６×６のＳＰＡＤ群から構成される場合、加算回路５２４は、これらのＳＰＡＤ群に対応するサンプラー５２２から出力されるサンプリング値を加算した合計値を算出する。加算回路５２４により得られた加算値は、ヒストグラム作成部５４に出力される。
　図４は、本技術の一実施形態における距離測定装置１により作成されるヒストグラムを説明するための図である。同図に示すヒストグラムにおいて、横軸は、経過時間を示し、サンプリング周期に従ってビンが構成されている。また、横軸は、サンプリング周期ごとに出力された電気信号パルスのサンプリング値の合計値、すなわち、フォトンの合計値を示す。また、同図では、サンプリング周期１ｎｓ（サンプリング周波数１ＧＨｚ）及びサンプリング周期０．５ｎｓ（サンプリング周波数２ＧＨｚ）に対応するビンの例が示されている。また、後述するように、本例のヒストグラムは、外乱光に起因するノイズの量に応じて較正されている。
　図５は、本技術の一実施形態における距離測定装置１により得られる測距データの一例を示す図である。同図に示すように、測距データは、例えば、１撮像フレームごとのデータシーケンスとして構成される。このようなデータシーケンスは、例えば、フレーム開始コード５１０と、画素Ｐごとの測距データ５２０と、フレーム終了コード５３０とを含み構成される。画素Ｐごとの測距データ５２０に付された番号は、ラスタスキャンに従った画素Ｐの番号を示す。
　なお、本開示では、測距処理部５０は、距離演算部５６で算出された測距データを、通信インタフェース部６０を介して、外部に出力するように構成されたが、これに限られない。例えば、他の実施形態で示されるように、距離測定装置１は、測距処理部５０のデータ出力モードとして、測距データを出力するモードに加えて、ヒストグラムにおけるピーク値周辺のデータに関するエコーデータを出力するモードや、ヒストグラムを構成するデータを出力するモードを有し、いずれかの出力モードに従って動作するように構成されても良い。
　図６は、本技術の一実施形態における距離測定装置１の測距条件の一例を示す図である。上述したように、複数の測距条件は、それぞれ、レジスタ部１６の複数のレジスタに保持される。同図に示すように、測距条件は、例えば、ＳＰＡＤ数に関するパラメータ、サンプリング周波数に関するパラメータ、及び駆動電圧に関するパラメータの組み合わせからなるパラメータセットである。例えば、レジスタ番号“１”のレジスタは、標準測距精度の測距条件として、ＳＰＡＤ数“３６”（６×６個）、駆動電圧“３”（Ｖ）、及びサンプリング周波数“２”（ＧＨｚ）のパラメータセットを保持する。本例では、レジスタ番号が小さいレジスタほど、解像度が低いパラメータセットの測距条件を保持しているが、これに限られるものではない。レジスタ部１６を参照すべき各コンポーネントは、制御部１０によって指定されるレジスタ番号に従って有効なレジスタを参照する。
　なお、本例では、５種類の測距条件が示されたが、これに限られず、例えば、標準測距精度と低測距精度又は高測距精度というように、２種類の測距条件のみであっても良い。
　図７は、本技術の一実施形態における距離測定装置１による測距条件の変更処理を説明するためのフローチャートである。同図に示す処理は、距離測定装置１による測距処理の間、実行される。或いは、距離測定装置１は、通常モードと測距条件可変モードとを有し、測距条件可変モードにおいて、かかる処理を実行するように構成されても良い。距離測定装置１は、動作を開始すると、レジスタ部１６の指定されたレジスタに保持された測距条件に従い、測距を開始する。初期状態では、レジスタは、例えば、デフォルトの測距条件を保持するレジスタ（例えばレジスタ番号“３”）が指定される。本例では、測距条件は、以下で明らかにされるように、例えば、スキャン方向における１ラインごとに、選択され得る。
　すなわち、同図に示すように、距離測定装置１は、測距処理を開始すると、まず、撮像フレーム中の読み出しラインを選択する（Ｓ７０１）。例えば、測距処理の開始直後であれば、撮像フレーム中の最下行のラインが選択される。
　続いて、距離測定装置１は、測距時の外乱光によるノイズの影響を除去するため、外乱光を計測する（Ｓ７０２）。外乱光の計測は、測距と同様の処理により行われるが、発光部２０による光の出射がない点で、これと異なる。より具体的には、制御部１０は、発光部２０を駆動することなく、受光部４０のみを駆動するように制御し、これにより、受光部４０は、現在の測距条件に従った、読み出しラインにおけるＳＰＡＤ群から電気信号パルスを出力する。測距処理部５０は、出力された電気信号パルスに基づいて、所定のサンプリング周波数に従ってサンプリング値を決定し、画素Ｐごとにサンプリング値を合算した値をヒストグラムの各ビンの初期値に設定する。これにより、ヒストグラムは、外乱光の影響に応じて較正される。続いて、測距処理部５０は、これらの初期値の中からピーク値を検出し、制御部１０に出力する。ここでいうピーク値は、計測した外乱光の強さ（ノイズ量）を示す。このように、外乱光の計測は、新たなコンポーネントを必要とすることなく、単に、発光部２０を駆動させないことで行うことができる。
　続いて、制御部１０は、測距処理部５０から該ピーク値を受けると、外乱光が測距に与える影響が大きいか否かを判定するため、該ピーク値を所定の閾値と比較する（Ｓ７０３）。制御部１０は、該ピーク値が所定の閾値を超えていると判定する場合（Ｓ７０３のＹｅｓ）、解像度を下げるよう、測距条件を設定する（Ｓ７０４）。すなわち、ピーク値が所定の閾値を超えている場合、外乱光の影響を相対的に低減させるために、制御部１０は、高い解像度（解像度の上限）として設定された測距条件を保持するレジスタに切り替える（例えばレジスタ番号“５”）。このように、距離測定装置１は、外乱光に起因するノイズ量に基づいて、測距条件を変更し得る。この場合、制御部１０は、解像度が上がりすぎないように上限を設定しても良い。これにより、距離測定装置１は、実際の測距処理に入る。なお、本例では、外乱光の強さが所定の閾値以下である場合、測距条件はそのままであるとしたが、これに限られず、例えば、低い解像度の測距条件に変更するようにしても良い。
　続く測距処理では、距離測定装置１は、発光部２０及び受光部４０を駆動して、選択中の読み出しラインにおける画素Ｐに対する測距を行う（Ｓ７０５）。これにより、受光部４０は、現在の測距条件に従ったＳＰＡＤ群から電気信号パルスを測距処理部５０に出力する。
　続いて、測距処理部５０は、該電気信号パルスを所定のサンプリング周波数に従ってサンプリングしながらサンプリング値を決定し、現在の測距条件に従った画素Ｐごとのサンプリング値を加算して、その値をヒストグラムにおける対応するビンの値に設定することにより、ヒストグラムを作成する（Ｓ７０６）。上述したように、ヒストグラムは、サンプリング周波数に従った時間ごとのビンに分割されている。測距処理部５０は、次に、作成されたヒストグラムにおけるピーク値を検出し、該ピーク値に対応する時間から距離を算出する（Ｓ７０７）。測距処理部５０は、算出した距離に関するデータ（測距データ）を、通信インタフェース部６０を介して外部に出力するとともに、制御部１０の判定部１２に出力する。
　制御部１０は、測距処理部５０から測距データを受け取ると、該測距データに基づいて、最適な測距条件を保持するレジスタを選択する（Ｓ７０８）。より具体的には、制御部１０は、測距データを所定の閾値と比較して、物体ＯＢＪまでの距離が近いか否かを判定し、該判定の結果に応じて、次の測距のための測距条件を変更する。所定の閾値は、例えば、第１の閾値及び第２の閾値（但し、第１の閾値＜第２の閾値）が用意されている。
　例えば、制御部１０は、測距データが第１の閾値よりも小さいと判定する場合（すなわち、物体ＯＢＪが近い場合）、サンプリング周波数を上げるよう、及び／又は解像度を下げるよう、測距条件を変更する。すなわち、制御部１０は、高いサンプリング周波数が設定された測距条件を保持するレジスタに切り替える（例えばレジスタ番号“２”）。これは、物体ＯＢＪまでの距離が近いため、より高い測距精度の距離を取得するためである。
　これに対して、制御部１０は、測距データが第２の閾値よりも大きいと判定する場合（すなわち、物体ＯＢＪが遠い場合）、サンプリング周波数を下げるよう、及び／又は解像度を上げるよう、測距条件を変更する。すなわち、制御部１０は、低いサンプリング周波数として設定された測距条件を保持するレジスタに切り替える。これは、物体ＯＢＪまでの距離が遠いため、より低い測距精度の測距を許容するためである。なお、既に、低いサンプリング周波数の測距条件のレジスタが選択されている場合には、レジスタの変更は行われない。また、本例では、制御部１０は、測距データが第１の閾値以上であり、かつ、第２の閾値以下であると判定する場合、物体ＯＢＪまでの距離は近くもなく遠くもないため、現在の測距条件のまま変更しない。また、所定の閾値として、第１の閾値及び第２の閾値が用意されているが、これに限られず、測定条件の種類に応じて、より多くの閾値が用意されても良い。
　なお、距離測定装置１は、測距条件の選択にあたって、例えば、読み出しラインにおける特定の画素Ｐのピーク値を用いても良いし、或いは、複数の画素Ｐのピーク値の平均値を用いても良い。
　そして、距離測定装置１は、次の読み出しラインの測距を行うため、Ｓ７０１の処理に戻る。なお、距離測定装置１は、１撮像フレーム分の測距処理が終わると、撮像フレームの最初の読み出しラインに戻って、これを選択する。このように、距離測定装置１は、次のラインの測距条件を、隣接するライン及び／又は周辺の画素Ｐによる測距の結果に従って変更することができる。
　このようにして、距離測定装置１は、動作中、測距条件に従って測距を行い、図８に示すように、先に測距がなされた隣接するラインの画素Ｐによる物体ＯＢＪまでの距離に応じて、測距条件を適宜に変更することができる。とりわけ、測距の結果、物体ＯＢＪまでの距離が近い場合、より高い測距精度での測距が可能になるよう測距条件が変更される。これにより、例えば、車両前方のシーンにおいて、近くの障害物（例えば他の車両）については、より高い測距精度での測距により、衝突等の回避をより正確に行えるようになる。一方、測距の結果、物体ＯＢＪまでの距離が遠い場合、より低い測距精度の測距を許容するよう測距条件が変更される。これにより、例えば、車両前方のシーンにおいて、近くに障害物（例えば他の車両）がない場合、より低い測距精度での測距を許容することで、ＳＰＡＤの駆動電圧やプロセッサによる演算負荷を下げ、消費電力を抑えることができるようになる。
　なお、本開示において、撮像フレームの測距にあたり、最初に、外乱光を計測する例を示したが、これに限られるものではなく、外乱光の計測を省略しても良い。或いは、例えば、数撮像フレームごとに、その最初に、外乱光を計測するものであっても良い。このようにすることで、消費電力をさらに抑えることができるようになる。
［第２の実施形態］
　次に、第２の実施形態について説明する。本実施形態では、第１の実施形態の変形であり、１撮像フレームにおいて、予め定められた測距パターンに従って、測距条件（パラメータセット）を順次に切り替える距離測定装置１が開示される。
　図９は、本技術の一実施形態における距離測定装置１における測距パターンの例を説明するためのタイミングチャートである。同図には、１撮像フレームに対する動作時間における測距パターン（１）～（４）が示されている。
　同図に示すように、例えば、測距パターン（１）は、測距条件Ａ～Ｄが順番に繰り返されるパターンである。測距条件Ａ～Ｄのそれぞれは、例えば数１０ｎｓごとに切り替えられる。このような切り替えは、例えば、レジスタ番号の切り替えパターンに従って行われ得る。測距パターン（２）は、測距条件Ａ及びＢからなるパターンである。測距パターン（３）は、測距条件Ａ～Ｃが順番に繰り返されるパターンであり、測距条件Ｂについては、ある程度長い時間設定される。測距パターン（４）は、測距条件Ａ～Ｃからなる。
　例えば、測距パターン（４）に関して、高い測距精度として設定された測距条件Ａは、物体ＯＢＪが近い距離に存在し得る撮像フレーム中の下方領域に対して用いられるように選択される。また、中程度の測距精度として設定された測距条件Ｂは、撮像フレーム中の下方領域に対して用いられるように選択される。さらに、低い測距精度として設定され測距条件Ｃは、撮像フレーム中の下方領域に対して用いられるように選択される。このような測距パターンによれば、物体ＯＢＪまでの距離に応じた撮像フレームにおける領域ごとに、最適な測距条件を選択的かつ高速に切り替えることができるようになる。このように、従来は、外部のホストＩＣ等により切り替えていたため、数ｍｓのオーダーを要するところ、本技術によれば、測距条件の切り替えのパターンを予め用意しておくことで、短い時間で測距条件を切り替えることができることができるようになる。
　なお、本実施形態においては、距離測定装置１は、一旦、所定の測距パターンを選択し、それに従って測距処理を行っている間、読み出しラインごとの測距に基づいて、測距条件の変更を行う必要はなく、例えば、数撮像フレームごとに測距パターンの変更が判定され、又は、外部からの指示により測距パターンが変更されるように構成されても良い。
［第３の実施形態］
　次に、第３の実施形態について説明する。本実施形態では、測距処理部５０により算出された測距データを受信した外部のホストＩＣを用いて、測距条件を変更すること可能とする距離測定装置１が開示される。ここで、外部のホストＩＣとは、上記実施形態で説明されたＳｏＣとしての距離測定装置１の外部に設けられるという意味で用いられている。
　図１０は、本技術の一実施形態における距離測定装置１の構成の一例を示すブロックダイアグラムである。同図に示すように、本実施形態の距離測定装置１は、ホストＩＣ７０が、測距処理部５０から通信インタフェース部６０を介して受信した測距データに基づいて、測距条件を変更すべきか否かを判定するように構成されている点で、上記実施形態において図示したものと異なっている。なお、図１０中、既に図示したコンポーネントと同一の機能ないしは構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
　同図に示すように、本例では、図１に示した判定部１２が、距離測定装置１内の制御部１０に設けられる代わりに、ホストＩＣ７０に設けられている。ただし、これは、制御部１０に判定部１２を設ける構成を排除することを意味していない。図示していないが、ホストＩＣ７０は、対応する通信インタフェース部を含み構成される。ホストＩＣ７０の判定部７２は、上記実施形態と同様に、測距処理部５０から通信インタフェース部６０を介して測距データを受信すると、該測距データが示す距離に基づいて、測距条件を変更すべきか否かを判定する。判定部７２は、該判定の結果を、通信インタフェース部６０を介して、制御部１０に送信する。制御部１０は、受信した判定の結果を変更部１４に引き渡し、変更部１４は、該判定の結果に従って、レジスタ部１６のレジスタを切り替える。
　一例として、ホストＩＣ７０は、１撮像フレーム分の測距データを保持し得るフレームバッファ（図示せず）を備え得る。ホストＩＣ８０の判定部８２は、フレームバッファを参照し、次の撮像フレームにおける読み出しラインごとにどの測距条件に変更するかを判定する。
　このようにして、本実施形態によっても、上記実施形態と同様の作用効果ないしは利点を奏し得る。また、本実施形態によれば、ホストＩＣ７０の判定部７２が、図１１に示すように、過去の撮像フレームにおける同じ位置の画素Ｐの測距データに基づいて、測距条件を変更すべきか否かを判定するので、現在の撮像フレームの形成中に、該判定の結果に応じて、現在の測距条件を変更することができるようになる。
　なお、本実施形態では、外部のホストＩＣ７０が判定部７２を備える構成が説明されたが、これに限られず、ＳｏＣ内の制御部１０もまた、判定部１２を備えていてもよい。例えば、距離測定装置１は、ＳｏＣ内に設けられた判定部１２により判定処理を行う第１のモードと、外部のホストＩＣ８０に設けられた判定部８２により判定処理を行う第２のモードとを備え、いずれかのモードに選択的に切り替えて動作するように構成されても良い。
［第４の実施形態］
　次に、第４の実施形態について説明する。本実施形態では、外部のホストＩＣが、上述した測距処理部５０に代わって、測距処理を行う距離測定装置が開示される。
　図１２は、本技術の一実施形態における距離測定装置の構成の一例を示すブロックダイアグラムである。同図に示すように、本実施形態の距離測定装置１’では、ホストＩＣ７０が、判定部７２と、センサ側チップの測距処理部５０と同等の機能を有する測距処理部７４とを備える点で、上記実施形態において図示したものと異なっている。図中、制御部１０には、判定部１２が明示されていないが、第１の実施形態等と同様に、制御部１０に判定部１２が設ける構成であっても良い。なお、同図中、既に図示したコンポーネントと同一の機能ないしは構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
　距離測定装置１’は、典型的には、複数のデータ出力モードで動作するように構成される。例えば、距離測定装置１は、サンプリング回路５２が画素Ｐごとのエコーデータ（時系列のサンプリング値の合計値）をホストＩＣ７０に出力するモード、ヒストグラム作成部５４がヒストグラムデータをホストＩＣ７０に出力するモード、及び距離演算部５６が測距データをホストＩＣ７０に出力するモードを有する。
　センサ側チップ上の測距処理部５０は、制御部１０の制御の下、いずれかのデータ出力モードにおいて動作し、所定のデータを、通信インタフェース部６０を介して、ホストＩＣ７０に出力する。
　ホストＩＣ７０は、測距処理部５０から送信されるデータに基づいて、そのデータ種別に応じた処理を行って、測距データを算出し、これを判定部７２に出力する。例えば、測距処理部７４は、受信したエコーデータに基づいてヒストグラムを作成し、該作成したヒストグラムからピーク値を決定し、測距データを算出する。或いは、測距処理部７４は、受信したデータがヒストグラムデータである場合には、そのヒストグラムからピーク値を決定し、測距データを算出する。
　このように、本実施形態によっても、上記の実施形態と同様の作用効果ないしは利点を奏し得る。とりわけ、高いパフォーマンスが要求される測距処理をホストＩＣ７０が担う一方、レジスタの切り替えは制御部１０において行われるので、測距条件を柔軟かつ高速に変更することができるようになる。
　上記各実施形態は、本技術を説明するための例示であり、本技術をこれらの実施形態にのみ限定する趣旨ではない。本技術は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。
　例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちの幾つかは、技術の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。
　また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本技術の要旨に含まれる。
　例えば、上記実施形態では、レジスタ部１６のレジスタを選択的に切り替えることにより、予めパラメータセットとして定められた測定条件を変更する態様が説明されたが、これに限られない。例えば、距離測定装置１は、制御部１０の変更部１４が、算出された距離に応じて、動的にパラメータセットを生成し、生成したパラメータセットで参照されるレジスタの内容を書き換えるように構成されても良い。
　なお、本技術は、以下のような構成も採用することができる。
（１）
　対象エリアに対して光を出射する発光部と、
　前記対象エリアにおける観測光を受光し、電気信号を出力する複数の受光素子を含む受光部と、
　所定の測距条件に従い、前記複数の受光素子によって形成される撮像フレームにおいて、画素を構成する前記複数の受光素子のうちの幾つかの受光素子群により受光された前記観測光に含まれる、前記発光部から出射された前記光が照射された物体からの反射光に応じた電気信号に基づいて、前記物体までの距離を算出するための測距処理を行う測距処理部と、
　前記所定の測距条件を制御する制御部と、を備え、
　前記制御部は、現在の前記撮像フレームが形成されている間に、前記所定の測距条件を変更する、
距離測定装置。
（２）
　前記制御部は、前記発光部により光が出射される前に前記複数の受光素子のうちの幾つかの受光素子群が環境光を受光するように制御を行い、
　前記測距処理部は、前記環境光に基づいてノイズ量を算出し、
　前記制御部は、算出された前記ノイズ量に基づいて、前記所定の測距条件を変更する、（１）に記載の距離測定装置。
（３）
　前記制御部は、前記ノイズ量が所定の閾値を超える場合に、前記画素を構成する前記受光素子群の個数が多くなるように、前記所定の測距条件を変更する、（１）又は（２）に記載の距離測定装置。
（４）
　前記制御部は、前記測距処理部により算出された前記距離に基づいて、前記所定の測距条件を変更する、（１）乃至（３）のいずれか１つに記載の距離測定装置。
（５）
　前記制御部は、前記撮像フレームにおける第１のラインにおける前記複数の受光素子のうちの幾つかの受光素子群による受光により算出された前記距離に基づいて、前記第１のラインに続く第２のラインに対する前記所定の測距条件を変更するか否かを判定する、
（１）乃至（４）のいずれかに記載の距離測定装置。
（６）
　前記制御部は、前記第１のラインにおける前記算出された距離の平均値に基づいて、前記第２のラインに対する前記所定の測距条件を変更するか否かを判定する、（１）乃至（５）のいずれか１つに記載の距離測定装置。
（７）
　前記制御部は、過去の前記撮像フレームにおける前記測距処理部により算出された前記距離に基づいて、前記所定の測距条件を変更する、（１）乃至（６）のいずれか１つに記載の距離測定装置。
（８）
　前記制御部は、前記算出された距離が近いほど、前記画素を構成する前記受光素子群の個数が多くなるように、前記所定の測距条件を変更する、（１）乃至（７）のいずれか１つに記載の距離測定装置。
（９）
　前記制御部は、前記算出された距離が近いほど、前記電気信号をサンプリングするためのサンプリング周波数が高くなるように、前記所定の測距条件を変更する、
（１）乃至（８）のいずれか１つに記載の距離測定装置。
（１０）
　前記測距処理部は、
　前記所定の測距条件に従った、前記複数の受光素子のうちの幾つかの受光素子群により構成される前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
　前記光の出射及び前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間区間ごとの前記反射光の強さを示すヒストグラムを作成するヒストグラム作成部と、
　前記ヒストグラムにおけるピーク値を検出し、検出した前記ピーク値から前記距離を算出する距離演算部と、を備える、
（１）乃至（９）のいずれか１つに記載の距離測定装置。
（１１）
　前記制御部は、前記ヒストグラム作成部によりヒストグラムが作成されるごとに、前記所定の測距条件を変更するか否かを判定する、（１０）に記載の距離測定装置。
（１２）
　前記距離測定装置は、前記所定の測距条件を示す複数のパラメータセットを保持するレジスタを含むシステム・オン・チップ（ＳｏＣ）として構成される、（１）乃至（１１）のいずれか１つに記載の距離測定装置。
（１３）
　通信インタフェースをさらに備え、
　前記測距処理部は、前記通信インタフェースを介して、前記撮像フレームに対する前記画素ごとの前記算出された距離に関するデータを出力する、
（１）乃至（１２）のいずれか１つに記載の距離測定装置。
（１４）
　前記制御部は、前記ＳｏＣの外部と前記通信インタフェースを介して通信することなく、前記レジスタに保持される前記複数のパラメータセットのいずれかを選択することにより、前記所定の測距条件を変更する、（１）乃至（１３）のいずれか１つに記載の距離測定装置。
（１５）
　発光部から対象エリアに対して光を出射することと、
　複数の受光素子を含む受光部により前記対象エリアにおける観測光を受光し、電気信号を出力することと、
　前記複数の受光素子によって形成される撮像フレームにおいて、画素を構成する前記複数の受光素子のうちの幾つかの受光素子群により受光された前記観測光に含まれる、前記発光部から出射された前記光の照射による物体からの反射光に応じた電気信号に基づいて、所定の測距条件に従い、前記物体までの距離を算出するための測距処理を行うことと、
　前記物体までの距離が所定の測距条件で算出されるように、現在の前記撮像フレームが形成されている間に、所定の測距条件を変更するように制御することと、を含む、
距離測定方法。
１…距離測定装置
１０…制御部
　１２…判定部
　１４…変更部
　１６…レジスタ部
２０…発光部
３０…発光タイミング調整部
４０…受光部
５０…測距処理部
　５２…サンプリング回路
　５４…ヒストグラム作成部
　５６…距離演算部
６０…通信インタフェース部
７０…ホストＩＣ
　７２…判定部
　７４…測距処理部

Claims (15)

  1. 　対象エリアに対して光を出射する発光部と、
    　前記対象エリアにおける観測光を受光し、電気信号を出力する複数の受光素子を含む受光部と、
    　所定の測距条件に従い、前記複数の受光素子によって形成される撮像フレームにおいて、画素を構成する前記複数の受光素子のうちの幾つかの受光素子群により受光された前記観測光に含まれる、前記発光部から出射された前記光が照射された物体からの反射光に応じた電気信号に基づいて、前記物体までの距離を算出するための測距処理を行う測距処理部と、
    　前記所定の測距条件を制御する制御部と、を備え、
    　前記制御部は、現在の前記撮像フレームが形成されている間に、前記所定の測距条件を変更する、
    距離測定装置。
  2. 　前記制御部は、前記発光部により光が出射されていないときに、前記複数の受光素子のうちの幾つかの受光素子群が環境光を受光するように制御を行い、
    　前記測距処理部は、前記環境光に基づいてノイズ量を算出し、
    　前記制御部は、算出された前記ノイズ量に基づいて、前記所定の測距条件を変更する、請求項１に記載の距離測定装置。
  3. 　前記制御部は、前記ノイズ量が所定の閾値を超える場合に、前記画素を構成する前記受光素子群の個数が多くなるように、前記所定の測距条件を変更する、請求項２に記載の距離測定装置。
  4. 　前記制御部は、前記測距処理部により算出された前記距離に基づいて、前記所定の測距条件を変更する、
    請求項１に記載の距離測定装置。
  5. 　前記制御部は、前記撮像フレームにおける第１のラインにおける前記複数の受光素子のうちの幾つかの受光素子群による受光により算出された前記距離に基づいて、前記第１のラインに続く第２のラインに対する前記所定の測距条件を変更するか否かを判定する、
    請求項４に記載の距離測定装置。
  6. 　前記制御部は、前記第１のラインにおける前記算出された距離の平均値に基づいて、前記第２のラインに対する前記所定の測距条件を変更するか否かを判定する、
    請求項５に記載の距離測定装置。
  7. 　前記制御部は、過去の前記撮像フレームにおける前記測距処理部により算出された前記距離に基づいて、前記所定の測距条件を変更する、
    請求項４に記載の距離測定装置。
  8. 　前記制御部は、前記算出された距離が近いほど、前記画素を構成する前記受光素子群の個数が多くなるように、前記所定の測距条件を変更する、請求項４に記載の距離測定装置。
  9. 　前記制御部は、前記算出された距離が近いほど、前記電気信号をサンプリングするためのサンプリング周波数が高くなるように、前記所定の測距条件を変更する、
    請求項４に記載の距離測定装置。
  10. 　前記測距処理部は、
    　前記所定の測距条件に従った、前記複数の受光素子のうちの幾つかの受光素子群により構成される前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
    　前記光の出射及び前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間区間ごとの前記反射光の強さを示すヒストグラムを作成するヒストグラム作成部と、
    　前記ヒストグラムにおけるピーク値を検出し、検出した前記ピーク値から前記距離を算出する距離演算部と、を備える、
    請求項１に記載の距離測定装置。
  11. 　前記制御部は、前記ヒストグラム作成部によりヒストグラムが作成されるごとに、前記所定の測距条件を変更するか否かを判定する、
    請求項１０に記載の距離測定装置。
  12. 　前記距離測定装置は、前記所定の測距条件を示す複数のパラメータセットを保持するレジスタを含むシステム・オン・チップ（ＳｏＣ）として構成される、
    請求項１に記載の距離測定装置。
  13. 　通信インタフェースをさらに備え、
    　前記測距処理部は、前記通信インタフェースを介して、前記撮像フレームに対する前記画素ごとの前記算出された距離に関するデータを出力する、
    請求項１２に記載の距離測定装置。
  14. 　前記制御部は、前記ＳｏＣの外部と前記通信インタフェースを介して通信することなく、前記レジスタに保持される前記複数のパラメータセットのいずれかを選択することにより、前記所定の測距条件を変更する、
    請求項１３に記載の距離測定装置。
  15. 　発光部から対象エリアに対して光を出射することと、
    　複数の受光素子を含む受光部により前記対象エリアにおける観測光を受光し、電気信号を出力することと、
    　前記複数の受光素子によって形成される撮像フレームにおいて、画素を構成する前記複数の受光素子のうちの幾つかの受光素子群により受光された前記観測光に含まれる、前記発光部から出射された前記光の照射による物体からの反射光に応じた電気信号に基づいて、所定の測距条件に従い、前記物体までの距離を算出するための測距処理を行うことと、
    　前記物体までの距離が所定の測距条件で算出されるように、現在の前記撮像フレームが形成されている間に、所定の測距条件を変更するように制御することと、を含む、
    距離測定方法。
PCT/JP2019/048938 2019-01-11 2019-12-13 距離測定装置及び距離測定方法 WO2020145035A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/419,432 US20220057520A1 (en) 2019-01-11 2019-12-13 Distance measurement apparatus and distance measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-003543 2019-01-11
JP2019003543A JP2020112443A (ja) 2019-01-11 2019-01-11 距離測定装置及び距離測定方法

Publications (1)

Publication Number Publication Date
WO2020145035A1 true WO2020145035A1 (ja) 2020-07-16

Family

ID=71520426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048938 WO2020145035A1 (ja) 2019-01-11 2019-12-13 距離測定装置及び距離測定方法

Country Status (3)

Country Link
US (1) US20220057520A1 (ja)
JP (1) JP2020112443A (ja)
WO (1) WO2020145035A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401211B2 (ja) * 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
CN114200479A (zh) 2020-08-31 2022-03-18 华为技术有限公司 一种dTOF传感模组、终端设备及测距方法
CN116368628A (zh) * 2020-11-05 2023-06-30 索尼半导体解决方案公司 距离测量传感器和距离测量系统
JP2023002982A (ja) * 2021-06-23 2023-01-11 株式会社リコー 測距装置および測距システム
WO2023276223A1 (ja) * 2021-06-30 2023-01-05 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法及び制御装置
WO2023007795A1 (ja) * 2021-07-26 2023-02-02 ソニーグループ株式会社 信号処理装置および信号処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015105870A (ja) * 2013-11-29 2015-06-08 株式会社デンソー 計測装置
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックＩｐマネジメント株式会社 距離測定装置および距離画像合成方法
WO2018091970A1 (en) * 2016-11-16 2018-05-24 Innoviz Technologies Ltd. Lidar systems and methods
US20180341009A1 (en) * 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015105870A (ja) * 2013-11-29 2015-06-08 株式会社デンソー 計測装置
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックＩｐマネジメント株式会社 距離測定装置および距離画像合成方法
US20180341009A1 (en) * 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
WO2018091970A1 (en) * 2016-11-16 2018-05-24 Innoviz Technologies Ltd. Lidar systems and methods

Also Published As

Publication number Publication date
US20220057520A1 (en) 2022-02-24
JP2020112443A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
WO2020145035A1 (ja) 距離測定装置及び距離測定方法
JP6799690B2 (ja) 変調感度を有するｓｐａｄ検出器
JP6443132B2 (ja) 演算装置
US20210116572A1 (en) Light ranging apparatus
US11656342B2 (en) Histogram-based signal detection with sub-regions corresponding to adaptive bin widths
EP2446301B1 (en) Pulsed light optical rangefinder
JP5617554B2 (ja) 距離測定装置、および距離測定プログラム
KR20200085297A (ko) 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
EP3370078B1 (en) Range and parameter extraction using processed histograms generated from a time of flight sensor - crosstalk correction
JP7094937B2 (ja) 飛行時間型深度画像化システムの内蔵較正
JP6481405B2 (ja) 演算装置
JP2009192499A (ja) 距離画像生成装置
US20210181308A1 (en) Optical distance measuring device
WO2021181868A1 (ja) 測距センサ及び距離測定方法
CN112105944A (zh) 具有使用短脉冲和长脉冲的多模式操作的光学测距系统
US20200355806A1 (en) Electronic apparatus and distance measuring method
WO2023185757A1 (zh) 激光雷达系统及其校准方法
US20230078063A1 (en) Distance measurement device and distance measurement system
US20220011437A1 (en) Distance measuring device, distance measuring system, distance measuring method, and non-transitory storage medium
WO2020179857A1 (ja) 光測距装置
US20210389462A1 (en) System and method for histogram binning for depth detection
WO2021117608A1 (ja) 物体検出装置および物体検出装置の制御方法
US20240168161A1 (en) Ranging device, signal processing method thereof, and ranging system
US20230204727A1 (en) Distance measurement device and distance measurement method
US20230296773A1 (en) Distance measuring device and distance measuring method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908282

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908282

Country of ref document: EP

Kind code of ref document: A1