WO2022209219A1 - 測距装置およびその信号処理方法、並びに、測距システム - Google Patents

測距装置およびその信号処理方法、並びに、測距システム Download PDF

Info

Publication number
WO2022209219A1
WO2022209219A1 PCT/JP2022/002509 JP2022002509W WO2022209219A1 WO 2022209219 A1 WO2022209219 A1 WO 2022209219A1 JP 2022002509 W JP2022002509 W JP 2022002509W WO 2022209219 A1 WO2022209219 A1 WO 2022209219A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
pixel
detected
pixels
measuring device
Prior art date
Application number
PCT/JP2022/002509
Other languages
English (en)
French (fr)
Inventor
優介 森内
幹修 藤岡
憲一郎 中村
貴之 佐々木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/282,428 priority Critical patent/US20240168161A1/en
Priority to JP2023510535A priority patent/JPWO2022209219A1/ja
Publication of WO2022209219A1 publication Critical patent/WO2022209219A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the present technology relates to a distance measuring device, its signal processing method, and a distance measuring system, and in particular, a distance measuring device, a signal processing method thereof, and a distance measuring device capable of outputting an acquired coordinate position of distance information with higher accuracy, and It relates to a ranging system.
  • a direct ToF type ToF sensor uses a light-receiving element called SPAD (Single Photon Avalanche Diode) for each light-receiving pixel to detect the reflected light of the pulsed light reflected by the object. do.
  • SPAD Single Photon Avalanche Diode
  • the dToF sensor repeats the emission of pulsed light and the reception of the reflected light a predetermined number of times (for example, several times to several hundred times) to obtain a histogram of the time-of-flight of the pulsed light. and calculate the distance to the object from the flight time corresponding to the peak of the histogram.
  • the SN ratio is low and it is difficult to detect the peak position when measuring the distance of a subject with low reflectivity or a distant object, or when measuring the distance in an environment such as an outdoor environment that is strongly affected by external light disturbance. It is for this reason, the pulsed light emitted is formed into a spot shape to extend the reach of the pulsed light, in other words, to increase the number of detected reflected lights. Since spot-shaped pulsed light generally becomes sparse pulsed light, the pixels in which the reflected light is detected also become sparse according to the spot diameter and the irradiation area.
  • pixels in the pixel array are active pixels to receive light.
  • a plurality of adjacent pixels (referred to as multi-pixels) are regarded as one large pixel, and histograms are generated in units of multi-pixels.
  • multi-pixels are formed by an arbitrary number of adjacent pixels such as 2 ⁇ 3, 3 ⁇ 3, 3 ⁇ 6, 3 ⁇ 9, 6 ⁇ 3, 6 ⁇ 6, and 9 ⁇ 9, and formed.
  • a method is disclosed in which a histogram is created using a multi-pixel signal obtained from the multi-pixel signal and distance measurement is performed to increase the SN ratio at the expense of lowering the spatial resolution.
  • Non-Patent Document 1 discloses the relationship between the baseline direction and the epipolar line in epipolar geometry.
  • a predetermined representative position such as the coordinates of the center pixel of the multi-pixel, is set as the acquisition position coordinates of the distance information calculated by the multi-pixel.
  • the acquired position coordinates used as representative positions are not always accurate, and there are cases where it is difficult to adapt to applications that require high spatial coordinate resolution.
  • This technology has been developed in view of such circumstances, and enables the acquisition coordinate position of the distance information to be output with higher accuracy.
  • a distance measuring device includes: a pixel array in which pixels are arranged in a matrix; and a correction unit for correcting the representative position of the spatial coordinates of the distance information of the sample points based on the number of photons detected in each of the plurality of division units.
  • a signal processing method for a distance measuring device is such that a distance measuring device including a pixel array in which pixels are arranged in rows and columns divides sample points formed by a plurality of the pixels into predetermined division units. The number of photons detected in each divided unit is recorded, and the representative position of the spatial coordinates of the distance information of the sample points is corrected based on the number of photons detected in each of the plurality of divided units.
  • a distance measurement system includes an illumination device that emits pulsed light, and a distance measurement device that receives reflected light of the pulsed light reflected by an object, wherein the distance measurement device includes the a pixel array in which pixels that receive reflected light are arranged in a matrix; a recording unit that records the number of detected photons for each division unit obtained by dividing a sample point composed of the plurality of pixels into predetermined division units; and a correction unit that corrects a representative position of the spatial coordinates of the distance information of the sample points based on the number of detected photons of each of the divided units.
  • the number of detected photons for each division unit obtained by dividing a sample point composed of a plurality of pixels of a pixel array in which pixels are arranged in a matrix into predetermined division units is The representative position of the spatial coordinates of the distance information of the sample points is corrected based on the number of photons recorded and detected in each of the plurality of division units.
  • the ranging device and ranging system may be independent devices or may be modules incorporated into other devices.
  • FIG. 1 is a block diagram showing a configuration example of a ranging system of the present disclosure
  • FIG. FIG. 3 illustrates the problem addressed by the ranging system of the present disclosure
  • 1 is a block diagram showing a detailed configuration example of a distance measuring system according to a first embodiment
  • 4 is a flowchart for explaining first ranging processing according to the first embodiment of the ranging system
  • FIG. 4 is a diagram for explaining the relationship between TDC placement and correction coordinates
  • FIG. 11 is a block diagram showing a detailed configuration example of a second embodiment of a distance measuring system; 10 is a flowchart for explaining second ranging processing according to the second embodiment of the ranging system; FIG. 11 is a block diagram showing a detailed configuration example of a distance measuring system according to a third embodiment; It is a figure explaining the correction
  • FIG. 12 is a flow chart for explaining third ranging processing according to the third embodiment of the ranging system;
  • FIG. FIG. 11 is a block diagram showing a detailed configuration example of a fourth embodiment of a distance measuring system; It is a figure explaining arrangement
  • FIG. 14 is a flowchart for explaining fourth ranging processing according to the fourth embodiment of the ranging system; FIG.
  • FIG. 1 is a block diagram showing a configuration example of a ranging system of the present disclosure.
  • the ranging system 1 in FIG. 1 is a system that measures and outputs the distance to the object 13 using, for example, the ToF (Time-of-Flight) method.
  • the distance measurement system 1 performs distance measurement by the direct ToF method among the ToF methods.
  • the direct ToF method the flight time of the pulsed light from the time when the pulsed light is emitted as the irradiation light to the time when the reflected light of the pulsed light is received by the object 13 is directly measured, and the distance to the object 13 is calculated. This is a calculation method.
  • This ranging system 1 can be used with an external sensor (not shown) for photographing subjects including the object 13 and the like.
  • an RGB sensor as an external sensor
  • the distance measurement system 1 sets the same range as the imaging range of the RGB sensor as the distance measurement range, and the distance information of the subject captured by the RGB sensor is to generate
  • the distance measurement system 1 includes an illumination device 11 and a distance measurement device 12, and measures the distance to a predetermined object 13 as a subject. More specifically, for example, when the distance measuring system 1 is instructed to start measurement from a higher-level host device or the like, during one frame period for generating one depth image (one frame), the distance measuring system 1 emits a pulse as irradiation light. Emission of light and reception of the reflected light are repeated a predetermined number of times (for example, several times to several hundred times).
  • the distance measurement system 1 generates a histogram of the flight time of the pulsed light based on the pulsed light emission and the reception of the reflected light that are repeatedly performed a predetermined number of times, and from the flight time corresponding to the peak of the histogram, A distance to the object 13 is calculated.
  • the illumination device 11 emits pulsed light based on the emission conditions and the emission trigger supplied from the distance measuring device 12 .
  • the pulsed light for example, infrared light (IR light) having a wavelength in the range of approximately 850 nm to 940 nm can be used, but the pulsed light is not limited to this.
  • the light emission trigger is, for example, a pulse waveform composed of two values of "High (1)” and “Low (0)", and "High” indicates the timing of emitting the pulse light.
  • the light emission conditions include, for example, whether the pulsed light is to be emitted by spot emission or surface emission.
  • Spot emission is a method of emitting light in which a plurality of circular or elliptical spots are regularly arranged according to a predetermined rule.
  • Surface emission is a method of emitting light with uniform luminance over the entire predetermined substantially rectangular area.
  • the distance measuring device 12 determines the light emission conditions, outputs the determined light emission conditions and the light emission trigger to the illumination device 11, and emits pulsed light as irradiation light. Further, the distance measuring device 12 receives the reflected light of the pulsed light reflected by the object 13, calculates the distance to the object 13, generates a depth image based on the result, and uses it as distance information. output to the host device, etc.
  • the distance measuring device 12 has a pixel array in which pixels provided with SPADs (Single Photon Avalanche Diodes) as photoelectric conversion elements are two-dimensionally arranged in a matrix in a light receiving portion that receives reflected light.
  • SPADs Single Photon Avalanche Diodes
  • the distance measuring device 12 it is difficult to provide arithmetic circuits for all pixels, such as a histogram generation section that generates a histogram of the time-of-flight of pulsed light and a peak detection section that detects the peak of the histogram, due to circuit area restrictions.
  • the SN ratio is low and it is difficult to detect the peak position when measuring the distance of a subject with low reflectivity or a distant object, or when measuring the distance in an environment such as an outdoor environment that is strongly affected by external light disturbance. It is
  • a plurality of adjacent pixels (also referred to as multi-pixels) in the pixel array are regarded as one sample point, and histograms are generated in units of multi-pixels.
  • the number of histogram generators, peak detectors, and the like can be smaller than the total number of pixels in the pixel array, and signals are integrated by multi-pixels forming one sample point, thereby improving the SN ratio.
  • the representative position of one sample point is a predetermined position such as the center position or upper left position of the multi-pixel. It is set as the acquisition coordinate position of the distance information (the pixel position in the x direction and the y direction of the pixel array).
  • the representative position determined in advance may not be correct as the acquisition coordinate position of the output distance information.
  • FIG. 2 shows an example in which one sample point (multi-pixel) is configured with 9 pixels consisting of 3 ⁇ 3, and the pixel position of the previously determined upper left star is output as the acquisition coordinate position of the distance information.
  • This multi-pixel histogram has two peaks, a distance D1 corresponding to the human face region and a distance D2 corresponding to the background. Output as distance information.
  • the acquisition coordinate position of the multi-pixel distance information is the upper left pixel position indicated by the star in the 3x3 pixels, it corresponds to the position of the background area, and an error occurs in the spatial coordinates of the distance information. state.
  • the distance measuring device 12 is configured to correct the acquired coordinate position of the distance information and output the distance information with more highly accurate spatial coordinates.
  • FIG. 3 is a diagram for explaining the first correction process performed by the distance measuring device 12.
  • the distance measuring device 12 corrects the acquired coordinate position based on the luminance value detected by the multi-pixel MP set as the sample point. More specifically, the distance measuring device 12 corrects the representative position C1 of the multi-pixel MP set as the initial position to the corrected position C2 having a large luminance value detected within the multi-pixel MP.
  • the left side of FIG. 3 shows an image of acquisition coordinate position correction when the irradiation light is spot light emission, and the right side of FIG. 3 shows an image of acquisition coordinate position correction when the irradiation light is surface light emission. In FIG. 3, the darker the gray density, the higher (brighter) the luminance of the irradiation light.
  • FIG. 4 is a diagram for explaining the second correction process performed by the distance measuring device 12.
  • the distance measuring device 12 corrects the obtained coordinate position based on the distance information (depth value) detected by the multi-pixel MP set as the sample point. More specifically, in the distance measuring system 1, the positional relationship between the lighting device 11 and the distance measuring device 12 is fixed, and the distance LD between the lighting device 11 and the distance measuring device 12 and the focal length f etc. are known. When the range finder 12 detects the distance d from the peak of the histogram to the object 13 as distance information, the distance ld from the center of the pixel array can be calculated according to the principle of triangulation, as shown in FIG. As a result, the distance measuring device 12 corrects the acquisition coordinate position from the representative position C11 set as the initial position to the correction position C12 corresponding to the distance ld from the center of the pixel array.
  • the position that can be calculated by the principle of triangulation based on the acquired distance is the position in the direction parallel to the epipolar line in the epipolar geometry, and the epipolar line is determined by the baseline connecting the illumination device 11 and the distance measuring device 12. be.
  • the position that can be calculated by the principle of triangulation based on the acquired distance is the x direction. position.
  • FIG. 5 is a block diagram showing a detailed configuration example of the distance measuring system 1 according to the first embodiment.
  • the illumination device 11 includes at least a light emission control section 31 and a light emission section 32 .
  • the light emission control unit 31 includes, for example, a microprocessor, an LSI, a laser driver, etc., and emits pulsed light as spot light emission based on the light emission conditions supplied from the control unit 51 of the distance measuring device 12, or Controls whether to emit light with surface emission.
  • the light emission control unit 31 can also control the size of the spotlight, the light emission position, the light emission area, etc., based on the light emission conditions. Further, the light emission control unit 31 turns on and off light emission according to a light emission trigger supplied from the control unit 51 of the distance measuring device 12 .
  • the light emitting unit 32 has, for example, a VCSEL array in which a plurality of VCSELs (Vertical Cavity Surface Emitting Laser) are arranged in a plane as a light source. Each VCSEL of the light emitting unit 32 turns on and off light emission under the control of the light emission control unit 31 .
  • VCSELs Very Cavity Surface Emitting Laser
  • the distance measuring device 12 includes a control section 51 , a pixel driving section 52 , a light receiving section 53 , a signal processing section 54 and an output section 55 .
  • the signal processing unit 54 includes a multiplexer 80, TDCs 81 1 to 81 Q , recording units 82 1 to 82 Q , multiplexer 83, histogram generation units 84 1 to 84 Q , peak detection units 85 1 to 85 Q , a distance calculation unit 86, and , and a correction unit 87 .
  • the signal processing unit 54 can be composed of, for example, an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), a logic circuit, or the like.
  • the signal processing unit 54 includes Q (Q>1) each of the TDC 81, the recording unit 82, the histogram generation unit 84, and the peak detection unit 85, and the signal processing unit 54 generates Q histograms. It is configured so that it can be generated.
  • the value of Q corresponds to the maximum number of sample points that can be set in the light receiving section 53, is smaller than the total number of pixels in the pixel array of the light receiving section 53, and is equal to or greater than the number of columns or rows of the pixel array. value.
  • a sample point can be composed of one pixel or a plurality of pixels, but in this embodiment, it is composed of a plurality of pixels, ie, multi-pixels, in order to improve the SN ratio as described above. For example, the center position of the multi-pixel is set as the initial position of the representative position of the sample points.
  • the control unit 51 is composed of, for example, an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), a microprocessor, or the like.
  • 11 light emission control unit 31 Although the signal line is omitted in FIG. 5, the light emission trigger is also supplied to the signal processing unit 54 as a timing notification for starting the counting of the flight time.
  • control unit 51 determines a plurality of sample points (multi-pixels) on the light receiving unit 53 corresponding to the determined light emission conditions, such as the light emission position of the spot light.
  • the control unit 51 supplies the pixel drive unit 52 with active pixel control information for making each pixel of the light receiving unit 53 determined as the sample point an active pixel.
  • Active pixels are pixels that detect the incidence of photons. Pixels that do not detect incoming photons are referred to as inactive pixels.
  • control unit 51 supplies information indicating the constituent units of the multi-pixels of the light-receiving unit 53 to the multiplexers 80 and 83 of the signal processing unit 54 as multi-pixel control information.
  • the pixel drive section 52 controls active pixels and non-active pixels based on the active pixel control information supplied from the control section 51 . In other words, the pixel driving section 52 controls ON/OFF of the light receiving operation of each pixel of the light receiving section 53 .
  • the light receiving unit 53 has a pixel array in which pixels are two-dimensionally arranged in a matrix. Each pixel of the light receiving section 53 has a SPAD (Single Photon Avalanche Diode) as a photoelectric conversion element. A SPAD instantaneously detects a single photon by multiplying carriers generated by photoelectric conversion in a high electric field PN junction region (multiplication region). When an incident photon is detected in each pixel set as an active pixel in the light receiving section 53, a detection signal indicating that the photon has been detected is output to the multiplexer 80 of the signal processing section 54 as a pixel signal.
  • SPAD Single Photon Avalanche Diode
  • the multiplexer 80 distributes the pixel signals supplied from the active pixels of the light receiving section 53 to any of the TDCs 81 1 to 81 Q based on the multi-pixel control information from the control section 51 .
  • the pixel signal output from the light receiving section 53 is controlled.
  • the TDC 81 i is also supplied with the light emission trigger output from the control unit 51 to the illumination device 11 .
  • the TDC 81 i generates a digital count value corresponding to the flight time of pulsed light based on the light emission timing indicated by the light emission trigger and the pixel signal supplied from each active pixel. The generated count value is supplied to the corresponding recording unit 82i .
  • the recording unit 82 i supplies the multiplexer 83 with a digital count value corresponding to the flight time supplied from the corresponding TDC 81 i . Also, the recording unit 82 i records the number of photons detected based on the count value supplied from the TDC 81 i during one frame period in which the emission of irradiation light and the reception of the reflected light are repeated a predetermined number of times. The recording unit 82 i supplies the final number of detected photons to the correcting unit 87 after the end of light emission and light reception corresponding to one frame period.
  • the TDC 81 i and the recording section 82 i are provided in a one-to-one correspondence with the columns of the pixel array, so the number of detected photons supplied to the correction section 87 is the number of detected photons for each column.
  • the multiplexer 83 distributes the digital count value corresponding to the flight time supplied from the recording unit 82 i to one of the histogram generation units 84 1 to 84 Q based on the multi-pixel control information from the control unit 51 . More specifically, the multiplexer 83 controls the count values from the recording unit 82 i so that the count values of columns belonging to the same multi-pixel are supplied to the same histogram generating unit 84 i .
  • the multiplexer 80 described above outputs the pixel signals of the plurality of pixels in the column direction belonging to the same multi-pixel to the same TDC 81 i , and the multiplexer 83 outputs the count values of the plurality of rows belonging to the same multi-pixel to the same histogram generator 84 i .
  • count values in multi-pixel units are collected in one histogram generator 84i .
  • the histogram generator 84i Based on the count values supplied from the multiplexer 83, the histogram generator 84i creates a count value histogram for a predetermined multi-pixel. The generated histogram data is supplied to the corresponding peak detector 85i .
  • the peak detector 85i detects the peak of the histogram based on the histogram data supplied from the histogram generator 84i .
  • the peak detector 85 i supplies the count value corresponding to the detected histogram peak to the distance calculator 86 .
  • the distance calculator 86 calculates the time-of-flight of each sample point based on the count value corresponding to the peak of the histogram supplied in sample point (multi-pixel) units from each of the peak detectors 85 1 to 83 Q. . Furthermore, the distance calculation unit 86 calculates the distance to the subject from the calculated flight time, and generates a depth image in which the calculated distance is associated with the spatial coordinates (x and y coordinates) of the sample points. . The generated depth image is supplied to the corrector 87 . The spatial coordinates of the sample points at this point are the center positions of the multi-pixels set as the initial positions.
  • the correcting unit 87 is supplied with the number of detected photons in division units obtained by dividing the multi-pixels forming the sample points into columns from the recording units 82 1 to 82 Q , respectively. Further, the correction unit 87 is supplied with the depth image as the distance information of the sample points from the distance calculation unit 86 .
  • the corrector 87 corrects the spatial coordinates of the sample points based on the luminance values detected in the multi-pixels that make up the sample points. More specifically, the correction unit 87 corrects the representative positions of the sample points based on the number of detected photons in units of multi-pixel columns supplied from the recording units 82 1 to 82 Q , respectively. Details of the correction processing will be described later.
  • the output unit 55 outputs the depth image supplied from (the correction unit 87 of) the signal processing unit 54 to an external device, for example, an upper host device.
  • the output unit 55 can be configured by, for example, a communication interface conforming to MIPI (Mobile Industry Processor Interface).
  • FIG. 6 shows a depth image generated by the distance calculation unit 86 and a guide image obtained by capturing the same measurement range as the depth image with an RGB sensor as an external sensor.
  • the guide image shows three objects 101, 102, and 103.
  • distance information corresponding to the objects 101, 102, and 103 and the other background is represented by gray values.
  • the gray value representing the distance information is represented by, for example, an 8-bit bit value, and the smaller the bit value (closer to black), the closer the distance.
  • the white circles arranged at predetermined intervals in the depth image represent sample points set in the pixel array, that is, multi-pixel MP.
  • the white circle of each multi-pixel MP superimposed on the depth image indicates the position of the sample point for reference, and has nothing to do with the gray value representing the distance information.
  • the description will focus on the predetermined multi-pixel MP1 in the depth image.
  • the thick line shown between the second and third columns from the left corresponds to the boundary of the object 103.
  • Distance information calculated for the multi-pixel MP1 is supplied from the distance calculator 86 to the corrector 87 .
  • the representative position of the distance information at this point is the center position BP of the multi-pixel MP1 set as the initial position.
  • the number of detected photons calculated for each column of the multi-pixel MP1 is supplied from the predetermined recording section 82 i to the correction section 87 .
  • the columns of the multi-pixel MP1 are the first column, the second column, .
  • the column is "5" and the fourth to ninth columns are "0".
  • the correction unit 87 corrects the representative position of the multi-pixel MP1 from the position BP to the position BP' based on the number of detected photons in each column of the multi-pixel MP1. That is, the correction unit 87 sets the representative position of the multi-pixel MP1 to the position BP of the column (that is, the second column) having the largest number of detected photons among the number of detected photons in units of columns supplied from the predetermined recording unit 82i . ' to correct. Since the spatial coordinates of the multi-pixel MP1 are corrected based on the number of photons detected per column, the only coordinates to be corrected are the x-coordinates corresponding to the columns of the pixel array.
  • the correction unit 87 may correct the representative position of the multi-pixel MP1 by another method using the number of detected photons.
  • the correction unit 87 may set the weighted average position weighted by the number of photons detected per column of the multi-pixel MP1 as the representative position of the multi-pixel MP1.
  • the correction unit 87 may approximate the number of detected photons per column of the multi-pixel MP1 with a predetermined function, and set the position where the number of detected photons in the approximation function is the largest as the representative position of the multi-pixel MP1. For example, the position where the number of detected photons is maximized by parabola fitting is set as the representative position of the multi-pixel MP1.
  • the correction unit 87 may use the Meanshift method for the number of detected photons in units of columns, and set the position where the number of detected photons within a certain range is maximum as the representative position of the multi-pixel MP1.
  • the correction unit 87 may set a position obtained by adding a predetermined offset amount to the corrected position based on the number of detected photons as the final corrected position.
  • the moving direction of the offset amount is the extension direction of the correction position based on the number of detected photons from the position before correction.
  • first distance measurement process The distance measurement process (first distance measurement process) according to the first embodiment of the distance measurement system 1 will be described with reference to the flowchart of FIG. This processing is started, for example, when an instruction to start measurement is given from a higher-level host device or the like.
  • the illumination device 11 emits pulsed light. More specifically, the control unit 51 of the distance measuring device 12 determines the light emission conditions and supplies the determined light emission conditions and the light emission trigger to the light emission control unit 31 of the lighting device 11 . The lighting device 11 emits pulsed light based on the light emission conditions and the light emission trigger from the controller 51 .
  • step S ⁇ b>12 the light receiving unit 53 of the distance measuring device 12 detects the pulsed light (reflected light) that is emitted from the illumination device 11 as illumination light and reflected back by the object 13 . More specifically, the control unit 51 determines a plurality of sample points (multi-pixels) for the pixel array of the light receiving unit 53, and generates active pixel control information for making each pixel determined as the sample point an active pixel. It is supplied to the pixel driving section 52 . The pixel driving unit 52 drives the active pixels of the light receiving unit 53. When the incident photons are detected in the active pixels, a detection signal indicating that the photons have been detected is output as a pixel signal through the multiplexer 80. is output to the TDC 81 i of
  • step S13 the TDC 81 i corresponds to the flight time from when the light emitting unit 32 emits pulsed light to when the active pixels receive the reflected light, based on the pixel signals sequentially supplied from each pixel in the corresponding column. Generates a digital count value that The generated count value is supplied to the corresponding recording unit 82i .
  • step S14 the recording unit 82 i supplies the digital count value supplied from the corresponding TDC 81 i to the multiplexer 83 and records the number of detected photons based on the supplied count value.
  • the count value supplied to the multiplexer 83 is supplied to the histogram generation section 84i corresponding to the recording section 82i .
  • step S15 the histogram generation unit 84 i creates a histogram of count values for a predetermined multi-pixel based on the count values supplied from the corresponding recording unit 82 i through the multiplexer 83 .
  • step S16 the control unit 51 determines whether or not one frame period has passed. If it is determined that one frame period has not yet elapsed, the process returns to step S11, and the processes of steps S11 to S16 described above are repeated. As a result, the emission of the irradiation light and the reception of the reflected light are repeated a predetermined number of times, and the histogram data is updated.
  • step S16 if it is determined in step S16 that one frame period has elapsed, the process proceeds to step S17, and each of the recording units 82 1 to 82 Q supplies the recorded number of detected photons in units of columns to the correction unit 87. . Also, in step S17, the histogram generator 84i supplies the generated histogram data to the corresponding peak detector 85i .
  • step S18 the peak detector 85i detects the peak of the histogram based on the histogram data supplied from the corresponding histogram generator 84i .
  • the peak detector 85 i supplies the count value corresponding to the detected histogram peak to the distance calculator 86 .
  • the distance calculator 86 generates a depth image from the peak detection results of the peak detectors 851 to 83Q . Specifically, the distance calculator 86 calculates the flight time from the count value corresponding to the peak, and further calculates the distance to the subject from the calculated flight time. Then, the distance calculation unit 86 generates a depth image in which the spatial coordinates (x-coordinate and y-coordinate) of the sample points are associated with the calculated distance, and supplies the depth image to the correction unit 87 .
  • the spatial coordinates of the sample points at this point are the center positions of the multi-pixels set as the initial positions.
  • step S20 the correction unit 87 corrects the spatial coordinates of the sample points (multi-pixels) of the depth image based on the number of detected photons in units of columns supplied from the recording units 821 to 82Q . More specifically, the correction unit 87 corrects the coordinates to the position of the row with the largest number of detected photons among the number of detected photons per row constituting the multi-pixel.
  • step S21 the correction unit 87 outputs the depth image to the output unit 55 with the corrected spatial coordinates.
  • the output unit 55 outputs the depth image supplied from the correction unit 87 to an external device.
  • the first ranging process described above it is possible to correct the spatial coordinates of the multi-pixels, which are sample points, based on the luminance value (the number of detected photons) detected by the pixel array.
  • the acquired coordinate position of the subject from which the distance information is acquired can be output with higher accuracy. Identification of subject coordinates is important in subsequent applications that increase the density of acquired signals (distance information). By outputting the acquired coordinate position of the distance information with higher accuracy, it is possible to efficiently increase the density and resolution of the sparse acquired signals in the subsequent application.
  • step S20 the number of detected photons supplied from each of the recording units 82 1 to 82 Q may be filtered before performing correction processing of the spatial coordinates based on the number of detected photons per column.
  • filtering processing for example, an average filter, a Gaussian filter, a median filter, or the like can be employed. Thereby, noise tolerance can be improved.
  • the correction unit 87 corrects only the spatial coordinates of the sample points (multi-pixels) and does not correct the distance information. can also be corrected.
  • the distance can be obtained by the principle of triangulation shown in FIG.
  • the correction unit 87 may generate and output a depth image in which the distance calculated based on the position of the spotlight is replaced with the corrected distance.
  • the distance calculated by the distance calculator 86 and the distance calculated based on the position of the spotlight may be ⁇ -blended with a predetermined coefficient ⁇ 1 (0 ⁇ 1 ⁇ 1) to output the distance. good. Since the distance resolution of the direct ToF method is determined by the bin width of the histogram, the distance resolution is higher with triangulation than with the direct ToF method at short distances. By adopting the distance calculated by the principle of triangulation, it is possible to improve the distance resolution for short distances.
  • the TDC 81 is arranged in correspondence with the column direction of the pixel array, and the pixels arranged in the same column share the TDC 81.
  • the TDC 81 counts the number of detected photons obtained by dividing the sample points (multi-pixels) into columns with the division unit being column units, so the coordinates corrected by the correction processing are x coordinates.
  • the TDC 81 in the row direction of the pixel array and share the TDC 81 with each pixel arranged in the same row.
  • the TDC 81 counts the number of detected photons obtained by dividing the sample points (multi-pixels) into rows, with the division unit being row units. coordinates.
  • the multiplexer 80 is controlled so that the pixel signals of each pixel in multiple rows or multiple columns, such as 2 ⁇ 4 pixels, are output to the same TDC 81.
  • the multiplexer 80 is controlled so that the pixel signals of each pixel in multiple rows or multiple columns, such as 2 ⁇ 4 pixels, are output to the same TDC 81.
  • FIG. 9 is a block diagram showing a detailed configuration example of the second embodiment of the distance measuring system 1. As shown in FIG.
  • FIG. 9 the same reference numerals are given to the parts corresponding to those of the first embodiment described in FIG. 5, and the description of those parts will be omitted as appropriate, and the description will focus on the different parts.
  • the second embodiment of FIG. 9 differs from the above-described first embodiment in that an external sensor 141 is newly added. Further, in the distance measuring device 12, the correction section 87 of the first embodiment is replaced with a correction section 87A. Other configurations of the second embodiment are similar to those of the first embodiment shown in FIG.
  • the external sensor 141 can be, for example, an RGB sensor or a monochrome sensor that receives light in the visible light wavelength band.
  • the external sensor 141 may be, for example, an NIR sensor that receives light in the NIR (near infrared) wavelength band, or may be a sensor that receives light in other wavelength bands.
  • the light receiving range of the external sensor 141 is adjusted to be the same as the ranging range of the ranging device 12 .
  • the external sensor 141 is a monochrome sensor.
  • the monochrome sensor as the external sensor 141 generates a monochrome image of the same imaging range as the ranging range of the ranging device 12 at a predetermined frame rate, and outputs it to the ranging device 12 .
  • a monochrome image from the external sensor 141 is supplied to the correction section 87A via an input section (not shown) of the distance measuring device 12 .
  • the external sensor 141 can generate at least one monochrome image in one frame period in which the distance measuring device 12 generates one depth image.
  • the correction unit 87A corrects the spatial coordinates of multi-pixels, which are sample points in the pixel array, based on the luminance value of the monochrome image supplied from the external sensor 141.
  • the correction unit 87 corrects the spatial coordinates of the multi-pixels based on the number of detected photons supplied from the recording units 82 1 to 82 Q , respectively.
  • the correction unit 87A of is different in that it corrects the spatial coordinates of the multi-pixel using the luminance value detected by the external sensor 141 instead of the number of detected photons.
  • the correction process can be performed in the same manner as for the number of detected photons in the first embodiment. Both can be corrected.
  • the correction unit 87A uses both the luminance value of the monochrome image supplied from the external sensor 141 and the number of detected photons supplied from each of the recording units 821 to 82Q to obtain multi-pixel data as sample points. Spatial coordinates can also be corrected. Specifically, the correction unit 87A performs ⁇ -blending of the corrected coordinates based on the luminance value of the monochrome image and the corrected coordinates based on the number of detected photons with a predetermined coefficient ⁇ 2 (0 ⁇ 2 ⁇ 1). You may output the corrected coordinate which carried out as a representative position of the multi-pixel after correction
  • the correction unit 87A may use the luminance value of the monochrome image as auxiliary information that considers the influence of the reflectance difference of the subject. Specifically, the correction unit 87A divides the number of photons detected from each recording unit 82i by the luminance value of the monochrome image, thereby normalizing the number of detected photons (normalized number of detected photons). to correct multi-pixel spatial coordinates. In this case, the spatial coordinates can be corrected by the number of detected photons corrected for the influence of the reflectance difference of the object.
  • a value obtained by estimating the luminance value in the same wavelength band (IR band) as the light source of the illumination device 11 may be used.
  • the correction unit 87A performs correction based on the luminance value of the monochrome image when the external sensor 141 is connected, and performs correction based on the number of detected photons when the external sensor 141 is not connected.
  • the luminance value that is the basis of the correction process may be appropriately selected depending on the presence or absence of the external sensor 141.
  • the external sensor 141 is a monochrome sensor
  • correction can be performed in the same way when the external sensor 141 is an RGB sensor or an NIR sensor. If the external sensor 141 is an RGB sensor, luminance values converted from RGB values output by the RGB sensor may be used.
  • the correction unit 87A performs ⁇ - blending of the corrected coordinates based on the luminance value of the monochrome image and the corrected coordinates based on the number of detected photons with a predetermined coefficient ⁇ 2.
  • steps S31 to S39 is the same as the processing of steps S11 to S19 of the first distance measurement process in FIG. 7, respectively, so description thereof will be omitted.
  • step S40 the correction unit 87A of the distance measuring device 12 acquires the image captured by the external sensor 141.
  • the correction unit 87A acquires a monochrome image from the external sensor 141, which is a monochrome sensor.
  • the correction unit 87A determines the number of sample points (multi-pixels) of the depth image based on the number of detected photons supplied from each of the recording units 821 to 82Q and the monochrome image supplied from the external sensor 141. Correct spatial coordinates. More specifically, the correction unit 87A performs ⁇ - blending of the corrected coordinates based on the luminance value of the monochrome image and the corrected coordinates based on the number of detected photons with a predetermined coefficient ⁇ 2, and converts the corrected coordinates to the post-correction is a representative position of multi-pixels.
  • the correction processing in step S41 may be performed using only the luminance value of the monochrome image or using the normalized number of detected photons.
  • step S42 the correction unit 87A outputs the depth image with the corrected spatial coordinates.
  • the depth image output from the correct portion 87A is output from the output portion 55 to an external device, and the second distance measurement process ends.
  • the distance information may also be corrected and output based on the luminance value of the monochrome image or the number of detected photons.
  • the second ranging process described above only the luminance value of the image obtained by the external sensor 141 or both the luminance value of the image and the number of detected photons are used to obtain the spatial coordinates of the multi-pixels, which are sample points. can be corrected. As a result, the acquired coordinate position of the subject from which the distance information is acquired can be output with higher accuracy. Identification of subject coordinates is important in subsequent applications that increase the density of acquired signals (distance information). By outputting the acquired coordinate position of the distance information with higher accuracy, it is possible to efficiently increase the density and resolution of the sparse acquired signals in the subsequent application. By also using the information obtained by the external sensor 141, it is possible to achieve high accuracy through sensor fusion.
  • FIG. 11 is a block diagram showing a detailed configuration example of the distance measuring system 1 according to the third embodiment.
  • the correction section 87 of the first embodiment shown in FIG. 5 is replaced with a correction section 87B. Also, the recording units 82-1 to 82Q are omitted, and the outputs of the TDCs 81-1 to 81Q are supplied to the multiplexer 83 as they are. Other configurations of the distance measuring system 1 are the same as those of the first embodiment.
  • the correction unit 87B performs the second correction processing described with reference to FIG. to correct. Since the number of detected photons is not used, the recording sections 82 1 to 82 Q are omitted.
  • correction processing of multi-pixel spatial coordinates by the correction unit 87B will be described with reference to FIG.
  • the guide image and the depth image shown in FIG. 12 are the same as in FIG. 6, so the description is omitted.
  • the description will focus on the predetermined multi-pixel MP2 in the depth image.
  • the first row, the second row, the third row, . . . are called from the top row. ing.
  • the distance information calculated for the multi-pixel MP2 is supplied from the distance calculation unit 86 to the correction unit 87B.
  • the representative position of the distance information at this point is the center position BP of the multi-pixel MP2 set as the initial position.
  • the distance calculated and supplied by the distance calculator 86 for the multi-pixel MP2 is 9 m.
  • the direction parallel to the baseline direction connecting the illumination device 11 and the distance measuring device 12 is the vertical direction (y direction) of the pixel array.
  • the position where the spot light returns in other words, the position in the y direction parallel to the baseline direction is determined according to the distance to the object. For example, as shown in FIG. 12, the position of the second row of the multi-pixel MP2 if the distance is 10 m, the position of the third row of the multi-pixel MP2 if the distance is 9 m, and the distance of 8 m. is determined as the position of the 4th row of the multi-pixel MP2, the position of the 5th row of the multi-pixel MP2 if the distance is 5 m, and so on.
  • the correction unit 87B corrects that the spot light is received at the position of the third row because the distance supplied from the distance calculation unit 86 is 9 m. That is, the correction unit 87B corrects the representative position of the multi-pixel MP2 from the position BP to the position BP' based on the distance information of the multi-pixel MP2. Since the multi-pixel spatial coordinates are corrected in the direction parallel to the baseline direction, the only coordinates to be corrected are the y-coordinates corresponding to the rows of the pixel array.
  • steps S51 to S57 is the same as the processing of steps S11 to S19 in which steps S14 and S17 are omitted in the first distance measurement process of FIG. 7, so description thereof will be omitted. That is, in the same manner as in steps S11 to S19 of the first distance measurement process, except that the recording unit 82 records the number of detected photons and omits the process of supplying them to the correction unit 87B, depth An image is generated.
  • step S58 the correction unit 87B of the distance measuring device 12 corrects the spatial coordinates of the sample points (multi-pixels) of the depth image based on the distance information of the depth image supplied from the distance calculation unit 86. That is, as described with reference to FIG. 12, the spatial coordinates of the sample points are corrected to the positions corresponding to the calculated distances.
  • step S59 the correction unit 87B outputs the depth image with the corrected spatial coordinates.
  • the depth image output from the correction unit 87B is output from the output unit 55 to an external device, and the third distance measurement process ends.
  • the distance information calculated by the distance calculation unit 86 can be used to correct the spatial coordinates of the multi-pixels, which are the sample points.
  • the acquired coordinate position of the subject from which the distance information is acquired can be output with higher accuracy. Identification of subject coordinates is important in subsequent applications that increase the density of acquired signals (distance information). By outputting the acquired coordinate position of the distance information with higher accuracy, it is possible to efficiently increase the density and resolution of the sparse acquired signals in the subsequent application.
  • the illumination device 11 and the distance measurement device 12 are arranged such that the y direction of the pixel array is parallel to the baseline direction connecting the illumination device 11 and the distance measurement device 12, Based on the distance information of the depth image supplied from the distance calculation unit 86, the correction unit 87B corrects the y-coordinate among the spatial coordinates (x-coordinate and y-coordinate) of the sample point (multi-pixel).
  • the correction unit 87B corrects the x-coordinate of the spatial coordinates (x-coordinate and y-coordinate) of the sample point (multi-pixel) based on the distance information of the depth image supplied from the distance calculation unit 86.
  • FIG. 14 is a block diagram showing a detailed configuration example of the fourth embodiment of the distance measuring system 1. As shown in FIG. 14
  • the correction section 87 of the first embodiment shown in FIG. 5 is replaced with a correction section 87C.
  • Other configurations of the distance measuring system 1 are the same as those of the first embodiment.
  • the correction unit 87C performs the multi-pixel spatial coordinate correction processing based on the number of detected photons, which is performed by the correction unit 87 in the first embodiment, and the correction unit 87B in the third embodiment. Both the correction processing of multi-pixel spatial coordinates based on the distance information, which has been executed, are performed.
  • the illumination device 11, the rangefinder 12, and the TDC 81 in the rangefinder 12 are arranged as shown in FIG.
  • the illumination device 11 and the distance measuring device 12 are arranged so that the y direction of the pixel array is parallel to the baseline direction. Also, the TDCs 81 are arranged in the y direction of the pixel array so that the pixel signals of the pixels arranged in the same column of the pixel array are output to the same TDC 81 .
  • the TDC 81 When the TDC 81 is arranged so that the pixel signals of the pixels arranged in the same column of the pixel array are output to the same TDC 81, the x-coordinate corresponding to the column of the pixel array is can be corrected by correction processing. That is, the correction direction using the TDC 81 is the x direction.
  • the illuminating device 11 and the distance measuring device 12 are arranged so that the y direction of the pixel array is parallel to the baseline direction, the y coordinate corresponding to the row of the pixel array is corrected as described with reference to FIG. It can be corrected by processing. That is, the correction direction using the depth value is the y direction.
  • the correction direction (x direction) of the spatial coordinates to be corrected based on the number of detected photons ) and the correction direction (y direction) of the spatial coordinates corrected based on the distance information are orthogonal to each other.
  • FIG. 16 shows an example of multi-pixel spatial coordinate correction processing by the correction unit 87C.
  • the guide image and depth image shown in FIG. 16 are the same as in FIG. 6, so descriptions thereof will be omitted.
  • the thick line shown near the upper right corresponds to the boundary of the object 103.
  • Distance information calculated for the multi-pixel MP3 is supplied from the distance calculation unit 86 to the correction unit 87C.
  • the representative position of the distance information at this point is the center position BP of the multi-pixel MP3 set as the initial position.
  • the distance calculated and supplied by the distance calculator 86 for the multi-pixel MP3 is 10 m.
  • the correction unit 87C corrects the representative position of the multi-pixel MP3 from position BP to position BP'.
  • the correction unit 87C adjusts the x-coordinate of the representative position of the multi-pixel MP3 to the column with the maximum number of detected photons (20). Correct to the position of the third column from the right of pixel MP3.
  • the correction unit 87C corrects the y-coordinate of the representative position of the multi-pixel MP3 to the second row position from the top of the multi-pixel MP3 corresponding to the distance of 10 m. do.
  • the correction unit 87C corrects the correction in the baseline direction and the parallel direction based on the depth value, and corrects the correction in the baseline direction and the orthogonal direction based on the number of detected photons (luminance value). , multi-pixel spatial coordinate correction processing can be efficiently performed for the x and y coordinates.
  • the distance measurement process (fourth distance measurement process) according to the fourth embodiment of the distance measurement system 1 will be described with reference to the flowchart of FIG. 17 .
  • This processing is started, for example, when an instruction to start measurement is given from a higher-level host device or the like.
  • steps S71 to S79 is the same as the processing of steps S11 to S19 of the first distance measurement process in FIG. 7, so description thereof will be omitted. That is, each recording unit 82 supplies the number of detected photons to the correcting unit 87B, and a depth image is generated from the peak detection result of the histogram and supplied to the distance calculating unit 86.
  • FIG. 7 The processing of steps S71 to S79 is the same as the processing of steps S11 to S19 of the first distance measurement process in FIG. 7, so description thereof will be omitted. That is, each recording unit 82 supplies the number of detected photons to the correcting unit 87B, and a depth image is generated from the peak detection result of the histogram and supplied to the distance calculating unit 86.
  • step S80 the correction unit 87C of the distance measuring device 12 calculates the spatial coordinates of the sample points (multi-pixels) of the depth image based on the number of photons detected from each recording unit 82 and the distance information from the distance calculation unit 86. is corrected. Specifically, as described above, the x-coordinate of the representative position of the multi-pixel is corrected based on the number of detected photons, and the y-coordinate of the representative position is corrected based on the distance information of the depth image.
  • step S81 the correction unit 87C outputs the depth image with the corrected spatial coordinates.
  • the depth image output from the correction unit 87C is output from the output unit 55 to an external device, and the fourth distance measurement process ends.
  • the number of detected photons and distance information can be used to correct the spatial coordinates of multi-pixels, which are sample points.
  • the acquired coordinate position of the subject from which the distance information is acquired can be output with higher accuracy. Identification of subject coordinates is important in subsequent applications that increase the density of acquired signals (distance information). By outputting the acquired coordinate position of the distance information with higher accuracy, it is possible to efficiently increase the density and resolution of the sparse acquired signals in the subsequent application.
  • the spatial coordinates of multi-pixels as sample points are determined using at least one of the number of detected photons detected by the ranging device 12 and the distance information. can be corrected. Either one of the number of detected photons or distance information may be used, or both may be used. When both the number of detected photons and the distance information are used, the shared direction of the TDC 81 is made parallel to the baseline direction connecting the illumination device 11 and the distance measuring device 12, thereby correcting the spatial coordinates of the multi-pixel. can be done simultaneously for the x and y coordinates.
  • Correction processing of multi-pixel spatial coordinates can be performed at sub-pixel resolution, and the acquired coordinate position of distance information can be output with higher spatial resolution and higher accuracy.
  • the distance measuring system 1 may be configured to implement only one of the first to fourth embodiments described above, or may be configured to selectively implement all of the first to fourth embodiments. may
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this technique can take the following configurations.
  • a pixel array in which pixels are arranged in a matrix; a recording unit that records the number of detected photons for each division unit obtained by dividing a sample point composed of the plurality of pixels into predetermined division units; a correction unit that corrects a representative position of the spatial coordinates of the distance information of the sample points based on the number of photons detected in each of the plurality of division units.
  • the division unit is a column or a row of the pixel array.
  • the correction unit corrects the representative position to the position of the divisional unit having the largest number of detected photons among the plurality of divisional units constituting the sample point. distance device.
  • the distance measuring device corrects the representative position to a weighted average position weighted by the number of detected photons of the plurality of divisional units constituting the sample point.
  • the correction unit approximates the number of detected photons of the plurality of divided units constituting the sample point with a predetermined approximation function, and corrects the representative position to a position where the number of detected photons is the largest in the approximation function.
  • the correction unit corrects the representative position to a position where the number of detected photons is maximized by using a Meanshift method on the number of detected photons of the plurality of divided units constituting the sample point (1) or (2) ).
  • the correction unit corrects the representative position to a position obtained by adding a predetermined offset amount to the position determined based on the number of detected photons in the division unit. rangefinder. (8) further comprising a distance calculation unit that calculates distance information of the sample point based on the time of flight of the pulsed light detected at the sample point; The distance measuring device according to any one of (1) to (7), wherein the correction unit also corrects the distance information of the sample points. (9) The distance measurement according to (8), wherein the correction unit corrects the distance information of the sample point using a distance calculated based on the light receiving position of the pulsed light within a plurality of pixels forming the sample point. Device.
  • the correction unit corrects the representative position of the spatial coordinates of the distance information of the sample points by using the luminance value of the image captured by the external sensor instead of the number of detected photons for each of the plurality of division units.
  • the distance measuring device according to the above.
  • the correction unit corrects the representative position of the spatial coordinates of the distance information of the sample points using the number of photons detected in each of the plurality of division units and the luminance value of the image captured by the external sensor.
  • a distance measuring device according to any one of 1) to (10).
  • the correction unit uses a value obtained by normalizing the number of photons detected in each of the plurality of division units by the luminance value of an image captured by an external sensor to determine a representative position of the spatial coordinates of the distance information of the sample points.
  • the distance measuring device according to any one of (1) to (11), which is corrected.
  • (13) further comprising a distance calculation unit that calculates distance information of the sample point based on the time of flight of the pulsed light detected at the sample point;
  • the distance measuring device according to any one of (1) to (12) wherein the correction unit further corrects a representative position of the spatial coordinates of the distance information of the sample points based on the distance information of the sample points.
  • a plurality of TDCs for generating a digital count value corresponding to the flight time of the pulsed light based on the pixel signal output from the pixel;
  • the distance measurement according to any one of (13) to (15), wherein the TDC is shared by a plurality of pixels in a direction parallel to a baseline direction connecting the illumination device that emits the pulsed light and the distance measurement device. Device.
  • a ranging device comprising a pixel array in which pixels are arranged in a matrix, Record the number of detected photons for each division unit obtained by dividing the sample point composed of the plurality of pixels into predetermined division units;
  • a signal processing method for a distance measuring device comprising correcting a representative position of spatial coordinates of the distance information of the sample points based on the number of photons detected in each of the plurality of division units.
  • the rangefinder is a pixel array in which pixels that receive the reflected light are arranged in a matrix; a recording unit that records the number of detected photons for each division unit obtained by dividing a sample point composed of the plurality of pixels into predetermined division units; a correction unit that corrects a representative position of the spatial coordinates of the distance information of the sample points based on the number of photons detected in each of the plurality of division units.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技術は、距離情報の取得座標位置を、より高精度に出力できるようにする測距装置およびその信号処理方法、並びに、測距システムに関する。 測距装置は、画素が行列状に配置された画素アレイと、複数の画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録する記録部と、複数の分割単位それぞれの検出光子数に基づいて、サンプル点の距離情報の空間座標の代表位置を補正する補正部とを備える。本技術は、例えば、direct ToF方式により物体までの距離を測定する測距システム等に適用できる。

Description

測距装置およびその信号処理方法、並びに、測距システム
　本技術は、測距装置およびその信号処理方法、並びに、測距システムに関し、特に、距離情報の取得座標位置を、より高精度に出力できるようにした測距装置およびその信号処理方法、並びに、測距システムに関する。
　direct ToF方式のToFセンサ（以下、dToFセンサとも称する。）は、受光用の各画素にSPAD（Single Photon Avalanche Diode）と呼ばれる受光素子を用いて、パルス光が物体で反射された反射光を検出する。dToFセンサは、環境光等によるノイズを抑制するため、パルス光の発光と、その反射光の受光とを所定の回数（例えば、数回ないし数百回）繰り返すことによりパルス光の飛行時間のヒストグラムを生成し、ヒストグラムのピークに対応する飛行時間から、物体までの距離を算出する。
　ヒストグラムを生成するヒストグラム生成部、ヒストグラムのピークを検出するピーク検出部等の演算回路の回路規模は大きいため、それらを全画素分設けることは、現状では難しい。
　また、低反射率または遠方の被写体の測距や、屋外環境などの外光による外乱影響が強い環境での測距などにおいては、SN比が低く、ピーク位置の検出が困難であることが知られている。そのため、発光するパルス光をスポット形状とすることでパルス光の到達距離の拡大、換言すれば、反射光の検出数を増加させることが行われている。スポット形状のパルス光は一般的に疎なパルス光となるため、反射光が検出される画素も、スポット径および照射面積に応じて疎となる。
　上記を鑑みて、SN比向上のためと、疎な反射光検出環境に合わせた効率的な画素駆動による電力削減を目的に、画素アレイの一部の画素のみをアクティブな画素として受光動作を行わせ、隣接する複数画素（マルチピクセルと称する。）を１つの大きな画素とみなして、マルチピクセル単位でヒストグラムを生成することが行われている。
　例えば、特許文献１には、隣接する２×３、３×３、３×６、３×９、６×３、６×６、９×９といった任意の画素数でマルチピクセルを形成し、形成したマルチピクセルの信号を用いてヒストグラムを作成し、測距することで、空間解像度を下げる代わりにSN比を上げる方法が開示されている。
　非特許文献１には、エピポーラ幾何におけるベースライン方向とエピポーラ線との関係が開示されている。
特開２０２０－１１２４４３号公報
Zhengyou Zhang, Determining the Epipolar Geometry and its Uncertainty: A Review, RR-2927,INRIA, 1996, ffinria-00073771f ,"https://hal.inria.fr/inria-00073771/file/RR-2927.pdf"
　マルチピクセルで算出した距離情報の取得位置座標には、例えば、マルチピクセルの中心画素の座標など、予め決定した代表位置が設定される。しかしながら、代表位置とされた取得位置座標が必ずしも正確でない場合があり、空間座標の高い分解能が要求されるアプリケーションへの適応が難しい場合があった。
　本技術は、このような状況に鑑みてなされたものであり、距離情報の取得座標位置を、より高精度に出力できるようにするものである。
　本技術の第１の側面の測距装置は、画素が行列状に配置された画素アレイと、複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録する記録部と、複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する補正部とを備える。
　本技術の第２の側面の測距装置の信号処理方法は、画素が行列状に配置された画素アレイを備える測距装置が、複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録し、複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する。
　本技術の第３の側面の測距システムは、パルス光を照射する照明装置と、前記パルス光が物体で反射された反射光を受光する測距装置とを備え、前記測距装置は、前記反射光を受光する画素が行列状に配置された画素アレイと、複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録する記録部と、複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する補正部とを有する。
　本技術の第１乃至第３の側面においては、画素が行列状に配置された画素アレイの複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数が記録され、複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置が補正される。
　測距装置及び測距システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本開示の測距システムの構成例を示すブロック図である。 本開示の測距システムが対処する問題を説明する図である。 本開示の測距装置が行う第１の補正処理を説明する図である。 本開示の測距装置が行う第２の補正処理を説明する図である。 測距システムの第１の実施形態の詳細構成例を示すブロック図である。 第１の実施形態における空間座標の補正処理を説明する図である。 測距システムの第１の実施形態による第１の測距処理を説明するフローチャートである。 TDC配置と補正座標との関係を説明する図である。 測距システムの第２の実施形態の詳細構成例を示すブロック図である。 測距システムの第２の実施形態による第２の測距処理を説明するフローチャートである。 測距システムの第３の実施形態の詳細構成例を示すブロック図である。 第３の実施形態における空間座標の補正処理を説明する図である。 測距システムの第３の実施形態による第３の測距処理を説明するフローチャートである。 測距システムの第４の実施形態の詳細構成例を示すブロック図である。 第４の実施形態における照明装置および測距装置の配置を説明する図である。 第４の実施形態における空間座標の補正処理を説明する図である。 測距システムの第４の実施形態による第４の測距処理を説明するフローチャートである。
　以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．本開示の測距システム構成例
２．本開示の測距システムが対処する問題
３．測距システムの第１の実施形態
４．補正処理の説明
５．第１の測距処理のフローチャート
６．TDC配置と補正座標との関係
７．測距システムの第２の実施形態
８．第２の測距処理のフローチャート
９．測距システムの第３の実施形態
１０．第３の測距処理のフローチャート
１１．ベースライン方向と補正座標との関係
１２．測距システムの第４の実施形態
１３．第４の測距処理のフローチャート
１４．まとめ
＜１．本開示の測距システム構成例＞
　図１は、本開示の測距システムの構成例を示すブロック図である。
　図１の測距システム１は、例えば、ToF（Time-of-Flight）法を用いて物体１３までの距離を測定して出力するシステムである。ここで、測距システム１は、ToF法のうち、direct ToF方式による測距を行う。direct ToF方式は、照射光としてのパルス光が発光されてから、物体１３でパルス光が反射された反射光を受光するまでのパルス光の飛行時間を直接計測して、物体１３までの距離を算出する方式である。
　この測距システム１は、物体１３等を含む被写体を撮影する外部センサ（不図示）とともに使用することができる。例えば、測距システム１が外部センサとしてのRGBセンサとともに使用される場合、測距システム１は、RGBセンサの撮像範囲と同じ範囲を距離測定範囲に設定し、RGBセンサで捉えられる被写体の距離情報を生成する。
　測距システム１は、照明装置１１と、測距装置１２とを備え、被写体としての所定の物体１３までの距離を計測する。より詳細には、測距システム１は、例えば、上位のホスト装置等から測定の開始が指示されると、１枚（１フレーム）のデプス画像を生成する１フレーム期間に、照射光としてのパルス光の発光と、その反射光の受光とを、所定の回数（例えば、数回ないし数百回）繰り返す。測距システム１は、所定の回数繰り返し実行されるパルス光の発光と、その反射光の受光とに基づいて、パルス光の飛行時間のヒストグラムを生成し、ヒストグラムのピークに対応する飛行時間から、物体１３までの距離を算出する。
　照明装置１１は、測距装置１２から供給される発光条件と発光トリガとに基づいて、パルス光を発光する。パルス光には、例えば、波長が約８５０ｎｍから９４０ｎｍの範囲の赤外光（IR光）を用いることができるが、これに限られない。発光トリガは、例えば、“High（１）”と“Low（０）”の２値からなるパルス波形であり、“High”がパルス光を発光するタイミングを表す。発光条件には、例えば、パルス光を、スポット発光か、または、面発光のどちらの発光方式で発光させるかが含まれる。スポット発光は、円状または楕円状の複数のスポットが所定の規則で規則的に配列された光を発光させる方式である。面発光は、略矩形状の所定のエリア全体を均一輝度で発光する方式である。
　測距装置１２は、測定の開始が指示されると、発光条件を決定し、決定した発光条件と発光トリガを照明装置１１に出力して、照射光としてのパルス光を発光させる。また、測距装置１２は、パルス光が物体１３で反射された反射光を受光することにより、物体１３までの距離を計算し、その結果に基づいてデプス画像を生成して、距離情報として上位のホスト装置等へ出力する。
＜２．本開示の測距システムが対処する問題＞
　測距装置１２は、反射光を受光する受光部に、光電変換素子としてSPAD（Single Photon Avalanche Diode）を備える画素が行列状に２次元配置された画素アレイを有している。
　測距装置１２において、パルス光の飛行時間のヒストグラムを生成するヒストグラム生成部、ヒストグラムのピークを検出するピーク検出部等の演算回路を全画素分設けることは、回路面積の制約から困難である。
　また、低反射率または遠方の被写体の測距や、屋外環境などの外光による外乱影響が強い環境での測距などにおいては、SN比が低く、ピーク位置の検出が困難であることが知られている。
　上記を鑑みて、画素アレイ内の隣接する複数画素（マルチピクセルとも称する。）を１つのサンプル点とみなして、マルチピクセル単位でヒストグラムを生成することが行われている。これにより、ヒストグラム生成部やピーク検出部等の個数は、画素アレイの全画素数よりも少なくて済み、１つのサンプル点を構成するマルチピクセルで信号を積算するためSN比も向上する。
　ここで、測距装置１２が距離情報としてデプス画像を出力する際、例えば、１つのサンプル点の代表位置には、例えば、マルチピクセルの中心位置や左上位置など、事前に決定した所定の位置が設定されて、距離情報の取得座標位置（画素アレイのｘ方向およびｙ方向の画素位置）とされる。
　しかしながら、図２に示されるように、事前に決定した代表位置が、出力される距離情報の取得座標位置として正しくない場合がある。
　図２の例は、３ｘ３からなる９画素で１つのサンプル点（マルチピクセル）を構成し、事前に決定された左上の星印の画素位置を距離情報の取得座標位置として出力する例を示している。このマルチピクセルのヒストグラムには、人の顔領域に相当する距離Ｄ１と、背景に相当する距離Ｄ２の２つのピークがあり、ピーク値がより高い顔領域に相当する距離Ｄ１が、このマルチピクセルの距離情報として出力される。一方で、マルチピクセルの距離情報の取得座標位置は、３ｘ３画素のうちの星印で示される左上の画素位置となるため、背景領域の位置に相当し、距離情報の空間座標としては誤差が発生した状態となる。
　このような距離情報の空間座標の誤差は、例えば、距離情報の高密度化を行うアプリケーションなど、距離情報を利用する後段アプリケーションにおいてしばしば問題となる。そのため、測距装置１２は、距離情報の取得座標位置を補正し、より高精度な空間座標で距離情報を出力できる構成とされている。
　図３および図４を参照して、測距装置１２が行う、距離情報の取得座標位置の補正処理について説明する。
　図３は、測距装置１２が行う第１の補正処理を説明する図である。
　測距装置１２は、サンプル点として設定されたマルチピクセルＭＰで検出された輝度値に基づいて、取得座標位置を補正する。より具体的には、測距装置１２は、初期位置として設定したマルチピクセルＭＰの代表位置Ｃ１を、マルチピクセルＭＰ内で検出された輝度値の大きい補正位置Ｃ２に補正する。図３の左側は、照射光がスポット発光の場合、図３の右側は、照射光が面発光の場合の取得座標位置補正のイメージを示している。図３において、グレイの濃度が濃いほど、照射光の輝度が大きい（明るい）ことを示している。
　図４は、測距装置１２が行う第２の補正処理を説明する図である。
　測距装置１２は、サンプル点として設定されたマルチピクセルＭＰで検出された距離情報（デプス値）に基づいて、取得座標位置を補正する。より具体的には、測距システム１において照明装置１１と測距装置１２の位置関係は固定されており、照明装置１１と測距装置１２の間の距離LD、測距装置１２の焦点距離ｆ等が既知である。測距装置１２においてヒストグラムのピークから距離情報として物体１３までの距離ｄが検出されると、図４に示されるように、三角測量の原理により、画素アレイ中心からの距離ｌｄが計算できる。これにより、測距装置１２は、初期位置として設定した代表位置Ｃ１１から、画素アレイ中心からの距離ｌｄに対応する補正位置Ｃ１２に、取得座標位置を補正する。
　取得した距離に基づいて三角測量の原理により算出できる位置は、エピポーラ幾何におけるエピポーラ線と並行な方向の位置であり、エピポーラ線は、照明装置１１と測距装置１２とを結ぶベースラインによって決定される。図４の例では、照明装置１１と測距装置１２とを結ぶベースライン方向が画素アレイのｘ方向と平行であるとすると、取得した距離に基づいて三角測量の原理により算出できる位置はｘ方向の位置となる。
＜３．測距システムの第１の実施形態＞
　図５は、測距システム１の第１の実施形態の詳細構成例を示すブロック図である。
　照明装置１１は、発光制御部３１と発光部３２とを少なくとも備える。
　発光制御部３１は、例えば、マイクロプロセッサ、LSI、レーザ駆動ドライバ等を含み、測距装置１２の制御部５１から供給される発光条件に基づいて、パルス光をスポット発光で発光させるか、または、面発光で発光させるかを制御する。発光制御部３１は、発光条件に基づいて、スポット光の大きさや、発光位置、発光エリア等を制御することもできる。また、発光制御部３１は、測距装置１２の制御部５１から供給される発光トリガに従い、発光をオンオフさせる。
　発光部３２は、例えば、VCSEL（Vertical Cavity Surface Emitting Laser：垂直共振器面発光レーザ）を平面状に複数配列したVCSELアレイを光源として有している。発光部３２の各VCSELは、発光制御部３１の制御にしたがい、発光のオンオフを行う。
　測距装置１２は、制御部５１、画素駆動部５２、受光部５３、信号処理部５４、および、出力部５５を備える。信号処理部５４は、マルチプレクサ８０、TDC８１１ないし８１Q、記録部８２１ないし８２Q、マルチプレクサ８３、ヒストグラム生成部８４１ないし８４Q、ピーク検出部８５１ないし８５Q、距離演算部８６、および、補正部８７を有している。信号処理部５４は、例えば、FPGA（FieldProgrammableGateArray）、DSP（DigitalSignalProcessor）、ロジック回路などで構成することができる。
　信号処理部５４には、TDC８１、記録部８２、ヒストグラム生成部８４、および、ピーク検出部８５のそれぞれがQ個（Q＞１）ずつ設けられており、信号処理部５４はQ個のヒストグラムを生成できる構成とされている。このQの値は、受光部５３に設定可能なサンプル点の最大数に対応し、受光部５３の画素アレイの全画素数よりも少なく、画素アレイの列数または行数と同一またはそれより大きい値であるとする。サンプル点は、１画素または複数画素で構成することができるが、本実施形態では、上述したようにSN比を向上させるため、複数画素、すなわちマルチピクセルで構成されるものとする。サンプル点の代表位置の初期位置には、例えば、マルチピクセルの中心位置が設定される。
　制御部５１は、例えば、FPGA（FieldProgrammableGateArray）、DSP（DigitalSignalProcessor）、マイクロプロセッサ等により構成され、測定の開始が指示されると、発光条件を決定して、決定した発光条件と発光トリガを照明装置１１の発光制御部３１に供給する。図５では信号線が省略されているが、発光トリガは、飛行時間のカウント開始のタイミング通知として、信号処理部５４にも供給される。
　また、制御部５１は、決定した発光条件、例えばスポット光の発光位置等に対応して、受光部５３に複数のサンプル点（マルチピクセル）を決定する。制御部５１は、サンプル点に決定された受光部５３の各画素をアクティブ画素とするアクティブ画素制御情報を画素駆動部５２へ供給する。アクティブ画素とは、光子の入射を検出する画素である。光子の入射を検出しない画素は、非アクティブ画素と称する。
　さらに、制御部５１は、受光部５３のマルチピクセルの構成単位を示す情報を、マルチピクセル制御情報として、信号処理部５４のマルチプレクサ８０および８３に供給する。
　画素駆動部５２は、制御部５１から供給されるアクティブ画素制御情報に基づいて、アクティブ画素と非アクティブ画素の制御を行う。換言すれば、画素駆動部５２は、受光部５３の各画素の受光動作のオンオフを制御する。
　受光部５３は、画素が行列状に２次元配置された画素アレイを有する。受光部５３の各画素は、光電変換素子としてSPAD（Single Photon Avalanche Diode）を備える。SPADは、光電変換により発生したキャリアを高電界のPN接合領域（増倍領域）で増倍させることで、１個のフォトンを瞬間的に検出する。受光部５３においてアクティブ画素に設定された各画素において、光子の入射が検出されると、光子が検出されたことを示す検出信号が画素信号として信号処理部５４のマルチプレクサ８０へ出力される。
　マルチプレクサ８０は、受光部５３のアクティブ画素から供給される画素信号を、制御部５１からのマルチピクセル制御情報に基づいて、TDC８１１ないし８１Qのいずれかに振り分ける。例えば、マルチプレクサ８０は、画素アレイの列とTDC８１とを１対１に対応させ、同一列の各アクティブ画素の画素信号が同一のTDC８１ｉ（i=１ないしQのいずれか）に供給されるように、受光部５３から出力されてくる画素信号を制御する。
　TDC８１ｉ（i=１ないしQのいずれか）には、マルチプレクサ８０から、対応する列の画素信号が供給される。また、TDC８１ｉには、制御部５１が照明装置１１に出力した発光トリガも供給される。TDC８１ｉは、発光トリガが示す発光タイミングと、各アクティブ画素から供給される画素信号とに基づいて、パルス光の飛行時間に相当するデジタルのカウント値を生成する。生成されたカウント値は、対応する記録部８２ｉに供給される。
　記録部８２ｉは、対応するTDC８１ｉから供給される、飛行時間に相当するデジタルのカウント値をマルチプレクサ８３に供給する。また、記録部８２ｉは、照射光の発光と、その反射光の受光とが所定回数繰り返される１フレーム期間、TDC８１ｉから供給されるカウント値に基づいて、検出された光子数を記録する。記録部８２ｉは、１フレーム期間に対応する発光および受光の終了後、最終的な検出光子数を、補正部８７に供給する。本実施の形態では、TDC８１ｉおよび記録部８２ｉは、画素アレイの列と１対１に設けられるので、補正部８７に供給される検出光子数は、列単位の検出光子数となる。
　マルチプレクサ８３は、記録部８２ｉから供給される飛行時間に相当するデジタルのカウント値を、制御部５１からのマルチピクセル制御情報に基づいて、ヒストグラム生成部８４１ないし８４Qのいずれかに振り分ける。より具体的には、マルチプレクサ８３は、同じマルチピクセルに属する列のカウント値が同一のヒストグラム生成部８４ｉに供給されるように、記録部８２ｉからのカウント値を制御する。
　上述したマルチプレクサ８０が、同じマルチピクセルに属する列方向の複数画素の画素信号を同じTDC８１ｉに出力し、マルチプレクサ８３が、同じマルチピクセルに属する複数行のカウント値を同じヒストグラム生成部８４ｉに出力することにより、１つのヒストグラム生成部８４ｉには、マルチピクセル単位のカウント値が集められる。
　ヒストグラム生成部８４ｉは、マルチプレクサ８３から供給されるカウント値を基に、所定のマルチピクセルについてのカウント値のヒストグラムを作成する。生成されたヒストグラムのデータは、対応するピーク検出部８５ｉに供給される。
　ピーク検出部８５ｉは、ヒストグラム生成部８４ｉから供給されるヒストグラムのデータに基づいて、ヒストグラムのピークを検出する。ピーク検出部８５ｉは、検出されたヒストグラムのピークに対応するカウント値を、距離演算部８６に供給する。
　距離演算部８６は、ピーク検出部８５１ないし８３Qのそれぞれからサンプル点（マルチピクセル）単位で供給される、ヒストグラムのピークに対応するカウント値に基づいて、各サンプル点の飛行時間を算出する。さらに、距離演算部８６は、算出した飛行時間から、被写体までの距離を演算し、演算結果である距離を、サンプル点の空間座標（ｘ座標およびｙ座標）に紐づけたデプス画像を生成する。生成されたデプス画像は、補正部８７に供給される。この時点でのサンプル点の空間座標は、初期位置として設定された、マルチピクセルの中心位置となっている。
　補正部８７には、記録部８２１ないし８２Qそれぞれから、サンプル点を構成するマルチピクセルを列単位に分割した分割単位の検出光子数が供給される。また、補正部８７には、距離演算部８６から、サンプル点の距離情報としてのデプス画像が供給される。
　補正部８７は、サンプル点を構成するマルチピクセルで検出された輝度値に基づいて、サンプル点の空間座標を補正する。より具体的には、補正部８７は、記録部８２１ないし８２Qそれぞれから供給されたマルチピクセルの列単位の検出光子数に基づいて、サンプル点の代表位置を補正する。補正処理の詳細については後述する。
　出力部５５は、信号処理部５４（の補正部８７）から供給されるデプス画像を外部の装置、例えば上位のホスト装置へ出力する。出力部５５は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）に準拠した通信インタフェース等で構成することができる。
＜４．補正処理の説明＞
　図６を参照して、補正部８７による空間座標の補正処理を説明する。
　図６には、距離演算部８６により生成されたデプス画像と、デプス画像と同じ測定範囲を外部センサとしてのRGBセンサで撮影して得られたガイド画像が示されている。
　ガイド画像には、３つの物体１０１、１０２、および１０３が写っている。デプス画像では、物体１０１、１０２、および１０３と、それ以外の背景とに対応する距離情報が、グレイ値で表現されている。デプス画像において、距離情報を表すグレイ値は、例えば、８ビットのビット値で表され、ビット値が小さい（黒色に近い）ほど、距離が近いことを表す。
　なお、デプス画像において所定の間隔で配置されている白色の丸は、画素アレイに設定されたサンプル点、すなわち、マルチピクセルMPを表している。デプス画像に重畳して示した各マルチピクセルMPの白色の丸は、サンプル点の位置を参考として示したものであり、距離情報を表すグレイ値とは関係ない。
　デプス画像内の所定のマルチピクセルMP１に注目して説明する。図６の例では、マルチピクセルMP１は、９ｘ９の８１画素で構成されている。マルチピクセルMP１において、左側から２列目と３列目の間に示される太線は、物体１０３の境界に対応している。
　マルチピクセルMP１について算出された距離情報が、距離演算部８６から補正部８７へ供給される。この時点での距離情報の代表位置は、初期位置として設定された、マルチピクセルMP１の中心の位置BPとなっている。また、マルチピクセルMP１について列単位に算出された検出光子数が、所定の記録部８２ｉから補正部８７に供給される。
　図６の例では、マルチピクセルMP１の各列を、左側から第１列、第２列、・・・とすると、それぞれ、第１列が“１０”、第２列が“２０”、第３列が“５”、第４列ないし第９列が“０”となっている。
　補正部８７は、マルチピクセルMP１の列単位の検出光子数に基づいて、マルチピクセルMP１の代表位置を、位置BPから位置BP’へ補正する。すなわち、補正部８７は、マルチピクセルMP１の代表位置を、所定の記録部８２ｉから供給された列単位の検出光子数のうち、検出光子数が最も多い列（すなわち第２列）の位置BP’に補正する。列単位の検出光子数に基づいてマルチピクセルMP１の空間座標を補正するため、補正される座標は、画素アレイの列に対応するｘ座標のみとなる。
　補正部８７は、検出光子数を用いたその他の方法で、マルチピクセルMP１の代表位置を補正してもよい。
　例えば、補正部８７は、マルチピクセルMP１の列単位の検出光子数で重み付けした重み付け平均の位置を、マルチピクセルMP１の代表位置としてもよい。
　また例えば、補正部８７は、マルチピクセルMP１の列単位の検出光子数を所定の関数で近似し、近似関数において検出光子数が最も多くなる位置を、マルチピクセルMP１の代表位置としてもよい。例えば、パラボラフィッティングにより検出光子数が最大となる位置がマルチピクセルMP１の代表位置とされる。
　また例えば、補正部８７は、列単位の検出光子数にMeanshift法を用いて、一定範囲内の検出光子数が最大となる位置を、マルチピクセルMP１の代表位置としてもよい。
　検出光子数の最大値だけでなく、その他の検出光子数も用いて代表位置を補正することで、ノイズへの頑健性向上とサブピクセル精度の推定結果を得ることができる。
　補正部８７は、検出光子数に基づく補正位置に、予め決定したオフセット量を加えた位置を、最終的な補正後の位置としてもよい。オフセット量の移動方向は、補正前の位置から、検出光子数に基づく補正位置の延長方向である。図６の例のように、検出光子数に基づく補正位置が物体境界の近傍であるような場合に、所定のオフセット量を加えることで、物体境界を避けた位置に補正後の位置を設定することができる。これにより、アップサンプリングに適した空間座標を得ることができる。
＜５．第１の測距処理のフローチャート＞
　図７のフローチャートを参照して、測距システム１の第１の実施形態による測距処理（第１の測距処理）について説明する。この処理は、例えば、上位のホスト装置等から測定の開始が指示されたとき開始される。
　初めに、ステップＳ１１において、照明装置１１は、パルス光を発光する。より具体的には、測距装置１２の制御部５１は、発光条件を決定して、決定した発光条件と発光トリガを照明装置１１の発光制御部３１に供給する。照明装置１１は、制御部５１からの発光条件と発光トリガに基づいて、パルス光を発光する。
　ステップＳ１２において、測距装置１２の受光部５３は、照明装置１１から照射光として発光され、物体１３で反射されて戻ってきたパルス光（反射光）を検出する。より具体的には、制御部５１は、受光部５３の画素アレイに対して複数のサンプル点（マルチピクセル）を決定し、サンプル点に決定された各画素をアクティブ画素とするアクティブ画素制御情報を画素駆動部５２へ供給する。画素駆動部５２は、受光部５３のアクティブ画素を駆動し、アクティブ画素において、光子の入射が検出されると、光子が検出されたことを示す検出信号が、画素信号としてマルチプレクサ８０を介して所定のTDC８１ｉへ出力される。
　ステップＳ１３において、TDC８１ｉは、対応する列の各画素から順次供給される画素信号に基づいて、発光部３２がパルス光を発光してからアクティブ画素が反射光を受光するまでの飛行時間に相当するデジタルのカウント値を生成する。生成されたカウント値は、対応する記録部８２ｉに供給される。
　ステップＳ１４において、記録部８２ｉは、対応するTDC８１ｉから供給されたデジタルのカウント値をマルチプレクサ８３に供給するとともに、供給されたカウント値に基づいて検出光子数を記録する。マルチプレクサ８３に供給されたカウント値は、記録部８２ｉに対応するヒストグラム生成部８４ｉへ供給される。
　ステップＳ１５において、ヒストグラム生成部８４ｉは、対応する記録部８２ｉからマルチプレクサ８３を介して供給されるカウント値を基に、所定のマルチピクセルについてのカウント値のヒストグラムを作成する。
　ステップＳ１６において、制御部５１は、１フレーム期間が経過したか否かを判定する。１フレーム期間がまだ経過していないと判定された場合、処理はステップＳ１１へ戻り、上述したステップＳ１１ないしＳ１６の処理が繰り返される。これにより、照射光の発光と、その反射光の受光とが、所定回数繰り返され、ヒストグラムのデータが更新される。
　そして、ステップＳ１６で、１フレーム期間が経過したと判定された場合、処理はステップＳ１７に進み、記録部８２１ないし８２Qそれぞれは、記録した列単位の検出光子数を補正部８７に供給する。また、ステップＳ１７において、ヒストグラム生成部８４ｉは、生成したヒストグラムのデータを、対応するピーク検出部８５ｉに供給する。
　ステップＳ１８において、ピーク検出部８５ｉは、対応するヒストグラム生成部８４ｉから供給されたヒストグラムのデータに基づいて、ヒストグラムのピークを検出する。ピーク検出部８５ｉは、検出されたヒストグラムのピークに対応するカウント値を、距離演算部８６に供給する。
　ステップＳ１９において、距離演算部８６は、ピーク検出部８５１ないし８３Qのそれぞれのピーク検出結果から、デプス画像を生成する。具体的には、距離演算部８６は、ピークに対応するカウント値から飛行時間を算出し、さらに、算出した飛行時間から、被写体までの距離を演算する。そして、距離演算部８６は、サンプル点の空間座標（ｘ座標およびｙ座標）と、算出した距離とを紐づけたデプス画像を生成し、補正部８７に供給する。この時点でのサンプル点の空間座標は、初期位置として設定された、マルチピクセルの中心位置となっている。
　ステップＳ２０において、補正部８７は、記録部８２１ないし８２Qそれぞれから供給された列単位の検出光子数に基づいて、デプス画像のサンプル点（マルチピクセル）の空間座標を補正する。より具体的には、補正部８７は、マルチピクセルを構成する列単位の検出光子数のうち、検出光子数が最も多い列の位置に座標を補正する。
　ステップＳ２１において、補正部８７は、補正後の空間座標でデプス画像を出力部５５へ出力する。出力部５５は、補正部８７から供給されたデプス画像を外部の装置へ出力する。
　以上の第１の測距処理によれば、画素アレイで検出された輝度値（検出光子数）に基づいて、サンプル点であるマルチピクセルの空間座標を補正することができる。これにより、距離情報を取得した被写体の取得座標位置を、より高精度に出力することができる。被写体座標の特定は、取得信号（距離情報）の高密度化などを行う後段アプリケーションにおいて重要となる。距離情報の取得座標位置を、より高精度に出力できることにより、後段アプリケーションにおいて、疎な取得信号の効率的な高密度化や高解像度化を実現することができる。
＜第１の測距処理の変形例＞
　上述したステップＳ２０において、列単位の検出光子数に基づく空間座標の補正処理を行う前に、記録部８２１ないし８２Qそれぞれから供給された列単位の検出光子数のフィルタリングを行ってもよい。フィルタリングの処理としては、例えば、平均フィルタ、ガウシアンフィルタ、メジアンフィルタなどを採用することができる。これにより、ノイズ耐性を向上させることができる。
　上述した第１の測距処理では、補正部８７は、サンプル点（マルチピクセル）の空間座標のみを補正し、距離情報については補正しなかったが、列単位の検出光子数に基づいて距離情報も補正してもよい。
　具体的には、スポット光の位置が分かれば、図４の三角測量の原理により距離を求めることができる。補正部８７は、スポット光の位置に基づいて計算される距離を、補正後の距離として置き換えたデプス画像を生成して、出力してもよい。あるいはまた、距離演算部８６で算出された距離と、スポット光の位置に基づいて計算された距離とを所定の係数α１（０＜α１＜１）でαブレンディングした距離を出力してもよい。direct ToF方式の距離分解能はヒストグラムのビン幅で決定されるため、近距離においてはdirect ToF方式よりも三角測量による演算の方が、距離分解能が高くなる。三角測量の原理により算出した距離を採用することにより、近距離の距離分解能を向上させることができる。
＜６．TDC配置と補正座標との関係＞
　上述した第１の実施形態の説明では、図８のAに示されるように、画素アレイの列方向に対応してTDC８１を配置し、同一列に配列された各画素でTDC８１が共有された。この場合、TDC８１は、分割単位を列単位として、サンプル点（マルチピクセル）を列単位に分割した検出光子数をカウントするため、補正処理により補正される座標は、画素アレイの列に対応するｘ座標となる。
　これに対して、図８のBに示されるように、画素アレイの行方向に対してTDC８１を配置し、同一行に配列された各画素でTDC８１を共有する構成も取り得る。この場合、TDC８１は、分割単位を行単位として、サンプル点（マルチピクセル）を行単位に分割した検出光子数をカウントするので、補正処理により補正される座標は、画素アレイの行に対応するｙ座標となる。
　さらに、図８のAおよびＢのいずれのTDC配置においても、マルチプレクサ８０の制御により、例えば、２ｘ４画素のような複数行または複数列の各画素の画素信号が同一のTDC８１に出力されるように制御することで、図３で説明したようなｘ座標およびｙ座標の両方を補正することもできる。
＜７．測距システムの第２の実施形態＞
　図９は、測距システム１の第２の実施形態の詳細構成例を示すブロック図である。
　図９において、図５で説明した第１の実施形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、異なる部分に注目して説明する。
　図９の第２の実施形態においては、外部センサ１４１が新たに追加されている点が、上述した第１の実施形態と異なる。また、測距装置１２においては、第１の実施形態の補正部８７が、補正部８７Aに置き換えられている。第２の実施形態のその他の構成は、図５に示した第１の実施形態と同様である。
　外部センサ１４１は、例えば、可視光波長帯域の光を受光するRGBセンサまたはモノクロセンサとすることができる。あるいはまた、外部センサ１４１は、例えば、NIR（近赤外）の波長帯域の光を受光するNIRセンサであってもよいし、その他の波長帯域の光を受光するセンサであってもよい。外部センサ１４１の受光範囲は、測距装置１２の測距範囲と同じに調整される。
　以下の説明では、外部センサ１４１がモノクロセンサであるものとして説明する。
　外部センサ１４１としてのモノクロセンサは、所定のフレームレートで測距装置１２の測距範囲と同じ撮影範囲のモノクロ画像を生成し、測距装置１２へ出力する。外部センサ１４１からのモノクロ画像は、測距装置１２の入力部（不図示）を介して補正部８７Aに供給される。外部センサ１４１は、測距装置１２が１枚のデプス画像を生成する１フレーム期間に少なくとも１枚のモノクロ画像を生成することができる。
　補正部８７Aは、外部センサ１４１から供給されるモノクロ画像の輝度値を基に、画素アレイ内のサンプル点であるマルチピクセルの空間座標を補正する。
　すなわち、上述した第１の実施形態では、補正部８７は、記録部８２１ないし８２Qそれぞれから供給される検出光子数を基に、マルチピクセルの空間座標を補正したが、第２の実施形態の補正部８７Aは、検出光子数の代わりに、外部センサ１４１が検出した輝度値を用いてマルチピクセルの空間座標を補正する点が異なる。補正処理は、第１の実施形態における検出光子数と同様に行うことができるが、モノクロ画像の輝度値は、図８で説明したようなTDC８１の配置に関係しないため、ｘ座標とｙ座標の両方を補正することができる。
　あるいはまた、補正部８７Aは、外部センサ１４１から供給されるモノクロ画像の輝度値と、記録部８２１ないし８２Qそれぞれから供給される検出光子数の両方を用いて、サンプル点としてのマルチピクセルの空間座標を補正することもできる。具体的には、補正部８７Aは、モノクロ画像の輝度値を基にした補正座標と、検出光子数を基にした補正座標とを所定の係数α２（０＜α２＜１）でαブレンディングした補正座標を、補正後のマルチピクセルの代表位置として出力してもよい。
　補正部８７Aは、モノクロ画像の輝度値を、被写体の反射率差の影響を考慮する補助情報として用いてもよい。具体的には、補正部８７Aは、各記録部８２ｉからの検出光子数を、モノクロ画像の輝度値で除算することにより、検出光子数を正規化した値（正規化検出光子数）を用いて、マルチピクセルの空間座標を補正する。この場合、被写体の反射率差の影響を補正した検出光子数により、空間座標を補正することができる。
　なお、正規化する際、モノクロ画像の輝度値をそのまま用いるのではなく、照明装置１１の光源と同じ波長帯域（IR帯域）の輝度値を推定した値を用いてもよい。
　また、補正部８７Aは、外部センサ１４１が接続されている場合には、モノクロ画像の輝度値に基づいて補正し、外部センサ１４１が接続されていない場合には、検出光子数に基づいて補正するように、外部センサ１４１の有無により、補正処理の基となる輝度値を適宜選択してもよい。
　外部センサ１４１がモノクロセンサである場合について説明したが、外部センサ１４１がRGBセンサやNIRセンサである場合にも同様に補正することができる。外部センサ１４１がRGBセンサである場合、RGBセンサが出力するRGB値から変換した輝度値を用いればよい。
＜８．第２の測距処理のフローチャート＞
　図１０のフローチャートを参照して、測距システム１の第２の実施形態による測距処理（第２の測距処理）について説明する。この処理は、例えば、上位のホスト装置等から測定の開始が指示されたとき開始される。
　図１０の第２の測距処理では、補正部８７Aが、モノクロ画像の輝度値を基にした補正座標と、検出光子数を基にした補正座標とを所定の係数α２でαブレンディングした補正座標を、補正後のマルチピクセルの代表位置として出力する例について説明する。
　ステップＳ３１ないしＳ３９の処理は、図７の第１の測距処理のステップＳ１１ないしＳ１９の処理と、それぞれ同様であるので、説明は省略する。
　ステップＳ４０において、測距装置１２の補正部８７Aは、外部センサ１４１で撮影された画像を取得する。本実施形態では、補正部８７Aは、モノクロセンサである外部センサ１４１から、モノクロ画像を取得する。
　ステップＳ４１において、補正部８７Aは、記録部８２１ないし８２Qそれぞれから供給された検出光子数と、外部センサ１４１から供給されたモノクロ画像とに基づいて、デプス画像のサンプル点（マルチピクセル）の空間座標を補正する。より具体的には、補正部８７Aは、モノクロ画像の輝度値を基にした補正座標と、検出光子数を基にした補正座標とを所定の係数α２でαブレンディングした補正座標を、補正後のマルチピクセルの代表位置とする。
　なお、上述したように、ステップＳ４１の補正処理を、モノクロ画像の輝度値のみを用いたり、正規化検出光子数を用いて行ってもよい。
　ステップＳ４２において、補正部８７Aは、補正後の空間座標でデプス画像を出力する。正部８７Aから出力されたデプス画像は、出力部５５から外部の装置へ出力され、第２の測距処理が終了する。第１の測距処理の変形例と同様に、モノクロ画像の輝度値または検出光子数に基づいて距離情報も補正して出力してもよい。
　以上の第２の測距処理によれば、外部センサ１４１で得られた画像の輝度値のみ、または、画像の輝度値と検出光子数の両方を用いて、サンプル点であるマルチピクセルの空間座標を補正することができる。これにより、距離情報を取得した被写体の取得座標位置を、より高精度に出力することができる。被写体座標の特定は、取得信号（距離情報）の高密度化などを行う後段アプリケーションにおいて重要となる。距離情報の取得座標位置を、より高精度に出力できることにより、後段アプリケーションにおいて、疎な取得信号の効率的な高密度化や高解像度化を実現することができる。外部センサ１４１で得られる情報も用いることによりセンサヒュージョンによる高精度化を実現することができる。
＜９．測距システムの第３の実施形態＞
　図１１は、測距システム１の第３の実施形態の詳細構成例を示すブロック図である。
　図１１においても、図５で説明した第１の実施形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、異なる部分に注目して説明する。
　図１１の第３の実施形態においては、図５に示した第１の実施形態の補正部８７が、補正部８７Bに置き換えられている。また、記録部８２１ないし８２Qが省略され、TDC８１１ないし８１Qの出力が、そのままマルチプレクサ８３へ供給されている。測距システム１のその他の構成は、第１の実施形態と同様である。
　第２の実施形態に係る補正部８７Bは、図４を参照して説明した第２の補正処理、すなわち、マルチピクセルで検出された距離情報（デプス値）を用いた補正により、取得座標位置を補正する。検出光子数は利用しないため、記録部８２１ないし８２Qが省略されている。
　図１２を参照して、補正部８７Bによる、マルチピクセルの空間座標の補正処理について説明する。
　図１２に示されるガイド画像およびデプス画像については、図６と同様であるので、説明は省略する。
　デプス画像内の所定のマルチピクセルMP２に注目して説明する。マルチピクセルMP２は、９ｘ９の８１画素で構成されている。マルチピクセルMP２において、一番上の行から第１行、第２行、第３行、・・・と呼ぶことにすると、第３行の上下に示される太線は、物体１０２の境界に対応している。
　補正部８７Bには、マルチピクセルMP２について算出された距離情報が、距離演算部８６から供給される。この時点での距離情報の代表位置は、初期位置として設定された、マルチピクセルMP２の中心の位置BPとなっている。ここで、マルチピクセルMP２について距離演算部８６で算出されて供給された距離が９ｍであるとする。
　照明装置１１と測距装置１２とを結ぶベースライン方向と並行な方向が、画素アレイの縦方向（ｙ方向）であるとする。
　図４を参照して説明した三角測量の原理により、物体までの距離に応じて、スポット光が戻ってくる位置、換言すれば、ベースライン方向と並行なｙ方向の位置が決まる。例えば、図１２に示されるように、距離が１０ｍである場合はマルチピクセルMP２の第２行の位置、距離が９ｍである場合はマルチピクセルMP２の第３行の位置、距離が８ｍである場合はマルチピクセルMP２の第４行の位置、距離が５ｍである場合はマルチピクセルMP２の第５行の位置、・・のように決定される。
　補正部８７Bは、マルチピクセルMP２について、距離演算部８６から供給された距離が９ｍであるので、スポット光が第３行の位置で受光されたと補正する。すなわち、補正部８７Bは、マルチピクセルMP２の距離情報に基づいて、マルチピクセルMP２の代表位置を、位置BPから位置BP’へ補正する。ベースライン方向と並行な方向についてマルチピクセルの空間座標を補正するため、補正される座標は、画素アレイの行に対応するｙ座標のみとなる。
＜１０．第３の測距処理のフローチャート＞
　図１３のフローチャートを参照して、測距システム１の第３の実施形態による測距処理（第３の測距処理）について説明する。この処理は、例えば、上位のホスト装置等から測定の開始が指示されたとき開始される。
　ステップＳ５１ないしＳ５７の処理は、図７の第１の測距処理においてステップＳ１４およびＳ１７を省略したステップＳ１１ないしＳ１９の処理と同様であるので、説明は省略する。すなわち、各記録部８２が検出光子数を記録し、補正部８７Bへ供給する処理が省略される以外、第１の測距処理のステップＳ１１ないしＳ１９と同様に、ヒストグラムのピーク検出結果から、デプス画像が生成される。
　ステップＳ５８において、測距装置１２の補正部８７Bは、距離演算部８６から供給されたデプス画像の距離情報に基づいて、デプス画像のサンプル点（マルチピクセル）の空間座標を補正する。すなわち、図１２を参照して説明したように、算出された距離に対応する位置にサンプル点の空間座標が補正される。
　ステップＳ５９において、補正部８７Bは、補正後の空間座標でデプス画像を出力する。補正部８７Bから出力されたデプス画像は、出力部５５から外部の装置へ出力され、第３の測距処理が終了する。
　以上の第３の測距処理によれば、距離演算部８６で演算された距離情報を用いて、サンプル点であるマルチピクセルの空間座標を補正することができる。これにより、距離情報を取得した被写体の取得座標位置を、より高精度に出力することができる。被写体座標の特定は、取得信号（距離情報）の高密度化などを行う後段アプリケーションにおいて重要となる。距離情報の取得座標位置を、より高精度に出力できることにより、後段アプリケーションにおいて、疎な取得信号の効率的な高密度化や高解像度化を実現することができる。
＜１１．ベースライン方向と補正座標との関係＞
　上述した第３の実施形態の説明では、画素アレイのｙ方向が、照明装置１１と測距装置１２とを結ぶベースライン方向と並行となるように照明装置１１および測距装置１２を配置し、補正部８７Bが、距離演算部８６から供給されたデプス画像の距離情報に基づいて、サンプル点（マルチピクセル）の空間座標（ｘ座標およびｙ座標）のうちのｙ座標を補正した。
　これに対して、画素アレイのｘ方向が、ベースライン方向と並行となるように照明装置１１および測距装置１２を配置する構成も取り得る。この場合、補正部８７Bは、距離演算部８６から供給されたデプス画像の距離情報に基づいて、サンプル点（マルチピクセル）の空間座標（ｘ座標およびｙ座標）のうちのｘ座標を補正する。
＜１２．測距システムの第４の実施形態＞
　図１４は、測距システム１の第４の実施形態の詳細構成例を示すブロック図である。
　図１４においても、図５で説明した第１の実施形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、異なる部分に注目して説明する。
　図１４の第４の実施形態においては、図５に示した第１の実施形態の補正部８７が、補正部８７Cに置き換えられている。測距システム１のその他の構成は、第１の実施形態と同様である。
　第４の実施形態に係る補正部８７Cは、第１の実施形態において補正部８７が実行した、検出光子数に基づくマルチピクセルの空間座標の補正処理と、第３の実施形態において補正部８７Bが実行した、距離情報に基づくマルチピクセルの空間座標の補正処理との両方を行う。
　ここで、照明装置１１および測距装置１２と、測距装置１２内のTDC８１は、図１５に示されるように配置される。
　画素アレイのｙ方向がベースライン方向と並行となるように、照明装置１１および測距装置１２が配置される。また、画素アレイの同一列に配列された各画素の画素信号が同一のTDC８１に出力されるように、画素アレイのｙ方向に対してTDC８１が配置される。
　画素アレイの同一列に配列された各画素の画素信号が同一のTDC８１に出力されるようにTDC８１が配置された場合、図８のAで説明したように、画素アレイの列に対応するｘ座標を、補正処理により補正することができる。すなわち、TDC８１を用いた補正方向がｘ方向となる。
　一方、画素アレイのｙ方向がベースライン方向と並行となるように照明装置１１および測距装置１２を配置した場合、図１２で説明したように、画素アレイの行に対応するｙ座標を、補正処理により補正することができる。すなわち、デプス値を用いた補正方向がｙ方向となる。
　このように、TDC８１の共有方向（ｙ方向）を、照明装置１１と測距装置１２のベースライン方向と並行方向とすることで、検出光子数に基づいて補正する空間座標の補正方向（ｘ方向）と、距離情報に基づいて補正する空間座標の補正方向（ｙ方向）とが直交する関係となる。
　図１６は、補正部８７Cによる、マルチピクセルの空間座標の補正処理の例を示している。
　図１６に示されるガイド画像およびデプス画像については、図６と同様であるので、説明は省略する。
　デプス画像内の所定のマルチピクセルMP３に注目して説明する。マルチピクセルMP３は、９ｘ９の８１画素で構成されている。マルチピクセルMP３において、右上近傍に示される太線は、物体１０３の境界に対応している。
　補正部８７Cには、マルチピクセルMP３について算出された距離情報が、距離演算部８６から供給される。この時点での距離情報の代表位置は、初期位置として設定された、マルチピクセルMP３の中心の位置BPとなっている。ここで、マルチピクセルMP３について距離演算部８６で算出されて供給された距離が１０ｍであるとする。
　補正部８７Cは、マルチピクセルMP３の代表位置を、位置BPから位置BP’へ補正する。
　具体的には、補正部８７Cは、マルチピクセルMP３の列単位の検出光子数に基づいて、マルチピクセルMP３の代表位置のｘ座標を、検出光子数が最大（２０個）の列である、マルチピクセルMP３の右から３列目の位置へ補正する。
　また、補正部８７Cは、マルチピクセルMP３の距離情報に基づいて、マルチピクセルMP３の代表位置のｙ座標を、距離が１０ｍのときに対応する、マルチピクセルMP３の上から第２行の位置へ補正する。
　以上のように、補正部８７Cは、ベースライン方向と並行方向の補正をデプス値に基づいて補正し、ベースライン方向と直交方向の補正を検出光子数（輝度値）に基づいて補正することで、マルチピクセルの空間座標の補正処理を、ｘ座標とｙ座標について効率的に行うことができる。
＜１３．第４の測距処理のフローチャート＞
　図１７のフローチャートを参照して、測距システム１の第４の実施形態による測距処理（第４の測距処理）について説明する。この処理は、例えば、上位のホスト装置等から測定の開始が指示されたとき開始される。
　ステップＳ７１ないしＳ７９の処理は、図７の第１の測距処理のステップＳ１１ないしＳ１９の処理と同様であるので、説明は省略する。すなわち、各記録部８２が検出光子数を補正部８７Bへ供給し、ヒストグラムのピーク検出結果から、デプス画像が生成され、距離演算部８６へ供給される。
　ステップＳ８０において、測距装置１２の補正部８７Cは、各記録部８２からの検出光子数と、距離演算部８６からの距離情報とに基づいて、デプス画像のサンプル点（マルチピクセル）の空間座標を補正する。具体的には、上述したように、マルチピクセルの代表位置のｘ座標が、検出光子数に基づいて補正され、代表位置のｙ座標が、デプス画像の距離情報に基づいて補正される。
　ステップＳ８１において、補正部８７Cは、補正後の空間座標でデプス画像を出力する。補正部８７Cから出力されたデプス画像は、出力部５５から外部の装置へ出力され、第４の測距処理が終了する。
　以上の第４の測距処理によれば、検出光子数と距離情報とを用いて、サンプル点であるマルチピクセルの空間座標を補正することができる。これにより、距離情報を取得した被写体の取得座標位置を、より高精度に出力することができる。被写体座標の特定は、取得信号（距離情報）の高密度化などを行う後段アプリケーションにおいて重要となる。距離情報の取得座標位置を、より高精度に出力できることにより、後段アプリケーションにおいて、疎な取得信号の効率的な高密度化や高解像度化を実現することができる。
＜１４．まとめ＞
　上述した第１ないし第４の実施形態に係る測距システム１によれば、測距装置１２で検出した検出光子数または距離情報の少なくとも一方を用いて、サンプル点としてのマルチピクセルの空間座標を補正することができる。検出光子数または距離情報のどちらか一方のみを用いてもよいし、両方を用いてもよい。検出光子数と距離情報の両方を用いる場合には、TDC８１の共有方向を、照明装置１１と測距装置１２とを結ぶベースライン方向と並行方向とすることで、マルチピクセルの空間座標の補正処理を、ｘ座標とｙ座標について同時に行うことができる。
　マルチピクセルの空間座標の補正処理はサブピクセルの解像度で行うことができ、距離情報の取得座標位置を、より高い空間分解能で、より高精度に出力することができる。
　測距システム１は、上述した第１ないし第４の実施形態のいずれか１つのみを実施できる構成としてもよいし、第１ないし第４の実施形態の全てを選択的に実施できる構成であってもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　画素が行列状に配置された画素アレイと、
　複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録する記録部と、
　複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する補正部と
　を備える測距装置。
（２）
　前記分割単位は、前記画素アレイの列または行である
　前記（１）に記載の測距装置。
（３）
　前記補正部は、前記サンプル点を構成する複数の前記分割単位のうち、検出光子数が最も多い前記分割単位の位置に、前記代表位置を補正する
　前記（１）または（２）に記載の測距装置。
（４）
　前記補正部は、前記サンプル点を構成する複数の前記分割単位の検出光子数で重み付けした重み付け平均の位置に、前記代表位置を補正する
　前記（１）または（２）に記載の測距装置。
（５）
　前記補正部は、前記サンプル点を構成する複数の前記分割単位の検出光子数を所定の近似関数で近似し、前記近似関数において検出光子数が最も多くなる位置に、前記代表位置を補正する
　前記（１）または（２）に記載の測距装置。
（６）
　前記補正部は、前記サンプル点を構成する複数の前記分割単位の検出光子数にMeanshift法を用いて、検出光子数が最大となる位置に、前記代表位置を補正する
　前記（１）または（２）に記載の測距装置。
（７）
　前記補正部は、前記分割単位の前記検出光子数に基づいて決定した位置に所定のオフセット量を加えた位置に、前記代表位置を補正する
　前記（１）乃至（６）のいずれかに記載の測距装置。
（８）
　前記サンプル点で検出されたパルス光の飛行時間に基づいて、前記サンプル点の距離情報を演算する距離演算部をさらに備え、
　前記補正部は、前記サンプル点の距離情報も補正する
　前記（１）乃至（７）のいずれかに記載の測距装置。
（９）
　前記補正部は、前記サンプル点を構成する複数画素内の前記パルス光の受光位置に基づいて算出された距離を用いて、前記サンプル点の距離情報を補正する
　前記（８）に記載の測距装置。
（１０）
　前記補正部は、複数の前記分割単位それぞれの前記検出光子数の代わりに、外部センサで撮影された画像の輝度値を用いて、前記サンプル点の距離情報の空間座標の代表位置を補正する
　前記（１）に記載の測距装置。
（１１）
　前記補正部は、複数の前記分割単位それぞれの前記検出光子数と、外部センサで撮影された画像の輝度値とを用いて、前記サンプル点の距離情報の空間座標の代表位置を補正する
　前記（１）乃至（１０）のいずれかに記載の測距装置。
（１２）
　前記補正部は、複数の前記分割単位それぞれの前記検出光子数を、外部センサで撮影された画像の輝度値で正規化した値を用いて、前記サンプル点の距離情報の空間座標の代表位置を補正する
　前記（１）乃至（１１）のいずれかに記載の測距装置。
（１３）
　前記サンプル点で検出されたパルス光の飛行時間に基づいて、前記サンプル点の距離情報を演算する距離演算部をさらに備え、
　前記補正部は、前記サンプル点の距離情報に基づいて、前記サンプル点の距離情報の空間座標の代表位置をさらに補正する
　前記（１）乃至（１２）のいずれかに記載の測距装置。
（１４）
　前記補正部は、前記画素アレイの、前記パルス光を発光した照明装置と前記測距装置とを結ぶベースライン方向に平行な方向の位置を補正する
　前記（１３）に記載の測距装置。
（１５）
　前記分割単位の前記検出光子数に基づいて補正する前記空間座標の補正方向と、前記サンプル点の距離情報に基づいて補正する前記空間座標の補正方向とが直交する
　前記（１３）または（１４）に記載の測距装置。
（１６）
　前記画素から出力される画素信号に基づいて前記パルス光の飛行時間に相当するデジタルのカウント値を生成するTDCを複数備え、
　前記TDCは、前記パルス光を発光した照明装置と前記測距装置とを結ぶベースライン方向と平行な方向の複数画素で共有される
　前記（１３）乃至（１５）のいずれかに記載の測距装置。
（１７）
　画素が行列状に配置された画素アレイを備える測距装置が、
　複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録し、
　複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する
　測距装置の信号処理方法。
（１８）
　パルス光を照射する照明装置と、
　前記パルス光が物体で反射された反射光を受光する測距装置と
　を備え、
　前記測距装置は、
　　前記反射光を受光する画素が行列状に配置された画素アレイと、
　　複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録する記録部と、
　　複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する補正部と
　を有する
　測距システム。
１：測距システム，１１：照明装置，１２：測距装置，１３：物体，３１：発光制御部，３２：発光部，５１：制御部，５２：画素駆動部，５３：受光部，５４：信号処理部，８０：マルチプレクサ，８１１ないし８１Q：TDC，８２１ないし８２Q：記録部，８３：マルチプレクサ，８４１ないし８４Q：ヒストグラム生成部，８５：ピーク検出部，８６：距離演算部，８７，８７Aないし８７C：補正部，１４１：外部センサ

Claims (18)

  1. 　画素が行列状に配置された画素アレイと、
    　複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録する記録部と、
    　複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する補正部と
    　を備える測距装置。
  2. 　前記分割単位は、前記画素アレイの列または行である
    　請求項１に記載の測距装置。
  3. 　前記補正部は、前記サンプル点を構成する複数の前記分割単位のうち、検出光子数が最も多い前記分割単位の位置に、前記代表位置を補正する
    　請求項１に記載の測距装置。
  4. 　前記補正部は、前記サンプル点を構成する複数の前記分割単位の検出光子数で重み付けした重み付け平均の位置に、前記代表位置を補正する
    　請求項１に記載の測距装置。
  5. 　前記補正部は、前記サンプル点を構成する複数の前記分割単位の検出光子数を所定の近似関数で近似し、前記近似関数において検出光子数が最も多くなる位置に、前記代表位置を補正する
    　請求項１に記載の測距装置。
  6. 　前記補正部は、前記サンプル点を構成する複数の前記分割単位の検出光子数にMeanshift法を用いて、検出光子数が最大となる位置に、前記代表位置を補正する
    　請求項１に記載の測距装置。
  7. 　前記補正部は、前記分割単位の前記検出光子数に基づいて決定した位置に所定のオフセット量を加えた位置に、前記代表位置を補正する
    　請求項１に記載の測距装置。
  8. 　前記サンプル点で検出されたパルス光の飛行時間に基づいて、前記サンプル点の距離情報を演算する距離演算部をさらに備え、
    　前記補正部は、前記サンプル点の距離情報も補正する
    　請求項１に記載の測距装置。
  9. 　前記補正部は、前記サンプル点を構成する複数画素内の前記パルス光の受光位置に基づいて算出された距離を用いて、前記サンプル点の距離情報を補正する
    　請求項８に記載の測距装置。
  10. 　前記補正部は、複数の前記分割単位それぞれの前記検出光子数の代わりに、外部センサで撮影された画像の輝度値を用いて、前記サンプル点の距離情報の空間座標の代表位置を補正する
    　請求項１に記載の測距装置。
  11. 　前記補正部は、複数の前記分割単位それぞれの前記検出光子数と、外部センサで撮影された画像の輝度値とを用いて、前記サンプル点の距離情報の空間座標の代表位置を補正する
    　請求項１に記載の測距装置。
  12. 　前記補正部は、複数の前記分割単位それぞれの前記検出光子数を、外部センサで撮影された画像の輝度値で正規化した値を用いて、前記サンプル点の距離情報の空間座標の代表位置を補正する
    　請求項１に記載の測距装置。
  13. 　前記サンプル点で検出されたパルス光の飛行時間に基づいて、前記サンプル点の距離情報を演算する距離演算部をさらに備え、
    　前記補正部は、前記サンプル点の距離情報に基づいて、前記サンプル点の距離情報の空間座標の代表位置をさらに補正する
    　請求項１に記載の測距装置。
  14. 　前記補正部は、前記画素アレイの、前記パルス光を発光した照明装置と前記測距装置とを結ぶベースライン方向に平行な方向の位置を補正する
    　請求項１３に記載の測距装置。
  15. 　前記分割単位の前記検出光子数に基づいて補正する前記空間座標の補正方向と、前記サンプル点の距離情報に基づいて補正する前記空間座標の補正方向とが直交する
    　請求項１３に記載の測距装置。
  16. 　前記画素から出力される画素信号に基づいて前記パルス光の飛行時間に相当するデジタルのカウント値を生成するTDCを複数備え、
    　前記TDCは、前記パルス光を発光した照明装置と前記測距装置とを結ぶベースライン方向と平行な方向の複数画素で共有される
    　請求項１３に記載の測距装置。
  17. 　画素が行列状に配置された画素アレイを備える測距装置が、
    　複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録し、
    　複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する
    　測距装置の信号処理方法。
  18. 　パルス光を照射する照明装置と、
    　前記パルス光が物体で反射された反射光を受光する測距装置と
    　を備え、
    　前記測距装置は、
    　　前記反射光を受光する画素が行列状に配置された画素アレイと、
    　　複数の前記画素で構成されるサンプル点を所定の分割単位に分割した分割単位ごとの検出光子数を記録する記録部と、
    　　複数の前記分割単位それぞれの前記検出光子数に基づいて、前記サンプル点の距離情報の空間座標の代表位置を補正する補正部と
    　を有する
    　測距システム。
PCT/JP2022/002509 2021-03-31 2022-01-25 測距装置およびその信号処理方法、並びに、測距システム WO2022209219A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/282,428 US20240168161A1 (en) 2021-03-31 2022-01-25 Ranging device, signal processing method thereof, and ranging system
JP2023510535A JPWO2022209219A1 (ja) 2021-03-31 2022-01-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021059289 2021-03-31
JP2021-059289 2021-03-31

Publications (1)

Publication Number Publication Date
WO2022209219A1 true WO2022209219A1 (ja) 2022-10-06

Family

ID=83458669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002509 WO2022209219A1 (ja) 2021-03-31 2022-01-25 測距装置およびその信号処理方法、並びに、測距システム

Country Status (3)

Country Link
US (1) US20240168161A1 (ja)
JP (1) JPWO2022209219A1 (ja)
WO (1) WO2022209219A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095093A (ja) * 2009-10-29 2011-05-12 Myuu Skynet:Kk 三次元計測装置及び三次元計測方法
JP2015082721A (ja) * 2013-10-22 2015-04-27 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP2018522203A (ja) * 2015-07-20 2018-08-09 グーグル エルエルシー 飛行時間型画素アレイの解像度を上げるための方法および装置
JP2019144065A (ja) * 2018-02-20 2019-08-29 株式会社デンソー 光測距装置
JP2020098151A (ja) * 2018-12-18 2020-06-25 株式会社デンソー センサ校正方法およびセンサ校正装置
WO2020255770A1 (ja) * 2019-06-20 2020-12-24 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
WO2021014799A1 (ja) * 2019-07-19 2021-01-28 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095093A (ja) * 2009-10-29 2011-05-12 Myuu Skynet:Kk 三次元計測装置及び三次元計測方法
JP2015082721A (ja) * 2013-10-22 2015-04-27 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP2018522203A (ja) * 2015-07-20 2018-08-09 グーグル エルエルシー 飛行時間型画素アレイの解像度を上げるための方法および装置
JP2019144065A (ja) * 2018-02-20 2019-08-29 株式会社デンソー 光測距装置
JP2020098151A (ja) * 2018-12-18 2020-06-25 株式会社デンソー センサ校正方法およびセンサ校正装置
WO2020255770A1 (ja) * 2019-06-20 2020-12-24 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
WO2021014799A1 (ja) * 2019-07-19 2021-01-28 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法

Also Published As

Publication number Publication date
US20240168161A1 (en) 2024-05-23
JPWO2022209219A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
EP3185037B1 (en) Depth imaging system
JP6969425B2 (ja) 光測距装置
US9921312B2 (en) Three-dimensional measuring device and three-dimensional measuring method
CN109725326B (zh) 飞行时间相机
EP2446301B1 (en) Pulsed light optical rangefinder
JP5138119B2 (ja) 物体検出装置および情報取得装置
WO2020009011A1 (ja) 光測距装置
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
KR20200085297A (ko) 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
JP2009192499A (ja) 距離画像生成装置
US20220057520A1 (en) Distance measurement apparatus and distance measurement method
CN114930192B (zh) 红外成像组件
US20210141090A1 (en) Distance measurement device and reliability determination method
US11525913B2 (en) Light detection device and electronic apparatus comprising plural SPAD arrays with a photon detection rate controller
US10628951B2 (en) Distance measurement system applicable to different reflecting surfaces and computer system
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
WO2022241942A1 (zh) 一种深度相机及深度计算方法
WO2022209219A1 (ja) 測距装置およびその信号処理方法、並びに、測距システム
WO2022181097A1 (ja) 測距装置およびその制御方法、並びに、測距システム
US20240134015A1 (en) Distance measuring device, control method thereof, and distance measuring system
WO2022168500A1 (ja) 測距装置およびその制御方法、並びに、測距システム
JP7220835B1 (ja) 物体検知装置および物体検知方法
WO2021157393A1 (ja) 測距装置および測距方法
WO2024002593A1 (en) Optoelectronic sensor for a time-of-flight measurement and method for a time-of-flight measurement
JP2014163830A (ja) 情報取得装置および物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779449

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510535

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18282428

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779449

Country of ref document: EP

Kind code of ref document: A1