WO2023106129A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2023106129A1
WO2023106129A1 PCT/JP2022/043549 JP2022043549W WO2023106129A1 WO 2023106129 A1 WO2023106129 A1 WO 2023106129A1 JP 2022043549 W JP2022043549 W JP 2022043549W WO 2023106129 A1 WO2023106129 A1 WO 2023106129A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
boundary
flight
detection
flight data
Prior art date
Application number
PCT/JP2022/043549
Other languages
English (en)
French (fr)
Inventor
イーウェン ズー
和憲 神尾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023106129A1 publication Critical patent/WO2023106129A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present disclosure relates to an information processing device and an information processing method.
  • a distance measuring device is used to measure the distance.
  • rangefinders there has been proposed a rangefinder that uses a laser diode as a light source and adjusts the output of the laser diode to prevent deterioration of accuracy (see, for example, Patent Document 1).
  • the present disclosure proposes an information processing device and an information processing method that prevent a decrease in distance measurement accuracy.
  • An information processing apparatus includes a distance data generation section, an object boundary detection section, and a correction section.
  • the distance data generation unit generates a flight time based on the reflected light emitted from the light source and detected based on the reflected light reflected from the subject, and the flight time in which the frequency of detection of the flight time at the corresponding distance is reflected for each pixel.
  • a time-of-flight data group is generated in which a plurality of time data are formed at predetermined distance intervals.
  • the object boundary detection unit detects the boundary of the object based on the time-of-flight data group.
  • a correction unit corrects the time-of-flight data group based on the detected boundary of the object.
  • the detection frequency of the flight time at the corresponding distance generated based on the flight time detected based on the reflected light emitted from the light source and reflected from the subject is reflected for each pixel.
  • generating a time-of-flight data group configured by forming a plurality of time-of-flight data obtained at predetermined distance intervals; detecting a boundary of an object based on the time-of-flight data group; and correcting the set of time-of-flight data based on object boundaries.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of a time-of-flight data group according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating time-of-flight data according to an embodiment of the present disclosure
  • Fig. 5 is a diagram illustrating an example of a time-of-flight histogram according to embodiments of the present disclosure
  • FIG. 4 is a diagram illustrating time-of-flight data according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of ranging according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example of ranging according to an embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram illustrating a configuration example of an object boundary detection unit according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of object boundary detection according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of object boundary detection according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of object boundary detection according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of object boundary detection according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of correction according to the first embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating an example of an information processing procedure according to the first embodiment of the present disclosure
  • FIG. 7 is a diagram illustrating an example of a processing procedure of object area detection processing according to the first embodiment of the present disclosure
  • FIG. 7 is a diagram illustrating an example of a processing procedure of object boundary detection processing according to the first embodiment of the present disclosure
  • FIG. 7 is a diagram illustrating a configuration example of an object boundary detection unit according to the second embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating an example of object detection according to the second embodiment of the present disclosure
  • FIG. 10 is a diagram illustrating an example of foreground/background determination according to the second embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating an example of object boundary detection according to the second embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of an object boundary detection unit according to a third embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of a correction unit according to a fourth embodiment of the present disclosure
  • FIG. 12 is a diagram illustrating an example of classification and filtering according to the fourth embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of the distance measuring device 1.
  • the distance measuring device 1 is a device for measuring the distance to an object, emits light to the object, detects the light reflected by the object, and measures the distance from the emission of the light to the object to the incidence of the reflected light.
  • the distance to the object is measured by timing the flight time, which is the time of This figure shows the case of measuring the distance to an object 801 .
  • the rangefinder 1 irradiates an object 801 with emitted light 802 and detects reflected light 803 .
  • the light source unit 10 emits emitted light (emitted light 802) to an object.
  • a laser diode for example, can be used for the light source unit 10 .
  • the light receiving unit 20 detects reflected light (reflected light 803) from the object.
  • the light-receiving section 20 includes a pixel array section in which a plurality of light-receiving pixels having light-receiving elements for detecting reflected light are arranged in a matrix. SPAD (Single Photon Avalanche Diode) can be used for this light receiving element.
  • the light receiving unit 20 generates a histogram representing the detection frequency of the time of flight as a frequency for each class of a predetermined time width for each light receiving pixel, and outputs the histogram as distance measurement data. This histogram is formed by accumulating detection frequencies of a plurality of reflected lights associated with the emission of a plurality of emitted lights.
  • a lens for condensing the reflected light can be arranged in the light receiving section 20 .
  • the distance measurement control section 30 controls the light source section 10 and the light receiving section 20 to perform distance measurement.
  • the distance measurement control section 30 causes the light source section 10 to emit a laser beam and notifies the light receiving section 20 of the emission timing. Based on this notification, the light receiving unit 20 measures the flight time.
  • the information processing device 100 processes distance measurement data output from the light receiving section 20 .
  • An information processing apparatus 100 shown in the figure generates and outputs a distance image from distance measurement data.
  • the distance image is an image in which distance information is reflected for each pixel of the image.
  • an image that is color-coded according to distance corresponds to the distance image.
  • the information processing device 100 includes a distance data generation unit 110 , a storage unit 130 , an object boundary detection unit 120 , a correction unit 140 and a distance image generation unit 150 .
  • the distance data generating section 110 generates a time-of-flight data group from the ranging data output from the light receiving section 20 .
  • the time-of-flight data group is a data group in which a plurality of time-of-flight data in which the detection frequency of the time-of-flight is reflected for each pixel is formed at predetermined distance intervals. The details of the time-of-flight data group will be described later.
  • Distance data generator 110 outputs the generated time-of-flight data group to object boundary detector 120 and storage 130 .
  • the storage unit 130 holds the time-of-flight data group output from the distance data generation unit 110 .
  • the object boundary detection section 120 detects the boundary of an object based on the time-of-flight data group output from the distance data generation section 110 . Details of the object boundary detection unit 120 will be described later.
  • the correction unit 140 corrects the time-of-flight data group based on the object boundaries detected by the object boundary detection unit 120 .
  • a correcting unit 140 in the figure corrects the time-of-flight data group held in the storage unit 130 and outputs the corrected data to the range image generating unit 150 . Details of the correction will be described later.
  • the distance image generator 150 generates the above distance image based on the time-of-flight data corrected by the corrector 140 .
  • the generated distance image is output to an external device or the like.
  • FIG. 2A is a diagram illustrating an example of a time-of-flight data group according to an embodiment of the present disclosure
  • a time-of-flight data group 300 in the figure has a plurality of time-of-flight data 310 .
  • the time-of-flight data 310 included in this time-of-flight data group 300 are arranged in chronological order.
  • each pixel of the time-of-flight data 310 stores the detection frequency of the corresponding bins of the time-of-flight histogram.
  • the time-of-flight data group 300 is three-dimensional data spread in the X, Y, and depth directions.
  • FIG. 2B is a diagram illustrating flight time data according to the embodiment of the present disclosure.
  • the time-of-flight data 310 stores data of a plurality of pixels.
  • a pixel 311 in the figure stores the frequency of the class corresponding to the time-of-flight data 310 of the pixel histogram of the light receiving unit 20 corresponding to the pixel.
  • the frequency of this class corresponds to the flight time detection frequency.
  • FIG. 3A is a diagram illustrating an example of a time-of-flight histogram according to an embodiment of the present disclosure
  • This figure is a diagram showing an example of a histogram generated by the light receiving unit 20.
  • the histogram in the figure is a graph in which frequencies 312 of the detection frequency of the class width ⁇ d are arranged over the flight time detection range.
  • the horizontal axis in the figure represents the depth direction of the time-of-flight data group 300 shown in FIG. 2A. This depth direction corresponds to the flight time.
  • the figure also shows a histogram 313 represented by a broken line.
  • FIG. 3B is a diagram illustrating flight time data according to the embodiment of the present disclosure.
  • This figure shows flight time data 310 extracted from the flight time data group 300 .
  • Pixel 311 of time-of-flight data 310 stores the frequency of detection for one class of histogram 313 .
  • a plurality of such pixels are arranged in the X and Y directions.
  • the flight time data group 300 is formed by arranging flight time data similar to the flight time data 310 in time series in the depth direction.
  • FIG. 4A is a diagram illustrating an example of ranging according to an embodiment of the present disclosure. This figure shows an example of distance measurement of objects 320 , 321 and 322 . Assume that the distance is measured from the front side of the figure. Objects 321 and 322 are placed in front of object 320 by a distance d. Now consider the time-of-flight data 310 at the position of the hollow arrow in the figure.
  • FIG. 4B is a diagram showing an example of ranging according to the embodiment of the present disclosure.
  • This figure shows data of specific Y-axis values extracted from the time-of-flight data 310 at the positions of the white arrows described above.
  • the horizontal axis in the figure represents the X axis.
  • the vertical axis in the figure represents the frequency of detection.
  • the dashed rectangles in the figure represent the positions of the objects 321 and 322 .
  • a graph 326 in the figure is a graph representing the detection frequency with respect to the X coordinate.
  • the "environmental light frequency" in the figure represents the frequency of classes to which the reflected light does not reach in the time-of-flight histogram.
  • the detection frequency of a histogram generated by the light receiving unit 20 receiving ambient light such as sunlight corresponds to the ambient light frequency.
  • Areas 323, 324 and 325 in the graph 326 are areas corresponding to "blur" in the visible light image. This area is originally an area in which the detection frequency is the same as the ambient light frequency. However, the reflected light from the objects 321 and 322 is scattered and becomes scattered light, and this area corresponds to an error caused by the light receiving unit 20 detecting this scattered light. Note that the data in this area is hereinafter referred to as blur.
  • the information processing apparatus 100 of the present disclosure removes this blur to reduce errors in the measurement values.
  • FIG. 5 is a diagram illustrating a configuration example of an object boundary detection unit according to the first embodiment of the present disclosure; This figure is a diagram showing a configuration example of the object boundary detection unit 120 .
  • the object boundary detection unit 120 shown in FIG. 5 is a diagram illustrating a configuration example of an object boundary detection unit according to the first embodiment of the present disclosure.
  • the object detection unit 121 detects an object area from the time-of-flight data group 300 .
  • the object detection unit 121 can detect the area of the object by detecting the projection (peak) portion of the histogram 313 described in FIG. 3B.
  • the non-saturated area detection unit 122 detects an area where the detection frequency near the object detected by the object detection unit 121 is non-saturated. As described above, the light-receiving unit 20 generates a histogram by accumulating the detection frequencies of a plurality of reflected lights accompanying the emission of a plurality of emitted lights. When the detection frequency reaches the upper limit due to the integration of the detection frequency, the detection frequency of the class becomes saturated.
  • the non-saturated area detection section 122 detects a non-saturated area, which is a state in which saturation is not reached, and outputs it to the object boundary detection section 120 .
  • the boundary detection unit 123 detects the boundary of the object based on the unsaturated area detected by the unsaturated area detection unit 122.
  • the detected boundary of the object is output to the correction unit 140 .
  • FIG. 6A and 6B are diagrams illustrating an example of object boundary detection according to the first embodiment of the present disclosure. Object boundary detection will be described using the object 321 of FIG. 6A as an example.
  • FIG. 6A is a top view of the object 321.
  • FIG. Dotted lines “d0” to “d6” in FIG. 8 represent positions in the depth direction of the plurality of time-of-flight data 310 in the vicinity of the front surface of the object 321 .
  • the X-axis data at these positions "d0" to "d6" are shown in FIG. 6B.
  • the horizontal axis in the figure represents the X axis.
  • the vertical axis in the figure represents the frequency of detection.
  • a dashed line horizontal to the X-axis in the figure represents the boundary of the saturated region.
  • a dashed line graph 330 in the figure represents a graph of the detection frequency of d0.
  • a dotted line graph 331 in the same figure represents a graph of the detection frequency of d1.
  • a dashed-dotted line graph 331 in the figure represents a graph of the detection frequency of d2.
  • a solid-line graph 333 in the figure represents a graph of the detection frequency of d3.
  • a thick dashed line graph 334 in the figure represents a graph of the detection frequency of d4.
  • a thick dotted line graph 335 in the figure represents a graph of the detection frequency of d5.
  • a thick solid line graph 336 in the figure represents a graph of the detection frequency of d6.
  • Graphs 330 and 331 are the flight time data 310 away from the object 321, so the detection frequency is equivalent to the ambient light frequency.
  • the region is an unsaturated region that is not saturated.
  • the graphs 334 to 336 are the time-of-flight data 310 related to the object 321, the area related to the object 321 is substantially saturated.
  • the graphs 334-336 are blurred near the outside near the boundary of the object.
  • Graphs 332 and 333 in the figure correspond to non-saturated regions. The detection frequency data of these graphs 332 and 333 are used to detect the boundary of the object.
  • FIG. 7A is a diagram showing an example of object boundary detection according to the first embodiment of the present disclosure. Detecting the boundary of an object will be described using the graph 333 of FIG. 6B as an example.
  • a region of interest is set. This attention area is an area near the boundary of the object, and is an area including the boundary of the object.
  • This region of interest can be detected based on the edges of saturated regions, such as in saturation graph 334 . For example, a region within 5 taps from the edge of the region can be set as the region of interest.
  • the maximum detection frequency and the minimum detection frequency are detected from the time-of-flight data 310 of "d3" corresponding to the graph 333 of the region of interest, and the average of these is calculated.
  • the position where this average and the graph 333 intersect can be detected as the boundary of the object.
  • the black circles in the figure are data relating to the area outside the object.
  • the white circle is the data of the area included in the object.
  • the boundary detection unit 123 can add a label indicating the boundary of the object to the time-of-flight data 310 such as “d3”. This label is hereinafter referred to as a spatial label.
  • FIG. 7B is a diagram illustrating an example of object boundary detection according to the first embodiment of the present disclosure.
  • This figure is a diagram showing an example of the space label 350 .
  • the space label 350 represents the area included in the object in the detection frequency of the attention area.
  • the portion of the spatial label 350 with a value of "1" represents the area contained by the object.
  • the portion of the spatial label 350 with a value of "0" represents the blurred area.
  • FIG. 8 is a diagram illustrating an example of correction according to the first embodiment of the present disclosure.
  • This figure shows the correction of the time-of-flight data group 300 by the correction unit 140 .
  • the correction unit 140 performs correction based on the boundary of the object detected by the boundary detection unit 123 .
  • the correction unit 140 sets the region outside the boundary of the object in the aforementioned region of interest as a blurred region, and performs correction by replacing the detection frequency of the time-of-flight data 310 in the blurred region with the ambient light frequency.
  • the correction unit 140 detects the detection frequency of the time-of-flight data 310 of "d0" corresponding to the graph 330 as the ambient light frequency. This ambient light frequency is replaced with the data of the blurred area of "d1" to "d6". This makes it possible to remove the blurring of the boundary of the object.
  • FIG. 9 is a diagram illustrating an example of an information processing procedure according to the first embodiment of the present disclosure. This figure is a flow chart showing the processing procedure of the information processing apparatus 100 .
  • the distance data generator 110 generates a time-of-flight data group (step S100).
  • the object detection unit 121 performs object area detection processing for detecting the area of the object (step S110).
  • the unsaturated region detection unit 122 sets a region of interest in the region of the object (step S102).
  • the unsaturated area detection unit 122 detects an unsaturated detection frequency area (step S103). This can be done by the method described in FIG. 6B.
  • the unsaturated region detection unit 122 performs object boundary detection processing for detecting the boundary of the object (step S120).
  • the correction unit 140 corrects the time-of-flight data 310 based on the detected boundary (step S106).
  • the distance image generator 150 generates a distance image based on the corrected time-of-flight data group 300 (step S106).
  • FIG. 10 is a diagram illustrating an example of a processing procedure of object area detection processing according to the first embodiment of the present disclosure.
  • the object detection unit 121 detects a peak area from the time-of-flight data group 300 (step S111).
  • the object detection unit 121 subtracts the ambient light frequency from the detected peak detection frequency, and compares the result with a predetermined threshold. As a result, when the subtraction result is smaller than the threshold (step S112, No), the process is terminated.
  • the object detection unit 121 detects the peak area as the object area (step S113). After that, the object detection unit 121 terminates the object area detection process.
  • FIG. 11 is a diagram illustrating an example of a processing procedure of object boundary detection processing according to the first embodiment of the present disclosure.
  • the non-saturated area detection unit 122 calculates the average value of the time-of-flight data 310 in the non-saturated area (step S121). This can be done by the method described in FIG. 7A (step S121).
  • the detection frequency and the average value are compared for the time-of-flight data 310 of the region of interest. As a result, if the detection frequency is greater than the average value (step S122, Yes), the corresponding space label is set to the value "1" (step S123), and the process proceeds to step S125.
  • step S122 determines whether or not the processing has ended (step S125). If the processing has been performed at all detection frequencies (step S125, Yes), the object boundary detection processing ends. On the other hand, if the processing has not been performed for all detection frequencies (step S125, No), the processing of step S122 is performed again.
  • the information processing apparatus 100 detects the blurred area near the outside of the object boundary and corrects the time-of-flight detection frequency. As a result, it is possible to reduce errors in the shape of the object in the distance measurement image, and to improve the accuracy of distance measurement.
  • the information processing apparatus 100 of the first embodiment described above detects a single object from the time-of-flight data group 300 .
  • an information processing apparatus 100 according to the second embodiment of the present disclosure is different from the above-described first embodiment in detecting a plurality of objects overlapping in the depth direction.
  • FIG. 12 is a diagram illustrating a configuration example of an object boundary detection unit according to the second embodiment of the present disclosure; This figure is a diagram showing a configuration example of the object boundary detection unit 120 .
  • the object boundary detection unit 120 in the figure includes a boundary detection unit 127 instead of the boundary detection unit 123, and further includes a second object detection unit 124, a desaturated area detection unit 125, and a foreground/background determination unit 126. It differs from the object boundary detection unit 120 in FIG.
  • the second object detection unit 124 detects an object that overlaps the object detected by the object detection unit 121 in the depth direction.
  • the object detected by the second object detection section 124 is output to the unsaturated area detection section 125 .
  • the non-saturated area detection section 125 detects the non-saturated area of the object detected by the second object detection section 124 .
  • the detected unsaturated region is output to boundary detection section 123 .
  • the non-saturated area detection section 125 can adopt the same configuration as the non-saturated area detection section 122 .
  • the foreground/background determination unit 126 determines the positions in the depth direction of the objects detected by the object detection unit 121 and the second object detection unit 124, respectively.
  • the object on the near side is called the foreground
  • the object on the far side is called the background.
  • the foreground/background determination unit 126 determines whether the objects detected by the object detection unit 121 and the second object detection unit 124 are the foreground or the background.
  • a determination result is output to the boundary detection unit 123 .
  • the boundary detection unit 127 detects the boundary of the object based on the unsaturated regions output from the unsaturated region detection unit 122 and the unsaturated region detection unit 125 and the foreground and background determination results output from the foreground/background determination unit 126. to detect.
  • FIG. 13 is a diagram illustrating an example of object detection according to the second embodiment of the present disclosure.
  • This figure is a diagram showing an example of object detection in the object detection unit 121 and the second object detection unit 124 . Similar to the histogram 313 in FIG. 3A, this figure shows a histogram (histogram 340) of the frequency of detection of specific pixels in the time-of-flight data group 300.
  • This histogram 340 is a histogram with two peaks (peak 341 and peak 342).
  • the object detection unit 121 detects an object based on either of these peaks 341 and 342.
  • the second object detection section 124 detects an object (second object) based on the peaks not detected by the object detection section 121 .
  • FIG. 14A is a diagram illustrating an example of foreground/background determination according to the second embodiment of the present disclosure.
  • This figure is a diagram showing an example of foreground/background determination in the foreground/background determination unit 126 .
  • the foreground/background determination unit 126 receives information about the object from the object detection unit 121 and the second object detection unit 124 .
  • the foreground/background determination unit 126 determines the foreground and background based on these pieces of information.
  • a first peak and a second peak are histogram peaks detected by the object detection unit 121 and the second object detection unit 124, respectively.
  • the foreground/background determination unit 126 detects the foreground and background based on the distance to each object. Also, the foreground/background determination unit 126 adds determination results to the information about the objects detected by the object detection unit 121 and the second object detection unit 124 and outputs the information to the boundary detection unit 127 . Specifically, a spatial label representing the determination result is added to each object.
  • [Object boundary detection] 14B is a diagram illustrating an example of object boundary detection according to the second embodiment of the present disclosure; FIG.
  • the boundary detection unit 127 determines the foreground and background based on the spatial labels of the objects detected by the object detection unit 121 and the second object detection unit 124, respectively. When both the foreground space label and the background space label have a value of "0", it is determined as the ambient light frequency. If either the foreground space label or the background space label has the value "1", the foreground and background are determined based on that space label. If both the foreground space label and the background space label have a value of "1", the background is determined.
  • the boundary detection unit 127 detects the boundaries of these multiple objects. Even when a plurality of objects are close to each other in terms of XY coordinates, the boundaries of the objects are detected using the foreground and background information, which is the positional relationship in the depth direction.
  • the information processing apparatus 100 can detect the boundaries of each object even when a plurality of objects are two-dimensionally close to each other.
  • the information processing apparatus 100 of the second embodiment described above detects the foreground and the background.
  • an information processing apparatus 100 according to the third embodiment of the present disclosure differs from the above-described first embodiment in that boundaries are detected using an average value of detection frequencies.
  • FIG. 15 is a diagram illustrating a configuration example of an object boundary detection unit according to the third embodiment of the present disclosure; This figure is a diagram showing a configuration example of the object boundary detection unit 120 . 12 differs from the information processing apparatus 100 in FIG. 12 in that it includes a boundary detection unit 129 instead of the boundary detection unit 127 and further includes an average detection frequency generation unit 128 .
  • the average detection frequency generation unit 128 generates an average detection frequency.
  • the average detection frequency is data composed of the average value of the detection frequency for each pixel in the time-of-flight data group 300 in the depth direction. If the detection frequency is noisy, the average detection frequency can be used as the ambient light frequency.
  • the generated average detection frequency is output to the boundary detection section 129 .
  • the boundary detection unit 129 uses the average detection frequency output from the average detection frequency generation unit 128 as the ambient light frequency to detect the boundary of the object. Specifically, the non-saturation detection frequency is detected based on the average detection frequency.
  • the information processing apparatus 100 generates the average detection frequency and uses it as the ambient light frequency. As a result, even when the noise in the detection frequency is large, it is possible to prevent a decrease in detection accuracy of the boundary of the object.
  • the information processing apparatus 100 of the first embodiment described above performs correction by replacing the detection frequency of the blurred area with the ambient light frequency.
  • an information processing apparatus 100 according to the fourth embodiment of the present disclosure differs from the above-described first embodiment in that a filter is used to restore the detection frequency of blurred regions.
  • FIG. 16 is a diagram illustrating a configuration example of a correction unit according to the fourth embodiment of the present disclosure; This figure is a diagram showing a configuration example of the correction unit 140 .
  • the correction unit 140 in FIG. 16 is a diagram illustrating a configuration example of a correction unit according to the fourth embodiment of the present disclosure. This figure is a diagram showing a configuration example of the correction unit 140 .
  • the correction unit 140 in FIG. 16 is a diagram illustrating a configuration example of a correction unit according to the fourth embodiment of the present disclosure. This figure is a diagram showing a configuration example of the correction unit 140 .
  • the classification unit 141 classifies the time-of-flight data 310 near the object in the region of interest.
  • the classification unit 141 outputs the classification result to the restoration unit 142 .
  • the classification unit 141 can classify each class based on the state of saturation of the time-of-flight data 310 . Specifically, the classification unit 141 adds a class number label “11” to the time-of-flight data 310 of the detection frequency of the saturated state. Further, the classifying unit 141 adds a class number label “01” to the time-of-flight data 310 of the non-saturated detection frequency. Further, the classifying unit 141 adds the class number label “00” to the other flight time data 310 .
  • the restoration unit 142 restores data near the boundary of the object including the blurred area.
  • the restoration unit 142 restores the data by filtering the time-of-flight data 310 in the depth direction. Also, the restoration unit 142 selects filtering according to the classification result of the classification unit 141 .
  • the reconstruction unit 142 performs filtering with a nonlinear filter on the time-of-flight data 310 with the class number label "11". Further, for example, the restoration unit 142 performs filter processing using a linear filter on the time-of-flight data 310 of the class number label “01”. Further, for example, the restoration unit 142 performs filter processing using a noise suppression filter on the time-of-flight data 310 with the class number label “00”. By these filtering processes, the restoration unit 142 can restore data near the object including the blurred area. Through this restoration processing, the time-of-flight data 310 in the blurred area can be corrected.
  • the filter coefficient holding unit 143 holds filter coefficients to be applied to filter processing in the restoration unit 142 .
  • FIG. 17 is a diagram illustrating an example of classification and filtering according to the fourth embodiment of the present disclosure. This figure shows the classification of time-of-flight data by the classification unit 141 and the corresponding filter processing.
  • the information processing apparatus 100 restores and corrects the time-of-flight data 310 in the blurred region by filtering. This makes it possible to simplify the processing.
  • the information processing apparatus 100 has a distance data generation section 110 , an object boundary detection section 120 and a correction section 140 .
  • the distance data generation unit 110 generates flight time data based on the light emitted from the light source and detected based on the reflected light reflected from the object, and the flight time data generation unit 110 generates flight time data in which the detection frequency of the flight time at the corresponding distance is reflected for each pixel.
  • a time-of-flight data group 300 is generated in which a plurality of time data are formed at predetermined distance intervals.
  • Object boundary detection section 120 detects the boundary of an object based on time-of-flight data group 300 .
  • the correction unit 140 corrects the time-of-flight data group 300 based on the detected boundary of the object. As a result, it is possible to correct data in the vicinity of the boundary of the object that has changed due to scattering of light that occurs before the reflected light from the object reaches the light receiving unit 20 .
  • the object boundary detection unit 120 may detect the boundary of the object by detecting an area where the detection frequency is unsaturated in the vicinity of the area where the detection frequency is saturated. This makes it possible to eliminate the influence of saturation of the detection frequency.
  • the object boundary detection unit 120 may detect the boundary of the object based on the average detection frequency of the unsaturated regions.
  • the correction unit 140 may correct the time-of-flight data group 300 by replacing the detection frequency of the area near the outside of the detected object boundary with the detection frequency of the area where the reflected light does not reach. Thereby, the original detection frequency can be restored.
  • correction unit 140 may correct the time-of-flight data group 300 by filtering. Thereby, the original detection frequency can be restored.
  • it may further include a distance image generation unit that generates a distance image based on the corrected time-of-flight data group 300. Thereby, a distance image can be generated.
  • the information processing method includes time-of-flight data generated based on time-of-flight detected based on reflected light emitted from a light source and reflected from an object, and in which the frequency of detection of time-of-flight at a corresponding distance is reflected for each pixel.
  • generating a time-of-flight data group 300 configured by forming a plurality of at predetermined distance intervals; detecting the boundary of an object based on the time-of-flight data group 300; and based on the detected boundary of the object and correcting the time-of-flight data set 300 using the time-of-flight data set 300.
  • Time-of-flight data generated based on time-of-flight detected based on reflected light emitted from a light source and reflected from an object and reflecting, for each pixel, the frequency of detection of the time-of-flight at a corresponding distance is a predetermined distance.
  • a distance data generation unit that generates a time-of-flight data group that is configured by forming a plurality of data for each interval; an object boundary detection unit that detects a boundary of an object based on the time-of-flight data group; and a correction unit that corrects the time-of-flight data group based on the detected boundary of the object.
  • the object boundary detection unit detects the boundary of the object by detecting an area where the detection frequency is unsaturated near the area where the detection frequency is saturated.
  • the object boundary detection unit detects the boundary of the object based on an average detection frequency of the unsaturated regions.
  • the correcting unit corrects the time-of-flight data group by replacing the detection frequency of a region outside and near the boundary of the detected object with the detection frequency of a region where the reflected light does not reach.
  • the information processing device according to any one of (3).
  • the correction unit corrects the time-of-flight data group by filtering.
  • Time-of-flight data generated based on time-of-flight detected based on reflected light emitted from a light source and reflected from an object and reflecting, for each pixel, the frequency of detection of the time-of-flight at a corresponding distance is a predetermined distance.
  • generating a time-of-flight data group configured by forming a plurality of time-of-flight data groups for each interval; detecting a boundary of an object based on the set of time-of-flight data; correcting the set of time-of-flight data based on the detected object boundaries.
  • distance measuring device 10 light source unit 20 light receiving unit 100 information processing device 110 distance data generation unit 120 object boundary detection unit 121 object detection unit 122, 125 non-saturated area detection unit 123, 127, 129 boundary detection unit 124 second object detection Section 126 Foreground/Background Determination Section 128 Average Detection Frequency Generation Section 140 Correction Section 141 Classification Section 142 Restoration Section 150 Distance Image Generation Section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本開示では、距離の測定精度の低下を防ぐ情報処理装置及び情報処理方法を提案する。　本開示の情報処理装置（１００）は、距離データ生成部（１１０）と、物体境界検出部（１２０）と、補正部（１４０）とを有する。距離データ生成部（１１０）は、光源（１０）から出射されて被写体（対象物８０１）から反射された反射光に基づいて検出された飛行時間に基づいて生成されて、対応する距離における上記飛行時間の検出頻度が画素（３１１）毎に反映された飛行時間データ（３１０）が所定の距離間隔（Δｄ）毎に複数形成されて構成された飛行時間データ群（３００）を生成する。物体境界検出部（１２０）は、上記飛行時間データ群（３００）に基づいて物体の境界を検出する。補正部（１４０）は、上記検出された物体の境界に基づいて上記飛行時間データ群（３００）を補正する。

Description

情報処理装置及び情報処理方法
　本開示は、情報処理装置及び情報処理方法に関する。
　対象物に光を照射し、対象物により反射された反射光を受光して光の飛行時間を検出することにより対象物までの距離を測定するＴｏＦ（Time　of　Flight）法により、対象物までの距離を測定する距離測定装置が使用されている。この測距装置において、光源にレーザダイオードを使用するとともにレーザダイオードの出力を調整して精度の劣化を防ぐ測距装置が提案されている（例えば、特許文献１参照）。
特開２０１７－０２０８４１号公報
　しかしながら、上記の従来技術では、対象物からの反射光が測距装置の受光部に届くまでに受けた大気中の散乱や受光部に配置されたレンズＭＴＦ（Modulation　Transfer　Function）によるぼけの影響を取り除くことをしていない。このため、光の散乱による距離の測距精度が低下するという問題がある。
　そこで、本開示では、距離の測定精度の低下を防ぐ情報処理装置及び情報処理方法を提案する。
　本開示に係る情報処理装置は、距離データ生成部と、物体境界検出部と、補正部とを有する。距離データ生成部は、光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における上記飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群を生成する。物体境界検出部は、上記飛行時間データ群に基づいて物体の境界を検出する。補正部は、上記検出された物体の境界に基づいて上記飛行時間データ群を補正する。
　本開示に係る情報処理方法は、光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における上記飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群を生成することと、上記飛行時間データ群に基づいて物体の境界を検出することと、上記検出された物体の境界に基づいて上記飛行時間データ群を補正することとを含む。
本開示の実施形態に係る測距装置の構成例を示す図である。 本開示の実施形態に係る飛行時間データ群の一例を示す図である。 本開示の実施形態に係る飛行時間データを説明する図である。 本開示の実施形態に係る飛行時間ヒストグラムの一例を示す図である。 本開示の実施形態に係る飛行時間データを説明する図である。 本開示の実施形態に係る測距の一例を示す図である。 本開示の実施形態に係る測距の一例を示す図である。 本開示の第１の実施形態に係る物体境界検出部の構成例を示す図である。 本開示の第１の実施形態に係る物体境界検出の一例を示す図である。 本開示の第１の実施形態に係る物体境界検出の一例を示す図である。 本開示の第１の実施形態に係る物体境界検出の一例を示す図である。 本開示の第１の実施形態に係る物体境界検出の一例を示す図である。 本開示の第１の実施形態に係る補正の一例を示す図である。 本開示の第１の実施形態に係る情報処理の処理手順の一例を示す図である。 本開示の第１の実施形態に係る物体領域検出処理の処理手順の一例を示す図である。 本開示の第１の実施形態に係る物体境界検出処理の処理手順の一例を示す図である。 本開示の第２の実施形態に係る物体境界検出部の構成例を示す図である。 本開示の第２の実施形態に係る物体の検出の一例を示す図である。 本開示の第２の実施形態に係る前景背景の判定の一例を示す図である。 本開示の第２の実施形態に係る物体境界検出の一例を示す図である。 本開示の第３の実施形態に係る物体境界検出部の構成例を示す図である。 本開示の第４の実施形態に係る補正部の構成例を示す図である。 本開示の第４の実施形態に係る分類及びフィルタ処理の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
　（１．第１の実施形態）
　［測距装置の構成］
　図１は、本開示の実施形態に係る測距装置の構成例を示す図である。同図は、測距装置１の構成例を表すブロック図である。測距装置１は、対象物までの距離を測定する装置であり、対象物に光を出射して対象物により反射された光を検出し、対象物への光の出射から反射光の入射までの時間である飛行時間を計時することにより、対象物までの距離を測定する。同図は、対象物８０１までの距離を測定する場合を表したものである。同図において、測距装置１は、対象物８０１に出射光８０２を照射し、反射光８０３を検出する。
　光源部１０は、対象物に出射光（出射光８０２）を出射するものである。この光源部１０には、例えば、レーザダイオードを使用することができる。
　受光部２０は、対象物からの反射光（反射光８０３）を検出するものである。この受光部２０は、反射光を検出する受光素子を有する複数の受光画素が行列形状に配置された画素アレイ部を備える。この受光素子には、ＳＰＡＤ（Single　Photon　Avalanche　Diode）を使用することができる。また、受光部２０は、飛行時間の検出頻度を所定の時間幅の階級毎の度数として表すヒストグラムを受光画素毎に生成し、測距データとして出力する。このヒストグラムは、複数の出射光の出射に伴う複数の反射光の検出頻度を積算することにより形成される。なお、受光部２０には、反射光を集光するレンズを配置することができる。
　測距制御部３０は、光源部１０及び受光部２０を制御して測距を行わせるものである。この測距制御部３０は、光源部１０にレーザ光を出射させるとともに、出射のタイミングを受光部２０に対して通知する。この通知に基づいて受光部２０は、飛行時間を測定する。
　情報処理装置１００は、受光部２０から出力される測距データを処理するものである。同図の情報処理装置１００は、測距データから距離画像を生成して出力する。ここで、距離画像は、距離情報が画像の画素毎に反映された画像である。例えば、距離に応じて色分けされた画像が距離画像に該当する。
　情報処理装置１００は、距離データ生成部１１０と、記憶部１３０と、物体境界検出部１２０と、補正部１４０と、距離画像生成部１５０とを備える。
　距離データ生成部１１０は、受光部２０から出力される測距データから飛行時間データ群を生成するものである。ここで、飛行時間データ群は、飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成されたデータ群である。飛行時間データ群の詳細については後述する。距離データ生成部１１０は、生成した飛行時間データ群を物体境界検出部１２０及び記憶部１３０に対して出力する。
　記憶部１３０は、距離データ生成部１１０から出力される飛行時間データ群を保持するものである。
　物体境界検出部１２０は、距離データ生成部１１０から出力される飛行時間データ群に基づいて物体の境界を検出するものである。物体境界検出部１２０の詳細については後述する。
　補正部１４０は、物体境界検出部１２０により検出された物体の境界に基づいて飛行時間データ群を補正するものである。同図の補正部１４０は、記憶部１３０に保持された飛行時間データ群を補正して距離画像生成部１５０に対して出力する。補正の詳細については後述する。
　距離画像生成部１５０は、補正部１４０により補正された飛行時間データに基づいて上述の距離画像を生成するものである。生成された距離画像は、外部の機器等に出力される。
　［飛行時間データ群の構成］
　図２Ａは、本開示の実施形態に係る飛行時間データ群の一例を示す図である。同図の飛行時間データ群３００は、複数の飛行時間データ３１０を有する。この飛行時間データ群３００に含まれる飛行時間データ３１０は、時系列に配置される。また、それぞれの飛行時間データ３１０の画素には、飛行時間ヒストグラムの対応する階級幅（ビン：bins）の検出頻度が格納される。飛行時間データ群３００は、Ｘ、Ｙ及び奥行き方向に広がりを持つ３次元データである。
　図２Ｂは、本開示の実施形態に係る飛行時間データを説明する図である。飛行時間データ３１０には、複数の画素のデータが格納される。同図の画素３１１には、当該画素に対応する受光部２０における画素のヒストグラムの当該飛行時間データ３１０に対応する階級の頻度が格納される。この階級の頻度は、飛行時間の検出頻度に該当する。
　［飛行時間ヒストグラムの構成］
　図３Ａは、本開示の実施形態に係る飛行時間ヒストグラムの一例を示す図である。同図は、受光部２０が生成するヒストグラムの一例を表す図である。同図のヒストグラムは、階級幅Δｄの検出頻度の度数３１２が飛行時間の検出範囲に亘って配置されたグラフである。同図の横軸は、図２Ａに表した飛行時間データ群３００の奥行き方向を表す。この奥行き方向は、飛行時間に相当する。また、同図には、折れ線により表したヒストグラム３１３を更に記載した。
　図３Ｂは、本開示の実施形態に係る飛行時間データを説明する図である。同図は、飛行時間データ群３００のうちの飛行時間データ３１０を抜き出して記載したものである。飛行時間データ３１０の画素３１１に、ヒストグラム３１３の１つの階級の検出頻度が格納される。このような画素がＸ及びＹ方向に複数配置される。また、飛行時間データ３１０と同様の飛行時間データが奥行き方向に時系列に配置されて飛行時間データ群３００が構成される。
　［測距］
　図４Ａは、本開示の実施形態に係る測距の一例を示す図である。同図は、対象物３２０、３２１及び３２２の測距を行う場合の例を表したものである。同図の手前側から距離を測定する場合を想定する。対象物３２１及び３２２は、対象物３２０から距離ｄだけ手前に配置される。ここで、同図の白抜きの矢印の位置の飛行時間データ３１０を検討する。
　図４Ｂは、本開示の実施形態に係る測距の一例を示す図である。同図は、上述の白抜きの矢印位置の飛行時間データ３１０のうちの特定のＹ軸の値のデータを抜き出したものである。同図の横軸は、Ｘ軸を表す。また、同図の縦軸は、検出頻度を表す。また、同図の破線の矩形は、対象物３２１及び３２２の位置を表す。同図のグラフ３２６は、Ｘ座標に対する検出頻度を表すグラフである。なお、同図の「環境光頻度」は、飛行時間ヒストグラムにおいて、反射光が到達しない階級の頻度を表す。例えば、受光部２０が太陽光等の環境光を受光して生成したヒストグラムの検出頻度が環境光頻度に該当する。
　グラフ３２６における領域３２３、３２４及び３２５は、可視光画像における「ぼけ」に相当する領域である。この領域は、本来、環境光頻度と同じ検出頻度になる領域である。しかし、対象物３２１及び３２２等の反射光が散乱して散乱光となり、この散乱光を受光部２０が検出することにより生じた誤差に相当する領域である。なお、以下この領域のデータをぼけと称する。
　このようなぼけを生じると、対象物３２１に対して異なる形状の測距値が検出されることとなり、測距値に誤差を生じる。そこで、本開示の情報処理装置１００は、このぼけを除去して測定値の誤差を低減する。
　［物体境界検出部の構成］
　図５は、本開示の第１の実施形態に係る物体境界検出部の構成例を示す図である。同図は、物体境界検出部１２０の構成例を表す図である。同図の物体境界検出部１２０は、物体検出部１２１と、非飽和領域検出部１２２と、境界検出部１２３とを備える。
　物体検出部１２１は、飛行時間データ群３００から物体の領域を検出するものである。この物体検出部１２１は、図３Ｂにおいて説明したヒストグラム３１３の突部（ピーク）部分を検出することにより物体の領域を検出することができる。
　非飽和領域検出部１２２は、物体検出部１２１により検出された物体の近傍の検出頻度が非飽和の領域を検出するものである。前述のように受光部２０は、複数の出射光の出射に伴う複数の反射光の検出頻度を積算することによりヒストグラムを生成する。検出頻度の積算により、検出頻度が上限に達すると当該階級の検出頻度は、飽和状態になる。非飽和領域検出部１２２は、飽和に達しない状態である非飽和の領域を検出し、物体境界検出部１２０に対して出力する。
　境界検出部１２３は、非飽和領域検出部１２２により検出された非飽和の領域に基づいて物体の境界を検出するものである。検出した物体の境界は、補正部１４０に対して出力される。
　［物体境界の検出］
　図６Ａ及び６Ｂは、本開示の第１の実施形態に係る物体境界検出の一例を示す図である。図６Ａの対象物３２１を例に挙げて物体の境界の検出を説明する。図６Ａは、対象物３２１を上から見た図である。同図の点線「ｄ０」乃至「ｄ６」は、対象物３２１の前面近傍の複数の飛行時間データ３１０の奥行き方向の位置を表したものである。これら「ｄ０」乃至「ｄ６」の位置におけるＸ軸データを図６Ｂに表す。同図の横軸は、Ｘ軸を表す。同図の縦軸は、検出頻度を表す。また、同図のＸ軸に水平な破線は、飽和領域の境界を表す。また、同図のＸ軸に垂直な破線は、対象物３２１の物体境界及びぼけ領域の範囲を表す。
　同図の破線のグラフ３３０は、ｄ０の検出頻度のグラフを表す。同図の点線のグラフ３３１は、ｄ１の検出頻度のグラフを表す。同図の一点鎖線のグラフ３３１は、ｄ２の検出頻度のグラフを表す。同図の実線のグラフ３３３は、ｄ３の検出頻度のグラフを表す。同図の太線の破線のグラフ３３４は、ｄ４の検出頻度のグラフを表す。同図の太線の点線のグラフ３３５は、ｄ５の検出頻度のグラフを表す。同図の太線の実線のグラフ３３６は、ｄ６の検出頻度のグラフを表す。
　グラフ３３０及び３３１は、対象物３２１から離れた飛行時間データ３１０であるため、環境光頻度に相当する検出頻度となる。当該領域は、飽和しない不飽和の領域である。グラフ３３４乃至３３６は、対象物３２１に係る飛行時間データ３１０であるため、対象物３２１に係る領域が略飽和した状態になる。また、グラフ３３４乃至３３６は、物体の境界近傍の外側近傍にぼけを生じる。同図のグラフ３３２及び３３３は、非飽和の領域に相当する。これら、グラフ３３２及び３３３の検出頻度のデータを使用して物体の境界を検出する。
　図７Ａは、本開示の第１の実施形態に係る物体境界検出の一例を示す図である。図６Ｂのグラフ３３３を例に挙げて物体の境界の検出を説明する。まず、注目領域を設定する。この注目領域は、物体の境界近傍の領域であり、物体の境界が含まれる領域である。この注目領域は、飽和状態のグラフ３３４等における飽和した領域の端部に基づいて検出することができる。例えば、領域の端部に対して５タップ以内の領域を注目領域として設定することができる。
　次に、注目領域のグラフ３３３に対応する「ｄ３」の飛行時間データ３１０のうち最大の検出頻度及び最小の検出頻度を検出し、これらの平均を算出する。この平均とグラフ３３３とが交わる位置を物体の境界として検出することができる。同図の、黒丸は、物体の外側の領域に係るデータとなる。一方、白抜きの丸は、物体に含まれる領域のデータとなる。なお、境界検出部１２３は、「ｄ３」等の飛行時間データ３１０に物体の境界を示すラベルを付加することができる。以下、このラベルを空間ラベルと称する。
　図７Ｂは、本開示の第１の実施形態に係る物体境界検出の一例を示す図である。同図は、空間ラベル３５０の一例を表す図である。空間ラベル３５０は、注目領域の検出頻度のうち物体に含まれる領域を表すものである。空間ラベル３５０の値「１」の部分が物体に含まれる領域を表す。一方、空間ラベル３５０の値「０」の部分は、ぼけ領域を表す。
　［補正］
　図８は、本開示の第１の実施形態に係る補正の一例を示す図である。同図は、補正部１４０の飛行時間データ群３００の補正を表す図である。補正部１４０は、境界検出部１２３により検出された物体の境界に基づいて補正を行う。具体的には、補正部１４０は、前述の注目領域における物体の境界の外側の領域をぼけ領域とし、当該ぼけ領域における飛行時間データ３１０の検出頻度を環境光頻度と置き換えることにより補正を行う。同図においては、補正部１４０は、グラフ３３０に該当する「ｄ０」の飛行時間データ３１０の検出頻度を環境光頻度として検出する。この環境光頻度を「ｄ１」乃至「ｄ６」のぼけ領域のデータと置き換える。これにより、物体の境界のぼけを除去することができる。
　[処理手順]
　図９は、本開示の第１の実施形態に係る情報処理の処理手順の一例を示す図である。同図は、情報処理装置１００の処理手順を表す流れ図である。まず、距離データ生成部１１０が飛行時間データ群を生成する（ステップＳ１００）。次に、物体検出部１２１が物体の領域を検出するための物体領域検出処理を行う（ステップＳ１１０）。次に、非飽和領域検出部１２２が、物体の領域において注目領域を設定する（ステップＳ１０２）。次に、非飽和領域検出部１２２が非飽和の検出頻度領域を検出する（ステップＳ１０３）。これは、図６Ｂにおいて説明した方法により行うことができる。次に、非飽和領域検出部１２２が、物体の境界を検出するための物体境界検出の処理を行う（ステップＳ１２０）。
　次に、補正部１４０が検出された境界に基づいて、飛行時間データ３１０を補正する（ステップＳ１０６）。次に、距離画像生成部１５０が、補正された飛行時間データ群３００に基づいて距離画像を生成する（ステップＳ１０６）。
　[物体領域検出処理手順]
　図１０は、本開示の第１の実施形態に係る物体領域検出処理の処理手順の一例を示す図である。まず、物体検出部１２１が飛行時間データ群３００からピークの領域を検出する（ステップＳ１１１）。次に、物体検出部１２１は、検出したピークの検出頻度から環境光頻度を減算し、所定の閾値と比較する。その結果、減算結果が閾値より小さい場合は（ステップＳ１１２，Ｎｏ）、処理を終了する。一方、減算結果が閾値より大きい場合は（ステップＳ１１２，Ｙｅｓ）、物体検出部１２１は、ピークの領域を物体の領域として検出する（ステップＳ１１３）。その後、物体検出部１２１は、物体領域検出処理を終了する。
　[物体境界検出処理手順]
　図１１は、本開示の第１の実施形態に係る物体境界検出処理の処理手順の一例を示す図である。まず、非飽和領域検出部１２２が非飽和領域の飛行時間データ３１０の平均値を算出する（ステップＳ１２１）。これは、図７Ａにおいて説明した方法により行うことができる（ステップＳ１２１）。次に、注目領域の飛行時間データ３１０について検出頻度と平均値とを比較する。その結果、検出頻度が平均値より大きい場合（ステップＳ１２２，Ｙｅｓ）、該当する空間ラベルを値「１」に設定し（ステップＳ１２３）、ステップＳ１２５の処理に移行する。
　一方、検出頻度が平均値より小さい場合（ステップＳ１２２，Ｎｏ）、該当する空間ラベルを値「０」に設定し（ステップＳ１２４）、ステップＳ１２５の処理に移行する。ステップＳ１２５において、非飽和領域検出部１２２は、処理が終了したか否かを判断する（ステップＳ１２５）。全ての検出頻度において処理を行った場合には（ステップＳ１２５，Ｙｅｓ）物体境界検出処理を終了する。一方、全ての検出頻度において処理を行っていない場合には（ステップＳ１２５，Ｎｏ）、再度ステップＳ１２２の処理を行う。
　このように、本開示の第１の実施形態の情報処理装置１００は、物体の境界の外側近傍のぼけ領域を検出して飛行時間検出頻度を補正する。これにより、測距画像における物体の形状の誤差を低減することができ、測距の精度を向上させることができる。
　（２．第２の実施形態）
　上述の第１の実施形態の情報処理装置１００は、飛行時間データ群３００から単独の物体を検出していた。これに対し、本開示の第２の実施形態の情報処理装置１００は、奥行き方向に重なる複数の物体を検出する点で、上述の第１の実施形態と異なる。
　［測距装置の構成］
　図１２は、本開示の第２の実施形態に係る物体境界検出部の構成例を示す図である。同図は、物体境界検出部１２０の構成例を表す図である。同図の物体境界検出部１２０は、境界検出部１２３の代わりに境界検出部１２７を備え、第２の物体検出部１２４、非飽和領域検出部１２５及び前景背景判定部１２６を更に備える点で、図１の物体境界検出部１２０と異なる。
　第２の物体検出部１２４は、物体検出部１２１により検出された物体と奥行き方向に重なる物体を検出するものである。第２の物体検出部１２４により検出された物体は、非飽和領域検出部１２５に対して出力される。
　非飽和領域検出部１２５は、第２の物体検出部１２４により検出された物体の非飽和領域を検出するものである。検出された非飽和領域は、境界検出部１２３に対して出力される。なお、非飽和領域検出部１２５は、非飽和領域検出部１２２と同様の構成を採ることができる。
　前景背景判定部１２６は、物体検出部１２１及び第２の物体検出部１２４によりそれぞれ検出された物体の奥行き方向の位置を判定するものである。ここで、手前側の物体を前景と称し、奥側の物体を背景と称する。前景背景判定部１２６は、物体検出部１２１及び第２の物体検出部１２４によりそれぞれ検出された物体が前景か背景かを判定するものである。判定結果は、境界検出部１２３に対して出力される。
　境界検出部１２７は、非飽和領域検出部１２２及び非飽和領域検出部１２５から出力される非飽和領域と前景背景判定部１２６から出力される前景及び背景の判定結果とに基づいて物体の境界を検出するものである。
　［物体の検出］
　図１３は、本開示の第２の実施形態に係る物体の検出の一例を示す図である。同図は、物体検出部１２１及び第２の物体検出部１２４における物体の検出の一例を表す図である。同図には、図３Ａのヒストグラム３１３と同様に、飛行時間データ群３００における特定の画素の検出頻度のヒストグラム（ヒストグラム３４０）を表した。このヒストグラム３４０は、２つのピーク（ピーク３４１及びピーク３４２）を有するヒストグラムである。物体検出部１２１は、これらピーク３４１及びピーク３４２の何れかに基づいて物体を検出する。第２の物体検出部１２４は、物体検出部１２１により検出されなかったピークに基づいて物体（第２の物体）を検出する。
　［前景背景の判定］
　図１４Ａは、本開示の第２の実施形態に係る前景背景の判定の一例を示す図である。同図は、前景背景判定部１２６における前景背景の判定の一例を表す図である。前景背景判定部１２６には、物体検出部１２１及び第２の物体検出部１２４から物体の情報が入力される。前景背景判定部１２６は、これらの情報に基づいて前景及び背景を判定する。同図において、第１のピーク及び第２のピークは、それぞれ物体検出部１２１及び第２の物体検出部１２４により検出されたヒストグラムのピークである。
　同図に表したように、前景背景判定部１２６は、それぞれの物体までの距離に基づいて前景及び背景を検出する。また、前景背景判定部１２６は、物体検出部１２１及び第２の物体検出部１２４によりそれぞれ検出された物体の情報に判定結果を付加して境界検出部１２７に出力する。具体的には、判定結果を表す空間ラベルをそれぞれの物体に付加する。
　［物体境界の検出］
　図１４Ｂは、本開示の第２の実施形態に係る物体境界検出の一例を示す図である。境界検出部１２７は、物体検出部１２１及び第２の物体検出部１２４によりそれぞれ検出された物体の空間ラベルに基づいて、前景及び背景を判断する。前景空間ラベル及び背景空間ラベルが何れも値「０」の場合は、環境光頻度と判断する。前景空間ラベル及び背景空間ラベルの何れかが値「１」の場合は、当該空間ラベルに基づいて前景及び背景を判断する。前景空間ラベル及び背景空間ラベルが何れも値「１」の場合は、背景と判断する。
　境界検出部１２７は、これら複数の物体の境界を検出する。複数の物体がＸＹ座標において近接する場合であっても、奥行き方向の位置関係である前景及び背景の情報を使用して物体の境界を検出する。
　これ以外の情報処理装置１００の構成は本開示の第１の実施形態における情報処理装置１００の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の情報処理装置１００は、複数の物体が平面的に近接する場合であっても、それぞれの物体の境界を検出することができる。
　（３．第３の実施形態）
　上述の第２の実施形態の情報処理装置１００は、前景及び背景を検出していた。これに対し、本開示の第３の実施形態の情報処理装置１００は、検出頻度の平均値を使用して境界を検出する点で、上述の第１の実施形態と異なる。
　［測距装置の構成］
　図１５は、本開示の第３の実施形態に係る物体境界検出部の構成例を示す図である。同図は、物体境界検出部１２０の構成例を表す図である。同図の物体境界検出部１２０は、境界検出部１２７の代わりに境界検出部１２９を備え、平均検出頻度生成部１２８を更に備える点で、図１２の情報処理装置１００と異なる。
　平均検出頻度生成部１２８は、平均検出頻度を生成するものである。ここで、平均検出頻度は、飛行時間データ群３００の画素毎の検出頻度の奥行き方向の平均値により構成されるデータである。検出頻度のノイズが大きい場合に、平均検出頻度を環境光頻度として使用することができる。生成された平均検出頻度は、境界検出部１２９に対して出力される。
　境界検出部１２９は、平均検出頻度生成部１２８から出力された平均検出頻度を環境光頻度として使用し、物体の境界を検出する。具体的には、平均検出頻度に基づいて非飽和の検出頻度を検出する。
　これ以外の情報処理装置１００の構成は本開示の第２の実施形態における情報処理装置１００の構成と同様であるため、説明を省略する。
　このように、本開示の第３の実施形態の情報処理装置１００は、平均検出頻度を生成して環境光頻度として使用する。これにより、検出頻度のノイズが大きい場合であっても、物体の境界の検出精度の低下を防ぐことができる。
　（４．第４の実施形態）
　上述の第１の実施形態の情報処理装置１００は、ぼけ領域の検出頻度を環境光頻度で置き換えることにより補正を行っていた。これに対し、本開示の第４の実施形態の情報処理装置１００は、フィルタを使用してぼけ領域の検出頻度を復元する点で、上述の第１の実施形態と異なる。
　［測距装置の構成］
　図１６は、本開示の第４の実施形態に係る補正部の構成例を示す図である。同図は、補正部１４０の構成例を表す図である。同図の補正部１４０は、分類部１４１と、復元部１４２と、フィルタ係数保持部１４３とを備える。
　分類部１４１は、注目領域における物体の近傍の飛行時間データ３１０を分類するものである。この分類部１４１は、分類の結果を復元部１４２に対して出力する。分類部１４１は、飛行時間データ３１０の飽和の状態に基づいてクラス毎に分類を行うことができる。具体的には、分類部１４１は、飽和状態の検出頻度の飛行時間データ３１０に対してクラス番号のラベル「１１」を付加する。また、分類部１４１は、非飽和の検出頻度の飛行時間データ３１０に対してクラス番号のラベル「０１」を付加する。また、分類部１４１は、それ以外の飛行時間データ３１０に対してクラス番号のラベル「００」を付加する。
　復元部１４２は、ぼけ領域を含む物体の境界近傍のデータを復元するものである。この復元部１４２は、奥行き方向の飛行時間データ３１０に対してフィルタ処理を行うことにより、データを復元する。また、復元部１４２は、分類部１４１による分類結果に応じてフィルタ処理を選択する。
　復元部１４２は、例えば、クラス番号のラベル「１１」の飛行時間データ３１０に対して非線形フィルタによるフィルタ処理を行う。また、例えば、復元部１４２は、クラス番号のラベル「０１」の飛行時間データ３１０に対して線形フィルタによるフィルタ処理を行う。また、例えば、復元部１４２は、クラス番号のラベル「００」の飛行時間データ３１０に対してノイズ抑制フィルタによるフィルタ処理を行う。これらのフィルタ処理により、復元部１４２は、ぼけ領域を含む物体の近傍のデータを復元することができる。この復元の処理により、ぼけ領域の飛行時間データ３１０を補正することができる。
　フィルタ係数保持部１４３は、復元部１４２におけるフィルタ処理に適用するフィルタ係数を保持するものである。
　［分類及びフィルタ処理］
　図１７は、本開示の第４の実施形態に係る分類及びフィルタ処理の一例を示す図である。同図は、分類部１４１による飛行時間データの分類及び対応するフィルタ処理を表したものである。
　これ以外の情報処理装置１００の構成は本開示の第１の実施形態における情報処理装置１００の構成と同様であるため、説明を省略する。
　このように、本開示の第４の実施形態の情報処理装置１００は、フィルタ処理によりぼけ領域の飛行時間データ３１０を復元して補正する。これにより、処理を簡略化することができる。
　（効果）
　情報処理装置１００は、距離データ生成部１１０と、物体境界検出部１２０と、補正部１４０とを有する。距離データ生成部１１０は、光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群３００を生成する。物体境界検出部１２０は、飛行時間データ群３００に基づいて物体の境界を検出する。補正部１４０は、検出された物体の境界に基づいて飛行時間データ群３００を補正する。これにより、物体からの反射光が受光部２０に届くまでに生じた光の散乱により変化した物体の境界の近傍のデータを補正することができる。
　また、物体境界検出部１２０は、検出頻度が飽和状態の領域の近傍の検出頻度が非飽和の領域を検出することにより物体の境界を検出してもよい。これにより、検出頻度の飽和の影響を除去することができる。
　また、物体境界検出部１２０は、非飽和の領域の検出頻度の平均に基づいて物体の境界を検出してもよい。
　また、補正部１４０は、検出された物体の境界の外側近傍の領域の検出頻度を反射光が到達しない領域の検出頻度に置き換えることにより飛行時間データ群３００を補正してもよい。これにより、本来の検出頻度を復元することができる。
　また、補正部１４０は、フィルタ処理により飛行時間データ群３００を補正してもよい。これにより、本来の検出頻度を復元することができる。
　また、補正された飛行時間データ群３００に基づいて距離画像を生成する距離画像生成部を更に有してもよい。これにより、距離画像を生成することができる。
　情報処理方法は、光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群３００を生成することと、飛行時間データ群３００に基づいて物体の境界を検出することと、検出された物体の境界に基づいて飛行時間データ群３００を補正することとを含む。これにより、物体からの反射光が受光部２０に届くまでに生じた光の散乱により変化した物体の境界の近傍のデータを補正することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における前記飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群を生成する距離データ生成部と、
　前記飛行時間データ群に基づいて物体の境界を検出する物体境界検出部と、
　前記検出された物体の境界に基づいて前記飛行時間データ群を補正する補正部と
を有する情報処理装置。
（２）
　前記物体境界検出部は、前記検出頻度が飽和状態の領域の近傍の前記検出頻度が非飽和の領域を検出することにより前記物体の境界を検出する
前記（１）に記載の情報処理装置。
（３）
　前記物体境界検出部は、前記非飽和の領域の検出頻度の平均に基づいて前記物体の境界を検出する
前記（２）に記載の情報処理装置。
（４）
　前記補正部は、前記検出された物体の境界の外側近傍の領域の前記検出頻度を前記反射光が到達しない領域の前記検出頻度に置き換えることにより前記飛行時間データ群を補正する
前記（１）から（３）の何れかに記載の情報処理装置。
（５）
　前記補正部は、フィルタ処理により前記飛行時間データ群を補正する
前記（１）から（３）の何れかに記載の情報処理装置。
（６）
　前記補正された飛行時間データ群に基づいて距離画像を生成する距離画像生成部
を更に有する前記（１）に記載の情報処理装置。
（７）
　光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における前記飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群を生成することと、
　前記飛行時間データ群に基づいて物体の境界を検出することと、
　前記検出された物体の境界に基づいて前記飛行時間データ群を補正することと
を含む情報処理方法。
　１　測距装置
　１０　光源部
　２０　受光部
　１００　情報処理装置
　１１０　距離データ生成部
　１２０　物体境界検出部
　１２１　物体検出部
　１２２、１２５　非飽和領域検出部
　１２３、１２７、１２９　境界検出部
　１２４　第２の物体検出部
　１２６　前景背景判定部
　１２８　平均検出頻度生成部
　１４０　補正部
　１４１　分類部
　１４２　復元部
　１５０　距離画像生成部

Claims (7)

  1. 　光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における前記飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群を生成する距離データ生成部と、
    　前記飛行時間データ群に基づいて物体の境界を検出する物体境界検出部と、
    　前記検出された物体の境界に基づいて前記飛行時間データ群を補正する補正部と
    　を有する情報処理装置。
  2. 　前記物体境界検出部は、前記検出頻度が飽和状態の領域の近傍の前記検出頻度が非飽和の領域を検出することにより前記物体の境界を検出する請求項１に記載の情報処理装置。
  3. 　前記物体境界検出部は、前記非飽和の領域の検出頻度の平均に基づいて前記物体の境界を検出する請求項２に記載の情報処理装置。
  4. 　前記補正部は、前記検出された物体の境界の外側近傍の領域の前記検出頻度を前記反射光が到達しない領域の前記検出頻度に置き換えることにより前記飛行時間データ群を補正する請求項１に記載の情報処理装置。
  5. 　前記補正部は、フィルタ処理により前記飛行時間データ群を補正する請求項１に記載の情報処理装置。
  6. 　前記補正された飛行時間データ群に基づいて距離画像を生成する距離画像生成部を更に有する請求項１に記載の情報処理装置。
  7. 　光源から出射されて被写体から反射された反射光に基づいて検出された飛行時間に基づいて生成されて対応する距離における前記飛行時間の検出頻度が画素毎に反映された飛行時間データが所定の距離間隔毎に複数形成されて構成された飛行時間データ群を生成することと、
    　前記飛行時間データ群に基づいて物体の境界を検出することと、
    　前記検出された物体の境界に基づいて前記飛行時間データ群を補正することと
    　を含む情報処理方法。
PCT/JP2022/043549 2021-12-06 2022-11-25 情報処理装置及び情報処理方法 WO2023106129A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-197830 2021-12-06
JP2021197830 2021-12-06

Publications (1)

Publication Number Publication Date
WO2023106129A1 true WO2023106129A1 (ja) 2023-06-15

Family

ID=86730197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043549 WO2023106129A1 (ja) 2021-12-06 2022-11-25 情報処理装置及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2023106129A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130086A (ja) * 2012-12-28 2014-07-10 Panasonic Corp 距離画像センサ、処理装置、プログラム
US20190324126A1 (en) * 2018-04-20 2019-10-24 Omnivision Technologies, Inc. Correlated time-of-flight sensor
JP2020139810A (ja) * 2019-02-27 2020-09-03 ソニーセミコンダクタソリューションズ株式会社 測定装置および測距装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130086A (ja) * 2012-12-28 2014-07-10 Panasonic Corp 距離画像センサ、処理装置、プログラム
US20190324126A1 (en) * 2018-04-20 2019-10-24 Omnivision Technologies, Inc. Correlated time-of-flight sensor
JP2020139810A (ja) * 2019-02-27 2020-09-03 ソニーセミコンダクタソリューションズ株式会社 測定装置および測距装置

Similar Documents

Publication Publication Date Title
CN111742241B (zh) 光测距装置
CN110709722B (zh) 飞行时间摄像机
US9488596B2 (en) Defect inspection method and device for same
JP6863342B2 (ja) 光測距装置
JP5138119B2 (ja) 物体検出装置および情報取得装置
US20180343381A1 (en) Distance image acquisition apparatus and application thereof
JP7180398B2 (ja) 光測距装置およびその制御方法
JP7420038B2 (ja) 車載の異常検出装置
US10078907B2 (en) Distance measurement apparatus, distance measurement method, and storage medium
JP2009192499A (ja) 距離画像生成装置
US20130022241A1 (en) Enhancing gmapd ladar images using 3-d wallis statistical differencing
JP2019144184A (ja) 光学的測距装置およびその方法
US20210141090A1 (en) Distance measurement device and reliability determination method
WO2023106129A1 (ja) 情報処理装置及び情報処理方法
US11321858B2 (en) Distance image generation device which corrects distance measurement abnormalities
US20220373660A1 (en) Filtering measurement data of an active optical sensor system
US9395182B1 (en) Methods and systems for reducing crosstalk in avalanche photodiode detector arrays
US20130021342A1 (en) Noise reduction and focusing algorithms for gmapd
WO2022209219A1 (ja) 測距装置およびその信号処理方法、並びに、測距システム
CN112887628B (zh) 光探测和测距设备及增加其动态范围的方法
WO2023181881A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR102582334B1 (ko) 화상 처리 방법 및 화상 처리 장치
CN112887627B (zh) 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质
US20240171865A1 (en) Method of generating an image of a pattern on a workpiece
JP2023116244A (ja) 測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904060

Country of ref document: EP

Kind code of ref document: A1