WO2023007795A1 - 信号処理装置および信号処理方法 - Google Patents

信号処理装置および信号処理方法 Download PDF

Info

Publication number
WO2023007795A1
WO2023007795A1 PCT/JP2022/008489 JP2022008489W WO2023007795A1 WO 2023007795 A1 WO2023007795 A1 WO 2023007795A1 JP 2022008489 W JP2022008489 W JP 2022008489W WO 2023007795 A1 WO2023007795 A1 WO 2023007795A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
distance
finding
histogram
predetermined range
Prior art date
Application number
PCT/JP2022/008489
Other languages
English (en)
French (fr)
Inventor
幹修 藤岡
優介 森内
憲一郎 中村
貴之 佐々木
基 三原
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023538231A priority Critical patent/JPWO2023007795A1/ja
Publication of WO2023007795A1 publication Critical patent/WO2023007795A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Definitions

  • the present disclosure relates to a signal processing device and a signal processing method, and more particularly to a signal processing device and a signal processing method capable of correcting deviation of position information of a dToF sensor.
  • a direct ToF type ToF sensor uses a light-receiving element called SPAD (Single Photon Avalanche Diode) for each light-receiving pixel to detect the reflected light of the pulsed light reflected by the object. do.
  • SPAD Single Photon Avalanche Diode
  • the emission of pulsed light and the reception of the reflected light are repeated a predetermined number of times (for example, several times to several hundred times). and calculate the distance to the object from the time-of-flight corresponding to the peak of the histogram.
  • the SN ratio is low and it is difficult to detect the peak position when measuring the distance of a subject with low reflectance or a distant object, or when measuring the distance in an environment such as an outdoor environment where external light has a strong disturbance effect. ing. For this reason, the pulsed light emitted is formed into a spot shape to extend the reach of the pulsed light, in other words, to increase the number of detected reflected lights. Since spot-shaped pulsed light generally becomes sparse pulsed light, the pixels in which the reflected light is detected also become sparse according to the spot diameter and the irradiation area.
  • a portion of adjacent pixels in the pixel array (called multi-pixels) are combined into one large pixel.
  • the light receiving operation is performed in multi-pixel units to generate a histogram.
  • a multi-pixel is formed by an arbitrary number of adjacent pixels such as 2 ⁇ 3, 3 ⁇ 3, 3 ⁇ 6, 3 ⁇ 9, 6 ⁇ 3, 6 ⁇ 6, and 9 ⁇ 9.
  • Ranging sensors such as dToF sensors, for example, generate a 3D object of a subject from moving images shot from multiple viewpoints, and generate a virtual viewpoint image of the 3D object according to an arbitrary viewing position. Used with RGB cameras.
  • ranging sensors such as dToF sensors are used together with RGB cameras.
  • the 3D position information of the distance measurement point acquired by the dToF sensor is associated with the captured image obtained by the RGB camera, calibration errors, distance measurement errors, exposure timing deviations, etc., may cause errors acquired by the dToF sensor. There may be deviations in the position information provided.
  • the present disclosure has been made in view of such a situation, and is intended to enable correction of the deviation of the position information of the dToF sensor.
  • a signal processing device includes an acquisition unit that acquires a distance histogram, which is histogram data of the time of flight of irradiation light at a predetermined ranging point of a ranging sensor, and a positional deviation check of the predetermined ranging point.
  • a determining unit for determining whether or not the predetermined ranging point is a target ranging point; if the predetermined ranging point is a ranging point to be checked for positional deviation, the distance histogram of the predetermined ranging point; Correction processing for correcting the three-dimensional coordinates of the predetermined range-finding point calculated from the range histogram based on the determination result of the degree of similarity of the range-finding points near the predetermined range-finding point to the range histogram. and a correction unit for performing the correction.
  • the signal processing device acquires a distance histogram, which is histogram data of the flight time of irradiation light at a predetermined ranging point of a ranging sensor, and the predetermined ranging point is located at a position It is determined whether or not the distance measuring point is a target of deviation confirmation, and if the predetermined distance measuring point is the target of positional deviation confirmation, the distance histogram of the predetermined distance measuring point and the predetermined executing correction processing for correcting the three-dimensional coordinates of the predetermined range-finding point calculated from the range histogram based on the determination result of the degree of similarity of the range-finding point near the range-finding point to the range histogram.
  • a distance histogram which is histogram data of the flight time of irradiation light at a predetermined ranging point of a ranging sensor, is obtained, and the predetermined ranging point is a ranging point to be checked for positional deviation. and if the predetermined range-finding point is the range-finding point to be checked for positional deviation, the distance histogram of the predetermined range-finding point and the distance measurement in the vicinity of the predetermined range-finding point Correction processing for correcting the three-dimensional coordinates of the predetermined range-finding point calculated from the range histogram is executed based on the determination result of the degree of similarity between the range point and the range histogram.
  • a signal processing device can be realized by causing a computer to execute a program. Also, a program to be executed by a computer to realize the signal processing device of one aspect of the present disclosure can be provided by transmitting via a transmission medium or by recording on a recording medium.
  • the signal processing device may be an independent device or may be a module incorporated into another device.
  • FIG. 1 is a block diagram showing a configuration example of a signal processing system according to a first embodiment of the present disclosure
  • FIG. FIG. 2 is a diagram explaining the operation of the RGB camera and the dToF sensor in FIG. 1; It is a figure explaining a dToF sensor. It is a figure explaining the position gap correction function of this disclosure. It is a figure explaining the peak area of a distance histogram. It is a figure explaining the confirmation object determination processing by a confirmation object determination part. It is a figure explaining the positional deviation correction process of a coordinate correction
  • FIG. 6 is a flowchart for explaining position information calculation processing by the signal processing system of the first embodiment; It is a block diagram showing a configuration example of a second embodiment of the signal processing system of the present disclosure. It is a figure explaining the confirmation object determination processing of a confirmation object determination part. It is a figure explaining the confirmation object determination processing of a confirmation object determination part. It is a block diagram showing a configuration example of hardware of a computer that executes signal processing of the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of a signal processing system according to a first embodiment of the present disclosure.
  • the signal processing system 1 in FIG. 1 consists of an RGB camera 11, a dToF sensor 12, and a signal processing device 13.
  • the signal processing device 13 has a data acquisition section 21 , a distance calculation section 22 , a correction processing section 23 , a storage section 24 and an output section 25 .
  • the correction processing unit 23 includes a confirmation target determination unit 31 and a coordinate correction unit 32 .
  • the RGB camera 11 shoots a predetermined object as a subject, generates an RGB image (a moving image thereof), and supplies it to the signal processing device 13 .
  • the dToF sensor 12 is a ranging sensor that acquires distance information to a subject by the direct ToF method, and acquires distance information to the same object as the object captured by the RGB camera 11 .
  • the relative positional relationship between the RGB camera 11 and the dToF sensor 12 is fixed, and the imaging ranges of the RGB camera 11 and the dToF sensor 12 are calibrated. In other words, the imaging ranges of the RGB camera 11 and the dToF sensor 12 are the same, and the correspondence between each pixel of the RGB camera 11 and the dToF sensor 12 is known.
  • the RGB camera 11 photographs an object OBJ as a subject while moving from one photographing location to another with the passage of time, and generates an RGB image.
  • the dToF sensor 12 moves together with the RGB camera 11, and receives the light reflected by the object OBJ from a plurality of spot lights (irradiation light) emitted by a light emitting source (not shown), thereby obtaining distance information of the object OBJ.
  • a distance histogram is histogram data of the time of flight of illumination light corresponding to the distance to the object OBJ.
  • the dToF sensor 12 will be briefly described with reference to FIG.
  • the dToF sensor 12 uses a light-receiving element called SPAD (Single Photon Avalanche Diode) for each light-receiving pixel, and detects the reflected light that is returned after the pulsed light as the irradiation light is reflected by the object.
  • SPAD Single Photon Avalanche Diode
  • the dToF sensor 12 repeats the emission of pulsed light and the reception of the reflected light a predetermined number of times (for example, several times to several hundred times) in order to suppress noise due to ambient light and the like, thereby shortening the flight time of the pulsed light.
  • a unit for outputting the distance histogram once for the same imaging range as the RGB camera 11 is referred to as one frame after the RGB camera 11 .
  • the SN ratio is low and it is difficult to detect the peak position when measuring the distance of a subject with low reflectance or a distant object, or when measuring the distance in an environment such as an outdoor environment where external light has a strong disturbance effect. ing. For this reason, the pulsed light emitted is formed into a spot shape to extend the reach of the pulsed light, in other words, to increase the number of detected reflected lights. Since spot-shaped pulsed light generally becomes sparse pulsed light, the pixels in which the reflected light is detected also become sparse according to the spot diameter and the irradiation area.
  • points corresponding to them are also referred to as distance measuring points.
  • the RGB camera 11 in FIG. 1 generates RGB images (moving images thereof) obtained by constantly photographing a predetermined object, which is a subject, and supplies them to the signal processing device 13 .
  • the dToF sensor 12 converts a distance histogram obtained by receiving the reflected light of the spot light SP irradiated to a predetermined object, which is a subject, reflected by the object, and the camera posture at the time when the distance histogram was acquired, to a signal processing device. 13.
  • a distance histogram is composed of pixel positions (x, y) corresponding to the center of the spot light SP detected by the dToF sensor 12 and histogram data.
  • the camera pose is information of the extrinsic parameters of the dToF sensor 12 detected by an inertial measurement unit (IMU) inside the dToF sensor 12 .
  • the dToF sensor 12 may not have an inertial measurement unit (IMU).
  • the dToF sensor 12 outputs only the distance histogram, and the camera posture of the dToF sensor 12 is handled in each frame by a method such as Normal Distribution Transform in the distance calculation unit 22 in the signal processing device 13, for example. It is calculated by calculating the three-dimensional position information of the (identical) range-finding point.
  • the signal processing device 13 acquires the RGB image captured by the RGB camera 11 and the distance histogram and camera posture generated by the dToF sensor 12, and generates three-dimensional coordinates of a predetermined object, which is a subject, on the global coordinate system. output. In the following description, even if it is simply described as three-dimensional coordinates, it represents three-dimensional coordinates on the global coordinate system.
  • the signal processing device 13 performs signal processing for calculating three-dimensional coordinates of a predetermined object, which is a subject, on the global coordinate system based on the distance histogram generated by the dToF sensor 12 and the camera attitude at that time. It is a device. At that time, the signal processing device 13 detects that the calculated three-dimensional coordinates of the object deviate from the position of the object on the RGB image due to calibration errors, ranging errors, exposure timing deviations, etc. In addition, it has a positional deviation correction function for correcting the positional deviation.
  • FIG. 4 shows a diagram in which each ranging point before positional deviation correction calculated based on the distance histogram obtained from the dToF sensor 12 and the RGB image captured by the RGB camera 11 are superimposed.
  • An RGB image 51 captured by the RGB camera 11 includes a car (automobile) 41, a person (pedestrian) 42, and a tree 43 as subjects.
  • a circular mark with a predetermined pattern superimposed on the RGB image 51 represents the range-finding point K of the dToF sensor 12 .
  • the pattern attached to each distance measuring point K shown in FIG. 4 is divided into three types of patterns of distance measuring points K1, K2, and K3 according to the calculated distance (three-dimensional coordinates) to the object.
  • a ranging point K1 is a ranging point having a distance (three-dimensional coordinates) corresponding to the vehicle 41 .
  • a ranging point K2 is a ranging point having a distance (three-dimensional coordinates) corresponding to the person 42 .
  • a ranging point K3 is a ranging point having a distance (three-dimensional coordinates) corresponding to a background 44 other than the car 41, the person 42, and the tree 43.
  • FIG. Background 44 is, for example, a wall of a
  • the distance measuring point K11 has a distance corresponding to the car 41 as a distance (three-dimensional coordinates) calculated based on the distance histogram.
  • the three-dimensional coordinates of the distance measuring point K11 calculated based on the distance histogram are not the position of the car 41 but the position of the background 44.
  • FIG. Such positional deviation of the distance measuring point K11 is caused by calibration error or distance measurement error of the dToF sensor 12, for example.
  • the distance histogram of the entire imaging range of the RGB camera 11 is divided into multiple frames and acquired because the dToF sensor 12 acquires a small number of distance measurement points K in one frame and is sparse, the distance Such a positional deviation occurs due to a deviation in histogram acquisition timing (exposure timing), movement of an object, or the like.
  • the signal processing device 13 executes a positional deviation correction process for correcting the positional deviation of the three-dimensional coordinates of the ranging points K such as the ranging point K11, and outputs the three-dimensional coordinates of each ranging point K.
  • the distance measuring point K11 the current distance measuring point K11 is corrected to a position in the lower left direction on the RGB image 51 in FIG. Correct the misalignment of the coordinates.
  • the data acquisition unit 21 of the signal processing device 13 acquires the RGB image supplied from the RGB camera 11 and the distance histogram and camera posture supplied from the dToF sensor 12.
  • the data acquisition unit 21 supplies the acquired RGB image to the correction processing unit 23 and supplies the acquired distance histogram and camera orientation to the distance calculation unit 22 .
  • the distance calculation unit 22 calculates three-dimensional coordinates (x, y, z) for each ranging point of the dToF sensor 12 based on the distance histogram and camera posture from the data acquisition unit 21. More specifically, the distance calculator 22 detects the peak area of the count value from the histogram data of the multi-pixel MP corresponding to the spotlight SP, and calculates the three-dimensional coordinates ( x,y,z).
  • the peak area is detected as follows. For example, as shown in FIG. 5, a bin having a count value equal to or greater than a predetermined threshold Th and having the largest count value (peak) PV among a plurality of adjacent bins, and a plurality of surrounding bins is detected as the peak area.
  • the plurality of bins around the peak may be defined as bins around the peak having a count value equal to or greater than a certain percentage of the count value of the peak PV (for example, 0.5 PV, which is half of the peak PV), or A predetermined number of bins before and after the bin may be defined.
  • three hatched bins that is, the peak PV bin and two bins around the bin having a count value of 0.5 PV or more are detected as peak areas.
  • Three-dimensional coordinates (x, y, z) are calculated from the detected peak area and the camera orientation.
  • the distance calculation unit 22 can detect the median value EVC of the count values of the bins other than the detected peak area as the ambient light intensity, as in the example of FIG.
  • the distance calculation unit 22 supplies the three-dimensional coordinates (x, y, z) of each ranging point calculated from the distance histogram and camera posture, and the distance histogram to the correction processing unit 23 .
  • the distance calculation unit 22 may supply the histogram data of the peak area and the ambient light intensity to the correction processing unit 23 instead of the distance histogram.
  • the correction processing unit 23 uses the RGB image supplied from the data acquisition unit 21 and the three-dimensional coordinates (x, y, z) of each ranging point and the distance histogram supplied from the distance calculation unit 22 to perform calculations. It is determined whether or not positional deviation correction is necessary for the three-dimensional coordinates of each range-finding point. Then, when it is determined that positional deviation correction is necessary, the correction processing unit 23 executes positional deviation correction processing to move (correct) the three-dimensional coordinates of the distance measuring point.
  • the confirmation target determination unit 31 and the coordinate correction unit 32 of the correction processing unit 23 set each of a plurality of ranging points included in one frame of the dToF sensor 12 as a focused ranging point, and perform the following processing. conduct.
  • the confirmation target determination unit 31 determines whether the focus detection point of interest is a focus detection target for positional deviation confirmation, in other words, whether it is a focus detection point with a high possibility of positional deviation.
  • the confirmation target determination unit 31 determines that the target ranging point is the target ranging point for positional deviation confirmation, it instructs the coordinate correcting unit 32 to perform positional deviation correction processing for the target ranging point.
  • the confirmation target determination unit 31 determines the three-dimensional coordinates (x, y, z) and the distance histogram are supplied as they are (without positional deviation correction processing) to the storage unit 24 for storage.
  • the coordinate correction unit 32 When the confirmation target determination unit 31 instructs the coordinate correction unit 32 to correct the positional deviation of the target range-finding point, the coordinate correction unit 32 performs the positional deviation correction process of the target range-finding point. As the positional deviation correction process, the coordinate correction section 32 determines whether correction of the positional deviation is necessary. Execute the process of correcting (moving) (x, y, z). The three-dimensional coordinates (x, y, z) and the distance histogram of the target distance measuring point after the positional deviation correction process are supplied to the storage unit 24 and stored.
  • the correction processing unit 23 also supplies the RGB image supplied from the data acquisition unit 21 to the storage unit 24 at a predetermined timing and stores it. Either the confirmation target determination unit 31 or the coordinate correction unit 32 may cause the storage unit 24 to store the RGB image.
  • the correction processing unit 23 supplies an end notification to the output unit 25 when processing has been completed for all of the frames sequentially supplied from the dToF sensor 12 .
  • the output unit 25 When the end notification is supplied from the correction processing unit 23, the output unit 25 outputs the three-dimensional coordinates of each ranging point of all the frames stored in the storage unit 24 as the corrected three-dimensional coordinates. do.
  • the correction processing unit 23 may supply the output unit 25 with the end notification for each frame with respect to the plurality of frames sequentially supplied from the dToF sensor 12 .
  • the output unit 25 acquires and outputs the corrected three-dimensional coordinates from the storage unit 24 on a frame-by-frame basis.
  • the signal processing device 13 has the above configuration. Details of the correction processing unit 23 of the signal processing device 13 will be further described below.
  • the confirmation target determination unit 31 determines whether the focus detection point of interest is a focus detection point to be confirmed, in other words, whether it is a focus detection point that is highly likely to be misaligned.
  • the positional deviation is likely to occur near the boundary of the object, or if the positional deviation occurs near the boundary of the object, the effect of the positional deviation is large.
  • an area near the object boundary is extracted as an edge area. Then, if the target range-finding point is included in the edge region, the confirmation target determination unit 31 determines that the target range-finding point is likely to be misaligned.
  • FIG. 6 is a diagram for explaining confirmation target determination processing by the confirmation target determination unit 31.
  • FIG. 6 is a diagram for explaining confirmation target determination processing by the confirmation target determination unit 31.
  • the confirmation target determination unit 31 detects edges in the RGB image 51 captured by the RGB camera 11 using, for example, Canny's method.
  • An edge image 51E in FIG. 6 is an image in which edges detected from the RGB image 51 are represented by black pixel values.
  • the confirmation target determination unit 31 performs filter processing for dilating black pixels N times (N is an integer equal to or greater than 2) on the edge image 51E from which the edge is detected, thereby obtaining a predetermined width from the edge. determine the edge region of In the example of FIG. 6, the area indicated by the dot pattern in the edge area image 51R indicates the edge area determined based on the edge image 51E.
  • the edge region may be determined by a method other than the dilation process described above. For example, an area in which motion has been detected from the past several frames may be determined as an edge area. More specifically, the RGB image of the past frame and the RGB image of the current frame stored in the storage unit 24 are input, and in the dense optical flow image obtained by the Gunnar-Farneback method or the like, a portion with large movement is detected. A region obtained by increasing the number of dilation processes with respect to may be determined as an edge region.
  • the confirmation target determination unit 31 uses the camera internal parameters of the RGB camera 11 to obtain the screen coordinates (u, v) on the RGB image 51 corresponding to the three-dimensional coordinates of the focusing point of interest. Then, when the screen coordinates (u, v) of the focused distance measuring point on the RGB image 51 are included in the edge area, the confirmation target determination unit 31 determines that the attentional distance measuring point is the confirmation target distance measuring point. judge. On the other hand, if the screen coordinates (u, v) of the focused distance measuring point on the RGB image 51 are located outside the edge area, it is determined that the focused distance measuring point is not the confirmation target distance measuring point. Note that the camera internal parameters of the RGB camera 11 for converting the three-dimensional coordinates of the target range-finding point to the screen coordinates (u, v) are known.
  • the target distance measuring point is the distance measuring point g1
  • the screen coordinates (u, v) of the corresponding point gs1 on the RGB image 51 of the distance measuring point g1 are outside the edge area.
  • the distance measuring point g1 is determined not to be the confirmation target distance measuring point.
  • the focusing point of interest is the ranging point g2
  • the screen coordinates (u, v) of the corresponding point gs2 on the RGB image 51 of the ranging point g2 are within the edge area.
  • the distance measuring point g2 is determined to be the confirmation target distance measuring point.
  • FIG. 7 is a diagram for explaining positional deviation correction processing by the coordinate correction unit 32 when it is determined that the ranging point K11 of the RGB image 51 shown in FIG. 4 is the ranging point to be confirmed.
  • FIG. 7 shows an enlarged area 61 obtained by enlarging the surrounding area including the distance measuring point K11 of the RGB image 51 shown in FIG. Further, the enlarged area 61 includes not only the distance measuring point K11 but also eight distance measuring points K21 to K28 positioned around it.
  • the coordinate correction unit 32 performs positional deviation correction processing using nearby ranging points around MxM centering on the focused ranging point K11.
  • the position (position vector) of the distance measuring point K11 within the enlarged area 61 is assumed to be position a.
  • the positions (position vectors) of the eight distance measuring points K21 to K28 are assumed to be positions b1 to b8, respectively.
  • the histograms displayed in the vicinity of the nine ranging points K11 and K21 to K28 conceptually show the distance histograms of the respective ranging points. It is not part of the RGB image 51.
  • the enlarged area 61 includes an edge 62 and is divided into an area 63 of the car 41 and an area 64 of the background 44 with the edge 62 as a boundary.
  • a region having a predetermined width from the edge 62 is defined as an edge region 65 .
  • the coordinate correction unit 32 calculates a vector (ea) from the position a of the focused distance measuring point K11 to the shortest position e of the edge 62 in the screen coordinate system of the RGB image 51.
  • the coordinate correction unit 32 calculates the degree of similarity of the distance histograms between the target ranging point K11 and a plurality of nearby ranging points, and calculates the centroid vector of the similarity.
  • the coordinate correction unit 32 uses nine 3 ⁇ 3 ranging points centered on the focused ranging point K11 to determine the target ranging point K11 and eight surrounding ranging points K21 to K28. An example of calculating the degree of similarity with , and calculating the centroid vector of the degree of similarity will be described.
  • the distance histogram contains not only the distance information of a single AF point, but also the correspondence with surrounding AF points, the reflectance of objects, ambient light, etc., which are clues for judging the correspondence between adjacent frames. contains additional information.
  • the following information can be used in calculating the degree of similarity. ⁇ Movement along the distance attenuation line (distance change of the same subject) ⁇ Appearance of other peaks due to object boundaries and transparent objects such as glass ⁇ Distortion of histogram waveform due to internal scattering ⁇ Ambient light (detects light source direction and can use shadow edge information) ⁇ Replacement of histogram waveforms occurring at object boundaries
  • a similarity vector vr ab between the target distance measuring point K11 and its neighboring distance measuring point K2b can be expressed by the following equation (2) using the similarity r ab of the equation (1).
  • Equation (2) a is the position vector of the focus point K11, and b is the position vector of the focus point K2b. Therefore, the similarity vector vr ab of the target ranging point K11 and its neighboring ranging point K2b is the vector difference between the position vector a of the target ranging point K11 and the position vector b of the ranging point K2b. and the similarity (correlation coefficient) r ab of the position vector b.
  • FIG. 7 shows centroid vectors r of similar vectors vr ab1 to vr ab8 of eight ranging points K21 to K28 near the target ranging point K11.
  • the coordinate correction unit 32 calculates the center of gravity vector r of the similar vectors vr ab1 to vr ab8 of the eight ranging points K21 to K28 in the vicinity of the focusing point K11, and the edge from the position a of the focusing point K11.
  • the angle ⁇ formed by the vector (ea) directed to the shortest position e of 62 is calculated.
  • the coordinate correction unit 32 corrects the directions of the two vectors. are determined to match. Conversely, if the angle ⁇ between the centroid vector r and the vector (ea) is greater than the predetermined threshold value, the coordinate corrector 32 determines that the directions of the two vectors do not match.
  • the center-of-gravity vector r is calculated from the similarity vector vr ab calculated using the correlation of the distance histogram, and it is determined whether or not to correct the position a of the target range-finding point K11. It is possible to correct the positional deviation of the distance measuring point.
  • the coordinate correction unit 32 calculates the peak count value C a of the distance histogram H a of the target distance measurement point K11 and the disturbance light count value (median value) D a . Then, the coordinate correction unit 32 normalizes the count value of each bin of the distance histogram H a by dividing the count value by the total count value, converts it into a probability density function, and converts the distance histogram H a into Gaussian Perform fitting (Gaussian function approximation). For example, assume that the distance histogram H a of the distance measuring point of interest K11 is approximated to a normal distribution N( ⁇ a , ⁇ a 2 ) with mean ⁇ a and variance ⁇ a 2 .
  • the coordinate correction unit 32 similarly applies the peak count value Cb and the amount of disturbance light to the distance histogram Hb of a predetermined one of the range-finding points K21 to K28 near the target range-finding point K11. Calculate the count value D b and perform Gaussian fitting. Assume that the distance histogram H b is approximated to, for example, a normal distribution N( ⁇ b , ⁇ b 2 ) with mean ⁇ b and variance ⁇ b 2 .
  • the coordinate correction unit 32 calculates the distance measuring point of interest K11 and the nearby distance measuring point K2b with the average ⁇ on the x-axis, the variance ⁇ 2 on the y-axis, and the peak count on the z-axis.
  • the coordinate correction unit 32 calculates a pseudo-range L between points P and Q on the non-Euclidean space corresponding to the distance measurement point of interest K11 and the distance measurement point K2b using the following equation (4).
  • q) represents the KL divergence between the two normal distributions of points P and Q.
  • is the difference between the peak count values C p and C q of points P and Q based on the L1 norm
  • is the amount of disturbance light at points P and Q based on the L1 norm. It is the difference between count values D p and D q .
  • a, b, and c are coefficients representing respective weights, and can be arbitrarily set within the range of 0 to 1.
  • the pseudorange L between points P and Q in the non-Euclidean space corresponding to the focusing points K11 and K2b of interest is the KL divergence between the points P and Q and the peak count value C p It is calculated by the weighted sum of the difference in C q and the difference in the count values D p and D q of disturbance light.
  • the coordinate correction unit 32 uses the pseudo-range L to calculate a similarity vector vrab between the target ranging point K11 and its neighboring ranging point K2b according to the following equation (5).
  • vr ab 1-(1/L) ⁇ (5)
  • Position Information Calculation Processing According to First Embodiment> Next, position information calculation processing by the signal processing system 1 of the first embodiment will be described with reference to the flowchart of FIG. 10 . This process is started, for example, when an RGB image and a range histogram are supplied from the RGB camera 11 and the dToF sensor 12 .
  • step S ⁇ b>1 the data acquisition unit 21 acquires the RGB image supplied from the RGB camera 11 and the distance histogram and camera posture supplied from the dToF sensor 12 .
  • the data acquisition unit 21 supplies the acquired RGB image to the correction processing unit 23 and supplies the acquired distance histogram and camera orientation to the distance calculation unit 22 .
  • step S2 the distance calculation unit 22 calculates three-dimensional coordinates (x, y, z) for each range-finding point based on the distance histogram and camera posture from the data acquisition unit 21. More specifically, the distance calculator 22 detects the peak area of the count value from the histogram data of the multi-pixel MP corresponding to the spotlight SP, and calculates the three-dimensional coordinates ( x,y,z). The calculated three-dimensional coordinates (x, y, z) of each distance measuring point are supplied to the correction processing section 23 together with the distance histogram.
  • step S3 the correction processing unit 23 determines a predetermined one of the range-finding points included in one frame supplied from the dToF sensor 12 as the target range-finding point, and advances the process to step S4.
  • step S4 the confirmation target determination unit 31 of the correction processing unit 23 executes confirmation target determination processing.
  • the confirmation target determination unit 31 detects the edge of the RGB image 51 and performs dilation processing to determine the edge region, and the screen coordinates (u, v) of the target distance measurement point on the RGB image 51 are the edges. It is determined whether or not the focused range-finding point is the range-finding point to be confirmed based on whether or not it is included in the area.
  • step S5 the confirmation target determination unit 31 determines whether the focused ranging point is the confirmation target ranging point based on the result of the confirmation target determination process. If it is determined in step S5 that the focused range-finding point is not the confirmation target range-finding point, the process proceeds to step S6. goes to step S7.
  • step S6 when it is determined that the focusing point of interest is not the focusing point to be confirmed, the confirmation target determination unit 31 calculates the three-dimensional coordinates (x, y , z) and the distance histogram are directly supplied to the storage unit 24 and stored therein.
  • the RGB image supplied from the data acquisition unit 21 is also supplied to the storage unit 24 and stored.
  • step S7 when it is determined that the focusing point of interest is the focusing point to be confirmed, the coordinate correction unit 32 adjusts the position a of the focusing point of interest to the edge 62 in the screen coordinate system of the RGB image 51 . Calculate the vector (ea) to the shortest position e of .
  • step S8 the coordinate correction unit 32 calculates the degree of similarity (similarity vector) of the distance histograms between the distance measuring point of interest and each of a plurality of nearby distance measuring points, and calculates the centroid vector of the similarity. For example, using nine 3 ⁇ 3 measuring points centered on the focusing point K11, the distance histogram similarity vector vr ab1 through vr ab8 are calculated, and the centroid vector r of the similarity vectors vr ab1 through vr ab8 in equation (3) is calculated.
  • step S9 the coordinate correction unit 32 determines the center of gravity vector r of the similarities of the plurality of ranging points near the focused ranging point and the vector (ea) from the focused ranging point to the shortest position e of the edge 62. Determine if the directions of the two vectors match.
  • step S9 for example, when the angle ⁇ formed by the centroid vector r and the vector (ea) is within a predetermined threshold, it is determined that the directions of the two vectors match, and the angle ⁇ is equal to or greater than the predetermined threshold. , it is determined that the directions of the two vectors do not match.
  • step S9 If it is determined in step S9 that the directions of the two vectors do not match, the process proceeds to step S6 described above. Therefore, in this case, the three-dimensional coordinates (x, y, z) of the focusing point of interest are stored in the storage section 24 without being corrected.
  • step S10 the coordinate correction unit 32 moves the position a of the target range-finding point so that the target range-finding point straddles the edge 62, and converts the three-dimensional coordinates (x, y, z) after the movement to the corrected are stored in the storage unit 24 as three-dimensional coordinates (x, y, z) of.
  • the distance histogram of the distance measuring point of interest and the RGB image supplied from the data acquisition unit 21 are also supplied to the storage unit 24 and stored.
  • step S11 the correction processing unit 23 determines whether or not all the ranging points of one frame supplied from the dToF sensor 12 are set as focus ranging points. If it is determined in step S11 that all the focus detection points of one frame have not yet been set as the target focus detection point, the process returns to step S3, and steps S3 through S11 described above are repeated. That is, among the range-finding points of one frame, a range-finding point that has not yet been set as the target range-finding point is set as the next target range-finding point. If it is determined that the directions of the vectors match, the three-dimensional coordinates (x, y, z) of the focusing point of interest are corrected (moved).
  • step S11 determines whether or not to end the process.
  • the signal processing device 13 determines whether or not to end the process. For example, if the processing of steps S1 to S11 described above is executed for the ranging points of all frames supplied from the dToF sensor 12 and the distance histogram of the next frame is not supplied from the dToF sensor 12, the signal processing device 13 , to end the process. Conversely, when the dToF sensor 12 supplies the next frame's distance strogram, the signal processing device 13 determines not to end the processing.
  • step S12 If it is determined in step S12 that the process has not yet ended, the process returns to step S1, and the processes of steps S1 to S12 described above are repeated.
  • step S12 determines whether the process should be terminated. If it is determined in step S12 that the process should be terminated, the process proceeds to step S13, and the correction processing section 23 supplies an end notification to the output section 25.
  • step S14 the output unit 25 outputs the three-dimensional coordinates (x, y, z) of each ranging point of all frames stored in the storage unit 24, and terminates the position information calculation process of FIG. do.
  • the three-dimensional coordinates (x, y, z) of each range-finding point in each output frame include those that have undergone correction processing and those that have not undergone correction processing.
  • the target range-finding point is the confirmation target range-finding point. It is determined whether or not Then, if the focus point of interest is determined to be the focus point to be confirmed, the degree of similarity (similarity vector) between the distance histogram of the focus point of interest and the distance histograms of a plurality of nearby focus points is calculated. By doing so, the position of the target range-finding point is corrected to a nearby range-finding point with a similar distance histogram. Thereby, the deviation of the position information of the dToF sensor 12 can be corrected.
  • FIG. 11 is a block diagram showing a configuration example of the second embodiment of the signal processing system of the present disclosure.
  • a signal processing system 1 is composed of an RGB camera 11, a dToF sensor 12, and a signal processing device 13.
  • the signal processing device 13 includes a data acquisition unit 21, a distance calculation unit 22, a correction processing unit 23, a storage unit 24, and an output unit 25.
  • the correction processing unit 23 includes a confirmation target determination unit 71 and a coordinate correction unit. A portion 32 is provided.
  • the confirmation target determination unit 31 of the correction processing unit 23 in the first embodiment is changed to a confirmation target determination unit 71, and other configurations are the same as those in the second embodiment. It is similar to the first embodiment. In other words, the second embodiment is different from the first embodiment in the method of determining whether or not the target range-finding point is the target range-finding point. Similar to morphology.
  • an edge region is extracted from an RGB image as a region near the object boundary, and depending on whether or not the target distance measurement point is included in the edge region, there is a high possibility that positional deviation has occurred. It is determined whether or not it is a range-finding point.
  • the confirmation target determination unit 71 determines whether the target range-finding point is in the vicinity of the object boundary by observing changes in the distance histogram over a plurality of frames. Then, when it is determined that the focus range-finding point is in the vicinity of the object boundary, the confirmation target determination unit 71 sets the focus range-finding point of interest as a focus point to be confirmed as a focus point with a high possibility of positional displacement. Determined to be a focus point.
  • the distance histogram output by the dToF sensor 12 includes two peak areas, a peak area h1 corresponding to the object 81 and a peak area h2 corresponding to the object 82.
  • the peak count value of the peak area h2 corresponding to the object 82 is larger than the peak count value of the peak area h1 corresponding to the object 81.
  • the peak count value of the peak area h1 corresponding to the object 81 changes to that of the peak area h2 corresponding to the object 82.
  • the distance histogram output by the dToF sensor 12 is a histogram with one peak region with a large peak count value.
  • the confirmation target determination unit 71 observes the distance histogram over a plurality of frames, and determines the distance measurement point where the number of peak areas of the distance histogram changes from "1 ⁇ 2 ⁇ 1" as the confirmation target distance measurement point. do.
  • the confirmation target determination unit 71 observes the distance histogram over a plurality of frames, and determines the distance measurement point where the number of peak areas of the distance histogram changes from "1 ⁇ 2 ⁇ 1" as the confirmation target distance measurement point. do.
  • the confirmation target determination unit 71 observes the distance histogram over a plurality of frames, and determines the distance measurement point where the number of peak areas of the distance histogram changes from "1 ⁇ 2 ⁇ 1" as the confirmation target distance measurement point.
  • FIG. 13 is a diagram for explaining confirmation target determination processing by the confirmation target determination unit 71.
  • the confirmation target determination unit 71 determines whether the number of peak regions of the distance histogram of the target distance measurement point Kx in the frame Ft at the current time t is one or two or more. If the number of peak areas in the distance histogram of the focus point Kx is two or more, that focus point may be the boundary of an object, and the focus point is considered to be highly likely to be misaligned. The distance point is determined to be the confirmation target distance measurement point.
  • the distance histogram of the distance measuring point Kx at the same position in the past W frames (W is an integer equal to or greater than 2) is stored from the storage unit 24. , and check the number of peak areas of the distance histogram in the past W frames and the bin position with the maximum count value.
  • the confirmation target determination unit 71 selects a distance measurement point with a low possibility of misalignment. Therefore, it is determined that the focusing point of interest is not the focusing point to be confirmed.
  • the confirmation target determination unit 71 determines that there is a high possibility that a position shift has occurred.
  • the target range-finding point is determined to be the confirmation target range-finding point.
  • the distance of the distance measurement point Kx of interest in the frame Ft at the current time t is one, the distance of the distance measurement point Kx at the same position in the past W frames is stored from the storage unit 24. A histogram is obtained, and the number of peak areas of the distance histogram in the past W frames and the bin position of the maximum count value are identified.
  • the confirmation target determination unit 71 determines that the target ranging point Kx in the frame Ft at the current time t is a ranging point that is highly likely to be misaligned and is a ranging point to be confirmed. do.
  • the target range-finding point is in the vicinity of the object boundary. Since it is determined whether or not it is a distance point, the position of each multi-pixel MP of the dToF sensor 12 does not change in all frames during the shooting period, and the same position needs to be sampled in each frame.
  • Position Information Calculation Processing According to Second Embodiment>
  • the position information calculation process by the signal processing system 1 of the second embodiment differs from the determination method of the confirmation target determination process performed in step S4 of the flowchart of FIG. 10 described in the first embodiment, and other steps S1 to The processing of S3 and steps S5 to S14 is the same.
  • the confirmation target determination unit 71 determines that the number of peak regions of the range histogram of the target range-finding point Kx in the frame Ft at the current time t is one. or two or more. Then, when the number of peak regions of the distance histogram of the focused distance measuring point Kx is two or more, the confirmation target determination unit 71 determines the attention distance measuring point to be the confirmation target distance measuring point.
  • the confirmation target determination unit 71 determines the number of peak regions of the distance histogram in the past W frames, Check the bin position with the maximum count value.
  • the confirmation target determination unit 71 determines that the target ranging point Kx is not a confirmation target ranging point. I judge.
  • the confirmation target determination unit 71 determines that the focus detection point Kx is the confirmation target focus point. It is determined that
  • the number of peak areas of the distance histogram of the target distance measurement point and the bin position of the maximum count value have changed in the past W frames. It is determined whether or not the focus detection point of interest is the focus detection point to be confirmed. Then, if the focus point of interest is determined to be the focus point to be confirmed, the degree of similarity (similarity vector) between the distance histogram of the focus point of interest and the distance histograms of a plurality of nearby focus points is calculated. By doing so, the position of the target range-finding point is corrected to a nearby range-finding point with a similar distance histogram. Thereby, the deviation of the position information of the dToF sensor 12 can be corrected.
  • the number of peak regions in the distance histogram changes like "1 ⁇ 2 ⁇ 1".
  • a range-finding point is a point at which a moving subject is photographed, and the calculated three-dimensional coordinates are expected to have low reliability. Therefore, when the positions of the RGB camera 11 and the dToF sensor 12 are fixed, and the number of peak areas of the distance histogram changes like "1 ⁇ 2 ⁇ 1", the three-dimensional coordinate measurement values may be deleted so as not to be output from the signal processing device 13 .
  • the low-reliability range-finding points can be identified in the latter stage.
  • the reliability of the distance measurement point is determined by the number of peak areas in the distance histogram, such as "1 ⁇ 2 ⁇ 1", “1 ⁇ 2 ⁇ 2 ⁇ 1", “1 ⁇ 2 ⁇ 2 ⁇ 2 ⁇ 1".
  • the reliability of the distance measurement point is determined by the number of peak areas in the distance histogram, such as "1 ⁇ 2 ⁇ 1", “1 ⁇ 2 ⁇ 2 ⁇ 1", “1 ⁇ 2 ⁇ 2 ⁇ 2 ⁇ 1".
  • the subsequent device that has acquired the range-finding point with added reliability can, for example, perform processing to prevent afterimages.
  • the signal processing device 13 includes a data acquisition unit 21 that acquires a distance histogram, which is histogram data of the time of flight of the irradiation light at a predetermined distance measuring point of the distance measuring sensor, and a distance histogram of the predetermined distance measuring point.
  • a distance calculation unit 22 that calculates the three-dimensional coordinates of a range point; a confirmation target determination unit 31 that determines whether or not a predetermined range measurement point is a position deviation check target range measurement point; Distance calculation based on the similarity determination result between the distance histogram of the predetermined distance measuring point and the distance histogram of the distance measuring points near the predetermined distance measuring point when the distance measuring point is the target of positional deviation confirmation.
  • a coordinate correction unit 32 for executing positional deviation correction processing for correcting the three-dimensional coordinates of the predetermined range-finding point calculated by the unit 22 .
  • the confirmation target determination unit 31 of the first embodiment detects an edge area of an object from an RGB image (captured image) of the subject captured by the RGB camera 11, and when a predetermined range-finding point is included in the edge area, It is determined that the focus point to be checked is likely to be misaligned.
  • the confirmation target determination unit 31 of the second embodiment observes the change in the distance histogram of the distance measurement points over a plurality of frames to determine whether the predetermined distance measurement point is the position deviation confirmation target distance measurement point. determine whether For example, when the number of peak areas in the distance histogram changes from "1 ⁇ 2 ⁇ 1" and the bin position with the maximum count value changes, the confirmation target determination unit 31 determines that the distance measurement point to be confirmed is I judge.
  • the coordinate correction unit 32 it is determined that correction of the three-dimensional coordinates of the distance measuring point is necessary, and the three-dimensional coordinates of the distance measuring point are corrected (moved).
  • the deviation of the positional information of the dToF sensor 12 can be corrected in the correct direction.
  • the signal processing device 13 may have the configuration and functions of either the first embodiment or the second embodiment described above, or may have the configuration and functions of both. Either one of the processes may be selectively performed by switching between the first operation mode corresponding to the second embodiment and the second operation mode corresponding to the second embodiment.
  • Position information calculation processing of the present disclosure which is capable of correcting and outputting three-dimensional coordinates using histogram data acquired from the dToF sensor 12, is SLAM (Simultaneous Localization and Mapping) that simultaneously performs self-position estimation and environment map creation.
  • SLAM Simultaneous Localization and Mapping
  • CG modeling when generating virtual scenes and objects with CG (computer graphics)
  • object recognition processing and object classification processing.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a microcomputer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 14 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 105 is further connected to the bus 104 .
  • Input unit 106 , output unit 107 , storage unit 108 , communication unit 109 , and drive 110 are connected to input/output interface 105 .
  • the input unit 106 consists of a keyboard, mouse, microphone, touch panel, input terminals, and the like.
  • the output unit 107 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 108 is composed of a hard disk, a RAM disk, a non-volatile memory, or the like.
  • a communication unit 109 includes a network interface and the like.
  • a drive 110 drives a removable recording medium 111 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 101 loads, for example, a program stored in the storage unit 108 into the RAM 103 via the input/output interface 105 and the bus 104 and executes the above-described series of programs. position information calculation processing is performed.
  • the RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.
  • a program executed by the computer (CPU 101) can be provided by being recorded on a removable recording medium 111 such as a package medium, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage section 108 via the input/output interface 105 by loading the removable recording medium 111 into the drive 110 . Also, the program can be received by the communication unit 109 and installed in the storage unit 108 via a wired or wireless transmission medium. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the technique of this disclosure can take the following configurations.
  • an acquisition unit that acquires a distance histogram, which is histogram data of the time of flight of irradiation light at a predetermined distance measurement point of the distance measurement sensor; a determination unit that determines whether or not the predetermined range-finding point is a range-finding point to be checked for positional deviation; when the predetermined range-finding point is the target range-finding point for positional deviation confirmation, the distance histogram of the predetermined range-finding point and the distance histogram of the range-finding points near the predetermined range-finding point;
  • a signal processing apparatus comprising: a correction unit that executes correction processing for correcting the three-dimensional coordinates of the predetermined range-finding point calculated from the distance histogram based on the similarity determination result.
  • the correcting unit is configured such that a centroid vector of similarity between the distance histogram of the predetermined range-finding point and the distance histogram of the range-finding points near the predetermined range-finding point matches the direction of the object boundary.
  • the signal processing device according to (1) wherein the correction process is executed when it is determined that the (3)
  • the correction unit corrects the three-dimensional coordinates of the predetermined range-finding point to a position straddling the object boundary when it is determined that the center-of-gravity vector of the similarity matches the direction of the object boundary.
  • the signal processing device according to (2) is configured such that a centroid vector of similarity between the distance histogram of the predetermined range-finding point and the distance histogram of the range-finding points near the predetermined range-finding point matches the direction of the object boundary.
  • the correction unit calculates a centroid vector of the similarity The signal processing device according to (2) above.
  • the correction unit compares the degree of similarity between the distance histogram of the predetermined range-finding point and the distance histogram of the one nearby range-finding point to the position vector of the predetermined range-finding point and the one of the neighboring range-finding points.
  • the signal according to (4) which is calculated from a difference between position vectors of ranging points and a correlation coefficient between the distance histogram of the predetermined ranging point and the distance histogram of one of the nearby ranging points. processing equipment.
  • the correcting unit compares the degree of similarity between the distance histogram of the predetermined range-finding point and the distance histogram of one of the neighboring range-finding points to the distance histogram of the predetermined range-finding point and the neighboring
  • the signal processing device according to (4) wherein the distance histograms of one ranging point are calculated using distances between approximated probability density functions.
  • the determining unit determines whether or not the three-dimensional coordinates of the predetermined range-finding point indicated by the distance histogram are in an area near an object boundary, and determines whether the three-dimensional coordinates of the predetermined range-finding point are in an area near an object boundary.
  • the signal processing device according to any one of (1) to (6), wherein the predetermined range-finding point is determined to be a positional deviation check target range-finding point when .
  • the determination unit detects an edge area of an object included in a photographed image of the subject, and detects the three-dimensional coordinates of the predetermined range-finding points when the three-dimensional coordinates of the predetermined range-finding points are included in the edge area.
  • the signal processing device wherein the dimensional coordinates are determined to be an area near the object boundary.
  • the acquisition unit also acquires the captured image obtained by capturing the same range as the distance measuring sensor,
  • the signal processing device according to (8), wherein the determination unit detects an edge region of an object included in the captured image.
  • the determination unit detects, as an edge area, an area in which motion is detected in a photographed image of a subject, and detects the predetermined distance measurement point when the three-dimensional coordinates of the predetermined distance measurement point are included in the edge area.
  • the signal processing device according to (7), wherein the three-dimensional coordinates of the point are determined to be in the vicinity of the object boundary.
  • the signal processing device according to (11) or (12).
  • the signal processing device according to any one of (1) to (13), further comprising a computing unit that computes three-dimensional coordinates of the predetermined range-finding point from the distance histogram of the predetermined range-finding point.
  • a signal processing device Acquiring a distance histogram, which is histogram data of the flight time of the irradiation light at a predetermined ranging point of the ranging sensor, determining whether or not the predetermined range-finding point is a range-finding point to be checked for positional deviation; when the predetermined range-finding point is a range-finding point to be checked for positional deviation, the distance histogram of the predetermined range-finding point and the distance histogram of the range-finding points near the predetermined range-finding point;
  • a signal processing method comprising: performing a correction process for correcting the three-dimensional coordinates of the predetermined range-finding point calculated from the distance histogram based on the similarity determination result.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示は、dToFセンサの位置情報のずれを補正できるようにする信号処理装置および信号処理方法に関する。 信号処理装置は、測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得するデータ取得部と、所定の測距点が位置ずれ確認対象の測距点であるか否かを判定する確認対象判定部と、所定の測距点が位置ずれ確認対象の測距点である場合に、所定の測距点の距離ヒストグラムと、所定の測距点の近傍の測距点の距離ヒストグラムとの類似度の判定結果に基づいて、距離ヒストグラムから演算された所定の測距点の３次元座標を補正する補正処理を実行する座標補正部とを備える。本開示の技術は、例えば、測距センサが出力する距離ヒストグラムを用いて物体の３次元座標を算出する信号処理装置等に適用できる。

Description

信号処理装置および信号処理方法
　本開示は、信号処理装置および信号処理方法に関し、特に、dToFセンサの位置情報のずれを補正できるようにした信号処理装置および信号処理方法に関する。
　direct ToF方式のToFセンサ（以下、dToFセンサとも称する。）は、受光用の各画素にSPAD（Single Photon Avalanche Diode）と呼ばれる受光素子を用いて、パルス光が物体で反射された反射光を検出する。環境光等によるノイズを抑制するため、パルス光の発光と、その反射光の受光が所定の回数（例えば、数回ないし数百回）繰り返し行われ、dToFセンサは、パルス光の飛行時間のヒストグラムを生成して、ヒストグラムのピークに対応する飛行時間から、物体までの距離を算出する。
　低反射率または遠方の被写体の測距や、屋外環境などの外光による外乱影響が強い環境下での測距などにおいては、SN比が低く、ピーク位置の検出が困難であることが知られている。そのため、発光するパルス光をスポット形状とすることでパルス光の到達距離の拡大、換言すれば、反射光の検出数を増加させることが行われている。スポット形状のパルス光は一般的に疎なパルス光となるため、反射光が検出される画素も、スポット径および照射面積に応じて疎となる。
　SN比向上のためと、疎な反射光検出環境に合わせた効率的な画素駆動による電力削減を目的に、画素アレイの一部の隣接する複数画素（マルチピクセルと称する。）を１つの大きな画素とみなして、マルチピクセル単位で受光動作を行わせ、ヒストグラムを生成することが行われている。例えば、特許文献１には、隣接する２×３、３×３、３×６、３×９、６×３、６×６、９×９といった任意の画素数でマルチピクセルを形成し、マルチピクセルの信号を用いてヒストグラムを作成して距離を算出することで、空間解像度を下げる代わりにSN比を上げる方法が開示されている。
　dToFセンサ等の測距センサは、例えば、多視点で撮影された動画像から被写体の３Dオブジェクトを生成し、任意の視聴位置に応じた３Dオブジェクトの仮想視点画像を生成するボリューメトリックキャプチャ技術に、RGBカメラとともに使用されている。また、自己位置推定と環境地図作成を同時に行うSLAM(Simultaneous Localization and Mapping)などにおいても、dToFセンサ等の測距センサが、RGBカメラとともに使用されている。
特開２０２０－１１２４４３号公報
　dToFセンサで取得された測距点の３次元位置情報を、RGBカメラで得られた撮影画像と対応させたときに、キャリブレーション誤差や測距誤差、露光タイミングのずれ等により、dToFセンサで取得された位置情報にずれが発生する場合がある。
　本開示は、このような状況に鑑みてなされたものであり、dToFセンサの位置情報のずれを補正できるようにするものである。
　本開示の一側面の信号処理装置は、測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得する取得部と、前記所定の測距点が位置ずれ確認対象の測距点であるか否かを判定する判定部と、前記所定の測距点が位置ずれ確認対象の測距点である場合に、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の判定結果に基づいて、前記距離ヒストグラムから演算された前記所定の測距点の３次元座標を補正する補正処理を実行する補正部とを備える。
　本開示の一側面の信号処理方法は、信号処理装置が、測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得し、前記所定の測距点が位置ずれ確認対象の測距点であるか否かを判定し、前記所定の測距点が位置ずれ確認対象の測距点である場合に、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の判定結果に基づいて、前記距離ヒストグラムから演算された前記所定の測距点の３次元座標を補正する補正処理を実行する。
　本開示の一側面においては、測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムが取得され、前記所定の測距点が位置ずれ確認対象の測距点であるか否かが判定され、前記所定の測距点が位置ずれ確認対象の測距点である場合に、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の判定結果に基づいて、前記距離ヒストグラムから演算された前記所定の測距点の３次元座標を補正する補正処理が実行される。
　なお、本開示の一側面の信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。また、本開示の一側面の信号処理装置を実現するためにコンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　信号処理装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本開示の信号処理システムの第１実施の形態の構成例を示すブロック図である。 図１のRGBカメラとdToFセンサの動作を説明する図である。 dToFセンサを説明する図である。 本開示の位置ずれ補正機能を説明する図である。 距離ヒストグラムのピーク領域を説明する図である。 確認対象判定部による確認対象判定処理を説明する図である。 座標補正部の位置ずれ補正処理を説明する図である。 類似度の算出方法を説明する図である。 類似度の算出方法を説明する図である。 第１実施の形態の信号処理システムによる位置情報算出処理を説明するフローチャートである。 本開示の信号処理システムの第２実施の形態の構成例を示すブロック図である。 確認対象判定部の確認対象判定処理を説明する図である。 確認対象判定部の確認対象判定処理を説明する図である。 本開示の信号処理を実行するコンピュータのハードウエアの構成例を示すブロック図である。
　以下、添付図面を参照しながら、本開示の技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．信号処理システムの第１実施の形態
２．確認対象判定部の確認対象判定処理
３．座標補正部の位置ずれ補正処理
４．第１実施の形態による位置情報算出処理
５．信号処理システムの第２実施の形態
６．第２実施の形態による位置情報算出処理
７．まとめ
８．コンピュータ構成例
＜１．信号処理システムの第１実施の形態＞
　図１は、本開示の信号処理システムの第１実施の形態の構成例を示すブロック図である。
　図１の信号処理システム１は、RGBカメラ１１、dToFセンサ１２、および、信号処理装置１３で構成されている。
　信号処理装置１３は、データ取得部２１、距離演算部２２、補正処理部２３、記憶部２４、および、出力部２５を有している。補正処理部２３は、確認対象判定部３１、および、座標補正部３２を備える。
　RGBカメラ１１は、被写体としての所定の物体を撮影してRGB画像（の動画像）を生成し、信号処理装置１３に供給する。dToFセンサ１２は、direct ToF方式により被写体までの距離情報を取得する測距センサであり、RGBカメラ１１が撮影する物体と同一の物体までの距離情報を取得する。RGBカメラ１１とdToFセンサ１２の相対的な位置関係は固定され、RGBカメラ１１とdToFセンサ１２の撮像範囲はキャリブレーションされている。換言すれば、RGBカメラ１１とdToFセンサ１２の撮像範囲は同一であり、RGBカメラ１１とdToFセンサ１２の各画素の対応関係は既知である。本実施の形態では、説明を簡単にするため、RGBカメラ１１とdToFセンサ１２の位置の違いは無視できるものとして、RGBカメラ１１とdToFセンサ１２のカメラ位置（カメラ姿勢）は同一であるとする。
　RGBカメラ１１は、図２に示されるように、時間経過に応じて撮影場所を移動しながら、被写体としての物体OBJを撮影し、RGB画像を生成する。dToFセンサ１２は、RGBカメラ１１とともに移動し、不図示の発光源により照射された複数のスポット光（照射光）が物体OBJで反射されてきた反射光を受光することにより、物体OBJの距離情報としての距離ヒストグラムを取得する。距離ヒストグラムとは、物体OBJまでの距離に対応する、照射光の飛行時間のヒストグラムデータである。
　図３を参照して、dToFセンサ１２について簡単に説明する。
　dToFセンサ１２は、受光用の各画素にSPAD（Single Photon Avalanche Diode）と呼ばれる受光素子を用いて、照射光としてのパルス光が物体で反射されて戻ってきた反射光を検出する。dToFセンサ１２は、環境光等によるノイズを抑制するため、パルス光の発光と、その反射光の受光とを所定の回数（例えば、数回ないし数百回）繰り返すことによりパルス光の飛行時間のヒストグラムを生成し、距離ヒストグラムを出力する。RGBカメラ１１と同一の撮像範囲について距離ヒストグラムを１回出力する単位を、RGBカメラ１１に倣って１フレームと称する。
　低反射率または遠方の被写体の測距や、屋外環境などの外光による外乱影響が強い環境下での測距などにおいては、SN比が低く、ピーク位置の検出が困難であることが知られている。そのため、発光するパルス光をスポット形状とすることでパルス光の到達距離の拡大、換言すれば、反射光の検出数を増加させることが行われている。スポット形状のパルス光は一般的に疎なパルス光となるため、反射光が検出される画素も、スポット径および照射面積に応じて疎となる。図３では、RGBカメラ１１と同一の撮像範囲に対して、５ｘ５＝２５個のスポット光SPを照射し、各スポット光SPが物体で反射された反射光を検出する例が示されている。
　SN比向上のためと、疎な反射光検出環境に合わせた効率的な画素駆動による電力削減を目的に、dToFセンサ１２は、疎なスポット光SPに応じて、隣接する複数画素をマルチピクセルMPとし、画素アレイの全画素のうちの複数のマルチピクセルMPのみに受光動作を行わせ、マルチピクセルMP単位でヒストグラムを生成する。図３の例では、１つのスポット光SPに対して、３ｘ３の９画素のマルチピクセルMPが設定されている。
　なお、図３では、５ｘ５＝２５個のスポット光SPと、３ｘ３の９画素のマルチピクセルMPの例で説明したが、スポット光SPおよびマルチピクセルMPの個数および配置は任意である。以下の説明では、スポット光SPとマルチピクセルMPとを特に区別しない場合、それらに対応する点を測距点とも称する。
　図１のRGBカメラ１１は、被写体である所定の物体を時々刻々と撮影して得られるRGB画像（の動画像）を生成し、信号処理装置１３に供給する。dToFセンサ１２は、被写体である所定の物体に照射されたスポット光SPが物体で反射された反射光を受光して得られる距離ヒストグラムと、その距離ヒストグラム取得時のカメラ姿勢とを、信号処理装置１３に供給する。距離ヒストグラムは、dToFセンサ１２で検出されたスポット光SPの中心に対応する画素位置（ｘ、ｙ）とヒストグラムデータとで構成される。カメラ姿勢は、dToFセンサ１２内の慣性計測装置（IMU）で検出された、dToFセンサ１２の外部パラメータの情報である。ただし、dToFセンサ１２は、慣性計測装置（IMU）を備えていなくてもよい。その場合、dToFセンサ１２は、距離ヒストグラムのみを出力し、dToFセンサ１２のカメラ姿勢は、例えば、信号処理装置１３内の距離演算部２２等において、Normal Distribution Transform等の手法により、各フレームで対応する（同一の）測距点の３次元位置情報を計算して算出される。
　信号処理装置１３は、RGBカメラ１１が撮影したRGB画像と、dToFセンサ１２が生成した距離ヒストグラムおよびカメラ姿勢とを取得し、被写体である所定の物体のグローバル座標系上の３次元座標を生成して出力する。以下の説明において、単に３次元座標と記述した場合においても、グローバル座標系上の３次元座標を表すものとする。
　すなわち、信号処理装置１３は、dToFセンサ１２が生成した距離ヒストグラムと、その時のカメラ姿勢とに基づいて、被写体である所定の物体のグローバル座標系上の３次元座標を算出する処理を行う信号処理装置である。その際、信号処理装置１３は、キャリブレーション誤差や測距誤差、露光タイミングのずれ等により、算出した物体の３次元座標が、RGB画像上の物体の位置に対してずれが発生している場合に、その位置ずれを補正する位置ずれ補正機能を有している。
　図４は、dToFセンサ１２から取得した距離ヒストグラムに基づいて算出された位置ずれ補正前の各測距点と、RGBカメラ１１が撮影したRGB画像とを重ねた図を示している。
　RGBカメラ１１が撮影したRGB画像５１には、被写体として、車（自動車）４１、人（歩行者）４２、および、木４３が写っている。RGB画像５１に重畳して示されている所定のパターンが付された丸印は、dToFセンサ１２の測距点Kを表す。図４に示される各測距点Kに付されたパターンは、算出された物体までの距離（３次元座標）に応じて、測距点K1、K2、K3の３種類のパターンに分けられている。測距点K1は、車４１に対応する距離（３次元座標）を有する測距点である。測距点K2は、人４２に対応する距離（３次元座標）を有する測距点である。測距点K3は、車４１、人４２、および、木４３以外の背景４４に対応する距離（３次元座標）を有する測距点である。背景４４は、例えば、建物の壁などである。
　ここで、dToFセンサ１２の多数の測距点Kのうちの所定の１つの測距点K11に注目する。測距点K11は、距離ヒストグラムに基づいて算出された距離（３次元座標）としては、車４１に対応する距離を有している。しかし、距離ヒストグラムに基づいて算出された測距点K11の３次元座標は、車４１の位置ではなく、背景４４の位置となっている。このような測距点K11の位置ずれは、例えば、dToFセンサ１２のキャリブレーション誤差や測距誤差により発生する。あるいはまた、dToFセンサ１２が１フレームで取得する測距点Kの個数が少なく疎であるために、RGBカメラ１１の撮影範囲全体の距離ヒストグラムを複数フレームに分けて取得するような場合に、距離ヒストグラムの取得タイミング（露光タイミング）のずれや物体の移動などにより、このような位置ずれが発生する。
　信号処理装置１３は、測距点K11のような測距点Kの３次元座標の位置ずれを補正する位置ずれ補正処理を実行し、各測距点Kの３次元座標を出力する。測距点K11の例で言えば、図４のRGB画像５１上において、現在の測距点K11を、左下方向の位置に補正し、３次元座標が車４１の位置となるように、３次元座標の位置ずれを補正する。
　図１の説明に戻り、信号処理装置１３のデータ取得部２１は、RGBカメラ１１から供給されるRGB画像と、dToFセンサ１２から供給される距離ヒストグラムおよびカメラ姿勢とを取得する。データ取得部２１は、取得したRGB画像を、補正処理部２３へ供給するとともに、取得した距離ヒストグラムおよびカメラ姿勢を、距離演算部２２へ供給する。
　距離演算部２２は、データ取得部２１からの距離ヒストグラムおよびカメラ姿勢に基づいて、dToFセンサ１２の測距点ごとに３次元座標（x,y,z）を演算する。より具体的には、距離演算部２２は、スポット光SPに対応するマルチピクセルMPのヒストグラムデータから、カウント値のピーク領域を検出し、検出されたピーク領域とカメラ姿勢とから、３次元座標（x,y,z）を演算する。
　ここで、ピーク領域は次のように検出される。例えば、図５に示されるように、カウント値が所定閾値Th以上で、かつ、隣接する複数のビンのなかで最大のカウント値（ピーク）PVを有するビンと、および、その周辺の複数のビンが、ピーク領域として検出される。ピーク周辺の複数のビンは、例えば、ピークPVのカウント値の一定割合（例えば、ピークPVの半分である0.5PV）以上のカウント値を有するピーク周辺のビンと定めてもよいし、ピークPVのビンの前後所定数のビンと定めてもよい。図５の例では、ハッチングが付された３つのビン、すなわち、ピークPVのビンと、そのビン周辺の0.5PV以上のカウント値を有する２つのビンが、ピーク領域として検出される。検出されたピーク領域とカメラ姿勢とから、３次元座標（x,y,z）が算出される。
　また、距離演算部２２は、図５の例のように、検出されたピーク領域以外のビンのカウント値の中央値EVCを、外乱光強度として検出することができる。
　距離演算部２２は、距離ヒストグラムおよびカメラ姿勢から演算した各測距点の３次元座標（x,y,z）と、距離ヒストグラムとを、補正処理部２３へ供給する。なお、距離演算部２２は、距離ヒストグラムの代わりに、ピーク領域のヒストグラムデータと外乱光強度を、補正処理部２３へ供給してもよい。
　補正処理部２３は、データ取得部２１から供給されるRGB画像と、距離演算部２２から供給される各測距点の３次元座標（x,y,z）および距離ヒストグラムとを用いて、演算された各測距点の３次元座標に対して位置ずれの補正が必要か否かを判定する。そして、位置ずれの補正が必要と判定された場合、補正処理部２３は、位置ずれ補正処理を実行し、測距点の３次元座標を移動（補正）する。
　具体的には、補正処理部２３の確認対象判定部３１および座標補正部３２が、dToFセンサ１２の１フレームに含まれる複数の測距点それぞれを注目測距点に設定し、以下の処理を行う。
　確認対象判定部３１は、注目測距点が位置ずれ確認対象の測距点であるか、換言すれば、位置ずれが起きている可能性の高い測距点であるか否かを判定する。確認対象判定部３１は、注目測距点が位置ずれ確認対象の測距点であると判定した場合、注目測距点の位置ずれ補正処理の実行を座標補正部３２へ指示する。一方、注目測距点が位置ずれ確認対象の測距点ではないと判定した場合、確認対象判定部３１は、距離演算部２２で演算された注目測距点の３次元座標（x,y,z）と距離ヒストグラムを、そのまま（位置ずれ補正処理を行うことなく）、記憶部２４に供給し、記憶させる。
　座標補正部３２は、確認対象判定部３１から、注目測距点の位置ずれ補正処理の実行が指示された場合、注目測距点の位置ずれ補正処理を実行する。座標補正部３２は、位置ずれ補正処理として、位置ずれの補正が必要か否かを判定し、必要であると判定した場合に、距離演算部２２で演算された注目測距点の３次元座標（x,y,z）を補正（移動）する処理を実行する。位置ずれ補正処理後の注目測距点の３次元座標（x,y,z）と距離ヒストグラムは、記憶部２４に供給され、記憶される。
　また、補正処理部２３は、データ取得部２１から供給されたRGB画像も、所定のタイミングで記憶部２４に供給し、記憶させる。確認対象判定部３１または座標補正部３２のどちらが、RGB画像を記憶部２４へ記憶させてもよい。
　補正処理部２３は、dToFセンサ１２から順次供給される複数フレームの全てのフレームに対して処理を終了した場合、終了通知を出力部２５に供給する。
　出力部２５は、補正処理部２３から終了通知が供給された場合、記憶部２４に記憶されている全てのフレームの各測距点の３次元座標を、補正処理後の３次元座標として、出力する。
　なお、補正処理部２３は、dToFセンサ１２から順次供給される複数フレームに対して、フレーム単位で終了通知を出力部２５に供給してもよい。この場合、出力部２５は、フレーム単位で、記憶部２４から、補正処理後の３次元座標を取得して出力する。
　信号処理装置１３は、以上の構成を有する。以下、信号処理装置１３の補正処理部２３の詳細についてさらに説明する。
＜２．確認対象判定部の確認対象判定処理＞
　次に、確認対象判定部３１による確認対象判定処理について説明する。
　確認対象判定部３１は、注目測距点が確認対象の測距点であるか、換言すれば、位置ずれが起きている可能性の高い測距点であるか否かを判定する。
　具体的には、位置ずれは物体の境界付近で起きやすいこと、あるいは、位置ずれが物体の境界付近で発生した場合に、位置ずれの影響が大きいことから、確認対象判定部３１は、RGBカメラ１１で撮影されたRGB画像から、物体境界近傍の領域をエッジ領域として抽出する。そして、確認対象判定部３１は、注目測距点がエッジ領域に含まれる場合に、位置ずれが起きている可能性の高い、確認対象の測距点であると判定する。
　図６は、確認対象判定部３１による確認対象判定処理を説明する図である。
　まず、確認対象判定部３１は、RGBカメラ１１で撮影されたRGB画像５１に対して、例えばCannyの手法などを用いてエッジを検出する。図６のエッジ画像５１Eは、RGB画像５１から検出されたエッジを黒色の画素値で表現した画像である。
　次に、確認対象判定部３１は、エッジが検出されたエッジ画像５１Eに対して、黒色画素を膨張させるフィルタ処理をN回（Nは２以上の整数。）実行することで、エッジから所定幅のエッジ領域を決定する。図６の例では、エッジ領域画像５１Rにおいてドットパターンで示された領域が、エッジ画像５１Eに基づいて決定されたエッジ領域を示している。
　なお、エッジ領域は、上述した膨張処理以外の方法で決定してもよい。例えば、過去数フレームから動きが検出された領域をエッジ領域として決定してもよい。より具体的には、記憶部２４に記憶されている過去フレームのRGB画像と現フレームのRGB画像とを入力とし、Gunnar-Farneback法などで求めた密なオプティカルフロー画像中で、動きが大きい部分に関して膨張処理回数を増やした領域を、エッジ領域として決定してもよい。
　次に、確認対象判定部３１は、RGBカメラ１１のカメラ内部パラメータを用いて、注目測距点の３次元座標に対応する、RGB画像５１上のスクリーン座標（u,v）を求める。そして、確認対象判定部３１は、注目測距点のRGB画像５１上のスクリーン座標(u,v)が、エッジ領域内に含まれる場合、注目測距点が確認対象の測距点であると判定する。一方、注目測距点のRGB画像５１上のスクリーン座標(u,v)が、エッジ領域外に位置する場合、注目測距点が確認対象の測距点ではないと判定する。なお、注目測距点の３次元座標をスクリーン座標(u,v)へ変換するためのRGBカメラ１１のカメラ内部パラメータは既知である。
　図６の例では、注目測距点が測距点g1である場合、測距点g1のRGB画像５１上の対応点gs1のスクリーン座標(u,v)は、エッジ領域外となっているため、測距点g1は確認対象の測距点ではないと判定される。
　これに対して、注目測距点が測距点g2である場合、測距点g2のRGB画像５１上の対応点gs2のスクリーン座標(u,v)は、エッジ領域内となっているため、測距点g2は確認対象の測距点であると判定される。
＜３．座標補正部の位置ずれ補正処理＞
　次に、注目測距点が確認対象の測距点であると判定された場合に座標補正部３２によって実行される、位置ずれ補正処理について説明する。
　図７は、図４に示したRGB画像５１の測距点K11が確認対象の測距点であると判定された場合の、座標補正部３２による位置ずれ補正処理を説明する図である。
　図７では、図４に示したRGB画像５１の測距点K11を含む周辺領域を拡大した拡大領域６１が示されている。また、拡大領域６１には、測距点K11のほか、その周辺に位置する８個の測距点K21ないしK28も含まれている。
　座標補正部３２は、注目測距点K11を中心にMxMの周辺の近傍測距点を用いて、位置ずれ補正処理を実行する。図７の例では、M＝３として、注目測距点K11の周辺の８個の測距点K21ないしK28を用いて、位置ずれ補正処理が実行される。ここで、拡大領域６１内の測距点K11の位置（位置ベクトル）を、位置ａとする。また、８個の測距点K21ないしK28の位置（位置ベクトル）を、それぞれ、位置ｂ１ないしｂ８とする。
　なお、図７において、測距点K11と測距点K21ないしK28の９個の測距点の近傍に表示されたヒストグラムは、各測距点の距離ヒストグラムを概念的に示したものであり、RGB画像５１の一部ではない。
　拡大領域６１は、エッジ６２を含み、エッジ６２を境界として、車４１の領域６３と、背景４４の領域６４とに分けられる。また、エッジ６２から所定幅の領域が、エッジ領域６５とされている。
　座標補正部３２は、RGB画像５１のスクリーン座標系において、注目測距点K11の位置ａから、エッジ６２の最短位置ｅまでのベクトル（ｅ－ａ）を計算する。
　座標補正部３２は、注目測距点K11と、その近傍の複数の測距点との距離ヒストグラムの類似度を計算し、類似度の重心ベクトルを計算する。この例では、座標補正部３２は、注目測距点K11を中心とする３ｘ３の９個の測距点を用いて、注目測距点K11と、その周辺の８個の測距点K21ないしK28との類似度を計算し、類似度の重心ベクトルを計算する例を説明する。
　距離ヒストグラムには、測距点の単一の距離情報だけではなく、周囲の測距点との対応関係や、隣接するフレーム間の対応関係を判断する手がかりとなる物体の反射率や外乱光などの付加情報が含まれている。距離ヒストグラムどうしの比較を行うことで、例えば下記のような情報を、類似度の算出に当たり利用可能である。
・距離減衰線に沿った移動（同じ被写体の距離変化）
・物体境界や、ガラス等の透明被写体による他のピークの出現
・内部散乱によるヒストグラム波形のひずみ
・外乱光（光源方向を検出し、影のエッジ情報を利用可能）
・物体境界で発生するヒストグラム波形の入れ替わり
　本実施の形態では、距離ヒストグラムどうしの類似度算出の例として、（１）距離ヒストグラムの相関を用いる例と、（２）多様体空間における距離を用いる例を説明する。
　初めに、（１）距離ヒストグラムの相関を用いて類似度を算出する場合の、類似度の算出方法を説明する。
　注目測距点K11の距離ヒストグラムHaが、N個のビンで構成され、i番目のビンのカウント値をCai(i=1,2,3,・・・,N)とすると、距離ヒストグラムHaは、Ha＝｛Ca1,Ca2,・・・,CaN｝で表される。また、注目測距点K11近傍の測距点K21ないしK28の所定の１つの測距点K2bの距離ヒストグラムHbが、N個のビンで構成され、i番目のビンのカウント値をCbi(i=1,2,3,・・・,N)とすると、距離ヒストグラムHbは、Hb＝｛Cb1,Cb2,・・・,CbN｝で表される。
　このとき、距離ヒストグラムHaと距離ヒストグラムHbの類似度rabは、以下の式（１）で表現することができる。
Figure JPOXMLDOC01-appb-M000001
 　式（１）中のCa_avは、Ca_av＝AVE(Ca1,Ca2,・・・,CaN)、すなわち、距離ヒストグラムHaのN個のカウント値Ca1,Ca2,・・・,CaNの平均値を表す。同様に、Cb_avは、Cb_av＝AVE(Cb1,Cb2,・・・,CbN)、すなわち、距離ヒストグラムHbのN個のカウント値Cb1,Cb2,・・・,CbNの平均値を表す。式（１）のrabは、距離ヒストグラムHaと距離ヒストグラムHbの相関係数に対応する。
　注目測距点K11と、その近傍の測距点K2bの類似ベクトルvrabは、式（１）の類似度rabを用いて、以下の式（２）で表現することができる。
Figure JPOXMLDOC01-appb-M000002
 　式（２）中のaは、測距点K11の位置ベクトルであり、bは、測距点K2bの位置ベクトルである。したがって、注目測距点K11と、その近傍の測距点K2bの類似ベクトルvrabは、注目測距点K11の位置ベクトルａと、測距点K2bの位置ベクトルｂのベクトル差分に、位置ベクトルａと位置ベクトルｂの類似度（相関係数）rabを乗算して求められる。
　注目測距点K11の近傍の８個の測距点K21ないしK28の全てについて、式（２）の類似ベクトルvrabが計算され、それらを類似ベクトルvrabi（i=1,2,・・,8）と表す。
　注目測距点K11と、近傍の８個の測距点K21ないしK28それぞれの類似ベクトルvrabi（i=1,2,・・,8）の重心ベクトルrは、以下の式（３）で表現される。
Figure JPOXMLDOC01-appb-M000003
 　式（３）のMは、図７の例ではM＝３であるので、M２-1＝８である。
　図７には、注目測距点K11の近傍の８個の測距点K21ないしK28の類似ベクトルvrab1ないしvrab8の重心ベクトルrが示されている。
　次に、座標補正部３２は、注目測距点K11の近傍の８個の測距点K21ないしK28の類似ベクトルvrab1ないしvrab8の重心ベクトルrと、注目測距点K11の位置ａからエッジ６２の最短位置ｅへ向かうベクトル（ｅ－ａ）とがなす角θを計算する。
　座標補正部３２は、重心ベクトルrとベクトル（ｅ－ａ）とがなす角θが所定の閾値内である場合、例えば－π/2＜θ＜π/2である場合、２つのベクトルの向きが一致していると判定する。反対に、重心ベクトルrとベクトル（ｅ－ａ）とがなす角θが所定の閾値より大きい場合、座標補正部３２は、２つのベクトルの向きが一致していないと判定する。
　座標補正部３２は、２つのベクトルの向きが一致している場合、注目測距点K11の補正が必要であると判定し、注目測距点K11がエッジ６２をまたぐように、注目測距点K11の位置ａを移動（補正）する。例えば、座標補正部３２は、注目測距点K11の位置ａを、a’＝a＋２（ｅ－ａ）で計算される図７の位置a’に移動（補正）する。反対に、２つのベクトルの向きが一致していない場合、注目測距点K11の補正は不要であると判定され、注目測距点K11の位置ａは移動（補正）されない。
　以上のように、（１）距離ヒストグラムの相関を用いて算出した類似ベクトルvrabから、重心ベクトルｒを算出し、注目測距点K11の位置ａを補正するか否かを判定して、注目測距点の位置ずれを補正することができる。
　次に、（２）多様体空間における距離を用いて類似度を算出する場合の、類似度の算出方法を説明する。
　座標補正部３２は、図８に示されるように、注目測距点K11の距離ヒストグラムHaのピークカウント値Caと、外乱光のカウント値（中央値）Daを計算する。そして、座標補正部３２は、距離ヒストグラムHaの各ビンのカウント値をカウント合計値で除算することにより正規化し、確率密度関数となるように変換した上で、距離ヒストグラムHaに対してガウシアンフィッティング（ガウス関数近似）を行う。例えば、注目測距点K11の距離ヒストグラムHaが、平均μa、分散σa 2の正規分布N(μa，σa 2)に近似されたとする。
　座標補正部３２は、注目測距点K11近傍の測距点K21ないしK28の所定の１つの測距点K2bの距離ヒストグラムHbに対しても同様に、ピークカウント値Cbと、外乱光のカウント値Dbを計算するとともに、ガウシアンフィッティングを行う。距離ヒストグラムHbが、例えば、平均μb、分散σb 2の正規分布N(μb，σb 2)に近似されたとする。
　次に、座標補正部３２は、図９に示されるように、注目測距点K11と、近傍の測距点K2bを、ｘ軸を平均μ、ｙ軸を分散σ2、ｚ軸をピークカウント値Cとする非ユークリッド空間上にマッピングする。図９の非ユークリッド空間上の点Pは、注目測距点K11に対応し、p（xp）＝N(μa，σa 2)、Cp＝Ca、Dp＝Daである。点Qは、注目測距点K2bに対応し、p（xq）＝N(μb，σb 2)、Cq＝Cb、Dq＝Dbである。
　次に、座標補正部３２は、注目測距点K11と測距点K2bに対応する非ユークリッド空間上の点Pと点Qの疑似距離Lを以下の式（４）より計算する。
Figure JPOXMLDOC01-appb-M000004
 　式（４）において、KL(p||q)は、点P，Qの２つの正規分布間のKLダイバージェンスを表す。｜Cp－Cq｜は、L1ノルムによる点P，Qのピークカウント値CpとCqの差分であり、｜Dp－Dq｜は、L1ノルムによる点P，Qの外乱光のカウント値DpとDqの差分である。また、a,b,cは、それぞれの重みを表す係数であり、０から１の範囲で任意に設定することができる。
　すなわち、注目測距点K11と測距点K2bに対応する非ユークリッド空間上の点Pと点Qの疑似距離Lは、点P，Qの２点間のKLダイバージェンスと、ピークカウント値CpとCqの差分と、外乱光のカウント値DpとDqの差分の重み付き和で算出される。
　次に、座標補正部３２は、注目測距点K11と、その近傍の測距点K2bの類似ベクトルvrabを、疑似距離Lを用いて、以下の式（５）により計算する。
　　　vrab＝1-（1/L）　　　　・・・・・・・・・・・・・・・・・（５）
　その後の処理は、距離ヒストグラムの相関を用いた場合と同様である。すなわち、注目測距点K11の近傍の８個の測距点K21ないしK28の全てについて、式（５）の類似ベクトルvrabが計算され、類似ベクトルvrabi（i=1,2,・・,8）が計算される。そして、重心ベクトルrが、上述の式（３）で計算され、重心ベクトルrとベクトル（ｅ－ａ）とがなす角θが所定の閾値内であるか否かに応じて、注目測距点K11の位置ａが移動（補正）される。
　以上の多様体空間における距離を用いて類似度を算出する場合、距離ヒストグラムの相関を用いた場合と比較して、データ量を抑えることができる。
　上述した例では、M＝３として、注目測距点K11の近傍の８個の測距点K21ないしK28を用いて、注目測距点K11を補正するか否かを判定したが、近傍の測距点の個数は任意に設定可能であることは言うまでもない。
＜４．第１実施の形態による位置情報算出処理＞
　次に、図１０のフローチャートを参照して、第１実施の形態の信号処理システム１による位置情報算出処理について説明する。この処理は、例えば、RGBカメラ１１およびdToFセンサ１２からRGB画像および距離ヒストグラムが供給されたとき開始される。
　なお、図１０の位置情報算出処理では、座標補正部３２が距離ヒストグラムどうしの類似度を算出する方法として、（１）距離ヒストグラムの相関を用いた場合の例で説明する。
　初めに、ステップＳ１において、データ取得部２１は、RGBカメラ１１から供給されたRGB画像と、dToFセンサ１２から供給された距離ヒストグラムおよびカメラ姿勢とを取得する。データ取得部２１は、取得したRGB画像を、補正処理部２３へ供給するとともに、取得した距離ヒストグラムおよびカメラ姿勢を、距離演算部２２へ供給する。
　ステップＳ２において、距離演算部２２は、データ取得部２１からの距離ヒストグラムおよびカメラ姿勢に基づいて、測距点ごとに３次元座標（x,y,z）を演算する。より具体的には、距離演算部２２は、スポット光SPに対応するマルチピクセルMPのヒストグラムデータから、カウント値のピーク領域を検出し、検出されたピーク領域とカメラ姿勢とから、３次元座標（x,y,z）を演算する。演算された各測距点の３次元座標（x,y,z）は、距離ヒストグラムとともに、補正処理部２３へ供給される。
　ステップＳ３において、補正処理部２３は、dToFセンサ１２から供給された１フレームに含まれる測距点の所定の一つを注目測距点に決定し、処理をステップＳ４に進める。
　ステップＳ４において、補正処理部２３の確認対象判定部３１は、確認対象判定処理を実行する。例えば、確認対象判定部３１は、RGB画像５１のエッジを検出して膨張処理を施すことによりエッジ領域を決定し、注目測距点のRGB画像５１上のスクリーン座標（u,v）が、エッジ領域内に含まれるか否かにより、注目測距点が確認対象の測距点であるか否かを判定する。
　ステップＳ５において、確認対象判定部３１は、確認対象判定処理の結果に基づいて、注目測距点が確認対象の測距点であるかを判定する。ステップＳ５で、注目測距点が確認対象の測距点ではないと判定された場合、処理はステップＳ６に進み、注目測距点が確認対象の測距点であると判定された場合、処理はステップＳ７に進む。
　注目測距点が確認対象の測距点ではないと判定された場合のステップＳ６では、確認対象判定部３１は、距離演算部２２で演算された注目測距点の３次元座標（x,y,z）と距離ヒストグラムを、そのまま、記憶部２４に供給し、記憶させる。データ取得部２１から供給されたRGB画像も記憶部２４に供給され、記憶される。
　一方、注目測距点が確認対象の測距点であると判定された場合のステップＳ７では、座標補正部３２は、RGB画像５１のスクリーン座標系において、注目測距点の位置ａからエッジ６２の最短位置ｅまでのベクトル（ｅ－ａ）を計算する。
　ステップＳ８において、座標補正部３２は、注目測距点と、その近傍の複数の測距点それぞれとの距離ヒストグラムの類似度（類似ベクトル）を計算し、類似度の重心ベクトルを計算する。例えば、注目測距点K11を中心とする３ｘ３の９個の測距点を用いて、注目測距点K11と、その周辺の８個の測距点K21ないしK28との距離ヒストグラムの類似ベクトルvrab１ないしvrab8が計算され、式（３）の類似ベクトルvrab１ないしvrab8の重心ベクトルrが計算される。
　ステップＳ９において、座標補正部３２は、注目測距点近傍の複数の測距点の類似度の重心ベクトルrと、注目測距点からエッジ６２の最短位置ｅへ向かうベクトル（ｅ－ａ）の２つのベクトルの向きが一致しているかを判定する。ステップＳ９では、例えば、重心ベクトルrとベクトル（ｅ－ａ）とがなす角θが所定の閾値内である場合、２つのベクトルの向きが一致していると判定され、所定の閾値以上である場合、２つのベクトルの向きが一致していないと判定される。
　ステップＳ９で、２つのベクトルの向きが一致していないと判定された場合、処理は上述したステップＳ６に進む。したがって、この場合、注目測距点の３次元座標（x,y,z）は補正されず、そのまま、記憶部２４に記憶される。
　一方、ステップＳ９で、２つのベクトルの向きが一致していると判定された場合、処理はステップＳ１０に進む。ステップＳ１０において、座標補正部３２は、注目測距点がエッジ６２をまたぐように、注目測距点の位置ａを移動し、移動後の３次元座標（x,y,z）を、補正後の３次元座標（x,y,z）として、記憶部２４に記憶させる。注目測距点の距離ヒストグラムと、データ取得部２１から供給されたRGB画像も記憶部２４に供給され、記憶される。
　ステップＳ６またはＳ１０の後、ステップＳ１１において、補正処理部２３は、dToFセンサ１２から供給された１フレームの全ての測距点を注目測距点としたかを判定する。ステップＳ１１で、１フレームの全ての測距点をまだ注目測距点としていないと判定された場合、処理はステップＳ３に戻され、上述したステップＳ３ないしＳ１１が繰り返される。すなわち、１フレームの測距点のなかで、まだ注目測距点とされていない測距点が次の注目測距点に設定され、確認対象の測距点か否かが判定され、２つのベクトルの向きが一致していると判定された場合、注目測距点の３次元座標（x,y,z）が補正（移動）される。
　一方、ステップＳ１１で、１フレームの全ての測距点を注目測距点としたと判定された場合、処理はステップＳ１２に進み、信号処理装置１３は、処理を終了するか否かを判定する。例えば、dToFセンサ１２から供給された全てのフレームの測距点について、上述したステップＳ１ないしＳ１１の処理を実行し、dToFセンサ１２から次のフレームの距離ヒストグラムが供給されない場合、信号処理装置１３は、処理を終了すると判定する。反対に、dToFセンサ１２から次のフレームの距離ストグラムが供給された場合、信号処理装置１３は、処理を終了しないと判定する。
　ステップＳ１２で、まだ処理を終了しないと判定された場合、処理はステップＳ１へ戻され、上述したステップＳ１ないしＳ１２の処理が繰り返される。
　一方、ステップＳ１２で、処理を終了すると判定された場合、処理はステップＳ１３に進み、補正処理部２３は、終了通知を出力部２５へ供給する。
　ステップＳ１４において、出力部２５は、記憶部２４に記憶されている全てのフレームの各測距点の３次元座標（x,y,z）を出力して、図１０の位置情報算出処理を終了する。出力される各フレームの各測距点の３次元座標（x,y,z）には、補正処理されたものと、補正処理されないものがある。
　以上説明した第１実施の形態に係る信号処理システム１の位置情報算出処理によれば、注目測距点がエッジ領域内に含まれるか否かにより、注目測距点が確認対象の測距点であるか否かが判定される。そして、注目測距点が確認対象の測距点であると判定された場合、注目測距点の距離ヒストグラムと、近傍の複数の測距点の距離ヒストグラムとの類似度（類似ベクトル）を計算することにより、注目測距点の位置が、距離ヒストグラムが類似する近傍の測距点の方に補正される。これにより、dToFセンサ１２の位置情報のずれを補正することができる。
＜５．信号処理システムの第２実施の形態＞
　図１１は、本開示の信号処理システムの第２実施の形態の構成例を示すブロック図である。
　図１１の第２実施の形態において、図１で示した第１実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　第２実施の形態に係る信号処理システム１は、RGBカメラ１１、dToFセンサ１２、および、信号処理装置１３で構成されている。信号処理装置１３は、データ取得部２１、距離演算部２２、補正処理部２３、記憶部２４、および、出力部２５を有し、補正処理部２３は、確認対象判定部７１、および、座標補正部３２を備える。
　すなわち、第２実施の形態に係る信号処理システム１では、第１実施の形態における補正処理部２３の確認対象判定部３１が、確認対象判定部７１に変更されており、その他の構成は、第１実施の形態と同様である。換言すれば、第２実施の形態は、注目測距点が確認対象の測距点であるか否かを判定する判定方法が、第１実施の形態と異なり、その他の点は第１実施の形態と同様である。
　上述した第１実施の形態では、物体境界近傍の領域として、RGB画像からエッジ領域を抽出し、注目測距点がエッジ領域に含まれるか否かによって、位置ずれが起きている可能性の高い測距点であるか否かが判定された。これに対して、第２実施の形態の確認対象判定部７１は、複数フレームにわたる距離ヒストグラムの変化を観測することにより、注目測距点が物体境界近傍の領域であるかを判定する。そして、注目測距点が物体境界近傍の領域であると判定された場合、確認対象判定部７１は、位置ずれが起きている可能性の高い測距点として、注目測距点を確認対象の測距点であると判定する。
　例えば、図１２に示されるように、背景側の物体８１と前景側の物体８２が被写体として存在し、物体８１と物体８２の境界部分にスポット光SPが照射される場合について考える。前景側の物体８２が、動被写体であり、矢印で示される左方向へ移動しているとする。
　dToFセンサ１２が出力する距離ヒストグラムは、物体８１に対応するピーク領域ｈ１と、物体８２に対応するピーク領域ｈ２の２つのピーク領域を含む。スポット光SPが物体８２に当たる領域が、物体８１に当たる領域よりも大きい場合には、物体８２に対応するピーク領域ｈ２のピークカウント値が、物体８１に対応するピーク領域ｈ１のピークカウント値よりも大きくなる。その後、物体８２の移動により、スポット光SPが物体８１に当たる領域が、物体８２に当たる領域よりも大きくなると、物体８１に対応するピーク領域ｈ１のピークカウント値が、物体８２に対応するピーク領域ｈ２のピークカウント値よりも大きくなる。また、図示は省略するが、スポット光SPが物体８１と物体８２の境界部分ではなく、物体８１または物体８２のいずれか一方のみに照射されている場合には、dToFセンサ１２が出力する距離ヒストグラムは、大きなピークカウント値を有する１つのピーク領域を有するヒストグラムとなる。
　したがって、確認対象判定部７１は、複数フレームにわたる距離ヒストグラムを観測し、距離ヒストグラムのピーク領域数が「1→２→１」と変化する測距点を、確認対象の測距点であると判定する。なお、ピーク領域数が「1→２→１」と変化する測距点には、「背景→前景と背景の境界部分→前景」のように変化する場合と、「前景→前景と背景の境界部分→背景」のように変化する場合とがある。
　図１３は、確認対象判定部７１による確認対象判定処理を説明する図である。
　まず、確認対象判定部７１は、現在の時刻tのフレームFtにおける注目測距点Kxの距離ヒストグラムのピーク領域数が１つであるか、または２つ以上であるかを判定する。注目測距点Kxの距離ヒストグラムのピーク領域数が２つ以上である場合、その測距点は物体境界の可能性があり、位置ずれが起きている可能性の高い測距点として、注目測距点を確認対象の測距点であると判定する。
　一方、注目測距点Kxの距離ヒストグラムのピーク領域数が１つである場合には、記憶部２４から過去Wフレーム（Wは２以上の整数。）の同一位置の測距点Kxの距離ヒストグラムを取得し、過去Wフレームにおける距離ヒストグラムのピーク領域数と、カウント値が最大のビン位置を確認する。過去Wフレームにおける距離ヒストグラムのピーク領域数が１つで、最大カウント値のビン位置も同じである場合には、確認対象判定部７１は、位置ずれが起きている可能性の低い測距点であり、注目測距点は確認対象の測距点ではないと判定する。
　一方、過去Wフレームにおける距離ヒストグラムのピーク領域数が２つ以上で、最大カウント値のビン位置が変化している場合には、確認対象判定部７１は、位置ずれが起きている可能性の高い測距点として、注目測距点を確認対象の測距点であると判定する。
　図１３の例では、現在の時刻tのフレームFtにおける注目測距点Kxの距離ヒストグラムのピーク領域数は１つであるため、記憶部２４から過去Wフレームの同一位置の測距点Kxの距離ヒストグラムが取得され、過去Wフレームにおける距離ヒストグラムのピーク領域数と、最大カウント値のビン位置が確認される。
　いまW＝３とされ、過去３フレームにおける距離ヒストグラムのピーク領域数と、最大カウント値のビン位置が確認されることとすると、時刻ｔ－１のフレームFt-1および時刻ｔ－２のフレームFt-2のピーク領域数は２つであり、最大カウント値のビン位置が、時刻ｔ－２のフレームFt-2と時刻ｔ－１のフレームFt-1とで変化している。図１３に示される各フレームの距離ヒストグラムにおいて、最大カウント値のピークには丸印が付されている。
　したがって、確認対象判定部７１は、現在の時刻tのフレームFtにおける注目測距点Kxを、位置ずれが起きている可能性の高い測距点であり、確認対象の測距点であると判定する。
　なお、第２実施の形態においては、上述したように、過去Wフレームにわたる距離ヒストグラムの変化を観測することにより、注目測距点が物体境界近傍の領域であるかを判定し、確認対象の測距点であるか否かを判定するので、dToFセンサ１２の各マルチピクセルMPの位置は、撮影期間中の全フレームにおいて変化せず、各フレームで同一の位置をサンプリングする必要がある。
＜６．第２実施の形態による位置情報算出処理＞
　第２実施の形態の信号処理システム１による位置情報算出処理は、第１実施の形態で説明した図１０のフローチャートのステップＳ４で行われる確認対象判定処理の判定方法が異なり、その他のステップＳ１ないしＳ３およびステップＳ５ないしＳ１４の処理は同一である。
　図１０のフローチャートを参照して説明すると、図１０のステップＳ４において、確認対象判定部７１は、現在の時刻tのフレームFtにおける注目測距点Kxの距離ヒストグラムのピーク領域数が１つであるか、または２つ以上であるかを判定する。そして、注目測距点Kxの距離ヒストグラムのピーク領域数が２つ以上である場合、確認対象判定部７１は、注目測距点を確認対象の測距点であると判定する。
　一方、現在の時刻tのフレームFtにおける注目測距点Kxの距離ヒストグラムのピーク領域数が１つである場合、確認対象判定部７１は、さらに、過去Wフレームにおける距離ヒストグラムのピーク領域数と、カウント値が最大のビン位置を確認する。過去Wフレームにおける距離ヒストグラムのピーク領域数が１つで、最大カウント値のビン位置も同じである場合には、確認対象判定部７１は、注目測距点Kxは確認対象の測距点ではないと判定する。一方、過去Wフレームにおける距離ヒストグラムのピーク領域数が２つで、最大カウント値のビン位置も入れ替わっている場合には、確認対象判定部７１は、注目測距点Kxは確認対象の測距点であると判定する。
　以上説明した第２実施の形態に係る信号処理システム１の位置情報算出処理によれば、注目測距点の距離ヒストグラムのピーク領域数と、最大カウント値のビン位置が、過去Wフレームにおいて変化しているか否かにより、注目測距点が確認対象の測距点であるか否かが判定される。そして、注目測距点が確認対象の測距点であると判定された場合、注目測距点の距離ヒストグラムと、近傍の複数の測距点の距離ヒストグラムとの類似度（類似ベクトル）を計算することにより、注目測距点の位置が、距離ヒストグラムが類似する近傍の測距点の方に補正される。これにより、dToFセンサ１２の位置情報のずれを補正することができる。
　なお、第２実施の形態において、RGBカメラ１１およびdToFセンサ１２が、位置を固定して被写体を撮影している場合、距離ヒストグラムのピーク領域数が「1→２→１」のように変化する測距点は動被写体を撮影した点であり、計算された３次元座標の信頼度が低いと予想される。そこで、RGBカメラ１１およびdToFセンサ１２の位置が固定の場合であって、距離ヒストグラムのピーク領域数が「1→２→１」のように変化する測距点については、３次元座標の測定値を削除し、信号処理装置１３から出力しないようにしてもよい。
　あるいはまた、距離ヒストグラムのピーク領域数が「1→２→１」のように変化する測距点に信頼度を付加して出力するようにして、低信頼度の測距点であることが後段の装置で識別できるようにしてもよい。測距点の信頼度は、例えば、距離ヒストグラムのピーク領域数が「1→２→１」や、「1→２→２→１」、「1→２→２→２→１」のように、距離ヒストグラムのピークの入れ替わりにかかるフレーム数の逆数を１から引いた値で求めることができる。具体的には、例えば、距離ヒストグラムのピーク領域数が「1→２→１」と変化する測距点の信頼度は、「1-1/3＝0.6」と算出することができる。また例えば、距離ヒストグラムのピーク領域数が「1→２→２→１」と変化する測距点の信頼度は、「1-1/4＝0.75」と算出することができる。また例えば、距離ヒストグラムのピーク領域数が「1→２→２→２→１」と変化する測距点の信頼度は、「1-1/5＝0.8」と算出することができる。
　信頼度が付加された測距点を取得した後段の装置では、低信頼度の測距点として認識することで、例えば、残像を防ぐような処理を行うことができる。
＜７．まとめ＞
　信号処理装置１３は、測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得するデータ取得部２１と、所定の測距点の距離ヒストグラムから、所定の測距点の３次元座標を演算する距離演算部２２と、所定の測距点が位置ずれ確認対象の測距点であるか否かを判定する確認対象判定部３１と、所定の測距点が位置ずれ確認対象の測距点である場合に、所定の測距点の距離ヒストグラムと、所定の測距点の近傍の測距点の距離ヒストグラムとの類似度の判定結果に基づいて、距離演算部２２で演算された所定の測距点の３次元座標を補正する位置ずれ補正処理を実行する座標補正部３２とを備える。
　第１実施の形態の確認対象判定部３１は、RGBカメラ１１が被写体を撮影したRGB画像（撮影画像）から物体のエッジ領域を検出し、所定の測距点がエッジ領域に含まれる場合に、位置ずれが起きている可能性の高い、確認対象の測距点であると判定する。
　一方、第２実施の形態の確認対象判定部３１は、複数フレームにわたる測距点の距離ヒストグラムの変化を観測することにより、所定の測距点が位置ずれ確認対象の測距点であるか否かを判定する。例えば、確認対象判定部３１は、距離ヒストグラムのピーク領域数が「1→２→１」と変化し、カウント値が最大のビン位置が変化している場合に、確認対象の測距点であると判定する。
　座標補正部３２は、確認対象の測距点の距離ヒストグラムと、その測距点の近傍の測距点の距離ヒストグラムとの類似度の重心ベクトルが、物体境界の方向と一致している場合に、測距点の３次元座標の補正が必要であると判定し、測距点の３次元座標を補正（移動）する。
　信号処理装置１３の上述した確認対象判定処理および位置ずれ補正処理によれば、dToFセンサ１２の位置情報のずれを正しい方向に補正することができる。
　信号処理装置１３は、上述した第１実施の形態または第２実施の形態のいずれか一方のみの構成および機能を備えるものでもよいし、両方の構成および機能を備え、例えば、第１実施の形態に対応した第１の動作モードと、第２実施の形態に対応した第２の動作モードとを切り替えることにより、いずれか一方の処理を選択的に行うものでもよい。
　＜本技術の応用例＞
　dToFセンサ１２から取得したヒストグラムデータを用いて３次元座標を補正して出力することが可能な本開示の位置情報算出処理は、自己位置推定と環境地図作成を同時に行うSLAM(Simultaneous Localization and Mapping)、物体を掴んで移動や作業を行うロボット動作、仮想のシーンや物体をCG（computer graphics）で生成する場合のCGモデリング、物体認識処理や物体分類処理、などの様々なアプリケーションの３次元測定に適用することができる。本開示の補正処理を適用することにより、物体の３次元座標の測定精度を向上させることができる。
＜８．コンピュータ構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の位置情報算出処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本開示の技術は、以下の構成を取ることができる。
（１）
　測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得する取得部と、
　前記所定の測距点が位置ずれ確認対象の測距点であるか否かを判定する判定部と、
　前記所定の測距点が位置ずれ確認対象の測距点である場合に、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の判定結果に基づいて、前記距離ヒストグラムから演算された前記所定の測距点の３次元座標を補正する補正処理を実行する補正部と
　を備える信号処理装置。
（２）
　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の重心ベクトルが、物体境界の方向と一致していると判定した場合に、前記補正処理を実行する
　前記（１）に記載の信号処理装置。
（３）
　前記補正部は、前記類似度の重心ベクトルが、物体境界の方向と一致していると判定した場合に、前記物体境界をまたぐ位置に、前記所定の測距点の３次元座標を補正する
　前記（２）に記載の信号処理装置。
（４）
　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の複数の測距点の前記距離ヒストグラムそれぞれとの前記類似度とから、前記類似度の重心ベクトルを計算する
　前記（２）に記載の信号処理装置。
（５）
　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記近傍の１つの測距点の前記距離ヒストグラムとの類似度を、前記所定の測距点の位置ベクトルと前記近傍の１つの測距点の位置ベクトルの差分と、前記所定の測距点の前記距離ヒストグラムと前記近傍の１つの測距点の前記距離ヒストグラムとの相関係数とから計算する
　前記（４）に記載の信号処理装置。
（６）
　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記近傍の１つの測距点の前記距離ヒストグラムとの類似度を、前記所定の測距点の前記距離ヒストグラムと、前記近傍の１つの測距点の前記距離ヒストグラムのそれぞれを近似した確率密度関数どうしの距離を用いて計算する
　前記（４）に記載の信号処理装置。
（７）
　前記判定部は、前記距離ヒストグラムが示す前記所定の測距点の３次元座標が、物体境界近傍の領域か否かを判定し、前記所定の測距点の３次元座標が物体境界近傍の領域である場合に、前記所定の測距点が位置ずれ確認対象の測距点であると判定する
　前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
　前記判定部は、被写体を撮影した撮影画像に含まれる物体のエッジ領域を検出し、前記所定の測距点の３次元座標が前記エッジ領域に含まれる場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
　前記（７）に記載の信号処理装置。
（９）
　前記取得部は、前記測距センサと同一範囲を撮影した前記撮影画像も取得し、
　前記判定部は、前記撮影画像に含まれる物体のエッジ領域を検出する
　前記（８）に記載の信号処理装置。
（１０）
　前記判定部は、被写体を撮影した撮影画像で動きが検出された領域をエッジ領域として検出し、前記所定の測距点の３次元座標が前記エッジ領域に含まれる場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
　前記（７）に記載の信号処理装置。
（１１）
　前記判定部は、複数フレームにわたる前記距離ヒストグラムの変化を観測することにより、前記所定の測距点の３次元座標が前記物体境界近傍の領域か否かを判定する
　前記（７）に記載の信号処理装置。
（１２）
　前記判定部は、前記複数フレームにおいて前記距離ヒストグラムのピーク領域数が変化する場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
　前記（１１）に記載の信号処理装置。
（１３）
　前記判定部は、前記複数フレームにおいて前記距離ヒストグラムの最大カウント値のビン位置が変化している場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
　前記（１１）または（１２）に記載の信号処理装置。
（１４）
　前記所定の測距点の前記距離ヒストグラムから、前記所定の測距点の３次元座標を演算する演算部をさらに備える
　前記（１）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
　信号処理装置が、
　測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得し、
　前記所定の測距点が位置ずれ確認対象の測距点であるか否かを判定し、
　前記所定の測距点が位置ずれ確認対象の測距点である場合に、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の判定結果に基づいて、前記距離ヒストグラムから演算された前記所定の測距点の３次元座標を補正する補正処理を実行する
　信号処理方法。
　１　信号処理システム，　１１　RGBカメラ，　１２　dToFセンサ，　１３　信号処理装置，　２１　データ取得部，　２２　距離演算部，　２３　補正処理部，　２４　記憶部，　２５　出力部，　３１　確認対象判定部，　３２　座標補正部，　７１　確認対象判定部，　１０１　CPU，　１０２　ROM，　１０４　バス，　１０５　入出力インタフェース，　１０６　入力部，　１０７　出力部，　１０８　記憶部，　１０９　通信部，　１１０　ドライブ，　１１１　リムーバブル記録媒体

Claims (15)

  1. 　測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得する取得部と、
    　前記所定の測距点が位置ずれ確認対象の測距点であるか否かを判定する判定部と、
    　前記所定の測距点が位置ずれ確認対象の測距点である場合に、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の判定結果に基づいて、前記距離ヒストグラムから演算された前記所定の測距点の３次元座標を補正する補正処理を実行する補正部と
    　を備える信号処理装置。
  2. 　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の重心ベクトルが、物体境界の方向と一致していると判定した場合に、前記補正処理を実行する
    　請求項１に記載の信号処理装置。
  3. 　前記補正部は、前記類似度の重心ベクトルが、物体境界の方向と一致していると判定した場合に、前記物体境界をまたぐ位置に、前記所定の測距点の３次元座標を補正する
    　請求項２に記載の信号処理装置。
  4. 　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の複数の測距点の前記距離ヒストグラムそれぞれとの前記類似度とから、前記類似度の重心ベクトルを計算する
    　請求項２に記載の信号処理装置。
  5. 　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記近傍の１つの測距点の前記距離ヒストグラムとの類似度を、前記所定の測距点の位置ベクトルと前記近傍の１つの測距点の位置ベクトルの差分と、前記所定の測距点の前記距離ヒストグラムと前記近傍の１つの測距点の前記距離ヒストグラムとの相関係数とから計算する
    　請求項４に記載の信号処理装置。
  6. 　前記補正部は、前記所定の測距点の前記距離ヒストグラムと、前記近傍の１つの測距点の前記距離ヒストグラムとの類似度を、前記所定の測距点の前記距離ヒストグラムと、前記近傍の１つの測距点の前記距離ヒストグラムのそれぞれを近似した確率密度関数どうしの距離を用いて計算する
    　請求項４に記載の信号処理装置。
  7. 　前記判定部は、前記距離ヒストグラムが示す前記所定の測距点の３次元座標が、物体境界近傍の領域か否かを判定し、前記所定の測距点の３次元座標が物体境界近傍の領域である場合に、前記所定の測距点が位置ずれ確認対象の測距点であると判定する
    　請求項１に記載の信号処理装置。
  8. 　前記判定部は、被写体を撮影した撮影画像に含まれる物体のエッジ領域を検出し、前記所定の測距点の３次元座標が前記エッジ領域に含まれる場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
    　請求項７に記載の信号処理装置。
  9. 　前記取得部は、前記測距センサと同一範囲を撮影した前記撮影画像も取得し、
    　前記判定部は、前記撮影画像に含まれる物体のエッジ領域を検出する
    　請求項８に記載の信号処理装置。
  10. 　前記判定部は、被写体を撮影した撮影画像で動きが検出された領域をエッジ領域として検出し、前記所定の測距点の３次元座標が前記エッジ領域に含まれる場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
    　請求項７に記載の信号処理装置。
  11. 　前記判定部は、複数フレームにわたる前記距離ヒストグラムの変化を観測することにより、前記所定の測距点の３次元座標が前記物体境界近傍の領域か否かを判定する
    　請求項７に記載の信号処理装置。
  12. 　前記判定部は、前記複数フレームにおいて前記距離ヒストグラムのピーク領域数が変化する場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
    　請求項１１に記載の信号処理装置。
  13. 　前記判定部は、前記複数フレームにおいて前記距離ヒストグラムの最大カウント値のビン位置が変化している場合に、前記所定の測距点の３次元座標が前記物体境界近傍の領域であると判定する
    　請求項１１に記載の信号処理装置。
  14. 　前記所定の測距点の前記距離ヒストグラムから、前記所定の測距点の３次元座標を演算する演算部をさらに備える
    　請求項１に記載の信号処理装置。
  15. 　信号処理装置が、
    　測距センサの所定の測距点における照射光の飛行時間のヒストグラムデータである距離ヒストグラムを取得し、
    　前記所定の測距点が位置ずれ確認対象の測距点であるか否かを判定し、
    　前記所定の測距点が位置ずれ確認対象の測距点である場合に、前記所定の測距点の前記距離ヒストグラムと、前記所定の測距点の近傍の測距点の前記距離ヒストグラムとの類似度の判定結果に基づいて、前記距離ヒストグラムから演算された前記所定の測距点の３次元座標を補正する補正処理を実行する
    　信号処理方法。
PCT/JP2022/008489 2021-07-26 2022-03-01 信号処理装置および信号処理方法 WO2023007795A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023538231A JPWO2023007795A1 (ja) 2021-07-26 2022-03-01

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-121297 2021-07-26
JP2021121297 2021-07-26

Publications (1)

Publication Number Publication Date
WO2023007795A1 true WO2023007795A1 (ja) 2023-02-02

Family

ID=85086548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008489 WO2023007795A1 (ja) 2021-07-26 2022-03-01 信号処理装置および信号処理方法

Country Status (2)

Country Link
JP (1) JPWO2023007795A1 (ja)
WO (1) WO2023007795A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116513A (ja) * 1999-10-18 2001-04-27 Toyota Central Res & Dev Lab Inc 距離画像算出装置
JP2003256875A (ja) * 2002-02-27 2003-09-12 Fuji Heavy Ind Ltd ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置
JP2008076252A (ja) * 2006-09-21 2008-04-03 Matsushita Electric Works Ltd 自己位置認識システム
US20200225333A1 (en) * 2019-01-16 2020-07-16 Ibeo Automotive Systems GmbH Method and device for optical distance measurement
JP2020112443A (ja) * 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116513A (ja) * 1999-10-18 2001-04-27 Toyota Central Res & Dev Lab Inc 距離画像算出装置
JP2003256875A (ja) * 2002-02-27 2003-09-12 Fuji Heavy Ind Ltd ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置
JP2008076252A (ja) * 2006-09-21 2008-04-03 Matsushita Electric Works Ltd 自己位置認識システム
JP2020112443A (ja) * 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
US20200225333A1 (en) * 2019-01-16 2020-07-16 Ibeo Automotive Systems GmbH Method and device for optical distance measurement

Also Published As

Publication number Publication date
JPWO2023007795A1 (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
US10890445B2 (en) Ground plane estimation in a computer vision system
CN108702437B (zh) 计算深度图的方法、系统、设备和存储介质
Levinson et al. Automatic online calibration of cameras and lasers.
US6956469B2 (en) Method and apparatus for pedestrian detection
US7194126B2 (en) Realtime stereo and motion analysis on passive video images using an efficient image-to-image comparison algorithm requiring minimal buffering
US10839539B2 (en) System and method for active stereo depth sensing
US10255682B2 (en) Image detection system using differences in illumination conditions
US8903127B2 (en) Egomotion estimation system and method
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
US10104359B2 (en) Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program
JP2012189445A (ja) 物体検出装置及び物体検出方法
US11543513B2 (en) Information processing apparatus, information processing method and program
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
WO2022054422A1 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
CN112835054A (zh) 使用tof传感器的物体检测系统
CN114022560A (zh) 标定方法及相关装置、设备
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
Jung et al. Object detection and tracking-based camera calibration for normalized human height estimation
US20220092804A1 (en) Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection
El Bouazzaoui et al. Enhancing rgb-d slam performances considering sensor specifications for indoor localization
JP2022045947A5 (ja)
WO2023007795A1 (ja) 信号処理装置および信号処理方法
WO2023281802A1 (ja) 信号処理装置および信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22848879

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023538231

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE