WO2026018359A1 - 物体検出方法、及び物体検出装置 - Google Patents
物体検出方法、及び物体検出装置Info
- Publication number
- WO2026018359A1 WO2026018359A1 PCT/JP2024/025700 JP2024025700W WO2026018359A1 WO 2026018359 A1 WO2026018359 A1 WO 2026018359A1 JP 2024025700 W JP2024025700 W JP 2024025700W WO 2026018359 A1 WO2026018359 A1 WO 2026018359A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- speed
- point cloud
- moving speed
- point
- reflection points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
Definitions
- the present invention relates to an object detection method and an object detection device.
- Patent Document 1 a device that detects another vehicle (hereinafter referred to as a cut-in vehicle) crossing in front of a host vehicle (see, for example, Patent Document 1).
- a cut-in vehicle a device that detects another vehicle (hereinafter referred to as a cut-in vehicle) crossing in front of a host vehicle (see, for example, Patent Document 1).
- radar waves are scanned within a scanning range, and radar waves reflected by an object are received to detect reflection points on the object. From the positions of each reflection point, a line segment capturing the outline of the vehicle is calculated, and the center position of the vehicle is calculated based on the calculated line segment.
- status recognition is performed using a method using the center position.
- the leading end position is calculated from the center position, and status recognition is performed using the leading end position. It is also disclosed that when the leading end position and the center position are close to each other, status recognition may also be performed using a method using the center position.
- a detection sensor emits electromagnetic waves and detects reflection points where the electromagnetic waves are reflected on an object
- a controller detects the object and estimates its movement speed based on the multiple reflection points.
- the controller approximates the object with a rectangle using the multiple reflection points and calculates the point cloud density from the number of reflection points included in the approximated rectangle. If this point cloud density is equal to or greater than a first threshold, a feature point-based estimation process is performed in which at least one of the multiple reflection points is directly used as a feature point and the object's movement speed is estimated from the amount of movement of the feature point's position. On the other hand, if the point cloud density is less than the first threshold, a center position-based estimation process is performed in which the center position of the rectangle is calculated and the object's movement speed is estimated from the amount of movement of the center position.
- velocity estimation can be performed using an appropriate method depending on the reliability of the reflection points, enabling highly accurate object detection.
- FIG. 1 is a block diagram showing a schematic configuration of an object detection device 10 according to this embodiment.
- the object detection device 10 according to this embodiment is mounted on a vehicle, detects objects around the vehicle, particularly surrounding vehicles, and estimates their moving speeds.
- the object detection device 10 includes a surroundings detection sensor 11 and a controller 20 that estimates the moving speed of surrounding vehicles based on observation information measured by the surroundings detection sensor 11 .
- the periphery detection sensor 11 is provided on the periphery of the vehicle to detect objects around the vehicle.
- the number and installation positions of the periphery detection sensors 11 are not particularly limited.
- a plurality of periphery detection sensors 11 may be provided to cover the front, rear, and sides of the vehicle so as to be able to detect objects within a 360° range around the periphery of the vehicle.
- the surroundings detection sensor 11 detects the reflection point of the electromagnetic wave on an object by transmitting an electromagnetic wave and receiving the electromagnetic wave reflected by the object.
- a LiDAR Light Detection and Ranging
- a millimeter wave radar a radar, or the like
- a combination of these may be used.
- a depth estimation sensor may be provided as the surroundings detection sensor 11.
- a host vehicle movement amount detection device that estimates the host vehicle movement amount may be further added to cancel out the host vehicle movement amount.
- the host vehicle movement amount detection device include a device that measures the host vehicle's position such as a Global Navigation Satellite System (GNSS), an Inertial Measurement Unit (IMU) that measures acceleration and angular velocity, and a wheel encoder.
- GNSS Global Navigation Satellite System
- IMU Inertial Measurement Unit
- the movement amount may be estimated using Simultaneous Localization and Mapping (SLAM).
- SLAM Simultaneous Localization and Mapping
- the surroundings detection sensor 11 measures the position of the reflection point reflected by an object based on the time from when the electromagnetic waves are transmitted to when the electromagnetic waves reflected by the object are received, and the direction of the electromagnetic waves transmitted.
- the surroundings detection sensor 11 also transmits electromagnetic waves within a predetermined scanning range, measuring multiple reflection points within the scanning range and obtaining one frame of observation results including point cloud data of these multiple reflection points.
- the surroundings detection sensor 11 repeatedly performs measurements at a predetermined cycle, outputting the observation results of multiple consecutive frames to the controller 20.
- the controller 20 is configured as a computer, and detects objects and estimates the object's movement speed based on the observation results (frames including point cloud data) input from the surroundings detection sensor 11.
- the controller 20 has a storage device that stores various data and programs, and a processor consisting of arithmetic circuits such as a CPU (Central Processing Unit).
- the processor reads and executes the programs in the storage device, and the controller 20 functions as an object extraction unit 21, a rectangle estimation unit 22, a point cloud density calculation unit 23, and a speed estimation unit 24, as shown in Figure 1.
- the controller 20 also has a frame buffer 25 that records acquired frames, the movement speed estimation results calculated based on the frames, and their reliability.
- the object extraction unit 21 divides the point cloud data obtained from the surroundings detection sensor 11 into point cloud subsets for each object 91 (moving object).
- a clustering method such as DBSCAN (Density-based spatial clustering of applications with noise) may be used as an object extraction method.
- DBSCAN Density-based spatial clustering of applications with noise
- objects that are not to be detected for example, road surfaces
- the object extraction unit 21 obtains a point cloud set for each object, and detects these point cloud sets as a single object.
- FIG. 2 is a diagram showing an example of point cloud data detected by a perimeter detection sensor and an example of an object approximated by a rectangle based on the point cloud data.
- a vehicle equipped with an object detection device 10 detects an object 91 (e.g., another vehicle) present within a predetermined scanning range Ar using a perimeter detection sensor 11.
- the object 91 moves from position P1 to position P2.
- An object extraction unit 21 periodically acquires frames including a point cloud of reflection points included in the scanning range. 2, for example, the object 91 is located at a position P1 at a first timing and at a position P2 at a second timing.
- the frame acquired at the first timing includes point cloud data of a reflection point Q on the object 91 at the position P1
- the frame acquired at the second timing includes point cloud data of a reflection point Q on the object 91 at the position P2.
- Figure 2 shows the two-dimensional position of each reflection point Q when the object 91 is viewed from the normal direction of the ground, in reality, these reflection points Q have three-dimensional (x, y, z) coordinates.
- the rectangle estimation unit 22 approximates the object with a rectangular object model 92 based on each reflection point Q of the acquired point cloud data.
- the point cloud set for each extracted object 91 is approximated with a rectangular object model.
- a rectangle refers to a shape that is rectangular when viewed from the normal direction of the ground, as shown in Figure 2, and may include, for example, a rectangular parallelepiped or cylinder.
- parameters that best fit the point cloud to the model are estimated.
- parameters that minimize the distance between each surface of the object model and each reflection point Q of the point cloud are estimated by optimization.
- An algorithm such as L-shape fitting can be used as this optimization method.
- the rectangle estimation unit 22 can approximate the object 91 to an object model 92 that is rectangular when viewed from the normal direction to the ground.
- the surroundings detection sensor 11 acquires reflection points Q on the first surface 91A (right side) of the object 91 and reflection points Q on the second surface 91B (rear surface) that is perpendicular to the first surface 91A. Therefore, the rectangle estimation unit 22 can estimate the first surface 91A and second surface 91B of the object model from these reflection points Q, and approximate it to a rectangle.
- FIG. 3 is a diagram showing an example of dividing an approximate rectangular object model into a plurality of sections.
- the object 91 is a large vehicle such as a truck or bus
- point cloud data of reflection points Q distributed uniformly on the circumferential surface of the object 91 cannot be obtained, and the reflection points Q may be concentrated in one area, as shown in Figure 3.
- the reliability of the reflection points Q decreases in areas where the intervals between the reflection points Q are long.
- the rectangle estimation unit 22 divides the object model 92 into multiple sections 92A.
- the sections 92A are divided, for example, along the direction of variation of the reflection points Q in the rectangle.
- the reflection points Q vary along the first surface 91A, which is the longitudinal direction, while the variation of the reflection points Q on the second surface 91B is small.
- the object model 92 is divided into multiple sections 92A along the direction along the first surface 91A. If the reflection points Q also vary along the direction along the second surface 91B, the object model 92 may be divided into multiple sections 92A along the direction along the first surface 91A and the direction along the second surface 91B.
- FIG. 4 is a diagram showing another example of point cloud data detected by the surroundings detection sensor. 4, there are cases where only one surface (for example, a first surface 91A) of the object 91 is observed, and a reflection point Q on a second surface 91B perpendicular to the first surface 91A is not observed, making it impossible to accurately determine the size of the rectangle in the depth direction.
- the point cloud density calculation unit 23 may calculate the point cloud density for each direction, dividing the object model 92 into horizontal and vertical directions.
- the point cloud density for the vertical direction is calculated by dividing the object model 92 into multiple horizontal regions 93A in the vertical direction using division lines 93 parallel to the horizontal direction, and determining whether each region 93A contains a reflection point Q.
- horizontal point cloud density (number of vertical regions containing reflection point Q) / (total number of regions).
- the speed estimation unit 24 calculates the moving speed of the object 91 based on each reflection point Q in multiple consecutive frames. Specifically, as shown in FIG. 1, the speed estimation unit 24 functions as an estimation method determination unit 241, a first speed estimation unit 242, a second speed estimation unit 243, and a speed integration unit 244.
- the estimation method determination unit 241 determines an estimation method for performing velocity estimation based on the point cloud density. Specifically, when the point cloud density is equal to or greater than a predetermined first threshold, the estimation method determination unit 241 determines that the reliability of the reflection points Q included in the point cloud is high, and determines feature-point-based velocity estimation that directly uses the reflection points Q as the estimation method. More preferably, when the point cloud density is equal to or greater than the first threshold in both of two consecutive frames input from the surroundings detection sensor 11, the estimation method determination unit 241 determines feature-point-based velocity estimation as the estimation method.
- the estimation method determination unit 241 determines that the reliability of the reflection point Q is low, and determines that the estimation method is center position-based velocity estimation using the center position C (see Figure 2) of the object model 92 approximated to a rectangle.
- the estimation method determination unit 241 determines the estimation method based on the section 92A with the highest point cloud density among the multiple sections 92A. For example, the estimation method determination unit 241 may determine the section 92A with the highest point cloud density as the determination section, or may determine a predetermined number of sections 92A in descending order of point cloud density as the determination sections.
- the estimation method determination unit 241 determines the method for estimating the movement speed for each direction. If the speed estimation method for the horizontal direction and the speed estimation method for the vertical direction are different, the first speed estimation unit 242 and second speed estimation unit 243 (described below) calculate the movement speed for each direction individually, and then the speed integration unit 244 integrates these speeds.
- the first speed estimation unit 242 calculates the moving speed of the object 91 from the point cloud data using a feature point-based speed estimation method.
- the first speed estimator 242 identifies feature points Q R (see FIG. 2 ) that have a high degree of distinctiveness from the reflection point Q in at least two consecutive frames (P1 and P2 in FIG. 2 ). Then, the first speed estimator 242 estimates the moving speed based on the moving distance of these feature points Q R between the two frames and the time difference between the two frames.
- the feature point QR is preferably a reflection point Q that can be identified as the same point between two frames, and examples thereof include a corner where the first surface 91A and the second surface 91B intersect in the object model 92, a high reflection point (such as the edge of a license plate) where the reflection intensity (brightness value) is higher than other surrounding reflection points Q, or points surrounding the high reflection point.
- the position of the reflection point Q on the side of the moving object 91 varies depending on the timing of irradiation of the electromagnetic wave from the periphery detection sensor 11, but the position of the corner where two side surfaces (for example, the first surface 91A and the second surface 91B) intersect can be stably acquired even when the object 91 moves.
- multiple reflection points Q along the edge where two side surfaces of the object model 92 intersect may be set as feature points Q R.
- all of the reflection points Q within a predetermined distance range from the edge may be set as feature points Q R.
- Such corners are not inconsistent in the horizontal and vertical directions, making it possible to stably associate feature points Q R between two frames.
- feature points Q R with a high degree of distinctiveness can be detected.
- High-reflection points are points with specifically high brightness values, and since such high-reflection points are a minority of all reflection points Q, it is possible to stably associate feature points Q R between two frames.
- LiDAR is used as the surroundings detection sensor 11, high-reflection points with high brightness values are, in principle, estimated to have a depth shorter than their actual depth. Therefore, the feature point Q R may be an average point between a high-reflection point with a high brightness value and its surrounding reflection points Q.
- the feature points Q and R are not limited to those described above, and if there are sufficient resources, all reflection points Q may be set as feature points Q and R , or all downsampled reflection points Q may be set as feature points Q and R. In this case, since approximation by feature points Q and R is not relied upon, it is possible to stably associate reflection points Q between two frames.
- the center positions C of the object models 92 are aligned to the same position. Then, the cost of a combination of corresponding feature points Q and R is calculated from the distance between each feature point Q and R , the distance and angle from the center position C to the feature point Q and R , or the characteristic degree of each feature point Q and R (for example, reflection intensity, reflection intensity of surrounding reflection points Q, etc.). Then, the combination with the smallest total cost is determined and selected as the corresponding feature point Q and R.
- the algorithm for determining the combination may be, for example, a greedy algorithm or a Hungarian algorithm.
- examples of the cost include the Mahalanobis distance between feature points Q and R , the norm of the characteristic degree, or a weighted sum thereof.
- the point cloud density calculation unit 23 may calculate the point cloud density in each of the horizontal and vertical directions, and in this case, a method for estimating the movement speed is determined for each of the horizontal and vertical directions.
- the first speed estimator 242 estimates the moving speed by the feature-point-based estimation process for the direction perpendicular to the direction of high density. For example, as shown in FIG. 4 , there is a case where a reflection point Q is detected only on one side (e.g., the first surface 91A) of the object 91. In such a case, the first speed estimator 242 can accurately calculate the moving speed for the direction perpendicular to the one side.
- the first speed estimator 242 also calculates the reliability of the estimated result of the calculated moving speed.
- the reliability of the speed estimation result of the feature-point-based speed estimation can be calculated based on the point cloud density of the reflection points Q. For example, the reliability is calculated so that the greater the number of feature points Q and R used in the speed estimation, the higher the reliability is set. Alternatively, the reliability may be calculated by dividing the residual between the estimated moving speed and the individual moving speed of each feature point Q and R by the number of feature points Q and R.
- the moving speed is estimated by the second speed estimator 243 when the point cloud density is less than the first threshold, and the reliability of the moving speed estimation result is lower than that of feature-point-based speed estimation.
- the second speed estimator 243 may set a certain fixed value as the reliability.
- the speed integration unit 244 integrates the moving speeds estimated by the first speed estimation unit 242 and the second speed estimation unit 243 and the speed information of the previous frame to estimate the moving speed of the object 91 .
- the estimation result of the moving speed of the object 91 estimated by the speed estimation unit 24 and the speed information including the reliability thereof are temporarily stored in the frame buffer 25 .
- the velocity integration unit 244 preferably uses a filter such as a Kalman filter, an extended Kalman filter, or a particle filter. In this case, the velocity up to the previous frame and its variance, and the velocity estimated based on the current frame and its variance are used.
- An example of a velocity model used in the filter is a constant acceleration motion model.
- the speed integration unit 244 estimates the updated moving speed (current estimated speed) from the speed model based on the speed information of the previous frame, and corrects the moving speed using the observation results of the current frame, thereby integrating the moving speed information based on the previous frame and the moving speed based on the current frame. At this time, the speed integration unit 244 also updates the variance of the moving speed using the integrated moving speed and the moving speed calculated up to the previous frame.
- the filter does not need to be updated. For example, if the residual of the estimated speed is three times the variance or more, there is a high possibility that it is an outlier, so updating is not performed. Furthermore, if it is determined that the estimated speed is greater than the possible speed of the object 91, updating is not performed.
- the speed integration unit 244 references the reliability of the movement speed estimation results based on each frame and weights them according to the reliability. For example, if the reliability of the previous frame is lower than the reliability of the current frame, the weight value of the movement speed of the current frame is increased and the weight value of the movement speed based on the previous frame is decreased.
- FIG. 5 is a flowchart showing the object detection method of this embodiment.
- the controller 20 first causes the object extraction unit 21 to acquire a frame including point cloud data of a plurality of reflection points Q from the surroundings detection sensor 11 and extract an object (step S1).
- the rectangle estimation unit 22 estimates an object model 92 that approximates the object 91 as a rectangle, based on the point cloud data of each frame obtained in step S1 (step S2). For example, as shown in FIG. 2, if a first surface 91A and a second surface 91B that sandwich a corner of the object 91 are detected, a rectangle with these first surface 91A and second surface 91B as its sides can be estimated.
- the rectangle estimation unit 22 further determines whether the area of the object model 92 estimated as a rectangle is equal to or greater than a predetermined second threshold value (step S3). If the determination in step S3 is YES, the rectangle estimation unit 22 divides the estimated rectangle into a plurality of sections 92A (step S4). As described above, the sections 92A are preferably divided along the direction of dispersion of the reflection points Q. This allows the object model 92 to have different point cloud densities in each section 92A.
- the point cloud density calculation unit 23 calculates the point cloud density of each section 92A (step S5), and adopts the section 92A with the highest point cloud density as the determination section for determining the estimation method for the movement speed of the object 91 (step S6). Note that in this embodiment, the section 92A with the highest point cloud density is used as the determination section, but multiple sections 92A with high point cloud densities may also be used as the determination section.
- step S7 the point cloud density calculation unit 23 calculates the point cloud density of the object model 92 estimated as a rectangle.
- the point cloud density calculation unit 23 may calculate the point cloud density in each direction, separately for the vertical direction and the horizontal direction, as described above.
- the estimation method determination unit 241 of the speed estimation unit 24 determines the estimation method for the moving speed of the object 91 based on the point cloud density of the section 92A designated as the determination section in step S6, or the point cloud density calculated in step S7. Specifically, the estimation method determination unit 241 determines whether the point cloud density is equal to or greater than a first threshold value (step S8).
- step S9 the estimation method determination unit 241 further determines whether the point cloud density of the object model 92 for the same object 91 in the frame acquired immediately before is equal to or greater than a first threshold (step S9). If the point cloud densities are calculated separately in the vertical and horizontal directions in steps S6 and S7, it is determined whether the point cloud density is equal to or greater than the first threshold for each direction. If the determination in step S9 is YES, the estimation method determination unit 241 determines feature-point-based speed estimation as the method for estimating the moving speed of the object 91 (step S10). On the other hand, if the result of step S8 is NO, and if the result of step S9 is NO, the estimation method determination unit 241 determines center position-based velocity estimation as the estimation method for the moving velocity of the object 91 (step S11).
- step S12 the speed estimation unit 24 performs speed estimation processing for the current frame based on the estimation method determined in step S10 or step S11 (step S12).
- FIG. 6 is a flowchart showing an outline of the speed estimation process in step S12.
- the speed estimation unit 24 determines whether the estimation method is feature-point-based speed estimation (step S21). If the determination in step S21 is YES, the first speed estimator 242 performs feature point-based speed estimation based on the point cloud data of the reflection point Q. The first speed estimator 242 reads the immediately preceding frame (the immediately preceding frame) from the frame buffer 25 (step S22).
- the first speed estimating unit 242 identifies feature points Q 1 R in the newly acquired current frame (step S23), and identifies corresponding feature points Q 1 R in the immediately preceding frame, and associates these with each other (step S24).
- characteristic points Q R include points on the corners where the first surface 91A and the second surface 91B intersect, high reflection points whose reflection intensity is higher than that of surrounding reflection points Q, and reflection points (low reflection points) around high reflection points. If there are sufficient resources, all reflection points Q may be set as characteristic points Q R.
- the first speed estimation unit 242 estimates the moving speed of the object 91 based on the distance from the feature point Q R in the previous frame to the feature point Q R in the current frame and the time difference between the acquisition time of the previous frame and the acquisition time of the current frame (step S25). Furthermore, the first speed estimating unit 242 calculates the reliability of the estimated moving speed (step S26).
- the second velocity estimator 243 performs center-position-based velocity estimation based on the center position C of the object model 92. Specifically, the second speed estimator 243 reads the previous frame from the frame buffer (step S27). Next, the second speed estimator 243 calculates the center position C of the object model 92 for the previous frame and the center position C of the object model 92 for the current frame (step S28).
- the second speed estimator 243 estimates the moving speed of the object 91 based on the movement distance from the center position C of the object model 92 in the previous frame to the center position C of the object model 92 in the current frame and the time difference between the acquisition time of the previous frame and the acquisition time of the current frame (step S29).
- the second speed estimator 243 calculates the reliability of the estimated moving speed (step S30).
- the center position-based speed estimation may use a fixed value, as described above.
- the velocity integration unit 244 reads velocity information including the moving velocity of the object 91, the reliability of the moving velocity, and the variance of the moving velocity, calculated based on the previous frame (previous frame) stored in the frame buffer 25 (step S13). Then, the speed integration unit 244 integrates the movement speed calculated based on the current frame calculated in step S12 with the estimated speed at the time of obtaining the current frame estimated based on the speed information of the previous frame, and calculates the final movement speed for the object 91 (step S14). If the point cloud densities are calculated separately for the vertical and horizontal directions in step S6 or step S7, the movement speed estimation process is performed for each direction in step S12.
- the speed integration unit 244 integrates the movement speeds in the vertical and horizontal directions to calculate the movement speed based on the current frame. Furthermore, in step S14, as described above, weighting is performed based on the reliability of the movement speed calculated based on the previous frame and the reliability of the movement speed calculated based on the current frame, and the movement speeds are integrated with emphasis on the movement speed with high reliability.
- the object detection device 10 of this embodiment includes a perimeter detection sensor 11 and a controller 20.
- the controller 20 functions as an object extraction unit 21, a rectangle estimation unit 22, a point cloud density calculation unit 23, and a speed estimation unit 24 by having a processor read and execute a program stored in the device.
- the perimeter detection sensor 11 emits electromagnetic waves and detects the electromagnetic waves reflected by an object 91, thereby outputting a frame including reflection points Q of the electromagnetic waves on the object 91 to the controller 20.
- the object extraction unit 21 acquires a frame including multiple reflection points Q from the perimeter detection sensor 11 and extracts the object 91.
- the rectangle estimation unit 22 estimates an object model 92 that approximates the object 91 with a rectangle from the multiple reflection points Q (steps S2 to S4).
- the point cloud density calculation unit 23 calculates the point cloud density from the number of reflection points Q included in the object model 92 (steps S5 to S7).
- the speed estimation unit 24 functions as an estimation method determination unit 241, a first speed estimation unit 242, a second speed estimation unit 243, etc., and estimates the moving speed of the object 91 (steps S8 to S14).
- the estimation method determination unit 241 of the speed estimation unit 24 determines, as the moving speed estimation method, a feature-point -based estimation process that determines at least one of the multiple reflection points Q as a feature point Q/R and estimates the moving speed of the object 91 from the amount of movement of the position of the feature point Q/R.
- the first speed estimation unit 242 performs the feature-point-based estimation process.
- the estimation method determination unit 241 calculates the center position C of the object model 92 and estimates the moving speed of the object 91 from the amount of movement of the center position C.
- the second speed estimation unit 243 performs the center-position-based estimation process.
- a high point cloud density of reflection points Q in the object model 92 indicates high reliability of each reflection point Q.
- at least some or all of the reflection points Q are set as feature points Q and R , and a feature-point-based estimation process is performed to estimate the moving speed based on the moving distance of the feature points Q and R.
- a scene in which a large number of reflection points Q are obtained is expected to involve another vehicle, the object 91, being located relatively close to the host vehicle.
- the entire object 91 may not be detected by the periphery detection sensor 11, and estimating the moving speed based on the center position C of a rectangle estimated from a portion of the object 91 may result in an error.
- the reflection points Q are directly used to calculate the moving speed of the object 91, and therefore, a more accurate estimation of the moving speed is possible compared to the center-position-based speed estimation process.
- the number of reflection points Q reflected by the object 91 decreases, and the point cloud density in the object model 92 decreases.
- the reliability of the reflection points Q decreases, and the estimation accuracy (reliability) of the moving speed by feature-point-based speed estimation decreases.
- the speed estimation method depending on the point cloud density it is possible to select an appropriate speed estimation method according to the reliability of the reflection point Q, and it is possible to detect the object 91 with high accuracy and estimate the moving speed of the detected object. Therefore, it is possible to estimate with higher accuracy the speed vector required for determining whether another vehicle is cutting in ahead of the host vehicle.
- step S3 the rectangle estimation unit 22 determines whether the area of the rectangularly approximated object model 92 is equal to or greater than a second threshold. If the area of the object model 92 is equal to or greater than the second threshold, the object model 92 is divided into multiple sections 92A. If the object model 92 is divided into multiple sections 92A, the point cloud density calculation unit 23 calculates the point cloud density of each section 92A in steps S5 and S6, and uses the section 92A with the highest point cloud density as the judgment section for determining the travel speed estimation method. When performing feature point-based estimation processing, the first speed estimation unit 242 of the speed estimation unit 24 estimates the travel speed of the object 91 based on the judgment section with the highest point cloud density.
- the point cloud density calculation unit 23 calculates the point cloud density in each of the vertical direction and the horizontal direction. This makes it possible to estimate the moving speed based on the information of the reflection point Q in the vertical direction and the reflection point Q in the horizontal direction, and makes it possible to estimate the moving speed with higher accuracy than when judging the moving speed in the vertical and horizontal directions uniformly.
- the first speed estimator 242 estimates the moving speed in a direction perpendicular to one surface of the object 91 by feature-point-based estimation processing.
- the first speed estimator 242 estimates the moving speed in a direction perpendicular to one surface of the object 91 by feature-point-based estimation processing.
- the estimation method determination unit 241 of the speed estimation unit 24 adopts the feature point-based estimation process as the estimation method when the point cloud density is equal to or greater than a first threshold value in two consecutive frames. This allows the first speed estimation unit 242 to accurately determine the corresponding reflection points Q (feature points Q R ) between consecutive frames, and also improves the reliability of the estimation accuracy of the moving speed of the object 91.
- the first speed estimation unit 242 of the speed estimation unit 24 identifies feature points Q and R of the object 91 from a plurality of reflection points Q in each of two consecutive frames, and estimates the moving speed of the object 91 based on the moving distance of the feature points Q and R in the two consecutive frames and the time difference between the two consecutive frames. This makes it possible to estimate the moving speed of the object 91 from the amount of movement of the feature points Q and R between two frames and the acquisition interval between two consecutive frames.
- the first velocity estimating unit 242 identify a corner where the sides of the rectangle of the object model 92 intersect as the feature point Q R.
- the corners of the rectangle are, for example, positions where two surfaces (first surface 91A and second surface 91B) of the object 91 intersect, and can be detected with high accuracy even if the position of the object 91 changes as seen from the vehicle or the orientation of the object 91 changes depending on the timing of transmission of the electromagnetic waves from the periphery detection sensor 11. For this reason, by using the corners of the rectangle as the feature points Q and R , stable speed estimation is possible and the estimation accuracy can also be improved.
- the first speed estimating unit 242 may use, as the characteristic points Q R , high reflection points having higher reflection intensity than the surrounding reflection points Q, or points surrounding the high reflection points.
- High reflection points and points around the high reflection points are points that are detected by the unevenness and edges of the object 91, and are points with a high degree of distinctiveness on the object 91. Therefore, by using such high reflection points and the reflection points Q around them as characteristic points Q R , stable speed estimation is possible, and the estimation accuracy can also be improved.
- the speed estimation unit 24 records the estimation result of the moving speed based on a previously acquired frame in the frame buffer 25. Then, the speed integration unit 244 integrates the moving speed of the object 91 estimated based on the reflection point Q of the newly acquired current frame with the estimation result of the moving speed based on the previous frame, to estimate (correct) the moving speed of the object 91.
- This enables highly accurate speed estimation that suppresses sudden changes in the moving speed of the object 91. In other words, when estimating the moving speed of the object 91 based on the differential value of the moving distance of the feature points Q and R between two consecutive frames, the moving speed may suddenly increase. In general, sudden changes in the moving speed of the object 91 are rare.
- the first speed estimation unit 242 and the second speed estimation unit 243 further calculate the reliability of the estimation results of the moving speed of the object 91.
- the speed integration unit 244 compares the reliability of the moving speed based on the previously acquired previous frame with the reliability of the moving speed based on the current frame, and performs speed estimation with emphasis on the frame with the higher reliability. For example, the estimated moving speed is weighted according to the reliability, and then the moving speed based on the previous frame and the moving speed based on the current frame are integrated. This makes it possible to deal with a truly sudden change in the moving speed of the object 91, and to properly determine a sudden cut-in by another vehicle.
- the present invention is not limited to the above-described embodiment, but also includes the following modifications within the scope of achieving the object of the present invention.
- the speed integration unit 244 integrates the speed estimation result based on the previous frame previously acquired with the speed estimation result based on the newly acquired frame, but it is also possible to determine the movement speed estimated by the first speed estimation unit 242 or the second speed estimation unit 243 as the movement speed of the object 91 without performing speed integration, and to determine, for example, whether another vehicle has cut in.
- the speed integration unit 244 weights the speed estimation result based on the previous frame and the speed estimation result based on the newly acquired frame based on reliability when integrating the moving speeds based on reliability, but this is not limited to this. For example, it may integrate the moving speeds when the reliability of the speed estimation result based on the previous frame is equal to or greater than a predetermined value, and not integrate the moving speeds when the reliability is less than the predetermined value.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
コントローラ(20)は、周囲検出センサ(11)から出力される複数の反射点(Q)から、物体(91)を矩形で近似した物体モデル(92)を推定し、物体モデル(92)に含まれる反射点(Q)の数から点群密度を算出し、点群密度が第一閾値以上である場合に、複数の反射点(Q)の少なくともいずれかの点を特徴点とし、特徴点の位置の移動量から物体(91)の移動速度を推定する特徴点ベース推定処理を実施し、点群密度が第一閾値未満である場合に、物体モデル(92)の中心位置(C)を算出し、中心位置(C)の移動量から物体(91)の移動速度を推定する中心位置ベース推定処理を実施する。
Description
本発明は、物体検出方法、及び物体検出装置に関する。
従来、自車両の前方を横切る他車両(以降、カットイン車両と称する)を検出する装置が知られている(例えば、特許文献1参照)。
特許文献1は、レーダー波を走査範囲で走査させて、物体で反射されたレーダー波を受信することで、物体での反射点を検出する。各反射点の位置から、車両の輪郭を捉える線分を算出し、算出された線分に基づいて、車両の中心位置を算出する。カットイン車両の全体が走査範囲内に位置する場合、中心位置を用いた手法を用いて状態認識を行う。一方、走査範囲の端領域に車両の後端位置が位置する場合、中心位置から先端位置を算出して先端位置を用いた状態認識を行う。また、先端位置と中心位置とが近接する場合は、中心位置を用いた手法で状態認識を行ってもよいことが開示されている。
特許文献1は、レーダー波を走査範囲で走査させて、物体で反射されたレーダー波を受信することで、物体での反射点を検出する。各反射点の位置から、車両の輪郭を捉える線分を算出し、算出された線分に基づいて、車両の中心位置を算出する。カットイン車両の全体が走査範囲内に位置する場合、中心位置を用いた手法を用いて状態認識を行う。一方、走査範囲の端領域に車両の後端位置が位置する場合、中心位置から先端位置を算出して先端位置を用いた状態認識を行う。また、先端位置と中心位置とが近接する場合は、中心位置を用いた手法で状態認識を行ってもよいことが開示されている。
ところで、上記特許文献1のような技術を、並走車両や前走車両の速度推定に適用する場合、中心位置による状態認識と、先端位置による状態認識との切り替えを精度よく実施できず、速度推定の精度を確保できない場合がある。例えば、特許文献1では、走査範囲の端領域の他車両に対して、中心位置を用いた状態認識が実施されるが、他車両の一部のみしか検出されていない場合では、中心位置を用いた状態認識には誤差が含まれ、精度の高い物体検出が実施できない、との課題がある。
本発明は、精度の高い物体検出が可能な物体検出方法、及び物体検出装置を提供することを目的とする。
本発明の物体検出方法では、検出センサが、電磁波を送出し、物体での電磁波の反射される反射点を検出し、コントローラは、複数の反射点に基づいて物体の検出及び移動速度を推定する。コントローラは、複数の反射点から物体を矩形で近似し、近似された矩形に含まれる反射点の数から点群密度を算出する。そして、この点群密度が第一閾値以上である場合、複数の反射点の少なくとも1つを直接用いて特徴点とし、前記特徴点の位置の移動量から物体の移動速度を推定する特徴点ベース推定処理を実施する。一方、点群密度が第一閾値未満である場合に、矩形の中心位置を算出し、中心位置の移動量から物体の移動速度を推定する中心位置ベース推定処理を実施する。
本発明では、点群密度によって速度推定の手法を切り替えることで、反射点の信頼度に応じた適切な手法で速度推定を実施でき、精度の高い物体検出が可能となる。
以下、本開示の第一実施形態について説明する。
図1は、本実施形態の物体検出装置10の概略構成を示すブロック図である。本実施形態の物体検出装置10は、車両に搭載され、車両の周囲の物体、特に、周囲の車両を検出し、その移動速度を推定する装置である。
図1に示すように、物体検出装置10は、周囲検出センサ11と、周囲検出センサ11により測定される観測情報に基づいて、周囲の車両の移動速度を推定するコントローラ20とを備える。
図1は、本実施形態の物体検出装置10の概略構成を示すブロック図である。本実施形態の物体検出装置10は、車両に搭載され、車両の周囲の物体、特に、周囲の車両を検出し、その移動速度を推定する装置である。
図1に示すように、物体検出装置10は、周囲検出センサ11と、周囲検出センサ11により測定される観測情報に基づいて、周囲の車両の移動速度を推定するコントローラ20とを備える。
周囲検出センサ11は、車両の外周に設けられて、車両の周囲の物体を検出する。周囲検出センサ11の数及び設置位置は特に限定されない。例えば、車両の外周の360°範囲の物体を検出できるように、車両の前方、後方、側方をカバーするように複数設けられてもよい。
この周囲検出センサ11は、電磁波を送出し、物体で反射された電磁波を受信することで、物体での電磁波の反射点を検出する。このような周囲検出センサ11としては、例えば、LiDAR(Light Detection and Ranging)、ミリ波レーダー、レーダー等を利用でき、これらの複数を組み合わせて用いてもよい。
また、周囲検出センサ11として、奥行推定センサを備える構成でもよい。奥行推定を設ける場合、自車両の移動量を打ち消すために、自車両の移動量を推定する自車移動量検出装置をさらに追加してもよい。自車移動量検出装置としては、例えば、GNSS(Global Navigation Satellite System)などの自己位置を測定する装置、加速度や角速度を測定するIMU(Inertial Measurement Unit)、車輪エンコーダなどを例示できる。また、奥行推定センサを用いる場合、SLAM(Simultaneous Localization and Mapping)を用いて、移動量を推定してもよい。
この周囲検出センサ11は、電磁波を送出し、物体で反射された電磁波を受信することで、物体での電磁波の反射点を検出する。このような周囲検出センサ11としては、例えば、LiDAR(Light Detection and Ranging)、ミリ波レーダー、レーダー等を利用でき、これらの複数を組み合わせて用いてもよい。
また、周囲検出センサ11として、奥行推定センサを備える構成でもよい。奥行推定を設ける場合、自車両の移動量を打ち消すために、自車両の移動量を推定する自車移動量検出装置をさらに追加してもよい。自車移動量検出装置としては、例えば、GNSS(Global Navigation Satellite System)などの自己位置を測定する装置、加速度や角速度を測定するIMU(Inertial Measurement Unit)、車輪エンコーダなどを例示できる。また、奥行推定センサを用いる場合、SLAM(Simultaneous Localization and Mapping)を用いて、移動量を推定してもよい。
周囲検出センサ11は、電磁波の送出タイミングから、物体で反射された電磁波の受信タイミングまでの時間、電磁波の送出方向に基づいて、物体で反射した反射点の位置を測定する。また、周囲検出センサ11は、所定の走査範囲に対して電磁波を送出することで、走査範囲内の複数の反射点を測定し、これらの複数の反射点の点群データを含む1フレームの観測結果を得る。周囲検出センサ11は、所定の周期で測定を繰り返し実施することで、連続する複数のフレームの観測結果をコントローラ20に出力する。
コントローラ20は、コンピュータにより構成され、周囲検出センサ11から入力される観測結果(点群データを含むフレーム)に基づいて、物体を検出し、物体の移動速度を推定する。具体的には、コントローラ20は、各種データやプログラムを記憶する記憶装置と、CPU(Central Processing Unit)等の演算回路により構成されるプロセッサーとを備える。そして、コントローラ20は、プロセッサーが記憶装置のプログラムを読み込み実行することで、図1に示すように、物体抽出部21、矩形推定部22、点群密度算出部23、及び速度推定部24として機能する。また、コントローラ20には、取得したフレームや、フレームに基づいて算出される移動速度の推定結果やその信用度を記録するフレームバッファ25を備える。
物体抽出部21は、周囲検出センサ11から得られた点群データを、物体91(移動物体)ごとの点群の部分集合に分割する。物体抽出の手法としては、例えばDBSCAN(Density-based spatial clustering of applications with noise)などのクラスタリング手法を用いてもよい。物体抽出にあたり、必要に応じて検出対象外の物体(例えば、路面等)を予め除去してもよい。物体抽出部21により、物体ごとの点群集合が得られ、これらの点群集合を1つの物体として検出する。
図2は、周囲検出センサにより検出される点群データの一例、及び、点群データに基づいて矩形で近似される物体の一例を示す図である。図2において、物体検出装置10を搭載する車両(自車両90)は、周囲検出センサ11によって、所定の走査範囲Arに存在する物体91(例えば、他車両)を検出する。図2において、物体91は、位置P1から位置P2に移動するものとする。物体抽出部21は、走査範囲に含まれる反射点の点群を含むフレームを、所定の周期で取得する。
例えば、図2では、物体91は、第一タイミングで位置P1に位置し、第二タイミングで位置P2に位置する。この場合、第一タイミングで取得されるフレームに、位置P1の物体91での反射点Qの点群データが含まれ、第二タイミングで取得されるフレームに、位置P2の物体91での反射点Qの点群データが含まれる。
なお、図2は、地面の法線方向から物体91を見た場合の各反射点Qの2次元上での位置を示すが、実際には、これらの反射点Qは、3次元(x,y,z)の座標を有する。
例えば、図2では、物体91は、第一タイミングで位置P1に位置し、第二タイミングで位置P2に位置する。この場合、第一タイミングで取得されるフレームに、位置P1の物体91での反射点Qの点群データが含まれ、第二タイミングで取得されるフレームに、位置P2の物体91での反射点Qの点群データが含まれる。
なお、図2は、地面の法線方向から物体91を見た場合の各反射点Qの2次元上での位置を示すが、実際には、これらの反射点Qは、3次元(x,y,z)の座標を有する。
矩形推定部22は、取得した点群データの各反射点Qに基づいて、物体を矩形状の物体モデル92で近似する。具体的には、抽出された物体91ごとの点群集合を、矩形状の物体モデルで近似する。ここでの矩形とは、図2に示すように、地面の法線方向から見た際に矩形状となる形状であって、例えば直方体や円柱などが含まれてもよい。抽出した物体を、物体モデル92を近似する方法として、点群が最もモデルに適合するようなパラメータを推定する。具体的には、物体モデルの各面と点群の各反射点Qの距離が最も小さくなるようなパラメータを、最適化によって推定する。この最適化の手法としては、例えばL-shape-fittingなどのアルゴリズムを用いることができる。
これにより、図2に示すように、矩形推定部22は、物体91を、地面の法線方向から見て矩形状の物体モデル92に近似することができる。例えば、図2の例では、周囲検出センサ11により、物体91の第一面91A(右側面)の反射点Q、及び、第一面91Aに直交する第二面91B(後面)での反射点Qが取得される。このため、矩形推定部22は、これらの反射点Qから、物体モデルの第一面91A及び第二面91Bを推定でき、矩形に近似できる。
また、矩形推定部22は、近似した矩形の面積が、所定の第二閾値以上である場合、物体91を近似した矩形を、さらに、複数の区分に分割する。
図3は、近似した矩形の物体モデルを複数の区分に分割する一例を示した図である。
例えば、物体91が、トラックやバス等の大型車両である場合、物体91の周面に、一様に分布する反射点Qの点群データが得られず、図3に示すように、反射点Qが一部に偏ることがある。このような場合、反射点Q間の間隔が長い部分で、反射点Qの信頼度が低下する。
したがって、矩形推定部22は、矩形で近似した物体モデル92の面積が、予め設定された第二閾値以上である場合に、物体モデル92を複数の区分92Aに分割する。区分92Aは、例えば、矩形における反射点Qのばらつき方向に対して分割する。図3の例では、長手方向となる第一面91Aに沿って反射点Qがばらつき、第二面91Bでの反射点Qにばらつきは小さい。この場合、図3に示すように、第一面91Aに沿った方向に対して、物体モデル92を複数の区分92Aに分割する。第二面91Bに沿った方向に対しても反射点Qがばらつく場合、第一面91Aに沿った方向と、第二面91Bに沿った方向とに、物体モデル92を複数の区分92Aに分割してもよい。
図3は、近似した矩形の物体モデルを複数の区分に分割する一例を示した図である。
例えば、物体91が、トラックやバス等の大型車両である場合、物体91の周面に、一様に分布する反射点Qの点群データが得られず、図3に示すように、反射点Qが一部に偏ることがある。このような場合、反射点Q間の間隔が長い部分で、反射点Qの信頼度が低下する。
したがって、矩形推定部22は、矩形で近似した物体モデル92の面積が、予め設定された第二閾値以上である場合に、物体モデル92を複数の区分92Aに分割する。区分92Aは、例えば、矩形における反射点Qのばらつき方向に対して分割する。図3の例では、長手方向となる第一面91Aに沿って反射点Qがばらつき、第二面91Bでの反射点Qにばらつきは小さい。この場合、図3に示すように、第一面91Aに沿った方向に対して、物体モデル92を複数の区分92Aに分割する。第二面91Bに沿った方向に対しても反射点Qがばらつく場合、第一面91Aに沿った方向と、第二面91Bに沿った方向とに、物体モデル92を複数の区分92Aに分割してもよい。
点群密度算出部23は、矩形に近似された物体モデル92における各反射点Qの密度(点群密度)を算出する。
具体的には、点群密度算出部23は、物体モデル92の矩形内に含まれる点群の反射点Qの数から、(点群密度)=(反射点Qの数)/(矩形体積)により算出する。
物体モデル92が複数の区分92Aに分割される場合は、各々の区分92Aに対してそれぞれ反射点Qの点群密度を算出する。
具体的には、点群密度算出部23は、物体モデル92の矩形内に含まれる点群の反射点Qの数から、(点群密度)=(反射点Qの数)/(矩形体積)により算出する。
物体モデル92が複数の区分92Aに分割される場合は、各々の区分92Aに対してそれぞれ反射点Qの点群密度を算出する。
図4は、周囲検出センサにより検出される点群データの他の一例を示す図である。
点群データとしては、図4に示すように、物体91の一面(例えば第一面91A)のみが観測され、第一面91Aに直交する第二面91Bの反射点Qが観測されない場合がある。この場合では、奥行き方向の矩形サイズを正確に判定することができない。
これに対して、点群密度算出部23は、水平方向と、鉛直方向とに分けて、それぞれの点群密度を算出してもよい。水平方向と鉛直方向とに分割する場合、鉛直方向の点群密度は、水平方向に平行な分割線93で、物体モデル92の鉛直方向で複数の水平領域93Aに分割し、各領域93Aに反射点Qが含まれるかを求める。この場合、(鉛直方向の点群密度)=(反射点Qが含まれる水平領域の数)/(全領域数)により算出する。
図示は省略するが、水平方向に対する点群密度の算出も同様であり、鉛直方向に平行な分割線で、物体モデル92の水平方向で複数の鉛直領域に分割し、各領域に反射点Qが含まれるかを、(水平方向の点群密度)=(反射点Qが含まれる鉛直領域の数)/(全領域数)により求める。
このように、水平方向と鉛直方向とのそれぞれに分けて点群密度を算出することで、より多くの情報が得られることになり、その分、高い精度で速度推定を実施することが可能となる。
点群データとしては、図4に示すように、物体91の一面(例えば第一面91A)のみが観測され、第一面91Aに直交する第二面91Bの反射点Qが観測されない場合がある。この場合では、奥行き方向の矩形サイズを正確に判定することができない。
これに対して、点群密度算出部23は、水平方向と、鉛直方向とに分けて、それぞれの点群密度を算出してもよい。水平方向と鉛直方向とに分割する場合、鉛直方向の点群密度は、水平方向に平行な分割線93で、物体モデル92の鉛直方向で複数の水平領域93Aに分割し、各領域93Aに反射点Qが含まれるかを求める。この場合、(鉛直方向の点群密度)=(反射点Qが含まれる水平領域の数)/(全領域数)により算出する。
図示は省略するが、水平方向に対する点群密度の算出も同様であり、鉛直方向に平行な分割線で、物体モデル92の水平方向で複数の鉛直領域に分割し、各領域に反射点Qが含まれるかを、(水平方向の点群密度)=(反射点Qが含まれる鉛直領域の数)/(全領域数)により求める。
このように、水平方向と鉛直方向とのそれぞれに分けて点群密度を算出することで、より多くの情報が得られることになり、その分、高い精度で速度推定を実施することが可能となる。
速度推定部24は、連続する複数のフレームにおける各反射点Qに基づいて、物体91の移動速度を算出する。具体的には、速度推定部24は、図1に示すように、推定手法決定部241、第一速度推定部242、第二速度推定部243、及び速度統合部244として機能する。
推定手法決定部241は、点群密度に基づいて、速度推定を実施する推定手法を決定する。具体的には、推定手法決定部241は、点群密度が所定の第一閾値以上である場合、点群に含まれる反射点Qの信頼度が高いと判定し、反射点Qを直接用いた特徴点ベース速度推定を推定手法として決定する。より好ましくは、周囲検出センサ11から入力される連続する2フレームの双方で、点群密度が第一閾値以上である場合に、推定手法決定部241は、特徴点ベース速度推定を推定手法として決定する。
一方、推定手法決定部241は、点群密度が所定の第一閾値未満である場合、反射点Qの信頼度が低いと判定し、矩形に近似された物体モデル92の中心位置C(図2参照)を用いた中心位置ベース速度推定を推定手法として決定する。
物体モデル92が複数の区分92Aに分割される場合、推定手法決定部241は、複数の区分92Aのうち、点群密度が高い区分92Aに基づいて推定手法を決定する。例えば、推定手法決定部241は、点群密度が最大となる区分92Aを判定用区分としてもよく、点群密度の大きい順に所定数の区分92Aを判定用区分としてもよい。
一方、推定手法決定部241は、点群密度が所定の第一閾値未満である場合、反射点Qの信頼度が低いと判定し、矩形に近似された物体モデル92の中心位置C(図2参照)を用いた中心位置ベース速度推定を推定手法として決定する。
物体モデル92が複数の区分92Aに分割される場合、推定手法決定部241は、複数の区分92Aのうち、点群密度が高い区分92Aに基づいて推定手法を決定する。例えば、推定手法決定部241は、点群密度が最大となる区分92Aを判定用区分としてもよく、点群密度の大きい順に所定数の区分92Aを判定用区分としてもよい。
また、推定手法決定部241は、点群密度算出部23により水平方向と鉛直方向とに分けて点群密度を算出する場合、それぞれの方向に対して、移動速度の推定手法を決定する。水平方向での速度推定手法と、鉛直方向での速度推定手法が異なる場合、後述の第一速度推定部242及び第二速度推定部243により、それぞれの方向に対する移動速度を個別に算出した後、速度統合部244により、これらの速度を統合する。
第一速度推定部242は、特徴点ベース速度推定の手法により、点群データから物体91の移動速度を算出する。
この特徴点ベース速度推定では、第一速度推定部242は、連続する少なくとも2フレーム(図2のP1,P2)において、反射点Qから特徴度合が高い特徴点QR(図2参照)を特定する。そして、これらの特徴点QRの2フレーム間での移動距離と、2フレーム間の時間差とに基づいて、移動速度を推定する。
この特徴点ベース速度推定では、第一速度推定部242は、連続する少なくとも2フレーム(図2のP1,P2)において、反射点Qから特徴度合が高い特徴点QR(図2参照)を特定する。そして、これらの特徴点QRの2フレーム間での移動距離と、2フレーム間の時間差とに基づいて、移動速度を推定する。
特徴点QRとしては、2フレームの間で同一点として特定可能な反射点Qであることが好ましく、例えば、物体モデル92において、第一面91Aと第二面91Bとが交差する角部、反射強度(輝度値)が、周囲の他の反射点Qと比べて高くなる高反射点(ナンバープレートのエッジ部等)、または、当該高反射点の周囲の点等が例示できる。
移動する物体91の側面は、周囲検出センサ11からの電磁波の照射タイミングによって、反射点Qの位置が異なるが、2側面(例えば、第一面91A及び第二面91B)が交差する角部の位置は、物体91が移動しても安定して取得することができる。この場合、物体モデル92の2側面が交差する辺に沿った複数の反射点Qを特徴点QRとしてもよい。また、当該辺から所定距離範囲内の反射点Qの全てを特徴点QRとしてもよい。このような角部は、水平方向及び鉛直方向に不定性がなく、2フレーム間での特徴点QR同士の対応付けを安定して行える。
移動する物体91の側面は、周囲検出センサ11からの電磁波の照射タイミングによって、反射点Qの位置が異なるが、2側面(例えば、第一面91A及び第二面91B)が交差する角部の位置は、物体91が移動しても安定して取得することができる。この場合、物体モデル92の2側面が交差する辺に沿った複数の反射点Qを特徴点QRとしてもよい。また、当該辺から所定距離範囲内の反射点Qの全てを特徴点QRとしてもよい。このような角部は、水平方向及び鉛直方向に不定性がなく、2フレーム間での特徴点QR同士の対応付けを安定して行える。
また、高反射点は、輝度値が所定未満となる点を除外するフィルタリング処理、或いは、周囲の反射点Qとの差分値を取ることで、特徴度合が高い特徴点QRを検出することができる。高反射点は、輝度値が特異的に高い点であり、このような高反射点は、全反射点Qのうちの少数であるため、安定して2フレーム間での特徴点QR同士の対応付けが可能となる。周囲検出センサ11として、LiDARを用いる場合、輝度値が高い高反射点は、原理上、実際の奥行よりも奥行が短く推定される。したがって、輝度値が高い高反射点とその周囲の反射点Qとを平均した点を特徴点QRとしてもよい。
また、特徴点QRとしては、上記に限られず、リソースに余裕があれば、全ての反射点Qを特徴点QR点としてもよく、ダウンサンプリングした全ての反射点Qを特徴点QRとしてもよい。この場合、特徴点QRによる近似に依らないため、安定して2フレーム間での反射点Qの対応付けを安定して行える。
前後2フレーム間での特徴点QRの対応付けは、例えば、物体モデル92の中心位置C同士を同じ位置に揃える。そして、各特徴点QRの距離、中心位置Cから特徴点QRまでの距離や角度、或いは、各特徴点QRの特徴度合い(例えば反射強度や、周囲の反射点Qの反射強度等)から、対応する特徴点QR同士の組み合わせのコストを算出する。そして、総コストが最も小さくなる組み合わせを求め、対応する特徴点QRとして選定する。組み合わせ決定のアルゴリズムは、例えば貪欲法やハンガリアン法を用いてもよい。また、コストとしては、特徴点QR同士のマハラノビス距離、特徴度合いのノルム、或いは、その重みづけ和等を例示できる。
第一速度推定部242による、物体91に移動速度の推定は、例えば、(移動速度)=(特徴点QRの組の移動量平均)/(連続する2フレームの時間差)により算出することができる。
また、上述したように、点群密度算出部23が、水平方向と、鉛直方向とのそれぞれの点群密度を算出してもよく、この場合、水平方向、及び鉛直方向のそれぞれに対して、移動速度の推定手法を決定する。
ここで、水平方向及び鉛直方向の少なくともいずれか一方の方向に対して、特徴点ベース推定処理を行う旨が決定された場合、第一速度推定部242は、密度が高い方向に直交する方向に対して、特徴点ベース推定処理により移動速度の推定を行う。例えば、図4に示すように、物体91の一側面(例えば第一面91A)のみに反射点Qが検出される場合がある。このような場合、第一速度推定部242は、当該一側面に直交する方向に対する移動速度を、精度よく算出することができる。
ここで、水平方向及び鉛直方向の少なくともいずれか一方の方向に対して、特徴点ベース推定処理を行う旨が決定された場合、第一速度推定部242は、密度が高い方向に直交する方向に対して、特徴点ベース推定処理により移動速度の推定を行う。例えば、図4に示すように、物体91の一側面(例えば第一面91A)のみに反射点Qが検出される場合がある。このような場合、第一速度推定部242は、当該一側面に直交する方向に対する移動速度を、精度よく算出することができる。
第一速度推定部242は、上記のような特徴点QRに基づく移動速度の算出に加え、算出した移動速度の推定結果に対する信頼度を併せて算出する。特徴点ベース速度推定の速度推定結果に対する信頼度は、反射点Qの点群密度に基づいて算出することができる。例えば、速度推定に用いた特徴点QRの数が多いほど、高い信頼度が設定されるように、信頼度を算出する。或いは、推定された移動速度と、各特徴点QRの個々の移動速度との残差を、特徴点QRの数で割った値を信頼度としてもよい。
第二速度推定部243は、中心位置ベース速度推定の手法により、物体91の移動速度を推定する。具体的には、第二速度推定部243は、連続する少なくとも2フレーム(前後のフレーム)に対して、それぞれ推定される物体モデル92の中心位置Cを算出する。そして、第二速度推定部243は、(移動速度)=(連続する2フレームでの中心位置Cの移動距離)/(連続する2フレームの時間差)により算出する。また、第二速度推定部243は、第一速度推定部242と同様、水平方向と、鉛直方向とのそれぞれの移動速度を算出する。
なお、第二速度推定部243により移動速度が推定される場合は、点群密度が第一閾値未満となる場合であり、移動速度の推定結果に対する信頼度は、特徴点ベース速度推定に比べて低くなる。例えば、第二速度推定部243は、一定の固定値を信頼度として設定してもよい。
なお、第二速度推定部243により移動速度が推定される場合は、点群密度が第一閾値未満となる場合であり、移動速度の推定結果に対する信頼度は、特徴点ベース速度推定に比べて低くなる。例えば、第二速度推定部243は、一定の固定値を信頼度として設定してもよい。
速度統合部244は、第一速度推定部242及び第二速度推定部243により推定された移動速度、及び前フレームの速度情報を統合して、物体91の移動速度を推定する。
本実施形態では、速度推定部24により推定される物体91の移動速度の推定結果及びその信頼度を含む速度情報は、フレームバッファ25に一時記憶される。
前フレームの速度情報を統合する場合、速度統合部244は、カルマンフィルタ、拡張カルマンフィルタ、パーティクルフィルタなどのフィルタを用いることが好ましい。この場合、前フレームまでの移動速度とその分散、現フレームに基づいて推定される移動速度とその分散を用いる。フィルタで用いる速度モデルとしては、例えば、等加速度運動モデルなどを例示できる。
等加速度運動モデルを用いる場合、更新後の速度をVt+1、更新前の速度をVt、加速度atとして、時間dt経過後の更新後の速度を、Vt+1=Vt+at×dtにより算出する。速度統合部244は、前フレームの速度情報に基づいて、速度モデルから更新後の移動速度(現在の推定速度)を推定し、これに対して現フレームの観測結果を用いた移動速度を補正することで、前フレームに基づく速度情報と、現フレームに基づく移動速度とを統合する。この際、速度統合部244は、統合後の移動速度と、前フレームまでで算出されている移動速度とにより、移動速度の分散も更新する。
また、現フレームに基づいた移動速度と、速度モデルにより推定される推定速度との差が、移動速度の分散と比較して大きい場合、フィルタの更新を行わなくてもよい。例えば推定速度の残差が分散の3倍以上である場合は、外れ値の可能性が高いため、更新を行わない。また、推定速度が、物体91が取りうる速度よりも大きいと判断される場合は更新を行わない。
本実施形態では、速度推定部24により推定される物体91の移動速度の推定結果及びその信頼度を含む速度情報は、フレームバッファ25に一時記憶される。
前フレームの速度情報を統合する場合、速度統合部244は、カルマンフィルタ、拡張カルマンフィルタ、パーティクルフィルタなどのフィルタを用いることが好ましい。この場合、前フレームまでの移動速度とその分散、現フレームに基づいて推定される移動速度とその分散を用いる。フィルタで用いる速度モデルとしては、例えば、等加速度運動モデルなどを例示できる。
等加速度運動モデルを用いる場合、更新後の速度をVt+1、更新前の速度をVt、加速度atとして、時間dt経過後の更新後の速度を、Vt+1=Vt+at×dtにより算出する。速度統合部244は、前フレームの速度情報に基づいて、速度モデルから更新後の移動速度(現在の推定速度)を推定し、これに対して現フレームの観測結果を用いた移動速度を補正することで、前フレームに基づく速度情報と、現フレームに基づく移動速度とを統合する。この際、速度統合部244は、統合後の移動速度と、前フレームまでで算出されている移動速度とにより、移動速度の分散も更新する。
また、現フレームに基づいた移動速度と、速度モデルにより推定される推定速度との差が、移動速度の分散と比較して大きい場合、フィルタの更新を行わなくてもよい。例えば推定速度の残差が分散の3倍以上である場合は、外れ値の可能性が高いため、更新を行わない。また、推定速度が、物体91が取りうる速度よりも大きいと判断される場合は更新を行わない。
また、速度統合部244は、以前のフレームに基づいた移動速度と、新たなフレームに基づいた移動速度との統合に際し、それぞれのフレームに基づいた移動速度の推定結果の信頼度を参照し、信頼度に応じた重み付けを行う。例えば、以前の前フレームの信頼度が、現フレームの信頼度よりも低い場合、現フレームの移動速度の重み値を大きくし、以前のフレームに基づいた移動速度の重み値を小さくする。
[物体検出方法]
次に、本実施形態の物体検出装置10の物体検出方法について説明する。
図5は、本実施形態の物体検出方法を示すフローチャートである。
本実施形態の物体検出装置10では、コントローラ20は、まず、物体抽出部21により、周囲検出センサ11から、複数の反射点Qの点群データが含まれるフレームを取得して物体を抽出する(ステップS1)。
次に、本実施形態の物体検出装置10の物体検出方法について説明する。
図5は、本実施形態の物体検出方法を示すフローチャートである。
本実施形態の物体検出装置10では、コントローラ20は、まず、物体抽出部21により、周囲検出センサ11から、複数の反射点Qの点群データが含まれるフレームを取得して物体を抽出する(ステップS1)。
次に、矩形推定部22は、ステップS1で得られたフレームの各点群データに基づいて、物体91を矩形で近似した物体モデル92を推定する(ステップS2)。例えば、図2に示すように、物体91の角部を挟む第一面91A及び第二面91Bが検出される場合、これらの第一面91A及び第二面91Bを辺とした矩形を推定できる。
矩形推定部22は、さらに、矩形で推定した物体モデル92の面積が、所定の第二閾値以上であるか否かを判定する(ステップS3)。
ステップS3でYESと判定される場合、矩形推定部22は、推定した矩形を複数の区分92Aに分割する(ステップS4)。区分92Aは、上述したように、反射点Qのばらつき方向に沿って分割することが好ましい。これにより、物体モデル92を、各区分92Aに点群密度の差を持たせることができる。
ステップS3でYESと判定される場合、矩形推定部22は、推定した矩形を複数の区分92Aに分割する(ステップS4)。区分92Aは、上述したように、反射点Qのばらつき方向に沿って分割することが好ましい。これにより、物体モデル92を、各区分92Aに点群密度の差を持たせることができる。
ステップS4の後、点群密度算出部23は、各区分92Aの点群密度を算出し(ステップS5)、点群密度が最も高い区分92Aを、物体91の移動速度の推定手法を判定するための判定用区分として採用する(ステップS6)。なお、本実施形態では、点群密度の最も高い区分92Aを判定用区分としたが、点群密度が高い複数個の区分92Aを判定用区分としてもよい。
一方、ステップS3でNOと判定される場合は、点群密度算出部23は、矩形で推定された物体モデル92の点群密度を算出する(ステップS7)。
なお、ステップS6またはステップS7では、点群密度算出部23は、上述したように、鉛直方向と水平方向とに分けて、それぞれの方向の点群密度を算出してもよい。
なお、ステップS6またはステップS7では、点群密度算出部23は、上述したように、鉛直方向と水平方向とに分けて、それぞれの方向の点群密度を算出してもよい。
次に、速度推定部24の推定手法決定部241は、ステップS6で判定用区分とされた区分92Aの点群密度、または、ステップS7で算出される点群密度に基づいて、物体91の移動速度の推定手法を判定する。具体的には、推定手法決定部241は、点群密度が、第一閾値以上であるか否かを判定する(ステップS8)。
ステップS8でYESと判定される場合、推定手法決定部241は、さらに、直前に取得されたフレームにおける、同一の物体91に対する物体モデル92の点群密度が第一閾値以上であるかに否かを判定する(ステップS9)。ステップS6及びステップS7で、鉛直方向及び水平方向に分けて点群密度が算出される場合は、各々の方向に対して、点群密度が第一閾値上であるか否かを判定する。
ステップS9でYESと判定される場合、推定手法決定部241は、物体91の移動速度の推定手法として、特徴点ベース速度推定を決定する(ステップS10)。
一方、ステップS8でNOと判定される場合、及び、ステップS9でNOと判定される場合、推定手法決定部241は、物体91の移動速度の推定手法として、中心位置ベース速度推定を決定する(ステップS11)。
ステップS9でYESと判定される場合、推定手法決定部241は、物体91の移動速度の推定手法として、特徴点ベース速度推定を決定する(ステップS10)。
一方、ステップS8でNOと判定される場合、及び、ステップS9でNOと判定される場合、推定手法決定部241は、物体91の移動速度の推定手法として、中心位置ベース速度推定を決定する(ステップS11)。
次に、速度推定部24は、ステップS10またはステップS11により決定された推定手法に基づいて、現フレームに対する速度推定処理を実施する(ステップS12)。
図6は、ステップS12の速度推定処理の概略を示すフローチャートである。
まず、速度推定部24は、推定手法が特徴点ベース速度推定であるか否かを判定する(ステップS21)。
ステップS21でYESと判定される場合、第一速度推定部242は、反射点Qの点群データに基づいて、特徴点ベース速度推定を実施する。
第一速度推定部242は、フレームバッファ25から、1つ前に取得されたフレーム(直前フレーム)を読み出す(ステップS22)。
次に、第一速度推定部242は、今回新たに取得した現フレームでの特徴点QRを特定し(ステップS23)、直前フレームの対応する特徴点QRを特定してこれらを対応付ける(ステップS24)。
特徴点QRとしては、上述したように、第一面91Aと第二面91Bとが交差する角部上の点、反射強度が周囲の反射点Qより高い高反射点、高反射点の周囲の反射点(低反射点)などを例示でき、リソースに余裕がある場合では、全ての反射点Qを特徴点QRとしてもよい。
図6は、ステップS12の速度推定処理の概略を示すフローチャートである。
まず、速度推定部24は、推定手法が特徴点ベース速度推定であるか否かを判定する(ステップS21)。
ステップS21でYESと判定される場合、第一速度推定部242は、反射点Qの点群データに基づいて、特徴点ベース速度推定を実施する。
第一速度推定部242は、フレームバッファ25から、1つ前に取得されたフレーム(直前フレーム)を読み出す(ステップS22)。
次に、第一速度推定部242は、今回新たに取得した現フレームでの特徴点QRを特定し(ステップS23)、直前フレームの対応する特徴点QRを特定してこれらを対応付ける(ステップS24)。
特徴点QRとしては、上述したように、第一面91Aと第二面91Bとが交差する角部上の点、反射強度が周囲の反射点Qより高い高反射点、高反射点の周囲の反射点(低反射点)などを例示でき、リソースに余裕がある場合では、全ての反射点Qを特徴点QRとしてもよい。
そして、第一速度推定部242は、直前フレームでの特徴点QRから、現フレームの特徴点QRまでの距離と、直前フレームの取得時点、及び現フレームの取得時点の時間差と、に基づいて、物体91の移動速度を推定する(ステップS25)。
さらに、第一速度推定部242は、推定した移動速度の信頼度を算出する(ステップS26)。
さらに、第一速度推定部242は、推定した移動速度の信頼度を算出する(ステップS26)。
一方、ステップS21でNOと判定される場合、第二速度推定部243は、物体モデル92の中心位置Cに基づいた、中心位置ベース速度推定を実施する。
具体的には、第二速度推定部243は、フレームバッファから、直前フレームを読み出す(ステップS27)。次に、第二速度推定部243は、直前フレームに対する物体モデル92の中心位置Cと、現フレームに対する物体モデル92の中心位置Cとをそれぞれ算出する(ステップS28)。そして、第二速度推定部243は、直前フレームの物体モデル92の中心位置Cから、現フレームの物体モデル92の中心位置Cまでの移動距離と、直前フレームの取得時点、及び現フレームの取得時点の時間差と、に基づいて、物体91の移動速度を推定する(ステップS29)。
具体的には、第二速度推定部243は、フレームバッファから、直前フレームを読み出す(ステップS27)。次に、第二速度推定部243は、直前フレームに対する物体モデル92の中心位置Cと、現フレームに対する物体モデル92の中心位置Cとをそれぞれ算出する(ステップS28)。そして、第二速度推定部243は、直前フレームの物体モデル92の中心位置Cから、現フレームの物体モデル92の中心位置Cまでの移動距離と、直前フレームの取得時点、及び現フレームの取得時点の時間差と、に基づいて、物体91の移動速度を推定する(ステップS29)。
さらに、第二速度推定部243は、推定した移動速度の信頼度を算出する(ステップS30)。中心位置ベース速度推定は、上述したように固定値を用いてもよい。
図5に戻り、ステップS12の速度推定処理の後、速度統合部244は、フレームバッファ25に記憶される以前のフレーム(前フレーム)に基づいて算出された、物体91の移動速度、移動速度に対する信頼度、及び移動速度の分散を含む速度情報を読み出す(ステップS13)。
そして、速度統合部244は、ステップS12により算出される、現フレームに基づいて算出された移動速度と、前フレームの速度情報に基づいて推定される現フレーム取得時点での推定速度と、を統合し、物体91に対する最終的な移動速度を算出する(ステップS14)。
なお、ステップS6またはステップS7で、鉛直方向と水平方向とに分けて、点群密度をそれぞれ算出している場合、各々の方向に対して、ステップS12による移動速度の推定処理が実施される。この場合、速度統合部244は、これらの鉛直方向と水平方向との移動速度を統合して、現フレームに基づいた移動速度を算出する。
また、ステップS14では、上述したように、前フレームに基づいて算出された移動速度の信頼度、及び現フレームに基づいて算出された移動速度の信頼度に基づいて重み付けを行い、信頼度が高い移動速度を重視した移動速度の統合を行う。
そして、速度統合部244は、ステップS12により算出される、現フレームに基づいて算出された移動速度と、前フレームの速度情報に基づいて推定される現フレーム取得時点での推定速度と、を統合し、物体91に対する最終的な移動速度を算出する(ステップS14)。
なお、ステップS6またはステップS7で、鉛直方向と水平方向とに分けて、点群密度をそれぞれ算出している場合、各々の方向に対して、ステップS12による移動速度の推定処理が実施される。この場合、速度統合部244は、これらの鉛直方向と水平方向との移動速度を統合して、現フレームに基づいた移動速度を算出する。
また、ステップS14では、上述したように、前フレームに基づいて算出された移動速度の信頼度、及び現フレームに基づいて算出された移動速度の信頼度に基づいて重み付けを行い、信頼度が高い移動速度を重視した移動速度の統合を行う。
[本実施形態の作用効果]
本実施形態の物体検出装置10は、周囲検出センサ11とコントローラ20とを備える。コントローラ20は、プロセッサーにより装置に記録されたプログラムを読み込み実行することで、物体抽出部21、矩形推定部22、点群密度算出部23、及び速度推定部24として機能する。周囲検出センサ11は、電磁波を照射し、物体91で反射された電磁波を検出することで物体91での電磁波の反射点Qを含むフレームをコントローラ20に出力する。物体抽出部21は、周囲検出センサ11から、複数の反射点Qを含むフレームを取得して物体91を抽出する。矩形推定部22は、複数の反射点Qから物体91を矩形で近似した物体モデル92を推定する(ステップS2~ステップS4)。点群密度算出部23は、物体モデル92に含まれる反射点Qの数から点群密度を算出する(ステップS5~ステップS7)。速度推定部24は、推定手法決定部241、第一速度推定部242、及び第二速度推定部243等として機能し、物体91の移動速度を推定する(ステップS8~ステップS14)。速度推定部24の推定手法決定部241は、点群密度が第一閾値以上である場合に、複数の反射点Qの少なくともいずれかの点を特徴点QRとし、特徴点QRの位置の移動量から物体91の移動速度を推定する特徴点ベース推定処理を移動速度の推定手法とする。第一速度推定部242は、特徴点ベース推定処理を実施する。また、推定手法決定部241は、点群密度が第一閾値未満である場合に、物体モデル92の中心位置Cを算出し、中心位置Cの移動量から物体91の移動速度を推定する中心位置ベース推定処理を推定手法とする。第二速度推定部243は、中心位置ベース推定処理を実施する。
本実施形態の物体検出装置10は、周囲検出センサ11とコントローラ20とを備える。コントローラ20は、プロセッサーにより装置に記録されたプログラムを読み込み実行することで、物体抽出部21、矩形推定部22、点群密度算出部23、及び速度推定部24として機能する。周囲検出センサ11は、電磁波を照射し、物体91で反射された電磁波を検出することで物体91での電磁波の反射点Qを含むフレームをコントローラ20に出力する。物体抽出部21は、周囲検出センサ11から、複数の反射点Qを含むフレームを取得して物体91を抽出する。矩形推定部22は、複数の反射点Qから物体91を矩形で近似した物体モデル92を推定する(ステップS2~ステップS4)。点群密度算出部23は、物体モデル92に含まれる反射点Qの数から点群密度を算出する(ステップS5~ステップS7)。速度推定部24は、推定手法決定部241、第一速度推定部242、及び第二速度推定部243等として機能し、物体91の移動速度を推定する(ステップS8~ステップS14)。速度推定部24の推定手法決定部241は、点群密度が第一閾値以上である場合に、複数の反射点Qの少なくともいずれかの点を特徴点QRとし、特徴点QRの位置の移動量から物体91の移動速度を推定する特徴点ベース推定処理を移動速度の推定手法とする。第一速度推定部242は、特徴点ベース推定処理を実施する。また、推定手法決定部241は、点群密度が第一閾値未満である場合に、物体モデル92の中心位置Cを算出し、中心位置Cの移動量から物体91の移動速度を推定する中心位置ベース推定処理を推定手法とする。第二速度推定部243は、中心位置ベース推定処理を実施する。
これにより、点群密度に応じて、物体検出方法の手法を切り替えることで、精度の高い物体検出が実施可能となる。
つまり、物体モデル92における反射点Qの点群密度が高い場合は、各反射点Qの信頼度が高いことを示す。このような場合、反射点Qのうちの少なくともいずれか、或いは全部を特徴点QRとし、特徴点QRの移動距離により移動速度を推定する特徴点ベース推定処理を行う。特に、多数の反射点Qが得られるシーンは、自車両に対して、物体91である他車両が比較的近い位置に位置することが想定される。このような場合、中心位置ベース推定処理では、物体91の全体が周囲検出センサ11により検出されていないことがあり、物体91の一部から推定される矩形の中心位置Cに基づいて移動速度を推定すると、誤差が生じるおそれがある。これに対して、特徴点ベース推定処理では、反射点Qを直接用いて物体91の移動速度を算出するため、中心位置ベース速度推定処理に比べて、精度の高い移動速度の推定が可能となる。
一方、物体91の位置が遠方に存在する場合、物体91で反射される反射点Qの数が少なくなり、物体モデル92での点群密度が低くなる。この場合、反射点Qの信頼度が低くなり、特徴点ベース速度推定による移動速度の推定精度が低下(信頼度が低下)する。しかしながら、物体91が遠方に位置する場合では、物体91の全体が走査範囲に含まれる可能性が高く、矩形状の物体モデル92の中心位置Cの誤差は小さくなる。
よって、本実施形態のように、点群密度により速度推定の手法を切り替えることで、反射点Qの信頼度に応じた適切な手法での速度推定を選定でき、精度の高い物体91の物体検出、及び検出した物体の移動速度の推定が可能となる。よって、自車両の前方に他車両が横切るカットイン等の判定に必要な速度ベクトルを、より高精度に推定できる。
つまり、物体モデル92における反射点Qの点群密度が高い場合は、各反射点Qの信頼度が高いことを示す。このような場合、反射点Qのうちの少なくともいずれか、或いは全部を特徴点QRとし、特徴点QRの移動距離により移動速度を推定する特徴点ベース推定処理を行う。特に、多数の反射点Qが得られるシーンは、自車両に対して、物体91である他車両が比較的近い位置に位置することが想定される。このような場合、中心位置ベース推定処理では、物体91の全体が周囲検出センサ11により検出されていないことがあり、物体91の一部から推定される矩形の中心位置Cに基づいて移動速度を推定すると、誤差が生じるおそれがある。これに対して、特徴点ベース推定処理では、反射点Qを直接用いて物体91の移動速度を算出するため、中心位置ベース速度推定処理に比べて、精度の高い移動速度の推定が可能となる。
一方、物体91の位置が遠方に存在する場合、物体91で反射される反射点Qの数が少なくなり、物体モデル92での点群密度が低くなる。この場合、反射点Qの信頼度が低くなり、特徴点ベース速度推定による移動速度の推定精度が低下(信頼度が低下)する。しかしながら、物体91が遠方に位置する場合では、物体91の全体が走査範囲に含まれる可能性が高く、矩形状の物体モデル92の中心位置Cの誤差は小さくなる。
よって、本実施形態のように、点群密度により速度推定の手法を切り替えることで、反射点Qの信頼度に応じた適切な手法での速度推定を選定でき、精度の高い物体91の物体検出、及び検出した物体の移動速度の推定が可能となる。よって、自車両の前方に他車両が横切るカットイン等の判定に必要な速度ベクトルを、より高精度に推定できる。
本実施形態において、矩形推定部22は、ステップS3において、矩形で近似した物体モデル92の面積が第二閾値以上であるか否かを判定する。そして、物体モデル92の面積が第二閾値以上である場合、物体モデル92を複数の区分92Aに分割する。また、点群密度算出部23は、物体モデル92が複数の区分92Aに分割された場合、ステップS5~ステップS6において、各区分92Aの点群密度を算出し、点群密度が最も高い区分92Aを移動速度の推定手法を判定するための判定用区分として採用する。そして、速度推定部24の第一速度推定部242は、特徴点ベース推定処理を行う場合に、点群密度が最も高い判定用区分に基づいて、物体91の移動速度を推定する。
これにより、大型車両等のサイズが大きい物体91を矩形状の物体モデル92で近似して、点群密度に偏りが生じた場合でも、点群密度の低い部分の反射点Qを用いた速度推定が行われず、点群密度の高い反射点Qを用いて、精度の高い移動速度の推定処理を実施することができる。
これにより、大型車両等のサイズが大きい物体91を矩形状の物体モデル92で近似して、点群密度に偏りが生じた場合でも、点群密度の低い部分の反射点Qを用いた速度推定が行われず、点群密度の高い反射点Qを用いて、精度の高い移動速度の推定処理を実施することができる。
本実施形態では、点群密度算出部23は、物体モデル92の点群密度の算出に際し、鉛直方向及び水平方向のそれぞれに対して点群密度を算出する。
これにより、鉛直方向に対する反射点Q、及び水平方向に対する反射点Qのそれぞれの情報に基づいた移動速度の推定が可能であり、鉛直方向及び水平方向と統一的に判断する場合に比べて、より精度の高い移動速度の推定が可能となる。
これにより、鉛直方向に対する反射点Q、及び水平方向に対する反射点Qのそれぞれの情報に基づいた移動速度の推定が可能であり、鉛直方向及び水平方向と統一的に判断する場合に比べて、より精度の高い移動速度の推定が可能となる。
本実施形態では、物体91の一面に対して、鉛直方向及び水平方向に対する点群密度を算出する場合、これらの点群密度に基づいて、各方向に対してそれぞれ速度推定の手法を決定する。そして、鉛直方向及び水平方向の少なくともいずれかの方向に対する点群密度が、第一閾値以上である場合、第一速度推定部242は、物体91の一面に直交する方向に対して、特徴点ベース推定処理により移動速度を推定する。
物体91の一面からの反射点Qのみが取得される場合、物体モデル92の奥行方向の上方が少なくなる。これに対して、上述したように、鉛直方向及び水平方向の点群密度を算出し、各々の点群密度に基づいて移動速度の推定手法を決定する場合、それぞれの方向の情報が得られることで、より多くの情報に基づいた移動速度の推定が可能となる。よって、物体91の一面のみの反射点しか得られない場合でも、当該一面に対して直交する奥行方向に対しても、精度の高い移動速度の推定が可能となる。
物体91の一面からの反射点Qのみが取得される場合、物体モデル92の奥行方向の上方が少なくなる。これに対して、上述したように、鉛直方向及び水平方向の点群密度を算出し、各々の点群密度に基づいて移動速度の推定手法を決定する場合、それぞれの方向の情報が得られることで、より多くの情報に基づいた移動速度の推定が可能となる。よって、物体91の一面のみの反射点しか得られない場合でも、当該一面に対して直交する奥行方向に対しても、精度の高い移動速度の推定が可能となる。
本実施形態において、速度推定部24の推定手法決定部241は、連続する2つのフレームにおいて、点群密度が第一閾値以上である場合に、特徴点ベース推定処理を推定手法として採用する。
これにより、第一速度推定部242は、連続するフレーム間で、対応する反射点Q(特徴点QR)を精度よく求めることができ、物体91の移動速度の推定精度の信頼性も向上させることができる。
これにより、第一速度推定部242は、連続するフレーム間で、対応する反射点Q(特徴点QR)を精度よく求めることができ、物体91の移動速度の推定精度の信頼性も向上させることができる。
本実施形態において、速度推定部24の第一速度推定部242は、連続する2つのフレームにおいて、それぞれ、複数の反射点Qから、物体91の特徴点QRを特定し、連続する2つのフレームにおける特徴点QRの移動距離と、連続する2つのフレームの時間差とに基づいて、物体91の移動速度を推定する。
これにより、2フレーム間での特徴点QRの移動量と、連続する2つフレームの取得間隔とから、物体91の移動速度を推定することができる。
これにより、2フレーム間での特徴点QRの移動量と、連続する2つフレームの取得間隔とから、物体91の移動速度を推定することができる。
本実施形態では、第一速度推定部242は、特徴点QRとして、物体モデル92の矩形における辺が交差する角部を特定することが好ましい。
矩形の角部は、例えば、物体91の2面(第一面91A、第二面91B)が交差する位置であり、周囲検出センサ11から送出する電磁波の送出タイミングによって、自車両から見て物体91の位置が変化したり、物体91の向きが変化したりした場合でも、精度よく検出することができる。このため、矩形の角部を特徴点QRとすることで、安定した速度推定が可能で、かつ、推定精度も向上させることができる。
矩形の角部は、例えば、物体91の2面(第一面91A、第二面91B)が交差する位置であり、周囲検出センサ11から送出する電磁波の送出タイミングによって、自車両から見て物体91の位置が変化したり、物体91の向きが変化したりした場合でも、精度よく検出することができる。このため、矩形の角部を特徴点QRとすることで、安定した速度推定が可能で、かつ、推定精度も向上させることができる。
第一速度推定部242は、特徴点QRとして、周辺の反射点Qに比べて反射強度が高い高反射点、または、高反射点の周囲の点を用いてもよい。
高反射点や、高反射点の周囲の点は、物体91の凹凸やエッジ部により検出される点であり、物体91における特徴度が高い点となる。このため、このような高反射点やその周囲の反射点Qを特徴点QRとすることでも、安定した速度推定が可能で、かつ、推定精度も向上させることができる。
高反射点や、高反射点の周囲の点は、物体91の凹凸やエッジ部により検出される点であり、物体91における特徴度が高い点となる。このため、このような高反射点やその周囲の反射点Qを特徴点QRとすることでも、安定した速度推定が可能で、かつ、推定精度も向上させることができる。
本実施形態では、速度推定部24は、以前に取得したフレームに基づく移動速度の推定結果をフレームバッファ25に記録する。そして、速度統合部244は、新たに取得した現フレームの反射点Qに基づいて推定した物体91の移動速度と、前フレームに基づく移動速度の推定結果とを統合して、物体91の移動速度を推定(補正)する。
これにより、物体91の移動速度の急変を抑制した精度の高い速度推定が可能となる。つまり、連続する2フレーム間に基づく、特徴点QRの移動距離の微分値に基づく物体91の移動速度の推定では、移動速度が急激に大きくなる場合がある。一般的に、物体91の移動速度が急変することは稀である。このため、特徴点QRの移動距離の微分値のみに基づいて移動速度を推定すると、自車両90の前方を横切るカットイン車両を誤判定する可能性がある。これに対して、前フレームによる推定速度と、新たに取得した現フレームに基づいて推定した移動速度とを統合することで、移動速度の急変の誤判定を抑制でき、これによるカットイン車両の誤判定も軽減できる。
これにより、物体91の移動速度の急変を抑制した精度の高い速度推定が可能となる。つまり、連続する2フレーム間に基づく、特徴点QRの移動距離の微分値に基づく物体91の移動速度の推定では、移動速度が急激に大きくなる場合がある。一般的に、物体91の移動速度が急変することは稀である。このため、特徴点QRの移動距離の微分値のみに基づいて移動速度を推定すると、自車両90の前方を横切るカットイン車両を誤判定する可能性がある。これに対して、前フレームによる推定速度と、新たに取得した現フレームに基づいて推定した移動速度とを統合することで、移動速度の急変の誤判定を抑制でき、これによるカットイン車両の誤判定も軽減できる。
本実施形態では、第一速度推定部242及び第二速度推定部243は、物体91の移動速度の推定結果に対する信頼度をさらに算出する。そして、速度統合部244は、以前に取得した前フレームに基づく移動速度の信頼度と、現フレームに基づく移動速度の信頼度とを比較し、信頼度が高い方のフレームを重視した速度推定を実施する。
例えば、推定した移動速度に対して信頼度に応じた重み付けを行ったうえで、前フレームに基づく移動速度と、現フレームに基づく移動速度とを統合する。これにより、物体91の移動速度が真に急変した場合に対応することができ、他車両の急なカットインを適正に判定することができる。
例えば、推定した移動速度に対して信頼度に応じた重み付けを行ったうえで、前フレームに基づく移動速度と、現フレームに基づく移動速度とを統合する。これにより、物体91の移動速度が真に急変した場合に対応することができ、他車両の急なカットインを適正に判定することができる。
[変形例]
本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上記実施形態では、速度統合部244により、以前に取得した前回フレームに基づく速度推定結果と、新たに取得したフレームに基づく速度推定結果とを統合する例を示したが、速度統合を行わず、第一速度推定部242または第二速度推定部243により推定された移動速度を、物体91の移動速度として判定し、例えば他車両のカットイン等を判定してもよい。
本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上記実施形態では、速度統合部244により、以前に取得した前回フレームに基づく速度推定結果と、新たに取得したフレームに基づく速度推定結果とを統合する例を示したが、速度統合を行わず、第一速度推定部242または第二速度推定部243により推定された移動速度を、物体91の移動速度として判定し、例えば他車両のカットイン等を判定してもよい。
また、速度統合部244は、信頼度に基づく移動速度の統合として、前回フレームに基づく速度推定結果と、新たに取得したフレームに基づく速度推定結果とに、信頼度に基づいた重み付けを行ったが、これに限定されない。例えば、前回フレームに基づく速度推定結果の信頼度が所定値以上の場合に、移動速度の統合を行い、信頼度が所定値未満である場合に統合を行わない処理を実施してもよい。
10…物体検出装置、11…周囲検出センサ、20…コントローラ、21…物体抽出部、22…矩形推定部、23…点群密度算出部、24…速度推定部、25…フレームバッファ、90…自車両、91…物体、92…物体モデル、92A…区分、93…分割線、93A…領域、241…推定手法決定部、242…第一速度推定部、243…第二速度推定部、244…速度統合部、Ar…走査範囲、C…中心位置、Q…反射点、QR…特徴点。
Claims (11)
- 電磁波を照射し、物体で反射された前記電磁波を検出することで前記物体での前記電磁波の反射点を含むフレームを出力する周囲検出センサを用い、コントローラが、前記フレームに含まれる複数の前記反射点に基づいて、前記物体を検出する物体検出方法であって、
前記コントローラは、
複数の前記反射点から前記物体を矩形で近似し、
前記矩形に含まれる前記反射点の数から、点群密度を算出し、
前記反射点に基づいて、前記物体の移動速度を推定し、
前記コントローラは、前記移動速度を推定するときに、前記点群密度が、所定の第一閾値以上である場合に、複数の前記反射点の少なくともいずれかの点を特徴点とし、前記特徴点の位置の移動量から前記物体の移動速度を推定する特徴点ベース推定処理を実施し、前記点群密度が、前記第一閾値未満である場合に、前記矩形の中心位置を算出し、前記中心位置の移動量から前記物体の前記移動速度を推定する中心位置ベース推定処理を実施する、物体検出方法。 - 前記コントローラは、前記物体を矩形で近似したときに、近似した前記矩形の面積が、所定の第二閾値以上である場合、前記矩形を複数の区分に分割し、
前記点群密度を算出するときに、複数の前記区分のそれぞれの前記点群密度を算出し、
前記移動速度を推定するときに、前記特徴点ベース推定処理を行う場合に、前記点群密度が最も高い前記区分に基づいて、前記物体の前記移動速度を推定する、
請求項1に記載の物体検出方法。 - 前記コントローラは、前記点群密度を算出するときに、鉛直方向、及び前記鉛直方向に直交する水平方向のそれぞれで点群密度を算出する、
請求項1または請求項2に記載の物体検出方法。 - 前記コントローラは、前記移動速度を推定するときに、前記物体の一面に対して、前記鉛直方向及び前記水平方向の少なくともいずれかに対する点群密度が、前記第一閾値以上である場合、前記一面に直交する方向に対して、前記特徴点ベース推定処理により前記移動速度を推定する、
請求項3に記載の物体検出方法。 - 前記コントローラは、前記移動速度を推定するときに、連続する2つのフレームにおいて、前記点群密度が、前記第一閾値以上である場合に、前記特徴点ベース推定処理を実施する、
請求項1から請求項4のいずれか1項に記載の物体検出方法。 - 前記コントローラは、前記移動速度を推定するときに、連続する2つの前記フレームにおいて、それぞれ、複数の前記反射点から、前記物体の前記特徴点を特定し、前記連続する2つのフレームにおける前記特徴点の移動距離と、前記連続する2つの前記フレームの時間差とに基づいて、前記物体の移動速度を推定する、
請求項1から請求項5のいずれか1項に記載の物体検出方法。 - 前記特徴点は、前記矩形における辺が交差する角部である、
請求項6に記載の物体検出方法。 - 前記特徴点は、周辺の前記反射点に比べて反射強度が高い高反射点、または、前記高反射点の周囲の点である、
請求項6に記載の物体検出方法。 - 前記コントローラは、前記移動速度を推定するときに、以前に取得した前記フレームに基づく前記移動速度の推定結果を記録し、新たに取得した前記フレームの前記反射点に基づいて推定した前記物体の前記移動速度と、以前に取得した前記フレームに基づく前記移動速度の推定結果とを統合して、前記物体の前記移動速度を推定する、
請求項1から請求項8のいずれか1項に記載の物体検出方法。 - 前記コントローラは、前記移動速度を推定するときに、速度推定結果の信頼度をさらに算出し、以前に取得した前記フレームに基づく前記速度推定結果と前記信頼度を記憶し、新たに取得される前記フレームに基づく前記速度推定結果の前記信頼度と、以前に取得した前記フレームに基づく前記速度推定結果の前記信頼度とを比較し、前記信頼度が高い方の前記フレームを重視した前記速度推定を実施する、
請求項9に記載の物体検出方法。 - 電磁波を照射し、物体で反射された前記電磁波を検出することで前記物体での前記電磁波の反射点を検出する検出センサと、
検出される複数の前記反射点に基づいて、前記物体を検出するコントローラと、を備え、
前記コントローラは、
複数の前記反射点から前記物体を矩形で近似する矩形推定部と、
前記矩形に含まれる前記反射点の数から、点群密度を算出する点群密度算出部と、
前記反射点に基づいて、前記物体の移動速度を推定する速度推定部と、を含み、
前記速度推定部は、前記点群密度が、所定の第一閾値以上である場合に、複数の前記反射点の少なくともいずれかの点を特徴点とし、前記特徴点の移動量から前記物体の移動速度を推定する特徴点ベース推定処理を実施し、前記点群密度が、前記第一閾値未満である場合に、前記矩形の中心位置を算出し、前記中心位置の移動量から前記物体の前記移動速度を推定する中心位置ベース推定処理を実施する、物体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/025700 WO2026018359A1 (ja) | 2024-07-17 | 2024-07-17 | 物体検出方法、及び物体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/025700 WO2026018359A1 (ja) | 2024-07-17 | 2024-07-17 | 物体検出方法、及び物体検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2026018359A1 true WO2026018359A1 (ja) | 2026-01-22 |
Family
ID=98437267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/025700 Pending WO2026018359A1 (ja) | 2024-07-17 | 2024-07-17 | 物体検出方法、及び物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2026018359A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009014479A (ja) * | 2007-07-04 | 2009-01-22 | Honda Motor Co Ltd | 車両用物体検知装置 |
| JP2013033024A (ja) * | 2011-07-05 | 2013-02-14 | Denso Corp | 距離,速度測定装置 |
| JP2020122718A (ja) * | 2019-01-31 | 2020-08-13 | 株式会社デンソーテン | レーダ装置、車両制御システム及び物標情報推定方法 |
| CN112285737A (zh) * | 2020-10-23 | 2021-01-29 | 深圳无境智能机器人有限公司 | 一种可移动的道路特征测绘系统 |
| WO2021166656A1 (ja) * | 2020-02-19 | 2021-08-26 | 北陽電機株式会社 | 物体検出装置、物体検出システム、物体検出プログラムおよび物体検出方法 |
| JP2021131385A (ja) * | 2020-02-18 | 2021-09-09 | 株式会社デンソー | 物体検出装置 |
-
2024
- 2024-07-17 WO PCT/JP2024/025700 patent/WO2026018359A1/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009014479A (ja) * | 2007-07-04 | 2009-01-22 | Honda Motor Co Ltd | 車両用物体検知装置 |
| JP2013033024A (ja) * | 2011-07-05 | 2013-02-14 | Denso Corp | 距離,速度測定装置 |
| JP2020122718A (ja) * | 2019-01-31 | 2020-08-13 | 株式会社デンソーテン | レーダ装置、車両制御システム及び物標情報推定方法 |
| JP2021131385A (ja) * | 2020-02-18 | 2021-09-09 | 株式会社デンソー | 物体検出装置 |
| WO2021166656A1 (ja) * | 2020-02-19 | 2021-08-26 | 北陽電機株式会社 | 物体検出装置、物体検出システム、物体検出プログラムおよび物体検出方法 |
| CN112285737A (zh) * | 2020-10-23 | 2021-01-29 | 深圳无境智能机器人有限公司 | 一种可移动的道路特征测绘系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7506829B2 (ja) | 自律車両用途のための速度推定および物体追跡 | |
| KR102125538B1 (ko) | 자율 주행을 위한 효율적인 맵 매칭 방법 및 그 장치 | |
| JP2024169478A (ja) | 出力装置、制御方法、プログラム及び記憶媒体 | |
| US10317522B2 (en) | Detecting long objects by sensor fusion | |
| Stiller et al. | Multisensor obstacle detection and tracking | |
| JP7843383B2 (ja) | 地図作成装置、制御方法、プログラム及び記憶媒体 | |
| CN107103275B (zh) | 使用雷达和视觉基于车轮进行的车辆检测和追踪 | |
| US20200042803A1 (en) | Information processing method, information processing apparatus, and recording medium | |
| JP7401273B2 (ja) | 移動体の制御装置及び方法 | |
| JP7155284B2 (ja) | 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体 | |
| CN109791408A (zh) | 自身位置推定方法及自身位置推定装置 | |
| US20240151855A1 (en) | Lidar-based object tracking | |
| JP2026063545A (ja) | 自己位置推定装置 | |
| JP2017138660A (ja) | 物体検出方法、物体検出装置、およびプログラム | |
| WO2008009966A2 (en) | Determining the location of a vehicle on a map | |
| CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
| CN116209920A (zh) | 借助激光雷达传感器的测量和计算设备来估计车辆自身运动的方法 | |
| US20250029401A1 (en) | Image processing device | |
| GB2370706A (en) | Determining the position of a vehicle | |
| CN118670399A (zh) | 一种用于井工矿环境自动驾驶参数调整的定位方法和系统 | |
| CN118115971A (zh) | 多传感器融合的自动驾驶复杂环境感知系统及方法 | |
| CN118625339A (zh) | 用于估计车辆速度的方法 | |
| EP4060373A2 (en) | Multispectral object-detection with thermal imaging | |
| US12552368B2 (en) | Vehicle position estimation system with sensing for object detection and estimation of feature points | |
| CN119295537B (zh) | 一种基于时序点云叠加的轨道交通障碍物识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24947944 Country of ref document: EP Kind code of ref document: A1 |