WO2021199609A1 - 物体検出装置、および、物体検出方法 - Google Patents

物体検出装置、および、物体検出方法 Download PDF

Info

Publication number
WO2021199609A1
WO2021199609A1 PCT/JP2021/002152 JP2021002152W WO2021199609A1 WO 2021199609 A1 WO2021199609 A1 WO 2021199609A1 JP 2021002152 W JP2021002152 W JP 2021002152W WO 2021199609 A1 WO2021199609 A1 WO 2021199609A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
observation point
point
observation
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/002152
Other languages
English (en)
French (fr)
Inventor
昂亮 坂田
黒田　昌芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to US17/916,475 priority Critical patent/US12481025B2/en
Priority to JP2022511569A priority patent/JPWO2021199609A1/ja
Publication of WO2021199609A1 publication Critical patent/WO2021199609A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an object detection device and an object detection method for detecting an object using a set of observation points where LiDAR has observed the outside world.
  • Some automobiles in recent years are equipped with an outside world recognition device that uses a camera, LiDAR, etc. to detect three-dimensional objects around the vehicle and the position of white lines on the road.
  • LiDAR measures the distance to an object by irradiating it with a pulsed laser beam and measuring the time interval until the reflected light from the object is received.
  • the position of an object in the three-dimensional space can be calculated by providing a plurality of laser beam irradiation angles or by sequentially changing the irradiation angles. Since this LiDAR is a sensor that detects an object via laser light, the pulsed laser light is affected by physical phenomena peculiar to light such as reflection and refraction depending on the operating conditions. In particular, in rainy weather, conditions such as raindrops, puddles, and moist road surfaces affect the laser beam, resulting in observation data that includes more disturbance than in fine weather.
  • Patent Document 1 laser light is emitted from the moving device to the detection target area from the moving device so that the rain or snow is not recognized as an obstacle even during heavy rain or heavy snow, and the laser beam is emitted in each emission direction.
  • the position of the reflection point on the object is detected based on the reflected light
  • the object in the detection target area is recognized based on the position of each reflection point
  • it is determined whether or not the recognized object is an obstacle and each Based on the position of the reflection point, the index value indicating the number of reflection points or objects above the ground surface is measured, and if the index value is equal to or higher than the upper limit, the object located above the ground surface is excluded. Determine if it meets and exclude the satisfying object from obstacles.
  • Patent Document 1 is limited to preventing rain and snow from being mistaken for obstacles, and does not take into consideration the adverse effects of puddles and wet road surfaces in rainy weather.
  • the road surface gets wet due to rain or snow, the road surface becomes like a mirror that reflects light.
  • the road object is reflected on the wet road surface, and a mirror image appears to be reflected upside down under the road surface.
  • the data obtained by observing the non-existent mirror image is mixed in the output of LiDAR, it becomes a disturbance when detecting the actual object on the road, the accuracy of object detection is lowered, and the non-existent mirror image is an existing object. May be falsely detected.
  • the present invention is for solving such a problem.
  • the observation point cloud output by LiDAR when the road surface in the vicinity of the own vehicle is wet is classified into a real image and a mirror image, and the mirror image is detected as a real image. It is an object of the present invention to provide an object detection device that can be used for the above.
  • the object detection device of the present invention for achieving the object is an object detection device that detects an object around the vehicle based on the point group data of observation points observed by LiDAR mounted on the vehicle, and has a shape of a road surface.
  • a road surface shape estimation unit that estimates the road surface shape
  • a road surface condition determination unit that estimates the dryness and wetness of the road surface
  • a low observation that is observed at a position lower than the estimated road surface by a predetermined amount or more when the road surface is estimated to be wet.
  • An observation point determination unit for determining a point is provided, and point group data of the observation points other than the low observation point, and a point of an inverted observation point obtained by reversing the low observation point with reference to the height of the road surface. The object was to be detected using the group data.
  • the observation point cloud output by LiDAR when the road surface in the vicinity of the own vehicle is wet can be classified into a real image and a mirror image, so that the mirror image can be used for detecting the real image. ..
  • FIG. Schematic diagram explaining the behavior of LiDAR in fine weather. Schematic diagram explaining the behavior of LiDAR in rainy weather.
  • Flowchart of extraction of mirror image observation point P M Illustration of extraction of low observation point P L. Illustration of a generation process of inverting the observation point P R. An example of when the low observation point P L is the observation point P a real.
  • FIG low observation point P L is explaining a part of the process for determining the mirror image observation point P M.
  • the figure explaining another example of grouping processing The figure which shows an example of the combined use with the camera sensor image of Example 2.
  • FIG. Schematic diagram explaining the behavior of LiDAR in fine weather. Schematic diagram explaining the behavior of LiDAR in rainy weather.
  • Flowchart of extraction of mirror image observation point P M Illustration of extraction of low observation point P L. Illustration of a generation process of in
  • Example 1 of the present invention will be described with reference to FIGS. 1 to 12.
  • FIG. 1 is a functional block diagram showing a configuration example of the object detection system 100 according to the present embodiment.
  • This object detection system 100 is a system that detects an object in front of the own vehicle V 0 (preceding vehicle V 1 , road surface R, etc.), and includes LiDAR 1, an object detection device 2, a recognition processing device 3, and a vehicle control device 4. ing. Further, the object detection device 2 includes a road surface shape estimation unit 21, a road surface condition estimation unit 22, an observation point determination unit 23, and a grouping unit 24.
  • each part itself may be described as an operating subject, but the actual operating subject of the object detection device 2, the recognition processing device 3, and the vehicle control device 4 is an ECU (electronic control unit) that executes a predetermined program. It is a processor such as a unit). It should be noted that an independent processor may be provided for each device of FIG. 1, or a configuration in which the functions of each device may be realized by one processor may be used.
  • FIG. 2 is a schematic diagram illustrating the behavior of LiDAR1 in fine weather.
  • the LiDAR1 has established one to the height of the bumper of the vehicle V 0, also arbitrary position (e.g., center of the rear axle) as an origin, X-axis
  • a Cartesian coordinate system consisting of (front-back direction of own vehicle V 0 ), Y-axis (left-right direction of own vehicle V 0 ), and Z-axis ( vertical direction of own vehicle V 0) is set.
  • the installation location and the number of LiDAR1s may be arbitrarily designed, and are not limited to the form shown in FIG.
  • LiDAR1 can observe a plurality of observation points P in the vertical direction by irradiating a plurality of laser beams radially and discretely within a recognizable angle range in the vertical direction. Similarly, even within the recognizable angle range in the horizontal direction, a plurality of observation points P in the horizontal direction can be observed by irradiating a plurality of laser beams radially and discretely.
  • the set of a large number of observation points P observed by LiDAR1 in this way is input to the object detection device 2 as point cloud data D having three-dimensional coordinate information.
  • point cloud data D having three-dimensional coordinate information.
  • recognizable angle range LiDAR1 since the preceding vehicle V 1 and the road surface R is present, the point cloud data D output from the LiDAR1, three-dimensional coordinate information indicating the position of the preceding vehicle rear and the road surface Is included.
  • FIG. 3 is a schematic diagram illustrating the behavior of LiDAR1 in rainy weather.
  • reservoir water to a portion of the road R by rain has a wet road surface R W
  • the laser light LiDAR1 is irradiated, the preceding vehicle V 1, a road surface R, and is irradiated to the wet road surface R W .
  • Wet road R W Since the reflected laser light like a mirror, a part of the laser light through the actual trajectory L bent, is irradiated on the back of the preceding vehicle V 1.
  • LiDAR1 calculates the three-dimensional coordinate values (x, y, z) of the observation point P by using a trigonometric function or the like according to the irradiation angle at the time of irradiation of the laser beam and the distance information to the observed object. Therefore, wet road surface R W observation point P observed through the actual trajectory L reflected by the straight on the imaginary orbit L 'of the coordinate value is calculated in the position of the mirror image observation point P M nonexistent become.
  • LiDAR1 acquires the point cloud data D.
  • the point cloud data D acquired here is the coordinate information of each point of the observation point P as illustrated in FIG. 2 in fine weather, and the observation point as illustrated in FIG. 3 in rainy weather. the coordinate information of each point of P and the mirror image observation point P M.
  • step S2 road surface shape estimating portion 21 of the object detection apparatus 2 estimates the shape of the road surface R in the vicinity of the vehicle V 0 (hereinafter referred to as "estimated road shape F R").
  • Estimating the road surface shape F R can be estimated in a variety of ways. For example, any of the following methods can be used. (1) The road surface shape is estimated based on the attitude of the own vehicle V 0 calculated from the output of the inertial sensor that three-dimensionally detects the acceleration and the angular velocity. (2) The road surface shape is estimated by analyzing the image captured by the camera sensor. (3) The road surface shape is estimated by analyzing the point cloud data D acquired by LiDAR1. (4) Acquire the road surface shape registered in the map data based on the current position of the own vehicle V 0.
  • the road surface condition estimation unit 22 of the object detection apparatus 2 estimates the wet and dry conditions of the road surface R of the periphery of the vehicle V 0.
  • the dryness and wetness of the road surface R can be estimated by various methods. For example, any of the following methods can be used.
  • (1) Use the wiper operation signal as rainfall information. If the wiper is in operation, it is considered to be raining, and if it is not in operation, it is considered not to be raining. Then, if it is considered to be raining, it is judged that the road surface is moist.
  • step S4 the observation point determination unit 23 of the object detection device 2 confirms the determination result of the road surface condition estimation unit 22. Then, if the road surface R is in a wet state, the process proceeds to step S5, and if the road surface R is not in a wet state, the process returns to step S1. For return to the step S1 if the road surface R is not wet state, if the road surface R is wet, believed to LiDAR1 the acquired point cloud data D is not included in the coordinate value of the mirror image observation point P M (see FIG. 2), it is because unnecessary step S5 and subsequent steps to exclude mirror image observation point P M.
  • step S5 the observation point determination unit 23 uses the information of the estimated road surface shape F R estimated in step S2, any of the threshold Th 1, the low observation point P on the sufficiently low position than the estimated road surface shape F R Extract L.
  • FIG. 5 is a diagram for explaining the processing of step S5 conceptually, from the road surface moist environment LiDAR1 the acquired point cloud data D as shown in FIG. 3 shows a process of extracting the low observation point P L .
  • Th 1 e.g. 10 cm
  • observation point determination unit 23 determines the observation point P and low observation point P L , Holds the judgment result.
  • the threshold value Th 1 has been described as a constant value, but the threshold value Th 1 may be a variable.
  • the threshold value Th 1 may be set as a function of the relative distance d from the own vehicle V 0 and may be determined based on a mathematical model or a data table. If the threshold value Th 1 is proportional to the distance from the vehicle V 0, than near the observation point P, is more distant observation point P, it could be determined that the low observation point P L becomes lower. This is because as the distance from the vehicle V 0 and the accuracy deterioration of the estimated road surface shape F R, the measures to be also deteriorated accuracy of extracting low observation point P L.
  • step S6 the observation point determination unit 23, as pretreatment for low observation point P L to determine whether the mirror image observation point P M, inverts the low observation point P L based on the estimated road shape F R , it generates an inverted observation point P R.
  • FIG. 6 is a diagram illustrating the inversion process in step S6. As shown, 'because it is the difference in height of the estimated road shape F R and low observation point P L is, H R -z' height low observation point P L is z is. Thus, the coordinate values of the estimated road surface shape F inverted observation point lower observation point P L is inverted R relative to P R becomes (x ', y', 2H R -z ').
  • step S7 the observation point determination unit 23 checks whether another observation point P in the vicinity of the inversion observation point P R is present. Then, if there is another observation point P, the process proceeds to step S8, and if there is no other observation point P, the process returns to step S1.
  • step S8 Back when in the vicinity of the inversion observation point P R no other observation point P in step S1, in an environment where mirror image observation point P M is generated, other observation point P in the vicinity of the inversion observation point P R is and should be present (see FIG. 3), if the it is not, the low observation point P L real observation point P (e.g., downhill, depression, etc.) and it can be determined (see FIG. 7), step S8 for holding the lower observation point P L as a mirror image observation point P M it is because there is no need.
  • FIG. 8 is a diagram for specifically explaining the process of step S7.
  • Threshold Th 2 the reversing observation point P R
  • it is determined that their observation point P there is a high possibility in which capture the real image of the mirror image observation point P M
  • low observation point P L is the mirror image observation point P M.
  • a spherical region with a constant threshold value Th 2 is illustrated in FIG. 8, the shape of the region used for the processing in step S7 may be set as a long spherical region or a rectangular parallelepiped region, and their sizes may be set. It may be set arbitrarily.
  • step S8 the observation point determination unit 23 holds the low observation point as a mirror image observation point in step S7.
  • FIG. 9 is a flowchart showing an example of grouping processing by the grouping unit 24. This grouping process is performed every sensing cycle of LiDAR1 and is applied to all the observation points P observed by one sensing. After performing the above-mentioned mirror image observation point determination for all observation points P, a grouping process is performed.
  • Grouping determination is sequentially performed on all the observation point P, when the observation point P to be determined were mirror images of the observation point P M (S11), performs the inversion operation of the same height information and FIG. 6 ( S12), using an inverted observation point P R, to evaluate the correlation between the other observation point P, and form a group G (S13).
  • the correlation evaluation method is, for example, evaluating a relative distance, and if there are other observation points P closer than an arbitrary distance, those adjacent observation point groups detect the same object. Strong correlation There is a method of grouping as a group of observation points.
  • the group G generated by the grouping unit 24 is sequentially held. After performing the grouping determination for all the observation points (S14), the extracted group G is transmitted to the recognition processing device 3 in the subsequent stage.
  • the recognition processing device 3 it is possible to handle the mirror image observation point P M as corresponding observation points of the real image, the observation point P which detects the same object than when the same process only by the observation point P of the real image It has the effect of increasing recognition accuracy because it increases and the information becomes denser.
  • the grouping process by the grouping unit 24 may be in another form as shown in FIG. This grouping process is performed every sensing cycle of LiDAR1 and is applied to all the observation points P observed by one sensing. After performing the above-mentioned mirror image observation point determination for all observation points P, a grouping process is performed.
  • Grouping determination is sequentially performed on all the observation point P, when the observation point P to be determined were mirror images of the observation point P M (S21), evaluates the correlation between the other mirror image observation point P M , Grouping (S23).
  • method for evaluating correlation with, for example, to evaluate the relative distance, if any other mirror image observation point P M in the vicinity than any distance, mirror image observation point P M that they close the mirror image of the same object there is a method of grouping a group G M strong observation point group of correlation is detected ( Figure 12).
  • observation point P to be determined is the observation point P of the real image, it is grouped as a group G of the observation points group of the real image in the vicinity thereof (S22).
  • each grouping result is transmitted to the recognition processing device 3 in the subsequent stage. Or, the result of integrating the respective grouping result may be transmitted to the subsequent recognition processor 3, so that case the group G corresponding information of the real image observation point group the group G M of the mirror image observation point group ,
  • the coordinate information of the observation point cloud and the size information of the grouping result are used by inverting the height information as described above (S25). Integrating the group G of the observation point group of the corresponding real image groups G M of the mirror image observation point group and an inverted (S26).
  • a subsequent stage of the recognition processor 3 it is possible to differentiated management of the inverse and group G of the observation point group of the real image, the group G M of the observation point group of a mirror, suitable for each Performing the processing has the effect of increasing the recognition accuracy.
  • the observation point cloud output by LiDAR when the road surface in the vicinity of the own vehicle is wet can be classified into a real image and a mirror image, so that the mirror image is misunderstood as a real image. Can be avoided.
  • Example 2 of the present invention will be described. It should be noted that the common points with the first embodiment will be omitted.
  • the mirror image on a wet road surface can be perceived as human vision, but the same phenomenon is observed with a camera sensor. Therefore, even in the object detection device using the camera sensor, there is a problem that the mirror image is misunderstood as a real image, but this problem can be solved by using LiDAR1 together.
  • the same three-dimensional Cartesian coordinate system is shared between the sensors.
  • the position information detected by each sensor is converted.
  • the spatial expression method shared between the sensors is not limited to the three-dimensional Cartesian coordinate system, and for example, a polar coordinate system or a two-dimensional plane may be used.
  • FIG. 13 is a diagram showing an example of the combined processing of the LiDAR 1 and the camera sensor.
  • the object information 91 and the erroneously detected object information 92 are detected from the camera sensor image 90, respectively.
  • the position in the recognition space indicated by each detected object information, the position indicated by the observation point P and low observation point P L of a real image object detection apparatus 2 detects, superimposed on recognition space to share.
  • the shared recognition space in FIG. 13 is the same two-dimensional plane as the spatial representation of the camera sensor image 90.
  • the observation point P and low observation point P L of the real image if the observation point P and low observation point P L of the real image is included, the observation point P and low observation point P L of the real image for each detected object the ratio of the number contained calculated, it is determined the value set arbitrarily as a threshold, if a ratio of more than the threshold includes a low observation point P L is as object information 92 in question was erroneously detected mirror image I can judge.
  • the grouping result detected by the object detection device 2 may be used.
  • the group G of the real image observation point group detected by the object detection device 2 is used in the region where the object information 91 and 92 are recognized as an object.
  • the group G of the real image observation point group detected by the object detection device 2 is used.
  • a group G M of the mirror image observation point group the area ratio or overlap region contained calculates it is determined the value set arbitrarily as a threshold, if it contains the group G M of the mirror image observation point group in an amount of more than the threshold value or area, is the object information It can be determined that 92 is a false detection of the mirror image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

自車両の近傍の路面が湿潤しているときにLiDARが出力した観測点群を実像と鏡像に分類し、鏡像を実像の検出に利用できる物体検出装置を提供することを目的とする。車両に搭載したLiDARで観測した観測点の点群データに基づいて、車両周辺の物体を検出する物体検出装置であって、路面の形状を推定する路面形状推定部と、前記路面の乾湿状況を推定する路面状況定部と、前記路面が湿潤状況と推定された場合、推定された路面よりも所定量以上低い位置で観測した低観測点を判定する観測点判定部と、を備え、前記低観測点以外の前記観測点の点群データ、および、前記路面の高さを基準として前記低観測点を反転させた反転観測点の点群データを用いて、前記物体を検出する物体検出装置。

Description

物体検出装置、および、物体検出方法
　本発明は、LiDARが外界を観測した観測点の集合を用いて物体を検出する、物体検出装置、および、物体検出方法に関する。
　近年の自動車には、カメラやLiDAR等を用いて、自車両周辺の立体物や路上の白線位置等を検出する外界認識装置を搭載したものがある。
　LiDARは、パルス状のレーザ光を照射し、物体からの反射光が受光されるまでの時間間隔を計測することで物体までの距離を計測するものである。距離計測の際に、レーザ光の照射角度を複数設ける、または逐次的に照射角度を変化させて計測することで三次元空間の物体の位置を算出することができる。このLiDARは、レーザ光を媒介として物体を検出するセンサであるため、運用条件によっては、パルス状のレーザ光は反射や屈折などの光特有の物理現象の影響を受ける。特に、雨天時においては雨滴や水たまり、湿潤した路面などの条件がレーザ光に影響を及ぼし、晴天時と比較して多くの外乱を含んだ観測データとなってしまう。
　この問題を解決する手段として、例えば、特許文献１では大雨または大雪の時でも、雨または雪が障害物として認識されないように、移動装置から検出対象領域へレーザ光を射出し、射出方向毎に、反射光に基づいて物体上の反射点の位置を検出し、各反射点の位置に基づいて検出対象領域内の物体を認識し、認識された物体が障害物であるかどうかを判定し、各反射点の位置に基づいて、地表面よりも上方における反射点または物体の数を表わす指標値を計測し、指標値が上限値以上の場合には、地表面より上方に位置する物体が除外条件を満たすかを判断し、満たす物体を障害物から除外する。
特開２０１８－１５９５７０号公報
　しかしながら、特許文献１の技術は、雨や雪を障害物と誤認しないようにするものに留まり、雨天時の水たまりや湿潤した路面による悪影響については考慮されていない。
　例えば、路面が降雨や雪によって濡れた状況になると、路面が光を反射する鏡のようになる。この場合、人間の視覚的にも、LiDARの出力においても、路上物体が濡れた路面で反射し、路面下に上下が逆さまに映るように見える鏡像が生じる。その結果、LiDARの出力には、実在しない鏡像を観測したデータが混入するため、路上に実在する物体の検出する際の外乱となり、物体検出の精度が低下したり、実在しない鏡像を実在する物体として誤検出したりすることがある。
　本発明は、このような課題を解決するためのものであり、自車両の近傍の路面が湿潤しているときにLiDARが出力した観測点群を実像と鏡像に分類し、鏡像を実像の検出に利用できる物体検出装置を提供することを目的とする。
　その目的を達成するための本発明の物体検出装置は、車両に搭載したLiDARで観測した観測点の点群データに基づいて、車両周辺の物体を検出する物体検出装置であって、路面の形状を推定する路面形状推定部と、前記路面の乾湿状況を推定する路面状況定部と、前記路面が湿潤状況と推定された場合、推定された路面よりも所定量以上低い位置で観測した低観測点を判定する観測点判定部と、を備え、前記低観測点以外の前記観測点の点群データ、および、前記路面の高さを基準として前記低観測点を反転させた反転観測点の点群データを用いて、前記物体を検出するものとした。
　本発明の物体検出装置によれば、自車両の近傍の路面が湿潤しているときにLiDARが出力した観測点群を実像と鏡像に分類できるので、鏡像を実像の検出に利用することができる。
実施例１の物体検出システムの構成例を示す機能ブロック図。 LiDARの晴天時の挙動を説明する概略図。 LiDARの雨天時の挙動を説明する概略図。 鏡像観測点ＰＭの抽出処理のフローチャート。 低観測点ＰＬの抽出処理の説明図。 反転観測点ＰＲの生成処理の説明図。 低観測点ＰＬが実在する観測点Ｐである場合の一例。 低観測点ＰＬが鏡像観測点ＰＭかを判定する処理の一部を説明する図。 実施例１のグルーピング処理のフローチャート。 グルーピング処理の一例を説明する図。 実施例１の他のグルーピング処理のフローチャート。 グルーピング処理の他例を説明する図。 実施例２のカメラセンサ画像との併用の一例を示す図。
　以下、図面を用いて、本発明の実施例を説明する。
　まず、図１から図１２を用いて、本発明の実施例１を説明する。
　図１は、本実施例に係る物体検出システム１００の構成例を示す機能ブロック図である。この物体検出システム１００は、自車両Ｖ０の前方の物体（先行車Ｖ１や路面Ｒなど）を検出するシステムであり、LiDAR１、物体検出装置２、認識処理装置３、車両制御装置４を備えている。また、物体検出装置２は、路面形状推定部２１、路面状況推定部２２、観測点判定部２３、グルーピング部２４を備えている。以下では、便宜上、各部それ自体を動作主体として説明することもあるが、物体検出装置２、認識処理装置３、車両制御装置４の実際の動作主体は、所定のプログラムを実行するＥＣＵ（電子制御ユニット）等のプロセッサである。なお、図１の装置毎に独立したプロセッサを設けも良いし、一つのプロセッサで各装置の機能を実現する構成としても良い。
　＜LiDAR１の晴天時の挙動＞
　図２は、LiDAR１の晴天時の挙動を説明する概略図である。ここに示すように、本実施例では、LiDAR１を自車両Ｖ０のバンパの高さに１つ設置しており、また、任意の位置（例えば、後輪車軸の中心）を原点として、Ｘ軸（自車両Ｖ０の前後方向）、Ｙ軸（自車両Ｖ０の左右方向）、Ｚ軸（自車両Ｖ０の上下方向）からなる直交座標系を設定している。なお、LiDAR１の設置場所や設置個数は任意に設計して良く、図２の形態に限定されるものではない。
　LiDAR１は、垂直方向の認識可能角度範囲内において、複数のレーザ光を放射状かつ離散的に照射することで、複数の垂直方向の観測点Ｐを観測することができる。同様に、水平方向の認識可能角度範囲内においても、複数のレーザ光を放射状かつ離散的に照射することで、複数の水平方向の観測点Ｐを観測することができる。
　このようにしてLiDAR１が観測した多数の観測点Ｐの集合は、三次元の座標情報を持つ点群データＤとして、物体検出装置２に入力される。図２では、LiDAR１の認識可能角度範囲に、先行車Ｖ１と路面Ｒが存在するため、LiDAR１が出力する点群データＤには、先行車背面と路面表面の位置を示す三次元の座標情報が含まれる。
　＜LiDAR１の雨天時の挙動＞
　一方、図３は、LiDAR１の雨天時の挙動を説明する概略図である。ここでは、雨天によって路面Ｒの一部に水が溜まり、湿潤路面ＲＷとなっており、LiDAR１が照射したレーザ光は、先行車Ｖ１、路面Ｒ、および、湿潤路面ＲＷに照射される。湿潤路面ＲＷは、鏡のようにレーザ光を反射するので、一部のレーザ光は屈曲した実軌道Ｌを経て、先行車Ｖ１の背面に照射される。
　LiDAR１は、レーザ光の照射時の照射角度と、観測された対象物までの距離情報に従って、三角関数などを用いて観測点Ｐの三次元の座標値（ｘ、ｙ、ｚ）を算出する。このため、湿潤路面ＲＷで反射した実軌道Ｌを経て観測された観測点Ｐは、直線状の虚軌道Ｌ’上の、実在しない鏡像観測点ＰＭの位置に座標値が算出されることになる。
　＜鏡像観測点の抽出処理＞
　図３に例示した鏡像観測点ＰＭを、実在する観測点Ｐと誤解すると、認識処理装置３による認識処理や、車両制御装置４による車両制御が不適当なものとなる可能性がある。そこで、本実施例の物体検出装置２では、実在する観測点Ｐと、実存しない鏡像観測点ＰＭを、図４のフローチャートに従い分類する。なお、本実施例では、図４の処理を、LiDAR１のセンシング周期毎に実施する。
　ステップＳ１では、LiDAR１は、点群データＤを取得する。ここで取得する点群データＤは、晴天時であれば、図２に例示するような観測点Ｐの各点の座標情報であり、雨天時であれば、図３に例示するような観測点Ｐと鏡像観測点ＰＭの各点の座標情報である。
　ステップＳ２では、物体検出装置２の路面形状推定部２１は、自車両Ｖ０の周辺の路面Ｒの形状（以下「推定路面形状ＦＲ」と称する）を推定する。推定路面形状ＦＲは、様々な方法で推定することができる。例えば、次の何れかの方法を利用することができる。
（１）加速度と角速度を三次元的に検出する慣性センサの出力から算出した自車両Ｖ０の姿勢に基づいて、路面形状を推定する。
（２）カメラセンサの撮像画像を解析することで、路面形状を推定する。
（３）LiDAR１が取得した点群データＤを解析することで、路面形状を推定する。
（４）自車両Ｖ０の現在位置に基づいて、地図データに登録された路面形状を取得する。
　ステップＳ３では、物体検出装置２の路面状況推定部２２は、自車両Ｖ０の周辺の路面Ｒの乾湿状況を推定する。路面Ｒの乾湿状況は、様々な方法で推定することができる。例えば、次の何れかの方法を利用することができる。
（１）ワイパーの稼働信号を降雨情報として利用する。ワイパーが稼働中であれば降雨中と見做し、稼働していなければ降雨中ではないと見做す。そして、降雨中と見做されれば、路面は湿潤していると判断する。
（２）自車両Ｖ０の濡れ状態を検出する雨滴センサの出力を利用する。雨滴センサが雨滴を検出している場合は降雨中と見做し、それ以外は降雨中ではないと見做す。そして、降雨中と見做されれば、路面は湿潤していると判断する。
（３）インターネット等を介して、天候状況データを取得する。この場合、天候状況データが示す現在の天候だけでなく、過去から現在にわたる天候状況データを用いて現在の路面の湿潤状況を判断してもよい。
（４）カメラセンサの撮像画像を解析することで、路面Ｒの湿潤状態もしくは天候を判断する。
（５）点群データＤに含まれる全ての観測点Ｐから、後述する低観測点ＰＬを抽出する。全ての観測点Ｐに対する低観測点ＰＬの割合が所定の閾値を超える場合は、路面が湿潤していると判断する。
　これらのいずれかの方法、若しくは、これらを組み合わせた方法によって、現在の路面状況が湿潤であるかを判断する。なお、路面が湿潤していると判断した場合は、その判断結果を、所定時間保持することが望ましい。これは天候が雨天から晴天に変化した場合であっても、湿潤した路面が乾燥するまでにある程度の時間を要するからである。
　ステップＳ４では、物体検出装置２の観測点判定部２３は、路面状況推定部２２の判定結果を確認する。そして、路面Ｒが湿潤状態であればステップＳ５に進み、路面Ｒが湿潤状態でなければステップＳ１に戻る。路面Ｒが湿潤状態でない場合にステップＳ１に戻るのは、路面Ｒが湿潤状態でなければ、LiDAR１が取得した点群データＤには鏡像観測点ＰＭの座標値は含まれないと考えられるため（図２参照）、鏡像観測点ＰＭを除外するためのステップＳ５以降の処理が不要だからである。
　ステップＳ５では、観測点判定部２３は、ステップＳ２で推定した推定路面形状ＦＲの情報と、任意の閾値Ｔｈ１を用いて、推定路面形状ＦＲより十分に低い位置にある低観測点ＰＬを抽出する。
　図５は、ステップＳ５の処理を概念的に説明する図であり、図３のような路面湿潤環境でLiDAR１が取得した点群データＤから、低観測点ＰＬを抽出する処理を示している。図３でLiDAR１が取得した点群データＤには、実在する観測点Ｐの座標値だけでなく、実在しない鏡像観測点ＰＭの座標値も含まれている。そこで、点群データＤから鏡像観測点ＰＭの座標値を除外するための前処理として、ステップＳ５では、推定路面形状ＦＲより所定の閾値Ｔｈ１（例えば、１０ｃｍ）以上、低い位置にある低観測点ＰＬを抽出する。
　LiDAR１で観測した、ある座標値（ｘ’、ｙ’、ｚ’）を持つ観測点Ｐが低観測点ＰＬに該当するかの判定には、次の式１を利用する。
　ｚ’　＜　ＨＲ　－　Ｔｈ１　　　…　（式１）
　ＨＲ：推定路面形状ＦＲの座標（ｘ’、ｙ’）での高さ
　この（式１）を満たす場合、観測点判定部２３は、その観測点Ｐを低観測点ＰＬと判定し、その判定結果を保持する。
　なお、以上では、閾値Ｔｈ１は一定値として説明したが、閾値Ｔｈ１は変数であっても良い。例えば、閾値Ｔｈ１を、自車両Ｖ０からの相対距離ｄの関数とし、数式モデルやデータテーブルに基づいて定めてもよい。閾値Ｔｈ１を自車両Ｖ０からの距離に比例させた場合、近くの観測点Ｐよりも、遠くの観測点Ｐの方が、低観測点ＰＬと判定される可能性が低くなる。これは、自車両Ｖ０から離れるほど推定路面形状ＦＲの精度が劣化し、低観測点ＰＬの抽出精度も劣化することへの対策となる。
　ステップＳ６では、観測点判定部２３は、低観測点ＰＬが鏡像観測点ＰＭであるかを判定するための前処理として、推定路面形状ＦＲを基準に低観測点ＰＬを反転し、反転観測点ＰＲを生成する。
　図６は、ステップＳ６での反転処理を説明する図である。図示するように、低観測点ＰＬの高さはｚ’であるので、推定路面形状ＦＲと低観測点ＰＬの高さの差は、ＨＲ－ｚ’である。従って、推定路面形状ＦＲを基準に低観測点ＰＬを反転させた反転観測点Ｐ Ｒの座標値は、（ｘ’、ｙ’、２ＨＲ－ｚ’）となる。
　ステップＳ７では、観測点判定部２３は、反転観測点ＰＲの近傍に他の観測点Ｐが存在するかを確認する。そして、他の観測点ＰがあればステップＳ８に進み、他の観測点ＰがなければステップＳ１に戻る。反転観測点ＰＲの近傍に他の観測点Ｐがない場合にステップＳ１に戻るのは、鏡像観測点ＰＭが発生する環境下では、反転観測点ＰＲの近傍に他の観測点Ｐが存在するはずであり（図３参照）、それがないのであれば、その低観測点ＰＬを実在の観測点Ｐ（例えば、下り坂、窪み、等）と判断できるため（図７参照）、低観測点ＰＬを鏡像観測点ＰＭとして保持するステップＳ８が必要ないからである。
　図８は、ステップＳ７の処理を具体的に説明するための図である。これは、低観測点ＰＬが鏡像観測点ＰＭである場合に相当し、反転観測点ＰＲから一定距離（閾値Ｔｈ２）の球状領域内に他の観測点Ｐが存在する状況を示している。この場合、それらの観測点Ｐは、鏡像観測点ＰＭの実像を捉えたものである可能性が高いため、低観測点ＰＬは鏡像観測点ＰＭであると判定する。なお、図８では、一定の閾値Ｔｈ２による球状領域を例示したが、ステップＳ７の処理に用いる領域の形状は、長球状や直方体状の領域として設定してもよく、また、それらのサイズは任意に設定してよい。
　最後に、ステップＳ８では、観測点判定部２３は、ステップＳ７で低観測点を鏡像観測点として保持する。
　＜グルーピング処理＞
　観測点判定部２３での処理を終えると、グルーピング部２４では、鏡像観測点ＰＭと判定された複数の観測点Ｐを、対象物の検出に利用するためのグルーピング処理を行う。
　図９は、グルーピング部２４によるグルーピング処理の一例を示すフローチャートである。このグルーピング処理は、LiDAR１のセンシング周期毎に実施され、１回のセンシングで観測された全ての観測点Ｐに対して適用される。全ての観測点Ｐに対して前述の鏡像観測点判定を実施した後、グルーピング処理を実施する。
　グルーピング判定は、全ての観測点Ｐに対して順次実施し、判定対象の観測点Ｐが鏡像観測点ＰＭであった場合（Ｓ１１）、図６と同様の高さ情報の反転操作を行い（Ｓ１２）、反転観測点ＰＲを用いて、その他の観測点Ｐとの相関関係を評価し、グループＧを形成する（Ｓ１３）。
　相関関係の評価方法は、例えば、相対距離を評価し、任意の距離よりも近傍にその他の観測点Ｐがあれば、それら近接する観測点群は同一の物体を検出している相関関係の強い観測点群としてグルーピングする方法がある。
　グルーピング部２４が生成したグループＧは逐次保持される。全観測点に対してグルーピング判定を実施したのち（Ｓ１４）、抽出されたグループＧを後段の認識処理装置３に伝達する。この方法を用いれば、鏡像観測点ＰＭを実像の観測点相当として扱うことができるため、実像の観測点Ｐのみで同様の処理をした場合よりも同一物体を検出している観測点Ｐが増加し、情報が密になるため認識精度が高まる効果がある。
　＜他のグルーピング処理＞
　また、グルーピング部２４によるグルーピング処理は、図１１に示すような、別の形態としてもよい。このグルーピング処理は、LiDAR１のセンシング周期毎に実施され、１回のセンシングで観測された全ての観測点Ｐに対して適用される。全ての観測点Ｐに対して前述の鏡像観測点判定を実施した後、グルーピング処理を実施する。
　グルーピング判定は、全ての観測点Ｐに対して順次実施し、判定対象の観測点Ｐが鏡像観測点ＰＭであった場合（Ｓ２１）、その他の鏡像観測点ＰＭとの相関関係を評価し、グルーピングする（Ｓ２３）。ここでの相関関係の評価方法は、例えば、相対距離を評価し、任意の距離よりも近傍にその他の鏡像観測点ＰＭがあれば、それら近接する鏡像観測点ＰＭは同一の物体の鏡像を検出している相関関係の強い観測点群のグループＧＭとしてグルーピングする方法がある（図１２）。
　また、判定対象の観測点Ｐが実像の観測点Ｐであった場合は、その近傍の実像の観測点群のグループＧとしてグルーピングする（Ｓ２２）。
　以上のグルーピング判定を、全ての観測点Ｐに対して実施した結果（Ｓ２４）、鏡像観測点群のグループＧＭと、実像観測点群のグループＧが得られる。それぞれのグルーピング結果を後段の認識処理装置３に伝達する。または、それぞれのグルーピング結果を統合した結果を後段の認識処理装置３に伝達してもよく、その場合は鏡像観測点群のグループＧＭを実像観測点群のグループＧ相当の情報となるように、観測点群の座標情報やグルーピング結果のサイズ情報を前述のごとく高さ情報を反転させて用いる（Ｓ２５）。鏡像観測点群のグループＧＭを反転したものと対応する実像の観測点群のグループＧに統合する（Ｓ２６）。この方法を用いれば、後段の認識処理装置３は実像の観測点群のグループＧと、鏡像の観測点群のグループＧＭを反転したものを区別して管理することができるため、それぞれに適した処理を実施することで、認識精度が高まる効果がある。
　以上で説明したように、本実施例によれば、自車両の近傍の路面が湿潤しているときにLiDARが出力した観測点群を実像と鏡像に分類できるので、鏡像を実像と誤解することを回避できる。
　次に、本発明の実施例２について説明する。なお、実施例１との共通点は重複説明を省略する。
　湿潤路面による鏡像は、人間の視覚としても知覚できるが、カメラセンサでも同様の現象が観測される。従って、カメラセンサを用いた物体検出装置においても、鏡像を実像等誤解するという課題があるが、LiDAR１を併用することでこの問題を解決することができる。
　そのため、まず、カメラセンサの設置姿勢によって規定されるカメラセンサが外界を認識する範囲と、LiDAR１が外界を認識する範囲とを対応づけるために、同一の三次元直交座標系をセンサ間で共有する空間表現として、各々のセンサが検出した位置情報を変換する。この際、センサ間で共有する空間表現方法は三次元直交座標系に限定されるものではなく、例えば極座標系や二次元平面を用いてもよい。共有する空間表現上に各々の検出結果を重畳することで、カメラセンサが検出している物体が実像であるか、鏡像を検出した誤検出であるかの判定を行うことができる。
　図１３は、LiDAR１とカメラセンサの併用処理の一例を示す図である、認識処理装置３においてカメラセンサ画像９０から、物体情報９１、および、誤って検出された物体情報９２がそれぞれ検出される。それぞれの検出された物体情報が示す認識空間中の位置と、物体検出装置２が検出した実像の観測点Ｐおよび低観測点ＰＬの示す位置を、共有する認識空間上に重畳する。
　図１３における共有する認識空間は、カメラセンサ画像９０の空間表現と同一の二次元平面である。物体情報９１、９２が物体として認識されている領域に、実像の観測点Ｐおよび低観測点ＰＬが内包される場合、それぞれの検出物体毎に実像の観測点Ｐと低観測点ＰＬの含まれる個数の割合を計算し、任意に設定した値を閾値として判定を行い、閾値以上の割合で低観測点ＰＬが含まれる場合は、当該の物体情報９２は鏡像を誤検出したものと判断できる。
　または、物体検出装置２が検出したグルーピング結果を用いてもよい、この場合は物体情報９１、９２が物体として認識されている領域に、物体検出装置２が検出した実像観測点群のグループＧと、鏡像観測点群のグループＧＭが含まれる場合、もしくはそれぞれの検出領域が重複している場合、それぞれの検出物体毎に実像観測点群のグループＧと、鏡像観測点群のグループＧＭが含まれる割合または重複領域の面積を計算し、任意に設定した値を閾値として判定を行い、閾値以上の割合、または面積で鏡像観測点群のグループＧＭが含まれる場合は、当該の物体情報９２は鏡像を誤検出したものと判断できる。
　このようにLiDAR１とカメラセンサ画像と本発明を併用した物体検出を行うことで、従来のカメラセンサ画像を用いた物体検出よりも検出の誤りを減少させることができる。
１００　物体検出システム、
１　LiDAR、
２　物体検出装置
　２１　路面形状推定部、
　２２　路面状況推定部、
　２３　観測点判定部、
　２４　グルーピング部、
３　認識処理装置、
４　車両制御装置、

Claims (7)

  1. 　車両に搭載したLiDARで観測した観測点の点群データに基づいて、車両周辺の物体を検出する物体検出装置であって、
    　路面の形状を推定する路面形状推定部と、
    　前記路面の乾湿状況を推定する路面状況定部と、
    　前記路面が湿潤状況と推定された場合、推定された路面よりも所定量以上低い位置で観測した低観測点を判定する観測点判定部と、を備え、
    　前記低観測点以外の前記観測点の点群データ、および、前記路面の高さを基準として前記低観測点を反転させた反転観測点の点群データを用いて、前記物体を検出することを特徴とする物体検出装置。
  2. 　請求項１に記載の物体検出装置において、
    　前記観測点判定部は、前記反転観測点の近傍に他の観測点が存在する場合、前記低観測点を鏡像観測点と判定することを特徴とする物体検出装置。
  3. 　請求項１に記載の物体検出装置において、
    　前記点群データの相関関係に応じて、前記反転観測点と前記観測点の双方を含むグループを生成するグルーピング部をさらに備えることを特徴とする物体検出装置。
  4. 　請求項２に記載の物体検出装置において、
    　前記点群データの相関関係に応じて、前記鏡像観測点だけの鏡像グループと、前記鏡像観測点以外の前記観測点だけの実像グループを作成するグルーピング部をさらに備えることを特徴とする物体検出装置。
  5. 　請求項４に記載の物体検出装置において、
    　前記グルーピング部は、前記鏡像グループの位置及びサイズを、前記実像グループに相当するように反転し、両グループの位置及びサイズの情報を統合して保持することを特徴とする物体検出装置。
  6. 　請求項１から請求項５の何れか一項に記載の物体検出装置において、
    　さらに、車両に搭載したカメラセンサの撮影画像が入力され、
    　該撮影画像の物体情報のうち、前記低観測点に対応するものは、鏡像に対応する物体情報と判定することを特徴とする物体検出装置。
  7. 　車両に搭載したLiDARで観測した観測点の点群データに基づいて、車両周辺の物体を検出する物体検出方法であって、
    　路面の形状を推定し、
    　前記路面の乾湿状況を推定し、
    　前記路面が湿潤状況と推定した場合、推定した路面よりも所定量以上低い位置で観測した低観測点を判定し、
    　前記低観測点以外の前記観測点の点群データ、および、前記路面の高さを基準として前記低観測点を反転させた反転観測点の点群データを用いて、前記物体を検出することを特徴とする物体検出方法。
PCT/JP2021/002152 2020-04-03 2021-01-22 物体検出装置、および、物体検出方法 Ceased WO2021199609A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/916,475 US12481025B2 (en) 2020-04-03 2021-01-22 Object sensing device and object sensing method
JP2022511569A JPWO2021199609A1 (ja) 2020-04-03 2021-01-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020067553 2020-04-03
JP2020-067553 2020-04-03

Publications (1)

Publication Number Publication Date
WO2021199609A1 true WO2021199609A1 (ja) 2021-10-07

Family

ID=77929938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002152 Ceased WO2021199609A1 (ja) 2020-04-03 2021-01-22 物体検出装置、および、物体検出方法

Country Status (3)

Country Link
US (1) US12481025B2 (ja)
JP (1) JPWO2021199609A1 (ja)
WO (1) WO2021199609A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386313A (zh) * 2022-12-05 2023-07-04 北京万集科技股份有限公司 车辆信息的检测方法和系统
US12675895B2 (en) 2022-10-24 2026-07-07 Nec Corporation Monitoring system, monitoring apparatus, and monitoring method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021199609A1 (ja) * 2020-04-03 2021-10-07

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035612A1 (ja) * 2011-09-09 2013-03-14 日本電気株式会社 障害物検知装置、障害物検知方法及び障害物検知プログラム
US20160178802A1 (en) * 2014-12-22 2016-06-23 GM Global Technology Operations LLC Road surface reflectivity detection by lidar sensor
JP2017166846A (ja) * 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129541A1 (en) * 2006-12-01 2008-06-05 Magna Electronics Black ice detection and warning system
JP4701227B2 (ja) 2007-10-29 2011-06-15 日立オートモティブシステムズ株式会社 プランジャ式高圧燃料ポンプ
US8306672B2 (en) * 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
US10731615B2 (en) 2015-06-25 2020-08-04 Hitachi Automotive Systems, Ltd. Flow rate control valve and high-pressure fuel supply pump
GB2563198B (en) * 2017-03-15 2021-05-26 Jaguar Land Rover Ltd A system for identifying water ahead of a vehicle
JP6900214B2 (ja) 2017-03-22 2021-07-07 株式会社Ｉｈｉエアロスペース 障害物検出装置と障害物検出方法
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
JP6664360B2 (ja) * 2017-09-08 2020-03-13 本田技研工業株式会社 判定装置および車両
US11592566B2 (en) * 2019-08-15 2023-02-28 Volvo Car Corporation Vehicle systems and methods utilizing LIDAR data for road condition estimation
CN112327308B (zh) * 2019-07-19 2024-07-16 浙江菜鸟供应链管理有限公司 物体检测方法、装置、系统及设备
JPWO2021199609A1 (ja) * 2020-04-03 2021-10-07
US20210354723A1 (en) * 2020-05-12 2021-11-18 Waymo Llc Determining puddle severity for autonomous vehicles
US11699274B2 (en) * 2020-10-06 2023-07-11 Waymo Llc Long range localization with surfel maps
US11361484B1 (en) * 2020-12-04 2022-06-14 Argo AI, LLC Methods and systems for ground segmentation using graph-cuts
JP2022139739A (ja) * 2021-03-12 2022-09-26 パイオニア株式会社 情報処理装置、情報処理方法、プログラム及び記憶媒体
US11594017B1 (en) * 2022-06-01 2023-02-28 Plusai, Inc. Sensor fusion for precipitation detection and control of vehicles
US12441325B2 (en) * 2022-10-04 2025-10-14 Kodiak Robotics, Inc. Systems and methods for detecting water along driving routes
US12403913B2 (en) * 2022-10-04 2025-09-02 Kodiak Robotics, Inc. Systems and methods for detecting water along driving routes
CN116596980A (zh) * 2023-02-24 2023-08-15 北京集度科技有限公司 积水深度检测方法、设备、车辆及计算机程序产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035612A1 (ja) * 2011-09-09 2013-03-14 日本電気株式会社 障害物検知装置、障害物検知方法及び障害物検知プログラム
US20160178802A1 (en) * 2014-12-22 2016-06-23 GM Global Technology Operations LLC Road surface reflectivity detection by lidar sensor
JP2017166846A (ja) * 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12675895B2 (en) 2022-10-24 2026-07-07 Nec Corporation Monitoring system, monitoring apparatus, and monitoring method
CN116386313A (zh) * 2022-12-05 2023-07-04 北京万集科技股份有限公司 车辆信息的检测方法和系统

Also Published As

Publication number Publication date
US12481025B2 (en) 2025-11-25
JPWO2021199609A1 (ja) 2021-10-07
US20230221410A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
CN110609274B (zh) 一种测距方法、装置及系统
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP6477882B2 (ja) 自己位置推定装置及び自己位置推定方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN115018879B (zh) 目标检测方法、计算机可读存储介质及驾驶设备
CN109946703B (zh) 一种传感器姿态调整方法及装置
US11673533B2 (en) Vehicle sensor enhancements
JP4046835B2 (ja) 可動ロボットに対する距離データの高速面区分化方法
US12631756B2 (en) System and method to classify and remove object artifacts from light detection and ranging point cloud for enhanced detections
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
EP2293588A1 (en) Method for using a stereovision camera arrangement
US12481025B2 (en) Object sensing device and object sensing method
WO2021168854A1 (zh) 可行驶区域检测的方法和装置
WO2018061084A1 (ja) 自己位置推定方法及び自己位置推定装置
CN112781599B (zh) 确定车辆的位置的方法
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
WO2021193148A1 (ja) 道路劣化診断装置、道路劣化診断システム、道路劣化診断方法、及び、記録媒体
Lion et al. Smart speed bump detection and estimation with kinect
US12518542B2 (en) Device for determining a topography of a vehicle environment, vehicle and method
JP4296287B2 (ja) 車両認識装置
Pao et al. Wind-driven rain effects on automotive camera and LiDAR performances
Godfrey et al. Evaluation of flash LiDAR in adverse weather conditions toward active road vehicle safety
CN118838396A (zh) 基于深度学习的车辆姿态校正方法及系统
JP6263453B2 (ja) 運動量推定装置及びプログラム
Hancock High-speed obstacle detection for automated highway applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779590

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511569

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21779590

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17916475

Country of ref document: US