WO2022022694A1 - 自动驾驶环境感知方法及系统 - Google Patents

自动驾驶环境感知方法及系统 Download PDF

Info

Publication number
WO2022022694A1
WO2022022694A1 PCT/CN2021/109674 CN2021109674W WO2022022694A1 WO 2022022694 A1 WO2022022694 A1 WO 2022022694A1 CN 2021109674 W CN2021109674 W CN 2021109674W WO 2022022694 A1 WO2022022694 A1 WO 2022022694A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
coordinate system
foreground point
obstacle
image
Prior art date
Application number
PCT/CN2021/109674
Other languages
English (en)
French (fr)
Inventor
熊祺
张放
李晓飞
张德兆
王肖
霍舒豪
Original Assignee
北京智行者科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京智行者科技有限公司 filed Critical 北京智行者科技有限公司
Publication of WO2022022694A1 publication Critical patent/WO2022022694A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to the field of data processing, and in particular, to a method and system for perceiving an automatic driving environment.
  • autonomous driving technology the core technology of which is autonomous driving technology.
  • technologies such as sensors, computing platforms, and big data, as well as the continuous improvement of intelligent communication and road facilities, driverless vehicles, the ultimate development stage of intelligent networked vehicles, will definitely enter real life in the near future. Change existing traffic patterns.
  • Autonomous driving technology usually includes environmental perception technology, high-precision map and positioning technology, decision-making planning technology and automatic control technology.
  • Environmental awareness technology is a crucial part, and it is the guarantee of the safety and intelligence of intelligent networked vehicles.
  • Environmental perception technology uses various sensors to collect environmental information around the vehicle, and uses intelligent algorithms to model the space environment, so as to achieve a deep understanding of the dynamic space environment. Through environmental perception technology, it can provide timely, accurate and reliable decision-making basis for the safe driving of autonomous vehicles.
  • Sensors used for environmental perception mainly include high-definition cameras, lidars, millimeter-wave radars, etc. Different sensors have different characteristics, and various sensor combinations can be used in practical applications for environmental perception.
  • Lidar has the characteristics of high precision and anti-interference.
  • the process of using lidar to detect obstacles is as follows: point cloud data is obtained by driving and analyzing lidar raw data, and obstacle information is obtained by background segmentation and clustering algorithm on the point cloud.
  • Vehicle-mounted cameras have the characteristics of high resolution and can identify objects.
  • the obstacle detection algorithm process using the vehicle camera is as follows: obtain a single frame of image data by driving, use the deep learning algorithm to detect the target, and use the calibrated parameters to obtain the coordinate information of the obstacle detected by the target.
  • Lidar has low resolution due to sparse data. Obstacle detection is prone to the effect of fusion tracking due to over-segmentation and under-segmentation, and the classification accuracy is also relatively low.
  • the visual detection algorithm has a high classification accuracy, but it cannot accurately measure the position of the obstacle, and it is easy to fail to match the obstacle detected by the lidar.
  • the traditional method adopts the method of target tracking level fusion for the obstacle information obtained from different sensors, and does not make full use of the information of the multi-sensor original data, so the fusion effect is difficult to achieve the desired result.
  • the purpose of the embodiments of the present invention is to provide an automatic driving environment perception method and system, so as to solve the problem of unsatisfactory fusion effect in the prior art.
  • the present invention provides an automatic driving environment perception method, and the automatic driving environment perception method includes:
  • the laser obstacle information is optimized to determine the target obstacle.
  • the segmentation of the point cloud data to obtain the foreground point cloud specifically includes:
  • the first height difference is less than a preset first height threshold, determining that any grid is the first grid, and determining that the point cloud in the first grid is a suspected ground point;
  • a ground model is obtained by fitting
  • the point at which it is determined that the second height difference is not less than a preset second height threshold is a foreground point cloud.
  • projecting the foreground point cloud onto the image obstacle information, and obtaining the foreground point cloud in the first coordinate system specifically includes:
  • the coordinates of the foreground point cloud in the camera coordinate system are converted into the coordinates of the foreground point cloud in the first coordinate system.
  • the method further includes:
  • the foreground point cloud under the first coordinate system, the image obstacle information and the millimeter wave radar data are fused to obtain obstacle coordinate information under the first coordinate system.
  • the first coordinate system is an image pixel coordinate system
  • the second coordinate system is a vehicle coordinate system
  • the calibration parameters include camera external parameters and internal parameters.
  • the present invention provides an automatic driving environment perception system, and the automatic driving environment perception system includes:
  • an acquisition unit which is used to acquire image data under the first coordinate system
  • a processing unit configured to process the image data to obtain image obstacle information
  • the acquisition unit is further configured to acquire point cloud data of the lidar in the second coordinate system
  • a segmentation unit which is used to segment the point cloud data to obtain a foreground point cloud
  • a clustering unit which is used for clustering the foreground point cloud to obtain laser obstacle information
  • a computing unit configured to project the foreground point cloud onto the image obstacle information according to preset calibration parameters to obtain the foreground point cloud in the first coordinate system
  • a fusion unit which is configured to fuse the foreground point cloud under the first coordinate system and the image obstacle information to obtain obstacle coordinate information under the first coordinate system;
  • the processing unit is further configured to, by using the obstacle coordinate information, perform optimization processing on the laser obstacle information to determine a target obstacle.
  • the computing unit is specifically used for:
  • the coordinates of the foreground point cloud in the camera coordinate system are converted into the coordinates of the foreground point cloud in the first coordinate system.
  • the present invention provides a device including a memory and a processor, where the memory is used for storing a program, and the processor is used for executing any one of the methods of the first aspect when executing the program.
  • the present invention provides a computer program product comprising instructions which, when run on a computer, cause the computer to perform a method according to any one of the first aspects.
  • the present invention provides a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the method according to any one of the first aspects is implemented.
  • the point cloud is projected onto the image obstacle information of the image coordinate system by calibrating parameters, so as to overcome the performance defect of a single sensor from the original information level, thereby obtaining more stable , Accurate obstacle information, improve the classification accuracy and detection accuracy of environmental perception obstacle information, and improve the effect of perception fusion.
  • FIG. 1 is a schematic flowchart of an automatic driving environment perception method according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic structural diagram of an automatic driving environment perception system according to Embodiment 2 of the present invention.
  • Embodiment 1 is a schematic flowchart of an automatic driving environment perception method provided in Embodiment 1 of the present invention.
  • the method is applied to a device equipped with a laser radar and a camera, such as an unmanned vehicle equipped with a laser radar and a camera, and the executive body of the present application. It is a terminal, server or processor with computing function in the device.
  • This application takes the application of the method to an unmanned vehicle as an example for description.
  • the execution subject of the method is the Automatic Vehicle Control Unit (AVCU), that is, The central processing unit of the driverless vehicle is equivalent to the "brain" of the driverless vehicle.
  • AVCU Automatic Vehicle Control Unit
  • this application includes the following steps:
  • Step 110 acquiring image data in the first coordinate system.
  • the vehicle control unit has a camera driving module and a point cloud driving module.
  • the camera driving module can obtain the image data captured by the camera, and the point cloud driving module can obtain the point cloud data of the lidar in real time.
  • Step 120 Process the image data to obtain image obstacle information.
  • the image data can be processed, that is, through classification, positioning, detection and segmentation, to obtain the target of interest, including the position and size of the target of interest, where the target of interest is the image obstacle thing.
  • the image obstacle information includes the location and size of the image obstacle.
  • Step 130 Acquire point cloud data of the lidar in the second coordinate system.
  • the lidar of the present application can be a single-line lidar, or a multi-line lidar.
  • the lidar will obtain the spatial coordinates of each sampling point on the surface of the surrounding object, and obtain a set of points, that is, a point cloud.
  • the point here Cloud is the point cloud data of the lidar coordinate system, which can be called the original point cloud data.
  • the point cloud data includes the three-dimensional coordinates, laser reflection intensity and color information of each point.
  • Step 140 Segment the point cloud data to obtain a foreground point cloud.
  • the original point cloud data of the lidar can be converted into the point cloud data of the vehicle coordinate system.
  • the center of mass of the vehicle can be used as the origin of the vehicle coordinate system.
  • the foreground point cloud can be obtained according to the following steps.
  • the point cloud of a single frame at the current moment is divided into a preset grid map. Then, in any grid in the grid map, the height difference value of the point with the highest height and the point with the lowest height is calculated to obtain the first height difference value.
  • any grid is determined as the first grid, and the point cloud in the first grid is determined as a suspected ground point.
  • a ground model is obtained by fitting.
  • the height difference between each point in the ground model and the ground plane is calculated to obtain a second height difference.
  • the point at which the second height difference is not less than the preset second height threshold is the first foreground point cloud.
  • the size of the grid can be obtained according to the empirical value of multiple calculations.
  • Each point has position information, and the grid also has a position.
  • the position of the grid can be represented by the position of the upper left corner of the grid.
  • the point cloud can be mapped to the raster map, so as to obtain the point cloud distributed in the raster.
  • the first height threshold may be set according to the traffic capacity of the vehicle.
  • the second height threshold may be set according to the type of the vehicle. For example, when the vehicle is a small sweeper and the vehicle is a logistics vehicle or a car driving on the street, the second height threshold is different.
  • the plane fitting algorithm includes, but is not limited to, the least squares method and the Random Sample Consensus (RANSAC) algorithm.
  • Step 150 Cluster the foreground point cloud to obtain laser obstacle information.
  • the foreground point cloud is clustered through a point cloud clustering algorithm to obtain laser obstacle information.
  • the point cloud clustering algorithm may be a Kd tree density clustering algorithm, a Euclidean clustering algorithm, etc. This application does not limited.
  • Step 160 Project the foreground point cloud onto the image obstacle information according to the preset calibration parameters to obtain the foreground point cloud in the first coordinate system.
  • the calibration parameters may be the relationship between the vehicle coordinate system and the camera coordinate system and the relationship between the camera coordinate system and the image coordinate system.
  • the relationship between the vehicle coordinate system and the camera coordinate system, including 3 translations and 3 rotation angles, can be called external parameters.
  • Step 170 fuse the foreground point cloud and the image obstacle information in the first coordinate system to obtain the obstacle coordinate information in the first coordinate system.
  • the point cloud and image obstacle information in the image coordinate system can be fused.
  • a certain target is detected by the image and the point cloud at the same time, and the point cloud.
  • step 180 the laser obstacle information is optimized by the obstacle coordinate information, and the target obstacle is determined.
  • lidar has shortcomings in the detection of over-segmentation and under-segmentation. For example, detecting two people as one person through point clouds, that is, under-segmentation, can be compensated by the advantages of visual detection.
  • the point cloud detects two people as one (under-segmentation), and vision can correctly detect the two people as two targets.
  • the correct detected obstacle coordinate information in the image coordinate system can be used
  • the two people in the laser-under-segmented laser obstacle information are separated.
  • the autonomous vehicle may also include other sensors, in order to obtain more accurate obstacle information, the data of other sensors can also be fused with the point cloud data of lidar to obtain more accurate targets in the future. obstacle.
  • the vehicle control unit can acquire the millimeter-wave radar data in the second coordinate system; and project the millimeter-wave radar data to the image obstacle information according to preset calibration parameters , obtain the millimeter wave radar data under the first coordinate system; fuse the foreground point cloud, image obstacle information and millimeter wave radar data under the first coordinate system to obtain the obstacle coordinate information under the first coordinate system.
  • the vehicle control unit can acquire the millimeter-wave radar data in the second coordinate system; and project the millimeter-wave radar data to the image obstacle information according to preset calibration parameters , obtain the millimeter wave radar data under the first coordinate system; fuse the foreground point cloud, image obstacle information and millimeter wave radar data under the first coordinate system to obtain the obstacle coordinate information under the first coordinate system.
  • more accurate obstacle coordinate information is obtained.
  • the number of lidars and cameras in this application may be one or more.
  • the point cloud data of multiple lidars are first fused to obtain For the fused point cloud data, the image data of the camera is fused to obtain the fused image data. Then, the fused point cloud data is used as the point cloud data in step 130, and the fused image data is used as the point cloud data in step 110. image data, continue with the next steps.
  • the point cloud is projected onto the image obstacle information of the image coordinate system by calibrating parameters, so as to overcome the performance defect of a single sensor from the original information level, so as to obtain more accurate information.
  • Stable and accurate obstacle information improves the classification accuracy and detection accuracy of environmental perception obstacle information, and improves the effect of perception fusion.
  • FIG. 2 is a schematic structural diagram of an automatic driving environment perception system according to Embodiment 2 of the present invention.
  • the automatic driving environment perception system is applied in the dynamic driving environment perception method in the first embodiment.
  • the automatic driving environment perception system includes: an acquisition unit 210 , a processing unit 220 , a segmentation unit 230 , and a clustering unit 240 , the computing unit 250 and the fusion unit 260 .
  • the obtaining unit 210 is used for obtaining the image data under the first coordinate system
  • the processing unit 220 is configured to process the image data to obtain image obstacle information
  • the acquiring unit 210 is further configured to acquire point cloud data of the lidar in the second coordinate system
  • the segmentation unit 230 is used to segment the point cloud data to obtain a foreground point cloud
  • the clustering unit 240 is used for clustering the foreground point cloud to obtain laser obstacle information
  • the computing unit 250 is configured to project the foreground point cloud onto the image obstacle information according to the preset calibration parameters to obtain the foreground point cloud under the first coordinate system;
  • the fusion unit 260 is configured to fuse the foreground point cloud and the image obstacle information under the first coordinate system to obtain the obstacle coordinate information under the first coordinate system;
  • the processing unit 220 is further configured to perform optimization processing on the laser obstacle information according to the obstacle coordinate information to determine the target obstacle.
  • segmentation unit 230 is specifically used for:
  • the first height difference is less than the preset first height threshold, determine any grid as the first grid, and determine that the point cloud in the first grid is a suspected ground point;
  • the ground model is obtained by fitting
  • the point at which it is determined that the second height difference is not less than the preset second height threshold is the foreground point cloud.
  • computing unit 250 is specifically used for:
  • the coordinates of the foreground point cloud in the camera coordinate system are converted into the coordinates of the foreground point cloud in the first coordinate system.
  • the acquisition unit 210 is also used to acquire the millimeter-wave radar data in the second coordinate system; the calculation unit 250 is also used to project the millimeter-wave radar data onto the image obstacle information according to the preset calibration parameters to obtain the first millimeter wave radar data.
  • Millimeter-wave radar data in a coordinate system; the foreground point cloud, image obstacle information, and millimeter-wave radar data in the first coordinate system are fused to obtain obstacle coordinate information in the first coordinate system.
  • the point cloud is projected onto the image obstacle information of the image coordinate system by calibrating parameters, so as to overcome the performance defect of a single sensor from the original information level, thereby obtaining more accurate information.
  • Stable and accurate obstacle information improves the classification accuracy and detection accuracy of environmental perception obstacle information, and improves the effect of perception fusion.
  • the third embodiment of the invention provides a device including a memory and a processor, the memory is used to store a program, and the memory can be connected to the processor through a bus.
  • the memory may be non-volatile memory, such as hard drives and flash memory, in which software programs and device drivers are stored.
  • the software program can perform various functions of the above methods provided by the embodiments of the present invention; the device driver may be a network and interface driver.
  • the processor is configured to execute a software program, and when the software program is executed, the method provided by Embodiment 1 of the present invention can be implemented.
  • the fourth embodiment of the present invention provides a computer program product containing instructions, when the computer program product runs on a computer, the computer enables the computer to execute the method provided by the first embodiment of the present invention.
  • Embodiment 5 of the present invention provides a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the method provided by Embodiment 1 of the present invention is implemented.
  • a software module can be placed in random access memory (RAM), internal memory, read only memory (ROM), electrically programmable ROM, electrically erasable programmable ROM, registers, hard disk, removable disk, CD-ROM, or any other in the technical field. in any other known form of storage medium.
  • RAM random access memory
  • ROM read only memory
  • electrically programmable ROM electrically erasable programmable ROM
  • registers hard disk, removable disk, CD-ROM, or any other in the technical field. in any other known form of storage medium.

Abstract

本发明提供了一种自动驾驶环境感知方法及系统，方法包括：获取第一坐标系下的图像数据；对图像数据进行处理，得到图像障碍物信息；获取第二坐标系下的激光雷达的点云数据；对点云数据进行分割，得到前景点云；对前景点云进行聚类，得到激光障碍物信息；根据预设的标定参数，将前景点云投影至图像障碍物信息上，得到第一坐标系下的前景点云；将第一坐标系下的前景点云和图像障碍物信息进行融合，得到第一坐标系下的障碍物坐标信息；通过障碍物坐标信息，对激光障碍物信息进行优化处理，确定目标障碍物。由此，提高了感知精度。

Description

自动驾驶环境感知方法及系统 技术领域
本发明涉及数据处理领域，尤其涉及一种自动驾驶环境感知方法及系统。
背景技术
近年来，汽车企业和互联网企业纷纷启动智能网联汽车的研发，其中最核心的技术为自动驾驶技术。随着传感器、计算平台、大数据等技术的飞速发展以及智能通信和道路设施的不断完善，作为智能网联汽车终极发展阶段的无人驾驶汽车，在不远的将来一定会走进现实生活，改变现有的交通模式。自动驾驶技术通常包括环境感知技术、高精地图和定位技术、决策规划技术和自动控制技术。环境感知技术是至关重要的一环，是智能网联汽车安全性和智能性的保障。
环境感知技术利用各类传感器采集车辆周围的环境信息，通过智能算法对空间环境进行建模，从而实现对空间动态环境深刻理解的过程。通过环境感知技术，可以为自动驾驶汽车安全行驶提供及时、准确、可靠的决策依据。
用于环境感知的传感器主要有高清摄像头、激光雷达、毫米波雷达等，不同的传感器具有不同的特点，可以在实际应用中采用多种传感器组合的方案进行环境感知。
激光雷达具有精度高、抗干扰等特点。利用激光雷达进行障碍物检测算法过程为：通过驱动解析激光雷达原始数据得到点云数据，点云进行背景分割和聚类算法得到障碍物信息。
车载相机具有分辨率高、可以对物体进行识别等特点。利用车载相机进行障碍物检测算法过程为：通过驱动获取单帧图像数据，利用深度学习算法进行目标检测，利用标定的参数获取目标检测的障碍物的坐标信息。
激光雷达因为数据稀疏，分辨率较低。障碍物检测容易出现因过分割和欠分割影响融合跟踪的效果，同时分类精度也比较低。
视觉检测算法有较高的分类准确率，但是无法对障碍物的位置进行准确的测量，与激光雷达检测的障碍物进行匹配容易失败。
因为传统方法对从不同传感器得到的障碍物信息采用目标跟踪级级融合的方式，没有充分利用多传感器原始数据的信息，因此融合的效果很难达到理想的结果。
发明内容
本发明实施例的目的是提供一种自动驾驶环境感知方法及系统，以解决现有技术中的融合效果不理想的问题。
为解决上述问题，第一方面，本发明提供了一种自动驾驶环境感知方法，所述自动驾驶环境感知方法包括：
获取第一坐标系下的图像数据；
对所述图像数据进行处理，得到图像障碍物信息；
获取第二坐标系下的激光雷达的点云数据；
对所述点云数据进行分割，得到前景点云；
对所述前景点云进行聚类，得到激光障碍物信息；
根据预设的标定参数，将所述前景点云投影至所述图像障碍物信息上，得到第一坐标系下的前景点云；
将所述第一坐标系下的前景点云和所述图像障碍物信息进行融合，得到第一坐标系下的障碍物坐标信息；
通过所述障碍物坐标信息，对所述激光障碍物信息进行优化处理，确定目标障碍物。
在一种可能的实现方式中，所述对所述点云数据进行分割，得到前景点云具体包括：
以地面平面为基准，将点云划分至预设的栅格地图中；
计算所述栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值；
当所述第一高度差值小于预设的第一高度阈值时，确定所述任一栅格为第一栅格，并确定所述第一栅格内的点云为疑似地面点；
根据全部所述第一栅格的疑似地面点，拟合得到地面模型；
计算所述地面模型中的每个点至所述地面平面的高度差值，得到第二高度差值；
确定所述第二高度差值不小于预设的第二高度阈值时的点为前景点云。
在一种可能的实现方式中，所述根据预设的标定参数，将所述前景点云投影至所述图像障碍物信息上，得到第一坐标系下的前景点云具体包括：
根据第二坐标系到相机坐标系的旋转矩阵和平移矩阵，计算前景点云在相机坐标系的坐标；
根据内参矩阵的焦距和中心偏移，将前景点云在相机坐标系的坐标转换为前景点云在第一坐标系的坐标。
在一种可能的实现方式中，所述方法还包括：
获取第二坐标系下的毫米波雷达数据；
根据预设的标定参数，将所述毫米波雷达数据投影至所述图像障碍物信息上，得到第一坐标系下的毫米波雷达数据；
将所述第一坐标系下的前景点云、所述图像障碍物信息和毫米波雷达数据进行融合，得到第一坐标系下的障碍物坐标信息。
在一种可能的实现方式中，所述第一坐标系为图像像素坐标系，所述第二坐标系为车辆坐标系，所述标定参数包括相机外参和内参。
第二方面，本发明提供了一种自动驾驶环境感知系统，所述自动驾驶环境感知系统包括：
获取单元，所述获取单元用于获取第一坐标系下的图像数据；
处理单元，所述处理单元用于对所述图像数据进行处理，得到图像障碍物信息；
所述获取单元还用于，获取第二坐标系下的激光雷达的点云数据；
分割单元，所述分割单元用于对所述点云数据进行分割，得到前景点云；
聚类单元，所述聚类单元用于对所述前景点云进行聚类，得到激光障碍物信息；
计算单元，所述计算单元用于根据预设的标定参数，将所述前景点云投影至所述图像障碍物信息上，得到第一坐标系下的前景点云；
融合单元，所述融合单元用于将所述第一坐标系下的前景点云和所述图像障碍物信息进行融合，得到第一坐标系下的障碍物坐标信息；
所述处理单元还用于，通过所述障碍物坐标信息，对所述激光障碍物信息进行优化处理，确定目标障碍物。
在一种可能的实现方式中，所述计算单元具体用于：
根据第二坐标系到相机坐标系的旋转矩阵和平移矩阵，计算前景点云在相机坐标系的坐标；
根据内参矩阵的焦距和中心偏移，将前景点云在相机坐标系的坐标转换为前景点云在第一坐标系的坐标。
第三方面，本发明提供了一种设备，包括存储器和处理器，存储器用于存储程序，处理器在执行该程序时用于执行第一方面任一的方法。
第四方面，本发明提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一的方法。
第五方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一的方法。
通过应用本发明实施例提供的自动驾驶环境感知方法及系统，通过标定参数，将点云投影至图像坐标系的图像障碍物信息上，从而从原始信息层面 克服单一传感器性能缺陷，从而获取更稳定、准确的障碍物信息，提升了环境感知障碍物信息的分类精度和检测精度，提升和感知融合的效果。
附图说明
图1为本发明实施例一提供的自动驾驶环境感知方法流程示意图；
图2为本发明实施例二提供的自动驾驶环境感知系统结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明实施例一提供的自动驾驶环境感知方法流程示意图，该方法应用在安装有激光雷达和摄像头的设备上，比如安装有激光雷达和摄像头的无人驾驶车辆，本申请的执行主体为设备中具有计算功能的终端、服务器或者处理器。本申请以将该方法应用在无人驾驶车辆为例进行说明，当将该方法应用在无人驾驶车辆时，该方法的执行主体为自动驾驶车辆控制单元(Automated Vehicle Control Unit，AVCU)，即无人驾驶车辆的中央处理器，相当于无人驾驶车辆的“大脑”。如图1所示，本申请包括以下步骤：
步骤110，获取第一坐标系下的图像数据。
在无人驾驶车辆行驶过程中，摄像头会实时的获取周围的图像数据，激光雷达会实时的获取点云数据。车辆控制单元具有相机驱动模块和点云驱动模块，相机驱动模块可以获取到相机拍摄的图像数据，点云驱动模块会实时的获取到激光雷达的点云数据。
步骤120，对图像数据进行处理，得到图像障碍物信息。
通过深度学习的目标检测算法，可以对图像数据进行处理，即经过分类、定位、检测和分割，从而得到感兴趣目标，包括感兴趣目标的位置和大小，此处的感兴趣目标即为图像障碍物。图像障碍物信息包括图像障碍物的位置和大小。
步骤130，获取第二坐标系下的激光雷达的点云数据。
其中，本申请的激光雷达，可以是单线激光雷达，也可以是多线激光雷达，激光雷达会获取周围物体表面每个采样点的空间坐标，得到点的集合，即点云，此处的点云，是激光雷达坐标系的点云数据，可以称为原始点云数据，点云数据包括每个点的三维坐标、激光反射强度和颜色信息。
步骤140，对点云数据进行分割，得到前景点云。
具体的，根据激光雷达在车辆坐标系的位置，可以将激光雷达的原始点云数据转换为车辆坐标系的点云数据。其中，可以以车辆的质心作为车辆坐标系的原点，自车面向前方时，指向车辆右侧作为x轴，将自车面向前方时，在行驶的方向上为y轴。
进一步的，可以根据下述步骤得到前景点云。
首先，以地面平面为基准，对于当前时刻的单帧点云划分至预设的栅格地图中。然后，计算栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值。接着，当第一高度差值小于预设的第一高度阈值时，确定任一栅格为第一栅格，并确定第一栅格内的点云为疑似地面点。接着，根据全部第一栅格的疑似地面点，根据平面拟合算法，拟合得到地面模型。接着，计算地面模型中的每个点至地面平面的高度差值，得到第二高度差值。最后，确定第二高度差值不小于预设的第二高度阈值时的点为第一前景点云。同时，还可以确定第二高度差值小于预设的第二高度阈值时的点为第一背景点云。
其中，栅格的大小可以根据多次计算的经验值得到，每个点具有位置信息，栅格也具有位置，栅格的位置可以以栅格的左上方的角的位置表示，在 坐标系统一的前提下，可以将点云映射至栅格地图中，从而得到分布在栅格中的点云。可以根据车辆的通行能力，设定第一高度阈值。可以根据车辆的类型，设定第二高度阈值，比如，车辆为小型清扫车和车辆为物流车或者为街道上行驶的小汽车时，第二高度阈值是不同的。平面拟合算法包括但不限于最小二乘法，随机采样一致性(Random Sample Consensus，RANSAC)算法。
步骤150，对前景点云进行聚类，得到激光障碍物信息。
具体的，通过点云聚类算法，对前景点云进行聚类，得到激光障碍物信息，点云聚类算法可以是Kd树密度聚类算法、欧式聚类算法等，本申请对此并不限定。
步骤160，根据预设的标定参数，将前景点云投影至图像障碍物信息上，得到第一坐标系下的前景点云。
其中，标定参数可以是车辆坐标系与相机坐标系的关系以及相机坐标系与图像坐标系的关系。车辆坐标系与相机坐标系的关系，包括3个平移量与3个旋转角度，可以称为外参。
在一个示例中，假设该6个外参是从车辆坐标系到相机坐标系，且先平移后旋转，旋转矩阵为R，平移向量为T，车辆坐标系的坐标为XYZ_P,相机坐标系的坐标为XYZ_C，则计算前景点云在相机坐标系的坐标的方法为：XYZ_C＝R*(XYZ_P+T)。
假设图像坐标系的坐标为(u，v)，内参矩阵提供的焦距分别为FX，FY，中心偏移分别为OX，OY，则从相机坐标系到图像坐标系的转换为：u＝XYZ_C[0]*FX+OX，v＝XYZ_C[1]*FY+OY，其中，XYZ_C[0]和XYZ_C[1]分别为相机坐标的x和y值，这个三维计算二维，不需要用到z。由此，通过上述两步变换，就可以计算出点云在图像坐标系中的位置。
步骤170，将第一坐标系下的前景点云和图像障碍物信息进行融合，得到第一坐标系下的障碍物坐标信息。
具体的，由于已经将前景点云映射至图像坐标系，因此，可以对图像坐 标系下的点云和图像障碍物信息进行融合，比如某个目标同时被图像和点云检测到，将点云的优势与视觉检测的优势结合，从而得到图像坐标系下的障碍物坐标信息。
步骤180，通过障碍物坐标信息，对激光障碍物信息进行优化处理，确定目标障碍物。
具体的，激光雷达对过分割和欠分割的检测存在不足，比如，通过点云将两个人检测为一个人，即欠分割，可以利用视觉检测的优势弥补。
在一个示例中，点云将两个人检测为一个(欠分割)，而视觉可以将这两个人正确检测为两个目标，此时，可以通过图像坐标系中正确检测的障碍物坐标信息，将激光欠分割的激光障碍物信息中的两个人分开。
进一步的，由于自动驾驶车辆中还可能包括其他传感器，因此，为了得到更加准确的障碍物信息，还可以将其他传感器的数据与激光雷达的点云数据进行融合，以在后续得到更加精确的目标障碍物。
具体的，在一个示例中，可以以毫米波雷达为例，车辆控制单元可以获取第二坐标系下的毫米波雷达数据；根据预设的标定参数，将毫米波雷达数据投影至图像障碍物信息上，得到第一坐标系下的毫米波雷达数据；将第一坐标系下的前景点云、图像障碍物信息和毫米波雷达数据进行融合，得到第一坐标系下的障碍物坐标信息。从而，得到了更加精准的障碍物坐标信息。
可以理解的是，本申请中激光雷达和摄像头的个数可以是一个，也可以是多个，当激光雷达的个数是多个时，先对多个激光雷达的点云数据进行融合，得到融合后的点云数据，对摄像头的图像数据进行融合，得到融合后的图像数据，随后，将融合后的点云数据作为步骤130中的点云数据，将融合后的图像数据作为步骤110中的图像数据，继续执行后续的步骤。
由此，通过应用本发明实施例提供的自动驾驶环境感知方法，通过标定参数，将点云投影至图像坐标系的图像障碍物信息上，从而从原始信息层面克服单一传感器性能缺陷，从而获取更稳定、准确的障碍物信息，提升了环 境感知障碍物信息的分类精度和检测精度，提升和感知融合的效果。
图2为本发明实施例二提供的自动驾驶环境感知系统结构示意图。该自动驾驶环境感知系统应用在实施例一中的动驾驶环境感知方法中，如图2所示，该自动驾驶环境感知系统包括：获取单元210、处理单元220、分割单元230、聚类单元240、计算单元250融合单元260。
获取单元210用于获取第一坐标系下的图像数据；
处理单元220用于对图像数据进行处理，得到图像障碍物信息；
获取单元210还用于，获取第二坐标系下的激光雷达的点云数据；
分割单元230用于对点云数据进行分割，得到前景点云；
聚类单元240用于对前景点云进行聚类，得到激光障碍物信息；
计算单元250用于根据预设的标定参数，将前景点云投影至图像障碍物信息上，得到第一坐标系下的前景点云；
融合单元260用于将第一坐标系下的前景点云和图像障碍物信息进行融合，得到第一坐标系下的障碍物坐标信息；
处理单元220还用于，通过障碍物坐标信息，对激光障碍物信息进行优化处理，确定目标障碍物。
进一步的，分割单元230具体用于：
以地面平面为基准，将点云划分至预设的栅格地图中；
计算栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值；
当第一高度差值小于预设的第一高度阈值时，确定任一栅格为第一栅格，并确定第一栅格内的点云为疑似地面点；
根据全部第一栅格的疑似地面点，拟合得到地面模型；
计算地面模型中的每个点至地面平面的高度差值，得到第二高度差值；
确定第二高度差值不小于预设的第二高度阈值时的点为前景点云。
进一步的，计算单元250具体用于：
根据第二坐标系到相机坐标系的旋转矩阵和平移矩阵，计算前景点云在相机坐标系的坐标；
根据内参矩阵的焦距和中心偏移，将前景点云在相机坐标系的坐标转换为前景点云在第一坐标系的坐标。
进一步的，获取单元210还用于，获取第二坐标系下的毫米波雷达数据；计算单元250还用于根据预设的标定参数，将毫米波雷达数据投影至图像障碍物信息上，得到第一坐标系下的毫米波雷达数据；将第一坐标系下的前景点云、图像障碍物信息和毫米波雷达数据进行融合，得到第一坐标系下的障碍物坐标信息。
由此，通过应用本发明实施例提供的自动驾驶环境感知系统，通过标定参数，将点云投影至图像坐标系的图像障碍物信息上，从而从原始信息层面克服单一传感器性能缺陷，从而获取更稳定、准确的障碍物信息，提升了环境感知障碍物信息的分类精度和检测精度，提升和感知融合的效果。
发明实施例三提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。
本发明实施例四提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。
本发明实施例五提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来 实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种自动驾驶环境感知方法，其特征在于，所述自动驾驶环境感知方法包括：
    获取第一坐标系下的图像数据；
    对所述图像数据进行处理，得到图像障碍物信息；
    获取第二坐标系下的激光雷达的点云数据；
    对所述点云数据进行分割，得到前景点云；
    对所述前景点云进行聚类，得到激光障碍物信息；
    根据预设的标定参数，将所述前景点云投影至所述图像障碍物信息上，得到第一坐标系下的前景点云；
    将所述第一坐标系下的前景点云和所述图像障碍物信息进行融合，得到第一坐标系下的障碍物坐标信息；
    通过所述障碍物坐标信息，对所述激光障碍物信息进行优化处理，确定目标障碍物。
  2. 根据权利要求1所述的方法，其特征在于，所述对所述点云数据进行分割，得到前景点云具体包括：
    以地面平面为基准，将点云划分至预设的栅格地图中；
    计算所述栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值；
    当所述第一高度差值小于预设的第一高度阈值时，确定所述任一栅格为第一栅格，并确定所述第一栅格内的点云为疑似地面点；
    根据全部所述第一栅格的疑似地面点，拟合得到地面模型；
    计算所述地面模型中的每个点至所述地面平面的高度差值，得到第二高度差值；
    确定所述第二高度差值不小于预设的第二高度阈值时的点为前景点云。
  3. 根据权利要求1所述的方法，其特征在于，所述根据预设的标定参数， 将所述前景点云投影至所述图像障碍物信息上，得到第一坐标系下的前景点云具体包括：
    根据第二坐标系到相机坐标系的旋转矩阵和平移矩阵，计算前景点云在相机坐标系的坐标；
    根据内参矩阵的焦距和中心偏移，将前景点云在相机坐标系的坐标转换为前景点云在第一坐标系的坐标。
  4. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    获取第二坐标系下的毫米波雷达数据；
    根据预设的标定参数，将所述毫米波雷达数据投影至所述图像障碍物信息上，得到第一坐标系下的毫米波雷达数据；
    将所述第一坐标系下的前景点云、所述图像障碍物信息和毫米波雷达数据进行融合，得到第一坐标系下的障碍物坐标信息。
  5. 根据权利要求1所述的方法，其特征在于，所述第一坐标系为图像像素坐标系，所述第二坐标系为车辆坐标系，所述标定参数包括相机外参和内参。
  6. 一种自动驾驶环境感知系统，其特征在于，所述自动驾驶环境感知系统包括：
    获取单元，所述获取单元用于获取第一坐标系下的图像数据；
    处理单元，所述处理单元用于对所述图像数据进行处理，得到图像障碍物信息；
    所述获取单元还用于，获取第二坐标系下的激光雷达的点云数据；
    分割单元，所述分割单元用于对所述点云数据进行分割，得到前景点云；
    聚类单元，所述聚类单元用于对所述前景点云进行聚类，得到激光障碍物信息；
    计算单元，所述计算单元用于根据预设的标定参数，将所述前景点云投影至所述图像障碍物信息上，得到第一坐标系下的前景点云；
    融合单元，所述融合单元用于将所述第一坐标系下的前景点云和所述图像障碍物信息进行融合，得到第一坐标系下的障碍物坐标信息；
    所述处理单元还用于，通过所述障碍物坐标信息，对所述激光障碍物信息进行优化处理，确定目标障碍物。
  7. 根据权利要求6所述的系统，其特征在于，所述计算单元具体用于：
    根据第二坐标系到相机坐标系的旋转矩阵和平移矩阵，计算前景点云在相机坐标系的坐标；
    根据内参矩阵的焦距和中心偏移，将前景点云在相机坐标系的坐标转换为前景点云在第一坐标系的坐标。
  8. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-5中任一项所述的方法。
  9. 一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储程序，所述处理器在执行所述程序时用于执行根据权利要求1-5中任一项所述的方法。
  10. 一种包含指令的计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得计算机执行根据权利要求1-5中任一项所述的方法。
PCT/CN2021/109674 2020-07-31 2021-07-30 自动驾驶环境感知方法及系统 WO2022022694A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010759799.8A CN112101092A (zh) 2020-07-31 2020-07-31 自动驾驶环境感知方法及系统
CN202010759799.8 2020-07-31

Publications (1)

Publication Number Publication Date
WO2022022694A1 true WO2022022694A1 (zh) 2022-02-03

Family

ID=73750271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/109674 WO2022022694A1 (zh) 2020-07-31 2021-07-30 自动驾驶环境感知方法及系统

Country Status (2)

Country Link
CN (1) CN112101092A (zh)
WO (1) WO2022022694A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387585A (zh) * 2022-03-22 2022-04-22 新石器慧通（北京）科技有限公司 障碍物检测方法、检测装置及行驶装置
CN114475665A (zh) * 2022-03-17 2022-05-13 北京小马睿行科技有限公司 自动驾驶车辆的控制方法、控制装置及自动驾驶系统
CN114648585A (zh) * 2022-05-23 2022-06-21 中国科学院合肥物质科学研究院 一种基于激光点云与集成学习的车辆姿态估计方法
CN114660568A (zh) * 2022-02-21 2022-06-24 广西柳工机械股份有限公司 一种激光雷达障碍物检测方法及装置
CN114815821A (zh) * 2022-04-19 2022-07-29 山东亚历山大智能科技有限公司 基于多线激光雷达的室内自适应全景避障方法及系统
CN114863089A (zh) * 2022-04-02 2022-08-05 天津港第二集装箱码头有限公司 自动驾驶感知数据的自动采集方法、装置、介质及设备
CN114973564A (zh) * 2022-04-28 2022-08-30 北京机械设备研究所 一种无光照条件下的远距离人员入侵检测方法以及装置
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115113206A (zh) * 2022-06-23 2022-09-27 湘潭大学 井下有轨车辅助驾驶的行人与障碍物检测方法
CN115147612A (zh) * 2022-07-28 2022-10-04 苏州轻棹科技有限公司 一种基于累加点云对车辆尺寸进行实时估计的处理方法
CN115236613A (zh) * 2022-06-22 2022-10-25 海信集团控股股份有限公司 电子设备及室内雷达标定方法
CN115469292A (zh) * 2022-11-01 2022-12-13 天津卡尔狗科技有限公司 环境感知方法、装置、电子设备和存储介质
CN115616560A (zh) * 2022-12-02 2023-01-17 广汽埃安新能源汽车股份有限公司 车辆避障方法、装置、电子设备和计算机可读介质
CN115797467A (zh) * 2023-02-02 2023-03-14 深圳市德驰微视技术有限公司 车辆相机标定结果检测方法、装置、设备及存储介质
CN115856829A (zh) * 2023-02-06 2023-03-28 山东矩阵软件工程股份有限公司 一种雷达三维数据转换的图像数据识别方法及系统
CN115904294A (zh) * 2023-01-09 2023-04-04 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备
CN116453087A (zh) * 2023-03-30 2023-07-18 无锡物联网创新中心有限公司 一种数据闭环的自动驾驶障碍物检测方法
CN116630390A (zh) * 2023-07-21 2023-08-22 山东大学 基于深度图模板的障碍物检测方法、系统、设备及介质
CN116839570A (zh) * 2023-07-13 2023-10-03 安徽农业大学 一种基于传感器融合目标检测的作物行间作业导航方法
CN116883496A (zh) * 2023-06-26 2023-10-13 小米汽车科技有限公司 交通元素的坐标重建方法、装置、电子设备及存储介质
CN117022264A (zh) * 2023-10-09 2023-11-10 广州市德赛西威智慧交通技术有限公司 基于雷视融合的障碍物检测方法及装置
CN117232539A (zh) * 2023-11-16 2023-12-15 山东新坐标智能装备有限公司 基于激光雷达的轻量化环境感知地图构建方法
CN117269939A (zh) * 2023-10-25 2023-12-22 北京路凯智行科技有限公司 用于传感器的参数标定系统、方法及存储介质
CN117368902A (zh) * 2023-10-18 2024-01-09 广州易而达科技股份有限公司 一种轨迹跟踪方法、装置、设备及存储介质
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN117496464A (zh) * 2023-10-23 2024-02-02 广东灵锶智能科技有限公司 一种足式机器人地面探测方法及装置
CN117687042A (zh) * 2024-02-04 2024-03-12 北京理工大学前沿技术研究院 一种多雷达数据融合方法、系统和设备
CN114660568B (zh) * 2022-02-21 2024-04-30 广西柳工机械股份有限公司 一种激光雷达障碍物检测方法及装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111722245B (zh) * 2020-06-22 2023-03-10 阿波罗智能技术(北京)有限公司 定位方法、定位装置和电子设备
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112613424A (zh) * 2020-12-27 2021-04-06 盛视达(天津)科技有限公司 铁轨障碍物检测方法、装置、电子设备和存储介质
CN112835019A (zh) * 2020-12-30 2021-05-25 广州小鹏自动驾驶科技有限公司 车辆传感器标定方法、装置、车辆和存储介质
CN113744298A (zh) * 2021-01-05 2021-12-03 北京京东乾石科技有限公司 数据处理方法、装置及存储介质
CN112666535A (zh) * 2021-01-12 2021-04-16 重庆长安汽车股份有限公司 一种基于多雷达数据融合的环境感知方法及系统
WO2022222121A1 (zh) * 2021-04-23 2022-10-27 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
CN113297958A (zh) * 2021-05-24 2021-08-24 驭势（上海）汽车科技有限公司 一种自动化标注方法、装置、电子设备和存储介质
CN113255560A (zh) * 2021-06-09 2021-08-13 深圳朗道智通科技有限公司 基于图像与激光数据的自动驾驶场景下的目标检测系统
CN113537287A (zh) * 2021-06-11 2021-10-22 北京汽车研究总院有限公司 多传感器信息融合方法与装置、存储介质、自动驾驶系统
CN113408456A (zh) * 2021-06-29 2021-09-17 袁�嘉 一种环境感知算法、系统、装置、电子设备及存储介质
CN113340334B (zh) * 2021-07-29 2021-11-30 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113673383B (zh) * 2021-08-05 2024-04-19 苏州智加科技有限公司 一种面向复杂道路场景的时空域障碍物检测方法及系统
CN113759385A (zh) * 2021-08-12 2021-12-07 江苏徐工工程机械研究院有限公司 一种激光雷达和相机融合测距方法及系统
CN113777622B (zh) * 2021-08-31 2023-10-20 通号城市轨道交通技术有限公司 轨道障碍物辨识的方法及装置
CN115797900B (zh) * 2021-09-09 2023-06-27 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法
CN113902844A (zh) * 2021-09-27 2022-01-07 北京大学深圳研究生院 点云编码的方法、装置、电子设备、介质和程序产品
CN113920487A (zh) * 2021-10-09 2022-01-11 广东汇天航空航天科技有限公司 障碍物探测处理方法、装置及系统
CN113848931B (zh) * 2021-10-09 2022-09-27 上海联适导航技术股份有限公司 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN114140765B (zh) * 2021-11-12 2022-06-24 北京航空航天大学 一种障碍物感知方法、装置及存储介质
CN113936198B (zh) * 2021-11-22 2024-03-22 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN114295139A (zh) * 2021-12-14 2022-04-08 武汉依迅北斗时空技术股份有限公司 一种协同感知定位方法及系统
CN114446092B (zh) * 2022-01-19 2022-12-27 无锡学院 一种基于三维相机组网的s型公路模拟障碍物预警方法
CN114639024A (zh) * 2022-03-03 2022-06-17 江苏方天电力技术有限公司 一种输电线路激光点云自动分类方法
CN114743181A (zh) * 2022-04-29 2022-07-12 重庆长安汽车股份有限公司 一种道路车辆目标检测方法、系统、电子设备及存储介质
CN115145272B (zh) * 2022-06-21 2024-03-29 大连华锐智能化科技有限公司 焦炉车辆环境感知系统及方法
CN116862922B (zh) * 2023-06-20 2024-03-19 运来智能装备(无锡)有限公司 基于图像分割与雷达信息融合的目标定位方法、系统及介质
CN117237924B (zh) * 2023-11-13 2024-03-29 深圳元戎启行科技有限公司 一种障碍物可见性分析方法、装置、智能终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN110658531A (zh) * 2019-08-23 2020-01-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶车辆的动态目标追踪方法
CN110705458A (zh) * 2019-09-29 2020-01-17 北京智行者科技有限公司 边界检测方法及装置
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010036B (zh) * 2017-11-21 2020-01-21 江南大学 一种基于rgb-d相机的物体对称轴检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN110658531A (zh) * 2019-08-23 2020-01-07 畅加风行(苏州)智能科技有限公司 一种用于港口自动驾驶车辆的动态目标追踪方法
CN110705458A (zh) * 2019-09-29 2020-01-17 北京智行者科技有限公司 边界检测方法及装置
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114660568B (zh) * 2022-02-21 2024-04-30 广西柳工机械股份有限公司 一种激光雷达障碍物检测方法及装置
CN114660568A (zh) * 2022-02-21 2022-06-24 广西柳工机械股份有限公司 一种激光雷达障碍物检测方法及装置
CN114475665A (zh) * 2022-03-17 2022-05-13 北京小马睿行科技有限公司 自动驾驶车辆的控制方法、控制装置及自动驾驶系统
CN114387585A (zh) * 2022-03-22 2022-04-22 新石器慧通（北京）科技有限公司 障碍物检测方法、检测装置及行驶装置
CN114387585B (zh) * 2022-03-22 2022-07-05 新石器慧通（北京）科技有限公司 障碍物检测方法、检测装置及行驶装置
CN114863089A (zh) * 2022-04-02 2022-08-05 天津港第二集装箱码头有限公司 自动驾驶感知数据的自动采集方法、装置、介质及设备
CN114815821A (zh) * 2022-04-19 2022-07-29 山东亚历山大智能科技有限公司 基于多线激光雷达的室内自适应全景避障方法及系统
CN114815821B (zh) * 2022-04-19 2022-12-09 山东亚历山大智能科技有限公司 基于多线激光雷达的室内自适应全景避障方法及系统
CN114973564A (zh) * 2022-04-28 2022-08-30 北京机械设备研究所 一种无光照条件下的远距离人员入侵检测方法以及装置
CN114648585A (zh) * 2022-05-23 2022-06-21 中国科学院合肥物质科学研究院 一种基于激光点云与集成学习的车辆姿态估计方法
CN115236613A (zh) * 2022-06-22 2022-10-25 海信集团控股股份有限公司 电子设备及室内雷达标定方法
CN115113206B (zh) * 2022-06-23 2024-04-12 湘潭大学 井下有轨车辅助驾驶的行人与障碍物检测方法
CN115113206A (zh) * 2022-06-23 2022-09-27 湘潭大学 井下有轨车辅助驾驶的行人与障碍物检测方法
CN115147612A (zh) * 2022-07-28 2022-10-04 苏州轻棹科技有限公司 一种基于累加点云对车辆尺寸进行实时估计的处理方法
CN115147612B (zh) * 2022-07-28 2024-03-29 苏州轻棹科技有限公司 一种基于累加点云对车辆尺寸进行实时估计的处理方法
CN115097442B (zh) * 2022-08-24 2022-11-22 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115469292B (zh) * 2022-11-01 2023-03-24 天津卡尔狗科技有限公司 环境感知方法、装置、电子设备和存储介质
CN115469292A (zh) * 2022-11-01 2022-12-13 天津卡尔狗科技有限公司 环境感知方法、装置、电子设备和存储介质
CN115616560A (zh) * 2022-12-02 2023-01-17 广汽埃安新能源汽车股份有限公司 车辆避障方法、装置、电子设备和计算机可读介质
CN115904294A (zh) * 2023-01-09 2023-04-04 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备
CN115904294B (zh) * 2023-01-09 2023-06-09 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备
CN115797467A (zh) * 2023-02-02 2023-03-14 深圳市德驰微视技术有限公司 车辆相机标定结果检测方法、装置、设备及存储介质
CN115856829A (zh) * 2023-02-06 2023-03-28 山东矩阵软件工程股份有限公司 一种雷达三维数据转换的图像数据识别方法及系统
CN115856829B (zh) * 2023-02-06 2023-05-16 山东矩阵软件工程股份有限公司 一种雷达三维数据转换的图像数据识别方法及系统
CN116453087A (zh) * 2023-03-30 2023-07-18 无锡物联网创新中心有限公司 一种数据闭环的自动驾驶障碍物检测方法
CN116453087B (zh) * 2023-03-30 2023-10-20 无锡物联网创新中心有限公司 一种数据闭环的自动驾驶障碍物检测方法
CN116883496B (zh) * 2023-06-26 2024-03-12 小米汽车科技有限公司 交通元素的坐标重建方法、装置、电子设备及存储介质
CN116883496A (zh) * 2023-06-26 2023-10-13 小米汽车科技有限公司 交通元素的坐标重建方法、装置、电子设备及存储介质
CN116839570B (zh) * 2023-07-13 2023-12-01 安徽农业大学 一种基于传感器融合目标检测的作物行间作业导航方法
CN116839570A (zh) * 2023-07-13 2023-10-03 安徽农业大学 一种基于传感器融合目标检测的作物行间作业导航方法
CN116630390B (zh) * 2023-07-21 2023-10-17 山东大学 基于深度图模板的障碍物检测方法、系统、设备及介质
CN116630390A (zh) * 2023-07-21 2023-08-22 山东大学 基于深度图模板的障碍物检测方法、系统、设备及介质
CN117022264A (zh) * 2023-10-09 2023-11-10 广州市德赛西威智慧交通技术有限公司 基于雷视融合的障碍物检测方法及装置
CN117022264B (zh) * 2023-10-09 2024-02-02 广州市德赛西威智慧交通技术有限公司 基于雷视融合的障碍物检测方法及装置
CN117368902A (zh) * 2023-10-18 2024-01-09 广州易而达科技股份有限公司 一种轨迹跟踪方法、装置、设备及存储介质
CN117368902B (zh) * 2023-10-18 2024-04-23 广州易而达科技股份有限公司 一种轨迹跟踪方法、装置、设备及存储介质
CN117496464A (zh) * 2023-10-23 2024-02-02 广东灵锶智能科技有限公司 一种足式机器人地面探测方法及装置
CN117269939B (zh) * 2023-10-25 2024-03-26 北京路凯智行科技有限公司 用于传感器的参数标定系统、方法及存储介质
CN117269939A (zh) * 2023-10-25 2023-12-22 北京路凯智行科技有限公司 用于传感器的参数标定系统、方法及存储介质
CN117232539A (zh) * 2023-11-16 2023-12-15 山东新坐标智能装备有限公司 基于激光雷达的轻量化环境感知地图构建方法
CN117232539B (zh) * 2023-11-16 2024-02-27 苏州新坐标智能装备有限公司 基于激光雷达的轻量化环境感知地图构建方法
CN117420143B (zh) * 2023-12-19 2024-03-15 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN117687042A (zh) * 2024-02-04 2024-03-12 北京理工大学前沿技术研究院 一种多雷达数据融合方法、系统和设备

Also Published As

Publication number Publication date
CN112101092A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
WO2022022694A1 (zh) 自动驾驶环境感知方法及系统
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
WO2022156175A1 (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN113673282A (zh) 目标检测方法和装置
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN111797734A (zh) 车辆点云数据处理方法、装置、设备和存储介质
CN110873879A (zh) 一种多源异构传感器特征深度融合的装置及方法
CN111413983A (zh) 一种无人驾驶车辆的环境感知方法及控制端
CN111257892A (zh) 一种用于车辆自动驾驶的障碍物检测方法
CN112740225B (zh) 一种路面要素确定方法及装置
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
US10974730B2 (en) Vehicle perception system on-line diangostics and prognostics
CN114724110A (zh) 目标检测方法及设备
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
CN115205803A (zh) 自动驾驶环境感知方法、介质及车辆
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN114485698B (zh) 一种交叉路口引导线生成方法及系统
WO2022078342A1 (zh) 动态占据栅格估计方法及装置
CN113296120B (zh) 一种障碍物检测方法及终端
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
EP4198901A1 (en) Camera extrinsic parameter calibration method and apparatus
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850355

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21850355

Country of ref document: EP

Kind code of ref document: A1