WO2020248614A1 - 地图生成方法、驾驶控制方法、装置、电子设备及系统 - Google Patents

地图生成方法、驾驶控制方法、装置、电子设备及系统 Download PDF

Info

Publication number
WO2020248614A1
WO2020248614A1 PCT/CN2020/075083 CN2020075083W WO2020248614A1 WO 2020248614 A1 WO2020248614 A1 WO 2020248614A1 CN 2020075083 W CN2020075083 W CN 2020075083W WO 2020248614 A1 WO2020248614 A1 WO 2020248614A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
point cloud
coordinate system
area
pixel
Prior art date
Application number
PCT/CN2020/075083
Other languages
English (en)
French (fr)
Inventor
王哲
王占宇
石建萍
Original Assignee
商汤集团有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 商汤集团有限公司 filed Critical 商汤集团有限公司
Priority to JP2021531066A priority Critical patent/JP2022509302A/ja
Priority to KR1020217015319A priority patent/KR20210082204A/ko
Publication of WO2020248614A1 publication Critical patent/WO2020248614A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the embodiments of the present disclosure relate to intelligent driving technology, and in particular, to a map generation method, driving control method, device, electronic equipment and system.
  • High-precision maps play an important role and are an essential part of the field of intelligent driving.
  • Vehicle-oriented maps are usually called high-precision maps, which are different from human-oriented maps (navigation maps).
  • High-precision maps include rich semantic information and driving assistance information. For example, in a high-precision map, not only the road can be depicted, but also the information of the road markings on the road, such as the location and type of the road markings. Based on the above-mentioned high-precision map, vehicle positioning and driving control can be realized.
  • the embodiments of the present disclosure provide a map generation method, driving control method, device, electronic equipment and system.
  • embodiments of the present disclosure provide a map generation method, including:
  • the first semantic information of the road element in the area and the point cloud information of the area are matched to obtain the second semantic information of the road element in the area.
  • the second semantic information includes the information of the road element.
  • a map is generated or a part of the map corresponding to the region is updated.
  • an embodiment of the present disclosure provides a map generating device, including:
  • An acquisition module for acquiring image information of at least a part of the road environment where the vehicle is located via a vehicle-mounted camera, and synchronously correspondingly acquiring point cloud information of at least a portion of the road environment where the vehicle is located through the vehicle-mounted radar sensor;
  • a segmentation module configured to perform semantic segmentation processing on the image information to obtain first semantic information of road elements in the area, where the first semantic information includes two-dimensional location information and attribute information of the road elements;
  • the matching module is used to perform matching processing on the first semantic information of the road element in the area and the point cloud information of the area to obtain the second semantic information of the road element in the area, and the second semantic information includes The three-dimensional position information and attribute information of the road element;
  • the generating module is configured to generate a map or update a part of the map corresponding to the region based on the second semantic information.
  • embodiments of the present disclosure provide a driving control method, including:
  • the driving control device obtains map information of at least a partial area of the road environment where the vehicle is located, and the map information is obtained using the map generation method described in the first aspect;
  • the driving control device performs intelligent driving control of the vehicle according to the map information.
  • a driving control device including:
  • the acquiring module is used to acquire map information of at least a part of the area of the road environment where the vehicle is located, and the map information is acquired using the map generation method described in the first aspect;
  • the driving control module is used for intelligent driving control of the vehicle according to the map information.
  • an electronic device including:
  • Memory used to store program instructions
  • the processor is configured to call and execute the program instructions in the memory to execute the method steps described in the first aspect.
  • embodiments of the present disclosure provide an intelligent driving system, including: a sensor connected in communication, the electronic device according to the fifth aspect, and the driving control device according to the fourth aspect, where the sensor is used for Collect image information and point cloud information of at least a part of the road environment where the vehicle is located.
  • embodiments of the present disclosure provide a readable storage medium in which a computer program is stored, and the computer program is used to execute the method steps described in the first aspect; or, the computer The program is used to execute the method steps described in the third aspect.
  • the image information of at least part of the area in the road environment is collected by a vehicle-mounted camera, and the image information is semantically segmented to obtain the road elements in the area Two-dimensional position information and attribute information; at the same time, the point cloud information of the area is synchronously collected by the on-board radar sensor, and then the first semantic information and point cloud information are matched to obtain the three-dimensional position information and attribute information of the road elements in the area .
  • the vehicle-mounted camera and the vehicle-mounted radar sensor work as different types of sensors installed on the vehicle.
  • the matching processing based on the information collected by the different types of sensors can directly generate or update the map of the area, which can reduce or even eliminate Manual operations in the process of map generation or update make the construction of the map highly automated and greatly improve the efficiency of high-precision map construction.
  • various types of information used to characterize road elements can be effectively integrated, thereby greatly improving the accuracy of road elements in the map.
  • FIG. 1 is a schematic diagram 1 of the flow of a map construction method provided by an embodiment of the disclosure
  • FIG. 2 is a second schematic diagram of the flow of a map construction method provided by an embodiment of the disclosure.
  • FIG. 3 is a third schematic flowchart of a map construction method provided by an embodiment of the disclosure.
  • FIG. 4 is a fourth schematic flowchart of a map construction method provided by an embodiment of the disclosure.
  • FIG. 5 is a schematic flowchart five of a map construction method provided by an embodiment of the disclosure.
  • FIG. 6 is the first module structure diagram of a map generating device provided by an embodiment of the disclosure.
  • FIG. 7 is the second module structure diagram of the map generating device provided by the embodiment of the disclosure.
  • FIG. 8 is the third module structure diagram of the map generating device provided by the embodiment of the disclosure.
  • FIG. 9 is the fourth module structure diagram of the map generating device provided by the embodiment of the disclosure.
  • FIG. 10 is the fifth diagram of the module structure of the map generating device provided by the embodiment of the disclosure.
  • FIG. 11 is a schematic structural diagram of an electronic device provided by an embodiment of the disclosure.
  • FIG. 12 is a schematic flowchart of a driving control method provided by an embodiment of the present disclosure.
  • FIG. 13 is a schematic structural diagram of a driving control device provided by an embodiment of the present disclosure.
  • FIG. 14 is a schematic structural diagram of an intelligent driving system provided by an embodiment of the disclosure.
  • FIG. 1 is a schematic diagram 1 of the flow chart of a map construction method provided by an embodiment of the present disclosure.
  • the execution subject of the method may be an electronic device with data calculation and processing capabilities. As shown in Figure 1, the method includes:
  • S101 Acquire image information of at least a part of the road environment where the vehicle is located via the on-board camera, and acquire the point cloud information of at least a part of the road environment where the vehicle is located synchronously and correspondingly via the on-board radar sensor.
  • the map generated by the embodiment of the present disclosure is a vehicle-oriented map, that is, a high-precision map.
  • the embodiments of the present disclosure can be applied to a scene where a high-precision map is generated or a partial area in the high-precision map is updated.
  • the vehicle Before generating a high-precision map of a certain area or updating at least part of the high-precision map, the vehicle can be driven in the area first, and multiple sensors on the vehicle can simultaneously collect the information in the area. The collected information is processed to obtain a map of the area.
  • the driving mode of the vehicle may be a manual driving mode or an unmanned driving mode, which is not specifically limited in the embodiment of the present disclosure.
  • the vehicle before constructing a map of a certain city, the vehicle can be driven on each road in the city.
  • the vehicle-mounted camera also called the vehicle-mounted camera
  • Image information the point cloud information of the surrounding environment of the vehicle is collected by the on-board radar sensor.
  • a map of at least part of the area in the road environment where the vehicle is located can be generated or updated through the processing of the following steps.
  • the GPS Global Positioning System, GPS
  • IMU Inertial Measurement Unit
  • the vehicle-mounted camera, vehicle-mounted radar sensor, GPS, IMU, etc. are different types of sensors installed on the vehicle, and these sensors work synchronously.
  • the synchronization of different sensors in the embodiments of the present disclosure can be achieved by hardware devices simultaneously triggering data collection, or by using software methods to time-align the data collected by each sensor separately.
  • the embodiments of the present disclosure combine this Not limited.
  • each sensor collects information according to a certain period, and the time of the information collected by each sensor in each period is aligned.
  • a vehicle-mounted camera collects a frame of image information in front of the vehicle at time A
  • the vehicle-mounted radar sensor collects point cloud data corresponding to one frame of image information at time A
  • GPS and IMU acquire the vehicle's pose information at time A respectively .
  • the time of the image information and point cloud information used to construct or update the map is synchronized, that is, to ensure that the information of the same object is collected, and then the correctness of the subsequent matching processing results is ensured.
  • sensors such as vehicle-mounted cameras, vehicle-mounted radar sensors, GPS, IMU, etc. are fused with each other to complete map generation or update.
  • Performance boundaries include, but are not limited to: limited detection range, perception defects, prior information defects, and so on.
  • the limited detection range means that the sensor has a fixed range for detecting the surrounding environment.
  • the long-distance millimeter wave radar has a detection range of 1 meter (m)-280m
  • the infrared sensor has a detection range of 0.2m-120m.
  • Perception defect refers to the environmental conditions in which the sensor is used.
  • a high-resolution camera can detect objects in an image, and a camera with a narrow field of view can detect distant objects.
  • Prior information refers to information that can be collected in advance and will not change in a short time.
  • Priori information defect refers to the inability to collect prior information through sensors.
  • the sensor cannot perceive whether the vehicle is currently on a highway.
  • the sensors are fused to obtain the information collected by each sensor at the same time, so that different types of information can be collected, and generated or updated based on these different types of information Maps can greatly reduce or even eliminate problems such as missing information collection that may be caused by the performance boundary of a single sensor.
  • S102 Perform semantic segmentation processing on the image information to obtain first semantic information of a road element in the area, where the first semantic information includes two-dimensional position information and attribute information of the road element.
  • the aforementioned road elements may be all types of objects that appear in the road environment.
  • the road element may be one or more of the following: road marking lines, traffic lights, traffic signs, roadblocks, street lights on both sides of the road, trees on both sides of the road, buildings on both sides of the road, etc.
  • the road marking line can be a lane line, a stop line, a cross lane, a turning line, and the like.
  • the embodiment of the present disclosure does not limit the specific form of the road element.
  • the first semantic information includes two-dimensional position information and attribute information of the road surface element.
  • the two-dimensional position information may include, for example, two-dimensional coordinate values of each point of the road element.
  • the attribute information in the above-mentioned first semantic information is used to describe the attribute of the road element.
  • the attribute information in the first semantic information may have different meanings.
  • the above attribute information refers to the types of lane lines in different dimensions, such as solid lines and dashed lines in the line type dimension, and white and yellow in the color dimension.
  • the above attribute information may be a fixed value corresponding to the stop line. The embodiment of the present disclosure does not specifically limit the above attribute information.
  • the vehicle-mounted radar sensor may first collect the original three-dimensional point cloud information, and then may perform filtering and other processing based on the pose information of the vehicle when the point cloud information is collected to obtain the above-mentioned point cloud information.
  • the above-mentioned first semantic information includes the two-dimensional position information of the road element, and the above-mentioned point cloud information can represent the three-dimensional position information of a point in space, including the three-dimensional position information of the road element.
  • the first semantic information of the road element and the point cloud information can be matched, that is, the three-dimensional position information and attribute information of the road element can be obtained.
  • the road elements in the map thus obtained have three-dimensional location information and attribute information, which greatly improves the accuracy of the road elements in the map.
  • S104 Generate a map based on the above second semantic information or update a part of the map corresponding to the area.
  • the embodiments of the present disclosure can be applied to the scene of generating a high-precision map, and can also be applied to the scene of updating a part of the high-resolution map.
  • a map of the area can be constructed based on the three-dimensional position information included in the second semantic information, and the map of the area can be The three-dimensional position information of the pavement elements in the area is marked in detail, and the attribute information of the pavement elements can also be marked in detail.
  • the vehicle-mounted camera collects image information of at least part of the area in the road environment, and performs semantic segmentation processing on the image information to obtain the two-dimensional position information and attribute information of the road elements in the area; at the same time, the vehicle-mounted radar sensor collects the area synchronously Then, by matching the first semantic information and the point cloud information, the three-dimensional position information and attribute information of the road elements in the area can be obtained.
  • the vehicle-mounted camera and the vehicle-mounted radar sensor work as different types of sensors installed on the vehicle. The matching processing based on the information collected by the different types of sensors can directly generate or update the map of the area, which can reduce or even eliminate Manual operation during map generation or update.
  • the method of this embodiment enables a high degree of automation of map construction, and greatly improves the construction efficiency of high-precision maps.
  • the method of this embodiment enables various types of information used to characterize road elements to be effectively integrated by matching the first semantic information and point cloud information, thereby greatly improving the accuracy of the road elements in the map.
  • the above-mentioned first semantic information and point cloud information may be matched with each other in the following manner.
  • FIG. 2 is a schematic diagram of the second flow of the map construction method provided by an embodiment of the present disclosure. As shown in FIG. 2, an optional implementation process of the foregoing step S103 includes:
  • S201 Perform coordinate system conversion from a three-dimensional coordinate system to a two-dimensional coordinate system on the point cloud information to obtain the two-dimensional point cloud information of the point cloud information in the coordinate system where the first semantic information is located.
  • the original point cloud information collected by the vehicle-mounted radar sensor is the data in the radar coordinate system.
  • the North East Down (NED) can be obtained first.
  • Data in the coordinate system that is, optionally, the above-mentioned point cloud information may be the point cloud information in the NED coordinate system.
  • the NED coordinate system includes the north axis, the east axis and the earth axis. The north axis points to the north of the earth, the east axis points to the east of the earth, and the earth axis is perpendicular to the earth's surface and points downward.
  • the data collected by the vehicle-mounted camera is data in a pixel coordinate system.
  • the pixel coordinate system may also be referred to as an image coordinate system.
  • the pixel coordinate system is a two-dimensional coordinate system whose origin is the upper left corner of the image collected by the vehicle-mounted camera.
  • the point cloud information is data in the NED coordinate system, and the first semantic information is coordinates in a pixel coordinate system
  • the point cloud information can be converted from the NED coordinate system to the pixel coordinate system to obtain the point The two-dimensional information of the point cloud in the pixel coordinate system. After this process, the point cloud information is projected from the NED coordinate system to the pixel coordinate system.
  • any one of the following methods can be used to convert the above point cloud information from the NED coordinate system to the pixel coordinate system:
  • the first method first convert the point cloud information from the NED coordinate system to the IMU coordinate system to obtain the information of the point cloud information in the IMU coordinate system; then according to the rotation and translation matrix of the IMU coordinate system and the camera coordinate system, the point The cloud information in the IMU coordinate system is converted to the camera coordinate system to obtain the point cloud information in the camera coordinate system; then, according to the camera parameter matrix, the point cloud information in the camera coordinate system is converted to pixels Coordinate system, get the two-dimensional point cloud information of the point cloud information in the pixel coordinate system.
  • the point cloud information is first converted from the NED coordinate system to the radar coordinate system to obtain the point cloud information in the radar coordinate system; then according to the rotation and translation matrix of the radar coordinate system and the camera coordinate system, the point cloud The information in the radar coordinate system is converted to the camera coordinate system to obtain the point cloud information in the camera coordinate system; further, according to the camera parameter matrix, the point cloud information in the camera coordinate system is converted to pixel coordinates System, get the two-dimensional point cloud information of the point cloud information in the pixel coordinate system.
  • the camera coordinate system mentioned in the above two methods refers to a coordinate system formed by taking the focus center of the vehicle-mounted camera as the origin and the optical axis as the Z axis.
  • the parameter matrix of the camera described in the above second mode refers to the parameter matrix of the above-mentioned vehicle-mounted camera.
  • the point cloud information may also be information in other three-dimensional coordinate systems.
  • the first semantic information may also be information in other two-dimensional coordinate systems. Through coordinate system conversion, the point cloud information may also be projected to the coordinate system where the first semantic information is located.
  • S202 Perform matching processing on the two-dimensional point cloud information and the two-dimensional position information of the road element to obtain second semantic information of the road element in the map of the area.
  • the two-dimensional point cloud information and the two-dimensional position information in the first semantic information are located in the same coordinate system, so they can be in the same coordinate
  • the system performs matching processing on the two-dimensional point cloud information and the two-dimensional position information in the first semantic information, so as to obtain the second semantic information of the road element.
  • the point cloud information is projected under the coordinate system of the first semantic information by performing coordinate transformation on the point cloud information, and then the two-dimensional point cloud information and the two-dimensional information in the first semantic information are processed in the same coordinate system.
  • the position information is matched, so that the accuracy of the matching result of the point cloud information and the two-dimensional position information in the first semantic information is greatly improved.
  • the above-mentioned two-dimensional point cloud information and the two-dimensional position information in the first semantic information may be matched in the following manner.
  • FIG. 3 is a schematic diagram of the third process of the map construction method provided by an embodiment of the disclosure. As shown in FIG. 3, in step S202, the two-dimensional point cloud information and the two-dimensional position information in the first semantic information are matched. Options include:
  • S301 Determine whether each pixel in the two-dimensional point cloud information belongs to the road element according to the two-dimensional position information of the road element.
  • the first semantic information of the road element can be obtained by processing the image collected by the vehicle-mounted camera. During processing, one or more frames of the image can be selected in a specific way. For each frame of image, Through the semantic segmentation of the image, the road elements are segmented from the image. After segmenting the road elements, it can be known whether each pixel in the image belongs to the road element, and each pixel belonging to the road element has specific two-dimensional position information, and the two-dimensional position information may be two-dimensional coordinate values.
  • each pixel also has specific two-dimensional position information.
  • each pixel in the two-dimensional point cloud information can be traversed pixel by pixel to determine whether each pixel is a pixel in the road element. If so, you can determine the pixel in the two-dimensional point cloud information It is a pixel in the road element.
  • the pixel (x1, y1) in the two-dimensional point cloud information, for this pixel, it is determined that in a frame of image collected by the vehicle-mounted camera corresponding to the two-dimensional point cloud information, the pixel (x1 , Y1) is a pixel in the road element, if so, it can be determined that the pixel (x1, y1) in the two-dimensional point cloud information belongs to the above-mentioned road element.
  • the first semantic information and the point cloud information of the road element to be matched are information for the same physical location, for example, both are information that characterizes a specific road in a city. Therefore, as an optional implementation manner, each sensor can collect data at the same time, and add time stamp information to the collected data. When processing the data collected by each sensor, the time stamp information can be retained in the processing result. . Furthermore, when performing matching in the embodiment of the present disclosure, the point cloud information and the first semantic information with the same time stamp can be selected to perform the above-mentioned matching process. For example, in the above example, a frame of image collected by a vehicle-mounted camera corresponding to the two-dimensional point cloud information may be a frame of image with the same time stamp as the time stamp of the point cloud information to which the two-dimensional point cloud information belongs.
  • the first pixel point may refer to any pixel point in the two-dimensional information of the point cloud.
  • the first pixel point is a pixel point obtained by projecting from the three-dimensional coordinate system where the point cloud information is located to the two-dimensional coordinate system where the first semantic information is located. Therefore, the first pixel point can uniquely correspond to the three-dimensional coordinate system A three-dimensional location information. Therefore, when it is determined that the first pixel point belongs to the aforementioned road element, the three-dimensional position information and attribute information of the first pixel point can be obtained at the same time. After this process, each point in the road element in the map has both three-dimensional position information and attribute information, so that high-precision road element information in the map is obtained.
  • the map can be obtained at the same time.
  • the information of the road elements in the map with draft accuracy can be obtained.
  • the vehicle-mounted radar sensor collects data at multiple moments, and various point cloud information in the surrounding environment of the vehicle may be collected in one collection moment, such as the point cloud information of the road ahead, the point cloud of the surrounding trees Information, point cloud information of houses, etc.
  • the point cloud information of the above-mentioned area is filtered out from the point cloud information set composed of the point cloud information collected by the radar sensor.
  • the vehicle has a specific pose at each moment when the vehicle's sensors collect information.
  • the position and attitude of the vehicle can be obtained through GPS, IMU and other sensors.
  • the time stamp corresponding to the two-dimensional position information in the first semantic information can be used as a reference to search for the pose of the vehicle at the time corresponding to the time stamp.
  • the heading of the vehicle at that moment can be known.
  • only the point cloud information within the preset range in front of the downward vehicle may be selected from the point cloud information set.
  • the preset range may be, for example, a rectangular frame with a preset size, and the preset range may include point cloud information of the road surface in front of the vehicle, for example.
  • the aforementioned point cloud information set may be a set of point cloud information formed after processing a large amount of point cloud information collected by a vehicle-mounted radar sensor.
  • the point cloud information in the set includes point cloud information of road surfaces in multiple areas. It can also include point cloud information of trees, houses, viaducts and other environments around vehicles in multiple areas.
  • the point cloud information is filtered according to the vehicle pose, and the subsequent matching process only uses the filtered point cloud information for matching, which can greatly reduce the processing time during the matching process and avoid the invalid matching process. Greatly improve the efficiency of matching processing.
  • the information of the free space corresponding to multiple areas may be filtered and spliced to obtain the above-mentioned point cloud information set.
  • the above-mentioned drivable area information can be obtained by performing segmentation processing on an image collected at the same time as the point cloud information.
  • the driveable area can be detected on the collected image information to obtain the information of the driveable area in the area.
  • the point cloud information of multiple areas collected by the vehicle-mounted radar sensor not only includes the point cloud information of the drivable area, but may also include the point cloud information of the environment such as trees, houses, and viaducts around the drivable area.
  • the following describes the process of filtering and splicing point cloud information based on the information of the drivable area.
  • Fig. 4 is a schematic flowchart four of the map construction method provided by an embodiment of the present disclosure. As shown in Fig. 4, the process of filtering and splicing point cloud information according to the information of the drivable area includes:
  • S401 Detect the drivable area on the collected image information of each area, and obtain the information of the drivable area in each area.
  • all point cloud information collected by the vehicle radar sensor refers to the point cloud information collected by the vehicle radar sensor at multiple times. At each time, the camera collects a frame of image, and the vehicle radar sensor collects the corresponding point cloud information. Or IMU obtains the pose information of the vehicle.
  • the information collected at multiple times includes the information of multiple regions.
  • S402 Filter out the point cloud information of the drivable area in each area from the point cloud information of each area collected by the vehicle-mounted radar sensor.
  • the point cloud information is projected to the coordinate system where the image is located by performing coordinate conversion on the point cloud information collected at the same time as the image, and It is determined which of the two-dimensional points after projection of the point cloud information belong to the points in the drivable area, and furthermore, only the point cloud information corresponding to the two-dimensional points belonging to the drivable area is retained.
  • the point cloud information is filtered according to the drivable area, and only the The point cloud information corresponding to the driving area.
  • the point cloud information of the drivable areas in multiple areas can be obtained.
  • the foregoing steps S402-S403 may be filtered and saved frame by frame according to the image frame.
  • the point cloud information collected at the time when the image is collected is filtered to obtain the point cloud information of the corresponding area at that time.
  • the obtained point cloud information is converted from the radar coordinate system to the NED coordinate system.
  • the converted point cloud information is indexed and stored. After obtaining the next point cloud information of the corresponding area at the next time, index and store the next point cloud information.
  • the result is the point cloud information set.
  • the indexes of two continuous regions can be continuous.
  • the splicing of the point cloud information is completed when the point cloud information is stored, and then the point cloud information of all regions is obtained, and these point cloud information form a point cloud information collection.
  • the point cloud information is first filtered according to the drivable area, so that the point cloud information in the stored point cloud information set only represents The point cloud information of the driving area can reduce the storage of point cloud information and improve the efficiency of matching processing when matching based on this.
  • the point cloud information in the point cloud information collection can not only characterize the information of the drivable area, but also characterize the information outside the drivable area, such as the trees, houses, and viaducts around the vehicle.
  • the point cloud information collected in the above step S101 can represent the above two types of information.
  • the processing can be performed according to the following process:
  • the above-mentioned second pixel point may be any pixel point in the two-dimensional information of the point cloud.
  • the point cloud information in the point cloud information set is the information including the drivable area and other objects in the surrounding environment of the vehicle.
  • the point cloud two-dimensional information of the point cloud information is filtered according to the drivable area.
  • the information of the drivable area may be obtained by semantically segmenting a frame of image corresponding to the area.
  • the image semantic segmentation result of a frame of image corresponding to the area may not only include the above-mentioned first semantic information, that is, the two-dimensional position information and attribute information of the road element, and at the same time, may also include the information of the drivable area.
  • FIG. 5 is a schematic flowchart five of the map construction method provided by an embodiment of the disclosure. As shown in FIG. 5, the process of segmenting the image to obtain the first semantic information and the information of the drivable area includes:
  • S501 Perform frame splitting processing on the image information collected by the vehicle-mounted camera to obtain multiple frames of images.
  • S502 Perform semantic segmentation processing on each frame of image to obtain segmentation results of road elements, attribute information of road elements, and segmentation results of the drivable area.
  • the segmentation result of the road element includes whether each pixel in a frame of image belongs to the road element, and the attribute information of the road element includes the attribute information of the pixel belonging to the road element.
  • the attribute information of a pixel belonging to the road element may include information such as color and/or line type, such as a white solid line, etc.
  • the segmentation result of the drivable area includes a frame of image Whether each pixel belongs to the drivable area.
  • the neural network may be, for example, a convolutional neural network, a non-convolutional multilayer neural network, or the like.
  • the above neural network has the ability to segment the corresponding elements.
  • the training sample image set including the corresponding element label information can be used in advance to supervise or semi-supervise the neural network.
  • the network is trained.
  • S503 Perform clustering processing on the segmentation results of the above-mentioned road elements to obtain information of each road element in each frame of image.
  • the obtained information of each road element includes the two-dimensional position information and attribute information of each pixel in the road element.
  • the processing procedure described in the foregoing embodiment can be executed based on the information.
  • the road elements in the map of the area are filtered according to the preset feature information corresponding to the above-mentioned road elements to obtain the filtered road elements.
  • the aforementioned preset feature information is the inherent feature of the road element. After obtaining the three-dimensional position information and attribute information of the road element through the foregoing process, it can be judged whether the three-dimensional position information and/or attribute information of the road element conforms to the preset characteristics of the road element. If it does not conform, the item can be deleted from the map. Road elements. After this process, the wrong road elements can be eliminated, and the accuracy of the map can be further improved.
  • fitting processing is performed on the points in the road elements represented by the above-mentioned three-dimensional position information to obtain the road elements represented by the line parameters.
  • the road elements obtained through the foregoing processing can be characterized by a large number of points, and each point has three-dimensional position information and attribute information.
  • the road elements represented by the line parameters can be fitted.
  • the line parameter may include the equation of the line, the position of the starting point of the line, and the position of the ending point of the line.
  • the attribute information of points belonging to the same road element is the same, and the attribute information of the fitted road element may be the attribute information of any one of the points before fitting.
  • the high-precision road elements in the map can be represented by only a few line parameters, thereby greatly reducing the storage of road elements, and greatly improving when using the map for driving control and other operations. Operational efficiency.
  • the above-mentioned road elements are sampled to obtain the sampled road elements.
  • the number of points that make up the road elements is huge.
  • the road elements can be sampled. After sampling, the road elements can be sampled. While the accuracy meets the requirements of the scene, the number of points of road elements can be greatly reduced, and the speed of operation processing can be greatly improved when the map is used for driving control and other operations.
  • the point cloud information is the information in the NED coordinate system
  • the three-dimensional position information of the road element in the obtained map is the position information in the NED coordinate system. If there is another map whose location information is the information in the World Geodetic System-84 (WGS84), the two maps cannot be directly integrated. Therefore, optionally, the three-dimensional position information obtained through the foregoing process can be converted from the NED coordinate system to the target coordinate system corresponding to another map to obtain the position information of the three-dimensional position information in the target coordinate system. After this processing, the fusion of different maps can be realized.
  • FIG. 6 is the first module structure diagram of the map generating device provided by the embodiment of the disclosure. As shown in FIG. 6, the device includes:
  • the acquisition module 601 is configured to acquire image information of at least a part of the road environment where the vehicle is located via a vehicle-mounted camera, and synchronously and correspondingly acquire image information and point cloud information of at least a portion of the road environment where the vehicle is located through the vehicle-mounted radar sensor;
  • the segmentation module 602 is configured to perform semantic segmentation processing on the image information to obtain first semantic information of road elements in the area, where the first semantic information includes two-dimensional position information and attribute information of the road elements;
  • the matching module 603 is configured to perform matching processing on the first semantic information of the road element in the area and the point cloud information of the area to obtain the second semantic information of the road element in the area, the second semantic information Including the three-dimensional position information and attribute information of the road element;
  • the generating module 604 is configured to generate a map or update a part of the map corresponding to the region based on the second semantic information.
  • the device is used to implement the foregoing method embodiments, and its implementation principles and technical effects are similar, and will not be repeated here.
  • FIG. 7 is the second module structure diagram of the map generating apparatus provided by the embodiment of the disclosure.
  • the matching module 603 includes:
  • the conversion unit 6031 is configured to convert the point cloud information from a three-dimensional coordinate system to a two-dimensional coordinate system to obtain the two-dimensional point cloud information of the point cloud information in the coordinate system where the two-dimensional position information is located;
  • the matching unit 6032 is configured to perform matching processing on the two-dimensional point cloud information and the two-dimensional position information of the road element to obtain the second semantic information of the road element in the area.
  • the matching unit 6032 is configured to determine whether each pixel in the two-dimensional point cloud information belongs to the road element according to the two-dimensional position information of the road element; in response to the point cloud The first pixel in the two-dimensional information belongs to the road element, and the three-dimensional position information of the first pixel in the point cloud information and the attribute of the first pixel in the first semantic information are acquired Information to obtain three-dimensional position information and attribute information of the first pixel; wherein, the first pixel is any pixel in the two-dimensional information of the point cloud.
  • the conversion unit 6031 is configured to convert the point cloud information from the Northeast coordinate system to the pixel coordinate system to obtain the two-dimensional point cloud information of the point cloud information in the pixel coordinate system,
  • the two-dimensional position information is information in the pixel coordinate system.
  • the conversion unit 6031 is configured to convert the point cloud information from the Northeast coordinate system to the inertial measurement unit coordinate system to obtain the information of the point cloud information in the inertial measurement unit coordinate system; According to the rotation and translation matrix of the inertial measurement unit coordinate system and the camera coordinate system, the point cloud information in the inertial measurement unit coordinate system is converted to the camera coordinate system to obtain the point cloud information in The information in the camera coordinate system; according to the camera parameter matrix, the point cloud information in the camera coordinate system is converted to the pixel coordinate system to obtain the point cloud information in the pixel coordinate system Point cloud two-dimensional information under.
  • the conversion unit 6031 is configured to convert the point cloud information from the northeast coordinate system to the radar coordinate system to obtain the information of the point cloud information in the radar coordinate system; according to the radar The rotation and translation matrix of the coordinate system and the camera coordinate system, and convert the point cloud information in the radar coordinate system to the camera coordinate system to obtain the point cloud information in the camera coordinate system According to the parameter matrix of the camera, the point cloud information in the camera coordinate system is converted to the pixel coordinate system to obtain the two-dimensional point cloud information of the point cloud information in the pixel coordinate system.
  • the matching unit 6032 is configured to detect the drivable area on the image information to obtain information about the drivable area in the area; in response to the second pixel in the two-dimensional point cloud information
  • the point is the pixel point in the drivable area in the area, and the second pixel point and the two-dimensional position information of the road element are matched to obtain the first pixel point of the road element in the map of the area.
  • FIG. 8 is the third module structure diagram of the map generating device provided by the embodiment of the disclosure. As shown in FIG. 8, the device further includes:
  • the obtaining module 605 is configured to obtain the pose information of the vehicle via the car navigation system while collecting the image information and the point cloud information of the area;
  • the first screening module 606 is configured to screen out the point cloud information of the area from the point cloud information set composed of the point cloud information collected by the on-board radar sensor according to the pose information of the vehicle.
  • FIG. 9 is the fourth module structure diagram of the map generating device provided by the embodiment of the disclosure. As shown in FIG. 9, the device further includes:
  • the detection module 607 is configured to detect the drivable area of the collected image information of each area, and obtain the information of the drivable area in each area;
  • the second screening module 608 is used to screen out the point cloud information of the drivable area in each area from the point cloud information of each area collected by the vehicle-mounted radar sensor;
  • the splicing module 609 is used to splice the point cloud information of the drivable areas in each area to obtain the point cloud information set.
  • the car navigation system includes a global positioning system and/or an inertial measurement unit.
  • FIG. 10 is the module structure diagram 5 of the map generating apparatus provided by the embodiment of the disclosure. As shown in FIG. 10, the generating module 604 includes:
  • the processing unit 6041 is configured to use one or more of the following processing methods to process the road elements:
  • the road elements in the map of the area are screened to obtain the road elements after screening; and the road elements represented by the three-dimensional position information Perform fitting processing on the points of the line to obtain the road element represented by line parameters; perform sampling processing on the road element to obtain the sampled road element; obtain the three-dimensional position information from the northeast coordinates
  • the system is converted to the target coordinate system, and the position information of the three-dimensional position information in the target coordinate system is obtained.
  • the generating unit 6042 is configured to generate a map or update a part of the map corresponding to the region based on the second semantic information of the road element obtained by the processing.
  • the division of the various modules of the above device is only a division of logical functions, and may be fully or partially integrated into a physical entity in actual implementation, or may be physically separated.
  • these modules can all be implemented in the form of software called by processing elements; they can also be implemented in the form of hardware; some modules can be implemented in the form of calling software by processing elements, and some modules can be implemented in the form of software.
  • the determining module may be a separately established processing element, or it may be integrated into a certain chip of the above-mentioned device for implementation.
  • it may also be stored in the memory of the above-mentioned device in the form of program code, which is determined by a certain processing element of the above-mentioned device.
  • each step of the above method or each of the above modules can be completed by hardware integrated logic circuits in the processor element or instructions in the form of software.
  • the above modules may be one or more integrated circuits configured to implement the above methods, such as: one or more application specific integrated circuits (ASIC), or one or more microprocessors (Digital Signal Processor, DSP), or, one or more Field Programmable Gate Array (Field Programmable Gate Array, FPGA), etc.
  • ASIC application specific integrated circuits
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • the processing element may be a general-purpose processor, such as a central processing unit (CPU) or other processors that can call program codes.
  • CPU central processing unit
  • these modules can be integrated together and implemented in the form of a System-On-a-Chip (SOC).
  • SOC System-On-a-Chip
  • the computer program product includes one or more computer instructions.
  • the computer may be a general-purpose computer, a special-purpose computer, a computer network, or other programmable devices.
  • the computer instructions may be stored in a computer-readable storage medium or transmitted from one computer-readable storage medium to another computer-readable storage medium. For example, the computer instructions may be transmitted from a website, computer, server, or data center.
  • the computer-readable storage medium may be any available medium that can be accessed by a computer or a data storage device such as a server or a data center integrated with one or more available media.
  • the usable medium may be a magnetic medium (for example, a floppy disk, a hard disk, a magnetic tape), an optical medium (for example, a DVD), or a semiconductor medium (for example, a solid state disk (SSD)), etc.
  • FIG. 11 is a schematic structural diagram of an electronic device provided by an embodiment of the disclosure.
  • the electronic device 1100 may include: a processor 111, a memory 112, a communication interface 113, and a system bus 114.
  • the memory 112 and the communication interface 113 can communicate with the processor 111 through the system bus 114. Connect and complete the communication between each other, the memory 112 is used to store computer execution instructions, the communication interface 113 is used to communicate with other devices, and the processor 111 executes the computer program when the computer program is executed as shown in FIGS. 1 to 5 The scheme of any of the illustrated embodiments.
  • the system bus mentioned in FIG. 11 may be a Peripheral Component Interconnect (PCI) bus or an Extended Industry Standard Architecture (EISA) bus.
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Architecture
  • the system bus can be divided into address bus, data bus, control bus, etc. For ease of representation, only one thick line is used in the figure, but it does not mean that there is only one bus or one type of bus.
  • the communication interface is used to realize the communication between the database access device and other devices (such as client, read-write library and read-only library).
  • the memory may include random access memory (Random Access Memory, RAM), and may also include non-volatile memory (Non-Volatile Memory, NVM), such as at least one disk storage.
  • the above-mentioned processor may be a general-purpose processor, including a central processing unit (CPU), a network processor (Network Processor, NP), etc.; it may also be a digital signal processor (DSP), a dedicated integrated Circuits (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • CPU central processing unit
  • NP Network Processor
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • FIG. 12 is a schematic flowchart of a driving control method provided by an embodiment of the present disclosure.
  • an embodiment of the present disclosure also provides a driving control method, including:
  • the driving control device obtains map information of at least a part of the road environment where the vehicle is located, and the map information is obtained by using the map generation method provided by the embodiment of the present disclosure;
  • the driving control device performs intelligent driving control of the vehicle according to the map information.
  • the execution subject of this embodiment is the driving control device.
  • the driving control device of this embodiment and the electronic equipment described in the foregoing embodiments may be located in the same device, or may be separately deployed in different devices.
  • the driving control device of this embodiment establishes a communication connection with the above-mentioned electronic equipment.
  • map information is obtained by using the method of the foregoing embodiment, and for the specific process, refer to the description of the foregoing embodiment, which will not be repeated here.
  • the electronic device executes the above-mentioned map generation method, obtains map information of at least a part of the road environment where the vehicle is located, and outputs map information of at least a part of the road environment where the vehicle is located.
  • the driving control device acquires map information of at least a part of the road environment where the vehicle is located, and performs intelligent driving control on the vehicle according to the map information of at least a part of the road environment where the vehicle is located.
  • the intelligent driving in this embodiment includes at least one of driving mode switching between assisted driving, automatic driving, assisted driving, and automatic driving.
  • the above-mentioned intelligent driving control may include at least one of the following: braking, changing the driving speed, changing the driving direction, maintaining the lane line, changing the state of the lights, switching the driving mode, etc., wherein the driving mode switching may be between assisted driving and automatic driving For example, switching from assisted driving to automatic driving.
  • the driving control device obtains map information of at least part of the road environment where the vehicle is located, and performs intelligent driving control according to the map information of at least part of the road environment where the vehicle is located, thereby improving the safety of intelligent driving And reliability.
  • FIG. 13 is a schematic structural diagram of a driving control device provided by an embodiment of the present disclosure.
  • the driving control device 1300 of the embodiment of the present disclosure includes:
  • the obtaining module 1301 is configured to obtain map information of at least a part of the road environment where the vehicle is located, and the map information is obtained by using the above-mentioned map generation method.
  • the driving control module 1302 is used for intelligent driving control of the vehicle according to the map information.
  • the driving control device of the embodiment of the present disclosure may be used to execute the technical solution of the method embodiment shown above, and its implementation principles and technical effects are similar, and will not be repeated here.
  • FIG. 14 is a schematic diagram of an intelligent driving system provided by an embodiment of the disclosure.
  • the intelligent driving system 1400 of this embodiment includes: a sensor 1401, an electronic device 1100, and a driving control device 1300 connected in communication, and an electronic device 1100 As shown in FIG. 11, the driving control device 1300 is as shown in FIG.
  • the sensor 1401 may include sensors such as a vehicle-mounted camera, a vehicle-mounted radar sensor, GPS, and IMU.
  • the sensor 1401 collects image information, point cloud information, and pose information of the vehicle in at least a part of the road environment where the vehicle is located, and sends these information to the electronic device 1100, the electronic device After receiving the information, 1100 generates a map or updates the corresponding area in the map according to the above-mentioned map generation method. Next, the electronic device 1100 sends the generated map or the updated map to the driving control device 1300, and the driving control device 1300 performs intelligent driving control of the vehicle according to the generated map or the updated map.
  • an embodiment of the present disclosure further provides a computer-readable storage medium, in which a computer program is stored, and when the computer program is executed by a processor, the implementation is as shown in any one of FIGS. 1 to 5 above.
  • the embodiment of the present disclosure further provides a chip for executing instructions, the chip is used to execute the method of any one of the embodiments shown in FIG. 1 to FIG. 5; or, the chip is used to execute the method shown in FIG. The method of the embodiment is shown.
  • the embodiments of the present disclosure also provide a program product, the program product includes a computer program, the computer program is stored in a storage medium, at least one processor can read the computer program from the storage medium, and the at least one When the processor executes the computer program, the method of any one of the embodiments shown in FIGS. 1 to 5 can be implemented; or, when the computer program is executed by the at least one processing, the method of the embodiment shown in Figure 12 can be implemented .
  • At least one refers to one or more, and “multiple” refers to two or more.
  • “And/or” describes the association relationship of the associated objects, indicating that there can be three relationships, for example, A and/or B, which can mean: A alone exists, both A and B exist, and B exists alone, where A, B can be singular or plural.
  • the character "/” generally indicates that the associated objects before and after are in an “or” relationship; in the formula, the character “/” indicates that the associated objects before and after are in a “division” relationship.
  • “The following at least one item (a)” or similar expressions refers to any combination of these items, including any combination of a single item (a) or plural items (a).
  • at least one of a, b, or c can mean: a, b, c, ab, ac, bc, or abc, where a, b, and c can be single or multiple One.
  • the size of the sequence numbers of the foregoing processes does not mean the order of execution.
  • the execution order of the processes should be determined by their functions and internal logic, and should not correspond to the embodiments of the present disclosure.
  • the implementation process constitutes any limitation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种地图生成方法、驾驶控制方法、装置、电子设备及系统，所述地图生成方法包括：经车载相机获取车辆所在道路环境至少部分区域的图像信息，经车载雷达传感器同步对应获取上述车辆所在道路环境至少部分区域的点云信息（S101）；对上述图像信息进行语义分割处理，得到上述区域中道路元素的第一语义信息，该第一语义信息包括上述道路元素的二维位置信息和属性信息（S102）；对上述区域中的道路元素的第一语义信息和上述区域的点云信息进行匹配处理，得到上述区域中道路元素的第二语义信息，该第二语义信息包括上述道路元素的三维位置信息和属性信息（S103）；基于上述第二语义信息生成地图或更新地图中对应所述区域的部分（S104）。

Description

地图生成方法、驾驶控制方法、装置、电子设备及系统
相关申请的交叉引用
本申请基于申请号为201910496345.3、申请日为2019年6月10日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以引入方式并入本申请。
技术领域
本公开实施例涉及智能驾驶技术，尤其涉及一种地图生成方法、驾驶控制方法、装置、电子设备及系统。
背景技术
在智能驾驶领域中，高精度地图发挥着重要的作用，是智能驾驶领域中必不可少的组成部分。面向车辆的地图通常称为高精度地图，它与面向人的地图(导航地图)不同，高精度地图包括有丰富的语义信息和行车辅助信息。例如，在高精度地图中，不仅能描绘出道路，还能描绘出道路上的道路标识线的信息，比如道路标识线的位置和类型等。基于上述的高精度地图，可以实现车辆的定位、驾驶控制等。
发明内容
本公开实施例提供一种地图生成方法、驾驶控制方法、装置、电子设备及系统。
第一方面，本公开实施例提供一种地图生成方法，包括：
经车载相机获取车辆所在道路环境至少部分区域的图像信息，经车载雷达传感器同步对应获取所述车辆所在道路环境至少部分区域的点云信息；
对所述图像信息进行语义分割处理，得到所述区域中道路元素的第一语义信息，所述第一语义信息包括所述道路元素的二维位置信息和属性信息；
对所述区域中的道路元素的第一语义信息和所述区域的点云信息进行匹配处理，得到所述区域中道路元素的第二语义信息，所述第二语义信息包括所述道路元素的三维位置信息和属性信息；
基于所述第二语义信息生成地图或更新地图中对应所述区域的部分。
第二方面，本公开实施例提供一种地图生成装置，包括：
采集模块，用于经车载相机获取车辆所在道路环境至少部分区域的图像信息，经车载雷达传感器同步对应获取所述车辆所在道路环境至少部分区域的点云信息；
分割模块，用于对所述图像信息进行语义分割处理，得到所述区域中道路元素的第一语义信息，所述第一语义信息包括所述道路元素的二维位置信息和属性信息；
匹配模块，用于对所述区域中的道路元素的第一语义信息和所述区域的点云信息进行匹配处理，得到所述区域中道路元素的第二语义信息，所述第二语义信息包括所述道路元素的三维位置信息和属性信息；
生成模块，用于基于所述第二语义信息生成地图或更新地图中对应所述区域的部分。
第三方面，本公开实施例提供一种驾驶控制方法，包括：
驾驶控制装置获取车辆所在道路环境至少部分区域的地图信息，地图信息采用如上述第一方面所述的地图生成方法得到；
所述驾驶控制装置根据所述地图信息对车辆进行智能驾驶控制。
第四方面，本公开实施例提供一种驾驶控制装置，包括：
获取模块，用于获取车辆所在道路环境至少部分区域的地图信息，地图信息采用如上述第一方面所述的地图生成方法得到；
驾驶控制模块，用于根据所述地图信息对车辆进行智能驾驶控制。
第五方面，本公开实施例提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。
第六方面，本公开实施例提供一种智能驾驶系统，包括：通信连接的传感器、如上述第五方面所述的电子设备和如上述第四方面所述的驾驶控制装置，所述传感器用于采集车辆所在道路环境至少部分区域的图像信息和点云信息。
第七方面，本公开实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法步骤；或者，所述计算机程序用于执行上述第三方面所述的方法步骤。
本公开实施例所提供的地图生成方法、驾驶控制方法、装置、电子设备及系统，由车载相机采集道路环境中至少部分区域的图像信息，并对图像信息进行语义分割处理得到区域中道路元素的二维位置信息和属性信息；同时，由车载雷达传感器同步采集区域的点云信息，再通过对第一语义信息和点云信息进行匹配处理，可以得到区域中道路元素的三维位置信息和属性信息。在上述过程中，车载相机和车载雷达传感器作为设置在车辆上的不同类型的传感器同步工作，基于不同类型传感器所采集的信息进行匹配处理可以直接生成或更新区域的地图，可以减少甚至省去了地图生成或更新过程中的人工操作，使得构建地图的自动化程度高，极大提升高精度地图的构建效率。另外，通过对第一语义信息和点云信息进行匹配使得用于表征道路元素的各类信息得以有效融合，从而极大提升地图中道路元素的精度。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的地图构建方法的流程示意图一；
图2为本公开实施例提供的地图构建方法的流程示意图二；
图3为本公开实施例提供的地图构建方法的流程示意图三；
图4为本公开实施例提供的地图构建方法的流程示意图四；
图5为本公开实施例提供的地图构建方法的流程示意图五；
图6为本公开实施例提供的地图生成装置的模块结构图一；
图7为本公开实施例提供的地图生成装置的模块结构图二；
图8为本公开实施例提供的地图生成装置的模块结构图三；
图9为本公开实施例提供的地图生成装置的模块结构图四；
图10为本公开实施例提供的地图生成装置的模块结构图五；
图11为本公开实施例提供的一种电子设备的结构示意图；
图12本公开实施例提供的驾驶控制方法的流程示意图；
图13本公开实施例提供的驾驶控制装置的结构示意图；
图14为本公开实施例提供的智能驾驶系统的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。
图1为本公开实施例提供的地图构建方法的流程示意图一，该方法的执行主体可以为具有数据计算处理能力的电子设备。如图1所示，该方法包括：
S101、经车载相机获取车辆所在道路环境至少部分区域的图像信息，经车载雷达传感器同步对应获取上述车辆所在道路环境至少部分区域的点云信息。
本公开实施例生成的地图为面向车辆的地图，即高精度地图。本公开实施例可以应用于生成高精度地图或更新高精度地图中部分区域的场景中。在生成某个区域的高精度地图或更新高精度地图的至少部分区域之前，可以首先使车辆在该区域内行驶，并由车辆上的多个传感器分别同步采集该区域内的信息，对各传感器所采集的信息进行处理，进而得到该地区的地图。其中，车辆的驾驶方式可以是人工驾驶方式，也可以是无人驾驶方式，本公开实施例对此不做具体限定。例如，在构建某个城市的地图之前，可使车辆在该城市的每条道路上行驶，在行驶过程中，由车载相机(也可以称为车载摄像头)采集车辆前方路面以及周围建筑物等的图像信息，由车载雷达传感器采集车辆周围环境的点云信息。基于上述图像信息和点云信息，通过下述步骤的处理，可以生成或更新车辆所在道路环境中至少部分区域的地图。可选的，在车辆行驶过程中，还可以由车辆上的全球定位系统(Global Positioning System，GPS)或者惯性测量单元(Inertial Measurement Unit，IMU)获取车辆在每个时刻的位姿信息，并基于位姿信息进行点云信息的筛选，基于位姿信息进行点云信息筛选将在下述实施例中说明。
在上述过程中，车载相机、车载雷达传感器、GPS、IMU等是设置在车辆上的不同类型的传感器，这些传感器同步工作。其中，本公开实施例中不同传感器的同步可通过硬件设备同时触发数据采集的方式实现，也可以通过利用软件方法对各传感器分别采集的数据进行时间对齐的方式实现，本公开实施例对此并不限定。
本实施例中，各传感器均按照一定的周期采集信息，各传感器在每个周期采集的信息的时间对齐。示例性的，车载相机在A时刻采集了一帧车辆前方的图像信息，则车载雷达传感器在A时刻采集一帧图像信息对应的点云数据，GPS和IMU分别在A时刻获取车辆的位姿信息。通过各传感器的同步信息采集，使得用于构建或更新地图的图像信息、点云信息的时间同步，即保证采集的是同一对象的信息，进而保证后续的匹配处理结果的正确性。
另外，在上述过程中，车载相机、车载雷达传感器、GPS、IMU等传感器相互融合以完成地图生成或更新。对于每一种传感器来说，均可能存在各自的性能边界。性能边 界包括但不限于：检测范围受限、感知缺陷、先验信息缺陷等等。其中，检测范围受限，是指传感器对于周围环境的检测具有固定的范围，示例性的，长距毫米波雷达探测距离为1米(m)-280m，红外线传感器探测距离为0.2m-120m。感知缺陷，是指传感器具有其使用的环境条件。示例性的，高分辨率摄像机可以检测图像中的物体，窄视场的摄像机可以检测远距离的物体。先验信息，是指可以提前采集且短时间内不会改变的信息。先验信息缺陷，是指无法通过传感器采集到先验信息。示例性的，传感器无法感知车辆当前是否处于高速公路上。鉴于每种传感器具有各自的性能边界，在本公开实施例中，将各传感器进行融合，获取各传感器同时采集的信息，从而可以采集到不同类型的信息，并基于这些不同类型的信息生成或更新地图，从而可以很大程度上减小甚至消除单个传感器的性能边界所可能导致的信息采集缺失等问题。
S102、对上述图像信息进行语义分割处理，得到上述区域中道路元素的第一语义信息，该第一语义信息包括上述道路元素的二维位置信息以及属性信息。
可选的，上述的道路元素可以是道路环境中出现的所有类型的对象。示例性的，道路元素可以是以下一种或多种：道路标示线、交通指示灯、交通标志、路障、道路两侧的路灯、道路两侧的树木、道路两侧的建筑物等。其中，道路标示线可以是车道线、停止线、十字车道、转弯线等。本公开实施例对于道路元素的具体形态不做限定。
通过对车载相机所采集的图像信息进行语义分割处理，可以得到采集的区域中路面元素的第一语义信息。第一语义信息包括路面元素的二维位置信息和属性信息。
其中，二维位置信息例如可以包括道路元素的每个点的二维坐标值等。
可选的，上述第一语义信息中的属性信息用于描述道路元素的属性。针对不同的道路元素，上述第一语义信息中的属性信息可以为不同的含义。例如，当道路元素为车道线时，上述属性信息指不同维度上的车道线的类型，例如线型维度上的实线、虚线，颜色维度上的白色、黄色等。又例如，当道路元素为停止线时，上述属性信息可以为与停止线对应的固定值。本公开实施例对于上述属性信息不做具体限定。
可选的，车载雷达传感器可以首先采集原始的三维点云信息，进而可以基于采集点云信息时的车辆的位姿信息进行筛选等处理，得到上述点云信息。
如何得到上述第一语义信息和点云信息的过程将在下述实施例中详细说明。
S103、对上述区域中的道路元素的第一语义信息和上述区域的点云信息进行匹配处理，得到上述区域中道路元素的第二语义信息，该第二语义信息包括上述道路元素的三维位置信息以及属性信息。
上述的第一语义信息中包括道路元素的二维位置信息，上述点云信息能够表征出空间中一个点的三维位置信息，其中包括了道路元素的三维位置信息。本步骤中，可以对道路元素的第一语义信息和点云信息进行匹配处理，即可以得到道路元素的三维位置信息和属性信息。由此所得到的地图中的道路元素具有了三维位置信息以及属性信息，极大提升地图中道路元素的精度。
S104、基于上述第二语义信息生成地图或更新地图中对应所述区域的部分。
如前文所述，本公开实施例既可以应用于生成高精度地图的场景中，也可以应用于更新高精度地图中部分区域的场景中。
在上述生成的场景中，当经过前述步骤得到某区域的道路元素的第二语义信息后，可以基于该第二语义信息所包括的三维位置信息构建该区域的地图，在该区域的地图中可以详细标记该区域中路面元素的三维位置信息，同时，还可以详细标记路面元素的属性信息。
在上述更新的场景中，可以通过对已有地图中某区域的道路元素与经过上述步骤所得到的道路元素进行比对，将该区域中原有的道路元素替换为包含了上述三维位置信息 和属性信息的道路元素。
本实施例中，由车载相机采集道路环境中至少部分区域的图像信息，并对图像信息进行语义分割处理得到区域中道路元素的二维位置信息和属性信息；同时，由车载雷达传感器同步采集区域的点云信息，再通过对第一语义信息和点云信息进行匹配处理，可以得到区域中道路元素的三维位置信息和属性信息。在上述过程中，车载相机和车载雷达传感器作为设置在车辆上的不同类型的传感器同步工作，基于不同类型传感器所采集的信息进行匹配处理可以直接生成或更新区域的地图，可以减少甚至省去了地图生成或更新过程中的人工操作。因此，本实施例的方法使得构建地图的自动化程度高，极大提升高精度地图的构建效率。另外，本实施例的方法通过对第一语义信息和点云信息进行匹配使得用于表征道路元素的各类信息得以有效融合，从而极大提升地图中道路元素的精度。
在一种可选的实施方式中，可以通过如下方式对上述第一语义信息和点云信息进行匹配处理。
图2为本公开实施例提供的地图构建方法的流程示意图二，如图2所示，上述步骤S103的一种可选的实施过程包括：
S201、对上述点云信息进行三维坐标系至二维坐标系的坐标系转换，得到上述点云信息在上述第一语义信息所在坐标系下的点云二维信息。
可选的，车载雷达传感器采集的原始的点云信息是雷达坐标系下的数据，在根据采集的点云信息进行筛选处理得到点云信息前，可以首先得到北东地(North East Down，NED)坐标系下的数据，即可选的，上述点云信息可以是NED坐标系下的点云信息。其中，NED坐标系包括北轴、东轴和地轴，北轴指向地球北，东轴指向地球东，地轴垂直于地球表面并指向下。
可选的，如果上述第一语义信息是通过对车载相机采集的视频进行处理得到，车载相机采集的数据是像素坐标系下的数据。其中，像素坐标系也可以称为图像坐标系，像素坐标系是以车载相机所采集到的图像的左上角为原点的二维坐标系。
可选的，如果上述点云信息为上述NED坐标系下的数据，上述第一语义信息为像素坐标系下的坐标，可以将上述点云信息从NED坐标系转换至像素坐标系，得到上述点云信息在像素坐标系下的点云二维信息。经过该过程，即实现了点云信息从NED坐标系投影到像素坐标系。
其中，可以使用如下任意一种方式将上述点云信息从NED坐标系转换至像素坐标系：
第一种方式中，首先将点云信息从NED坐标系转换至IMU坐标系，得到点云信息在该IMU坐标系下的信息；再根据IMU坐标系与相机坐标系的旋转平移矩阵，将点云信息在IMU坐标系下的信息转换到相机坐标系下，得到点云信息在相机坐标系下的信息；进而，根据相机的参数矩阵，将点云信息在相机坐标系下的信息转换到像素坐标系，得到点云信息在像素坐标系下的点云二维信息。
第二种方式中，首先将点云信息从NED坐标系转换至雷达坐标系，得到点云信息在雷达坐标系下的信息；再根据雷达坐标系与相机坐标系的旋转平移矩阵，将点云信息在雷达坐标系下的信息转换到相机坐标系下，得到点云信息在相机坐标系下的信息；进而，根据相机的参数矩阵，将点云信息在相机坐标系下的信息转换到像素坐标系，得到点云信息在像素坐标系下的点云二维信息。
值得说明的是，上述两种方式中所述的相机坐标系是指以上述的车载相机的聚焦中心为原点，以光轴为Z轴所形成的坐标系。上述第二种方式所述的相机的参数矩阵，是指上述的车载相机的参数矩阵。
除了上述的点云信息为NED坐标系下的信息，第一语义信息为像素坐标系下的信息之外，在本公开实施例中，点云信息还可以为其他三维坐标系下的信息，上述第一语义信息还可以为其他二维坐标系下的信息，通过坐标系的转换，也可以将点云信息投影到第一语义信息所在的坐标系下。
S202、对上述点云二维信息和上述道路元素的二维位置信息进行匹配处理，得到上述区域的地图中的上述道路元素的第二语义信息。
将点云信息投影到第一语义信息所在坐标系下的点云二维信息后，点云二维信息和第一语义信息中的二维位置信息位于同一坐标系下，因此，可以在同一坐标系下对点云二维信息和第一语义信息中的二维位置信息进行匹配处理，从而得到道路元素的第二语义信息。
本实施例中，通过对点云信息进行坐标转换，将点云信息投影到第一语义信息的坐标系下，进而在同一坐标系下对点云二维信息和第一语义信息中的二维位置信息进行匹配处理，从而使得点云信息和第一语义信息中的二维位置信息的匹配结果的准确性得到极大提升。
作为一种可选的实施方式，可以通过如下方式对上述的点云二维信息和第一语义信息中的二维位置信息进行匹配处理。
图3为本公开实施例提供的地图构建方法的流程示意图三，如图3所示，上述步骤S202中对点云二维信息和第一语义信息中的二维位置信息进行匹配处理的一种可选方式包括：
S301、根据所述道路元素的二维位置信息，确定所述点云二维信息中的每个像素点是否属于所述道路元素。
如前文所述，道路元素的第一语义信息可以对车载相机所采集到的图像进行处理得到，在处理时，可以按照特定方式选择图像中的一帧或多帧图像，针对每一帧图像，通过图像的语义分割处理，从图像中分割出道路元素。在分割出道路元素之后，可以获知图像中每个像素点是否属于道路元素，每个属于道路元素的像素点均具有特定的二维位置信息，该二维位置信息可以为二维坐标值。
进而，在本步骤中，在点云二维信息中，每个像素点也具有特定的二维位置信息。可选的，可以逐像素遍历点云二维信息中的每个像素点，判断每个像素点是否是道路元素中的一个像素点，若是，则可以判断该点云二维信息中的像素点是道路元素中的一个像素点。
示例性的，假设点云二维信息中有一个像素点(x1，y1)，针对该像素点，判断在与该点云二维信息对应的车载相机采集的一帧图像中，像素点(x1，y1)是否为道路元素中的一个像素点，若是，则可以确定点云二维信息中的像素点(x1，y1)属于上述道路元素。
值得说明的是，在本公开实施例中，进行匹配处理的道路元素的第一语义信息和点云信息为针对同一物理位置的信息，例如均是表征城市中某条特定道路的信息。因此，作为一种可选的实施方式，各传感器可以同时采集数据，并在采集的数据中添加时间戳信息，在对各传感器采集的数据进行处理时，可以在处理结果中保留该时间戳信息。进而，在本公开实施例中进行匹配时，可以选择时间戳相同的点云信息和第一语义信息进行上述匹配处理。例如在上述示例中，点云二维信息对应的车载相机采集的一帧图像，可以是时间戳与点云二维信息所属的点云信息的时间戳相同的一帧图像。
S302、响应于上述点云二维信息中的第一像素点属于上述道路元素，获取该第一像素点在上述点云信息中的三维位置信息以及上述第一像素点在上述第一语义信息中的属性信息，得到上述第一像素点的三维位置信息以及属性信息。
其中，上述第一像素点可以是指上述点云二维信息中的任意一个像素点。该第一像素点是从点云信息所在的三维坐标系投影到第一语义信息所在的二维坐标系后所得到的一个像素点，因此，该第一像素点可以唯一对应三维坐标系中的一个三维位置信息。因此，在确定该第一像素点属于上述道路元素的情况下，即可以同时得到该第一像素点的三维位置信息以及属性信息。经过该处理过程之后，对于地图中的道路元素中的每个点，既具有了三维位置信息，又具有了属性信息，从而得到高精度的地图中道路元素的信息。
本实施例中，首先根据道路元素的二维位置信息，确定出点云二维信息中的每个像素点是否属于道路元素，进而在一个像素点属于道路元素的情况下，可以同时得到在地图中该点的三维位置信息和属性信息，从而得到稿精度的地图中道路元素的信息。
在具体实施过程中，车载雷达传感器在多个时刻采集数据，并且在一个采集时刻中可能采集到车辆周围环境中的各种点云信息，例如前方路面的点云信息、周围的树木的点云信息、房屋的点云信息等。而在本公开实施例中，仅需要得到第一语义信息对应时刻下的点云信息并按照前述方法进行匹配处理。因此，作为一种可选的实施方式，在获取上述区域的图像信息和点云信息时，经车载导航系统获取所述车辆的位姿信息；可以根据车辆的位姿信息，从由所述车载雷达传感器采集到的点云信息所组成的点云信息集合中筛选出上述区域的点云信息。
具体的，如前文所述，车辆的传感器在采集信息的每个时刻，车辆均具有特定的位姿。如前文所述，在车载相机和车载雷达传感器采集信息的同时，可以通过GPS、IMU等传感器获取车辆的位姿。在本实施例中，可以以第一语义信息中的二维位置信息对应的时间戳为基准，查找在该时间戳对应的时刻的车辆的位姿。通过车辆的位姿，可以获知车辆在该时刻的朝向。进而可以仅从点云信息集合中选择出该朝向下车辆前方预设范围内的点云信息。该预设范围例如可以为预设尺寸的矩形框，在该预设范围内例如可以包括车辆前方的路面的点云信息。
其中，上述点云信息集合可以是对车载雷达传感器采集的大量点云信息进行处理之后所形成的点云信息的集合，该集合中的点云信息除了包括多个区域中路面的点云信息，还可以包括多个区域中车辆周围的树木、房屋、高架桥等环境的点云信息。
本实施例中，根据车辆位姿对点云信息进行筛选，后续的匹配处理仅使用筛选过的点云信息进行匹配，能够极大地减小匹配处理时的处理时间，避免无效的匹配处理过程，极大提升匹配处理的效率。
作为一种可选的实施方式，在从上述预先存储的点云信息集合中筛选出所述区域的点云信息之前，还可以根据多个区域对应的可行驶区域(FreeSpace)的信息，对由车载雷达传感器采集到的多个区域的点云信息进行筛选和拼接，得到上述点云信息集合。
其中，上述可行驶区域信息可以通过对与点云信息同一时刻采集的图像进行分割处理得到。可选的，可以对采集的图像信息进行可行驶区域的检测，得到区域内的可行驶区域的信息。车载雷达传感器所采集的多个区域的点云信息不仅包括可行驶区域的点云信息，还可能包括可行驶区域周围的树木、房屋、高架桥等环境的点云信息，在形成点云信息集合之前，首先从车载雷达传感器采集的每个区域的点云信息中筛选出每个区域内的可行驶区域的点云信息，仅保存这些点云信息并组成点云信息集合，后续匹配处理时，可以仅对可行驶区域的点云信息和第一语义信息进行匹配，这样可以避免无效的匹配处理，极大提升匹配处理的效率。
以下说明根据可行驶区域的信息对点云信息进行筛选和拼接的过程。
图4为本公开实施例提供的地图构建方法的流程示意图四，如图4所示，根据可行驶区域的信息对点云信息进行筛选和拼接的过程包括：
S401、对采集的每个区域的图像信息进行可行驶区域的检测，得到每个区域内的可行驶区域的信息。
在得到每个区域内的可行驶区域的信息的同时，还获取车载雷达传感器采集的所有点云信息以及车辆在各个时刻的位姿信息。
其中，车载雷达传感器采集的所有点云信息是指车载雷达传感器在多个时刻采集的点云信息，在每个时刻，相机采集到一帧图像，车载雷达传感器采集到对应的点云信息，GPS或IMU获取车辆的位姿信息。
其中，多个时刻采集的信息包括了多个区域的信息。
S402、从车载雷达传感器采集的每个区域的点云信息中筛选出每个区域内的可行驶区域的点云信息。
可选的，在得到每个区域内的可行驶区域的信息的基础上，通过对在与图像在同一时刻采集的点云信息进行坐标转换，将点云信息投影到图像所在的坐标系，并判断哪些点云信息投影之后的二维的点中属于可行驶区域中的点，进而，仅保留属于可行驶区域中的二维的点所对应的点云信息。由于在执行上述步骤S103的匹配处理以生成或更新地图中的高精度道路元素时，不需要涉及可行驶区域以外的信息，因此，本步骤中，按照可行驶区域筛选点云信息，仅保留可行驶区域对应的点云信息，通过这种处理，在保证后续匹配处理时能够得到完整准确的道路元素的三维位置信息的基础上，能够最大限度的减少点云信息的存储量，以及在匹配处理时减少无效的处理过程，极大提升匹配处理的效率。
对多帧图像分别进行上述处理之后，可以得到多个区域的可行驶区域的点云信息。
S403、对各区域内的可行驶区域的点云信息进行拼接，得到上述点云信息集合。
可选的，上述步骤S402-S403可以按照图像帧逐帧进行筛选和保存。每得到一帧图像对应区域的可行驶区域的信息，则对采集该图像的时刻所采集的点云信息进行筛选，得到该时刻对应区域的点云信息。进而，根据车辆在该时刻的位姿，将得到的该点云信息从雷达坐标系转换到NED坐标系。进而，对该转换过的点云信息建立索引并进行存储。当得到下一个时刻对应区域的下一点云信息后，再对该下一点云信息建立索引并存储，当完成多个区域的点云信息存储后，所得到的即为点云信息集合。其中，两个连续区域的索引可以连续。从而实现在存储点云信息时完成了点云信息的拼接，进而得到所有区域的点云信息，这些点云信息组成点云信息集合。
在上述步骤S401-S403所述的可选方式中，在生成点云信息集合时，对点云信息首先按照可行驶区域进行筛选，使得存储的点云信息集合中的点云信息仅是表征可行驶区域的点云信息，据此进行匹配时可以减小点云信息的存储量以及提升匹配处理效率。
作为另外一种可选的实施方式，在生成点云信息集合时，可以不按照可行驶区域进行筛选，而是在执行上述步骤S401之后，直接对所有的点云信息进行坐标转换，并按照索引进行保存。这种方式下，点云信息集合中的点云信息，除了能够表征可行驶区域的信息，同时，还能够表征可行驶区域之外的信息，例如车辆周围的树木、房屋、高架桥等环境。基于该方式，在上述步骤S101中所采集的点云信息能够表征上述两种信息。进而，在上述步骤S202中对该点云信息转换得到的点云二维信息和道路元素的二维位置信息进行匹配处理时，可以按照如下过程进行处理：
对所述图像信息进行可行驶区域的检测，得到所述区域内的可行驶区域的信息；判断上述点云二维信息中的第二像素点是否为区域内的可行驶区域中的像素点，响应于所述点云二维信息中的第二像素点为区域内的可行驶区域中的像素点，对该第二像素点和道路元素的二维位置信息进行匹配处理，得到上述区域的地图中的道路元素的第二语义信息。
其中，上述第二像素点可以是点云二维信息中的任意一个像素点。
在判断第二像素点是否为区域内的可行驶区域中的像素点时，可以直接判断第二像素点的坐标是否在可行驶区域内，若是，则可以确定第二像素点为可行驶区域中的像素点。进而，仅将点云二维信息中属于可行驶区域内的像素点与道路元素的二维位置信息进行匹配处理，以确定出区域中道路元素的三维位置信息和属性信息。
在该方式中，在对点云进行处理得到点云信息集合时，点云信息集合中的点云信息为包括了可行驶区域以及车辆周围环境中其他物体的信息，在进行匹配处理时，对点云信息的点云二维信息按照可行驶区域进行筛选，这种方式由于保存了完整的点云信息，因此，在一些需要依赖路面的可行驶区域之外的信息进行处理的场景中，可以利用该方式进行有效的处理，以得到准确的处理结果。
在该可选方式中，可行驶区域的信息可以通过对该区域对应的一帧图像进行图像的语义分割后得到。该区域对应的一帧图像的图像语义分割结果中，既可以包括上述的第一语义信息，即道路元素的二维位置信息和属性信息，同时，又可以包括可行驶区域的信息。
以下对进行图像语义分割，以得到上述第一语义信息和可行驶区域的信息的过程进行说明。
图5为本公开实施例提供的地图构建方法的流程示意图五，如图5所示，对图像分割得到上述第一语义信息和可行驶区域的信息的过程包括：
S501、对车载相机所采集的图像信息进行拆帧处理，得到多帧图像。
S502、对每一帧图像分别进行语义分割处理，得到道路元素的分割结果、道路元素的属性信息以及可行驶区域的分割结果。
其中，道路元素的分割结果包括一帧图像中每个像素点是否属于道路元素，道路元素的属性信息包括属于道路元素的像素点的属性信息。例如，当道路元素为车道线时，某个属于道路元素的像素点的属性信息可以包括颜色和/或线型等信息，例如白实线等等，可行驶区域的分割结果包括一帧图像中每个像素点是否属于可行驶区域。
作为一种可选的方式，可以基于神经网络进行语义分割处理。该神经网络例如可以是卷积神经网络、非卷积的多层神经网络等。
上述神经网络具有对相应元素进行分割处理的能力，在使用该神经网络进行语义分割处理之前，可以预先采用包括了相应元素标注信息的训练样本图像集，以监督或半监督的方式，对该神经网络进行训练。
S503、对上述道路元素的分割结果进行聚类处理，得到每帧图像中每条道路元素的信息。
所得到的每条道路元素的信息包括道路元素中每个像素点的二维位置信息和属性信息。
S504、保存上述道路元素中每个像素点的二维位置信息、属性信息以及图像中的可行驶区域的信息。
得到上述的信息后，可以基于这些信息，执行前述实施例中所述的处理过程。
在经过前述的过程得到区域中道路元素的三维位置信息和属性信息后，在生成区域地图或更新地图中对应区域的部分时，可以首先执行如下至少一种方式对所得到的信息执行后处理，进而使用后处理之后的道路元素的第二语义信息生成地图或更新地图中对应区域的部分。
第一种方式中，根据与上述道路元素对应的预设特征信息，对区域的地图中的道路元素进行筛选，得到筛选后的道路元素。
其中，上述预设特征信息是道路元素所固有的特征。在经过前述过程得到道路元素 的三维位置信息和属性信息之后，可以判断道路元素的三维位置信息和/或属性信息是否符合道路元素的预设特征，如果不符合，则可以从地图中删除该条道路元素。经过该处理过程，可以剔除掉错误的道路元素，进一步提升地图的准确性。
第二种方式中，对由上述三维位置信息所表征的道路元素中的点进行拟合处理，得到由线条参数所表征的道路元素。
经过前述的处理所得到的道路元素可以由大量的点来表征，每个点均具有三维位置信息和属性信息。在该方式中，通过对这些点进行拟合，可以拟合出由线条参数所表征的道路元素。其中，该线条参数可以包括线条的方程、线条的起点位置以及线条的终点位置。另外，属于同一条道路元素的点的属性信息相同，所拟合出的道路元素的属性信息可以为拟合之前各个点中任意一个点的属性信息。经过该处理之后，仅通过若干个线条参数即可表示出地图中的高精度的道路元素，从而极大减小道路元素的存储量，在使用地图进行驾驶控制等操作时，也可以极大提升操作效率。
第三种方式中，对上述道路元素进行采样处理，得到采样后的道路元素。
经过前述方法所得到的道路元素中，组成道路元素的点的数量巨大，在一些场景下，例如对处理速度要求较高的场景下，可以对道路元素进行采样，采样之后，在保证道路元素的精度满足场景要求的同时，可以极大减少道路元素的点的数量，在使用地图进行驾驶控制等操作时，可以极大提升操作处理的速度。
值得说明的是，在具体实施过程中，上述选择上述方式中的一种，也可以同时选择上述方式中的多种，即上述方式可以结合实施，本公式实施例对此不作具体限定。
在一些场景下，可能需要将经过本公式实施例的方式所得到的地图与通过其他方式所得到的地图进行融合并使用，不同方式所得到的地图所基于的坐标系可能不同。例如，在本公开实施例中，点云信息为NED坐标系下的信息，则所得到的地图中道路元素的三维位置信息为NED坐标下的位置信息。如果有另一地图，其位置信息为世界大地坐标系-84(World Geodetic System-84，WGS84)下的信息，则两个地图不能直接融合使用。因此，可选的，可以将经过前述过程所得到的三维位置信息从NED坐标系转换到另一地图对应的目标坐标系，得到三维位置信息在目标坐标系下的位置信息。经过该处理之后，可以实现不同地图之间的融合使用。
图6为本公开实施例提供的地图生成装置的模块结构图一，如图6所示，该装置包括：
采集模块601，用于经车载相机获取车辆所在道路环境至少部分区域的图像信息，经车载雷达传感器同步对应获取所述车辆所在道路环境至少部分区域的图像信息和点云信息；
分割模块602，用于对所述图像信息进行语义分割处理，得到所述区域中道路元素的第一语义信息，所述第一语义信息包括所述道路元素的二维位置信息和属性信息；
匹配模块603，用于对所述区域中的道路元素的第一语义信息和所述区域的点云信息进行匹配处理，得到所述区域中道路元素的第二语义信息，所述第二语义信息包括所述道路元素的三维位置信息和属性信息；
生成模块604，用于基于所述第二语义信息生成地图或更新地图中对应所述区域的部分。
该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
图7为本公开实施例提供的地图生成装置的模块结构图二，如图7所示，匹配模块603，包括：
转换单元6031，用于将所述点云信息进行三维坐标系至二维坐标系的坐标系转换，得到所述点云信息在所述二维位置信息所在坐标系下的点云二维信息；
匹配单元6032，用于对所述点云二维信息和所述道路元素的二维位置信息进行匹配处理，得到所述区域中所述道路元素的第二语义信息。
另一实施例中，匹配单元6032，用于根据所述道路元素的二维位置信息，确定所述点云二维信息中的每个像素点是否属于所述道路元素；响应于所述点云二维信息中的第一像素点属于所述道路元素，获取所述第一像素点在所述点云信息中的三维位置信息以及所述第一像素点在所述第一语义信息中的属性信息，得到所述第一像素点的三维位置信息以及属性信息；其中，所述第一像素点为所述点云二维信息中的任意一个像素点。
另一实施例中，转换单元6031，用于将所述点云信息从北东地坐标系转换至像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息，所述二维位置信息信息为所述像素坐标系下的信息。
另一实施例中，转换单元6031，用于将所述点云信息从北东地坐标系转换至惯性测量单元坐标系，得到所述点云信息在所述惯性测量单元坐标系下的信息；根据所述惯性测量单元坐标系与相机坐标系的旋转平移矩阵，将所述点云信息在所述惯性测量单元坐标系下的信息转换到所述相机坐标系下，得到所述点云信息在所述相机坐标系下的信息；根据相机的参数矩阵，将所述点云信息在所述相机坐标系下的信息转换到所述像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息。
另一实施例中，转换单元6031，用于将所述点云信息从北东地坐标系转换至雷达坐标系，得到所述点云信息在所述雷达坐标系下的信息；根据所述雷达坐标系与相机坐标系的旋转平移矩阵，将所述点云信息在所述雷达坐标系下的信息转换到所述相机坐标系下，得到所述点云信息在所述相机坐标系下的信息；根据相机的参数矩阵，将所述点云信息在所述相机坐标系下的信息转换到所述像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息。
另一实施例中，匹配单元6032，用于对所述图像信息进行可行驶区域的检测，得到所述区域内的可行驶区域的信息；响应于所述点云二维信息中的第二像素点为所述区域内的可行驶区域中的像素点，对所述第二像素点和所述道路元素的二维位置信息进行匹配处理，得到所述区域的地图中的所述道路元素的第二语义信息；其中，所述第二像素点为所述点云二维信息中的任意一个像素点。
图8为本公开实施例提供的地图生成装置的模块结构图三，如图8所示，所述装置还包括：
获取模块605，用于在采集所述区域的所述图像信息和所述点云信息的同时，经车载导航系统获取所述车辆的位姿信息；
第一筛选模块606，用于根据车辆的位姿信息，从由车载雷达传感器采集到的点云信息所组成的点云信息集合中筛选出所述区域的点云信息。
图9为本公开实施例提供的地图生成装置的模块结构图四，如图9所示，所述装置还包括：
检测模块607，用于对采集的每个区域的图像信息进行可行驶区域的检测，得到每个区域内的可行驶区域的信息；
第二筛选模块608，用于从车载雷达传感器采集的每个区域的点云信息中筛选出每个区域内的可行驶区域的点云信息；
拼接模块609，用于对各区域内的可行驶区域的点云信息进行拼接，得到所述点云信息集合。
另一实施例中，所述车载导航系统包括全球定位系统和/或惯性测量单元。
图10为本公开实施例提供的地图生成装置的模块结构图五，如图10所示，生成模块604，包括：
处理单元6041，用于使用如下一种或多种处理方式，对所述道路元素进行处理：
根据与所述道路元素对应的预设特征信息，对所述区域的地图中的所述道路元素进行筛选，得到筛选后的道路元素；对由所述三维位置信息所表征的所述道路元素中的点进行拟合处理，得到由线条参数所表征的所述道路元素；对所述道路元素进行采样处理，得到采样后的所述道路元素；将所述三维位置信息从所述北东地坐标系转换到目标坐标系，得到所述三维位置信息在所述目标坐标系下的位置信息。
生成单元6042，用于基于处理得到的所述道路元素的第二语义信息，生成地图或更新地图中对应所述区域的部分。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
图11为本公开实施例提供的一种电子设备的结构示意图。如图11示，该电子设备1100可以包括：处理器111、存储器112、通信接口113和系统总线114，所述存储器112和所述通信接口113可通过所述系统总线114与所述处理器111连接并完成相互间的通信，所述存储器112用于存储计算机执行指令，所述通信接口113用于和其他设备进行通信，所述处理器111执行所述计算机程序时实现如上述图1至图5任一所示实施例的方案。
该图11提到的系统总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
图12本公开实施例提供的驾驶控制方法的流程示意图，在上述实施例的基础上，本公开实施例还提供一种驾驶控制方法，包括：
S1201、驾驶控制装置获取车辆所在道路环境至少部分区域的地图信息，地图信息是采用本公开实施例提供的地图生成方法获取的；
S1202、驾驶控制装置根据所述地图信息对车辆进行智能驾驶控制。
本实施例的执行主体是驾驶控制装置，本实施例的驾驶控制装置与上述实施例所述的电子设备可以位于同一设备中，也可以分别部署在不同的设备中。本实施例的驾驶控制装置与上述的电子设备之间建立通信连接。
其中，地图信息是采用上述实施例的方法得到的，具体过程参照上述实施例的描述，在此不再赘述。
具体的，电子设备执行上述的地图生成方法，获得车辆所在道路环境至少部分区域的地图信息，并将车辆所在道路环境至少部分区域的地图信息输出。驾驶控制装置获取车辆所在道路环境至少部分区域的地图信息，并根据车辆所在道路环境至少部分区域的地图信息对车辆进行智能驾驶控制。
本实施例的智能驾驶包括辅助驾驶、自动驾驶、辅助驾驶和自动驾驶之间的驾驶模式切换中的至少一种。
上述智能驾驶控制可以包括以下至少之一：制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态、驾驶模式切换等，其中，驾驶模式切换可以是辅助驾驶与自动驾驶之间的切换，例如，将辅助驾驶切换为自动驾驶。
本实施例提供的驾驶控制方法，驾驶控制装置通过获取车辆所在道路环境至少部分区域的地图信息，并根据车辆所在道路环境至少部分区域的地图信息进行智能驾驶控制，进而提高了智能驾驶的安全性和可靠性。
图13本公开实施例提供的驾驶控制装置的结构示意图，在上述实施例的基础上，本公开实施例的驾驶控制装置1300，包括：
获取模块1301，用于获取车辆所在道路环境至少部分区域的地图信息，所述地图信息采用上述的地图生成方法得到。
驾驶控制模块1302，用于根据所述地图信息对车辆进行智能驾驶控制。
本公开实施例的驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图14为本公开实施例提供的智能驾驶系统的示意图，如图14所示，本实施例的智能驾驶系统1400包括：通信连接的传感器1401、电子设备1100和驾驶控制装置1300，其中电子设备1100如图11所示，驾驶控制装置1300如图13所示。
其中，传感器1401可以包括车载相机、车载雷达传感器、GPS、IMU等传感器。
具体的，如图14所示，在实际使用时，传感器1401采集车辆所在道路环境至少部分区域的图像信息、点云信息、车辆的位姿信息，并将这些信息发送给电子设备1100，电子设备1100接收到这些信息后，根据上述地图生成方法生成地图或更新地图中对应区域的部分。接着，电子设备1100将生成的地图或更新的地图发送给驾驶控制装置1300，驾驶控制装置1300根据生成的地图或更新的地图对车辆进行智能驾驶控制。
可选的，本公开实施例还提供一种计算机可读存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述图1至图5任一所示实施例的方法；或者，所述计算机程序被处理器执行时实现如上述图12所示实施例的方法。
可选的，本公开实施例还提供一种运行指令的芯片，所述芯片用于执行上述图1至图5任一所示实施例的方法；或者，所述芯片用于执行上述图12所示实施例的方法。
本公开实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述图1至图5任一所示实施例的方法；或者，所述至少一个处理器执行所述计算机程序时可实现上述图12所示实施例的方法。
在本公开实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。
可以理解的是，在本公开实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本公开实施例的范围。
可以理解的是，在本公开的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (27)

  1. 一种地图生成方法，包括：
    经车载相机获取车辆所在道路环境至少部分区域的图像信息，经车载雷达传感器同步对应获取所述车辆所在道路环境至少部分区域的点云信息；
    对所述图像信息进行语义分割处理，得到所述区域中道路元素的第一语义信息，所述第一语义信息包括所述道路元素的二维位置信息和属性信息；
    对所述区域中的道路元素的第一语义信息和所述区域的点云信息进行匹配处理，得到所述区域中道路元素的第二语义信息，所述第二语义信息包括所述道路元素的三维位置信息和属性信息；
    基于所述第二语义信息生成地图或更新地图中对应所述区域的部分。
  2. 根据权利要求1所述的方法，其中，所述对所述区域中的道路元素的第一语义信息和所述区域的点云信息进行匹配处理，得到所述区域中道路元素的第二语义信息，包括：
    将所述点云信息进行三维坐标系至二维坐标系的坐标系转换，得到所述点云信息在所述二维位置信息所在坐标系下的点云二维信息；
    对所述点云二维信息和所述道路元素的二维位置信息进行匹配处理，得到所述区域中所述道路元素的第二语义信息。
  3. 根据权利要求2所述的方法，其中，对所述点云二维信息和所述道路元素的二维位置信息进行匹配处理，得到所述区域中所述道路元素的第二语义信息，包括：
    根据所述道路元素的二维位置信息，确定所述点云二维信息中的每个像素点是否属于所述道路元素；
    响应于所述点云二维信息中的第一像素点属于所述道路元素，获取所述第一像素点在所述点云信息中的三维位置信息以及所述第一像素点在所述第一语义信息中的属性信息，得到所述第一像素点的三维位置信息以及属性信息；其中，所述第一像素点为所述点云二维信息中的任意一个像素点。
  4. 根据权利要求2或3所述的方法，其中，对所述点云信息进行三维坐标系至二维坐标系的坐标系转换，得到所述点云信息在所述二维位置信息所在坐标系下的点云二维信息，包括：
    将所述点云信息从北东地坐标系转换至像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息，所述二维位置信息为所述像素坐标系下的信息。
  5. 根据权利要求4所述的方法，其中，所述将所述点云信息从北东地坐标系转换至像素坐标系，包括：
    将所述点云信息从北东地坐标系转换至惯性测量单元坐标系，得到所述点云信息在所述惯性测量单元坐标系下的信息；
    根据所述惯性测量单元坐标系与相机坐标系的旋转平移矩阵，将所述点云信息在所述惯性测量单元坐标系下的信息转换到所述相机坐标系下，得到所述点云信息在所述相机坐标系下的信息；
    根据相机的参数矩阵，将所述点云信息在所述相机坐标系下的信息转换到所述像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息。
  6. 根据权利要求4所述的方法，其中，所述将所述点云信息从北东地坐标系转换至像素坐标系，包括：
    将所述点云信息从北东地坐标系转换至雷达坐标系，得到所述点云信息在所述雷达 坐标系下的信息；
    根据所述雷达坐标系与相机坐标系的旋转平移矩阵，将所述点云信息在所述雷达坐标系下的信息转换到所述相机坐标系下，得到所述点云信息在所述相机坐标系下的信息；
    根据相机的参数矩阵，将所述点云信息在所述相机坐标系下的信息转换到所述像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息。
  7. 根据权利要求2-6任一项所述的方法，其中，所述对所述点云二维信息和所述道路元素的二维位置信息进行匹配处理，得到所述区域中所述道路元素的第二语义信息，包括：
    对所述图像信息进行可行驶区域的检测，得到所述区域内的可行驶区域的信息；
    响应于所述点云二维信息中的第二像素点为所述区域内的可行驶区域中的像素点，对所述第二像素点和所述道路元素的二维位置信息进行匹配处理，得到所述区域的地图中的所述道路元素的第二语义信息；其中，所述第二像素点为所述点云二维信息中的任意一个像素点。
  8. 根据权利要求1-6任一项所述的方法，其中，所述对所述区域中的道路元素的第一语义信息和所述区域的点云信息进行匹配处理之前，还包括：
    在采集所述区域的所述图像信息和所述点云信息的同时，经车载导航系统获取所述车辆的位姿信息；
    根据车辆的位姿信息，从由所述车载雷达传感器采集到的点云信息所组成的点云信息集合中筛选出所述区域的点云信息。
  9. 根据权利要求8所述的方法，其中，所述从由采集到的点云信息所组成的点云信息集合中筛选出所述区域的点云信息之前，还包括：
    对采集的每个区域的图像信息进行可行驶区域的检测，得到每个区域内的可行驶区域的信息；
    从所述车载雷达传感器采集的每个区域的点云信息中筛选出每个区域内的可行驶区域的点云信息；
    对各区域内的可行驶区域的点云信息进行拼接，得到所述点云信息集合。
  10. 根据权利要求8或9所述的方法，其中，所述车载导航系统包括全球定位系统和/或惯性测量单元。
  11. 根据权利要求1-10任一项所述的方法，其中，所述基于所述第二语义信息生成地图或更新地图中对应所述区域的部分，包括：
    使用如下一种或多种处理方式，对所述道路元素进行处理：根据与所述道路元素对应的预设特征信息，对所述区域的地图中的所述道路元素进行筛选，得到筛选后的道路元素；对由所述三维位置信息所表征的所述道路元素中的点进行拟合处理，得到由线条参数所表征的所述道路元素；对所述道路元素进行采样处理，得到采样后的所述道路元素；将所述三维位置信息从北东地坐标系转换到目标坐标系，得到所述三维位置信息在所述目标坐标系下的位置信息；
    基于处理得到的所述道路元素的第二语义信息，生成地图或更新地图中对应所述区域的部分。
  12. 一种地图生成装置，包括：
    采集模块，用于经车载相机获取车辆所在道路环境至少部分区域的图像信息，经车载雷达传感器同步对应获取所述车辆所在道路环境至少部分区域的点云信息；
    分割模块，用于对所述图像信息进行语义分割处理，得到所述区域中道路元素的第一语义信息，所述第一语义信息包括所述道路元素的二维位置信息和属性信息；
    匹配模块，用于对所述区域中的道路元素的第一语义信息和所述区域的点云信息进行匹配处理，得到所述区域中道路元素的第二语义信息，所述第二语义信息包括所述道路元素的三维位置信息和属性信息；
    生成模块，用于基于所述第二语义信息生成地图或更新地图中对应所述区域的部分。
  13. 根据权利要求12所述的装置，其中，所述匹配模块，包括：
    转换单元，用于将所述点云信息进行三维坐标系至二维坐标系的坐标系转换，得到所述点云信息在所述二维位置信息所在坐标系下的点云二维信息；
    匹配单元，用于对所述点云二维信息和所述道路元素的二维位置信息进行匹配处理，得到所述区域中所述道路元素的第二语义信息。
  14. 根据权利要求13所述的装置，其中，所述匹配单元，用于根据所述道路元素的二维位置信息，确定所述点云二维信息中的每个像素点是否属于所述道路元素；响应于所述点云二维信息中的第一像素点属于所述道路元素，获取所述第一像素点在所述点云信息中的三维位置信息以及所述第一像素点在所述第一语义信息中的属性信息，得到所述第一像素点的三维位置信息以及属性信息；其中，所述第一像素点为所述点云二维信息中的任意一个像素点。
  15. 根据权利要求13或14所述的装置，其中，所述转换单元，用于将所述点云信息从北东地坐标系转换至像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息，所述二维位置信息信息为所述像素坐标系下的信息。
  16. 根据权利要求15所述的装置，其中，所述转换单元，用于将所述点云信息从北东地坐标系转换至惯性测量单元坐标系，得到所述点云信息在所述惯性测量单元坐标系下的信息；根据所述惯性测量单元坐标系与相机坐标系的旋转平移矩阵，将所述点云信息在所述惯性测量单元坐标系下的信息转换到所述相机坐标系下，得到所述点云信息在所述相机坐标系下的信息；根据相机的参数矩阵，将所述点云信息在所述相机坐标系下的信息转换到所述像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息。
  17. 根据权利要求15所述的装置，其中，所述转换单元，用于将所述点云信息从北东地坐标系转换至雷达坐标系，得到所述点云信息在所述雷达坐标系下的信息；根据所述雷达坐标系与相机坐标系的旋转平移矩阵，将所述点云信息在所述雷达坐标系下的信息转换到所述相机坐标系下，得到所述点云信息在所述相机坐标系下的信息；根据相机的参数矩阵，将所述点云信息在所述相机坐标系下的信息转换到所述像素坐标系，得到所述点云信息在所述像素坐标系下的点云二维信息。
  18. 根据权利要求13-17任一项所述的装置，其中，所述匹配单元，用于对所述图像信息进行可行驶区域的检测，得到所述区域内的可行驶区域的信息；响应于所述点云二维信息中的第二像素点为所述区域内的可行驶区域中的像素点，对所述第二像素点和所述道路元素的二维位置信息进行匹配处理，得到所述区域的地图中的所述道路元素的第二语义信息；其中，所述第二像素点为所述点云二维信息中的任意一个像素点。
  19. 根据权利要求12-17任一项所述的装置，其中，所述装置还包括：
    获取模块，用于在采集所述区域的所述图像信息和所述点云信息的同时，经车载导航系统获取所述车辆的位姿信息；
    第一筛选模块，用于根据车辆的位姿信息，从由所述车载雷达传感器采集到的点云信息所组成的点云信息集合中筛选出所述区域的点云信息。
  20. 根据权利要求19所述的装置，其中，所述装置还包括：
    检测模块，用于对采集的每个区域的图像信息进行可行驶区域的检测，得到每个区 域内的可行驶区域的信息；
    第二筛选模块，用于从所述车载雷达传感器采集的每个区域的点云信息中筛选出每个区域内的可行驶区域的点云信息；
    拼接模块，用于对各区域内的可行驶区域的点云信息进行拼接，得到所述点云信息集合。
  21. 根据权利要求20所述的装置，其中，所述车载导航系统包括全球定位系统和/或惯性测量单元。
  22. 根据权利要求12-21任一项所述的装置，其中，所述生成模块，包括：
    处理单元，用于使用如下一种或多种处理方式，对所述道路元素进行处理：
    根据与所述道路元素对应的预设特征信息，对所述区域的地图中的所述道路元素进行筛选，得到筛选后的道路元素；对由所述三维位置信息所表征的所述道路元素中的点进行拟合处理，得到由线条参数所表征的所述道路元素；对所述道路元素进行采样处理，得到采样后的所述道路元素；将所述三维位置信息从北东地坐标系转换到目标坐标系，得到所述三维位置信息在所述目标坐标系下的位置信息；
    生成单元，用于基于处理得到的所述道路元素的第二语义信息，生成地图或更新地图中对应所述区域的部分。
  23. 一种驾驶控制方法，包括：
    驾驶控制装置获取车辆所在道路环境至少部分区域的地图信息，地图信息采用如权利要求1-11任一项所述的地图生成方法得到；
    所述驾驶控制装置根据所述地图信息对车辆进行智能驾驶控制。
  24. 一种驾驶控制装置，包括：
    获取模块，用于获取车辆所在道路环境至少部分区域的地图信息，地图信息采用如权利要求1-11任一项所述的地图生成方法得到；
    驾驶控制模块，用于根据所述地图信息对车辆进行智能驾驶控制。
  25. 一种电子设备，包括：
    存储器，用于存储程序指令；
    处理器，用于调用并执行所述存储器中的程序指令，执行权利要求1-11任一项所述的方法步骤。
  26. 一种智能驾驶系统，包括：通信连接的传感器、如权利要求25所述的电子设备和如权利要求24所述的驾驶控制装置，所述传感器用于采集车辆所在道路环境至少部分区域的图像信息和点云信息。
  27. 一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的方法步骤；或者，所述计算机程序被处理器执行时实现权利要求23所述的方法步骤。
PCT/CN2020/075083 2019-06-10 2020-02-13 地图生成方法、驾驶控制方法、装置、电子设备及系统 WO2020248614A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021531066A JP2022509302A (ja) 2019-06-10 2020-02-13 地図生成方法、運転制御方法、装置、電子機器及びシステム
KR1020217015319A KR20210082204A (ko) 2019-06-10 2020-02-13 지도 생성 방법, 운전 제어 방법, 장치, 전자 기기 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910496345.3 2019-06-10
CN201910496345.3A CN112069856B (zh) 2019-06-10 2019-06-10 地图生成方法、驾驶控制方法、装置、电子设备及系统

Publications (1)

Publication Number Publication Date
WO2020248614A1 true WO2020248614A1 (zh) 2020-12-17

Family

ID=73658193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/075083 WO2020248614A1 (zh) 2019-06-10 2020-02-13 地图生成方法、驾驶控制方法、装置、电子设备及系统

Country Status (4)

Country Link
JP (1) JP2022509302A (zh)
KR (1) KR20210082204A (zh)
CN (1) CN112069856B (zh)
WO (1) WO2020248614A1 (zh)

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633722A (zh) * 2020-12-29 2021-04-09 交通运输部公路科学研究所 车载道路安全风险评估系统及方法
CN112764004A (zh) * 2020-12-22 2021-05-07 中国第一汽车股份有限公司 一种点云处理方法、装置、设备及存储介质
CN112802126A (zh) * 2021-02-26 2021-05-14 上海商汤临港智能科技有限公司 一种标定方法、装置、计算机设备和存储介质
CN112862881A (zh) * 2021-02-24 2021-05-28 清华大学 基于众包多车摄像头数据的道路地图构建与融合的方法
CN112907760A (zh) * 2021-02-09 2021-06-04 浙江商汤科技开发有限公司 三维对象的标注方法及装置、工具、电子设备和存储介质
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN112966059A (zh) * 2021-03-02 2021-06-15 北京百度网讯科技有限公司 针对定位数据的数据处理方法、装置、电子设备和介质
CN112967398A (zh) * 2021-03-01 2021-06-15 北京奇艺世纪科技有限公司 一种三维数据重建方法、装置及电子设备
CN113052839A (zh) * 2021-04-28 2021-06-29 闫丹凤 一种地图检测方法及装置
CN113189610A (zh) * 2021-04-28 2021-07-30 中国科学技术大学 地图增强的自动驾驶多目标追踪方法和相关设备
CN113191323A (zh) * 2021-05-24 2021-07-30 上海商汤临港智能科技有限公司 一种语义元素处理的方法、装置、电子设备及存储介质
CN113343858A (zh) * 2021-06-10 2021-09-03 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN113340314A (zh) * 2021-06-01 2021-09-03 苏州天准科技股份有限公司 局部代价地图的生成方法、存储介质和智能无人巡检车
CN113421327A (zh) * 2021-05-24 2021-09-21 郭宝宇 一种三维模型的构建方法、构建装置以及电子设备
CN113420805A (zh) * 2021-06-21 2021-09-21 车路通科技(成都)有限公司 视频和雷达的动态轨迹图像融合方法、装置、设备及介质
CN113435392A (zh) * 2021-07-09 2021-09-24 阿波罗智能技术(北京)有限公司 应用于自动泊车的车辆定位方法、装置及车辆
CN113688935A (zh) * 2021-09-03 2021-11-23 阿波罗智能技术(北京)有限公司 高精地图的检测方法、装置、设备以及存储介质
CN113762413A (zh) * 2021-09-30 2021-12-07 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN113807435A (zh) * 2021-09-16 2021-12-17 中国电子科技集团公司第五十四研究所 一种基于多传感器的遥感图像特征点高程获取方法
CN114061564A (zh) * 2021-11-01 2022-02-18 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114088082A (zh) * 2021-11-01 2022-02-25 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114111758A (zh) * 2021-11-01 2022-03-01 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114120631A (zh) * 2021-10-28 2022-03-01 新奇点智能科技集团有限公司 构建动态高精度地图的方法、装置及交通云控平台
CN114141010A (zh) * 2021-11-08 2022-03-04 南京交通职业技术学院 一种基于云平台数据的共享式交通控制方法
CN114356078A (zh) * 2021-12-15 2022-04-15 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备
CN114374723A (zh) * 2022-01-17 2022-04-19 长春师范大学 一种计算机控制的智能监控系统
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114425774A (zh) * 2022-01-21 2022-05-03 深圳优地科技有限公司 机器人行走道路的识别方法、识别设备以及存储介质
CN114445802A (zh) * 2022-01-29 2022-05-06 北京百度网讯科技有限公司 点云处理方法、装置及车辆
CN114445415A (zh) * 2021-12-14 2022-05-06 中国科学院深圳先进技术研究院 可行驶区域的分割方法以及相关装置
CN114494267A (zh) * 2021-11-30 2022-05-13 北京国网富达科技发展有限责任公司 一种变电站和电缆隧道场景语义构建系统和方法
CN114511600A (zh) * 2022-04-20 2022-05-17 北京中科慧眼科技有限公司 基于点云配准的位姿计算方法和系统
CN114526721A (zh) * 2021-12-31 2022-05-24 易图通科技（北京）有限公司 地图对齐处理方法、装置及可读存储介质
CN114581621A (zh) * 2022-03-07 2022-06-03 北京百度网讯科技有限公司 地图数据处理方法、装置、电子设备和介质
CN114581287A (zh) * 2022-02-18 2022-06-03 高德软件有限公司 数据处理方法以及装置
CN114620055A (zh) * 2022-03-15 2022-06-14 阿波罗智能技术(北京)有限公司 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114754779A (zh) * 2022-04-27 2022-07-15 镁佳(北京)科技有限公司 一种定位与建图方法、装置及电子设备
CN114782342A (zh) * 2022-04-12 2022-07-22 北京瓦特曼智能科技有限公司 城市硬件设施缺陷的检测方法及装置
CN115290104A (zh) * 2022-07-14 2022-11-04 襄阳达安汽车检测中心有限公司 仿真地图生成方法、装置、设备及可读存储介质
CN115435773A (zh) * 2022-09-05 2022-12-06 北京远见知行科技有限公司 室内停车场高精度地图采集装置
CN115523929A (zh) * 2022-09-20 2022-12-27 北京四维远见信息技术有限公司 一种基于slam的车载组合导航方法、装置、设备及介质
CN116027375A (zh) * 2023-03-29 2023-04-28 智道网联科技(北京)有限公司 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN116030212A (zh) * 2023-03-28 2023-04-28 北京集度科技有限公司 一种建图方法、设备、车辆及程序产品
CN116295463A (zh) * 2023-02-27 2023-06-23 北京辉羲智能科技有限公司 一种导航地图元素的自动标注方法
WO2023123837A1 (zh) * 2021-12-30 2023-07-06 广州小鹏自动驾驶科技有限公司 地图的生成方法、装置、电子设备及存储介质
CN116821854A (zh) * 2023-08-30 2023-09-29 腾讯科技（深圳）有限公司 一种目标投影的匹配融合方法及相关装置
CN117315176A (zh) * 2023-10-07 2023-12-29 北京速度时空信息有限公司 一种高精度地图生成方法及系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667837A (zh) * 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
CN118200353A (zh) * 2020-12-28 2024-06-14 华为技术有限公司 用于车联网的数据传输方法、装置、存储介质和系统
JP2022137534A (ja) * 2021-03-09 2022-09-22 本田技研工業株式会社 地図生成装置および車両位置認識装置
CN112960000A (zh) * 2021-03-15 2021-06-15 新石器慧义知行智驰(北京)科技有限公司 高精地图更新方法、装置、电子设备和存储介质
CN113066009B (zh) * 2021-03-24 2023-08-25 北京斯年智驾科技有限公司 港口高精度地图集的构建方法、装置、系统和存储介质
CN113034566B (zh) * 2021-05-28 2021-09-24 湖北亿咖通科技有限公司 高精度地图构建方法、装置、电子设备及存储介质
CN113701770A (zh) * 2021-07-16 2021-11-26 西安电子科技大学 一种高精地图生成方法及系统
US11608084B1 (en) * 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection
CN113822932B (zh) * 2021-08-30 2023-08-18 亿咖通(湖北)技术有限公司 设备定位方法、装置、非易失性存储介质及处理器
CN113836251B (zh) * 2021-09-17 2024-09-17 中国第一汽车股份有限公司 一种认知地图构建方法、装置、设备及介质
CN114111813B (zh) * 2021-10-18 2024-06-18 阿波罗智能技术(北京)有限公司 高精地图元素更新方法、装置、电子设备及存储介质
CN114185613A (zh) * 2021-11-30 2022-03-15 广州景骐科技有限公司 一种语义地图分块方法、装置、交通工具及存储介质
CN114440856A (zh) * 2022-01-21 2022-05-06 北京地平线信息技术有限公司 一种构建语义地图的方法及装置
CN115527028A (zh) * 2022-08-16 2022-12-27 北京百度网讯科技有限公司 地图数据处理方法及装置
CN116182831A (zh) * 2022-12-07 2023-05-30 北京斯年智驾科技有限公司 车辆定位方法、装置、设备、介质及车辆
CN115861561B (zh) * 2023-02-24 2023-05-30 航天宏图信息技术股份有限公司 一种基于语义约束的等高线生成方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910441B2 (en) * 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
CN109410301A (zh) * 2018-10-16 2019-03-01 张亮 面向无人驾驶汽车的高精度语义地图制作方法
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
CN107818288B (zh) * 2016-09-13 2019-04-09 腾讯科技（深圳）有限公司 标志牌信息获取方法及装置
US11761790B2 (en) * 2016-12-09 2023-09-19 Tomtom Global Content B.V. Method and system for image-based positioning and mapping for a road network utilizing object detection
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
CN109117718B (zh) * 2018-07-02 2021-11-26 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109064506B (zh) * 2018-07-04 2020-03-13 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910441B2 (en) * 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
CN109410301A (zh) * 2018-10-16 2019-03-01 张亮 面向无人驾驶汽车的高精度语义地图制作方法
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764004A (zh) * 2020-12-22 2021-05-07 中国第一汽车股份有限公司 一种点云处理方法、装置、设备及存储介质
CN112764004B (zh) * 2020-12-22 2024-05-03 中国第一汽车股份有限公司 一种点云处理方法、装置、设备及存储介质
CN112633722B (zh) * 2020-12-29 2024-01-12 交通运输部公路科学研究所 车载道路安全风险评估系统及方法
CN112633722A (zh) * 2020-12-29 2021-04-09 交通运输部公路科学研究所 车载道路安全风险评估系统及方法
CN112907760A (zh) * 2021-02-09 2021-06-04 浙江商汤科技开发有限公司 三维对象的标注方法及装置、工具、电子设备和存储介质
CN112907760B (zh) * 2021-02-09 2023-03-24 浙江商汤科技开发有限公司 三维对象的标注方法及装置、工具、电子设备和存储介质
CN112862881B (zh) * 2021-02-24 2023-02-07 清华大学 基于众包多车摄像头数据的道路地图构建与融合的方法
CN112862881A (zh) * 2021-02-24 2021-05-28 清华大学 基于众包多车摄像头数据的道路地图构建与融合的方法
CN112802126A (zh) * 2021-02-26 2021-05-14 上海商汤临港智能科技有限公司 一种标定方法、装置、计算机设备和存储介质
CN112967398A (zh) * 2021-03-01 2021-06-15 北京奇艺世纪科技有限公司 一种三维数据重建方法、装置及电子设备
CN112967398B (zh) * 2021-03-01 2023-07-25 北京奇艺世纪科技有限公司 一种三维数据重建方法、装置及电子设备
CN112966059A (zh) * 2021-03-02 2021-06-15 北京百度网讯科技有限公司 针对定位数据的数据处理方法、装置、电子设备和介质
CN112966059B (zh) * 2021-03-02 2023-11-24 北京百度网讯科技有限公司 针对定位数据的数据处理方法、装置、电子设备和介质
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113189610A (zh) * 2021-04-28 2021-07-30 中国科学技术大学 地图增强的自动驾驶多目标追踪方法和相关设备
CN113052839A (zh) * 2021-04-28 2021-06-29 闫丹凤 一种地图检测方法及装置
CN113421327A (zh) * 2021-05-24 2021-09-21 郭宝宇 一种三维模型的构建方法、构建装置以及电子设备
CN113191323A (zh) * 2021-05-24 2021-07-30 上海商汤临港智能科技有限公司 一种语义元素处理的方法、装置、电子设备及存储介质
CN113340314A (zh) * 2021-06-01 2021-09-03 苏州天准科技股份有限公司 局部代价地图的生成方法、存储介质和智能无人巡检车
CN113343858A (zh) * 2021-06-10 2021-09-03 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN113343858B (zh) * 2021-06-10 2024-03-12 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN113420805A (zh) * 2021-06-21 2021-09-21 车路通科技(成都)有限公司 视频和雷达的动态轨迹图像融合方法、装置、设备及介质
CN113435392A (zh) * 2021-07-09 2021-09-24 阿波罗智能技术(北京)有限公司 应用于自动泊车的车辆定位方法、装置及车辆
CN113688935A (zh) * 2021-09-03 2021-11-23 阿波罗智能技术(北京)有限公司 高精地图的检测方法、装置、设备以及存储介质
CN113807435A (zh) * 2021-09-16 2021-12-17 中国电子科技集团公司第五十四研究所 一种基于多传感器的遥感图像特征点高程获取方法
CN113762413A (zh) * 2021-09-30 2021-12-07 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN113762413B (zh) * 2021-09-30 2023-12-26 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN114120631A (zh) * 2021-10-28 2022-03-01 新奇点智能科技集团有限公司 构建动态高精度地图的方法、装置及交通云控平台
CN114111758A (zh) * 2021-11-01 2022-03-01 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114088082B (zh) * 2021-11-01 2024-04-16 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114061564B (zh) * 2021-11-01 2022-12-13 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114061564A (zh) * 2021-11-01 2022-02-18 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114088082A (zh) * 2021-11-01 2022-02-25 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114111758B (zh) * 2021-11-01 2024-06-04 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114141010A (zh) * 2021-11-08 2022-03-04 南京交通职业技术学院 一种基于云平台数据的共享式交通控制方法
CN114494267A (zh) * 2021-11-30 2022-05-13 北京国网富达科技发展有限责任公司 一种变电站和电缆隧道场景语义构建系统和方法
CN114445415A (zh) * 2021-12-14 2022-05-06 中国科学院深圳先进技术研究院 可行驶区域的分割方法以及相关装置
CN114356078B (zh) * 2021-12-15 2024-03-19 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备
CN114356078A (zh) * 2021-12-15 2022-04-15 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备
WO2023123837A1 (zh) * 2021-12-30 2023-07-06 广州小鹏自动驾驶科技有限公司 地图的生成方法、装置、电子设备及存储介质
CN114526721B (zh) * 2021-12-31 2024-05-24 易图通科技（北京）有限公司 地图对齐处理方法、装置及可读存储介质
CN114526721A (zh) * 2021-12-31 2022-05-24 易图通科技（北京）有限公司 地图对齐处理方法、装置及可读存储介质
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114413881B (zh) * 2022-01-07 2023-09-01 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114374723A (zh) * 2022-01-17 2022-04-19 长春师范大学 一种计算机控制的智能监控系统
CN114425774B (zh) * 2022-01-21 2023-11-03 深圳优地科技有限公司 机器人行走道路的识别方法、识别设备以及存储介质
CN114425774A (zh) * 2022-01-21 2022-05-03 深圳优地科技有限公司 机器人行走道路的识别方法、识别设备以及存储介质
CN114445802A (zh) * 2022-01-29 2022-05-06 北京百度网讯科技有限公司 点云处理方法、装置及车辆
CN114581287A (zh) * 2022-02-18 2022-06-03 高德软件有限公司 数据处理方法以及装置
CN114581621A (zh) * 2022-03-07 2022-06-03 北京百度网讯科技有限公司 地图数据处理方法、装置、电子设备和介质
CN114620055B (zh) * 2022-03-15 2022-11-25 阿波罗智能技术(北京)有限公司 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114620055A (zh) * 2022-03-15 2022-06-14 阿波罗智能技术(北京)有限公司 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114782342B (zh) * 2022-04-12 2024-02-09 北京瓦特曼智能科技有限公司 城市硬件设施缺陷的检测方法及装置
CN114782342A (zh) * 2022-04-12 2022-07-22 北京瓦特曼智能科技有限公司 城市硬件设施缺陷的检测方法及装置
CN114511600A (zh) * 2022-04-20 2022-05-17 北京中科慧眼科技有限公司 基于点云配准的位姿计算方法和系统
CN114754779A (zh) * 2022-04-27 2022-07-15 镁佳(北京)科技有限公司 一种定位与建图方法、装置及电子设备
CN115290104A (zh) * 2022-07-14 2022-11-04 襄阳达安汽车检测中心有限公司 仿真地图生成方法、装置、设备及可读存储介质
CN115435773A (zh) * 2022-09-05 2022-12-06 北京远见知行科技有限公司 室内停车场高精度地图采集装置
CN115435773B (zh) * 2022-09-05 2024-04-05 北京远见知行科技有限公司 室内停车场高精度地图采集装置
CN115523929A (zh) * 2022-09-20 2022-12-27 北京四维远见信息技术有限公司 一种基于slam的车载组合导航方法、装置、设备及介质
CN116295463A (zh) * 2023-02-27 2023-06-23 北京辉羲智能科技有限公司 一种导航地图元素的自动标注方法
CN116030212A (zh) * 2023-03-28 2023-04-28 北京集度科技有限公司 一种建图方法、设备、车辆及程序产品
CN116027375A (zh) * 2023-03-29 2023-04-28 智道网联科技(北京)有限公司 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN116821854A (zh) * 2023-08-30 2023-09-29 腾讯科技（深圳）有限公司 一种目标投影的匹配融合方法及相关装置
CN116821854B (zh) * 2023-08-30 2023-12-08 腾讯科技（深圳）有限公司 一种目标投影的匹配融合方法及相关装置
CN117315176A (zh) * 2023-10-07 2023-12-29 北京速度时空信息有限公司 一种高精度地图生成方法及系统

Also Published As

Publication number Publication date
JP2022509302A (ja) 2022-01-20
CN112069856A (zh) 2020-12-11
CN112069856B (zh) 2024-06-14
KR20210082204A (ko) 2021-07-02

Similar Documents

Publication Publication Date Title
WO2020248614A1 (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
US11105638B2 (en) Method, apparatus, and computer readable storage medium for updating electronic map
KR102266830B1 (ko) 차선 결정 방법, 디바이스 및 저장 매체
CN110160502B (zh) 地图要素提取方法、装置及服务器
CN111999752B (zh) 确定道路信息数据的方法、装置和计算机存储介质
WO2020098316A1 (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
WO2020052530A1 (zh) 一种图像处理方法、装置以及相关设备
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
US11590989B2 (en) Training data generation for dynamic objects using high definition map data
WO2020043081A1 (zh) 定位技术
WO2021051344A1 (zh) 高精度地图中车道线的确定方法和装置
WO2021253245A1 (zh) 识别车辆变道趋势的方法和装置
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
WO2020156923A2 (en) Map and method for creating a map
CN113286081B (zh) 机场全景视频的目标识别方法、装置、设备及介质
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
WO2022166606A1 (zh) 一种目标检测方法及装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
WO2023155580A1 (zh) 一种对象识别方法和装置
US20220197893A1 (en) Aerial vehicle and edge device collaboration for visual positioning image database management and updating
CN113378605A (zh) 多源信息融合方法及装置、电子设备和存储介质
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN115344655A (zh) 地物要素的变化发现方法、装置及存储介质
CN112099481A (zh) 用于构建道路模型的方法和系统
US20220281459A1 (en) Autonomous driving collaborative sensing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20823591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217015319

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021531066

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 01.02.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20823591

Country of ref document: EP

Kind code of ref document: A1