WO2020172875A1 - 道路结构信息的提取方法、无人机及自动驾驶系统 - Google Patents

道路结构信息的提取方法、无人机及自动驾驶系统 Download PDF

Info

Publication number
WO2020172875A1
WO2020172875A1 PCT/CN2019/076568 CN2019076568W WO2020172875A1 WO 2020172875 A1 WO2020172875 A1 WO 2020172875A1 CN 2019076568 W CN2019076568 W CN 2019076568W WO 2020172875 A1 WO2020172875 A1 WO 2020172875A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
information
image data
lane
road structure
Prior art date
Application number
PCT/CN2019/076568
Other languages
English (en)
French (fr)
Inventor
李鑫超
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980005571.5A priority Critical patent/CN111316288A/zh
Priority to PCT/CN2019/076568 priority patent/WO2020172875A1/zh
Publication of WO2020172875A1 publication Critical patent/WO2020172875A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the embodiment of the present invention relates to the field of unmanned driving technology, in particular to a method for extracting road structure information, a drone, and an automatic driving system.
  • the road structure information included in the road data is usually marked by manual labeling, and road structure information cannot be obtained in real time.
  • the embodiment of the present invention provides a method for extracting road structure information, an unmanned aerial vehicle, and an automatic driving system, so as to solve the problem of manual labeling required in the prior art and low efficiency of obtaining road structure information.
  • an embodiment of the present invention provides a method for extracting road structure information, including:
  • the road structure information includes lane grouping information.
  • an embodiment of the present invention provides an unmanned aerial vehicle including a fuselage and a processor
  • the processor is used for:
  • an embodiment of the present invention provides an automatic driving system, including a memory and a processor;
  • the processor is used for:
  • the road structure information includes lane grouping information.
  • an embodiment of the present invention provides an apparatus (for example, a chip, an integrated circuit, etc.) for extracting road structure information, including a memory and a processor.
  • the memory is used to store codes for executing the method for extracting road structure information.
  • the processor is configured to call the code stored in the memory to execute the method for extracting road structure information according to the embodiment of the present invention in the first aspect.
  • an embodiment of the present invention provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes at least one piece of code, and the at least one piece of code can be executed by a computer to control all
  • the computer executes the method for extracting road structure information described in the embodiment of the present invention in the first aspect.
  • an embodiment of the present invention provides a computer program, when the computer program is executed by a computer, it is used to implement the method for extracting road structure information according to the embodiment of the present invention in the first aspect.
  • the method for extracting road structure information, the drone, and the automatic driving system obtained at least one frame of image data of the road, and determine the semantic map of the road according to the at least one frame of image data, and determine the semantic map of the road according to the semantic map and the road
  • the structure model determines the road structure information of the road.
  • the road structure information includes lane grouping information. It realizes the automatic extraction of road structure information without manual labeling. It can extract road structure information in real time and improve the extraction efficiency of road structure information.
  • the structure information includes not only lane information but also lane grouping information, and the description of the road structure is more detailed.
  • FIG. 1 is a schematic architecture diagram of an unmanned aerial vehicle system provided according to an embodiment of the present invention
  • FIG. 2 is a flowchart of an embodiment of a method for extracting road structure information provided by the present invention
  • 3A to 3C are schematic diagrams of an embodiment of a method for extracting road structure information provided by the present invention.
  • FIG. 4 is a schematic structural diagram of an embodiment of the drone provided by the present invention.
  • Fig. 5 is a schematic structural diagram of an embodiment of an automatic driving system provided by the present invention.
  • a component when a component is said to be “fixed to” another component, it can be directly on the other component or a central component may also exist. When a component is considered to be “connected” to another component, it can be directly connected to another component or there may be a centered component at the same time.
  • Fig. 1 is a schematic architecture diagram of an unmanned aerial vehicle system provided according to an embodiment of the present invention.
  • the UAV system 100 provided in this embodiment may include a UAV 110, a display device 130 and a control terminal 140.
  • the UAV 110 may include a power system 150, a movement control system 160, a frame (not shown in the figure), and a pan/tilt 120 carried on the frame.
  • the drone 110 can wirelessly communicate with the control terminal 140 and the display device 130.
  • the unmanned aerial vehicle can be an unmanned vehicle or an unmanned aircraft, and the following embodiments take an unmanned vehicle as an example for description.
  • the power system 150 may include one or more electronic speed governors (referred to as ESCs for short) 151 and one or more motors 152.
  • the motor 152 is connected to the electronic speed governor 151; the electronic speed governor 151 is used to receive the driving signal generated by the movement control system 160, and provide a driving current to the motor 152 according to the driving signal to control the speed of the motor 152.
  • the motor 152 is used to drive wheels to rotate, thereby providing power for the movement of the unmanned vehicle 110, and the power enables the unmanned vehicle 110 to realize one or more degrees of freedom of movement.
  • the motor 152 may be a DC motor or an AC motor.
  • the motor 152 may be a brushless motor or a brushed motor.
  • the mobile control system 160 may include a mobile controller 161 and a sensing system 162.
  • the sensing system 162 is used to measure the motion information of the unmanned vehicle 110, for example, the position information and motion state information of the unmanned vehicle 110 in space, such as three-dimensional position, three-dimensional angle, three-dimensional velocity, three-dimensional acceleration, and three-dimensional angular velocity.
  • the sensing system 162 may include, for example, at least one of sensors such as a gyroscope, an ultrasonic sensor, an electronic compass, an inertial measurement unit (IMU), a vision sensor, a global navigation satellite system, and a barometer.
  • the global navigation satellite system may be a global positioning system (Global Positioning System, GPS).
  • the movement controller 161 is used to control the movement of the unmanned vehicle 110.
  • the movement of the unmanned vehicle 110 can be controlled according to the movement information measured by the sensor system 162.
  • the mobile controller 161 may control the unmanned vehicle 110 in accordance with pre-programmed program instructions, and may also control the unmanned vehicle 110 by responding to one or more control instructions from the control terminal 140.
  • the pan/tilt head 120 may include a motor 122.
  • the pan/tilt 120 can be used to carry the camera 123.
  • the movement controller 161 can control the movement of the pan-tilt 120 through the motor 122.
  • the pan/tilt head 120 may further include a controller for controlling the movement of the pan/tilt head 120 by controlling the motor 122.
  • the pan-tilt 120 may be independent of the unmanned vehicle 110 or a part of the unmanned vehicle 110.
  • the motor 122 may be a DC motor or an AC motor.
  • the motor 122 may be a brushless motor or a brushed motor.
  • the pan-tilt 120 may be located on the top of the unmanned vehicle 110, or may be located on the bottom of the unmanned vehicle 110 or elsewhere.
  • the photographing device 123 may be, for example, a device for capturing images, such as a camera, a video camera, or a radar.
  • the photographing device 123 may communicate with the mobile controller 161 and perform photographing under the control of the mobile controller 161.
  • the imaging device 123 of this embodiment at least includes a photosensitive element, and the photosensitive element is, for example, a complementary metal oxide semiconductor (Complementary Metal Oxide Semiconductor, CMOS) sensor or a charge-coupled device (Charge-coupled Device, CCD) sensor.
  • CMOS complementary Metal Oxide Semiconductor
  • CCD charge-coupled Device
  • the display device 130 may communicate with the unmanned vehicle 110 in a wireless manner, and may be used to display posture information of the unmanned vehicle 110.
  • the image photographed by the photographing device 123 may also be displayed on the display device 130. It should be understood that the display device 130 may be an independent device or integrated in the control terminal 140.
  • control terminal 140 may be a terminal device located on the ground terminal, including but not limited to mobile phones, computers, digital broadcasting terminals, messaging devices, tablet devices, medical devices, personal digital assistants, etc.; in other embodiments
  • the control terminal 140 may be a server located in the cloud, including but not limited to a single web server, a server group composed of multiple web servers, or a cloud composed of a large number of computers or web servers based on cloud computing.
  • the control terminal 140 can communicate with the unmanned vehicle 110 in a wireless manner for remote control of the unmanned vehicle 110.
  • the unmanned vehicle 110 may also be mounted with a speaker (not shown in the figure), which is used for playing audio files.
  • the speaker may be directly fixed on the unmanned vehicle 110 or mounted on the pan/tilt 120.
  • the mobile controller 161 may use the road structure information extraction method described in the following embodiments to obtain road structure information, and combine it with the motion information of the unmanned vehicle 110 obtained by the sensor system 162 to obtain information about the unmanned vehicle 110. 110 performs control, such as path planning, navigation, obstacle avoidance, lane change, acceleration, and deceleration.
  • the unmanned vehicle 110 sends the image data acquired by the camera 123 to the control terminal 140, and the control terminal 140 uses the method for extracting road structure information described in the following embodiments to acquire according to the acquired image data.
  • the road structure information generates a control command for controlling the unmanned vehicle 110.
  • the display device 130 may also be used to display the acquired road structure information.
  • the unmanned vehicle system provided in this embodiment may, for example, adopt the method for extracting road structure information provided in the following method embodiments to obtain road structure information for constructing a high-precision map.
  • FIG. 2 is a flowchart of an embodiment of a method for extracting road structure information provided by the present invention. As shown in Figure 2, the method provided in this embodiment may include:
  • the road in this embodiment is the target road for which road structure information is to be extracted.
  • the image data in this embodiment can be time series images taken by the same camera, or images taken by multiple cameras at the same time at different angles, or can be taken by multiple cameras at different angles. Time series of images taken.
  • This embodiment does not limit the data type of the image data, for example, it may include but not limited to RGB image, gray image, depth image, point cloud data, etc.
  • the number of frames of image data in this embodiment can be set according to actual needs. For example, when real-time is pursued, the number of frames of image data can be reduced; when precision is pursued, the number of frames of image data can be increased.
  • at least one frame of image data of the road in this embodiment may be acquired in real time.
  • At least one frame of image data of the road can be acquired in real time through a camera installed on the unmanned vehicle.
  • This embodiment does not limit the type of the photographing device, which may include, but is not limited to, an RGB camera, a grayscale camera, a depth camera, a lidar, etc., for example.
  • the number of frames of the acquired image data may be determined according to the speed of the unmanned vehicle and/or the shooting frame rate of the camera. For example, the number of frames may be negatively correlated with the vehicle speed, or the number of frames may be positively correlated with the shooting frame rate.
  • S202 Determine a semantic map of the road according to at least one frame of image data.
  • the semantic map of the road is determined according to the at least one frame of image data.
  • the semantic map of the road contains the semantic information of the road.
  • S203 Determine road structure information of the road according to the semantic map and the road structure model, where the road structure information includes lane grouping information.
  • the road structure information of the road is determined according to the semantic map and the road structure model.
  • the road structure model can output road structure information matching the semantic map according to the input semantic map.
  • the road structure model in this embodiment may be pre-trained and/or online training.
  • the road structure model can be pre-trained before the road structure information is determined, that is, it can be determined through offline training, or it can be trained online when the road structure information is determined, or it can be It is determined by combining pre-training and online training.
  • the road structure model in this embodiment may be obtained based on neural network training, for example, it may be obtained based on convolutional neural network training.
  • This embodiment does not limit the specific implementation of the neural network used in the road structure model.
  • one of the deep convolutional neural networks such as AlexNet, VGGNet, GoogleNet, ResNet, etc., or an improvement of one of them, or one of them can be used.
  • the road structure information in this embodiment may also include lane information.
  • the lane information can be used to indicate the association relationship between the road marker and the lane;
  • the lane grouping information can be used to indicate the association relationship between the road marker and the lane line group.
  • the lane grouping information may include one or more of the following information: which lane lines can be divided into the same group, the correspondence between speed limit signs and lane line groups, and the correspondence between arrows and lane line groups. It is understandable that the specific types included in the lane grouping information can be determined according to the road type. For example, when the road type is a speed limit section, the lane grouping information can include the corresponding relationship between the speed limit sign and the lane line group; when the road type is In an intersection scene, the lane grouping information may include the correspondence between arrows and lane line groups, etc.
  • the lane information may include one or more of the following information: the number of lane lines, the position information of the lane lines, the correspondence between speed limit signs and lanes, the correspondence between guidance arrows and lanes, and the type of lane and lane The corresponding relationship. It is understandable that the specific types included in the lane information can be determined according to the road type. For example, when the road type is a speed limit section, the lane information can include the corresponding relationship between the speed limit sign and the lane; when the road type is an intersection scene, The lane information may include the corresponding relationship between the guide arrow and the lane.
  • the method for extracting road structure information obtains at least one frame of image data of the road, determines the semantic map of the road according to the at least one frame of image data, and determines the road structure information of the road according to the semantic map and the road structure model ,
  • Road structure information includes lane grouping information, which realizes automatic extraction of road structure information without manual labeling. It can extract road structure information in real time and improve the extraction efficiency of road structure information.
  • Road structure information includes not only lane information but also lanes. Grouping information, a more detailed description of the road structure.
  • FIG. 3A to 3C are schematic diagrams of an embodiment of a method for extracting road structure information provided by the present invention.
  • FIG. 3A is the acquired image data of the road, as shown in FIG. 3A, in this embodiment, two frames of image data in the time series captured by the same camera are used;
  • FIG. 3B is based on the image shown in FIG. 3A Data, the semantic map of the determined road;
  • FIG. 3C is a schematic diagram of the determined road structure information using the road structure model according to the semantic map shown in FIG. 3B.
  • one way to determine the semantic map of the road may be: identifying road markers in each frame of image data; according to the road markers in at least one frame of image data , To determine the semantic map of the road.
  • the road marker may include one or more of the following information: lane lines, arrows, no-stop areas, curbs, guardrails, and drivable areas.
  • one way of recognizing road markers in each frame of image data may be: according to a pre-trained semantic segmentation model, determine the semantic identification of each pixel in each frame of image data, and identify Road markers in each frame of image data.
  • the semantic segmentation model in this embodiment can determine the semantic identification of each pixel in the image data according to the input image data.
  • the pre-trained semantic segmentation model may also include: using a training sample pre-labeled with the semantic identification of each pixel to perform the semantic segmentation model Conduct training.
  • an implementation manner of determining the semantic map of the road may be: determining the semantics of the road according to one frame of image data and the road markers in the image data map;
  • the multi-frame image data and the road markers in the multi-frame image data are fused to determine the semantic map of the road.
  • the semantic map of the road is determined directly according to the image data and the road markers in the image data; when the image data is multiple frames, it needs to be fused first. Then determine the semantic map of the road.
  • performing fusion processing on the road markers in the multi-frame image data and the multi-frame image data to determine the semantic map of the road may include: based on the multi-frame image data and the road markers in the multi-frame image data, using synchronization Localization and mapping algorithm (Simultaneous Localization and Mapping, SLAM) determines the semantic map of the road.
  • SLAM synchronization Localization and mapping algorithm
  • the method provided in this embodiment may further include: acquiring the semantic map and road structure information of multiple training samples, The road structure information is pre-labeled; the semantic map of multiple training samples is used as the input feature of the road structure model, and the road structure information of multiple training samples is used as the expected output feature of the road structure model to train the road structure model.
  • the training samples appear in pairs of semantic maps and corresponding road structure information.
  • the road structure information is pre-labeled, and may include lane information and lane grouping information.
  • the loss function may be determined according to the expected output characteristics and actual output characteristics of the road structure model, and the road structure model may be trained until the value of the loss function satisfies a preset condition.
  • multiple training samples cover one or more of the following scenarios: straight-going scenes, turning scenes, in-out scenes, intersection scenes, bifurcation scenes, and merging scenes. It should be noted that the more scene types covered by the training samples, the stronger the generalization ability of the trained road structure model, which can meet the extraction requirements of road structure information in various complex scenarios. Road structure information in different scenarios has different characteristics.
  • bifurcation scenes can include more branch guide arrows than straight-going scenes; in lane grouping information, all in the straight-going scene Lane lines can belong to the same lane line group, and in a bifurcation scenario, the lane line before the bifurcation can belong to a lane line group, and the lane lines in each bifurcation after the bifurcation can belong to different lane line groups, such as In the bifurcation scenario shown in Figure 3C, all lane lines can be divided into three lane line groups.
  • the semantic map of multiple training samples is used as the input feature of the road structure model, and the road structure information of the multiple training samples is used as the expected output feature of the road structure model.
  • An implementation of training the road structure model The way can be:
  • the multiple training samples are divided into training sample subsets corresponding to the scene type.
  • multiple training samples can be divided into straight scene training sample subset, turn scene training sample subset, import and export scene training sample subset, intersection scene training sample subset, bifurcation scene training sample subset, and merge A subset of scene training samples.
  • For each subset of training samples train a matching road structure model. For example, using a subset of training samples for straight-going scenes to train a road structure model for a straight-going scene, using a subset of training samples for a turning scene to train a road structure model for a turning scene, and using a subset of training samples for import and export scenes to train a road structure model for import and export scenes,
  • the intersection scene road structure model is trained using the intersection scene training sample subset
  • the bifurcation scene road structure model is trained using the bifurcation scene training sample subset
  • the confluence scene road structure model is trained using the merge scene training sample subset.
  • one way to determine the road structure information of the road can be: according to the semantic map, determine the scene type; according to the scene type, determine the road structure model that matches the scene type; according to the semantic map And the road structure model matching the scene type to determine the road structure information of the road.
  • the road structure model of the straight scene is used to determine the road structure information
  • the scene type determined according to the semantic map is a turning scene
  • the turning scene road structure model is used to determine Road structure information.
  • the method for extracting road structure information provided by this embodiment is based on any of the above embodiments, by determining the scene type according to the semantic map; according to the scene type, determining the road structure model matching the scene type; according to the semantic map And the road structure model matching the scene type to determine the road structure information of the road. It is realized that for different scene types, the matching road structure model is used to determine the road structure information, which improves the accuracy of road structure information extraction.
  • the road structure model may include a lane grouping module and a lane information module.
  • the lane grouping module is used to determine the lane grouping information
  • the lane information module is used to determine the lane information.
  • Determine the road structure information of the road according to the semantic map and the road structure model which can include: determine the lane grouping information of the road according to the semantic map and the lane grouping module; determine the lane of the road according to the semantic map, the lane grouping information and the lane information module information.
  • the method provided in this embodiment may further include: performing error correction processing and/or complement processing on the semantic map according to the road structure information.
  • obstructions such as other vehicles may cause partial missing in the semantic map
  • it can be complemented based on the determined road structure information, such as complementing the missing partial lane lines ;
  • the characteristics of the road structure information such as the parallel characteristics of lane lines belonging to the same lane line group
  • error correction processing can be performed on the non-parallel lane lines belonging to the same lane line group in the semantic map.
  • the method provided in this embodiment may further include: according to the semantic map after error correction processing and/or completion processing, and road structure model, Update the road structure information of the road.
  • the semantic map after error correction processing and/or completion processing can be used as the input feature of the road structure model, and the output feature of the road structure model can be used as the updated road structure information.
  • closed-loop processing the accuracy of road structure information is improved.
  • the method for extracting road structure information provided by the embodiment of the present invention has broad application prospects, for example, it can be used in the field of automatic driving, high-precision map, and security inspection.
  • an autonomous vehicle can use the method to extract road structure information in real time, and guide automatic driving based on the obtained road structure information without Relying on the pre-determined high-precision map improves the adaptability of the autonomous vehicle to the environment, such as improving the safety of the autonomous vehicle driving in an unknown environment;
  • this method for extracting road structure information provided by the embodiment of the present invention is applied In the field of high-precision maps, this method is used to extract road structure information, and then build a high-precision map based on the obtained road structure information.
  • There is no need to manually label the road structure information which can improve the production efficiency of high-precision maps and reduce the cost of high-precision maps.
  • the production cost can also avoid errors introduced due to manual labeling, and improve the accuracy
  • Fig. 4 is a schematic structural diagram of an embodiment of the drone provided by the present invention.
  • the drone 400 provided in this embodiment may include a body 401 and a processor 402.
  • the processor 402 may be used for:
  • the road structure information of the road is determined, and the road structure information includes lane grouping information.
  • the drone 400 may be an unmanned vehicle or an unmanned aircraft.
  • the UAV provided in this embodiment obtains at least one frame of image data of the road, determines the semantic map of the road according to at least one frame of image data, and determines the road structure information of the road according to the semantic map and the road structure model, which can be real-time Extract road structure information. Constructing a high-precision map based on the acquired road structure information without manually marking the road structure information can not only improve the production efficiency of high-precision maps, reduce the production cost of high-precision maps, but also avoid errors caused by manual labeling, and improve the The accuracy of the accuracy map.
  • the processor 402 is configured to acquire at least one frame of image data of the road, which may specifically include:
  • the road structure model is pre-trained and/or online trained.
  • the road structure information further includes lane information.
  • the road structure model is obtained based on neural network training.
  • the road structure model is obtained based on convolutional neural network training.
  • the processor 402 is configured to determine the semantic map of the road according to at least one frame of image data, which may specifically include:
  • the road marker may include one or more of the following information: lane lines, arrows, no-stop areas, curbs, guardrails, and drivable areas.
  • the processor 402 is configured to identify the road marker in each frame of image data, which may specifically include:
  • the semantic identification of each pixel in each frame of image data is determined, and the road markers in each frame of image data are identified.
  • the processor 402 is configured to determine the semantic map of the road according to the road marker in the at least one frame of image data, which may specifically include:
  • the multi-frame image data and the road markers in the multi-frame image data are fused to determine the semantic map of the road.
  • the processor 402 is configured to perform fusion processing on the multi-frame image data and the road markers in the multi-frame image data to determine the semantic map of the road, which may specifically include:
  • the semantic map of the road is determined by using the synchronous positioning and mapping algorithm SLAM.
  • the processor 402 is configured to determine the road structure information of the road according to the semantic map and the road structure model, the processor 402 may also be configured to:
  • the semantic maps of the multiple training samples are used as the input features of the road structure model, and the road structure information of the multiple training samples are used as the expected output features of the road structure model to train the road structure model.
  • multiple training samples cover one or more of the following scenarios: straight-going scenes, turning scenes, in and out scenes, intersection scenes, bifurcation scenes, and merging scenes.
  • the road structure model may include a lane grouping module and a lane information module.
  • the lane grouping module is used to determine the lane grouping information, and the lane information module is used to determine the lane information;
  • the processor 402 is used to determine according to the semantic map and the road structure model.
  • the road structure information of the road can specifically include:
  • the lane grouping information may include one or more of the following information: which lane lines can be divided into the same group, the correspondence between speed limit signs and lane line groups, and the correspondence between arrows and lane line groups.
  • the lane information may include one or more of the following information: the number of lane lines, the location information of the lane lines, the correspondence between speed limit signs and lanes, the correspondence between guidance arrows and lanes, and the type and lane of lanes. The corresponding relationship.
  • processor 402 may also be used to:
  • the semantic map is processed for error correction and/or completion.
  • processor 402 may also be used to:
  • the road structure information of the road is updated according to the semantic map after error correction processing and/or completion processing and the road structure model.
  • Fig. 5 is a schematic structural diagram of an embodiment of an automatic driving system provided by the present invention.
  • the automatic driving system 500 provided in this embodiment may include a memory 501 and a processor 502.
  • the memory 501 and the processor 502 can be connected via a bus.
  • the bus can be an Industry Standard Architecture (ISA) bus, Peripheral Component (PCI) bus, or Extended Industry Standard Architecture (Extended Industry Standard Architecture). , EISA) bus, etc.
  • ISA Industry Standard Architecture
  • PCI Peripheral Component
  • EISA Extended Industry Standard Architecture
  • the aforementioned processor 502 may be a central processing unit (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), ready-made Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the processor 502 can be used to:
  • the road structure information includes lane grouping information.
  • the autonomous driving system provided in this embodiment can be applied to autonomous vehicles.
  • the road structure information of the road can extract the road structure information in real time.
  • Self-driving cars guide automatic driving based on road structure information obtained in real time, instead of relying on pre-determined high-precision maps, which improves the adaptability of self-driving cars to the environment and the safety of self-driving cars driving in unknown environments.
  • the processor 502 is configured to obtain at least one frame of image data of the road, which may specifically include:
  • the road structure model is pre-trained and/or online trained.
  • the road structure information further includes lane information.
  • the road structure model is obtained based on neural network training.
  • the road structure model is obtained based on convolutional neural network training.
  • the processor 502 is configured to determine the semantic map of the road according to at least one frame of image data, which may specifically include:
  • the road marker may include one or more of the following information: lane lines, arrows, no-stop areas, curbs, guardrails, and drivable areas.
  • the processor 502 is configured to identify road markers in each frame of image data, which may specifically include:
  • the semantic identification of each pixel in each frame of image data is determined, and the road markers in each frame of image data are identified.
  • the processor 502 is configured to determine the semantic map of the road according to the road marker in the at least one frame of image data, which may specifically include:
  • the multi-frame image data and the road markers in the multi-frame image data are fused to determine the semantic map of the road.
  • the processor 502 is configured to perform fusion processing on the multi-frame image data and the road markers in the multi-frame image data to determine the semantic map of the road, which may specifically include:
  • the semantic map of the road is determined by using the synchronous positioning and mapping algorithm SLAM.
  • the processor 502 is configured to determine the road structure information of the road according to the semantic map and the road structure model, the processor 502 may also be configured to:
  • the semantic maps of the multiple training samples are used as the input features of the road structure model, and the road structure information of the multiple training samples are used as the expected output features of the road structure model to train the road structure model.
  • multiple training samples cover one or more of the following scenarios: straight-going scenes, turning scenes, in-out scenes, intersection scenes, bifurcation scenes, and merging scenes.
  • the road structure model may include a lane grouping module and a lane information module.
  • the lane grouping module is used to determine the lane grouping information, and the lane information module is used to determine the lane information;
  • the processor 502 is used to determine according to the semantic map and the road structure model
  • the road structure information of the road can specifically include:
  • the lane grouping information may include one or more of the following information: which lane lines can be divided into the same group, the correspondence between speed limit signs and lane line groups, and the correspondence between arrows and lane line groups.
  • the lane information may include one or more of the following information: the number of lane lines, the location information of the lane lines, the correspondence between speed limit signs and lanes, the correspondence between guidance arrows and lanes, and the type and lane of lanes. The corresponding relationship.
  • processor 502 may also be used to:
  • the semantic map is processed for error correction and/or completion.
  • processor 502 may also be used to:
  • the road structure information of the road is updated according to the semantic map after error correction processing and/or completion processing and the road structure model.
  • the embodiment of the present invention also provides a device for extracting road structure information (for example, a chip, an integrated circuit, etc.), which includes a memory and a processor.
  • the memory is used to store codes for executing the method for extracting road structure information.
  • the processor is configured to call the code stored in the memory to execute the method for extracting road structure information provided by any of the above embodiments.
  • a person of ordinary skill in the art can understand that all or part of the steps in the above method embodiments can be implemented by a program instructing relevant hardware.
  • the foregoing program can be stored in a computer readable storage medium, and when the program is executed, it is executed. Including the steps of the foregoing method embodiment; and the foregoing storage medium includes: read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disks or optical disks, etc., which can store program codes Medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种道路结构信息的提取方法、无人机及自动驾驶系统。该方法包括：通过获取道路的至少一帧图像数据(S201)；根据至少一帧图像数据，确定道路的语义地图(S202)，并根据语义地图以及道路结构模型，确定道路的道路结构信息，道路结构信息包括车道分组信息(S203)，实现了对道路结构信息的自动提取，无需人工标注，能够实时提取道路结构信息，提高了道路结构信息的提取效率且道路结构信息不仅包括车道信息还包括车道分组信息，对道路结构的描述更加详细。

Description

道路结构信息的提取方法、无人机及自动驾驶系统 技术领域
本发明实施例涉及无人驾驶技术领域，尤其涉及一种道路结构信息的提取方法、无人机及自动驾驶系统。
背景技术
在无人驾驶场景中，道路结构信息是安全行车不可或缺的依赖信息。随着无人驾驶技术的快速发展，对地图精度以及信息量的要求逐渐提高，传统地图已经无法满足需求，需要一种能够提供高精度、详细道路结构信息的高精度地图。高精度地图不仅需要数据上的高精度，而且需要包含内容详细，条理清晰的道路结构信息。
现有技术中，通常在使用传感器，例如摄像机、激光雷达等，获取场景道路数据之后，通过人工标注的方式，对道路数据中所包含的道路结构信息进行标注，无法实时获取道路结构信息。
发明内容
本发明实施例提供一种道路结构信息的提取方法、无人机及自动驾驶系统，用以解决现有技术中需要人工标注，获取道路结构信息效率低的问题。
第一方面，本发明实施例提供一种道路结构信息的提取方法，包括：
获取道路的至少一帧图像数据；
根据所述至少一帧图像数据，确定所述道路的语义地图；
根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，所述道路结构信息包括车道分组信息。
第二方面，本发明实施例提供一种无人机，包括机身和处理器；
所述处理器用于：
获取道路的至少一帧图像数据；
根据所述至少一帧图像数据，确定所述道路的语义地图；
根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息， 所述道路结构信息包括车道分组信息。
第三方面，本发明实施例提供一种自动驾驶系统，包括存储器和处理器；
所述处理器用于：
获取道路的至少一帧图像数据；
根据所述至少一帧图像数据，确定所述道路的语义地图；
根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，所述道路结构信息包括车道分组信息。
第四方面，本发明实施例提供一种道路结构信息的提取装置(例如芯片、集成电路等)，包括：存储器和处理器。所述存储器，用于存储执行道路结构信息的提取方法的代码。所述处理器，用于调用所述存储器中存储的所述代码，执行如第一方面本发明实施例所述的道路结构信息的提取方法。
第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行第一方面本发明实施例所述的道路结构信息的提取方法。
第六方面，本发明实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现第一方面本发明实施例所述的道路结构信息的提取方法。
本发明实施例提供的道路结构信息的提取方法、无人机及自动驾驶系统，通过获取道路的至少一帧图像数据，根据至少一帧图像数据，确定道路的语义地图，并根据语义地图以及道路结构模型，确定道路的道路结构信息，道路结构信息包括车道分组信息，实现了对道路结构信息的自动提取，无需人工标注，能够实时提取道路结构信息，提高了道路结构信息的提取效率，且道路结构信息不仅包括车道信息还包括车道分组信息，对道路结构的描述更加详细。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明的实施例提供的无人机系统的示意性架构图；
图2为本发明提供的道路结构信息的提取方法一实施例的流程图；
图3A至图3C为本发明提供的道路结构信息的提取方法一实施例的过程示意图；
图4为本发明提供的无人机一实施例的结构示意图；
图5为本发明提供的自动驾驶系统一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1为根据本发明的实施例提供的无人机系统的示意性架构图。如图1所示，本实施例提供的无人机系统100可以包括无人机110、显示设备130和控制端140。其中，无人机110可以包括动力系统150、移动控制系统160、机架(图中未示出)和承载在机架上的云台120。无人机110可以与控制端140和显示设备130进行无线通信。无人机可以是无人车或无人飞机，后文中的实施例以无人车为例进行说明。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个电机152。其中，电机152与电子调速器151连接；电子调速器151用于接收移动控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动车轮转动，从而为无人车110的移动提供动力，该动力使得无人车110能够实现一个或多个自由度的运动。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以是有刷电机。
移动控制系统160可以包括移动控制器161和传感系统162。传感系统162用于测量无人车110的运动信息，例如，无人车110在空间的位置信息和运动状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。移动控制器161用于控制无人车110的移动，例如，可以根据传感系统162测量的运动信息控制无人车110的移动。应理解，移动控制器161可以按照预先编好的程序指令对无人车110进行控制，也可以通过响应来自控制端140的一个或多个控制指令对无人车110进行控制。
云台120可以包括电机122。云台120可以用于携带拍摄装置123。移动控制器161可以通过电机122控制云台120的运动。可选地，作为另一实施例，云台120还可以包括控制器，用于通过控制电机122来控制云台120的运动。应理解，云台120可以独立于无人车110，也可以为无人车110的一部分。应理解，电机122可以是直流电机，也可以是交流电机。另外，电机122可以是无刷电机，也可以是有刷电机。还应理解，云台120可以位于无人车110的顶部，也可以位于无人车110的底部或者其它地方。
拍摄装置123例如可以是照相机、摄像机、雷达等用于捕获图像的设备，拍摄装置123可以与移动控制器161通信，并在移动控制器161的控制下进行拍摄。本实施例的拍摄装置123至少包括感光元件，该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器或电荷耦合元件(Charge-coupled Device，CCD)传感器。可以理解， 拍摄装置123也可直接固定于无人车110上，从而云台120可以省略。拍摄装置123的数量可以根据需要进行设置，当拍摄装置123的数量为多个时，可以根据预设规则进行排列。
显示设备130可以通过无线方式与无人车110进行通信，并且可以用于显示无人车110的姿态信息。另外，还可以在显示设备130上显示拍摄装置123拍摄的图像。应理解，显示设备130可以是独立的设备，也可以集成在控制端140中。
在一些实施例中，控制端140可以为位于地面端的终端设备，包括但不限于移动电话、计算机、数字广播终端、消息收发设备、平板设备、医疗设备、个人数字助理等；在另一些实施例中，控制端140可以为位于云端的服务器，包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。控制端140可以通过无线方式与无人车110进行通信，用于对无人车110进行远程操纵。
另外，无人车110还可以挂载有扬声器(图中未示出)，该扬声器用于播放音频文件，扬声器可直接固定于无人车110上，也可搭载在云台120上。
在一些实施例中，移动控制器161可以采用下面实施例所述的道路结构信息的提取方法获取道路结构信息，并结合传感系统162获取到的无人车110的运动信息，对无人车110进行控制，例如进行路径规划、导航、避障、变道、加速、减速等控制。
在另一些实施例中，无人车110将拍摄装置123获取到的图像数据发送至控制端140，控制端140根据获取到的图像数据，采用下面实施例所述的道路结构信息的提取方法获取道路结构信息，生成用于对无人车110进行控制的控制指令。
显示设备130还可以用于显示获取到的道路结构信息。
应理解，上述对于无人车系统各组成部分的命名仅是出于标识的目的，并不应理解为对本发明实施例的限制。本实施例提供的无人车系统例如可以采用下述方法实施例提供的道路结构信息的提取方法，获取道路结构信息，用于构建高精度地图。
图2为本发明提供的道路结构信息的提取方法一实施例的流程图。如图2所示，本实施例提供的方法可以包括：
S201、获取道路的至少一帧图像数据。
本实施例中的道路为待提取道路结构信息的目标道路。本实施例中的图像数据可以为同一拍摄装置所拍摄的时间序列上图像，也可以为多个拍摄装置在同一时刻所拍摄的不同角度上的图像，还可以为不同角度的多个拍摄装置所拍摄的时间序列上图像。本实施例对于图像数据的数据类型不做限制，例如可以包括但不限于RGB图像、灰度图像、深度图像、点云数据等。本实施例中图像数据的帧数可以根据实际需要进行设置，举例来说，当追求实时性时，可以减少图像数据的帧数；当追求精度时，可以增大图像数据的帧数。可选的，本实施例中道路的至少一帧图像数据可以是实时获取的。例如，当本实施例提供的方法应用于无人车时，可以通过安装在无人车上的拍摄装置实时获取道路的至少一帧图像数据。本实施例对于拍摄装置的类型不做限制，例如可以包括但不限于RGB相机、灰度相机、深度相机、激光雷达等。所获取的图像数据的帧数可以根据无人车的车速和/或拍摄装置的拍摄帧率确定，例如帧数可以与车速负相关，或者，帧数可以与拍摄帧率正相关。
S202、根据至少一帧图像数据，确定道路的语义地图。
本实施例中在获取到道路的至少一帧图像数据之后，则根据该至少一帧图像数据，确定道路的语义地图。其中，道路的语义地图包含了道路的语义信息。
S203、根据语义地图以及道路结构模型，确定道路的道路结构信息，道路结构信息包括车道分组信息。
本实施例中在确定了道路的语义地图之后，则根据该语义地图以及道路结构模型，确定道路的道路结构信息。其中，道路结构模型可以根据输入的语义地图，输出与该语义地图相匹配的道路结构信息。
可选的，本实施例中的道路结构模型可以是预先训练的和/或在线训练的。也就是说，道路结构模型可以是在确定道路结构信息之前就已经预先训练好的，即通过离线训练确定的，或者，也可以是在确定道路结构信息时进行在线训练的，或者还可以是通过将预先训练与在线训练进行结合确定的。可选的，本实施例中的道路结构模型可以基于神经网络训练得到，例如可以基于卷积神经网络训练得到。本实施例对于道路结构模型所采用的神经网络的具体实现方式不做限制，例如可以采用AlexNet、VGGNet、GoogleNet、ResNet 等深度卷积神经网络中的一种，或者其中一种的改进，或者其中多种的结合。基于神经网络训练得到的道路结构模型，能够实现对各种复杂场景下道路结构信息的提取。可选的，本实施例中的道路结构信息道路结构信息还可以包括车道信息。其中，车道信息可以用于表示道路标志物与车道的关联关系；车道分组信息可以用于表示道路标志物与车道线组的关联关系。
可选的，车道分组信息可以包括以下信息中的一种或者多种：哪些车道线可以划分为同一组别、限速标志与车道线组的对应关系和箭头与车道线组的对应关系。可以理解的是，车道分组信息所包括的具体种类可以根据道路类型确定，例如当道路类型为限速路段时，车道分组信息中可以包括限速标志与车道线组的对应关系；当道路类型为路口场景时，车道分组信息中可以包括箭头与车道线组的对应关系等。
可选的，车道信息可以包括以下信息中的一种或者多种：车道线的数量、车道线的位置信息、限速标志与车道的对应关系、导向箭头与车道的对应关系和车道类型与车道的对应关系。可以理解的是，车道信息所包括的具体种类可以根据道路类型确定，例如当道路类型为限速路段时，车道信息中可以包括限速标志与车道的对应关系；当道路类型为路口场景时，车道信息中可以包括导向箭头与车道的对应关系等。
本实施例提供的道路结构信息的提取方法，通过获取道路的至少一帧图像数据，根据至少一帧图像数据，确定道路的语义地图，并根据语义地图以及道路结构模型，确定道路的道路结构信息，道路结构信息包括车道分组信息，实现了对道路结构信息的自动提取，无需人工标注，能够实时提取道路结构信息，提高了道路结构信息的提取效率，且道路结构信息不仅包括车道信息还包括车道分组信息，对道路结构的描述更加详细。
下面通过一个具体的示例对道路结构信息的提取方法的过程进行说明。图3A至图3C为本发明提供的道路结构信息的提取方法一实施例的过程示意图。其中，图3A为获取到的道路的图像数据，如图3A所示，本实施例中采用了同一拍摄装置所拍摄的时间序列上的两帧图像数据；图3B为根据图3A所示的图像数据，确定的道路的语义地图；图3C为根据图3B所示的语义地图，采用道路结构模型，确定的道路结构信息示意图。
在一些实施例中，根据至少一帧图像数据，确定道路的语义地图的一种 实现方式可以是：识别出每一帧图像数据中的道路标志物；根据至少一帧图像数据中的道路标志物，确定道路的语义地图。
可选的，道路标志物可以包括以下信息中的一种或者多种：车道线、箭头、禁停区域、路牙、护栏和可行驶区域。
在一些实施例中，识别出每一帧图像数据中的道路标志物的一种实现方式可以是：根据预先训练的语义分割模型，确定每一帧图像数据中各个像素点的语义标识，识别出每一帧图像数据中的道路标志物。
本实施例中的语义分割模型，可以根据输入的图像数据，确定该图像数据中各个像素点的语义标识。
可选的，在根据预先训练的语义分割模型，确定每一帧图像数据中各个像素点的语义标识之前，还可以包括：采用预先标注了各个像素点的语义标识的训练样本，对语义分割模型进行训练。
在一些实施例中，根据至少一帧图像数据中的道路标志物，确定道路的语义地图的一种实现方式可以是：根据一帧图像数据以及该图像数据中的道路标志物，确定道路的语义地图；
或者，
对多帧图像数据以及多帧图像数据中的道路标志物进行融合处理，确定道路的语义地图。
本实施例中当图像数据为一帧时，则直接根据该图像数据以及该图像数据中的道路标志物，确定道路的语义地图；当图像数据为多帧时，需要首先对其进行融合处理，然后再确定道路的语义地图。
可选的，对多帧图像数据以及多帧图像数据中的道路标志物进行融合处理，确定道路的语义地图，可以包括：基于多帧图像数据以及多帧图像数据中的道路标志物，利用同步定位与建图算法(Simultaneous Localization and Mapping，SLAM)，确定道路的语义地图。
在上述任一实施例的基础上，本实施例提供的方法在根据语义地图以及道路结构模型，确定道路的道路结构信息之前，还可以包括：获取多个训练样本的语义地图和道路结构信息，道路结构信息是预先标注的；将多个训练样本的语义地图作为道路结构模型的输入特征，将多个训练样本的道路结构信息作为道路结构模型的期望输出特征，对道路结构模型进行训练。
需要说明的是，本实施例中训练样本是语义地图以及与其相对应的道路结构信息成对出现的。其中，道路结构信息是经过预先标注的，可以包括车道信息和车道分组信息。
可选的，可以根据道路结构模型的期望输出特征与实际输出特征确定损失函数，对道路结构模型进行训练直至损失函数的取值满足预设条件。
可选的，多个训练样本覆盖了以下场景中的一种或者多种：直行场景、转弯场景、汇入汇出场景、路口场景、分岔场景和合流场景。需要说明的是，训练样本所覆盖的场景类型越多，训练出的道路结构模型的泛化能力越强，能够满足各种复杂场景下的道路结构信息的提取需求。不同场景下的道路结构信息具有不同的特点，以直行场景和分岔场景为例：车道信息中，分岔场景比直行场景可以多包括了分岔导向箭头；车道分组信息中，直行场景中所有车道线可以属于同一车道线组，而分岔场景中，分岔前的车道线可以属于一个车道线组，分岔后的每一个分岔中的车道线可以分别属于不同的车道线组，如图3C所示的分岔场景，所有车道线可以被划分为3个车道线组。
在一些实施例中，将多个训练样本的语义地图作为道路结构模型的输入特征，将多个训练样本的道路结构信息作为道路结构模型的期望输出特征，对道路结构模型进行训练的一种实现方式可以是：
根据场景类型，将多个训练样本划分为与场景类型相对应的训练样本子集。例如，可以将多个训练样本划分为直行场景训练样本子集、转弯场景训练样本子集、汇入汇出场景训练样本子集、路口场景训练样本子集、分岔场景训练样本子集和合流场景训练样本子集。
针对每一个训练样本子集，训练与之相匹配的道路结构模型。例如，采用直行场景训练样本子集训练直行场景道路结构模型、采用转弯场景训练样本子集训练转弯场景道路结构模型、采用汇入汇出场景训练样本子集训练汇入汇出场景道路结构模型、采用路口场景训练样本子集训练路口场景道路结构模型、采用分岔场景训练样本子集训练分岔场景道路结构模型和采用合流场景训练样本子集训练合流场景道路结构模型。
则根据语义地图以及道路结构模型，确定道路的道路结构信息的一种实现方式可以是：根据语义地图，确定场景类型；根据场景类型，确定与该场景类型相匹配的道路结构模型；根据语义地图以及与该场景类型相匹配的道 路结构模型，确定道路的道路结构信息。
举例来说，若根据语义地图确定的场景类型为直行场景，则采用直行场景道路结构模型，确定道路结构信息；若根据语义地图确定的场景类型为转弯场景，则采用转弯场景道路结构模型，确定道路结构信息。
本实施例提供的道路结构信息的提取方法，在上述任一实施例的基础上，通过根据语义地图，确定场景类型；根据场景类型，确定与该场景类型相匹配的道路结构模型；根据语义地图以及与该场景类型相匹配的道路结构模型，确定道路的道路结构信息。实现了针对不同场景类型，采用与之相匹配的道路结构模型确定道路结构信息，提高了道路结构信息提取的准确性。
在一些实施例中，道路结构模型可以包括车道分组模块和车道信息模块。其中，车道分组模块用于确定车道分组信息，车道信息模块用于确定车道信息。
则根据语义地图以及道路结构模型，确定道路的道路结构信息，可以包括：根据语义地图以及车道分组模块，确定道路的车道分组信息；根据语义地图、车道分组信息以及车道信息模块，确定道路的车道信息。
在上述任一实施例的基础上，本实施例提供的方法还可以包括：根据道路结构信息，对语义地图进行纠错处理和/或补全处理。
举例来说，当由于障碍物如其他车辆的遮挡，可能会导致语义地图中出现部分缺失的现象，则可以根据所确定的道路结构信息对其进行补全处理，如补全缺失的部分车道线；可以根据道路结构信息的特点，如属于同一车道线组中的车道线平行的特性，对语义地图中属于同一车道线组中不平行的车道线进行纠错处理。
为了进一步提高道路结构信息的准确性，在上述实施例的基础上，本实施例提供的方法还可以包括：根据进行了纠错处理和/或补全处理之后的语义地图，以及道路结构模型，更新道路的道路结构信息。
本实施例中可以采用进行了纠错处理和/或补全处理之后的语义地图作为道路结构模型的输入特征，将道路结构模型的输出特征作为更新后的道路结构信息。通过闭环处理的方式，提高了道路结构信息的准确性。
本发明实施例提供的道路结构信息的提取方法，具有广阔的应用前景，例如可以用于自动驾驶领域、高精度地图领域、安防巡检领域等。举例来 说，当本发明实施例提供的道路结构信息的提取方法应用于自动驾驶领域时，自动驾驶汽车可以采用该方法实时提取道路结构信息，根据获取到的道路结构信息指导自动驾驶，而无需再依赖于预先确定的高精度地图，提高了自动驾驶汽车对于环境的适应能力，如可以提高自动驾驶汽车在未知环境中驾驶的安全性；当本发明实施例提供的道路结构信息的提取方法应用于高精度地图领域时，采用该方法提取道路结构信息，然后基于所获取的道路结构信息构建高精度地图，无需人工标注道路结构信息，既能提高高精度地图的制作效率，降低高精度地图的制作成本，还能够避免由于人工标注而引入的错误，提高高精度地图的准确率。
图4为本发明提供的无人机一实施例的结构示意图。如图4所示，本实施例提供的无人机400可以包括机身401和处理器402。其中，处理器402可以用于：
获取道路的至少一帧图像数据；
根据至少一帧图像数据，确定道路的语义地图；
根据语义地图以及道路结构模型，确定道路的道路结构信息，道路结构信息包括车道分组信息。
可选的，无人机400可以为无人车或者无人飞机。
本实施例提供的无人机，通过获取道路的至少一帧图像数据，根据至少一帧图像数据，确定道路的语义地图，并根据语义地图以及道路结构模型，确定道路的道路结构信息，能够实时提取道路结构信息。基于所获取的道路结构信息构建高精度地图，无需人工标注道路结构信息，既能提高高精度地图的制作效率，降低高精度地图的制作成本，还能够避免由于人工标注而引入的错误，提高高精度地图的准确率。
可选的，处理器402用于获取道路的至少一帧图像数据，具体可以包括：
实时获取道路的至少一帧图像数据。
可选的，所述道路结构模型是预先训练的和/或在线训练的。
可选的，所述道路结构信息还包括车道信息。
可选的，所述道路结构模型是基于神经网络训练得到的。
可选的，所述道路结构模型是基于卷积神经网络训练得到的。
可选的，处理器402用于根据至少一帧图像数据，确定道路的语义地图， 具体可以包括：
识别出每一帧图像数据中的道路标志物；
根据至少一帧图像数据中的道路标志物，确定道路的语义地图。
可选的，道路标志物可以包括以下信息中的一种或者多种：车道线、箭头、禁停区域、路牙、护栏和可行驶区域。
可选的，处理器402用于识别出每一帧图像数据中的道路标志物，具体可以包括：
根据预先训练的语义分割模型，确定每一帧图像数据中各个像素点的语义标识，识别出每一帧图像数据中的道路标志物。
可选的，处理器402用于根据至少一帧图像数据中的道路标志物，确定道路的语义地图，具体可以包括：
根据一帧图像数据以及该图像数据中的道路标志物，确定道路的语义地图；
或者，
对多帧图像数据以及多帧图像数据中的道路标志物进行融合处理，确定道路的语义地图。
可选的，处理器402用于对多帧图像数据以及多帧图像数据中的道路标志物进行融合处理，确定道路的语义地图，具体可以包括：
基于多帧图像数据以及多帧图像数据中的道路标志物，利用同步定位与建图算法SLAM，确定道路的语义地图。
可选的，处理器402用于根据语义地图以及道路结构模型，确定道路的道路结构信息之前，处理器402还可以用于：
获取多个训练样本的语义地图和道路结构信息，道路结构信息是预先标注的；
将多个训练样本的语义地图作为道路结构模型的输入特征，将多个训练样本的道路结构信息作为道路结构模型的期望输出特征，对道路结构模型进行训练。
可选的，多个训练样本覆盖了以下场景中的一种或者多种：直行场景、转弯场景、汇入汇出场景、路口场景、分岔场景和合流场景。
可选的，道路结构模型可以包括车道分组模块和车道信息模块，车道分 组模块用于确定车道分组信息，车道信息模块用于确定车道信息；处理器402用于根据语义地图以及道路结构模型，确定道路的道路结构信息，具体可以包括：
根据语义地图以及车道分组模块，确定道路的车道分组信息；
根据语义地图、车道分组信息以及车道信息模块，确定道路的车道信息。
可选的，车道分组信息可以包括以下信息中的一种或者多种：哪些车道线可以划分为同一组别、限速标志与车道线组的对应关系和箭头与车道线组的对应关系。
可选的，车道信息可以包括以下信息中的一种或者多种：车道线的数量、车道线的位置信息、限速标志与车道的对应关系、导向箭头与车道的对应关系和车道类型与车道的对应关系。
可选的，处理器402还可以用于：
根据道路结构信息，对语义地图进行纠错处理和/或补全处理。
可选的，处理器402还可以用于：
根据进行了纠错处理和/或补全处理之后的语义地图，以及道路结构模型，更新道路的道路结构信息。
图5为本发明提供的自动驾驶系统一实施例的结构示意图。如图5所示，本实施例提供的自动驾驶系统500可以包括存储器501和处理器502。存储器501和处理器502可以通过总线通信连接，总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。上述处理器502可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理器502可以用于：
获取道路的至少一帧图像数据；
根据所述至少一帧图像数据，确定所述道路的语义地图；
根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，所述道路结构信息包括车道分组信息。
本实施例提供的自动驾驶系统，可以应用于自动驾驶汽车中，通过获取道路的至少一帧图像数据，根据至少一帧图像数据，确定道路的语义地图，并根据语义地图以及道路结构模型，确定道路的道路结构信息，能够实时提取道路结构信息。自动驾驶汽车根据实时获取到的道路结构信息指导自动驾驶，而无需再依赖于预先确定的高精度地图，提高了自动驾驶汽车对于环境的适应能力和自动驾驶汽车在未知环境中驾驶的安全性。
可选的，处理器502用于获取道路的至少一帧图像数据，具体可以包括：
实时获取道路的至少一帧图像数据。
可选的，所述道路结构模型是预先训练的和/或在线训练的。
可选的，所述道路结构信息还包括车道信息。
可选的，所述道路结构模型是基于神经网络训练得到的。
可选的，所述道路结构模型是基于卷积神经网络训练得到的。
可选的，处理器502用于根据至少一帧图像数据，确定道路的语义地图，具体可以包括：
识别出每一帧图像数据中的道路标志物；
根据至少一帧图像数据中的道路标志物，确定道路的语义地图。
可选的，道路标志物可以包括以下信息中的一种或者多种：车道线、箭头、禁停区域、路牙、护栏和可行驶区域。
可选的，处理器502用于识别出每一帧图像数据中的道路标志物，具体可以包括：
根据预先训练的语义分割模型，确定每一帧图像数据中各个像素点的语义标识，识别出每一帧图像数据中的道路标志物。
可选的，处理器502用于根据至少一帧图像数据中的道路标志物，确定道路的语义地图，具体可以包括：
根据一帧图像数据以及该图像数据中的道路标志物，确定道路的语义地图；
或者，
对多帧图像数据以及多帧图像数据中的道路标志物进行融合处理，确定道路的语义地图。
可选的，处理器502用于对多帧图像数据以及多帧图像数据中的道路标志物进行融合处理，确定道路的语义地图，具体可以包括：
基于多帧图像数据以及多帧图像数据中的道路标志物，利用同步定位与建图算法SLAM，确定道路的语义地图。
可选的，处理器502用于根据语义地图以及道路结构模型，确定道路的道路结构信息之前，处理器502还可以用于：
获取多个训练样本的语义地图和道路结构信息，道路结构信息是预先标注的；
将多个训练样本的语义地图作为道路结构模型的输入特征，将多个训练样本的道路结构信息作为道路结构模型的期望输出特征，对道路结构模型进行训练。
可选的，多个训练样本覆盖了以下场景中的一种或者多种：直行场景、转弯场景、汇入汇出场景、路口场景、分岔场景和合流场景。
可选的，道路结构模型可以包括车道分组模块和车道信息模块，车道分组模块用于确定车道分组信息，车道信息模块用于确定车道信息；处理器502用于根据语义地图以及道路结构模型，确定道路的道路结构信息，具体可以包括：
根据语义地图以及车道分组模块，确定道路的车道分组信息；
根据语义地图、车道分组信息以及车道信息模块，确定道路的车道信息。
可选的，车道分组信息可以包括以下信息中的一种或者多种：哪些车道线可以划分为同一组别、限速标志与车道线组的对应关系和箭头与车道线组的对应关系。
可选的，车道信息可以包括以下信息中的一种或者多种：车道线的数量、车道线的位置信息、限速标志与车道的对应关系、导向箭头与车道的对应关系和车道类型与车道的对应关系。
可选的，处理器502还可以用于：
根据道路结构信息，对语义地图进行纠错处理和/或补全处理。
可选的，处理器502还可以用于：
根据进行了纠错处理和/或补全处理之后的语义地图，以及道路结构模型，更新道路的道路结构信息。
本发明实施例还提供一种道路结构信息的提取装置(例如芯片、集成电路等)，包括：存储器和处理器。所述存储器，用于存储执行道路结构信息的提取方法的代码。所述处理器，用于调用所述存储器中存储的所述代码，执行上述任一实施例提供的道路结构信息的提取方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (55)

  1. 一种道路结构信息的提取方法，其特征在于，包括：
    获取道路的至少一帧图像数据；
    根据所述至少一帧图像数据，确定所述道路的语义地图；
    根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，所述道路结构信息包括车道分组信息。
  2. 根据权利要求1所述的方法，其特征在于，所述获取道路的至少一帧图像数据，包括：
    实时获取道路的至少一帧图像数据。
  3. 根据权利要求1所述的方法，其特征在于，所述道路结构模型是预先训练的和/或在线训练的。
  4. 根据权利要求1所述的方法，其特征在于，所述道路结构信息还包括车道信息。
  5. 根据权利要求1所述的方法，其特征在于，所述道路结构模型是基于神经网络训练得到的。
  6. 根据权利要求5所述的方法，其特征在于，所述道路结构模型是基于卷积神经网络训练得到的。
  7. 根据权利要求1所述的方法，其特征在于，所述根据所述至少一帧图像数据，确定所述道路的语义地图，包括：
    识别出每一帧图像数据中的道路标志物；
    根据所述至少一帧图像数据中的道路标志物，确定所述道路的语义地图。
  8. 根据权利要求7所述的方法，其特征在于，所述道路标志物包括以下信息中的一种或者多种：
    车道线、箭头、禁停区域、路牙、护栏和可行驶区域。
  9. 根据权利要求7所述的方法，其特征在于，所述识别出每一帧图像数据中的道路标志物，包括：
    根据预先训练的语义分割模型，确定每一帧图像数据中各个像素点的语义标识，识别出每一帧图像数据中的道路标志物。
  10. 根据权利要求7所述的方法，其特征在于，所述根据所述至少一帧图像数据中的道路标志物，确定所述道路的语义地图，包括：
    根据一帧图像数据以及该图像数据中的道路标志物，确定所述道路的语义地图；
    或者，
    对多帧图像数据以及所述多帧图像数据中的道路标志物进行融合处理，确定所述道路的语义地图。
  11. 根据权利要求10所述的方法，其特征在于，所述对多帧图像数据以及所述多帧图像数据中的道路标志物进行融合处理，确定所述道路的语义地图，包括：
    基于所述多帧图像数据以及所述多帧图像数据中的道路标志物，利用同步定位与建图算法SLAM，确定所述道路的语义地图。
  12. 根据权利要求1所述的方法，其特征在于，所述根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息之前，所述方法还包括：
    获取多个训练样本的语义地图和道路结构信息，所述道路结构信息是预先标注的；
    将所述多个训练样本的语义地图作为所述道路结构模型的输入特征，将所述多个训练样本的道路结构信息作为所述道路结构模型的期望输出特征，对所述道路结构模型进行训练。
  13. 根据权利要求12所述的方法，其特征在于，所述多个训练样本覆盖了以下场景中的一种或者多种：
    直行场景、转弯场景、汇入汇出场景、路口场景、分岔场景和合流场景。
  14. 根据权利要求4所述的方法，其特征在于，所述道路结构模型包括车道分组模块和车道信息模块，所述车道分组模块用于确定车道分组信息，所述车道信息模块用于确定车道信息；
    所述根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，包括：
    根据所述语义地图以及所述车道分组模块，确定所述道路的车道分组信息；
    根据所述语义地图、所述车道分组信息以及所述车道信息模块，确定所述道路的车道信息。
  15. 根据权利要求14所述的方法，其特征在于，所述车道分组信息包括 以下信息中的一种或者多种：
    哪些车道线可以划分为同一组别、限速标志与车道线组的对应关系和箭头与车道线组的对应关系。
  16. 根据权利要求14所述的方法，其特征在于，所述车道信息包括以下信息中的一种或者多种：
    车道线的数量、车道线的位置信息、限速标志与车道的对应关系、导向箭头与车道的对应关系和车道类型与车道的对应关系。
  17. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    根据所述道路结构信息，对所述语义地图进行纠错处理和/或补全处理。
  18. 根据权利要求17所述的方法，其特征在于，所述方法还包括：
    根据进行了纠错处理和/或补全处理之后的语义地图，以及所述道路结构模型，更新所述道路的道路结构信息。
  19. 一种无人机，其特征在于，包括机身和处理器；
    所述处理器用于：
    获取道路的至少一帧图像数据；
    根据所述至少一帧图像数据，确定所述道路的语义地图；
    根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，所述道路结构信息包括车道分组信息。
  20. 根据权利要求19所述的无人机，其特征在于，所述处理器用于获取道路的至少一帧图像数据，具体包括：
    实时获取道路的至少一帧图像数据。
  21. 根据权利要求19所述的无人机，其特征在于，所述道路结构模型是预先训练的和/或在线训练的。
  22. 根据权利要求19所述的无人机，其特征在于，所述道路结构信息还包括车道信息。
  23. 根据权利要求19所述的无人机，其特征在于，所述道路结构模型是基于神经网络训练得到的。
  24. 根据权利要求23所述的无人机，其特征在于，所述道路结构模型是基于卷积神经网络训练得到的。
  25. 根据权利要求19所述的无人机，其特征在于，所述处理器用于根据 所述至少一帧图像数据，确定所述道路的语义地图，具体包括：
    识别出每一帧图像数据中的道路标志物；
    根据所述至少一帧图像数据中的道路标志物，确定所述道路的语义地图。
  26. 根据权利要求25所述的无人机，其特征在于，所述道路标志物包括以下信息中的一种或者多种：
    车道线、箭头、禁停区域、路牙、护栏和可行驶区域。
  27. 根据权利要求25所述的无人机，其特征在于，所述处理器用于识别出每一帧图像数据中的道路标志物，具体包括：
    根据预先训练的语义分割模型，确定每一帧图像数据中各个像素点的语义标识，识别出每一帧图像数据中的道路标志物。
  28. 根据权利要求25所述的无人机，其特征在于，所述处理器用于根据所述至少一帧图像数据中的道路标志物，确定所述道路的语义地图，具体包括：
    根据一帧图像数据以及该图像数据中的道路标志物，确定所述道路的语义地图；
    或者，
    对多帧图像数据以及所述多帧图像数据中的道路标志物进行融合处理，确定所述道路的语义地图。
  29. 根据权利要求28所述的无人机，其特征在于，所述处理器用于对多帧图像数据以及所述多帧图像数据中的道路标志物进行融合处理，确定所述道路的语义地图，具体包括：
    基于所述多帧图像数据以及所述多帧图像数据中的道路标志物，利用同步定位与建图算法SLAM，确定所述道路的语义地图。
  30. 根据权利要求19所述的无人机，其特征在于，所述处理器用于根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息之前，所述处理器还用于：
    获取多个训练样本的语义地图和道路结构信息，所述道路结构信息是预先标注的；
    将所述多个训练样本的语义地图作为所述道路结构模型的输入特征，将所述多个训练样本的道路结构信息作为所述道路结构模型的期望输出特征， 对所述道路结构模型进行训练。
  31. 根据权利要求30所述的无人机，其特征在于，所述多个训练样本覆盖了以下场景中的一种或者多种：
    直行场景、转弯场景、汇入汇出场景、路口场景、分岔场景和合流场景。
  32. 根据权利要求22所述的无人机，其特征在于，所述道路结构模型包括车道分组模块和车道信息模块，所述车道分组模块用于确定车道分组信息，所述车道信息模块用于确定车道信息；
    所述处理器用于根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，具体包括：
    根据所述语义地图以及所述车道分组模块，确定所述道路的车道分组信息；
    根据所述语义地图、所述车道分组信息以及所述车道信息模块，确定所述道路的车道信息。
  33. 根据权利要求32所述的无人机，其特征在于，所述车道分组信息包括以下信息中的一种或者多种：
    哪些车道线可以划分为同一组别、限速标志与车道线组的对应关系和箭头与车道线组的对应关系。
  34. 根据权利要求32所述的无人机，其特征在于，所述车道信息包括以下信息中的一种或者多种：
    车道线的数量、车道线的位置信息、限速标志与车道的对应关系、导向箭头与车道的对应关系和车道类型与车道的对应关系。
  35. 根据权利要求19所述的无人机，其特征在于，所述处理器还用于：
    根据所述道路结构信息，对所述语义地图进行纠错处理和/或补全处理。
  36. 根据权利要求35所述的无人机，其特征在于，所述处理器还用于：
    根据进行了纠错处理和/或补全处理之后的语义地图，以及所述道路结构模型，更新所述道路的道路结构信息。
  37. 根据权利要求19所述的无人机，其特征在于，所述无人机包括无人车或者无人飞机。
  38. 一种自动驾驶系统，其特征在于，包括：存储器和处理器；
    所述处理器用于：
    获取道路的至少一帧图像数据；
    根据所述至少一帧图像数据，确定所述道路的语义地图；
    根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，所述道路结构信息包括车道分组信息。
  39. 根据权利要求38所述的系统，其特征在于，所述处理器用于获取道路的至少一帧图像数据，具体包括：
    实时获取道路的至少一帧图像数据。
  40. 根据权利要求38所述的系统，其特征在于，所述道路结构模型是预先训练的和/或在线训练的。
  41. 根据权利要求38所述的系统，其特征在于，所述道路结构信息还包括车道信息。
  42. 根据权利要求38所述的系统，其特征在于，所述道路结构模型是基于神经网络训练得到的。
  43. 根据权利要求42所述的系统，其特征在于，所述道路结构模型是基于卷积神经网络训练得到的。
  44. 根据权利要求38所述的系统，其特征在于，所述处理器用于根据所述至少一帧图像数据，确定所述道路的语义地图，具体包括：
    识别出每一帧图像数据中的道路标志物；
    根据所述至少一帧图像数据中的道路标志物，确定所述道路的语义地图。
  45. 根据权利要求44所述的系统，其特征在于，所述道路标志物包括以下信息中的一种或者多种：
    车道线、箭头、禁停区域、路牙、护栏和可行驶区域。
  46. 根据权利要求44所述的系统，其特征在于，所述处理器用于识别出每一帧图像数据中的道路标志物，具体包括：
    根据预先训练的语义分割模型，确定每一帧图像数据中各个像素点的语义标识，识别出每一帧图像数据中的道路标志物。
  47. 根据权利要求44所述的系统，其特征在于，所述处理器用于根据所述至少一帧图像数据中的道路标志物，确定所述道路的语义地图，具体包括：
    根据一帧图像数据以及该图像数据中的道路标志物，确定所述道路的语义地图；
    或者，
    对多帧图像数据以及所述多帧图像数据中的道路标志物进行融合处理，确定所述道路的语义地图。
  48. 根据权利要求47所述的系统，其特征在于，所述处理器用于对多帧图像数据以及所述多帧图像数据中的道路标志物进行融合处理，确定所述道路的语义地图，具体包括：
    基于所述多帧图像数据以及所述多帧图像数据中的道路标志物，利用同步定位与建图算法SLAM，确定所述道路的语义地图。
  49. 根据权利要求38所述的系统，其特征在于，所述处理器用于根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息之前，所述处理器还用于：
    获取多个训练样本的语义地图和道路结构信息，所述道路结构信息是预先标注的；
    将所述多个训练样本的语义地图作为所述道路结构模型的输入特征，将所述多个训练样本的道路结构信息作为所述道路结构模型的期望输出特征，对所述道路结构模型进行训练。
  50. 根据权利要求49所述的系统，其特征在于，所述多个训练样本覆盖了以下场景中的一种或者多种：
    直行场景、转弯场景、汇入汇出场景、路口场景、分岔场景和合流场景。
  51. 根据权利要求41所述的系统，其特征在于，所述道路结构模型包括车道分组模块和车道信息模块，所述车道分组模块用于确定车道分组信息，所述车道信息模块用于确定车道信息；
    所述处理器用于根据所述语义地图以及道路结构模型，确定所述道路的道路结构信息，具体包括：
    根据所述语义地图以及所述车道分组模块，确定所述道路的车道分组信息；
    根据所述语义地图、所述车道分组信息以及所述车道信息模块，确定所述道路的车道信息。
  52. 根据权利要求51所述的系统，其特征在于，所述车道分组信息包括以下信息中的一种或者多种：
    哪些车道线可以划分为同一组别、限速标志与车道线组的对应关系和箭头与车道线组的对应关系。
  53. 根据权利要求51所述的系统，其特征在于，所述车道信息包括以下信息中的一种或者多种：
    车道线的数量、车道线的位置信息、限速标志与车道的对应关系、导向箭头与车道的对应关系和车道类型与车道的对应关系。
  54. 根据权利要求38所述的系统，其特征在于，所述处理器还用于：
    根据所述道路结构信息，对所述语义地图进行纠错处理和/或补全处理。
  55. 根据权利要求54所述的系统，其特征在于，所述处理器还用于：
    根据进行了纠错处理和/或补全处理之后的语义地图，以及所述道路结构模型，更新所述道路的道路结构信息。
PCT/CN2019/076568 2019-02-28 2019-02-28 道路结构信息的提取方法、无人机及自动驾驶系统 WO2020172875A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980005571.5A CN111316288A (zh) 2019-02-28 2019-02-28 道路结构信息的提取方法、无人机及自动驾驶系统
PCT/CN2019/076568 WO2020172875A1 (zh) 2019-02-28 2019-02-28 道路结构信息的提取方法、无人机及自动驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/076568 WO2020172875A1 (zh) 2019-02-28 2019-02-28 道路结构信息的提取方法、无人机及自动驾驶系统

Publications (1)

Publication Number Publication Date
WO2020172875A1 true WO2020172875A1 (zh) 2020-09-03

Family

ID=71147654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/076568 WO2020172875A1 (zh) 2019-02-28 2019-02-28 道路结构信息的提取方法、无人机及自动驾驶系统

Country Status (2)

Country Link
CN (1) CN111316288A (zh)
WO (1) WO2020172875A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507891A (zh) * 2020-12-12 2021-03-16 武汉中海庭数据技术有限公司 自动化识别高速路口并构建路口向量的方法及装置
CN112560684A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
CN112580511A (zh) * 2020-12-18 2021-03-30 广州市城市规划设计所 道路面积率的估算方法、装置、设备及存储介质
CN112785610A (zh) * 2021-01-14 2021-05-11 华南理工大学 一种融合低层特征的车道线语义分割方法
CN113033301A (zh) * 2021-02-07 2021-06-25 北京中交创新投资发展有限公司 基于ai图像识别技术采集道路巡检设施数据的方法
CN113591730A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 一种识别车道分组线的方法、装置和设备
CN114419592A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 一种道路区域识别方法、自动驾驶控制方法及装置
CN114620055A (zh) * 2022-03-15 2022-06-14 阿波罗智能技术(北京)有限公司 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114724108A (zh) * 2022-03-22 2022-07-08 北京百度网讯科技有限公司 车道线处理方法及装置
CN115438517A (zh) * 2022-11-07 2022-12-06 阿里巴巴达摩院(杭州)科技有限公司 仿真地图生成方法、电子设备及计算机存储介质
WO2023221848A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 车辆起步行为的预测方法、装置、存储介质及程序产品

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963325A (zh) * 2020-07-02 2022-01-21 华为技术有限公司 推理车道的方法、训练车道推理模型的方法及装置
CN112326686B (zh) * 2020-11-02 2024-02-02 坝道工程医院(平舆) 无人机智能巡航路面病害检测方法、无人机和检测系统
CN112464773B (zh) * 2020-11-19 2023-06-06 浙江吉利控股集团有限公司 一种道路类型识别方法、装置及系统
CN112488009A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 无人机数据中的车道线形点串提取方法及系统
CN113239960B (zh) * 2021-04-09 2024-05-28 中用科技有限公司 融合ai视觉算法的道路防护智能预警方法和系统
CN113449692A (zh) * 2021-07-22 2021-09-28 成都纵横自动化技术股份有限公司 一种基于无人机的地图车道信息更新方法及其系统
CN113945222B (zh) * 2021-10-14 2024-04-12 华为技术有限公司 道路信息的识别方法、装置、电子设备、车辆及介质
CN114927006B (zh) * 2022-05-23 2023-03-14 东风汽车集团股份有限公司 基于无人机的室内代客泊车系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246010A (zh) * 2007-02-13 2008-08-20 爱信艾达株式会社 车道判定装置以及车道判定方法
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN109059954A (zh) * 2018-06-29 2018-12-21 广东星舆科技有限公司 支持高精度地图车道线实时融合更新的方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792821B1 (en) * 2016-03-25 2017-10-17 Toyota Jidosha Kabushiki Kaisha Understanding road scene situation and semantic representation of road scene situation for reliable sharing
CN106441319B (zh) * 2016-09-23 2019-07-16 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246010A (zh) * 2007-02-13 2008-08-20 爱信艾达株式会社 车道判定装置以及车道判定方法
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN109059954A (zh) * 2018-06-29 2018-12-21 广东星舆科技有限公司 支持高精度地图车道线实时融合更新的方法和系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507891A (zh) * 2020-12-12 2021-03-16 武汉中海庭数据技术有限公司 自动化识别高速路口并构建路口向量的方法及装置
CN112560684A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
US11967132B2 (en) 2020-12-16 2024-04-23 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle
CN112560684B (zh) * 2020-12-16 2023-10-24 阿波罗智联(北京)科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
CN112580511A (zh) * 2020-12-18 2021-03-30 广州市城市规划设计所 道路面积率的估算方法、装置、设备及存储介质
CN112785610B (zh) * 2021-01-14 2023-05-23 华南理工大学 一种融合低层特征的车道线语义分割方法
CN112785610A (zh) * 2021-01-14 2021-05-11 华南理工大学 一种融合低层特征的车道线语义分割方法
CN113033301A (zh) * 2021-02-07 2021-06-25 北京中交创新投资发展有限公司 基于ai图像识别技术采集道路巡检设施数据的方法
CN113033301B (zh) * 2021-02-07 2024-02-13 交信北斗科技有限公司 基于ai图像识别技术采集道路巡检设施数据的方法
CN113591730B (zh) * 2021-08-03 2023-11-10 湖北亿咖通科技有限公司 一种识别车道分组线的方法、装置和设备
CN113591730A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 一种识别车道分组线的方法、装置和设备
CN114419592A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 一种道路区域识别方法、自动驾驶控制方法及装置
CN114620055B (zh) * 2022-03-15 2022-11-25 阿波罗智能技术(北京)有限公司 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114620055A (zh) * 2022-03-15 2022-06-14 阿波罗智能技术(北京)有限公司 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114724108A (zh) * 2022-03-22 2022-07-08 北京百度网讯科技有限公司 车道线处理方法及装置
CN114724108B (zh) * 2022-03-22 2024-02-02 北京百度网讯科技有限公司 车道线处理方法及装置
WO2023221848A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 车辆起步行为的预测方法、装置、存储介质及程序产品
CN115438517A (zh) * 2022-11-07 2022-12-06 阿里巴巴达摩院(杭州)科技有限公司 仿真地图生成方法、电子设备及计算机存储介质
CN115438517B (zh) * 2022-11-07 2023-03-24 阿里巴巴达摩院(杭州)科技有限公司 仿真地图生成方法、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN111316288A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
WO2020172875A1 (zh) 道路结构信息的提取方法、无人机及自动驾驶系统
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
US10339387B2 (en) Automated multiple target detection and tracking system
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
US8213706B2 (en) Method and system for real-time visual odometry
US20210365038A1 (en) Local sensing based autonomous navigation, and associated systems and methods
US20210337175A1 (en) Image processing method and device
CN108235815B (zh) 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
US20190318176A1 (en) Information processing apparatus, information processing method, and computer program product
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN110794844A (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN113580134A (zh) 视觉定位方法、设备、机器人、存储介质及程序产品
CN113063421A (zh) 导航方法及相关装置、移动终端、计算机可读存储介质
CN114792414A (zh) 一种用于载体的目标变量检测方法及其系统
CN113252066B (zh) 里程计设备参数的标定方法及装置、存储介质、电子装置
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US20210080264A1 (en) Estimation device, estimation method, and computer program product
CN117392234A (zh) 相机与激光雷达的标定方法及装置
WO2020113417A1 (zh) 目标场景三维重建方法、系统及无人机
WO2020154911A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
Thai et al. Application of edge detection algorithm for self-driving vehicles
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
CN115273015A (zh) 一种预测方法、装置、智能驾驶系统和车辆
CN113011212A (zh) 图像识别方法、装置及车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917258

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19917258

Country of ref document: EP

Kind code of ref document: A1