WO2019056845A1 - 道路图生成方法、装置、电子设备和计算机存储介质 - Google Patents

道路图生成方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
WO2019056845A1
WO2019056845A1 PCT/CN2018/096332 CN2018096332W WO2019056845A1 WO 2019056845 A1 WO2019056845 A1 WO 2019056845A1 CN 2018096332 W CN2018096332 W CN 2018096332W WO 2019056845 A1 WO2019056845 A1 WO 2019056845A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
neural network
map
channel
sub
Prior art date
Application number
PCT/CN2018/096332
Other languages
English (en)
French (fr)
Inventor
程光亮
石建萍
Original Assignee
北京市商汤科技开发有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京市商汤科技开发有限公司 filed Critical 北京市商汤科技开发有限公司
Priority to SG11201909743Q priority Critical patent/SG11201909743QA/en
Priority to JP2019558374A priority patent/JP6918139B2/ja
Publication of WO2019056845A1 publication Critical patent/WO2019056845A1/zh
Priority to US16/655,336 priority patent/US11354893B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers

Definitions

  • the present application relates to the field of data processing technologies, and may be related to the field of image processing technologies, and in particular, to a road map generation method, apparatus, electronic device, and computer storage medium.
  • Maps enable people to determine their location information or destination location information at any time, which is conducive to travel planning and improves the convenience of people's lives.
  • the embodiment of the present application provides a technical solution for road map generation.
  • a road map generating method comprising: inputting a remote sensing image into a first neural network to extract multi-channel first road feature information via the first neural network;
  • the multi-channel first road feature information is input to the third neural network to extract the multi-channel third road feature information via the third neural network, wherein the third neural network uses the road direction information as the supervisory information Training the completed neural network; fusing the first road feature information and the third road feature information; and generating a road map according to the fusion result.
  • the fusing the first road feature information and the third road feature information comprises: adding or weighting the first road feature information and the third road feature information; or And connecting the first road feature information and the third road feature information in series.
  • the first neural network includes: a second sub-neural network, wherein the second sub-neural network is a neural network that is trained to allow road width information to be supervised information; the remote sensing image is input
  • the first neural network extracts the first road feature information of the multiple channels by using the first neural network, including: inputting the remote sensing image into the second sub-neural network, to extract more by the second sub-neural network a second road feature map of the passage; the first road feature information including the second road feature map.
  • the first neural network further comprises: a first sub-neural network; the inputting the remote sensing image into the second sub-neural network to extract multi-channel via the second sub-neural network a second road feature map, comprising: inputting the remote sensing image into the first sub-neural network to extract a multi-channel first road feature map via the first sub-neural network; and the multi-channel first road A feature map is input to the second sub-neural network to extract a multi-channel second road feature map via the second sub-neural network.
  • the first neural network further includes: a third sub-neural network; the extracting the multi-channel second road feature map by the second sub-neural, further comprising: a second road feature map is input to the third sub-neural network to extract a multi-channel third road feature map via the third sub-neural; the first road feature information includes the third road feature map.
  • the allowable road width information includes: an allowable road width range, a width of each road in the road map falls within the allowable road width range; or the allowable road width information includes: a predetermined road width The width of each road in the road map is the predetermined road width.
  • the generating a road map according to the fusion result comprises: inputting the fusion result into a fourth neural network to extract the fourth road feature information of the multi-channel via the fourth neural network;
  • the fourth road feature information of the channel determines the road map.
  • the fourth neural network is a neural network that is trained to supervise information based on the allowable road width information.
  • the method further includes: determining a center line of the road in the road map.
  • the method further includes: performing vectorization processing on the road map to obtain a road vector image.
  • the method further includes: acquiring a road direction reference map of the remote sensing image sample; inputting the remote sensing image sample or the multi-channel road feature image of the remote sensing image sample into a third neural network to be trained, to Extracting a fourth road feature map of the multi-channel by the trained third neural network; determining a road direction regression map according to the multi-channel fourth road feature map; and the road direction regression map and the road direction reference map
  • the first loss between the two neural networks to be trained is returned to adjust the network parameters of the third neural network to be trained.
  • the method further includes: acquiring an equal-width road reference image of the remote sensing image sample; inputting the remote sensing image sample or the multi-channel road feature image of the remote sensing image sample into the second sub-neural network to be trained, Extracting, by the second sub-neural network to be trained, a multi-channel fifth road feature map; determining a first road probability map according to the multi-channel fifth road feature map; and the first road probability map and the The second loss between the equal-width road reference maps returns the second sub-neural network to be trained to adjust the network parameters of the second sub-neural network to be trained.
  • the method further includes: acquiring an equal-width road reference map of the remote sensing image sample; inputting the multi-channel road feature image of the remote sensing image sample or the remote sensing image sample into a fourth neural network to be trained, to Extracting, by the fourth neural network to be trained, a multi-channel sixth road feature map; determining a second road probability map according to the multi-channel sixth road feature map; and using the second road probability map and the equal width
  • the third loss between the road reference maps returns the fourth neural network to be trained to adjust the network parameters of the fourth neural network to be trained.
  • the method further includes: acquiring an equal-width road reference map and a road direction reference map of the remote sensing image sample; and inputting the multi-channel road feature image of the remote sensing image sample or the remote sensing image sample into the second to be trained a sub-neural network, the fifth road feature map of the multi-channel is extracted by the second sub-neural network to be trained; and the first road probability map is determined according to the multi-channel fifth road feature map;
  • the multi-channel fourth road feature map determines a road direction regression map; and inputs the remote sensing image sample or the multi-channel road feature map of the remote sensing image sample into a fourth neural network to be trained to be trained a fourth neural network extracting a multi-channel sixth road feature map; determining a second road probability map according to the multi-channel sixth road feature map; between the road direction regression map and the road direction reference map a third loss, the second loss between the first road probability map and the equal-width road reference map, the second road probability map, and a third loss between the equal-width road reference maps,
  • the neural network system including the third neural network, the second sub-neural network, and the fourth neural network are respectively returned to jointly adjust network parameters of the neural network system.
  • a road map generating apparatus comprising: a first road feature information acquiring unit, configured to input a remote sensing image into a first neural network, to pass the first neural network Extracting the first road feature information of the multi-channel; the third road feature information acquiring unit is configured to input the first road feature information of the multi-channel into the third neural network, to extract the multi-channel by the third neural network
  • the third road feature information wherein the third neural network is a neural network completed with at least road direction information as supervisory information training; and an information fusion unit configured to fuse the first road feature information and the third road feature information a road map generation unit for generating a road map based on the fusion result.
  • the information fusion unit is configured to: add or weight add the first road feature information and the third road feature information; or, concatenate the first road feature information and the Third road feature information.
  • the first neural network includes: a second sub-neural network, wherein the second sub-neural network is a neural network that is trained to allow road width information as supervisory information; the first road feature
  • the information acquiring unit includes: a first acquiring subunit, inputting the remote sensing image into the second sub-neural network to extract a multi-channel second road feature map via the second sub-neural network; the first road feature The information includes the second road feature map.
  • the first neural network further includes: a first sub-neural network;
  • the first road feature information acquiring unit further includes: a first acquiring sub-unit, configured to input the remote sensing image into the first a sub-neural network to extract a multi-channel first road feature map via the first sub-neural network;
  • the second acquisition sub-unit configured to input the multi-channel first road feature map into a second sub-neural a network to extract a second road feature map of the plurality of channels via the second sub-neural network.
  • the first neural network further includes: a third sub-neural network;
  • the first road feature information acquiring unit further includes: a third acquiring sub-unit, configured to use the second path of the multi-channel
  • the feature map is input to the third sub-neural network to extract a multi-channel third road feature map via the third sub-neural; the first road feature information includes the third road feature map.
  • the allowable road width information includes: an allowable road width range, a width of at least one of the road maps falling within the allowable road width range; or the allowable road width information includes: a predetermined road Width, the width of at least one of the road maps being the predetermined road width.
  • the road map generation unit includes: a fourth acquisition subunit, configured to input the fusion result into a fourth neural network to extract the fourth road feature information of the multiple channels via the fourth neural network. a road map determining subunit for determining a road map based on the fourth road feature information of the multi-channel.
  • the fourth neural network is a neural network that is based on the admission of road width information to supervise information training.
  • the road map generation unit further includes a center line determination subunit for determining a center line of the road in the road map.
  • the road map generation unit further includes: a road vector map acquisition subunit, configured to perform vectorization processing on the road map to obtain a road vector map.
  • the method further includes: a training unit of the third neural network, configured to: acquire a road direction reference map of the remote sensing image for training; and input the remote sensing image for training or a multi-channel road feature map thereof a third neural network trained to extract a multi-channel fourth road feature map via the third neural network to be trained; determining a road direction regression map according to the multi-channel fourth road feature map; The first loss between the regression map and the road direction reference map is returned to the third neural network to be trained to adjust the network parameters of the third neural network to be trained.
  • a training unit of the third neural network configured to: acquire a road direction reference map of the remote sensing image for training; and input the remote sensing image for training or a multi-channel road feature map thereof a third neural network trained to extract a multi-channel fourth road feature map via the third neural network to be trained; determining a road direction regression map according to the multi-channel fourth road feature map; The first loss between the regression map and the road direction reference map is returned to the third neural network to be trained to adjust
  • the method further includes: a training unit of the second sub-neural network, configured to: input a remote sensing image for training or a multi-channel road feature map into a second sub-neural network to be trained, to And extracting, by the second sub-neural network, the multi-channel fifth road feature map; determining, according to the multi-channel fifth road feature map, the first road probability map; and the first road probability map and the equal-width
  • a training unit of the second sub-neural network configured to: input a remote sensing image for training or a multi-channel road feature map into a second sub-neural network to be trained, to And extracting, by the second sub-neural network, the multi-channel fifth road feature map; determining, according to the multi-channel fifth road feature map, the first road probability map; and the first road probability map and the equal-width
  • the second loss between the road reference maps returns the second sub-neural network to be trained to adjust the network parameters of the second sub-neural network to be
  • the method further includes: a training unit of the fourth neural network, configured to: acquire an equal-width road reference map of the remote sensing image for training; and input the remote sensing image for training or a multi-channel road feature map thereof a fourth neural network to be trained, extracting a sixth road feature map of the multi-channel by the fourth neural network to be trained; determining a second road probability map according to the sixth road feature map of the multi-channel; The third loss between the road probability map and the equal-width road reference map returns the fourth neural network to be trained to adjust network parameters of the fourth neural network to be trained.
  • a training unit of the fourth neural network configured to: acquire an equal-width road reference map of the remote sensing image for training; and input the remote sensing image for training or a multi-channel road feature map thereof a fourth neural network to be trained, extracting a sixth road feature map of the multi-channel by the fourth neural network to be trained; determining a second road probability map according to the sixth road feature map of the multi-channel; The third loss between the road
  • the training unit of the third neural network will perform the first loss, the training unit of the second sub-neural network, the second loss, the training unit of the fourth neural network
  • the third loss separately returns a neural network system including the third neural network, the second sub-neural network, and the fourth neural network to jointly adjust network parameters of the neural network system.
  • an electronic device comprising: a memory for storing executable instructions; and a processor for communicating with the memory to execute the executable instructions to complete the application
  • a memory for storing executable instructions
  • a processor for communicating with the memory to execute the executable instructions to complete the application
  • a computer storage medium for storing computer readable instructions, when the instructions are executed, performing the operation of the road map generation method according to any one of the above embodiments of the present application .
  • a computer program comprising computer readable code, the processor in the device executing the above-described implementation of the present application when the computer readable code is run on a device.
  • the road map generation method, device, electronic device and computer storage medium provided by the embodiments of the present application input the remote sensing image into the first neural network to obtain the first road feature information of the multi-channel; and then input the first road feature information of the multi-channel a third neural network obtains a multi-channel third road feature information, wherein the third neural network is a neural network completed by using road direction information as supervisory information training; and then, combining the first road feature information and the third road feature information, and According to the fusion result, the road map is generated, and the accuracy of extracting the remote sensing image on the road direction feature is improved.
  • FIG. 1 is an exemplary system architecture diagram in which an embodiment of the present application can be applied;
  • FIG. 2 is a flow chart of a road map generation method according to an embodiment of the present application.
  • FIG. 3a is a schematic diagram of an application scenario of a road map generation method according to an embodiment of the present application.
  • Figure 3b is a road map obtained after extracting road features from Figure 3a;
  • FIG. 4 is a schematic structural diagram of a road map generating device according to an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a server according to an embodiment of the present application.
  • Embodiments of the invention may be applied to electronic devices such as terminal devices, computer systems, servers, etc., which may operate with numerous other general purpose or special purpose computing system environments or configurations.
  • Examples of well-known terminal devices, computing systems, environments, and/or configurations suitable for use with electronic devices such as terminal devices, computer systems, servers, and the like include, but are not limited to, personal computer systems, server computer systems, thin clients, thick clients Machines, handheld or laptop devices, microprocessor-based systems, set-top boxes, programmable consumer electronics, networked personal computers, small computer systems, mainframe computer systems, and distributed cloud computing technology environments including any of the above, and the like.
  • Electronic devices such as terminal devices, computer systems, servers, etc., can be described in the general context of computer system executable instructions (such as program modules) being executed by a computer system.
  • program modules may include routines, programs, target programs, components, logic, data structures, and the like that perform particular tasks or implement particular abstract data types.
  • the computer system/server can be implemented in a distributed cloud computing environment where tasks are performed by remote processing devices that are linked through a communication network.
  • program modules may be located on a local or remote computing system storage medium including storage devices.
  • FIG. 1 illustrates an exemplary system architecture 100 in which a road map generation method and a road map generation device of an embodiment of the present application can be applied.
  • system architecture 100 can include terminal device 101 (e.g., aerial objects, etc.), terminal device 102 (e.g., satellite, etc.), network 103, and electronic device 104.
  • the network 103 is used to provide a medium for communication links between the terminal devices 101, 102 and the electronic device 104.
  • Network 103 may include various types of connections, such as wired, wireless communication links, fiber optic cables, and the like.
  • the user can interact with the electronic device 104 via the network 103 using the terminal devices 101, 102 to receive or transmit image information and the like.
  • the terminal devices 101 and 102 are vehicles for carrying sensors. Commonly used are balloons, aerial objects, and artificial satellites.
  • the electromagnetic wave characteristics of the target object are acquired from a long distance, and the target object is transmitted, stored, corrected, and recognized by the image information. , and finally achieve its functions (for example, timing function, positioning function, qualitative function, quantitative function).
  • the sensor may be, for example, an instrument for detecting electromagnetic wave characteristics of a target, and a camera, a scanner, and an imaging radar are commonly used.
  • the electronic device 104 may be a server that provides various services, such as a background image processing server that acquires remote sensing images from sensors mounted on the terminal devices 101, 102.
  • the background image processing server may perform processing such as analysis of the received remote sensing image and the like, and output the processing result (for example, the object detection result).
  • the road map generating method provided by the embodiment of the present application may be executed by the electronic device 104. Accordingly, the road map generating device may be disposed in the server 104.
  • terminal devices, networks, and electronic devices in FIG. 1 is merely illustrative. Depending on the needs of the implementation, there can be any number of terminal devices, networks, and electronic devices.
  • the road map generation method includes:
  • Step 201 Input a remote sensing image into the first neural network to extract the first road feature information of the multiple channels via the first neural network.
  • the electronic device for example, the electronic device 104 shown in FIG. 1
  • the electronic device for example, the electronic device 104 shown in FIG. 1
  • the foregoing wireless connection manner may include, but is not limited to, a 3G/4G connection, a WiFi connection, a Bluetooth connection, a wireless metropolitan area network (WiMAX) connection, a wireless personal area network (Zigbee) connection, and an ultra wideband (ultra wideband).
  • UWB ultra wideband
  • the remote sensing image is imported into the first neural network, and the first neural network is capable of extracting the multi-channel first road feature information from the remote sensing image.
  • the first road feature information may be, for example, road feature information including road width extracted from the remote sensing image.
  • the first neural network may include: a second sub-neural network, wherein the second sub-neural network may be trained to allow road width information to be supervised by the supervisory information.
  • Neural Networks the inputting the remote sensing image into the first neural network to extract the first road feature information of the multi-channel via the first neural network may include: inputting the remote sensing image into the second a sub-neural network to extract a multi-channel second road feature map via the second sub-neural network.
  • the first road feature information includes the second road feature map.
  • the remote sensing image may be directly input into the second sub-neural network, and the second sub-neural network is a neural network that is completed by the road width information as the supervision information, and the second sub-neural network
  • the road image in the remote sensing image can be identified, and a second road feature map including multiple channels of the allowable width is extracted from the remote sensing image.
  • the second sub-neural network may include multiple convolution layers, and each convolution layer may be followed by a normalization layer and a non-linear layer, and finally a convolution kernel is a classification layer of a set size. After that, the second road feature map of the multi-channel is output.
  • the first neural network may include: a first sub-neural network and a second sub-neural network.
  • the inputting the remote sensing image into the first neural network to extract the first road feature information of the multi-channel via the first neural network may include: inputting the remote sensing image into the first a sub-neural network to extract a first road feature map of the multi-channel via the first sub-neural network; input the first road feature map of the multi-channel into a second sub-neural network for extraction by the second sub-neural nerve A multi-channel second road feature map, wherein the second sub-neural network is a neural network that is completed by allowing road width information to be supervised by supervisory information.
  • the first road feature information includes the second road feature map.
  • the first neural network may include a first sub-neural network and a second sub-neural network.
  • the first sub-neural network may, for example, extract a multi-channel first road feature map from the remote sensing image by means of convolution and downsampling.
  • the first road feature map is then input to the second sub-application embodiment network to obtain a second road feature map including multiple lanes of allowable width.
  • the first neural network may include: a first sub-neural network, a second sub-neural network, and a third sub-neural network.
  • the inputting the remote sensing image into the first neural network to extract the first road feature information of the multi-channel via the first neural network may include: inputting the remote sensing image into the first a sub-neural network to extract a first road feature map of the multi-channel via the first sub-neural network; input the first road feature map of the multi-channel into a second sub-neural network for extraction by the second sub-neural nerve a second road feature map of the multi-channel, wherein the second sub-neural network is a neural network completed with the road width information as the supervised information training; and the second road feature map of the multi-channel is input to the third sub-neural network And extracting a multi-channel third road feature map by the third sub-neural.
  • the first road feature information includes the third road
  • the first neural network may further include a first sub-neural network, a second sub-neural network, and a third sub-neural network.
  • the first sub-neural network and the second sub-neural network may be the same as described in the above implementation manner.
  • the second road feature map of the multi-channel can be input to the third sub-neural network, and the second road feature map is denoised by the third sub-neural network, and the multi-channel output is output.
  • Third road feature map With this embodiment, a smooth road of equal width can be obtained, and the burr phenomenon occurring in the extracted road feature map due to obstacle occlusion, image sharpness, extraction precision, and the like in the remote sensing image can be improved.
  • the allowable road width information may be an allowable road width range, and a width of at least one road (eg, each road) in the road map falls within the allowable road width.
  • the range; or the allowable road width information may also be a predetermined road width, and the width of at least one road (for example, each road) in the road map is the predetermined road width.
  • the remote sensing images may be photographed at different heights.
  • an allowable road width range may be set, and a width of part or all of the roads in the road map falls within the allowable road width range.
  • the road width it is also possible to set the road width to a predetermined road width such that the width of some or all of the roads in the road map is the predetermined road width.
  • the training method of the second sub-neural network may also be included, for example, the method may include:
  • a ground-width road map (groundtruth) of remote sensing image samples ie, remote sensing images for training
  • the equal-width road reference map may be a remote-sensing image pre-marked with a road of equal width, and used as supervisory information in the training process for the second sub-neural network.
  • the multi-channel road feature map of the remote sensing image sample or the remote sensing image sample is input into the second sub-neural network to be trained, and the multi-channel fifth road feature map is extracted through the second sub-neural network to be trained.
  • the training data of the second sub-neural network may be a remote sensing image sample or a multi-channel road feature map extracted from the remote sensing image sample, and the training data is input to the second sub-neural network to be trained, and the training data is to be trained.
  • the second sub-neural network may extract corresponding road width feature information from training data such as training remote sensing image samples or multi-channel road feature maps of remote sensing image samples, and obtain a corresponding multi-channel fifth road feature map.
  • the first road probability map is determined according to the multi-channel fifth road feature map.
  • the fifth road feature map may be image processed to determine the first road probability map.
  • the first road probability map is used to represent a probability that at least one pixel point (for example, each pixel point) in the fifth road feature map belongs to the road.
  • the first road probability map may be normalized and then processed.
  • the second loss between the first road probability map and the equal-width road reference map is returned to the second sub-neural network to be trained to adjust the second sub-need of the training Network parameters of the network.
  • the above-described equal-width road reference map can be considered as an effect map in an ideal state.
  • This error can be regarded as the second loss back, and the second loss is transmitted back to the second sub-neural network to be trained, which can be trained.
  • the network parameters of the second sub-neural network are adjusted to reduce the second loss, and the second sub-neural network to be trained is improved in accuracy of extracting contour features of the road.
  • the step 201 may be performed by a processor invoking a corresponding instruction stored in the memory, or may be performed by the first road feature information obtaining unit 401 being executed by the processor.
  • Step 202 Input the first road feature information of the multi-channel into the third neural network, to extract the third road feature information of the multi-channel via the third neural network.
  • the first road feature information may be input to the third neural network to obtain the third road feature information.
  • the third road feature information may be feature information that adds direction information of the road based on the first road feature information.
  • the third neural network is a neural network that is completed with at least road direction information as supervisory information training.
  • the training method of the third neural network may also be included, for example, the following steps may be included:
  • a road direction reference map (groundtruth) of the remote sensing image sample is obtained.
  • the road direction reference map may be a remote sensing image with a road direction pre-marked, and the pre-marking manner may be a manual marking, a machine marking, or other methods.
  • the multi-channel road feature map of the remote sensing image sample or the remote sensing image sample is input into the third neural network to be trained, and the fourth road feature map of the multi-channel is extracted through the third neural network to be trained.
  • the training data of the third neural network may be a remote sensing image sample, or may be a multi-channel road feature map extracted from the remote sensing image sample, and the training data is input into the third neural network to be trained, and the third to be trained.
  • the neural network may extract corresponding directional feature information from the remote sensing image samples for training or its multi-channel road feature map, and obtain a corresponding multi-channel fourth road feature map.
  • the road direction regression map is determined according to the multi-channel fourth road feature map.
  • the fourth road feature map may be subjected to image processing to determine a road direction regression map.
  • the road direction regression graph is used to represent the value of the corresponding pixel of the multi-channel feature map, and the subsequent processing may be directly performed without normalization processing.
  • the value of a single pixel in the road direction regression graph may be a number from 0-180, indicating the angle at which the road direction of the pixel is offset relative to the reference direction.
  • the first loss between the road direction regression map and the road direction reference map is returned to the third neural network to be trained to adjust network parameters of the third neural network to be trained.
  • the road direction reference map is an effect diagram of the road direction in an ideal state.
  • this error can be considered as the first loss.
  • the first loss is transmitted back to the third neural network to be trained, and the network parameters of the third neural network to be trained can be adjusted to reduce the first loss and improve the road direction feature of the third neural network to be trained. The accuracy.
  • the step 202 may be performed by a processor invoking a corresponding instruction stored in the memory, or may be performed by a third road feature information acquisition unit 402 executed by the processor.
  • Step 203 The first road feature information and the third road feature information are merged.
  • the first road feature information may be road feature information of a certain road width extracted from the remote sensing image, and the third road feature information may be based on the first road feature information, and the feature information of the direction information of the road is added.
  • the road feature information and the third road feature information may cause the road feature information to have both the road width feature and the road direction feature.
  • the combining the first road feature information and the third road feature information may include: adding or weighting the first road feature information and the The third road feature information; or, the first road feature information and the third road feature information are concatenated.
  • the first road feature information may be road feature information of a certain road width extracted from the remote sensing image. Therefore, the first road feature information may be an image including a certain road width.
  • the third road feature information may be an image including direction information of the road.
  • the first road feature information can be realized by directly combining (adding) the pixels in the image corresponding to the first road feature information with the pixels in the image corresponding to the third road feature information, or combining (weighting) according to a certain weight. Fusion with the third road feature information.
  • the image corresponding to the first road feature information and the image corresponding to the third road feature information may be directly connected to realize the first road feature information and the third road feature information. Fusion.
  • the step 203 may be performed by a processor invoking a corresponding instruction stored in the memory or by an information fusion unit 403 being executed by the processor.
  • Step 204 Generate a road map according to the fusion result.
  • the road feature information can be provided with both the road width feature and the road direction feature.
  • a road map can be generated based on the road width feature and the directional characteristics of the road.
  • the generating the road map according to the fusion result may include: inputting the fusion result into the fourth neural network, and extracting the fourth of the multiple channels by using the fourth neural network.
  • Road feature information determining a road map based on the multi-channel fourth road feature information.
  • the fusion result of the first road feature information and the third road feature information is input to the fourth neural network, and the road width feature and the road direction feature are combined by the fourth neural network to obtain the multi-channel fourth road feature information, and
  • the multi-channel fourth road feature information determines the road map.
  • the fourth neural network is a neural network based on the training of the road width information supervised information.
  • the method may further include: determining a center line of the road in the road map.
  • the centerline can improve the accuracy of automatic or assisted driving control such as navigation, steering, and channel maintenance.
  • the existing method obtains the image of the road intersection, the extraction effect of the central line at the intersection of the extracted road intersection is poor due to obstacles such as obstacles of the remote sensing image, image sharpness, extraction precision, etc., and burrs and insufficient smoothness may occur.
  • a smooth center line can be extracted, which can improve the extraction of the road intersection image due to obstruction of the remote sensing image, image sharpness, extraction precision, and the like.
  • the extraction of the centerline at the intersection of roads is not good, resulting in burrs and insufficient smoothness.
  • the method further includes: performing vectorization processing on the road map to obtain a road vector map. Through the road vector, it is possible to generate control commands for automatic or assisted driving control such as navigation, steering, and channel keeping.
  • the occluded road may be supplemented by information such as the road width feature and the direction feature of the road to improve the accuracy of the road in the road map.
  • the training method of the fourth neural network may also be included, for example, the following steps may be included:
  • a uniform road reference map of remote sensing image samples ie, remote sensing images for training
  • the multi-channel road feature map of the remote sensing image sample or the remote sensing image sample is input into the fourth neural network to be trained, and the sixth road feature map of the multi-channel is extracted through the fourth neural network to be trained.
  • the second road probability map is determined according to the multi-channel sixth road feature map.
  • the third loss between the second road probability map and the equal-width road reference map is returned to the fourth neural network to be trained to adjust the fourth neural network to be trained.
  • Network parameters
  • the training process of the fourth neural network is similar to the training process of the second sub-neural network described above, and the related indications can be referred to each other, and will not be repeated here.
  • the first loss, the second loss, and the third loss may be respectively returned, including the third neural network, the first The two-child neural network and the neural network system of the fourth neural network to jointly adjust network parameters of the neural network system, for example, may include the following steps:
  • the third loss between the wide road reference maps respectively returns a neural network system including the third neural network, the second sub-neural network, and the fourth neural network to jointly adjust the network parameters of the neural network system.
  • the network parameters of the neural network system of the third neural network, the second sub-neural network, and the fourth neural network are adjusted to improve the accuracy of the road width and direction in the acquired road map.
  • the step 204 may be performed by a processor invoking a corresponding instruction stored in the memory, or may be performed by a road map generation unit 404 that is executed by the processor.
  • FIG. 3a is a schematic diagram of an application scenario of a road map generation method according to the present embodiment.
  • Figure 3a is an actual remote sensing image. It can be seen that Figure 3a contains information such as roads, buildings, and trees.
  • the remote sensing image may be first input into the first neural network to obtain the first road feature information; then the first road feature information of the multi-channel is input into the third neural network to obtain the multi-channel Three road feature information; after that, the first road feature information and the third road feature information are merged, and a road map is generated according to the fusion result, as shown in FIG. 3b.
  • the method provided by the embodiment of the present application improves the accuracy of extracting remote sensing images on road width features and road direction features.
  • Any road map generating method provided by the embodiment of the present invention may be performed by any suitable device having data processing capability, including but not limited to: a terminal device, a server, and the like.
  • any road map generating method provided by the embodiment of the present invention may be executed by a processor, such as the processor executing any road map generating method mentioned in the embodiment of the present invention by calling corresponding instructions stored in the memory. This will not be repeated below.
  • the foregoing program may be stored in a computer readable storage medium, and the program is executed when executed.
  • the foregoing steps include the steps of the foregoing method embodiments; and the foregoing storage medium includes: a medium that can store program codes, such as a ROM, a RAM, a magnetic disk, or an optical disk.
  • the embodiment of the present application provides a road map generating device, and the road map generating device embodiment corresponds to the method embodiment shown in FIG. 2, and the device can be applied.
  • the road map generating device embodiment corresponds to the method embodiment shown in FIG. 2, and the device can be applied.
  • the device can be applied.
  • electronic devices In a variety of electronic devices.
  • the road map generating apparatus 400 of the present embodiment may include a first road feature information acquiring unit 401, a third road feature information acquiring unit 402, an information fusion unit 403, and a road map generating unit 404.
  • the first road feature information acquiring unit 401 is configured to input the remote sensing image into the first neural network to extract the first road feature information of the multiple channels via the first neural network;
  • the third road feature information acquiring unit 402 is configured to The multi-channel first road feature information is input to the third neural network to extract the multi-channel third road feature information via the third neural network, wherein the third neural network uses the road direction information as the supervisory information
  • the information fusion unit 403 is configured to fuse the first road feature information and the third road feature information;
  • the road map generating unit 404 is configured to generate a road map according to the fusion result.
  • the information fusion unit 403 may be configured to: add or weight add the first road feature information and the third road feature information; or, a serial connection The first road feature information and the third road feature information are described.
  • the first neural network may include: a second sub-neural network, wherein the second sub-neural network is a neural network that is trained to allow road width information to be supervised.
  • the first road feature information acquiring unit 401 may include: a first acquiring subunit (not shown), and inputting the remote sensing image into the second sub-neural network to pass the second sub-neural The network extracts a second road feature map of the multi-channel.
  • the first road feature information includes the second road feature map.
  • the first neural network may include: a first sub-neural network and a second sub-neural network; the first road feature information acquiring unit 401 may include: first acquiring Subunits (not shown) and first acquisition subunits (not shown).
  • the first acquiring subunit is configured to input the remote sensing image into the first sub-neural network to extract a multi-channel first road feature map via the first sub-neural network; And inputting the first road feature map of the multi-channel into the second sub-neural network to extract a multi-channel second road feature map via the second sub-neural, wherein the second sub-neural network is an allowable road
  • the width information is a neural network that supervises the completion of information training.
  • the first road feature information includes the second road feature map.
  • the first neural network may include: a first sub-neural network, a second sub-neural network, and a third sub-neural network; the first road feature information acquiring unit 401
  • the method may include: a first acquisition subunit (not shown in the drawing), a second acquisition subunit (not shown in the figure), and a third acquisition subunit (not shown in the drawing).
  • the first acquiring subunit is configured to input the remote sensing image into the first sub-neural network to extract a multi-channel first road feature map via the first sub-neural network; And inputting the first road feature map of the multi-channel into the second sub-neural network to extract a multi-channel second road feature map via the second sub-neural, wherein the second sub-neural network is an allowable road
  • the width information is a neural network in which the supervised information training is completed; the third obtaining subunit is configured to input the second road feature map of the multi-channel into the third sub-neural network to extract the multi-channel by the third sub-neural Three road feature maps.
  • the first road feature information includes the third road feature map.
  • the allowable road width information may be an allowable road width range, and a width of each road in the road map falls within the allowable road width range; or the allowable road
  • the width information may also be a predetermined road width, and the width of each road in the road map is the predetermined road width.
  • the road map generating unit 404 may include: a fourth road feature information acquiring subunit (not shown in the figure) and a road map determining subunit (not shown in the figure) ).
  • the fourth road feature information acquiring subunit is configured to input the fusion result into the fourth neural network to extract the fourth road feature information of the multiple channels via the fourth neural network; the road map determining subunit is used to The fourth road feature information of the multi-channel determines the road map.
  • the fourth neural network is a neural network that is completed by using the road width information as the supervision information.
  • the road map generating unit 404 may further include: a center line determining subunit (not shown) for determining a center line of the road in the road map.
  • the road map generating unit 404 may further include: a road vector image acquiring subunit (not shown) for performing vectorization processing on the road map, Get the road vector illustration.
  • the training unit (not shown) of the third neural network is configured to acquire a road direction reference map of the remote sensing image for training; and the remote sensing image for training is used.
  • a multi-channel road feature map is input to the third neural network to be trained, to extract a multi-channel fourth road feature map through the third neural network to be trained; and determine a road direction according to the multi-channel fourth road feature map Regression map; returning the first loss between the road direction regression map and the road direction reference map to the third neural network to be trained to adjust network parameters of the third neural network to be trained.
  • the training unit (not shown) of the second sub-neural network is configured to acquire an equal-width road reference map of the remote sensing image for training; a remote sensing image or a multi-channel road feature map thereof, inputting a second sub-neural network to be trained, and extracting a multi-channel fifth road feature map via the second sub-neural network to be trained; according to the multi-channel fifth road Determining the first road probability map; returning the second loss between the first road probability map and the equal-width road reference map to the second sub-neural network to be trained to adjust the to-be-trained The network parameters of the second sub-neural network.
  • the training unit (not shown) of the fourth neural network may be further configured to acquire a contour road map of the remote sensing image for training;
  • the remote sensing image or the multi-channel road feature map is input to the fourth neural network to be trained, and the sixth road feature map of the multi-channel is extracted by the fourth neural network to be trained; and the sixth road feature map is determined according to the multi-channel a second road probability map; returning a third loss between the second road probability map and the equal-width road reference map to the fourth neural network to be trained to adjust the fourth nerve to be trained Network parameters of the network.
  • the training unit of the second neural network, the training unit of the third neural network, and the training unit of the fourth neural network may also be included. among them:
  • the training unit of the second sub-neural network is configured to: obtain a contour road map of the remote sensing image for training; input the remote sensing image for training or its multi-channel road feature map into the second sub-neural network to be trained, to be treated
  • the trained second sub-neural network extracts a multi-channel fifth road feature map; the first road probability map is determined according to the multi-channel fifth road feature map; and the second road probability map and the equal-width road reference map are second Loss return includes a neural network system of a third neural network, a second sub-neural network, and a fourth neural network;
  • the training unit of the third neural network is configured to: obtain a road direction reference map of the remote sensing image for training; input the training remote sensing image or the multi-channel road feature map into the third neural network to be trained, to be trained
  • the third neural network extracts the fourth road feature map of the multi-channel; the road direction regression map is determined according to the fourth road feature map of the multi-channel; the first loss return between the road direction regression map and the road direction reference map includes the third nerve a neural network system of the network, the second sub-neural network, and the fourth neural network;
  • the training unit of the fourth neural network is configured to: obtain a contour road map of the remote sensing image for training; input the remote sensing image for training or its multi-channel road feature map into the fourth neural network to be trained, to be trained
  • the fourth neural network extracts the sixth road feature map of the multi-channel; determines the second road probability map according to the multi-channel sixth road feature map; and the third loss back between the second road probability map and the equal-width road reference map And transmitting a neural network system including a third neural network, a second sub-neural network, and a fourth neural network to adjust network parameters of the neural network system in combination with the first loss and the second loss.
  • An embodiment of the present application provides an electronic device, including: a memory for storing executable instructions; and a processor, configured to communicate with the memory to execute the executable instructions to complete the path described in any of the above embodiments. The operation of the graph generation method.
  • the embodiment of the present application provides a computer storage medium for storing computer readable instructions, and when the instructions are executed, performing the operation of the road map generation method according to any of the above embodiments.
  • the embodiment of the present application provides a computer program, including computer readable code, when the computer readable code is run on a device, the processor in the device executes a road map generation method for implementing any of the above embodiments. Operation.
  • FIG. 5 there is shown a block diagram of a server 500 suitable for use in implementing the embodiments of the present application.
  • the server 500 includes a central processing unit (CPU) 501, which may be loaded according to a program stored in a read only memory (ROM) 502 or a program loaded from a storage portion 508 into a random access memory (RAM) 503. Perform various appropriate actions and processes.
  • RAM 503 various programs and data required for the operation of the server 500 are also stored.
  • the CPU 501, the ROM 502, and the RAM 503 are connected to each other through a bus 504.
  • ROM 502 is an optional module.
  • the RAM 503 stores executable instructions, or writes executable instructions to the ROM 502 at runtime, and the executable instructions cause the CPU 501 to execute operations corresponding to the road map generating method of any of the above embodiments.
  • An input/output (I/O) interface 505 is also coupled to bus 504.
  • the communication unit 512 may be integrated or may be provided with a plurality of sub-modules (for example, a plurality of IB network cards) and on the bus link.
  • the following components are connected to the I/O interface 505: an input portion 506 including a keyboard, a mouse, etc.; an output portion 507 including a liquid crystal display (LCD) or the like and a speaker, etc.; a storage portion 508 including a hard disk or the like; and including, for example, a LAN card, A communication portion 509 of a network interface card such as a modem. The communication section 509 performs communication processing via a network such as the Internet.
  • Driver 510 is also coupled to I/O interface 505 as needed.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory or the like is mounted on the drive 510 as needed so that a computer program read therefrom is installed into the storage portion 508 as needed.
  • an embodiment of the present disclosure includes a computer program product comprising a computer program tangibly embodied on a machine readable medium, the computer program comprising program code for executing a road map generation method of an embodiment of the flowchart .
  • the computer program can be downloaded and installed from the network via the communication portion 509, and/or installed from the removable medium 511.
  • each block of the flowchart or block diagrams can represent a module, a program segment, or a portion of code that includes one or more Executable instructions.
  • the functions noted in the blocks may also occur in a different order than that illustrated in the drawings. For example, two successively represented blocks may in fact be executed substantially in parallel, and they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented in a dedicated hardware-based system that performs the specified function or operation. Or it can be implemented by a combination of dedicated hardware and computer instructions.
  • the units involved in the embodiments of the present application may be implemented by software or by hardware.
  • the described unit may also be disposed in the processor, for example, as a processor including a first road feature information acquiring unit, a third road feature information acquiring unit, an information fusion unit, and a road map generating unit.
  • the names of these units do not constitute a limitation on the unit itself under certain circumstances.
  • the road map generation unit may also be described as "a unit for acquiring a road map".
  • the embodiment of the present application further provides a non-volatile computer storage medium, which may be a non-volatile computer storage medium included in the foregoing apparatus in the foregoing embodiment; It may also be a non-volatile computer storage medium that exists alone and is not assembled into the terminal.
  • a non-volatile computer storage medium which may be a non-volatile computer storage medium included in the foregoing apparatus in the foregoing embodiment; It may also be a non-volatile computer storage medium that exists alone and is not assembled into the terminal.
  • the non-volatile computer storage medium stores one or more programs, when the one or more programs are executed by a device, causing the device to: input a remote sensing image into the first neural network to pass the first neural network Extracting the first road feature information of the multi-channel; inputting the first road feature information of the multi-channel into the third neural network, to extract the third road feature information of the multi-channel via the third neural network, where the The three neural network is a neural network completed with at least road direction information as supervisory information training; the first road feature information and the third road feature information are merged; and the road map is generated according to the fusion result.

Abstract

本申请实施例公开了一种道路图生成方法、装置、电子设备和计算机存储介质。该方法的一可选实施方式包括：将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为以道路方向信息为监督训练完成的神经网络；融合所述第一道路特征信息和所述第三道路特征信息；根据融合结果生成道路图。本申请实施例提高了提取遥感图像对道路方向特征的准确性。

Description

道路图生成方法、装置、电子设备和计算机存储介质
本申请要求在2017年09月19日提交中国专利局、申请号为CN201710848159.2、发明名称为“一种道路图生成方法、装置、电子设备和计算机存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，可选涉及图像处理技术领域，尤其涉及一种道路图生成方法、装置、电子设备和计算机存储介质。
背景技术
随着科技的发展和社会的进步，地图在人们的出行中起到了越来越重要的作用。地图能够使得人们随时确定自己的位置信息或目的地的位置信息，有利于出行的规划，提高了人们生活的便利性。
随着智能终端的普及，电子地图成为智能终端的常用应用。为了提高电子地图的准确性，需要获取实际的地图图像，然后再从地图图像中找出道路信息。计算机视觉和图像处理技术，例如支持向量机、随机森林等方法等，在道路图像识别中有重要的应用。
发明内容
本申请实施例提供了一种道路图生成的技术方案。
根据本申请实施例的一个方面，提供了一种道路图生成方法，该方法包括：将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为以道路方向信息为监督信息训练完成的神经网络；融合所述第一道路特征信息和所述第三道路特征信息；根据融合结果生成道路图。
在一些实施例中，所述融合所述第一道路特征信息和所述第三道路特征信息，包括：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
在一些实施例中，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络；所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，包括：将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图；所述第一道路特征信息包括所述第二道路特征图。
在一些实施例中，所述第一神经网络还包括：第一子神经网络；所述将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图，包括：将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；将所述多通道的第一道路特征图输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
在一些实施例中，所述第一神经网络还包括：第三子神经网络；所述经所述第二子神 经提取多通道的第二道路特征图之后，还包括：将所述多通道的第二道路特征图输入所述第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图；所述第一道路特征信息包括所述第三道路特征图。
在一些实施例中，所述容许道路宽度信息包括：容许道路宽度范围，所述道路图中各道路的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息包括：预定道路宽度，所述道路图中各道路的宽度为所述预定道路宽度。
在一些实施例中，所述根据融合结果生成道路图，包括：将所述融合结果输入第四神经网络，以经所述第四神经网络提取多通道的第四道路特征信息；基于所述多通道的第四道路特征信息确定道路图。
在一些实施例中，所述第四神经网络为基于容许道路宽度信息为监督信息训练完成的神经网络。
在一些实施例中，所述根据融合结果生成道路图之后，还包括：确定所述道路图中道路的中心线。
在一些实施例中，所述根据融合结果生成道路图之后，还包括：将所述道路图进行矢量化处理，获得道路矢量图。
在一些实施例中，还包括：获取遥感图像样本的道路方向基准图；将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第三神经网络，以经所述待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定道路方向回归图；将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
在一些实施例中，还包括：获取遥感图像样本的等宽道路基准图；将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第二子神经网络，以经所述待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定第一道路概率图；将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
在一些实施例中，还包括：获取遥感图像样本的等宽道路基准图；将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第四神经网络，以经所述待训练的第四神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定第二道路概率图；将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第四神经网络，以调整所述待训练的第四神经网络的网络参数。
在一些实施例中，还包括：获取遥感图像样本的等宽道路基准图和道路方向基准图；将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第二子神经网络，以经所述待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定第一道路概率图；
将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第三神经网络，以经所述待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定道路方向回归图；将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第四神经网络，以经所述待训练的第四神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定第二道路概率图；将所述道路方向回归图和所述道路方向基准图之间的第一损失、所述第一道路概率图和所述等宽道 路基准图之间的所述第二损失、所述第二道路概率图和所述等宽道路基准图之间的第三损失，分别回传包括所述第三神经网络、所述第二子神经网络和所述第四神经网络的神经网络系统，以联合调整所述神经网络系统的网络参数。
根据本申请实施例的另一个方面，提供了一种道路图生成装置，该装置包括：第一道路特征信息获取单元，用于将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；第三道路特征信息获取单元，用于将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督信息训练完成的神经网络；信息融合单元，用于融合所述第一道路特征信息和所述第三道路特征信息；道路图生成单元，用于根据融合结果生成道路图。
在一些实施例中，所述信息融合单元用于：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
在一些实施例中，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络；所述第一道路特征信息获取单元包括：第一获取子单元，将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图；所述第一道路特征信息包括所述第二道路特征图。
在一些实施例中，所述第一神经网络还包括：第一子神经网络；所述第一道路特征信息获取单元还包括：第一获取子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；所述第二获取子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
在一些实施例中，所述第一神经网络还包括：第三子神经网络；所述第一道路特征信息获取单元还包括：第三获取子单元，用于将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图；所述第一道路特征信息包括所述第三道路特征图。
在一些实施例中，所述容许道路宽度信息包括：容许道路宽度范围，所述道路图中至少一个道路的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息包括：预定道路宽度，所述道路图中至少一个道路的宽度为所述预定道路宽度。
在一些实施例中，所述道路图生成单元包括：第四获取子单元，用于将所述融合结果输入第四神经网络，以经所述第四神经网络提取多通道的第四道路特征信息；道路图确定子单元，用于基于所述多通道的第四道路特征信息确定道路图。
在一些实施例中，所述第四神经网络为基于容许道路宽度信息监督信息训练完成的神经网络。
在一些实施例中，所述道路图生成单元还包括：中心线确定子单元，用于确定所述道路图中道路的中心线。
在一些实施例中，所述道路图生成单元还包括：道路矢量图获取子单元，用于将所述道路图进行矢量化处理，获得道路矢量图。
在一些实施例中，还包括：所述第三神经网络的训练单元，用于：获取训练用遥感图像的道路方向基准图；将所述训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经所述待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通 道的第四道路特征图确定道路方向回归图；将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
在一些实施例中，还包括：所述第二子神经网络的训练单元，用于：将训练用的遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经所述待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定第一道路概率图；将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
在一些实施例中，还包括：所述第四神经网络的训练单元，用于：获取训练用遥感图像的等宽道路基准图；将所述训练用遥感图像或其多通道的道路特征图输入待训练的第四神经网络，以经待训练的第四神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定第二道路概率图；将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第四神经网络，以调整所述待训练的第四神经网络的网络参数。
在一些实施例中，所述第三神经网络的训练单元将所述第一损失、所述第二子神经网络的训练单元将所述第二损失、所述第四神经网络的训练单元将所述第三损失分别回传包括所述第三神经网络、所述第二子神经网络和所述第四神经网络的神经网络系统，以联合调整所述神经网络系统的网络参数。
根据本申请实施例的有一个方面，提供了一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成本申请上述任一实施例所述道路图生成方法的操作。
根据本申请实施例的再一个方面，提供了一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行本申请上述任一实施例所述道路图生成方法的操作。
根据本申请实施例的再一个方面，提供了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现本申请上述任一实施例所述道路图生成方法的操作。
本申请实施例提供的道路图生成方法、装置、电子设备和计算机存储介质，将遥感图像输入第一神经网络，得到多通道的第一道路特征信息；然后将多通道的第一道路特征信息输入第三神经网络，得到多通道的第三道路特征信息，该第三神经网络为以道路方向信息为监督信息训练完成的神经网络；之后，融合第一道路特征信息和第三道路特征信息，并根据融合结果生成道路图，提高了提取遥感图像对道路方向特征的准确性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请实施例的其它特征、目的和优点将会变得更明显：
图1是本申请实施例可以应用于其中的示例性系统架构图；
图2是根据本申请实施例的道路图生成方法的一个流程图；
图3a是根据本申请实施例的道路图生成方法的应用场景的一个示意图；
图3b是从对图3a中提取道路特征后得到的道路图；
图4是根据本申请实施例的道路图生成装置的一个结构示意图；
图5是根据本申请实施例的服务器的一个结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的可选实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
应注意到：除非另外可选说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本领域技术人员可以理解，本申请实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
需要说明的是，在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
下面将参考附图并结合实施例来详细说明本申请实施例。图1示出了可以应用本申请实施例的道路图生成方法和道路图生成装置的一个示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101(例如，航拍对象等)、终端设备102(例如，人造卫星等)，网络103和电子设备104。网络103用以在终端设备101、102和电子设备104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络103与电子设备104交互，以接收或发送 图像信息等。终端设备101、102是用来搭载传感器的运载工具，常用的有气球、航拍对象和人造卫星等，从远距离获取目标物体的电磁波特性，通过该图像信息的传输、贮存、修正、识别目标物体，最终实现其功能(例如，定时功能、定位功能、定性功能、定量功能)。传感器例如可以是用来探测目标物电磁波特性的仪器设备，常用的有照相机、扫描仪和成像雷达等。
电子设备104可以是提供各种服务的服务器，例如从终端设备101、102上搭载的传感器获取遥感图像的后台图像处理服务器。后台图像处理服务器可以对接收到的遥感图像等数据进行分析等处理，并将处理结果(例如对象检测结果)输出。
需要说明的是，本申请实施例所提供的道路图生成方法可以由上述电子设备104执行，相应地，道路图生成装置可以设置于上述服务器104中。
应该理解，图1中的终端设备、网络和电子设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和电子设备。
参见图2，其示出了本申请实施例道路图生成方法的一个流程图200，该道路图生成方法包括：
步骤201，将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息。
在本实施例中，用于实现本实施例的电子设备(例如图1所示的电子设备104)可以通过有线或无线的方式接收终端设备101、102发来的遥感图像，并对遥感图像进行处理，得到第一道路特征信息。需要指出的是，上述无线连接方式例如可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、无线城域网(WiMAX)连接、无线个域网(Zigbee)连接、超宽带(ultra wideband，UWB)连接、或者其他现在已知或将来开发的无线连接方式，等等。
获取到上述包含多通道的遥感图像后，将该遥感图像导入第一神经网络，该第一神经网络能够从遥感图像中提取多通道的第一道路特征信息。其中，第一道路特征信息例如可以是从遥感图像中提取的包含道路宽度的道路特征信息。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第二子神经网络，其中，所述第二子神经网络可以为以容许道路宽度信息为监督信息训练完成的神经网络。相应地，该实施方式中，所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，可以包括：将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图(Feature-map)。相应地，该实施方式中，所述第一道路特征信息包括该第二道路特征图。
基于该实施方式，获取到遥感图像后，可以直接将遥感图像输入到第二子神经网络，该第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络，第二子神经网络可以对遥感图像中的道路图像进行识别，从遥感图像中提取出包括容许宽度的多通道的第二道路特征图。示例性地，该第二子神经网络可以包含多个卷积层，每个卷积层之后可以串接一个归一化层和非线性层，最后接一个卷积核为设定大小的分类层后输出多通道的第二道路特征图。
在本实施例的另一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络和第二子神经网络。相应地，该实施方式中，所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，可以包括：将所述遥感图像输入所述 第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络。相应地，该实施方式中，所述第一道路特征信息包括该第二道路特征图。
在该实施方式中，第一神经网络可以包括第一子神经网络和第二子神经网络。为了加快对遥感图像的数据处理，可以通过第一子神经网络对遥感图像的尺寸进行缩小。第一子神经网络例如可以是通过卷积和下采样的方式，从遥感图像中提取出多通道的第一道路特征图。之后再将第一道路特征图输入到第二子申请实施例网络，得到包括容许宽度的多通道的第二道路特征图。
在本实施例的又一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络、第二子神经网络和第三子神经网络。相应地，该实施方式中，所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，可以包括：将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络；将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图。所述第一道路特征信息包括该第三道路特征图。
在该实施方式中，第一神经网络还可以包括第一子神经网络、第二子神经网络和第三子神经网络。其中，第一子神经网络和第二子神经网络可以与上述实现方式中的描述相同。在得到多通道的第二道路特征图后，可以将多通道的第二道路特征图输入到第三子神经网络，经第三子神经网络对第二道路特征图去噪后，输出多通道的第三道路特征图。采用本实施例，能够得到等宽的平滑道路，改善了由于遥感图像中障碍物遮挡、图像清晰度、提取精度等原因导致提取到的道路特征图中出现的毛刺现象。
在本实施例的一些可选的实现方式中，所述容许道路宽度信息可以是一个容许道路宽度范围，所述道路图中至少一个道路(例如，各道路)的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息也可以是一个预定道路宽度，所述道路图中至少一个道路(例如，各道路)的宽度为所述预定道路宽度。
本申请实施例中，遥感图像可以是不同的高度拍摄的，对于为了得到较为精确的道路图，可以设置容许道路宽度范围，道路图中部分或全部道路的宽度落入所述容许道路宽度范围，以尽量符合实际道路的宽度。此外，还可以将道路宽度设定为一预定道路宽度，使得道路图中部分或全部道路的宽度都为预定道路宽度。
在本实施例的一些可选的实现方式中，还可以包括所述第二子神经网络的训练方法，例如可以包括：
第一步，获取遥感图像样本(即：训练用的遥感图像)的等宽道路基准图(groundtruth)。
为了通过第二子神经网络提取到等宽道路的特征，需要首选获取遥感图像样本的等宽道路基准图，其获取方式可以是人工标注或机器标注或采用其他方法预先获取的等宽道路基准图。该等宽道路基准图可以是预先标记有等宽道路的遥感图像，在对第二子神经网络对训练过程中作为监督信息使用。
第二步，将上述遥感图像样本或遥感图像样本的多通道的道路特征图输入待训练的第二子神经网络，以经该待训练的第二子神经网络提取多通道的第五道路特征图。
第二子神经网络的训练数据可以是遥感图像样本、也可以是从遥感图像样本中提取出的多通道的道路特征图，将上述训练数据输入待训练的第二子神经网络后，待训练的第二子神经网络可以从训练用的遥感图像样本或遥感图像样本的多通道的道路特征图等训练数据中提取到相应的道路宽度特征信息，并得到对应的多通道的第五道路特征图。
第三步，根据所述多通道的第五道路特征图确定第一道路概率图。
得到第五道路特征图后，可以对第五道路特征图进行图像处理，以确定出第一道路概率图。其中，第一道路概率图用于表征第五道路特征图中至少一个像素点(例如每个像素点)属于道路的概率。可选地，确定出第一道路概率图后，可以对该第一道路概率图进行归一化处理，再进行后续处理。
第四步，将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
上述的等宽道路基准图可以认为是理想状态下的效果图。通常，第一道路概率图和等宽道路基准图之间是有误差的，这个误差可以视为第二损失回，将该第二损失回传给待训练的第二子神经网络，可以对待训练的第二子神经网络的网络参数进行调整，以减小第二损失，提高待训练的第二子神经网络提取等宽道路特征的准确性。
在一个可选示例中，该步骤201可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的第一道路特征信息获取单元401执行。
步骤202，将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息。
得到第一道路特征信息后，可以将第一道路特征信息输入到第三神经网络，进而得到第三道路特征信息。第三道路特征信息可以是在第一道路特征信息的基础上，增加了道路的方向信息的特征信息。其中，所述第三神经网络为至少以道路方向信息为监督信息训练完成的神经网络。
在本实施例的一些可选的实现方式中，还可以包括所述第三神经网络的训练方法，例如可以包括以下步骤：
第一步，获取遥感图像样本的道路方向基准图(groundtruth)。
为了通过第三神经网络提取到道路的方向特征，需要首先获取遥感图像的道路方向基准图。道路方向基准图可以是预先标记有道路方向的遥感图像，预先标记的方式可以是人工标记、机器标记或者采用其他方式预先取得。
第二步，将遥感图像样本或遥感图像样本的多通道的道路特征图输入待训练的第三神经网络，以经待训练的第三神经网络提取多通道的第四道路特征图。
第三神经网络的训练数据可以是遥感图像样本、也可以是从遥感图像样本中提取出的多通道的道路特征图，将上述训练数据输入待训练的第三神经网络后，待训练的第三神经网络可以从训练用的遥感图像样本或其多通道的道路特征图中提取到相应的方向特征信息，并得到对应的多通道的第四道路特征图。
第三步，根据所述多通道的第四道路特征图确定道路方向回归图。
得到第四道路特征图后，可以对第四道路特征图进行图像处理，以确定出道路方向回归图。其中，道路方向回归图是用于表征多通道的特征图相应像素的值，可以不进行归一化处理，直接进行后续处理。可选的，道路方向回归图中的单个像素的值可以是0-180中的某一数字，表示该像素的道路方向相对于参考方向偏移的角度。
第四步，将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
道路方向基准图为理想状态下道路方向的效果图。通常，道路方向回归图与道路方向基准图之间存在误差，这个误差可以认为是第一损失。将第一损失回传给待训练的第三神经网络，可以对该待训练的第三神经网络对网络参数进行调整，以减小第一损失，提高待训练的第三神经网络提取道路方向特征的准确性。
在一个可选示例中，该步骤202可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的第三道路特征信息获取单元402执行。
步骤203，融合所述第一道路特征信息和所述第三道路特征信息。
第一道路特征信息可以是从遥感图像中提取的一定道路宽度的道路特征信息，第三道路特征信息可以是在第一道路特征信息的基础上，增加了道路的方向信息的特征信息，融合第一道路特征信息和第三道路特征信息，可以使得道路特征信息同时具备道路宽度特征和道路的方向特征。
在本实施例的一些可选的实现方式中，所述融合所述第一道路特征信息和所述第三道路特征信息，可以包括：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
由上述描述可知，第一道路特征信息可以是从遥感图像中提取的一定道路宽度的道路特征信息。因此，第一道路特征信息可以是包含一定道路宽度的图像。同理，第三道路特征信息可以是包含了道路的方向信息的图像。将第一道路特征信息对应的图像中的像素与第三道路特征信息对应的图像中的像素直接组合(相加)起来，或者按照一定的权重组合(加权)起来，可以实现第一道路特征信息和第三道路特征信息的融合。或者，也可以在第一道路特征信息的基础上，直接将第一道路特征信息对应的图像与第三道路特征信息对应的图像进行串接，实现第一道路特征信息和第三道路特征信息的融合。
在一个可选示例中，该步骤203可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的信息融合单元403执行。
步骤204，根据融合结果生成道路图。
将第一道路特征信息和第三道路特征信息进行融合后，可以使得道路特征信息同时具备道路宽度特征和道路的方向特征。基于道路宽度特征和道路的方向特征可以生成道路图。
在本实施例的一些可选的实现方式中，所述根据融合结果生成道路图，可以包括：将所述融合结果输入第四神经网络，以经所述第四神经网络提取多通道的第四道路特征信息；基于所述多通道的第四道路特征信息确定道路图。
将第一道路特征信息和第三道路特征信息的融合结果输入到第四神经网络，由第四神经网络将道路宽度特征和道路的方向特征结合起来得到多通道的第四道路特征信息，并由多通道的第四道路特征信息确定道路图。其中，第四神经网络为基于容许道路宽度信息监督信息训练完成的神经网络。
为了实现导航、转向、航道保持等自动或辅助驾驶控制，在经所述第四神经网络获取道路图之后，还可以包括：确定所述道路图中道路的中心线。通过中心线可以提高导航、转向、航道保持等自动或辅助驾驶控制的精度。现有方法在获取道路交叉路口图像时，由于遥感图像障碍物遮挡、图像清晰度、提取精度等原因导致提取到的道路交叉路口处中心线的提取效果不佳，可能出现毛刺、不够平滑等现象，通过本实施例中的道路特征和道路 方向，能够提取出平滑的中心线，可以改善在获取道路交叉路口图像时，由于遥感图像障碍物遮挡、图像清晰度、提取精度等原因导致提取到的道路交叉路口处中心线的提取效果不佳，从而出现的毛刺、不够平滑等现象。
为了实现对导航、转向、航道保持等自动或辅助驾驶控制，需要读取道路图的数据。为此，在经所述第四神经网络获取道路图之后，还可以包括：将所述道路图进行矢量化处理，获得道路矢量图。通过道路矢量图，可以生成导航、转向、航道保持等自动或辅助驾驶控制的控制指令。
另外，当遥感图像中存在道路遮挡情况时，还可以通过道路宽度特征和道路的方向特征等信息对被遮挡的道路进行补充，以提高道路图中道路的准确度。
在本实施例的一些可选的实现方式中，还可以包括所述第四神经网络的训练方法，例如可以包括以下步骤：
第一步，获取遥感图像样本(即：训练用的遥感图像)的等宽道路基准图。
第二步，将上述遥感图像样本或遥感图像样本的多通道的道路特征图输入待训练的第四神经网络，以经该待训练的第四神经网络提取多通道的第六道路特征图。
第三步，根据所述多通道的第六道路特征图确定第二道路概率图。
第四步，将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第四神经网络，以调整所述待训练的第四神经网络的网络参数。
第四神经网络的训练过程与上述第二子神经网络的训练过程类似，相关指出可以相互参见，此处不再一一赘述。
在本实施例的一些可选的实现方式中，训练过程中，可以将所述第一损失、所述第二损失和所述第三损失分别回传包括所述第三神经网络、所述第二子神经网络和所述第四神经网络的神经网络系统，以联合调整所述神经网络系统的网络参数，例如可以包括如下步骤：
获取遥感图像样本的等宽道路基准图和道路方向基准图；将该遥感图像样本或该遥感图像样本的多通道的道路特征图输入待训练的第二子神经网络，以经该待训练的第二子神经网络提取多通道的第五道路特征图；根据该多通道的第五道路特征图确定第一道路概率图；
将上述遥感图像样本或该遥感图像样本的多通道的道路特征图输入待训练的第三神经网络，以经该待训练的第三神经网络提取多通道的第四道路特征图；根据该多通道的第四道路特征图确定道路方向回归图；
将上述遥感图像样本或该遥感图像样本的多通道的道路特征图输入待训练的第四神经网络，以经该待训练的第四神经网络提取多通道的第六道路特征图；根据该多通道的第六道路特征图确定第二道路概率图；
将上述道路方向回归图和该道路方向基准图之间的第一损失、该第一道路概率图和该等宽道路基准图之间的该第二损失、和该第二道路概率图和该等宽道路基准图之间的第三损失，分别回传包括该第三神经网络、该第二子神经网络和该第四神经网络的神经网络系统，以联合调整该神经网络系统的网络参数。
本实施例中的，除了通过第一损失、第二损失和第三损失分别调整第三神经网络、第二子神经网络和第四神经网络的神经网络系统的网络参数外，还可以对包括第三神经网络、第二子神经网络和第四神经网络的神经网络系统的网络参数进行调整，以提高获取的道路 图中的道路宽度和方向的准确度。
在一个可选示例中，该步骤204可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的道路图生成单元404执行。
继续参见图3a，图3a是根据本实施例的道路图生成方法的应用场景的一个示意图。图3a是一幅实际的遥感图像，可以看到，图3a中包含了道路、建筑物、树木等信息。为了从该遥感图像中提取道路信息，可以首先将遥感图像输入到第一神经网络，得到第一道路特征信息；然后将多通道的第一道路特征信息输入第三神经网络，得到多通道的第三道路特征信息；之后，融合第一道路特征信息和第三道路特征信息，并根据融合结果生成道路图，如图3b所示。
本申请实施例提供的方法提高了提取遥感图像对道路宽度特征和道路方向特征的准确性。
本发明实施例提供的任一种道路图生成方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本发明实施例提供的任一种道路图生成方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种道路图生成方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
进一步参考图4，作为对上述各图所示方法的实现，本申请实施例提供了道路图生成装置，该道路图生成装置实施例与图2所示的方法实施例相对应，该装置可以应用于各种电子设备中。
如图4所示，本实施例的道路图生成装置400可以包括：第一道路特征信息获取单元401、第三道路特征信息获取单元402、信息融合单元403和道路图生成单元404。其中，第一道路特征信息获取单元401用于将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；第三道路特征信息获取单元402用于将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为以道路方向信息为监督信息训练完成的神经网络；信息融合单元403用于融合所述第一道路特征信息和所述第三道路特征信息；道路图生成单元404用于根据融合结果生成道路图。
在本实施例的一些可选的实现方式中，所述信息融合单元403可以用于：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络；所述第一道路特征信息获取单元401可以包括：第一获取子单元(图中未示出)，将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。相应地，该实施方式中，所述第一道路特征信息包括该第二道路特征图。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络和第二子神经网络；所述第一道路特征信息获取单元401可以包括：第一获取子单元(图 中未示出)和第获取子单元(图中未示出)。其中，第一获取子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；第二获取子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络。相应地，该实施方式中，所述第一道路特征信息包括该第二道路特征图。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络、第二子神经网络和第三子神经网络；所述第一道路特征信息获取单元401可以包括：第一获取子单元(图中未示出)、第二获取子单元(图中未示出)和第三获取子单元(图中未示出)。其中，第一获取子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；第二获取子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络；第三获取子单元，用于将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图。相应地，该实施方式中，所述第一道路特征信息包括该第三道路特征图。
在本实施例的一些可选的实现方式中，所述容许道路宽度信息可以是容许道路宽度范围，所述道路图中各道路的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息也可以是预定道路宽度，所述道路图中各道路的宽度为所述预定道路宽度。
在本实施例的一些可选的实现方式中，所述道路图生成单元404可以包括：第四道路特征信息获取子单元(图中未示出)和道路图确定子单元(图中未示出)。其中，第四道路特征信息获取子单元用于将所述融合结果输入第四神经网络，以经所述第四神经网络提取多通道的第四道路特征信息；道路图确定子单元用于基于所述多通道的第四道路特征信息确定道路图。
在本实施例的一些可选的实现方式中，所述第四神经网络为以容许道路宽度信息为监督信息训练完成的神经网络。
在本实施例的一些可选的实现方式中，所述道路图生成单元404还可以包括：中心线确定子单元(图中未示出)，用于确定所述道路图中道路的中心线。
在本实施例的一些可选的实现方式中，所述道路图生成单元404还可以包括：道路矢量图获取子单元(图中未示出)，用于将所述道路图进行矢量化处理，获得道路矢量图。
在本实施例的一些可选的实现方式中，还可以包括：第三神经网络的训练单元(图中未示出)，用于获取训练用遥感图像的道路方向基准图；将训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定道路方向回归图；将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
在本实施例的一些可选的实现方式中，还可以包括：第二子神经网络的训练单元(图中未示出)，用于获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定第一道路概率图；将所述第一 道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
在本实施例的一些可选的实现方式中，还可以包括：第四神经网络的训练单元(图中未示出)，用于获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第四神经网络，以经待训练的第四神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定第二道路概率图；将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第四神经网络，以调整所述待训练的第四神经网络的网络参数。
在本实施例的一些可选的实现方式中，还可以包括：第二子神经网络的训练单元，第三神经网络的训练单元和第四神经网络的训练单元。其中：
第二子神经网络的训练单元，用于：获取训练用遥感图像的等宽道路基准图；将训练用遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经待训练的第二子神经网络提取多通道的第五道路特征图；根据多通道的第五道路特征图确定第一道路概率图；将第一道路概率图和等宽道路基准图之间的第二损失回传包括第三神经网络、第二子神经网络和第四神经网络的神经网络系统；
第三神经网络的训练单元，用于：获取训练用遥感图像的道路方向基准图；将训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经待训练的第三神经网络提取多通道的第四道路特征图；根据多通道的第四道路特征图确定道路方向回归图；将道路方向回归图和道路方向基准图之间的第一损失回传包括第三神经网络、第二子神经网络和第四神经网络的神经网络系统；
第四神经网络的训练单元，用于：获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第四神经网络，以经待训练的第四神经网络提取多通道的第六道路特征图；根据多通道的第六道路特征图确定第二道路概率图；将第二道路概率图和等宽道路基准图之间的第三损失回传包括第三神经网络、第二子神经网络和第四神经网络的神经网络系统，以联合上述第一损失、第二损失调整所述神经网络系统的网络参数。
本申请实施例提供了一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成上述任一实施例所述道路图生成方法的操作。
本申请实施例提供了一种计算机存储介质，用于存储计算机可读取的指令，上述指令被执行时执行上述任一实施例所述道路图生成方法的操作。
本申请实施例提供了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例道路图生成方法的操作。
下面参考图5，其示出了适于用来实现本申请实施例的服务器500的一个结构示意图。
如图5所示，服务器500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有服务器500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可 执行指令，可执行指令使CPU501执行上述任一实施例的道路图生成方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示实施例的道路图生成方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一道路特征信息获取单元、第三道路特征信息获取单元、信息融合单元和道路图生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，道路图生成单元还可以被描述为“用于获取道路图的单元”。
作为另一方面，本申请实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督信息训练完成的神经网络；融合所述第一道路特征信息和所述第三道路特征信息；根据融合结果生成道路图。
以上描述仅为本申请的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进 行任意组合而形成的其它技术方案。例如上述特征与本申请实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (30)

  1. 一种道路图生成方法，其特征在于，包括：
    将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；
    将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为以道路方向信息为监督信息训练完成的神经网络；
    融合所述第一道路特征信息和所述第三道路特征信息；
    根据融合结果生成道路图。
  2. 根据权利要求1所述的方法，其特征在于，所述融合所述第一道路特征信息和所述第三道路特征信息，包括：
    相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，
    串接所述第一道路特征信息和所述第三道路特征信息。
  3. 根据权利要求1或2所述的方法，其特征在于，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络；
    所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，包括：
    将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图；所述第一道路特征信息包括所述第二道路特征图。
  4. 根据权利要求3所述的方法，其特征在于，所述第一神经网络还包括：第一子神经网络；
    所述将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图，包括：
    将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；
    将所述多通道的第一道路特征图输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
  5. 根据权利要求3或4所述的方法，其特征在于，所述第一神经网络还包括：第三子神经网络；
    所述经所述第二子神经提取多通道的第二道路特征图之后，还包括：
    将所述多通道的第二道路特征图输入所述第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图；所述第一道路特征信息包括所述第三道路特征图。
  6. 根据权利要求3-5任一所述的方法，其特征在于，所述容许道路宽度信息包括：容许道路宽度范围，所述道路图中至少一个道路的宽度落入所述容许道路宽度范围；或者，
    所述容许道路宽度信息包括：预定道路宽度，所述道路图中至少一个道路的宽度为所述预定道路宽度。
  7. 根据权利要求1-6任一所述的方法，其特征在于，所述根据融合结果生成道路图，包括：
    将所述融合结果输入第四神经网络，以经所述第四神经网络提取多通道的第四道路特征信息；
    基于所述多通道的第四道路特征信息确定道路图。
  8. 根据权利要求7所述的方法，其特征在于，所述第四神经网络为以容许道路宽度信息为监督信息训练完成的神经网络。
  9. 根据权利要求1-8任一所述的方法，其特征在于，所述根据融合结果生成道路图之后，还包括：
    确定所述道路图中道路的中心线。
  10. 根据权利要求1-9任一所述的方法，其特征在于，所述根据融合结果生成道路图之后，还包括：
    将所述道路图进行矢量化处理，获得道路矢量图。
  11. 根据权利要求1-10任一所述的方法，其特征在于，还包括：
    获取遥感图像样本的道路方向基准图；
    将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第三神经网络，以经所述待训练的第三神经网络提取多通道的第四道路特征图；
    根据所述多通道的第四道路特征图确定道路方向回归图；
    将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
  12. 根据权利要求3-11任一所述的方法，其特征在于，还包括：
    获取遥感图像样本的等宽道路基准图；
    将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第二子神经网络，以经所述待训练的第二子神经网络提取多通道的第五道路特征图；
    根据所述多通道的第五道路特征图确定第一道路概率图；
    将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
  13. 根据权利要求7-12任一所述的方法，其特征在于，还包括：
    获取遥感图像样本的等宽道路基准图；
    将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第四神经网络，以经所述待训练的第四神经网络提取多通道的第六道路特征图；
    根据所述多通道的第六道路特征图确定第二道路概率图；
    将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第四神经网络，以调整所述待训练的第四神经网络的网络参数。
  14. 根据权利要求7-10任一所述的方法，其特征在于，还包括：
    获取遥感图像样本的等宽道路基准图和道路方向基准图；将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第二子神经网络，以经所述待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定第一道路概率图；
    将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第三神经网络，以经所述待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定道路方向回归图；
    将所述遥感图像样本或所述遥感图像样本的多通道的道路特征图输入待训练的第四神经网络，以经所述待训练的第四神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定第二道路概率图；
    将所述道路方向回归图和所述道路方向基准图之间的第一损失、所述第一道路概率图和所述等宽道路基准图之间的所述第二损失、所述第二道路概率图和所述等宽道路基准图之间的第三损失，分别回传包括所述第三神经网络、所述第二子神经网络和所述第四神经网络的神经网络系统，以联合调整所述神经网络系统的网络参数。
  15. 一种道路图生成装置，其特征在于，包括：
    第一道路特征信息获取单元，用于将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；
    第三道路特征信息获取单元，用于将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为以道路方向信息为监督信息训练完成的神经网络；
    信息融合单元，用于融合所述第一道路特征信息和所述第三道路特征信息；
    道路图生成单元，用于根据融合结果生成道路图。
  16. 根据权利要求15所述的装置，其特征在于，所述信息融合单元用于：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
  17. 根据权利要求15或16所述的装置，其特征在于，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督信息训练完成的神经网络；
    所述第一道路特征信息获取单元包括：
    第一获取子单元，用于将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图；所述第一道路特征信息包括所述第二道路特征图。
  18. 根据权利要求17所述的装置，其特征在于，所述第一神经网络还包括：第一子神经网络；
    所述第一道路特征信息获取单元还包括：
    第一获取子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；
    所述第二获取子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
  19. 根据权利要求17或18所述的装置，其特征在于，所述第一神经网络还包括：第三子神经网络；
    所述第一道路特征信息获取单元还包括：
    第三获取子单元，用于将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图；所述第一道路特征信息包括所述第三道路特征图。
  20. 根据权利要求17-19任一所述的装置，其特征在于，
    所述容许道路宽度信息包括：容许道路宽度范围，所述道路图中至少一个道路的宽度落入所述容许道路宽度范围；或者，
    所述容许道路宽度信息包括：预定道路宽度，所述道路图中至少一个道路的宽度为所述预定道路宽度。
  21. 根据权利要求15-20任一所述的装置，其特征在于，所述道路图生成单元包括：
    第四道获取子单元，用于将所述融合结果输入第四神经网络，以经所述第四神经网络提取多通道的第四道路特征信息；
    道路图确定子单元，用于基于所述多通道的第四道路特征信息确定道路图。
  22. 根据权利要求21所述的装置，其特征在于，所述第四神经网络为以容许道路宽度信息为监督信息训练完成的神经网络。
  23. 根据权利要求15-22任一所述的装置，其特征在于，所述道路图生成单元还包括：
    中心线确定子单元，用于确定所述道路图中道路的中心线。
  24. 根据权利要求15-23任一所述的装置，其特征在于，所述道路图生成单元还包括：
    道路矢量图获取子单元，用于将所述道路图进行矢量化处理，获得道路矢量图。
  25. 根据权利要求15-24任一所述的装置，其特征在于，还包括：第三神经网络的训练单元，用于：
    获取训练用遥感图像的道路方向基准图；
    将所述训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经所述待训练的第三神经网络提取多通道的第四道路特征图；
    根据所述多通道的第四道路特征图确定道路方向回归图；
    将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
  26. 根据权利要求17-25任一所述的装置，其特征在于，还包括：第二子神经网络的训练单元，用于：
    获取训练用遥感图像的等宽道路基准图；
    将所述训练用遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经所述待训练的第二子神经网络提取多通道的第五道路特征图；
    根据所述多通道的第五道路特征图确定第一道路概率图；
    将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
  27. 根据权利要求21-26任一所述的装置，其特征在于，还包括：第四神经网络的训练单元，用于：
    获取训练用遥感图像的等宽道路基准图；
    将训练用的遥感图像或其多通道的道路特征图输入待训练的第四神经网络，以经所述待训练的第四神经网络提取多通道的第六道路特征图；
    根据所述多通道的第六道路特征图确定第二道路概率图；
    将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第四神经网络，以调整所述待训练的第四神经网络的网络参数。
  28. 根据权利要求21-24任一所述的装置，其特征在于，还包括：第二子神经网络的训练单元，第三神经网络的训练单元和第四神经网络的训练单元；
    所述第二子神经网络的训练单元，用于：获取训练用遥感图像的等宽道路基准图；将所述训练用遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经所述待 训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定第一道路概率图；将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传包括所述第三神经网络、所述第二子神经网络和所述第四神经网络的神经网络系统；
    所述第三神经网络的训练单元，用于：获取训练用遥感图像的道路方向基准图；将所述训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经所述待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定道路方向回归图；将所述道路方向回归图和所述道路方向基准图之间的第一损失回传包括所述第三神经网络、所述第二子神经网络和所述第四神经网络的神经网络系统；
    所述第四神经网络的训练单元，用于：获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第四神经网络，以经所述待训练的第四神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定第二道路概率图；将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传包括所述第三神经网络、所述第二子神经网络和所述第四神经网络的神经网络系统，以联合所述第一损失、所述第二损失调整所述神经网络系统的网络参数。
  29. 一种电子设备，其特征在于，包括：
    存储器，用于存储可执行指令；以及
    处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至14任意一项所述道路图生成方法的操作。
  30. 一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至14中任一所述道路图生成方法的操作。
PCT/CN2018/096332 2017-09-19 2018-07-19 道路图生成方法、装置、电子设备和计算机存储介质 WO2019056845A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
SG11201909743Q SG11201909743QA (en) 2017-09-19 2018-07-19 Method and apparatus for generating road map, electronic device, and computer storage medium
JP2019558374A JP6918139B2 (ja) 2017-09-19 2018-07-19 道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体
US16/655,336 US11354893B2 (en) 2017-09-19 2019-10-17 Method and apparatus for generating road map, electronic device, and computer storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710848159.2 2017-09-19
CN201710848159.2A CN108230421A (zh) 2017-09-19 2017-09-19 一种道路图生成方法、装置、电子设备和计算机存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/655,336 Continuation US11354893B2 (en) 2017-09-19 2019-10-17 Method and apparatus for generating road map, electronic device, and computer storage medium

Publications (1)

Publication Number Publication Date
WO2019056845A1 true WO2019056845A1 (zh) 2019-03-28

Family

ID=62655449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/096332 WO2019056845A1 (zh) 2017-09-19 2018-07-19 道路图生成方法、装置、电子设备和计算机存储介质

Country Status (5)

Country Link
US (1) US11354893B2 (zh)
JP (1) JP6918139B2 (zh)
CN (1) CN108230421A (zh)
SG (1) SG11201909743QA (zh)
WO (1) WO2019056845A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361371A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 道路提取方法、装置、设备以及存储介质
CN116109966A (zh) * 2022-12-19 2023-05-12 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质
CN109376594A (zh) 2018-09-11 2019-02-22 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的视觉感知方法、装置、设备以及介质
CN109359598B (zh) * 2018-10-18 2019-09-24 中国科学院空间应用工程与技术中心 一种识别光学遥感图像道路的y型神经网络系统及方法
CN109597862B (zh) * 2018-10-31 2020-10-16 百度在线网络技术（北京）有限公司 基于拼图式的地图生成方法、装置及计算机可读存储介质
CN111047856B (zh) * 2019-04-09 2020-11-10 浙江鸣春纺织股份有限公司 多通道拥堵指数获取平台
CN110967028B (zh) * 2019-11-26 2022-04-12 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN111353441B (zh) * 2020-03-03 2021-04-23 成都大成均图科技有限公司 基于位置数据融合的道路提取方法和系统
CN113496182A (zh) * 2020-04-08 2021-10-12 北京京东叁佰陆拾度电子商务有限公司 基于遥感影像的道路提取方法及装置、存储介质及设备
CN115135964A (zh) * 2020-06-02 2022-09-30 华为技术有限公司 用于检测道路上的减速带和坑洞的装置、系统和方法
CN112131233B (zh) * 2020-08-28 2022-11-15 北京百度网讯科技有限公司 识别更新道路的方法、装置、设备和计算机存储介质
KR102352009B1 (ko) * 2020-10-16 2022-01-18 한국항공우주연구원 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법 및 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템
CN113033608A (zh) * 2021-02-08 2021-06-25 北京工业大学 遥感影像道路提取方法及装置
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
WO2023277791A1 (en) * 2021-06-30 2023-01-05 Grabtaxi Holdings Pte. Ltd Server and method for generating road map data
CN113421277B (zh) * 2021-08-25 2021-12-14 中科星图股份有限公司 基于遥感图像的道路提取及异常监控的方法和装置
JP2023132855A (ja) * 2022-03-11 2023-09-22 日立Astemo株式会社 地図情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266214A1 (en) * 2012-04-06 2013-10-10 Brighham Young University Training an image processing neural network without human selection of features
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
CN105184270A (zh) * 2015-09-18 2015-12-23 中国科学院遥感与数字地球研究所 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675995B2 (en) * 2004-07-09 2014-03-18 Terrago Technologies, Inc. Precisely locating features on geospatial imagery
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data
US7974814B2 (en) * 2007-06-15 2011-07-05 Raytheon Company Multiple sensor fusion engine
JP4825836B2 (ja) * 2008-03-24 2011-11-30 株式会社日立ソリューションズ 道路地図データ作成システム
CN102110364B (zh) * 2009-12-28 2013-12-11 日电（中国）有限公司 基于路口和路段的交通信息处理方法和装置
US9416499B2 (en) * 2009-12-31 2016-08-16 Heatwurx, Inc. System and method for sensing and managing pothole location and pothole characteristics
US8706407B2 (en) * 2011-03-30 2014-04-22 Nokia Corporation Method and apparatus for generating route exceptions
US9037519B2 (en) * 2012-10-18 2015-05-19 Enjoyor Company Limited Urban traffic state detection based on support vector machine and multilayer perceptron
CN103310443B (zh) * 2013-05-20 2016-04-27 华浩博达（北京）科技股份有限公司 高分辨率遥感影像快速处理方法及系统
WO2015130970A1 (en) * 2014-02-26 2015-09-03 Analog Devices, Inc. Systems for providing intelligent vehicular systems and services
US20160379388A1 (en) * 2014-07-16 2016-12-29 Digitalglobe, Inc. System and method for combining geographical and economic data extracted from satellite imagery for use in predictive modeling
US10223816B2 (en) * 2015-02-13 2019-03-05 Here Global B.V. Method and apparatus for generating map geometry based on a received image and probe data
US10089528B2 (en) * 2015-08-18 2018-10-02 Digitalglobe, Inc. Movement intelligence using satellite imagery
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
EP3378222A4 (en) * 2015-11-16 2019-07-03 Orbital Insight, Inc. MOVING VEHICLE DETECTION AND ANALYSIS USING LOW RESOLUTION REMOTE DETECTION IMAGING
US9950700B2 (en) * 2016-03-30 2018-04-24 GM Global Technology Operations LLC Road surface condition detection with multi-scale fusion
US20170300763A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
CN106909886B (zh) * 2017-01-20 2019-05-03 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及系统
CN106874894B (zh) * 2017-03-28 2020-04-14 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
US10869627B2 (en) * 2017-07-05 2020-12-22 Osr Enterprises Ag System and method for fusing information related to a driver of a vehicle
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266214A1 (en) * 2012-04-06 2013-10-10 Brighham Young University Training an image processing neural network without human selection of features
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
CN105184270A (zh) * 2015-09-18 2015-12-23 中国科学院遥感与数字地球研究所 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361371A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 道路提取方法、装置、设备以及存储介质
CN113361371B (zh) * 2021-06-02 2023-09-22 北京百度网讯科技有限公司 道路提取方法、装置、设备以及存储介质
CN116109966A (zh) * 2022-12-19 2023-05-12 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法
CN116109966B (zh) * 2022-12-19 2023-06-27 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法

Also Published As

Publication number Publication date
US11354893B2 (en) 2022-06-07
JP6918139B2 (ja) 2021-08-11
CN108230421A (zh) 2018-06-29
SG11201909743QA (en) 2019-11-28
US20200050854A1 (en) 2020-02-13
JP2020520493A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
WO2019056845A1 (zh) 道路图生成方法、装置、电子设备和计算机存储介质
JP7025276B2 (ja) 路面標示を用いた都市環境における位置特定
US20180189577A1 (en) Systems and methods for lane-marker detection
CN113377888B (zh) 训练目标检测模型和检测目标的方法
KR20210151724A (ko) 차량 포지셔닝 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN113807350A (zh) 一种目标检测方法、装置、设备及存储介质
CN112927234A (zh) 点云语义分割方法、装置、电子设备和可读存储介质
CN115616937B (zh) 自动驾驶仿真测试方法、装置、设备和计算机可读介质
US20220215197A1 (en) Data processing method and apparatus, chip system, and medium
CN112884837A (zh) 道路定位方法、装置、设备及存储介质
CN115019060A (zh) 目标识别方法、目标识别模型的训练方法及装置
CN115471805A (zh) 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN111766891A (zh) 用于控制无人机飞行的方法和装置
KR20200065590A (ko) 정밀 도로 지도를 위한 차선 중앙점 검출 방법 및 장치
CN113378694A (zh) 生成目标检测和定位系统及目标检测和定位的方法及装置
CN113379059A (zh) 用于量子数据分类的模型训练方法以及量子数据分类方法
CN116164770B (zh) 路径规划方法、装置、电子设备和计算机可读介质
CN110097600B (zh) 用于识别交通标志牌的方法及装置
WO2023236601A1 (zh) 参数预测方法、预测服务器、预测系统及电子设备
CN114724116B (zh) 车辆通行信息生成方法、装置、设备和计算机可读介质
CN115311486A (zh) 使用预训练的特征提取器训练蒸馏的机器学习模型
CN114238790A (zh) 用于确定最大感知范围的方法、装置、设备以及存储介质
CN114549961A (zh) 目标对象的检测方法、装置、设备以及存储介质
CN115035359A (zh) 一种点云数据处理方法、训练数据处理方法及装置
CN113946125B (zh) 一种基于多源感知与控制信息的决策方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857964

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019558374

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.09.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18857964

Country of ref document: EP

Kind code of ref document: A1