WO2017020465A1 - 道路三维模型的建模方法、装置和存储介质 - Google Patents

道路三维模型的建模方法、装置和存储介质 Download PDF

Info

Publication number
WO2017020465A1
WO2017020465A1 PCT/CN2015/096522 CN2015096522W WO2017020465A1 WO 2017020465 A1 WO2017020465 A1 WO 2017020465A1 CN 2015096522 W CN2015096522 W CN 2015096522W WO 2017020465 A1 WO2017020465 A1 WO 2017020465A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
data
road
model
traffic
Prior art date
Application number
PCT/CN2015/096522
Other languages
English (en)
French (fr)
Inventor
贾相飞
晏阳
王睿索
Original Assignee
百度在线网络技术（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 百度在线网络技术（北京）有限公司 filed Critical 百度在线网络技术（北京）有限公司
Priority to JP2017531256A priority Critical patent/JP6568587B2/ja
Priority to KR1020177015772A priority patent/KR101932623B1/ko
Priority to US15/750,122 priority patent/US10643378B2/en
Priority to EP15900234.4A priority patent/EP3319048A4/en
Publication of WO2017020465A1 publication Critical patent/WO2017020465A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Definitions

  • Embodiments of the present invention relate to the field of location service technologies, and in particular, to a method, an apparatus, and a storage medium for modeling a road three-dimensional model.
  • 3D simulation technology With the rapid development of computer graphics, 3D simulation technology, virtual reality technology and network communication technology, traditional 2D electronic maps have been injected with new vitality.
  • the 3D electronic maps carried on the Internet are becoming an important part of the development of electronic maps. direction.
  • the 3D electronic map provides users with map functions such as map query and travel navigation through intuitive geographic real-time simulation.
  • map query and travel navigation through intuitive geographic real-time simulation.
  • it can achieve richer interaction and more cool rendering technology, providing more rich imagination for more related products.
  • the three-dimensional model building method of the road can be divided into two types, namely, a manual modeling method and an automatic modeling method.
  • the manual modeling method refers to manually drawing a three-dimensional model of a road using a three-dimensional drawing software against a satellite image or an aerial image. Obviously, the modeling of this modeling method is not efficient.
  • the automatic modeling method refers to the use of a professional acquisition device such as a camera or a radar to perform on-board or on-board scanning of an area to be modeled, and then automatically model according to the scanned data.
  • a professional acquisition device such as a camera or a radar to perform on-board or on-board scanning of an area to be modeled
  • the efficiency of this type of modeling is greatly improved, the camera and radar itself are expensive. Moreover, the cost of performing such a scan is also very high. Therefore, the cost of automated modeling will discourage most electronic map developers.
  • an embodiment of the present invention provides a modeling method, apparatus, and storage medium for a road three-dimensional model to economically and efficiently establish a three-dimensional model of a road.
  • an embodiment of the present invention provides a method for modeling a three-dimensional model of a road, the method comprising:
  • the preliminary model is fused with the three-dimensional attribute data to obtain a three-dimensional model of the road.
  • the embodiment of the present invention further provides a modeling device for a three-dimensional model of a road, the device comprising:
  • a road network parsing module for parsing two-dimensional road network data to establish a preliminary model of the road
  • a panoramic image analysis module for parsing panoramic image data to obtain three-dimensional attribute data of a traffic element
  • a data fusion module configured to fuse the preliminary model with the three-dimensional attribute data to obtain a three-dimensional model of the road.
  • embodiments of the present invention further provide one or more storage media including computer executable instructions for performing a modeling method of a road three-dimensional model when executed by a computer processor, The method includes the following steps:
  • the preliminary model is fused with the three-dimensional attribute data to obtain a three-dimensional model of the road.
  • the modeling method, device and storage medium of the road three-dimensional model provided by the embodiment of the present invention analyzes the two-dimensional road network data to establish a preliminary model of the road, analyzes the panoramic image data, and obtains three-dimensional attribute data of the traffic element, and The preliminary model is fused with the three-dimensional attribute data to acquire a three-dimensional model of the road, thereby obtaining a three-dimensional model of the road economically and efficiently based on a data source that is relatively easy to obtain.
  • FIG. 1 is a flowchart of a modeling method of a road three-dimensional model according to a first embodiment of the present invention
  • FIG 2 is an overlay diagram of satellite image and road network data provided by the first embodiment of the present invention.
  • FIG. 3 is a schematic diagram of a preliminary model provided by a first embodiment of the present invention.
  • FIG. 4 is a flowchart of panoramic image analysis in a modeling method of a road three-dimensional model according to a second embodiment of the present invention.
  • Figure 5 is a panoramic image provided by a second embodiment of the present invention.
  • FIG. 6 is a schematic diagram of a traffic element obtained by parsing a panoramic image according to a second embodiment of the present invention.
  • FIG. 7 is a flow chart of data fusion in a modeling method of a road three-dimensional model according to a third embodiment of the present invention.
  • FIG. 8 is a schematic diagram of a preliminary model provided by a third embodiment of the present invention.
  • FIG. 9 is a schematic diagram of a three-dimensional model according to a third embodiment of the present invention.
  • FIG. 10 is a flowchart of a modeling method of a road three-dimensional model according to a fourth embodiment of the present invention.
  • FIG. 11 is a schematic flow chart of a modeling method of a road three-dimensional model according to a fifth embodiment of the present invention.
  • FIG. 12 is a structural diagram of a modeling apparatus for a road three-dimensional model according to a sixth embodiment of the present invention.
  • This embodiment provides a technical solution of a modeling method of a road three-dimensional model.
  • the modeling method of the road three-dimensional model is performed by a modeling device of a road three-dimensional model, and the modeling device of the road three-dimensional model is integrated in a computing device using a personal computer, a workstation, or a server.
  • the modeling method of the road three-dimensional model includes:
  • the two-dimensional road network data refers to two-dimensional image data from which a road network distribution can be seen.
  • the two-dimensional road network data may be an aerial picture of a road network or a satellite image.
  • the two-dimensional road network data may also be a picture formed by superimposing aerial image and road network data in the electronic map.
  • Fig. 2 shows an example of two-dimensional road network data formed after the satellite map of the road network distribution and the road network data are superimposed. Referring to Figure 2, the direction and boundary of each road can be clearly seen from the superimposed pictures, and various buildings on both sides of the road can be seen.
  • the several solid lines 21 in Fig. 2 are road network data superimposed on an electronic map on the picture.
  • the road network data can be obtained by driving tracks according to different vehicles.
  • a preliminary model of the road can be obtained by analyzing the various forms of the two-dimensional road network data described above.
  • the road boundary line, the central isolation zone boundary line, the road center line, and the respective geographic locations of the lane lines may be obtained by parsing the two-dimensional road network data.
  • FIG. 3 shows a preliminary model of the road obtained by analyzing the two-way network data in FIG. 2.
  • the road boundary line, the central isolation zone boundary line, the road center line, and the lane line of the road have already been clearly defined.
  • the panoramic image data may be the number of panoramic images collected by the vehicle while traveling on the road according to. It can be understood that the panoramic image data includes a plurality of traffic elements during driving. For example, lane lines, traffic signs, indicator lines, and traffic lights on the road.
  • the three-dimensional attribute data of the traffic element can be acquired from the panoramic image data by analyzing the panoramic image data.
  • the three-dimensional attribute data mainly includes three-dimensional position coordinates.
  • the three-dimensional attribute data of the traffic element can be acquired by a deep learning technique and a visual positioning technology.
  • the location data in the preliminary model has already described the basic location of the road, and the three-dimensional attribute data of the traffic element is more accurate location data. Therefore, the fusion of the preliminary model with the three-dimensional attribute data is more to correct the inaccurate position data in the preliminary model by using the three-dimensional attribute data of the traffic element.
  • such integration also includes the introduction of three-dimensional attribute data of traffic elements.
  • the two-dimensional road network data is parsed to establish a preliminary model of the road
  • the panoramic image data is parsed to obtain three-dimensional attribute data of the traffic element
  • the preliminary model is merged with the three-dimensional attribute data to obtain a road.
  • the 3D model based on a relatively easy to obtain data source, economically and efficiently acquires a 3D model of the road.
  • the parsing the panoramic image data to obtain the three-dimensional attribute data to be transmitted by the traffic comprises: acquiring the traffic elements in the panoramic image data by using an image recognition technology based on deep learning, wherein the traffic elements include: Lane lines, traffic signs, indicator lines, and traffic lights; using visual image localization techniques to obtain location information of the traffic elements in three-dimensional space.
  • a deep god can be trained using a pre-acquired sample image using a traffic sign
  • a different traffic element such as a traffic sign
  • the deep neural network can identify a location area of different traffic elements in the sample image, and a category of traffic elements included in the location area. For example, if the input image includes a traffic element such as a lane line, after the image is input to the deep neural network, the deep neural network can recognize the location area of the lane line in the panoramic image, and The category of the traffic element corresponding to the location area is a lane line.
  • the visual image localization technique is used to determine the location of the acquired traffic elements in the three-dimensional space.
  • a set of boundary points of the traffic element in the panoramic image may be acquired first, and then position information of the boundary point in three-dimensional space is determined according to a visual image localization technique, and finally, the boundary point is in a three-dimensional space according to the boundary point.
  • the location information in the location determines the location of the traffic element in three-dimensional space.
  • 5 and 6 respectively show a panoramic image before the recognition of the traffic element, and a three-dimensional image including the identified traffic element after the recognition of the traffic element.
  • the traffic sign 51 included in the large panoramic image and the position of the traffic sign 51 can be accurately identified.
  • the traffic sign 61 can be accurately displayed in the three-dimensional image.
  • the traffic elements in the panoramic image data are acquired, and the position information of the traffic elements in the three-dimensional space is obtained by using the visual image localization technology, and the panoramic image is realized. Accurate identification of traffic elements and their locations.
  • the merging the preliminary model with the three-dimensional attribute data to obtain a three-dimensional model of the road comprises: using the three-dimensional attribute data to three-dimensionalize location data in the preliminary model; Position data in the three-dimensional attribute data, correcting position data in the preliminary model; performing three-dimensional model based on the fused three-dimensional data Reconstruction to get 3D model data of the road.
  • the first model is merged with the three-dimensional attribute data to obtain a three-dimensional model of the road, including:
  • the position data in the preliminary model is three-dimensionalized by using the three-dimensional attribute data.
  • the position data in the preliminary model is three-dimensionalized, that is, height data is added for each position point in the preliminary model.
  • the addition of the height data may refer to the three-dimensional attribute data.
  • the height of the lower edge of a traffic sign is 10 meters from the road surface, and it can be determined that in the data after the three-dimensionalization, the traffic sign The height of the lower edge from the road surface is 10 meters.
  • the position data in the preliminary model may have a large error, and relatively speaking, the position data identified from the panoramic image has higher data precision. Therefore, the position data in the preliminary model can be corrected by using the position data in the three-dimensional attribute data, so that the position data included in the preliminary model after the three-dimensionalization also has high data precision.
  • S73 based on the merged three-dimensional data, performs three-dimensional model reconstruction to obtain three-dimensional model data of the road.
  • the three-dimensional model reconstruction specifically includes contour reconstruction of the three-dimensional model, and texture processing operation on the reconstructed three-dimensional model. After the texture of the reconstructed 3D model is completed, the 3D model data of the very vivid road is formed.
  • Figure 8 shows a preliminary model of the road before 3D modeling.
  • Figure 9 shows a three-dimensional model of the road after three-dimensional modeling. Obviously, the 3D model of the road looks more intuitive and users are more willing to use it.
  • the position data in the preliminary model is three-dimensionalized by using the three-dimensional attribute data, and the position data in the preliminary model is corrected by using the position data in the three-dimensional attribute data, and the three-dimensional data based on the fusion is used.
  • the 3D model reconstruction is performed to obtain the 3D model data of the road, and the 3D model of the road is established through data fusion, which improves the efficiency of modeling and reduces the modeling into this.
  • This embodiment further provides a technical solution of the modeling method of the road three-dimensional model based on the above embodiment of the present invention.
  • the three-dimensional model data is converted into a preset model data format.
  • the modeling method of the road three-dimensional model includes:
  • the preliminary model is merged with the three-dimensional attribute data to obtain a three-dimensional model of the road.
  • Different model data formats are used for 3D model data on different navigation platforms.
  • the established 3D model data is converted into a preset model data format, thereby adapting to the application requirements of different navigation platforms.
  • the established 3D model data can be converted to a collada data format.
  • the three-dimensional model data is converted into a preset model data format, so that the three-dimensional model data can be applied to different navigation applications.
  • the platform facilitates the use of the three-dimensional model data on different navigation platforms.
  • the modeling method of the road three-dimensional model includes:
  • S111 Obtain a preliminary model of the road by analyzing the basic data of the road network.
  • the preliminary model includes a topology of the road network, a collection shape of the road, and specific attributes of the road.
  • a topology of the road network For example, the municipal highway of the road, or the national road, national highway, and so on.
  • the traffic elements include the road itself, and also include elements such as lane lines, traffic signs, and traffic lights that are critical to traffic.
  • the fusion includes three-dimensionalization of the initial model and correction of position data of the initial model based on location data of the traffic element.
  • the model reconstruction refers to reconstructing a three-dimensional model of a road according to the basic data of the three-dimensional model. Specifically, it may include reconstruction of the outline of the buildings on both sides of the road and the road, and the operation of affixing the contours of the reconstructed roads and buildings.
  • S115 adapt the three-dimensional model to a specific navigation application by transforming the data format of the three-dimensional model.
  • the three-dimensional model data can be converted into a collada data format.
  • the basic data of the road network is analyzed, the preliminary model of the road is obtained, the panoramic image is parsed, the location data of the traffic element is obtained, the preliminary model is merged with the location data of the traffic element, and the basic data of the 3D model of the road is restored.
  • model reconstruction according to the basic data of the three-dimensional model acquiring a three-dimensional model of the road, and adapting the data format of the three-dimensional model to adapt the three-dimensional model to a specific navigation application, and completing a data source based on relatively easy to obtain, 3D modelling of economical and efficient roads.
  • the modeling device of the road three-dimensional model includes: a road network parsing module 121, a panoramic image parsing module 122, and a data fusion module 123.
  • the road network parsing module 121 is configured to parse the two-dimensional road network data to establish a preliminary model of the road.
  • the panoramic image parsing module 122 is configured to parse the panoramic image data to obtain three-dimensional attribute data of the traffic element.
  • the data fusion module 123 is configured to fuse the preliminary model with the three-dimensional attribute data to obtain a three-dimensional model of the road.
  • the road network parsing module 121 is specifically configured to: obtain a road boundary line, a central isolation zone boundary line, a road center line, and a lane line of the road by analyzing the two-dimensional road network data.
  • the panoramic image parsing module 122 includes: an element acquiring unit and a position acquiring unit.
  • the element acquiring unit is configured to acquire a traffic element in the panoramic image data by using a deep learning-based image recognition technology, wherein the traffic element comprises: a lane line, a traffic sign, an indicator line, and a traffic light.
  • the location acquiring unit is configured to acquire location information of the traffic element in a three-dimensional space by using a visual image localization technique.
  • the element acquiring unit is specifically configured to: identify a traffic element in the panoramic image data by using a deep neural network.
  • the data fusion module 123 includes: a three-dimensional unit, a position correction unit, and a reconstruction unit.
  • the three-dimensional unit is configured to three-dimensionalize position data in the preliminary model by using the three-dimensional attribute data.
  • the position correction unit is configured to correct position data in the preliminary model by using position data in the three-dimensional attribute data.
  • the reconstruction unit is configured to perform three-dimensional model reconstruction based on the fused three-dimensional data to obtain three-dimensional model data of the road.
  • the modeling device of the road three-dimensional model further includes: a format conversion module 124.
  • the format conversion module 124 is configured to convert the preliminary model with the three-dimensional attribute data to obtain a three-dimensional model of the road, and then convert the three-dimensional model data into a preset model data format.
  • the modeling device of the road three-dimensional model can perform the modeling method of the road three-dimensional model provided by any embodiment of the present invention, and has the corresponding functional modules and beneficial effects of the execution method.
  • modules or steps of the present invention described above can be implemented by a general-purpose computing device, which can be centralized on a single computing device or distributed over a network of multiple computing devices. Alternatively, they may be implemented by program code executable by the computer device, so that they may be stored in the storage device by the computing device, or they may be separately fabricated into individual integrated circuit modules, or multiple modules thereof Or the steps are made into a single integrated circuit module.
  • the invention is not limited to any specific combination of hardware and software.
  • One or more storage media containing computer executable instructions for performing a modeling method of a three-dimensional model of a road when executed by a computer processor, the method comprising the steps of:
  • the preliminary model is fused with the three-dimensional attribute data to obtain a three-dimensional model of the road.
  • parsing the two-dimensional road network data to establish a preliminary model of the road includes:
  • the road boundary line, the central isolation zone boundary line, the road center line, and the lane line of the road are obtained by analyzing the two-dimensional road network data.
  • parsing the panoramic image data to obtain the three-dimensional attribute data to be transmitted by the traffic includes:
  • the traffic elements include: a lane line, a traffic sign, an indicator line, and a traffic light;
  • the position information of the traffic element in the three-dimensional space is obtained by using a visual image localization technique.
  • the preliminary model is merged with the three-dimensional attribute data to obtain a three-dimensional model of the road, including:
  • the position data in the preliminary model is three-dimensionalized by using the three-dimensional attribute data
  • 3D model reconstruction is performed to obtain 3D model data of the road.
  • the method further includes the following steps:
  • the three-dimensional model data is converted into a preset model data format.
  • portions of the technical solution of the present invention that contribute substantially or to the prior art may be embodied in the form of a software product that may be stored in a computer readable storage medium, such as a magnetic disk.
  • a computer readable storage medium such as a magnetic disk.
  • the modules and sub-modules included are only divided according to functional logic, but are not limited to the above-mentioned division, as long as the corresponding functions can be implemented.
  • the specific names of the respective functional units are only for the purpose of facilitating mutual differentiation, and are not intended to limit the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

一种道路三维模型的建模方法、装置和存储介质，所述方法包括：解析二维路网数据，以建立道路的初步模型（S11）；解析全景图像数据，以获得交通要素的三维属性数据（S12）；将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型（S13）。所述方法、装置和存储介质能够基于较为容易获得的数据源，经济、高效的获取道路的三维模型。

Description

道路三维模型的建模方法、装置和存储介质
本专利申请要求于2015年08月03日提交的，申请号为201510481925.7，申请人为百度在线网络技术(北京)有限公司，发明名称为“道路三维模型的建模方法和装置”的中国专利申请的优先权，该申请的全文以引用的方式并入本申请中。
技术领域
本发明实施例涉及基于位置服务技术领域，尤其涉及一种道路三维模型的建模方法、装置和存储介质。
背景技术
电子地图作为记录地理信息的一种图形语言形式，为人们的出行提供了极大的便利。但是，传统的地图产品都是二维的地图产品。在实际的应用中，这些二维的地图具有一定的局限性。比如，在实际的道路中，有立交桥、深槽路段、隧道等复杂的道路路段。这些复杂的道路路段在空间上会有一定的交错，而这种交错通过二维地图难以表达。另外，二维地图的表达形式不够直观，不便于理解。
随着计算机图形学、三维仿真技术、虚拟现实技术以及网络通信技术的飞速发展，传统的二维电子地图被注入了新的活力，承载在互联网上的三维电子地图正成为电子地图发展的一个重要方向。三维电子地图通过直观的地理实景模拟，为用户提供地图查询、出行导航等地图功能。此外，在三维地图中，能够实现更丰富的交互和更炫酷的渲染技术，为更多的相关产品提供了更丰富的想象空间。
现有的三维电子地图中，道路的三维模型建立方法可以分为两种，即人工建模方式和自动建模方式。人工建模方式是指对照卫星图或者航拍图，用三维绘图软件人工绘制道路的三维模型。显然，这种建模方式的建模效率并不高。 自动建模方式是指利用相机或者雷达等专业的采集设备，对需要建模的区域进行机载或者车载的扫描，再根据扫描数据自动进行建模。这种建模方式的工作效率虽然大幅提升，但是相机、雷达本身的价格昂贵。而且，执行一次这样的扫描的成本也十分高。所以，自动建模方式的成本会使大部分的电子地图开发商望而却步。
发明内容
针对上述技术问题，本发明实施例提供了一种提供了一种道路三维模型的建模方法、装置和存储介质，以经济、高效的建立道路的三维模型。
第一方面，本发明实施例提供了一种道路三维模型的建模方法，所述方法包括：
解析二维路网数据，以建立道路的初步模型；
解析全景图像数据，以获得交通要素的三维属性数据；
将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
第二方面，本发明实施例还提供了一种道路三维模型的建模装置，所述装置包括：
路网解析模块，用于解析二维路网数据，以建立道路的初步模型；
全景图像解析模块，用于解析全景图像数据，以获得交通要素的三维属性数据；
数据融合模块，用于将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
第三方面，本发明实施例还提供了一个或多个包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种道路三维模型的建模方法，该方法包括以下步骤：
解析二维路网数据，以建立道路的初步模型；
解析全景图像数据，以获得交通要素的三维属性数据；
将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
本发明实施例提供的道路三维模型的建模方法、装置和存储介质，通过解析二维路网数据，以建立道路的初步模型，解析全景图像数据，以获得交通要素的三维属性数据，以及将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型，从而基于较为容易获得的数据源，经济、高效的获取道路的三维模型。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，当然，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以对这些附图进行修改和替换。
图1是本发明第一实施例提供的道路三维模型的建模方法的流程图；
图2是本发明第一实施例提供的卫星图与路网数据的叠加图；
图3是本发明第一实施例提供的初步模型的示意图；
图4是本发明第二实施例提供的道路三维模型的建模方法中全景图像解析的流程图；
图5是本发明第二实施例提供的全景图像；
图6是本发明第二实施例提供的根据全景图像解析得到的交通要素的示意图；
图7是本发明第三实施例提供的道路三维模型的建模方法中数据融合的流程图；
图8是本发明第三实施例提供的初步模型的示意图；
图9是本发明第三实施例提供的三维模型的示意图；
图10是本发明第四实施例提供的道路三维模型的建模方法的流程图；
图11是本发明第五实施例提供的道路三维模型的建模方法的流程示意图；
图12是本发明第六实施例提供的道路三维模型的建模装置的结构图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，是为了阐述本发明的原理，而不是要将本发明限制于这些具体的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例
本实施例提供了道路三维模型的建模方法的一种技术方案。所述道路三维模型的建模方法由道路三维模型的建模装置执行，并且，所述道路三维模型的建模装置集成在利用个人电脑、工作站或者服务器等计算设备中。
参见图1，所述道路三维模型的建模方法包括：
S11，解析二维路网数据，以建立道路的初步模型。
所述二维路网数据是指能够从中看到路网分布的二维图像数据。具体的，所述二维路网数据可以是路网的航拍图片，或者卫星图片。优选的，所述二维路网数据还可以是航拍图片与电子地图中的路网数据叠加后形成的图片。
图2示出了路网分布的卫星图与路网数据叠加以后形成的二维路网数据的一个示例。参见图2，从叠加后的图片上可以清楚的看到各条道路的走向、边界，还可以看到道路两旁的各种建筑物。
图2中的几条实线21是被叠加在所述图片上的电子地图中的路网数据。所述路网数据可以通过根据不同车辆的行驶轨迹而获得。
通过对上述各种形式的二维路网数据的解析，可以得到道路的初步模型。具体的，可以通过对所述二维路网数据的解析，获取所述道路的道路边界线、中心隔离带边界线、道路中心线，以及车道线各自的地理位置。
图3示出了对图2中的二位路网数据进行解析后得到的道路的初步模型。参见图3，在该初步模型中，所述道路的道路边界线、中心隔离带边界线、道路中心线、车道线都已经有明确的位置。
S12，解析全景图像数据，以获得交通要素的三维属性数据。
所述全景图像数据可以是车辆在所述道路上行驶时采集到的全景图像数 据。可以理解的是，所述全景图像数据中包含若干行驶时的交通要素。比如，道路上的车道线、交通标志牌、指示标线，以及红绿灯。通过对所述全景图像数据的解析，能够从所述全景图像数据中获取上述交通要素的三维属性数据。所述三维属性数据主要包括三维位置坐标。
优选的，可以通过深度学习技术及视觉定位技术获取所述交通要素的三维属性数据。
S13，将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
一般来讲，所述初步模型中的位置数据已经描述的道路的基本位置，而所述交通要素的三维属性数据是更为精确的位置数据。因此，将所述初步模型与所述三维属性数据进行的融合更多的是利用所述交通要素的三维属性数据对所述初步模型中的不精确的位置数据进行修正。当然，这样的融合也包括将交通要素的三维属性数据的导入。
本实施例通过解析二维路网数据，以建立道路的初步模型，解析全景图像数据，以获得交通要素的三维属性数据，以及将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型，从而基于较为容易获得的数据源，经济、高效的获取道路的三维模型。
第二实施例
本实施例以本发明上述实施例为基础，进一步的提供了道路三维模型的建模方法中全景图像解析的一种技术方案。在该技术方案中，解析全景图像数据，以获得交通要输的三维属性数据包括：利用基于深度学习的图像识别技术，获取所述全景图像数据中的交通要素，其中，所述交通要素包括：车道线、交通标志牌、指示标线，以及红绿灯；利用视觉图像定位技术，获取所述交通要素在三维空间中的位置信息。
S21，利用基于深度学习的图像识别技术，获取所述全景图像数据中的交通要素。
优选的，可以利用预先采集的利用交通指示牌的样本图像训练一个深层神 经网络，然后基于所述训练的深层神经网络从所述全景图像数据中识别例如交通指示牌这样不同的交通要素。具体的，向所述深层神经网路中输入样本图像之后，所述深层神经网络能够识别出所述样本图像中不同交通要素的位置区域，以及所述位置区域中包含的交通要素的类别。例如，输入的图像中包含车道线这种交通要素，则将所述图像输入至所述深层神经网络之后，所述深层神经网路能够识别出车道线的在该全景图像中的位置区域，以及所述位置区域对应的交通要素的类别是车道线。
S22，利用视觉图像定位技术，获取所述交通要素在三维空间中的位置信息。
利用深层学习技术获取到所述全景图像数据中的交通要素之后，利用视觉图像定位技术，确定所获取到的交通要素在三维空间只能够的位置。优选的，可以先获取所述交通要素在所述全景图像中的一组边界点，然后根据视觉图像定位技术确定所述边界点在三维空间中的位置信息，最后根据所述边界点在三维空间中的位置信息确定所述交通要素在三维空间中的位置。
图5及图6分别示出了进行交通要素识别之前的全景图像，以及对交通要素进行识别之后的包含识别得到的交通要素的三维图像。参见图5及图6，经过对交通要素的识别，能够准确的识别大所述全景图像中包含的交通指示牌51，以及所述交通指示牌51的位置。识别得到该交通指示牌51及其位置之后，能够在三维图像中准确的显示所述交通指示牌61。
本实施例通过利用基于深度学习的图像识别技术，获取所述全景图像数据中的交通要素，以及利用视觉图像定位技术，获取所述交通要素在三维空间中的位置信息，实现了对全景图像中交通要素及其位置的准确识别。
第三实施例
本实施例以本发明上述实施例为基础，进一步的提供了道路三维模型的建模方法中数据融合的一种技术方案。在该技术方案中，将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型包括：利用所述三维属性数据将所述初步模型中的位置数据进行三维化；利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据；基于融合后的三维数据，进行三维模型 重建，得到道路的三维模型数据。
参见图7，将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型包括：
S71，利用所述三维属性数据将所述初步模型中的位置数据进行三维化。
可以理解的是，将所述初步模型中的位置数据进行三维化，也就是为所述初步模型中的各个位置点添加高度数据。而对所述高度数据的添加可以参考所述三维属性数据。例如，在识别交通要素的操作中，通过视觉图像定位技术确定了一个交通指示牌的下边沿距离道路路面的高度是10米，则可以确定在三维化以后的数据中，所述交通指示牌的下边沿距离道路路面的高度是10米。
S72，利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据。
如前文所述，所述初步模型中的位置数据可能会存在较大误差，而相对来说，从全景图像中识别得到的位置数据具有更高的数据精度。因此，可以利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据，以使得三维化以后的初步模型中包含的位置数据也具有较高的数据精度。
S73，基于融合后的三维数据，进行三维模型重建，得到道路的三维模型数据。
具体的，所述三维模型重建具体包括对所述三维模型的轮廓重建，以及对重建后的三维模型的贴纹理操作。完成了对重建后的三维模型的贴纹理之后，就形成了十分生动的道路的三维模型数据。
图8示出了三维建模之前道路的初步模型。图9则示出了三维建模之后道路的三维模型。显然，道路的三维模型看上去更为直观，用户更乐于使用。
当然，可以在重建以后的三维模型上运用各种渲染技术，使得道路的三维模型更为逼真。
本实施例通过利用所述三维属性数据将所述初步模型中的位置数据三维化，利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据，以及基于融合后的三维数据，进行三维模型重建，得到道路的三维模型数据，实现通过数据融合而建立道路的三维模型，提高了建模的效率，降低了建模成 本。
第四实施例
本实施例以本发明的上述实施例为基础，进一步的提供了道路三维模型的建模方法的一种技术方案。在该技术方案中，在将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型之后，将所述三维模型数据转换为预设的模型数据格式。
参见图10，所述道路三维模型的建模方法包括：
S101，解析二维路网数据，以建立道路的初步模型。
S102，解析全景图像数据，以获得交通要素的三维属性数据。
S103，将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
S104，将所述三维模型数据转换为预设的模型数据格式。
不同的导航平台上针对三维模型数据会使用不同的模型数据格式。在建立了道路的三维模型之后，将所建立的三维模型数据转换与预设的模型数据格式，从而适应于不同导航平台的应用需求。例如，可以将建立的三维模型数据转换为collada数据格式。
本实施例通过在将所述初步模型与所述三维属性数据进行融合之后，将所述三维模型数据转换为预设的模型数据格式，从而使得所述三维模型数据能够被应用于不同的导航应用平台，方便了所述三维模型数据在不同导航平台上的使用。
第五实施例
本实施例提供了道路三维模型的建模方法的一种技术方案。参见图11，在该技术方案中，所述道路三维模型的建模方法包括：
S111，通过对路网基础数据的解析，获取道路的初步模型。
具体的，所述初步模型中包含路网的拓扑，道路的集合形状以及道路的具体属性。例如，道路的市政公路，还是省道、国道等等。
S112，通过对全景图像数据的解析，获取交通要素的位置数据。
所述交通要素包括道路本身，还包括车道线、交通标志牌、红绿灯等对交通有关键作用的要素。
S113，通过对所述初步模型和所述交通要素的位置数据的融合，还原道路的三维模型基础数据。
所述融合，包括对初始模型的三维化，以及根据交通要素的位置数据对所述初始模型的位置数据进行的校正。
S114，通过根据所述三维模型基础数据的模型重建，获取道路的三维模型。
所述模型重建，是指根据所述三维模型基础数据，重建道路的三维模型。具体的，它可以包括对道路及道路两旁的建筑物的轮廓的重建，以及对重建的道路、建筑物的轮廓贴纹理的操作。
S115，通过对所述三维模型的数据格式转换，使得所述三维模型适应于具体的导航应用。
具体的，可以将所述三维模型数据转换为collada数据格式。
本实施例通过解析路网基础数据，获取道路的初步模型，解析全景图像，获取交通要素的位置数据，将所述初步模型与所述交通要素的位置数据进行融合，还原道路的三维模型基础数据，根据所述三维模型基础数据进行模型重建，获取道路的三维模型，以及通过对所述三维模型的数据格式转换，使得三维模型适应于具体的导航应用，完成了基于较为容易获得的数据源，经济、高效的道路的三维模型建模。
第六实施例
本实施例提供了道路三维模型的建模装置的一种技术方案。参见图12，在该技术方案中，所述道路三维模型的建模装置包括：路网解析模块121、全景图像解析模块122以及数据融合模块123。
所述路网解析模块121用于解析二维路网数据，以建立道路的初步模型。
所述全景图像解析模块122用于解析全景图像数据，以获得交通要素的三维属性数据。
所述数据融合模块123用于将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
进一步的，所述路网解析模块121具体用于：通过对所述二维路网数据的解析，获取所述道路的道路边界线、中心隔离带边界线、道路中心线，以及车道线。
进一步的，所述全景图像解析模块122包括：要素获取单元以及位置获取单元。
所述要素获取单元用于利用基于深度学习的图像识别技术，获取所述全景图像数据中的交通要素，其中，所述交通要素包括：车道线、交通标志牌、指示标线，以及红绿灯。
所述位置获取单元用于利用视觉图像定位技术，获取所述交通要素在三维空间中的位置信息。
进一步的，所述要素获取单元具体用于：利用深度神经网络，识别所述全景图像数据中的交通要素。
进一步的，所述数据融合模块123包括：三维化单元、位置校正单元以及重建单元。
所述三维化单元用于利用所述三维属性数据将所述初步模型中的位置数据进行三维化。
所述位置校正单元用于利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据。
所述重建单元用于基于融合后的三维数据，进行三维模型重建，得到道路的三维模型数据。
进一步的，所述道路三维模型的建模装置还包括：格式转换模块124。
所述格式转换模块124用于在将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型之后，将所述三维模型数据转换为预设的模型数据格式。
上述道路三维模型的建模装置可执行本发明任意实施例所提供的道路三维模型的建模方法，具备执行方法相应的功能模块和有益效果。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
第七实施例
一个或多个包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种道路三维模型的建模方法，其特征在于，所述方法包括以下步骤：
解析二维路网数据，以建立道路的初步模型；
解析全景图像数据，以获得交通要素的三维属性数据；
将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
上述存储介质在执行所述方法时，解析二维路网数据，以建立道路的初步模型包括：
通过对所述二维路网数据的解析，获取所述道路的道路边界线、中心隔离带边界线、道路中心线，以及车道线。
上述存储介质在执行所述方法时，解析全景图像数据，以获得交通要输的三维属性数据包括：
利用基于深度学习的图像识别技术，获取所述全景图像数据中的交通要素，其中，所述交通要素包括：车道线、交通标志牌、指示标线，以及红绿灯；
利用视觉图像定位技术，获取所述交通要素在三维空间中的位置信息。
上述存储介质在执行所述方法时，将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型包括：
利用所述三维属性数据将所述初步模型中的位置数据进行三维化；
利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据；
基于融合后的三维数据，进行三维模型重建，得到道路的三维模型数据。
上述存储介质在执行所述方法时，所述方法还包括以下步骤：
在将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型之后，将所述三维模型数据转换为预设的模型数据格式。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通过硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式，基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述道路三维模型的建模装置的实施例中，所包括的各个模块和子模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限定本发明的保护范围。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间的相同或相似的部分互相参见即可。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

  1. 一种道路三维模型的建模方法，其特征在于，包括：
    解析二维路网数据，以建立道路的初步模型；
    解析全景图像数据，以获得交通要素的三维属性数据；
    将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
  2. 根据权利要求1所述的方法，其特征在于，解析二维路网数据，以建立道路的初步模型包括：
    通过对所述二维路网数据的解析，获取所述道路的道路边界线、中心隔离带边界线、道路中心线，以及车道线。
  3. 根据权利要求1所述的方法，其特征在于，解析全景图像数据，以获得交通要输的三维属性数据包括：
    利用基于深度学习的图像识别技术，获取所述全景图像数据中的交通要素，其中，所述交通要素包括：车道线、交通标志牌、指示标线，以及红绿灯；
    利用视觉图像定位技术，获取所述交通要素在三维空间中的位置信息。
  4. 根据权利要求1所述的方法，其特征在于，将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型包括：
    利用所述三维属性数据将所述初步模型中的位置数据进行三维化；
    利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据；
    基于融合后的三维数据，进行三维模型重建，得到道路的三维模型数据。
  5. 根据权利要求1所述的方法，其特征在于，还包括：
    在将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型之后，将所述三维模型数据转换为预设的模型数据格式。
  6. 一种道路三维模型的建模装置，其特征在于，包括：
    路网解析模块，用于解析二维路网数据，以建立道路的初步模型；
    全景图像解析模块，用于解析全景图像数据，以获得交通要素的三维属性数据；
    数据融合模块，用于将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
  7. 根据权利要求6所述的装置，其特征在于，所述路网解析模块具体用于：
    通过对所述二维路网数据的解析，获取所述道路的道路边界线、中心隔离带边界线、道路中心线，以及车道线。
  8. 根据权利要求6所述的装置，其特征在于，所述全景图像解析模块包括：
    要素获取单元，用于利用基于深度学习的图像识别技术，获取所述全景图像数据中的交通要素，其中，所述交通要素包括：车道线、交通标志牌、指示标线，以及红绿灯；
    位置获取单元，用于利用视觉图像定位技术，获取所述交通要素在三维空间中的位置信息。
  9. 根据权利要求6所述的装置，其特征在于，所述数据融合模块包括：
    三维化单元，用于利用所述三维属性数据将所述初步模型中的位置数据进行三维化；
    位置校正单元，用于利用所述三维属性数据中的位置数据，校正所述初步模型中的位置数据；
    重建单元，用于基于融合后的三维数据，进行三维模型重建，得到道路的三维模型数据。
  10. 根据权利要求6所述的装置，其特征在于，还包括：
    格式转换模块，用于在将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型之后，将所述三维模型数据转换为预设的模型数据格式。
  11. 一个或多个包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种道路三维模型的建模方法，其特征在于，所述方法包括以下步骤：
    解析二维路网数据，以建立道路的初步模型；
    解析全景图像数据，以获得交通要素的三维属性数据；
    将所述初步模型与所述三维属性数据进行融合，以获取道路的三维模型。
PCT/CN2015/096522 2015-08-03 2015-12-07 道路三维模型的建模方法、装置和存储介质 WO2017020465A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017531256A JP6568587B2 (ja) 2015-08-03 2015-12-07 道路の３次元モデルのモデリング方法、装置及び記憶媒体
KR1020177015772A KR101932623B1 (ko) 2015-08-03 2015-12-07 3차원 도로 모델의 모델링 방법, 장치 및 저장 매체
US15/750,122 US10643378B2 (en) 2015-08-03 2015-12-07 Method and device for modelling three-dimensional road model, and storage medium
EP15900234.4A EP3319048A4 (en) 2015-08-03 2015-12-07 Modelling method and device for three-dimensional road model, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510481925.7 2015-08-03
CN201510481925.7A CN105069842A (zh) 2015-08-03 2015-08-03 道路三维模型的建模方法和装置

Publications (1)

Publication Number Publication Date
WO2017020465A1 true WO2017020465A1 (zh) 2017-02-09

Family

ID=54499198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/096522 WO2017020465A1 (zh) 2015-08-03 2015-12-07 道路三维模型的建模方法、装置和存储介质

Country Status (6)

Country Link
US (1) US10643378B2 (zh)
EP (1) EP3319048A4 (zh)
JP (1) JP6568587B2 (zh)
KR (1) KR101932623B1 (zh)
CN (1) CN105069842A (zh)
WO (1) WO2017020465A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610227A (zh) * 2017-08-24 2018-01-19 深圳市易景空间智能科技有限公司 室内三维地图的制作方法
CN110232230A (zh) * 2019-05-30 2019-09-13 北京农业信息技术研究中心 一种包含桥涵节点的路渠网络的三维模型构建方法及装置
JP2019527813A (ja) * 2017-06-22 2019-10-03 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッドＢａｉｄｕ．ｃｏｍ Ｔｉｍｅｓ Ｔｅｃｈｎｏｌｏｇｙ （Ｂｅｉｊｉｎｇ） Ｃｏ．， Ｌｔｄ． 自律走行車の交通予測における予測軌跡の評価フレームワーク
CN111143917A (zh) * 2019-12-04 2020-05-12 深圳微品致远信息科技有限公司 机场建模方法、装置、存储介质及设备
US11900470B1 (en) * 2014-09-23 2024-02-13 United Services Automobile Association (Usaa) Systems and methods for acquiring insurance related informatics

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069842A (zh) 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置
US10339690B2 (en) * 2015-12-18 2019-07-02 Ricoh Co., Ltd. Image recognition scoring visualization
CN105844013A (zh) * 2016-03-23 2016-08-10 苏州数字地图信息科技股份有限公司 一种道路标线生成方法及系统
CN105894575B (zh) * 2016-03-31 2019-05-21 百度在线网络技术（北京）有限公司 道路的三维建模方法和装置
CN105956268B (zh) * 2016-04-29 2018-01-02 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试场景构建方法和装置
US10276043B2 (en) * 2016-12-22 2019-04-30 GM Global Technology Operations LLC Vehicle system using vehicle-to-infrastructure and sensor information
CN106971040B (zh) * 2017-03-29 2020-12-04 上海晶众信息科技有限公司 一种基于平纵横设计的三维道路快速建模方法
CN107358642A (zh) * 2017-07-17 2017-11-17 深圳天珑无线科技有限公司 一种建立三维图像的方法、装置及计算机可读存储介质
US20190072978A1 (en) * 2017-09-01 2019-03-07 GM Global Technology Operations LLC Methods and systems for generating realtime map information
CN108225334B (zh) * 2018-01-17 2020-10-16 泰瑞天际科技(北京)有限公司 一种基于三维实景数据的定位方法及装置
KR102132671B1 (ko) * 2018-01-22 2020-07-13 네이버 주식회사 항공뷰에서 거리뷰로의 이동 기능을 제공하는 방법 및 시스템
WO2019202397A2 (en) 2018-04-18 2019-10-24 Mobileye Vision Technologies Ltd. Vehicle environment modeling with a camera
CN108765487B (zh) 2018-06-04 2022-07-22 百度在线网络技术（北京）有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN110647600B (zh) * 2018-06-26 2023-10-20 百度在线网络技术（北京）有限公司 三维地图的构建方法、装置、服务器及存储介质
US11373067B2 (en) * 2018-08-10 2022-06-28 Nec Corporation Parametric top-view representation of scenes
WO2020080574A1 (ko) * 2018-10-18 2020-04-23 주식회사 씨밀레테크 진동 네비게이션 시스템
CN111238504B (zh) * 2018-11-29 2023-04-07 沈阳美行科技股份有限公司 道路地图的道路线段建模数据生成方法、装置及相关系统
US11030457B2 (en) * 2018-12-17 2021-06-08 Here Global B.V. Lane feature detection in aerial images based on road geometry
CN109712231B (zh) * 2018-12-24 2022-12-06 成都四方伟业软件股份有限公司 道路特效设置方法及装置
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
CN110378996B (zh) * 2019-06-03 2022-05-17 国网浙江省电力有限公司温州供电公司 服务器三维模型生成方法及生成装置
CN110378293B (zh) * 2019-07-22 2021-02-23 泰瑞数创科技(北京)有限公司 一种基于实景三维模型生产高精度地图的方法
CN110990501B (zh) * 2019-07-31 2023-11-10 万物镜像(北京)计算机系统有限公司 三维道路建模方法、装置、电子设备及存储介质
CN110728750B (zh) * 2019-10-13 2023-06-27 国网山东省电力公司莱芜供电公司 一种智能驾驶环境实景建模方法、系统、终端及存储介质
CN111028331B (zh) * 2019-11-20 2023-08-25 天津市测绘院有限公司 一种高性能的车辆动态三维建模与轨迹实时渲染方法及装置
EP3872695A1 (en) * 2020-02-28 2021-09-01 Toyota Jidosha Kabushiki Kaisha A method and system of adapting an initial model of a neural network
CN111521193A (zh) * 2020-04-23 2020-08-11 广东博智林机器人有限公司 实景导航的方法、实景导航的装置、存储介质与处理器
CN111985037B (zh) * 2020-08-27 2024-03-15 长沙眸瑞网络科技有限公司 一种基于终端设备的三维巷道编辑方法
US20220147746A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. End-to-end parametric road layout prediction with cheap supervision
CN112307553B (zh) * 2020-12-03 2024-04-16 之江实验室 一种对三维道路模型进行提取与简化的方法
CN112560131B (zh) * 2020-12-24 2022-09-09 中交第二公路勘察设计研究院有限公司 一种交通标志牌快速参数化bim动态建模方法及交通标志牌bim建模系统
CN114969880B (zh) * 2021-02-26 2023-05-26 阿里巴巴集团控股有限公司 一种道路模型构建方法和装置
CN112883141B (zh) * 2021-04-29 2022-02-08 腾讯科技（深圳）有限公司 电子地图的数据处理方法、装置、设备及计算机存储介质
CN114091141A (zh) * 2021-10-15 2022-02-25 南宁市勘测设计院集团有限公司 一种基于倾斜实景模型的三维道路生成方法及装置
CN114419231B (zh) * 2022-03-14 2022-07-19 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
KR102526720B1 (ko) * 2022-07-25 2023-04-27 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 3차원 가상 환경 모델링 방법 및 이를 실행하는 서버
CN116311935B (zh) * 2023-03-20 2024-03-15 湖北省规划设计研究总院有限责任公司 一种基于大数据的智慧城市交通管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938738A (zh) * 2004-03-31 2007-03-28 日本先锋公司 地图生成装置及导航装置
US20100250125A1 (en) * 2007-07-04 2010-09-30 Kristian Lundberg Arrangement and method for providing a three dimensional map representation of an area
CN103234547A (zh) * 2013-04-18 2013-08-07 易图通科技（北京）有限公司 真三维导航中道路场景的显示方法和装置
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN105069842A (zh) * 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411293B1 (en) * 1997-10-27 2002-06-25 Matsushita Electric Industrial Co., Ltd. Three-dimensional map navigation display device and device and method for creating data used therein
JP3691401B2 (ja) 2001-02-26 2005-09-07 日本電信電話株式会社 撮影対象物表面の自動獲得・復元方法及び装置
JP4284644B2 (ja) * 2003-05-23 2009-06-24 財団法人生産技術研究奨励会 ３次元モデル構築システム及び３次元モデル構築プログラム
KR100520707B1 (ko) * 2003-10-20 2005-10-17 엘지전자 주식회사 3차원 지도에서의 다중레벨 텍스트데이터 표시방법
JP4273119B2 (ja) 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
JP2005265641A (ja) 2004-03-18 2005-09-29 Clarion Co Ltd ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
US20080036758A1 (en) * 2006-03-31 2008-02-14 Intelisum Inc. Systems and methods for determining a global or local position of a point of interest within a scene using a three-dimensional model of the scene
EP2084671A4 (en) * 2006-10-02 2011-02-09 Aftercad Software Inc METHOD AND SYSTEM FOR DELIVERING AND INTERACTIVE DISPLAYS OF THREE-DIMENSIONAL GRAPHICS
KR100865723B1 (ko) 2007-05-22 2008-10-28 (주)엠앤소프트 네비게이션에서의 3차원 화면 조정 방법
JP4951535B2 (ja) 2008-01-10 2012-06-13 株式会社パスコ 地図画像処理装置
US9390544B2 (en) 2009-10-20 2016-07-12 Robert Bosch Gmbh 3D navigation methods using nonphotorealistic (NPR) 3D maps
US9171396B2 (en) * 2010-06-30 2015-10-27 Primal Space Systems Inc. System and method of procedural visibility for interactive and broadcast streaming of entertainment, advertising, and tactical 3D graphical information using a visibility event codec
CN102436678B (zh) * 2010-09-29 2014-11-26 比亚迪股份有限公司 一种三维道路模型生成方法及系统
DE102011115739A1 (de) 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
US9791290B2 (en) * 2012-02-29 2017-10-17 Here Global B.V. Manipulation of user attention with respect to a simulated field of view for geographic navigation via constrained focus on, perspective attraction to, and/or correction and dynamic adjustment of, points of interest
CN104769652B (zh) * 2012-11-20 2017-10-03 哈曼国际工业有限公司 用于检测交通灯的方法和系统
US9928652B2 (en) * 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9418485B2 (en) 2013-05-31 2016-08-16 Apple Inc. Adjusting heights for road path indicators
CN104280036B (zh) * 2013-07-05 2017-11-17 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
CN103411619B (zh) * 2013-08-26 2016-03-23 上海安悦四维信息技术有限公司 一种三维道路生成系统及方法
CN103544734A (zh) * 2013-10-11 2014-01-29 深圳先进技术研究院 以街景为基础的三维地图建模的方法
GB201318049D0 (en) * 2013-10-11 2013-11-27 Tomtom Int Bv Apparatus and methods of displaying navigation instructions
KR20150058679A (ko) 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
WO2015132931A1 (ja) * 2014-03-06 2015-09-11 三菱重工業株式会社 電動移動体情報提供装置と電動移動体情報提供方法
US9986154B2 (en) * 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US9435657B2 (en) * 2015-01-14 2016-09-06 Telenav, Inc. Navigation system with an itinerary planning mechanism and method of operation thereof
US9451077B2 (en) * 2015-02-24 2016-09-20 Patrick Duvaut Device-based safeguard systems and methods for enhancing driver safety
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
JP6741646B2 (ja) * 2017-12-25 2020-08-19 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN108764187B (zh) * 2018-06-01 2022-03-08 百度在线网络技术（北京）有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938738A (zh) * 2004-03-31 2007-03-28 日本先锋公司 地图生成装置及导航装置
US20100250125A1 (en) * 2007-07-04 2010-09-30 Kristian Lundberg Arrangement and method for providing a three dimensional map representation of an area
CN103234547A (zh) * 2013-04-18 2013-08-07 易图通科技（北京）有限公司 真三维导航中道路场景的显示方法和装置
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法
CN105069842A (zh) * 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3319048A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900470B1 (en) * 2014-09-23 2024-02-13 United Services Automobile Association (Usaa) Systems and methods for acquiring insurance related informatics
JP2019527813A (ja) * 2017-06-22 2019-10-03 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッドＢａｉｄｕ．ｃｏｍ Ｔｉｍｅｓ Ｔｅｃｈｎｏｌｏｇｙ （Ｂｅｉｊｉｎｇ） Ｃｏ．， Ｌｔｄ． 自律走行車の交通予測における予測軌跡の評価フレームワーク
CN107610227A (zh) * 2017-08-24 2018-01-19 深圳市易景空间智能科技有限公司 室内三维地图的制作方法
CN110232230A (zh) * 2019-05-30 2019-09-13 北京农业信息技术研究中心 一种包含桥涵节点的路渠网络的三维模型构建方法及装置
CN110232230B (zh) * 2019-05-30 2022-11-01 北京农业信息技术研究中心 一种包含桥涵节点的路渠网络的三维模型构建方法及装置
CN111143917A (zh) * 2019-12-04 2020-05-12 深圳微品致远信息科技有限公司 机场建模方法、装置、存储介质及设备

Also Published As

Publication number Publication date
EP3319048A4 (en) 2018-08-22
US10643378B2 (en) 2020-05-05
KR20170103763A (ko) 2017-09-13
CN105069842A (zh) 2015-11-18
JP6568587B2 (ja) 2019-08-28
JP2018509668A (ja) 2018-04-05
EP3319048A1 (en) 2018-05-09
US20180232946A1 (en) 2018-08-16
KR101932623B1 (ko) 2018-12-27

Similar Documents

Publication Publication Date Title
WO2017020465A1 (zh) 道路三维模型的建模方法、装置和存储介质
US20240124017A1 (en) Determination of lane connectivity at traffic intersections for high definition maps
US10545029B2 (en) Lane network construction using high definition maps for autonomous vehicles
JP7111794B2 (ja) 装置の位置特定のための幾何学的指紋法
US11126891B2 (en) Systems and methods for simulating sensor data using a generative model
CN110796714B (zh) 一种地图构建方法、装置、终端以及计算机可读存储介质
Richter et al. Towards an integrated urban development considering novel intelligent transportation systems: Urban Development Considering Novel Transport
CN110428490B (zh) 构建模型的方法和装置
US20240017747A1 (en) Method and system for augmenting lidar data
CN113899384B (zh) 车道级道路的路口面显示方法、装置、设备、介质及程序
Azfar et al. Efficient procedure of building university campus models for digital twin simulation
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
CN113178008A (zh) 一种基于gis的三维城市建模系统及方法
WO2024016877A1 (zh) 一种面向车路协同的路测感知仿真系统
CN115984486A (zh) 一种融合激光雷达与深度相机的桥梁模型生成方法及装置
Holland et al. Verification of autonomous vehicles: Scenario generation based on real world accidents
Botín-Sanabria et al. Digital twin for urban spaces: An application
CN109520513B (zh) 一种三维地图绘制方法及装置
Wahbeh et al. Image-based reality-capturing and 3D modelling for the creation of VR cycling simulations
CN117011413A (zh) 道路图像重建方法、装置、计算机设备和存储介质
Stigmar Matching route data and topographic data in a real-time environment
Hao et al. Integrated BIM and VR to implement IPD mode in transportation infrastructure projects: System design and case application
Sell et al. Safety toolkit for automated vehicle shuttle-Practical implementation of digital twin
CN116246031A (zh) 一种仿真三维场景构建方法、系统、电子设备及存储介质
Patel A simulation environment with reduced reality gap for testing autonomous vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15900234

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177015772

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2017531256

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2015900234

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15750122

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE