WO2020043081A1 - 定位技术 - Google Patents

定位技术 Download PDF

Info

Publication number
WO2020043081A1
WO2020043081A1 PCT/CN2019/102755 CN2019102755W WO2020043081A1 WO 2020043081 A1 WO2020043081 A1 WO 2020043081A1 CN 2019102755 W CN2019102755 W CN 2019102755W WO 2020043081 A1 WO2020043081 A1 WO 2020043081A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
information
road
image
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/102755
Other languages
English (en)
French (fr)
Inventor
程保山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to US17/289,239 priority Critical patent/US20220011117A1/en
Publication of WO2020043081A1 publication Critical patent/WO2020043081A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • This application relates to the field of positioning technology.
  • High-precision maps usually include a vector semantic information layer and a feature layer, where the feature layer may include a laser feature layer or an image feature layer.
  • the vector semantic information layer and the feature layer can be positioned separately, and then the positioning results obtained by the two are fused to obtain the final positioning result.
  • the method based on the feature layer needs to extract the image or laser feature points in real time, and then calculate the position and attitude information of the unmanned vehicle through the method of feature point matching and the computer vision multi-view geometry principle.
  • the feature layer stores It is large in size, and it is easy to increase the probability of mismatching in an open road environment, resulting in a decrease in positioning accuracy.
  • the positioning method based on vector semantic information layers needs to accurately obtain the contour points of related objects (for example, road signs, traffic signs, etc.). If the contour points are not accurately extracted or the number of contour points is small, large positioning errors are prone to occur. .
  • the present application provides a positioning method, a device, a storage medium, and a mobile device, which can reduce the accuracy requirements for the extraction of contour points on road parts, and avoid positioning failure due to inaccurate contour point extraction or a small number of contour points The probability increases.
  • a positioning method including:
  • a positioning device including:
  • a first determining module configured to determine first feature information and semantic category information of a first road component in an image, where the image is taken by a mobile device during a movement process;
  • a second determining module configured to determine second feature information of a second road component that is the same as the semantic category information in the high-precision map
  • a positioning module configured to locate the mobile device based on a matching result between the first characteristic information and the second characteristic information.
  • a storage medium stores a computer program, and the computer program is configured to execute the positioning method provided by the first aspect.
  • a mobile device includes:
  • a processor ; a memory for storing the processor-executable instructions;
  • the processor is configured to execute the positioning method provided by the first aspect.
  • the semantic category information of the first road component can be regarded as a high semantic feature
  • the first feature information of the first road part and the second feature information of the second road part in the high-precision map represent the pixel information of the road part. Therefore, the first feature information and the second feature information can be regarded as low-level semantic features.
  • FIG. 1A is a schematic flowchart of a positioning method according to an exemplary embodiment of the present application.
  • FIG. 1B is a schematic diagram of a traffic scene in the embodiment shown in FIG. 1A.
  • Fig. 2 is a schematic flowchart of a positioning method according to another exemplary embodiment of the present application.
  • FIG. 3 is a schematic flowchart of a positioning method according to another exemplary embodiment of the present application.
  • Fig. 4 is a schematic structural diagram of a positioning device according to an exemplary embodiment of the present application.
  • Fig. 5 is a schematic structural diagram of a positioning device according to another exemplary embodiment of the present application.
  • Fig. 6 is a schematic structural diagram of a mobile device according to an exemplary embodiment of the present application.
  • first, second, third, etc. may be used in this application to describe various information, such information should not be limited to these terms. These terms are only used to distinguish the same type of information from each other.
  • first information may also be referred to as the second information, and similarly, the second information may also be referred to as the first information.
  • word “if” as used herein can be interpreted as “at” or "when” or "in response to determination”.
  • This application can be applied to mobile devices, which can be vehicles, robots that deliver goods, mobile phones, and other devices that can be used on outdoor roads. Take the mobile device as a vehicle as an example for illustrative description.
  • an image is captured by the camera device on the vehicle, the first road part in the image is identified, and the image feature information of the first road part is extracted (
  • the first feature information in the present application) is to find the second road part in the high-precision map that is the same as the first road part in the image, and further to the image feature information of the second road part in the high-precision map (this application
  • the second feature information in the image is compared with the image feature information of the first road part in the image, and the vehicle is positioned based on the matching result and the motion model of the vehicle.
  • the high-precision map in this application is provided by the map provider, and can be stored in the memory of the vehicle in advance or obtained from the cloud when the vehicle is driving.
  • high-precision maps can include vector semantic information layers and image feature layers.
  • the vector semantic information layer can be made by extracting the vector semantic information of road components such as road edges, lanes, road structure attributes, traffic lights, traffic signs, and street light poles in the images captured by the map provider.
  • An image is taken by an imaging device such as a human machine.
  • An image feature layer can be made by extracting image feature information of a road part from the image.
  • the vector semantic information layer and image feature layer are stored in the high-precision map in a set data format. The precision of high-precision maps can reach the centimeter level.
  • FIG. 1A is a schematic flowchart of a positioning method according to an exemplary embodiment of the present application
  • FIG. 1B is a schematic diagram of a traffic scenario of the embodiment shown in FIG. 1A; this embodiment may be applied to a mobile device that needs to perform positioning, such as a mobile device For vehicles, robots, mobile phones, etc. that need to be positioned, as shown in Figure 1A, the following steps are included:
  • Step 101 Determine first feature information and semantic category information of a first road component in an image, where the image is taken by a mobile device during a moving process.
  • a position frame where the first road component is located in the image may be determined through a deep learning network; in the position frame where the first road component is located, first feature information of the first road component is extracted.
  • the image may include multiple first road parts, and the multiple first road parts may be: traffic lights, road signs (for example, left-turn arrow, straight arrow, right-turn arrow, numbers, sidewalks, lane lines, instruction text ,wait wait wait.
  • the first feature information may be image feature information of the first road component, and the image feature information is, for example, a corner point, a feature descriptor, a texture, a gray scale, and the like of the first road component.
  • the semantic category information of the first road component may be a name or an identifier (ID) of the first road component.
  • the first road component is a traffic signal light, a road surface identification (for example, a left turn arrow, Go straight arrow, turn right arrow, crosswalk, etc.).
  • Step 102 Determine the second feature information of the second road component that is the same as the semantic category information of the first road component in the high-precision map.
  • the high-precision map includes a vector semantic information layer and an image feature layer.
  • the vector semantic information layer stores semantic category information of road parts and model information of road parts.
  • the model information of the road component can be the length, width, height, and the longitude and latitude coordinates and elevation information of the center of mass of the road component in the WGS84 (World Geodetic System-1984) coordinate system.
  • the image feature layer stores image feature information corresponding to the semantic category information of the road part.
  • the feature information of the road parts in the HD map is stored in the image feature layer of the HD map.
  • the semantic category information in the vector semantic information layer is associated with the corresponding image feature information in the image feature layer, the coordinate position of the center of mass of the road part stored in the vector semantic information layer and the road stored in the image feature layer The coordinate position where the image feature information of the part is associated.
  • the coordinate position of the image feature information of the road part in the image feature layer may be determined based on the coordinate position of the center of mass of the road part, and then the image feature information of the road part may be determined.
  • the high-precision map contains high-level semantic information, and at the same time, it can add rich low-level feature information.
  • the high-precision map stores image feature information and semantic category information of road parts.
  • the second feature information of the second road part in the high-precision map that is the same as the semantic category information of the first road part
  • the existing positioning system of the mobile device for example, GPS (Global Positioning System) positioning system, Beidou positioning system, etc.
  • the first geographic position of the mobile device when capturing images is determined.
  • UTM UNIVERSAL TRANSVERSE MERCARTOR GRID SYSTEM
  • the preset range can be determined by the error range of the positioning system, so that errors generated by the positioning system can be corrected, and the specific value of the preset range is not limited in this application.
  • the preset range is 5 meters
  • the semantic category information includes traffic lights and left-turn arrows. You can search for traffic lights and turn left within 5 meters on the high-precision map centering on the first geographic location when the image is taken by the mobile device. Arrow, find the second feature information of the traffic lights and the left-turn arrow within 5 meters from the high-precision map. Similar to the first feature information, the second feature information is, for example, a corner point, a descriptor, a structure, a texture, a gray scale, and the like of the second road component.
  • Step 103 Locate the mobile device based on a matching result of the first feature information and the second feature information.
  • corner points, feature descriptors, textures, gray levels, and the like included in the first feature information and the second feature information may be compared. If it is determined through comparison that the first feature information is the same as the second feature information Or similar, the matching result meets the preset conditions, and the mobile device can be located based on the geographic coordinates of the second road part in the high-precision map and the motion model of the mobile device.
  • the geographic coordinates of the second road component in the high-precision map may be represented by the latitude and longitude of the earth or UTM coordinates.
  • a motion model of the mobile device can be established by using the longitudinal and lateral speeds of the mobile device and the yaw rate of the mobile device. Based on the motion model, the mobile device's relative to the second road component in the high-precision map is calculated. Offset coordinates of geographic coordinates, based on the offset coordinates and the geographic coordinates of the second road component in the high-precision map, locate the mobile device.
  • the mobile device when the mobile device captures an image, the mobile device is positioned to the solid black point 11 by using the GPS installed on the mobile device. Then, the solid black point 11 is as described in this application.
  • the first geographic position, and the real position of the mobile device when taking the image is A. Through this application, the first geographic position obtained by GPS positioning can be corrected, and the position of the mobile device when taking the image is accurately positioned at A. And based on the geographic location at A and the motion model of the mobile device, locate the mobile device at the current location A '.
  • the left turn arrow and the traffic light included in the image captured by the mobile device at the solid black point 11 are identified through the above step 101, where the left turn arrow and the traffic light in the image can be regarded as the first A road part. Extract the left turn arrow in the image and the first feature information of each traffic light.
  • the second feature information of the left turn arrow in the HD map and the second feature information of the traffic light in the HD map are determined, where the left turn arrow and the traffic light in the HD map can be regarded as The second road part in this application.
  • the mobile device is located based on a matching result of the first feature information and the second feature information.
  • the mobile device is positioned to A based on the geographical position of the left-turn arrow in front of the high-resolution map and the motion model of the mobile device at A ', Get the current geographic location of the mobile device at A' in the high-definition map.
  • the first feature information is descriptor information of feature points of the first road component, such as a Scale-invariant feature transform (SIFT) descriptor or a Speed Up Robust Features (SURF) descriptor
  • the second feature information is Descriptor information of feature points of the second road component, such as SIFT descriptor or SURF descriptor.
  • the first feature information includes a plurality of first feature points, a descriptor of each first feature point is calculated, and the descriptors of each first feature point are combined to form a first descriptor set.
  • the second feature information includes a plurality of second feature points, a descriptor of each second feature point is calculated, and the descriptors of each second feature point are combined to form a second descriptor set.
  • the descriptors in the first descriptor set and the descriptors in the second descriptor set are compared to determine m descriptor pairs, where if the descriptors in the first descriptor set and the descriptions in the second descriptor set The descriptors are the same, then these two descriptors can be called descriptor pairs.
  • the number n of descriptor pairs that can be obtained by projective transformation of computer vision is counted. If the ratio of n / m is greater than 0.9, the comparison result of the first feature information and the second feature information meets a preset condition.
  • the positioning method locates the mobile device based on the road parts identified in the image.
  • the semantic category information of the first road component can be regarded as a high semantic feature.
  • the first feature information of the component and the second feature information of the second road component in the high-precision map represent the pixel information of the road component. Therefore, the first feature information and the second feature information can be regarded as low-semantic features.
  • the combination of features and low-semantic features achieves high-precision positioning of mobile devices; since the image feature information of road parts in high-precision maps is abundant and the image feature information is accurate, and the image feature information is used as the overall feature of the road part, no need Accurately extracting the contour points of the first road component in the image can achieve positioning based on the road component, thereby reducing the accuracy requirements for the contour points on the road component, and avoiding the inaccurate contour point extraction or the small number of contour points. Increasing probability of positioning error failure or possibility of positioning failure.
  • FIG. 2 is a schematic flowchart of a positioning method according to another exemplary embodiment of the present application; based on the embodiment shown in FIG. 1A described above, this embodiment combines FIG. 1B to determine the semantics of the first road component in a high-precision map.
  • the second feature information of the second road part with the same category information is taken as an example for illustrative description. As shown in FIG. 2, the method includes the following steps:
  • Step 201 Determine first feature information and semantic category information of a first road component in an image, where the image is taken by a mobile device during a moving process.
  • the first geographic position of the mobile device when the image is captured by GPS positioning is the solid black point 12, and the first road component including the traffic signal light and the straight arrow of the first feature information is identified from the image. And identify the semantic category information of the first road component as a traffic signal and a straight arrow.
  • step 202 if the number of road parts with the same semantic category information as the first road part in the high-precision map is greater than 1, based on the positioning system of the mobile device, the first geographic position of the mobile device when the image is captured is determined.
  • the road parts corresponding to the traffic lights and straight arrows determined from the high-precision map include the straight arrows at B, C, D, and E in front of each and the corresponding traffic lights, that is, The number of straight arrows is four, and the number of traffic lights is also four, all of which are greater than one.
  • the first geographic location may be determined based on a positioning system on the mobile device. As shown in FIG. 1B, the first geographic position of the mobile device when capturing an image is determined by GPS as a solid black point 12.
  • Step 203 Determine a second geographical position of the mobile device obtained from the current latest positioning.
  • the second geographic location is the geographic location obtained by the mobile device at the location closest to the current location through the embodiment shown in FIG. 1B.
  • the corresponding geographic location at 12 solid black spots is obtained through GPS positioning.
  • the geographical position obtained from the current most recent positioning is the corresponding geographical position at F, then the corresponding geographical position at F is the second geographical position described in this application.
  • Step 204 Determine a second road part from the road parts with the same semantic category information as the first road part based on the position relationship between the second geographic position and the first geographic position.
  • Step 205 Determine the second feature information of the second road component in the high-precision map.
  • the coordinate position of the second road component in the vector semantic information layer of the high-precision map is determined, for example, the center of mass coordinates of the second road component;
  • the coordinate position associated with the center of mass coordinates determines the second feature information of the second road component.
  • the second feature information of the second road part may be determined at a geographic location associated with the geographic location in the vector semantic information layer in the image feature layer of the high-precision map.
  • the second feature information is stored in the image feature layer of the high-precision map as a low-semantic feature.
  • Step 206 Locate the mobile device based on a matching result of the first feature information and the second feature information.
  • step 206 For the description of step 206, reference may be made to the description of the embodiment shown in FIG. 1A or the following FIG. 3, and details are not described herein again.
  • the first The position relationship between the second geographic location and the first geographic location, and the second road component is determined from the road components with the same semantic category information as the first road component, which can ensure that the vehicle is positioned to an accurate position and avoid the identified Other road components interfere with the positioning results.
  • FIG. 3 is a schematic flowchart of a positioning method according to another exemplary embodiment of the present application; based on the embodiment shown in FIG. 1A described above, this embodiment takes how to locate a mobile device based on a matching result and a motion model of the mobile device as examples Exemplarily, as shown in FIG. 3, the following steps are included:
  • Step 301 Determine first feature information and semantic category information of a first road component in an image, and the image is taken by a mobile device during a moving process.
  • Step 302 Determine the second feature information of the second road component that is the same as the semantic category information of the first road component in the high-precision map.
  • Step 303 Compare the first feature information with the second feature information to obtain a matching result.
  • steps 301 to 303 For the description of steps 301 to 303, reference may be made to the description of the embodiment shown in FIG. 1A, and details are not described herein again.
  • step 304 if the matching result meets a preset condition, the third geographic position of the mobile device in the high-precision map when the image is captured is determined based on the monocular visual positioning method.
  • the preset condition refers to that the comparison result indicates that the first feature information is the same as or similar to the second feature information.
  • the description of the monocular visual positioning method can refer to the description of the prior art, which is not described in detail in this application.
  • the third geographical position of the mobile device in the high-precision map when the image is captured can be obtained by using the monocular visual positioning method, and the third geographical position is, for example, (M, N).
  • the third geographic location may be represented by the latitude and longitude of the earth or UTM coordinates.
  • Step 305 Position the mobile device based on the third geographic location and the motion model of the mobile device.
  • the motion model of the mobile device For a description of the motion model of the mobile device, reference may be made to the description of the embodiment shown in FIG. 1A, which is not described in detail here.
  • the current position of the mobile device is (M + ⁇ M, N + ⁇ N).
  • this embodiment implements positioning of the mobile device based on the third geographic position of the mobile device in the high-definition map and the motion model of the mobile device when the mobile device captures an image.
  • the distance between the first road component and the mobile device is relatively short.
  • the mobile device is located by using the first road component and the motion model of the mobile device. , Can avoid the accumulation of errors brought by the positioning system to the positioning results obtained by the mobile device, and improve the positioning accuracy of the mobile device.
  • this application further provides an embodiment of the positioning device.
  • FIG. 4 is a schematic structural diagram of a positioning device according to an exemplary embodiment of the present application. As shown in FIG. 4, the positioning device includes:
  • a first determining module 41 configured to determine first feature information and semantic category information of a first road component in an image, where the image is taken by a mobile device during a movement process;
  • a second determining module 42 configured to determine second feature information of a second road component in the high-precision map that is the same as the semantic category information
  • the positioning module 43 is configured to locate the mobile device based on a matching result of the first feature information and the second feature information.
  • FIG. 5 is a schematic structural diagram of a positioning device according to another exemplary embodiment of the present application. As shown in FIG. 5, based on the embodiment shown in FIG. 4, the second determining module 42 may include:
  • a first determining unit 421, configured to determine a first geographic position of the mobile device when taking an image based on a positioning system of the mobile device;
  • a second determining unit 422, configured to determine a second road component that is the same as the semantic category information within a set range from the first geographic position range in the vector semantic information layer of the high-precision map;
  • the third determining unit 423 is configured to determine the second feature information of the second road component in the high-precision map.
  • the second determining module 42 may include:
  • a fourth determining unit 424 configured to determine a first geographic position of the mobile device when the image is captured based on a positioning system of the mobile device if the number of road components in the high-precision map with the same semantic category information is greater than one;
  • a fifth determining unit 425 configured to determine a second geographic position of the mobile device obtained from the current latest positioning
  • a sixth determining unit 426 configured to determine a second road component from the road components with the same semantic category information based on the position relationship between the second geographical position and the first geographical position;
  • the seventh determining unit 427 is configured to determine second feature information of the second road component in the high-precision map.
  • the seventh determining unit 427 may be specifically configured to:
  • the second feature information of the second road component is determined based on the coordinate position associated with the coordinate position in the vector semantic information layer in the image feature layer of the high-precision map.
  • the positioning module 43 may include:
  • a matching unit 431, configured to compare the first feature information with the second feature information to obtain a matching result
  • An eighth determining unit 432 configured to determine the third geographic position of the mobile device in the high-definition map when the image is captured based on the monocular visual positioning method if the matching result meets a preset condition
  • the positioning unit 433 is configured to locate the mobile device based on the third geographical position and the motion model of the mobile device.
  • the first determining module 41 may include:
  • a ninth determining unit 411 configured to determine a position frame where the first road component is located in the image
  • a feature extraction unit 412 is configured to extract first feature information of the first road component from a location frame where the first road component is located.
  • the second feature information corresponding to the second road component in the high-precision map is stored in an image feature layer of the high-precision map.
  • the semantic category information in the vector semantic information layer is associated with the feature information in the image feature layer.
  • the embodiments of the positioning device of the present application may be applied to a mobile device.
  • the device embodiments may be implemented by software, or by hardware or a combination of software and hardware. Taking software implementation as an example, as a logical device, it is formed by reading the corresponding computer program instructions in the non-volatile storage medium into the memory through the processor of the mobile device where it is located, so that the above figure can be executed.
  • 1A-FIG. 3 provides a positioning method.
  • FIG. 6 it is a hardware structure diagram of the mobile device where the positioning device of this application is located, in addition to the processor, memory, network interface, and non-volatile storage medium shown in FIG. 6.
  • the mobile device where the device is located in the embodiment may generally include other hardware according to the actual function of the mobile device, and details are not described herein again.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)

Abstract

一种定位方法，包括：确定图像中的第一道路部件的第一特征信息以及语义类别信息，其中图像为移动设备在移动过程中拍摄的（101）；在高精地图中确定与语义类别信息相同的第二道路部件的第二特征信息（102）；基于第一特征信息与第二特征信息的匹配结果，定位移动设备（103）。

Description

定位技术 技术领域
本申请涉及定位技术领域。
背景技术
高精地图通常包括矢量语义信息图层和特征(feature)图层，其中，特征图层可以包括激光特征图层或图像特征图层。在一利用高精地图进行定位的方法中，可分别在矢量语义信息图层与特征图层进行定位后，再基于二者得到的定位结果进行融合，得到最终的定位结果。其中，基于特征图层进行定位的方法需要实时提取图像或激光特征点，再通过特征点匹配，结合计算机视觉多视图几何原理的方法计算无人驾驶车辆的位置姿态信息，然而，特征图层存储体积大，且在开放道路环境下容易增加误匹配概率，导致定位精度下降。而基于矢量语义信息图层进行定位的方法需要精确获取相关物体(例如，道路标识、交通标识等)的轮廓点，若轮廓点提取不精确或轮廓点的数量较少，容易出现较大定位误差。
发明内容
有鉴于此，本申请提供一种定位方法、装置、存储介质及移动设备，可降低对道路部件上轮廓点的提取精度要求，避免由于轮廓点提取不精确或轮廓点的数量较少导致定位失败概率增大。
为实现上述目的，本申请提供技术方案如下：
根据本申请的第一方面，提出了一种定位方法，包括：
确定图像中的第一道路部件的第一特征信息以语义及类别信息，所述图像为移动设备在移动过程中拍摄的；
在高精地图中确定与所述语义类别信息相同的第二道路部件的第二特征信息；
基于所述第一特征信息与所述第二特征信息的匹配结果，定位所述移动设备。
根据本申请的第二方面，提出了一种定位装置，包括：
第一确定模块，用于确定图像中的第一道路部件的第一特征信息以及语义类别信息， 所述图像为移动设备在移动过程中拍摄的；
第二确定模块，用于在高精地图中确定与所述语义类别信息相同的第二道路部件的第二特征信息；
定位模块，用于基于所述第一特征信息与所述第二特征信息的匹配结果，定位所述移动设备。
根据本申请的第三方面，提出了一种存储介质，储介质存储有计算机程序，所述计算机程序用于执行上述第一方面提出的定位方法。
根据本申请的第四方面，提出了一种移动设备，所述移动设备包括：
处理器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器，用于执行上述第一方面提出的定位方法。
由以上技术方案可见，本申请由于通过确定图像中的第一道路部件的语义类别信息获知了第一道路部件所表示的物理意义，因此可将第一道路部件的语义类别信息视为高语义特征，第一道路部件的第一特征信息与高精地图中的第二道路部件的第二特征信息表示了道路部件的像素信息，因此可将第一特征信息与第二特征信息视为低级语义特征，通过将高语义特征与低语义特征结合，实现了对移动设备的高精度定位；由于道路部件上的图像特征信息的数量丰富且特征信息准确，并且图像特征信息作为道路部件的整体特征，不需要识别图像中的第一道路部件的轮廓点，因此降低了对道路部件上轮廓点的提取精度要求，避免由于轮廓点提取不精确或轮廓点的数量较少导致定位误失败概率增大或者定位失败的可能性。
附图说明
图1A是本申请一示例性实施例示出的定位方法的流程示意图。
图1B是图1A所示实施例的交通场景的示意图。
图2是本申请另一示例性实施例示出的定位方法的流程示意图。
图3本本申请又一示例性实施例示出的定位方法的流程示意图。
图4是本申请一示例性实施例示出的定位装置的结构示意图。
图5是本申请另一示例性实施例示出的定位装置的结构示意图。
图6是本申请以示例性实施例示出的移动设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请可适用在移动设备上，该移动设备可以为车辆、配送货物的机器人、手机等可在室外道路上使用的设备。以移动设备为车辆为例进行示例性说明，在车辆行驶的过程中，通过车辆上的摄像装置拍摄图像，识别出图像中的第一道路部件，并提取出第一道路部件的图像特征信息(本申请中的第一特征信息)，通过在高精地图中找到与图像中的第一道路部件相同的第二道路部件，进而对高精地图中的第二道路部件的图像特征信息(本申请中的第二特征信息)与图像中的第一道路部件的图像特征信息进行比较，基于匹配结果以及车辆的运动模型，对车辆进行定位。
本申请中的高精地图是由地图提供方提供的，可被预先存在车辆的存储器中或者在车辆行驶时从云端获取。如前所述，高精地图可包括矢量语义信息图层和图像特征图层。可通过提取地图提供方拍摄的图像中的道路边缘、车道、道路结构属性、交通信号灯、交通标识、路灯杆等道路部件的矢量语义信息制作矢量语义信息图层其中，地图提供方可通过例如无人机等摄像装置拍摄图像。可通过从该图像中提取道路部件的图像特征信息制作图像特征图层。将矢量语义信息图层和图像特征图层以设定的数据格式储存在高精地图内。高精地图的精度能够达到厘米级。
图1A是本申请一示例性实施例示出的定位方法的流程示意图，图1B是图1A所示实施例的交通场景的示意图；本实施例可应用在需要进行定位的移动设备上，移动设备例如为需要进行定位的车辆、配送货物的机器人、手机，等等，如图1A所示，包括如下步骤：
步骤101，确定图像中的第一道路部件的第一特征信息以及语义类别信息，其中，图像为移动设备在移动过程中拍摄的。
在一实施例中，可以通过深度学习网络确定图像中第一道路部件所在的位置框；在第一道路部件所在的位置框中，提取第一道路部件的第一特征信息。其中，图像中可包含多个第一道路部件，多个第一道路部件可以为：交通信号灯、路面标识(例如，左转箭头、直行箭头、右转箭头、数字、人行道、车道线、指示文字，等)等等。通过识别图像中第一道路部件所在的位置框，可以排除树木、行人的特征信息对道路部件的特征信息的干扰，以确保后续定位的准确度。
在一实施例中，第一特征信息可以为第一道路部件的图像特征信息，图像特征信息例如为第一道路部件的角点、特征描述子、纹理、灰度等等。在一实施例中，第一道路部件的语义类别信息可以为第一道路部件的名称或者类型标识(identifier,ID)，例如，第一道路部件为交通信号灯、路面标识(例如，左转箭头、直行箭头、右转箭头、人行横道，等)等。
步骤102，在高精地图中确定与第一道路部件的语义类别信息相同的第二道路部件的第二特征信息。
在一实施例中，高精地图包含矢量语义信息图层和图像特征图层。矢量语义信息图层存储有道路部件的语义类别信息和道路部件的模型信息。道路部件的模型信息可以为长度、宽度、高度以及道路部件的质心在WGS84(World Geodetic System-1984)坐标系下的经纬度坐标和高程信息。图像特征图层存储有与道路部件的语义类别信息相对应的图像特征信息。高精地图中的道路部件的特征信息存储在高精地图的图像特征图层中。矢量语义信息图层中的语义类别信息与所述图像特征图层中对应的图像特征信息相关联，矢量语义信息图层中存储的道路部件质心的坐标位置与图像特征图层中存储的该道路部件的图像特征信息所在的坐标位置相关联。换言之，在一高精地图中，可基于道路部件质心的坐标位置，确定在图像特征图层中该道路部件的图像特征信息所在的坐标位置，进而确定该道路部件的图像特征信息。在本申请实施例中，通过在高精地图的图像特征图层中存储道路部件的特征信息，可以确保高精地图中包含高级语义信息的同时， 还能够增加丰富的低级特征信息。
在一实施例中，高精地图存储有道路部件的图像特征信息和语义类别信息，当需要在高精地图中确定与第一道路部件的语义类别信息相同的第二道路部件的第二特征信息时，可以先基于移动设备已有的定位系统(例如，GPS(Global Positioning System)定位系统、北斗定位系统，等等)，确定移动设备在拍摄图像时的第一地理位置，该第一地理位置可通过经纬度或者通用横格网系统(UNIVERSAL TRANSVERSE MERCARTOR GRID SYSTEM，简称为UTM)坐标来表示；在高精地图的矢量语义信息图层中距离第一地理位置的预设范围内，确定与第一道路部件的语义类别信息相同的第二道路部件；在高精地图中确定第二道路部件的第二特征信息。由于只需要在高精地图中确定与第一道路部件的语义类别信息相同的第二道路部件，避免在高精地图中对非道路部件的搜索，大大缩短了在高精地图中搜索第二道路部件的时间。
进一步地，预设范围可以由定位系统的误差范围来确定，从而可以对定位系统产生的误差进行纠正，本申请对预设范围的具体值不做限制。例如，预设范围为5米，语义类别信息包括交通信号灯和左转箭头，则可以以移动设备拍摄图像时的第一地理位置为中心，在高精地图中搜索5米内的交通信号灯和左转箭头，从高精地图中找到5米内的红绿灯和左转箭头各自的第二特征信息。与第一特征信息类似，第二特征信息例如为第二道路部件的角点、描述子、道路部件的结构、纹理、灰度等等。
步骤103，基于第一特征信息与第二特征信息的匹配结果，定位移动设备。
在一实施例中，可以将第一特征信息与第二特征信息包含的角点、特征描述子、纹理、灰度等进行比对，若通过比对确定第一特征信息与第二特征信息相同或相似则匹配结果符合预设条件，可基于第二道路部件在高精地图中的地理坐标以及移动设备的运动模型，定位移动设备。在一实施例中，第二道路部件在高精地图中的地理坐标可以通过地球的经纬度或者UTM坐标来表示。
在一实施例中，可以通过移动设备在纵向和侧向的速度、移动设备的偏航角速度建立移动设备的运动模型，基于该运动模型计算出移动设备相对第二道路部件在高精地图中的地理坐标的偏移坐标，基于偏移坐标和第二道路部件在高精地图中的地理坐标，定位移动设备。
在一示例性场景中，如图1B所示，在移动设备拍摄图像时，通过移动设备上安装的GPS将移动设备定位到实心黑点11处，则实心黑点11处为本申请所述的第一地理 位置，而移动设备在拍摄图像时的真实位置为A处，通过本申请可将通过GPS定位得到的第一地理位置进行纠正，将移动设备在拍摄图像时的位置准确地定位在A处，并基于A处的地理位置和移动设备的运动模型，将移动设备定位到当前所在的位置A’处。
具体地，通过上述步骤101识别出移动设备在实心黑点11处拍摄的图像中包含的左转箭头以及交通信号灯，其中，图像中的左转箭头以及交通信号灯均可视为本申请中的第一道路部件。提取图像中的左转箭头以及交通信号灯各自的第一特征信息。通过上述步骤102，确定高精地图中左转箭头的第二特征信息，以及，确定高精地图中交通信号灯的第二特征信息，其中，高精地图中的左转箭头以及交通信号灯可视为本申请中的第二道路部件。通过上述步骤103，基于第一特征信息和第二特征信息的匹配结果，定位移动设备。具体地，若匹配结果表示第一特征信息与第二特征信息相同或相似，则基于A处前方的左转箭头在高精地图中的地理位置以及移动设备的运动模型，将移动设备定位到A’处，得到移动设备当前在高精地图中A’处的地理位置。
在一实施例中，第一特征信息是第一道路部件的特征点的描述子信息，例如Scale-invariant feature transform(SIFT)描述子或Speed Up Robust Features(SURF)描述子，第二特征信息是第二道路部件的特征点的描述子信息，例如SIFT描述子或SURF描述子。第一特征信息包括多个第一特征点，计算每个第一特征点的描述子，将每个第一特征点的描述子组合在一起形成第一描述子集合。第二特征信息包括多个第二特征点，计算每个第二特征点的描述子，将每个第二特征点的描述子组合在一起形成第二描述子集合。比较第一描述子集合中的描述子和第二描述子集合中的描述子，以确定m个描述子对，其中，若第一描述子集合中的描述子与第二描述子集合中的描述子相同，则这两个描述子可被称为描述子对。判断各个描述子对是否可以通过计算机视觉的射影变换得到。统计可以通过计算机视觉的射影变换得到的描述子对的数量n，若n/m的比值大于0.9，则第一特征信息和第二特征信息的比较结果符合预设条件。
需要说明的是，图1B所示的交通信号灯以及左转箭头仅为一个示例性说明，其并不能形成对本申请的限制，只要从拍摄的图像中识别出道路部件，均可通过本申请提供的定位方法基于图像中识别出的道路部件对移动设备进行定位。
本实施例中，由于通过确定图像中的第一道路部件的语义类别信息获知第一道路部件所表示的物理意义，因此可将第一道路部件的语义类别信息视为高语义特征，第一道路部件的第一特征信息与高精地图中的第二道路部件的第二特征信息表示道路部件的像素信息，因此可将第一特征信息与第二特征信息视为低语义特征，通过将高语义特征 与低语义特征结合，实现了对移动设备的高精度定位；由于高精地图中道路部件的图像特征信息的数量丰富且图像特征信息准确，并且图像特征信息作为道路部件的整体特征，不需要精确提取出图像中的第一道路部件的轮廓点即可基于道路部件实现定位，因此降低了对道路部件上轮廓点的提取精度要求，避免由于轮廓点提取不精确或轮廓点的数量较少导致定位误失败概率增大或者定位失败的可能性。
图2本申请又一示例性实施例示出的定位方法的流程示意图；本实施例在上述图1A所示实施例的基础上，结合图1B以如何在高精地图中确定与第一道路部件语义类别信息相同的第二道路部件的第二特征信息为例进行示例性说明，如图2所示，包括如下步骤：
步骤201，确定图像中的第一道路部件的第一特征信息以及语义类别信息，其中，图像为移动设备在移动过程中拍摄的。
如图1B所示，通过GPS定位得到的移动设备在拍摄图像时的第一地理位置为实心黑点12处，从图像中识别出第一道路部件包括交通信号灯和直行箭头各自的第一特征信息，并识别出第一道路部件的语义类别信息为交通信号灯和直行箭头。
步骤202，若高精地图中与第一道路部件语义类别信息相同的道路部件的个数大于1，基于移动设备的定位系统，确定移动设备在拍摄图像时的第一地理位置。
如图1B所示，若从高精地图中确定出的与交通信号灯和直行箭头对应的道路部件包括B处、C处、D处、E处位于各自前方的直行箭头以及对应的交通信号灯，即直行箭头的个数为4个，交通信号灯的个数也为4个，均大于1。
在一实施例中，可基于移动设备上的定位系统确定出第一地理位置。如图1B所示，通过GPS定位出移动设备在拍摄图像时的第一地理位置为实心黑点12处。
步骤203，确定距离当前最近一次定位得到的所述移动设备的第二地理位置。
在一实施例中，第二地理位置为移动设备通过图1B所示实施例在距离当前最近一次定位得到的地理位置，如图1B所示，通过GPS定位得到实心黑点12处对应的地理位置，距离当前最近一次定位得到的地理位置为F处对应的地理位置，则F处对应的地理位置为本申请所述的第二地理位置。
步骤204，基于第二地理位置与第一地理位置之间的位置关系，从与第一道路部件语义类别信息相同的道路部件中确定出第二道路部件。
如图1B所示，基于F处的地理位置以及实心黑点12所在位置之间的位置关系，可确定出移动设备是由F处直行到达实心黑点12所在的路口，因此移动设备需要从F处移动至B处，由此可确定出B处对应的直行箭头以及对应的交通信号灯为本申请中的第二道路部件。
步骤205，在高精地图中确定第二道路部件的第二特征信息。
在一实施例中，确定第二道路部件在高精地图的矢量语义信息图层中的坐标位置，例如，第二道路部件的质心坐标；基于在高精地图的图像特征图层中与所述质心坐标关联的坐标位置，确定第二道路部件的第二特征信息。可在高精地图的图像特征图层中与矢量语义信息图层中的地理位置关联的地理位置处，确定第二道路部件的第二特征信息。第二特征信息作为低语义特征，存储在高精地图的图像特征图层中。
步骤206，基于第一特征信息与第二特征信息的匹配结果，定位移动设备。
步骤206的描述可参见上述图1A或者下述图3所示实施例的描述，在此不再详述。
本实施例在具有上述图1A所示实施例的基础上，当图像中存在与第一道路部件的语义类别信息相同的两个以上的道路部件时，通过移动设备距离当前最近一次定位得到的第二地理位置与第一地理位置之间的位置关系，从与第一道路部件的语义类别信息相同的道路部件中确定出第二道路部件，可以确保将车辆定位到准确的位置，避免识别到的其他道路部件对定位结果产生干扰。
图3是本申请另一示例性实施例示出的定位方法的流程示意图；本实施例在上述图1A所示实施例的基础上，以如何基于匹配结果以及移动设备的运动模型定位移动设备为例进行示例性说明，如图3所示，包括如下步骤：
步骤301，确定图像中的第一道路部件的第一特征信息以及语义类别信息，图像为移动设备在移动过程中拍摄的。
步骤302，在高精地图中确定与第一道路部件的语义类别信息相同的第二道路部件的第二特征信息。
步骤303，比较第一特征信息与第二特征信息，得到匹配结果。
步骤301-步骤303的描述可参见上述图1A所示实施例的描述，在此不再详述。
步骤304，若匹配结果符合预设条件，基于单目视觉定位方法确定拍摄图像时移动设备在高精地图中的第三地理位置。
所述预设条件是指比较结果表示第一特征信息与第二特征信息相同或相似。在一实施例中，单目视觉定位方法的描述可参见现有技术的描述，本申请不再详细描述。如图1B所示，通过单目视觉定位方法可得到移动设备在拍摄图像时在高精地图中的第三地理位置，第三地理位置例如为(M，N)。在一实施例中，第三地理位置可以通过地球的经纬度或者UTM坐标来表示。
步骤305，基于第三地理位置以及移动设备的运动模型，定位移动设备。
移动设备的运动模型的描述可参见上述图1A所示实施例的描述，在此不在详述。例如，通过运动模型得到移动设备从拍摄图像时的时间点到当前时间点的偏移坐标为(ΔM，ΔN)，则移动设备当前的位置为(M+ΔM，N+ΔN)。
本实施例在具有上述图1A所示实施例的基础上，基于移动设备在拍摄图像时移动设备在高精地图中的第三地理位置和移动设备的运动模型，实现对移动设备的定位，由于第一道路部件相对移动设备的距离较近，在通过定位系统得到移动设备在拍摄图像时的地理位置存在较大误差的前提下，通过第一道路部件以及移动设备的运动模型对移动设备进行定位，可以避免定位系统对移动设备得到的定位结果带来的误差积累，提高移动设备的定位精度。
与前述定位方法的实施例相对应，本申请还提供了定位装置的实施例。
图4是本申请一示例性实施例示出的定位装置的结构示意图，如图4所示，定位装置包括：
第一确定模块41，用于确定图像中的第一道路部件的第一特征信息以及语义类别信息，图像为移动设备在移动过程中拍摄的；
第二确定模块42，用于确定高精地图中与所述语义类别信息相同的第二道路部件的第二特征信息；
定位模块43，用于基于第一特征信息与第二特征信息的匹配结果，定位移动设备。
图5是本申请另一示例性实施例示出的定位装置的结构示意图，如图5所示，在上述图4所示实施例的基础上，第二确定模块42可包括：
第一确定单元421，用于基于移动设备的定位系统，确定移动设备在拍摄图像时的第一地理位置；
第二确定单元422，用于在高精地图的矢量语义信息图层中距离第一地理位置范围 的设定范围内，确定与所述语义类别信息相同的第二道路部件；
第三确定单元423，用于在高精地图中确定所述第二道路部件的第二特征信息。
在一实施例中，第二确定模块42可包括：
第四确定单元424，用于若高精地图中与所述语义类别信息相同的道路部件的个数大于1，基于移动设备的定位系统，确定移动设备在拍摄图像时的第一地理位置；
第五确定单元425，用于确定距离当前最近一次定位得到的所述移动设备的第二地理位置；
第六确定单元426，用于基于第二地理位置与第一地理位置之间的位置关系，从与所述语义类别信息相同的道路部件中确定出第二道路部件；
第七确定单元427，用于在高精地图中确定第二道路部件的第二特征信息。
在一实施例中，第七确定单元427具体可用于：
确定第二道路部件在高精地图的矢量语义信息图层中的坐标位置；
基于在高精地图的图像特征图层中与所述矢量语义信息图层中的坐标位置关联的坐标位置，确定第二道路部件的第二特征信息。
在一实施例中，定位模块43可包括：
匹配单元431，用于比较第一特征信息与第二特征信息，得到匹配结果；
第八确定单元432，用于若匹配结果符合预设条件，基于单目视觉定位方法确定拍摄图像时移动设备在高精地图中的第三地理位置；
定位单元433，用于基于第三地理位置以及移动设备的运动模型，定位移动设备。
在一实施例中，第一确定模块41可包括：
第九确定单元411，用于确定在所述图像中所述第一道路部件所在的位置框；
特征提取单元412，用于从第一道路部件所在的位置框中，提取第一道路部件的第一特征信息。
在一实施例中，在所述高精地图中第二道路部件对应的第二特征信息存储在高精地图的图像特征图层中。
在一实施例中，若高精地图中道路部件的特征信息存储在高精地图的图像特征图层 中，矢量语义信息图层中的语义类别信息与图像特征图层中的特征信息相关联。
本申请定位装置的实施例可以应用在移动设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在移动设备的处理器将非易失性存储介质中对应的计算机程序指令读取到内存中运行形成的，从而可执行上述图1A-图3任一实施例提供的定位方法。从硬件层面而言，如图6所示，为本申请定位装置所在移动设备的的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储介质之外，实施例中装置所在的移动设备的通常根据该移动设备的的实际功能，还可以包括其他硬件，对此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (16)

  1. 一种定位方法，包括：
    确定图像中的第一道路部件的第一特征信息以及语义类别信息，所述图像为移动设备在移动过程中拍摄的；
    在高精地图中确定与所述语义类别信息相同的第二道路部件的第二特征信息；
    基于所述第一特征信息与所述第二特征信息的匹配结果，定位所述移动设备。
  2. 根据权利要求1所述的方法，其中，在所述高精地图中确定与所述语义类别信息相同的第二道路部件的第二特征信息，包括：
    基于所述移动设备的定位系统，确定所述移动设备在拍摄所述图像时的第一地理位置；
    在所述高精地图的矢量语义信息图层中距离所述第一地理位置的设定范围内，确定与所述语义类别信息相同的第二道路部件；
    在所述高精地图中确定所述第二道路部件的第二特征信息。
  3. 根据权利要求1所述的方法，其中，在所述高精地图中确定与所述语义类别信息相同的第二道路部件的第二特征信息，包括：
    若所述高精地图中与所述语义类别信息相同的道路部件的个数大于1，基于所述移动设备的定位系统，确定所述移动设备在拍摄所述图像时的第一地理位置；
    确定距离当前最近一次定位得到的所述移动设备的第二地理位置；
    基于所述第二地理位置与所述第一地理位置之间的位置关系，从与所述语义类别信息相同的道路部件中确定出所述第二道路部件；
    在所述高精地图中确定所述第二道路部件的第二特征信息。
  4. 根据权利要求3所述的方法，其中，在所述高精地图中确定所述第二道路部件的第二特征信息，包括：
    确定所述第二道路部件在所述高精地图的矢量语义信息图层中的坐标位置；
    基于在所述高精地图的图像特征图层中与所述矢量语义信息图层中的坐标位置关联的坐标位置，确定所述第二道路部件的第二特征信息。
  5. 根据权利要求1所述的方法，其中，基于所述第一特征信息与所述第二特征信息的匹配结果，定位所述移动设备，包括：
    比较所述第一特征信息与所述第二特征信息，得到匹配结果；
    若所述匹配结果符合预设条件，基于单目视觉定位方法确定拍摄所述图像时所述移动设备在高精地图中的第三地理位置；
    基于所述第三地理位置以及所述移动设备的运动模型，定位所述移动设备。
  6. 根据权利要求1所述的方法，其中，确定所述图像中的第一道路部件的第一特征信息，包括：
    确定在所述图像中所述第一道路部件所在的位置框；
    从所述第一道路部件所在的位置框中，提取所述第一道路部件的第一特征信息。
  7. 根据权利要求1所述的方法，其中，在所述高精地图中所述第二道路部件对应的第二特征信息存储在所述高精地图的图像特征图层中。
  8. 一种定位装置，包括：
    第一确定模块，用于确定图像中的第一道路部件的第一特征信息以及语义类别信息，所述图像为移动设备在移动过程中拍摄的；
    第二确定模块，用于在高精地图中确定与所述语义类别信息相同的第二道路部件的第二特征信息；
    定位模块，用于基于所述第一特征信息与所述第二特征信息的匹配结果，定位所述移动设备。
  9. 根据权利要求8所述的装置，其中，所述第二确定模块包括：
    第一确定单元，用于基于所述移动设备的定位系统，确定所述移动设备在拍摄所述图像时的第一地理位置；
    第二确定单元，用于在所述高精地图的矢量语义信息图层中距离所述第一地理位置的设定范围内，确定与所述语义类别信息相同的第二道路部件；
    第三确定单元，用于在所述高精地图中确定所述第二道路部件的第二特征信息。
  10. 根据权利要求8所述的装置，其中，所述第二确定模块包括：
    第四确定单元，用于若所述高精地图中与所述语义类别信息相同的道路部件的个数大于1，基于所述移动设备的定位系统，确定所述移动设备在拍摄所述图像时的第一地理位置；
    第五确定单元，用于确定距离当前最近一次定位得到的所述移动设备的第二地理位置；
    第六确定单元，用于基于所述第二地理位置与所述第一地理位置之间的位置关系，从与所述语义类别信息相同的道路部件中确定出所述第二道路部件；
    第七确定单元，用于在所述高精地图中确定所述第二道路部件的第二特征信息。
  11. 根据权利要求10所述的装置，其中，所述第七确定单元用于：
    确定所述第二道路部件在所述高精地图的矢量语义信息图层中的坐标位置；
    基于在所述高精地图的图像特征图层中与所述矢量语义信息图层中的坐标位置关联的坐标位置，确定所述第二道路部件的第二特征信息。
  12. 根据权利要求8所述的装置，其中，所述定位模块包括：
    匹配单元，用于比较所述第一特征信息与所述第二特征信息，得到匹配结果；
    第八确定单元，用于若所述匹配结果符合预设条件，基于单目视觉定位方法确定拍摄所述图像时所述移动设备在高精地图中的第三地理位置；
    定位单元，用于基于所述第三地理位置以及所述移动设备的运动模型，定位所述移动设备。
  13. 根据权利要求8所述的装置，其中，所述第一确定模块包括：
    第九确定单元，用于确定在所述图像中所述第一道路部件所在的位置框；
    特征提取单元，用于从所述第一道路部件所在的位置框中，提取所述第一道路部件的第一特征信息。
  14. 根据权利要求8所述的装置，其中，在所述高精地图中所述第二道路部件对应的第二特征信息存储在所述高精地图的图像特征图层中。
  15. 一种存储介质，存储有计算机程序，调用所述计算机程序时，处理器用于执行上述权利要求1-7任一所述的定位方法。
  16. 一种移动设备，包括：
    处理器；
    用于存储所述处理器可执行指令的存储器；
    其中，所述处理器，用于执行上述权利要求1-7任一所述的定位方法。
PCT/CN2019/102755 2018-08-28 2019-08-27 定位技术 Ceased WO2020043081A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/289,239 US20220011117A1 (en) 2018-08-28 2019-08-27 Positioning technology

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810987799.6A CN109141444B (zh) 2018-08-28 2018-08-28 定位方法、装置、存储介质及移动设备
CN201810987799.6 2018-08-28

Publications (1)

Publication Number Publication Date
WO2020043081A1 true WO2020043081A1 (zh) 2020-03-05

Family

ID=64828654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/102755 Ceased WO2020043081A1 (zh) 2018-08-28 2019-08-27 定位技术

Country Status (3)

Country Link
US (1) US20220011117A1 (zh)
CN (1) CN109141444B (zh)
WO (1) WO2020043081A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507951A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 指示灯识别方法、装置、设备、路侧设备和云控平台

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109141444B (zh) * 2018-08-28 2019-12-06 北京三快在线科技有限公司 定位方法、装置、存储介质及移动设备
WO2020055767A1 (en) * 2018-09-10 2020-03-19 Mapbox, Inc. Mapping objects detected in images to geographic positions
CN111750882B (zh) * 2019-03-29 2022-05-27 北京魔门塔科技有限公司 一种导航地图在初始化时车辆位姿的修正方法和装置
CN110108287B (zh) * 2019-06-03 2020-11-27 福建工程学院 一种基于路灯辅助的无人车高精度地图匹配方法及系统
CN110727748B (zh) * 2019-09-17 2021-08-24 禾多科技（北京）有限公司 小体量高精度定位图层的构建、编译及读取方法
CN112880693B (zh) * 2019-11-29 2024-07-19 北京市商汤科技开发有限公司 地图生成方法、定位方法、装置、设备及存储介质
CN111274974B (zh) * 2020-01-21 2023-09-01 阿波罗智能技术(北京)有限公司 定位元素检测方法、装置、设备和介质
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置
CN112991805A (zh) * 2021-04-30 2021-06-18 湖北亿咖通科技有限公司 一种辅助驾驶方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945327A (zh) * 2010-09-02 2011-01-12 郑茂 基于数字图像识别和检索的无线定位方法、系统
US20140161360A1 (en) * 2012-12-10 2014-06-12 International Business Machines Corporation Techniques for Spatial Semantic Attribute Matching for Location Identification
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN108416808A (zh) * 2018-02-24 2018-08-17 斑马网络技术有限公司 车辆重定位的方法及装置
CN109141444A (zh) * 2018-08-28 2019-01-04 北京三快在线科技有限公司 定位方法、装置、存储介质及移动设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP2007085911A (ja) * 2005-09-22 2007-04-05 Clarion Co Ltd 車両位置判定装置、その制御方法及び制御プログラム
CN111380545B (zh) * 2015-02-10 2024-11-12 御眼视觉技术有限公司 用于自主车辆导航的方法、服务器、自主车辆以及介质
CN106647742B (zh) * 2016-10-31 2019-09-20 纳恩博（北京）科技有限公司 移动路径规划方法及装置
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术（北京）有限公司 车辆自定位方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945327A (zh) * 2010-09-02 2011-01-12 郑茂 基于数字图像识别和检索的无线定位方法、系统
US20140161360A1 (en) * 2012-12-10 2014-06-12 International Business Machines Corporation Techniques for Spatial Semantic Attribute Matching for Location Identification
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
CN108416808A (zh) * 2018-02-24 2018-08-17 斑马网络技术有限公司 车辆重定位的方法及装置
CN109141444A (zh) * 2018-08-28 2019-01-04 北京三快在线科技有限公司 定位方法、装置、存储介质及移动设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507951A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 指示灯识别方法、装置、设备、路侧设备和云控平台
CN112507951B (zh) * 2020-12-21 2023-12-12 阿波罗智联(北京)科技有限公司 指示灯识别方法、装置、设备、路侧设备和云控平台

Also Published As

Publication number Publication date
CN109141444A (zh) 2019-01-04
US20220011117A1 (en) 2022-01-13
CN109141444B (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
WO2020043081A1 (zh) 定位技术
EP3836018B1 (en) Method and apparatus for determining road information data and computer storage medium
US11386672B2 (en) Need-sensitive image and location capture system and method
CN113034566B (zh) 高精度地图构建方法、装置、电子设备及存储介质
US12260574B2 (en) Image-based keypoint generation
US10997740B2 (en) Method, apparatus, and system for providing real-world distance information from a monocular image
EP3644013B1 (en) Method, apparatus, and system for location correction based on feature point correspondence
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
CN108416808B (zh) 车辆重定位的方法及装置
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
WO2020156923A2 (en) Map and method for creating a map
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
US10949707B2 (en) Method, apparatus, and system for generating feature correspondence from camera geometry
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN110827340B (zh) 地图的更新方法、装置及存储介质
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
US12450919B2 (en) Method, apparatus, and system for providing machine learning-based registration of imagery with different perspectives
CN117635674A (zh) 地图数据处理方法、装置、存储介质及电子设备
CN112528892B (zh) 一种无人机点云车道线提取方法及系统
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
CN112767477A (zh) 一种定位方法、装置、存储介质及电子设备
CN114120701B (zh) 一种泊车定位方法及装置
CN120176648A (zh) 用于众包地图构建的数据处理方法、装置、设备及介质
CN116934870A (zh) 单应性矩阵的确定方法、装置及车辆
CN118640858A (zh) 检测目标的车道航向角确定方法及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854367

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19854367

Country of ref document: EP

Kind code of ref document: A1