WO2022116572A1 - 一种目标定位方法及装置 - Google Patents

一种目标定位方法及装置 Download PDF

Info

Publication number
WO2022116572A1
WO2022116572A1 PCT/CN2021/109530 CN2021109530W WO2022116572A1 WO 2022116572 A1 WO2022116572 A1 WO 2022116572A1 CN 2021109530 W CN2021109530 W CN 2021109530W WO 2022116572 A1 WO2022116572 A1 WO 2022116572A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
target
information
ground traffic
coordinate system
Prior art date
Application number
PCT/CN2021/109530
Other languages
English (en)
French (fr)
Inventor
童哲航
李天威
蔡之奡
刘一龙
王宇桐
穆北鹏
Original Assignee
魔门塔(苏州)科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 魔门塔(苏州)科技有限公司 filed Critical 魔门塔(苏州)科技有限公司
Publication of WO2022116572A1 publication Critical patent/WO2022116572A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention relates to the technical field of positioning, and in particular, to a target positioning method and device.
  • the positioning is generally based on the visual information collected by the image acquisition device set by the target object.
  • the process of positioning based on visual information it is generally: using the position information of the elements such as street light poles and traffic signs in the visual information, and the initial pose information determined by the target object through the odometer, from the preset to include this type of traffic
  • the scene map of the map location information of the elements, in which the map elements that match the street light poles and traffic signs in the visual information are determined, and then, the location information of the street light poles and the traffic signs and the map positions of the matched map elements in the scene image are used. information to determine the more accurate pose information of the autonomous vehicle or robot.
  • the above-mentioned traffic elements such as light poles and traffic signs are generally sparse in actual traffic scenes, which to a certain extent affects the accuracy and robustness of the positioning results of the target objects in the above positioning process.
  • the present invention provides a target positioning method and device, so as to improve the accuracy and robustness of the positioning result.
  • the specific technical solutions are as follows:
  • an embodiment of the present invention provides a target positioning method, and the method includes:
  • the image position information of the spare ground traffic marker in the road image is determined, wherein the road image is an image collected by an image acquisition device set on the target to be located;
  • the first conversion relationship between the device coordinate system of the image acquisition device and the ground coordinate system corresponding to the target to be located, and the image position information of the standby ground traffic marker determining the top-view projection position information of the standby ground traffic marker in the ground coordinate system, wherein the ground coordinate system is a three-dimensional rectangular coordinate system in which the planes where the horizontal axis and the vertical axis are located are parallel to the ground;
  • the preset ground traffic landmark map includes: ground traffic landmarks on each map and their map pose information.
  • determining the to-be-located location based on the initial pose information, the preset ground traffic landmark map, the internal reference information of the image acquisition device, the first conversion relationship, and the overhead projection position information.
  • the steps of the target pose information of the target include:
  • a local map corresponding to the initial pose information is determined from a preset map of ground traffic signs
  • the map ground traffic landmarks in the local map and their map pose information, the internal reference information of the image acquisition device, the first conversion relationship, and the top-view projection position information determine the Describe the target pose information of the target image to be positioned.
  • the initial pose information is the pose information in the world coordinate system
  • the map pose information of each map ground traffic marker is the pose information in the world coordinate system
  • the step of determining the target pose information of the target image to be positioned includes:
  • the second transformation relationship between the device coordinate system and the coordinate system where the target to be located is located, the device projection model of the image acquisition device, and the ground traffic of each map in the local map
  • the map pose information of the landmark to determine the mapping position information of each map ground traffic landmark in the road image
  • each map ground traffic marker is in the ground coordinate system
  • the target pose information of the to-be-located target is determined by using the top-view mapping position information of each ground traffic marker on the map and the top-view projected position information of the standby ground traffic marker.
  • the use of the internal reference information of the image acquisition device, the first conversion relationship between the device coordinate system of the image acquisition device and the ground coordinate system corresponding to the target to be located, and the backup ground traffic sign includes:
  • the step of obtaining the initial pose information of the target to be positioned includes:
  • the initial pose information of the target to be positioned is determined.
  • the alternate ground traffic markers include: at least one of lane lines, parking spaces, stop lines, zebra crossings, and traffic indicating arrows.
  • an embodiment of the present invention provides a target positioning device, and the device includes:
  • the first determination module is configured to determine, based on a preset object detection model and a road image, the image location information of the spare ground traffic markers in the road image, wherein the road image is an image set by the target to be located The image acquired by the acquisition device;
  • the second determination module is configured to use the internal reference information of the image acquisition device, the first conversion relationship between the device coordinate system of the image acquisition device and the ground coordinate system corresponding to the target to be located, and the backup ground The image position information of the traffic sign, to determine the overhead projection position information of the standby ground traffic sign in the ground coordinate system, wherein the ground coordinate system is a three-dimensional right angle where the plane where the horizontal axis and the vertical axis are located is parallel to the ground Coordinate System;
  • an obtaining module configured to obtain initial pose information of the target to be positioned
  • the third determining module is configured to determine the location based on the initial pose information, the preset ground traffic landmark map, the device projection model of the image acquisition device, the first conversion relationship, and the top-view projection position information.
  • the third determining module includes:
  • a first determining unit configured to determine, based on the initial pose information, a local map corresponding to the initial pose information from a preset map of ground traffic signs;
  • the second determining unit is configured to use the initial pose information, the map ground traffic landmarks in the local map and their map pose information, the internal reference information of the image acquisition device, the first conversion relationship, and all The top-view projection position information is used to determine the target pose information of the to-be-located target image.
  • the initial pose information is the pose information in the world coordinate system
  • the map pose information of each map ground traffic marker is the pose information in the world coordinate system
  • the second determining unit is specifically configured to use the initial pose information, the second conversion relationship between the device coordinate system and the coordinate system where the target to be located is located, and the device projection model of the image acquisition device. and the map pose information of each map ground traffic marker in the local map, to determine the mapping position information of each map ground traffic marker in the road image;
  • each map ground traffic marker is in the ground coordinate system
  • the target pose information of the to-be-located target is determined by using the top-view mapping position information of each ground traffic marker on the map and the top-view projected position information of the standby ground traffic marker.
  • the second determining module is specifically configured to use the internal reference information of the image acquisition device and the image position information of the standby ground traffic marker to determine that the standby ground traffic marker is in the image acquisition state.
  • Device location information in the device coordinate system of the device;
  • the obtaining module is specifically configured to obtain sensor data collected by other sensors set on the target to be positioned;
  • the initial pose information of the target to be positioned is determined.
  • the alternate ground traffic markers include: at least one of lane lines, parking spaces, stop lines, zebra crossings, and traffic indicating arrows.
  • a method and device for locating a target determines the image position information of the spare ground traffic markers in the road image based on a preset object detection model and a road image, wherein the road image is: The image acquired by the image acquisition device set on the target to be located; the internal reference information of the image acquisition device, the first conversion relationship between the device coordinate system of the image acquisition device and the ground coordinate system corresponding to the target to be located, and the alternate ground traffic signs
  • the image position information of the object is used to determine the overhead projection position information of the standby ground traffic sign in the ground coordinate system, wherein the ground coordinate system is a three-dimensional rectangular coordinate system in which the plane where the horizontal axis and the vertical axis are located is parallel to the ground;
  • Initial pose information determine the target pose information of the target to be located based on the initial pose information, the preset ground traffic landmark map, the device projection model of the image acquisition device, the first conversion relationship, and the top-view projection position information, wherein the preset It
  • denser ground traffic markers can be used as the basis for the positioning of the target to be located, the accuracy and robustness of the positioning results can be improved to a certain extent, and the ground coordinates of the spare ground traffic markers can be determined.
  • the overhead projection position information under the system and then use the overhead projection position information and the map ground traffic markers and their map pose information in the preset ground traffic marker map to determine the target pose information of the target to be located.
  • the target pose information of the target to be positioned is the improvement of the accuracy and robustness of the positioning result.
  • More dense ground traffic markers can be used as the basis for the positioning of the target to be located, which can improve the accuracy and robustness of the positioning result to a certain extent, and use the overhead projection position information in the ground coordinate system to determine the target.
  • the pose information can eliminate the problem of near-large and far-small ground traffic signs caused by the imaging mechanism of the image acquisition device, and can eliminate the influence of height information on the matching of ground traffic signs and subsequent pose calculation.
  • the target pose information of the determined target to be positioned that is, the accuracy and robustness of the positioning result can be improved.
  • the top-view mapping position information and the top-view projection position information of the standby ground traffic markers are used for residual optimization to determine the target pose information of the target to be located, so as to eliminate the influence of height information on the matching of ground traffic markers and the calculation of pose information. Improve the accuracy and robustness of the determined target pose information, that is, the positioning result.
  • FIG. 1 is a schematic flowchart of a target positioning method provided by an embodiment of the present invention.
  • FIG. 2 is a schematic structural diagram of a target positioning apparatus provided by an embodiment of the present invention.
  • the present invention provides a target positioning method and device, so as to improve the accuracy and robustness of the positioning result.
  • the embodiments of the present invention will be described in detail below.
  • FIG. 1 is a schematic flowchart of a target positioning method according to an embodiment of the present invention. The method may include the following steps:
  • S101 Based on a preset object detection model and a road image, determine image position information of a backup ground traffic marker in the road image.
  • the road image is: the image acquired by the image acquisition device set on the target to be located.
  • the pending target may be an autonomous vehicle or a robot.
  • the to-be-located target is provided with at least one image acquisition device, which can collect images for the environment where the to-be-located target is located.
  • the target to be positioned is also provided with various other sensors for assisting the positioning of the target to be positioned.
  • the other sensors may include, but are not limited to, wheel speed sensors, IMU (Inertial measurement unit, inertial measurement unit), GPS (Global Positioning System, global positioning system), and GNSS (Global Navigation Satellite System, global satellite navigation system), etc.
  • the target positioning method provided by the embodiment of the present invention can be applied to any electronic device with computing capability, and the electronic device can be a terminal or a server.
  • the functional software for realizing the target positioning method may exist in the form of a separate client software, or may exist in the form of a plug-in of the currently related client software, which is all possible.
  • the target to be positioned is an autonomous vehicle
  • the electronic device may be a vehicle-mounted device, and is set on the target to be positioned.
  • the electronic device can be connected with the vehicle-mounted device in the target to be located to obtain the road image collected by the image acquisition device transmitted by the vehicle-mounted device in the target to be located, and the set of the target to be located.
  • the sensor data collected by other sensors or the initial pose information of the target to be located determined by the in-vehicle device based on the sensor data collected by other sensors.
  • the multiple image acquisition devices can shoot the environment where the target to be located is located in all directions, and obtain multiple road images of the surrounding environment of the target to be located.
  • the road image includes road information of the environment where the target to be located is located.
  • the electronic device can execute the target positioning method provided by the embodiment of the present invention for each road image, so as to obtain a positioning result with high precision.
  • the electronic device After the electronic device obtains the road image, it detects the road image based on the preset object detection model, determines the ground traffic markers in the road image as backup ground traffic markers, and determines the images of the backup ground traffic markers in the road image. location information.
  • the preset object detection model is a neural network model pre-trained based on sample images marked with ground traffic markers, and the training process can refer to the training process of the neural network model in the related art, which will not be repeated here.
  • the ground traffic markers include backup traffic markers and subsequent map traffic markers.
  • the alternate ground traffic signs include at least one of lane lines, parking spaces, stop lines, zebra crossings, and traffic indicating arrows.
  • S102 Using the internal reference information of the image acquisition device, the first conversion relationship between the device coordinate system of the image acquisition device and the ground coordinate system corresponding to the target to be located, and the image position information of the standby ground traffic marker, determine the standby ground traffic marker The top-view projected position information in the ground coordinate system.
  • the ground coordinate system is a three-dimensional rectangular coordinate system in which the planes where the horizontal axis and the vertical axis are located are parallel to the ground.
  • the local or connected storage device of the electronic device pre-stores the internal reference information of the image acquisition device set by the target to be located and the position conversion relationship between the device coordinate system of the image acquisition device and the ground coordinate system corresponding to the target to be located. A conversion relationship.
  • the internal reference information of the image acquisition device may include: the focal length fx in the horizontal axis direction under the image coordinate system of the image acquisition device, and the focal length fy in the vertical axis direction under the image coordinate system of the image acquisition device. Generally, the two are equal. ; The position information of the image principal point in the imaging plane of the image acquisition device, and the coordinate axis inclination parameter s of the image coordinate system.
  • the electronic device can determine the device location information of the standby ground traffic marker in the device coordinate system of the image acquisition device based on the internal reference information of the image acquisition device and the image location information of the standby ground traffic marker;
  • a conversion relationship and equipment position information of the backup ground traffic marker determine the position information of the backup ground traffic marker in the ground coordinate system as the overhead projection position information.
  • the ground coordinate system is a three-dimensional rectangular coordinate system, the horizontal axis and the vertical axis are parallel to the ground, and the vertical axis is perpendicular to the ground.
  • the overhead projection position information of the backup ground traffic marker in the ground coordinate system may not include the coordinate value of the vertical axis, that is, there is no height information, to a certain extent, the height information can be eliminated to match the subsequent backup ground traffic markers.
  • the positioning accuracy is improved.
  • the initial pose information includes: initial position information and attitude information of the target to be positioned in a preset three-dimensional rectangular coordinate system.
  • the preset three-dimensional rectangular coordinate system is a world coordinate system.
  • the electronic device can directly obtain initial pose information of the target to be positioned, wherein the initial pose information is obtained by any combination of sensor data and/or road images collected by other sensors of the target to be positioned.
  • Determined pose information can be: the combination of road image and sensor data collected by IMU to determine initial pose information, the combination of road image and sensor data collected by GNSS to determine initial pose information, the combination of road image and sensor data collected by wheel speed sensors to determine The initial pose information, and the sensor data collected by the wheel speed sensor, the sensor data collected by the IMU, and the sensor data collected by the GNSS are combined to determine the initial pose information, and so on.
  • S104 Determine the target pose information of the target to be positioned based on the initial pose information, the preset ground traffic landmark map, the device projection model of the image acquisition device, the first conversion relationship, and the overhead projection position information.
  • the preset ground traffic marker map includes: ground traffic markers on each map and their map pose information.
  • the ground traffic markers on each map exist in the preset ground traffic marker map in the form of a three-dimensional point cloud.
  • the ground traffic signs on the map include but are not limited to: lane lines, parking spaces, stop lines, zebra crossings, and traffic arrows, etc.
  • the electronic device locally or connected to the storage device pre-stores a preset ground traffic marker map, and after obtaining the initial pose information of the target to be located, in an implementation manner, the electronic device can directly based on the initial pose information, from the preset
  • the ground traffic landmark map determines the local area near the location of the target to be located as a local map.
  • the local map includes map ground traffic markers.
  • the target pose information of the target image to be positioned is determined by using the initial pose information, the map ground traffic landmarks in the local map and their map pose information, the internal reference information of the image acquisition device, the first conversion relationship, and the overhead projection position information. .
  • it may be: matching the map ground traffic markers and the backup ground traffic markers in the local map, and using the map pose information of the matched map ground traffic markers and the overhead projection position information of the backup ground traffic markers, initial The pose information, the internal reference information of the image acquisition device, and the first conversion relationship determine the target pose information of the target image to be positioned.
  • the initial pose information is the pose information under the world coordinate system
  • the map pose information of each map ground traffic marker is the pose information under the world coordinate system
  • the target position of the target image to be positioned is determined by using the initial pose information, the map ground traffic landmarks in the local map and their map pose information, the internal reference information of the image acquisition device, the first conversion relationship, and the overhead projection position information.
  • the steps of posture information may include the following steps 011-013:
  • 011 Using the initial pose information, the second conversion relationship between the device coordinate system and the coordinate system where the target to be located, the device projection model of the image acquisition device, and the map pose information of each map ground traffic marker in the local map, The mapped location information of each map ground traffic marker in the road image is determined.
  • 012 Based on the mapping position information of each map ground traffic marker in the road image, the internal reference information of the image acquisition device, and the first conversion relationship, determine the overhead mapping position information of each map ground traffic marker in the ground coordinate system.
  • 013 Determine the target pose information of the target to be located by using the top-view mapping position information of each ground traffic marker on the map and the top-view projected position information of the standby ground traffic marker.
  • the electronic device can use the initial pose information, the second conversion relationship between the device coordinate system and the coordinate system where the target to be located is located, the device projection model of the image acquisition device, and the ground traffic markers on each map in the local map
  • the map pose information of each map in the local map is converted from the coordinate system of the target to be located in the lower limit conversion of the world coordinate system, and then converted to the device coordinate system of the image acquisition device, and then converted to the location where the road image is located.
  • the mapping position information of each map ground traffic marker in the road image is determined.
  • each map ground traffic marker is converted from the image coordinate system to the image acquisition device.
  • the equipment coordinate system and then convert to the ground coordinate system, determine the top-view mapping position information of each map ground traffic marker in the ground coordinate system, so as to eliminate the height information of the map ground traffic marker.
  • an objective function is constructed by using the top-view mapping position information of each map ground traffic marker and the top-view projection position information of the alternate ground traffic markers that match each other; based on the function value of the objective function, the initial pose information is adjusted until the target When the function value of the function reaches the preset convergence condition, the adjusted initial pose information in this case is determined, that is, the target pose information of the target to be positioned.
  • the preset convergence condition may be: the sum of the position residuals between the matched ground traffic markers on the map and the alternate ground traffic markers is not higher than a preset residual threshold.
  • the ground coordinate system coincides with the coordinate system where the target to be located is located. In another case, the ground coordinate system after translation coincides with the coordinate system where the target to be located is located.
  • the following formula (1) can be used to determine the mapping location information of the ground traffic markers on the map in the road image:
  • T wb represents the position conversion relationship between the coordinate system where the target to be located and the world coordinate system, that is, the initial pose information
  • T bc represents the equipment The position conversion relationship between the coordinate system and the coordinate system where the target to be positioned is located, that is, the second conversion relationship
  • ⁇ ( ) represents to determine the mapping position information of the map ground traffic marker in the road image, that is, using the initial pose information, the second conversion relationship and the image acquisition device
  • the equipment projection model of maps the ground traffic markers from the world coordinate system to the image coordinate system where the road image is located
  • ⁇ ( ) represents the top-view mapping position information of the ground traffic markers on the map under the ground coordinate system, that is, using The internal reference information of the image acquisition device and the first conversion relationship project the ground traffic markers from the image coordinate system to the ground coordinate system; where, the value range of i is [
  • I( ) represents the energy value function of each traffic marker, wherein, the closer the point in the traffic marker is to the center of the traffic marker, the greater the energy value of the point determined by the energy value function.
  • the energy value function may be a Gaussian blur function.
  • the traffic landmarks include alternate traffic landmarks and map ground traffic landmarks in the local image.
  • f(T wb ) represents an objective function, and when the function value of f(T wb ) reaches a preset convergence condition, the adjusted initial pose information at this time is determined as the target pose information.
  • denser ground traffic markers can be used as the basis for the positioning of the target to be located, the accuracy and robustness of the positioning results can be improved to a certain extent, and the overhead projection in the ground coordinate system can be used.
  • the position information determines the target pose information, to a certain extent, it can eliminate the problem of near large and far small among ground traffic signs caused by the imaging mechanism of the image acquisition device, and can eliminate the matching of height information to ground traffic signs and the subsequent pose
  • the influence of calculation can achieve the target pose information of the determined target to be positioned, that is, the accuracy and robustness of the positioning result to a certain extent.
  • the S102 may include the following steps 021-022:
  • 023 Determine the overhead projection position information of the standby ground traffic marker in the ground coordinate system by using the device location information of the standby ground traffic marker and the first conversion relationship between the device coordinate system and the ground coordinate system corresponding to the target to be located.
  • the electronic device can convert each standby ground traffic marker from the image coordinate system of the road image to the device coordinates of the image acquisition device based on the internal reference information of the image acquisition device and the image position information of the standby ground traffic marker. Under the system, that is, to determine the equipment location information of the standby ground traffic marker under the equipment coordinate system. Further, based on the equipment location information of the standby ground traffic marker and the first conversion relationship between the equipment coordinate system and the ground coordinate system corresponding to the target to be located, the standby ground traffic marker is converted from the equipment coordinate system to the ground coordinate system, Determine the overhead projection position information of the alternate ground traffic sign in the ground coordinate system.
  • the height information of the standby ground traffic markers at the undetermined locations is the vertical axis coordinate in the device coordinate system.
  • the determined top-down projection position information of the standby ground traffic marker in the ground coordinate system does not include the height information of the standby ground traffic marker, that is, the vertical axis coordinate system under the ground coordinate system. To a certain extent, it can be The influence of height information on the matching between traffic landmarks and the determination of target pose information is eliminated. And it can solve the problem of near large and far small in ground traffic signs caused by the imaging mechanism of the image acquisition device, and ensure the accurate determination of the target pose information.
  • the S103 may include the following steps 031-032:
  • the electronic device can directly obtain sensor data collected by other sensors set on the target to be positioned.
  • the sensor data collected by the other sensors and the data corresponding to the road image are collected in the same collection period as the road image. The data.
  • any combination of sensor data collected by other sensors or a combination with road images is used to determine the initial pose information of the target to be located.
  • the process of determining the initial pose information may refer to the process of determining the initial pose information of the target in the related art, which will not be repeated here.
  • Other sensors may include, but are not limited to, wheel speed sensors, IMU, GPS, and GNSS, among others.
  • an embodiment of the present invention provides a target positioning apparatus.
  • the apparatus may include:
  • the first determination module 210 is configured to determine, based on a preset object detection model and a road image, the image position information of the spare ground traffic markers in the road image, wherein the road image is: The image acquired by the image acquisition device;
  • the second determination module 220 is configured to use the internal reference information of the image acquisition device, the first conversion relationship between the device coordinate system of the image acquisition device and the ground coordinate system corresponding to the target to be located, and the backup The image position information of the ground traffic marker, to determine the top-view projection position information of the standby ground traffic marker in the ground coordinate system, wherein the ground coordinate system is a three-dimensional plane where the horizontal axis and the vertical axis are parallel to the ground. Cartesian coordinate system;
  • Obtaining module 230 configured to obtain initial pose information of the target to be positioned
  • the third determination module 240 is configured to determine based on the initial pose information, the preset ground traffic landmark map, the device projection model of the image acquisition device, the first conversion relationship, and the top-view projection position information
  • denser ground traffic markers can be used as the basis for the positioning of the target to be located, the accuracy and robustness of the positioning results can be improved to a certain extent, and the overhead projection in the ground coordinate system can be used.
  • the position information determines the target pose information, to a certain extent, it can eliminate the problem of near large and far small among ground traffic signs caused by the imaging mechanism of the image acquisition device, and can eliminate the matching of height information to ground traffic signs and the subsequent pose
  • the influence of calculation can achieve the target pose information of the determined target to be positioned, that is, the accuracy and robustness of the positioning result to a certain extent.
  • the third determining module 240 includes:
  • a first determining unit (not shown in the figure), configured to determine, based on the initial pose information, a local map corresponding to the initial pose information from a preset map of ground traffic signs;
  • the second determination unit (not shown in the figure) is configured to use the initial pose information, the map ground traffic landmarks in the local map and their map pose information, the internal reference information of the image acquisition device, all the The first conversion relationship and the top-view projection position information are used to determine the target pose information of the to-be-located target image.
  • the initial pose information is the pose information in the world coordinate system
  • the map pose information of each map ground traffic marker is the pose information in the world coordinate system information
  • the second determining unit is specifically configured to use the initial pose information, the second conversion relationship between the device coordinate system and the coordinate system where the target to be located is located, and the device projection model of the image acquisition device. and the map pose information of each map ground traffic marker in the local map, to determine the mapping position information of each map ground traffic marker in the road image;
  • each map ground traffic marker is in the ground coordinate system
  • the target pose information of the to-be-located target is determined by using the top-view mapping position information of each ground traffic marker on the map and the top-view projected position information of the standby ground traffic marker.
  • the second determining module 220 is specifically configured to use the internal reference information of the image acquisition device and the image position information of the standby ground traffic markers to determine the standby ground traffic Device location information of the marker in the device coordinate system of the image acquisition device;
  • the obtaining module 230 is specifically configured to obtain sensor data collected by other sensors set on the target to be located;
  • the initial pose information of the target to be positioned is determined.
  • the alternate ground traffic signs include at least one of lane lines, parking spaces, stop lines, zebra crossings, and traffic indicating arrows.
  • the modules in the apparatus in the embodiment may be distributed in the apparatus in the embodiment according to the description of the embodiment, and may also be located in one or more apparatuses different from this embodiment with corresponding changes.
  • the modules in the foregoing embodiments may be combined into one module, or may be further split into multiple sub-modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明实施例公开一种目标定位方法及装置，该方法包括：基于预设对象检测模型及道路图像，确定道路图像中的备用地面交通标志物的图像位置信息，其中，道路图像为：待定位目标所设置的图像采集设备采集所得的图像；利用图像采集设备的内参信息、图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息；获得待定位目标的初始位姿信息；基于初始位姿信息、预设地面交通标志物地图、图像采集设备的设备投影模型、第一转换关系以及俯视投影位置信息，确定待定位目标的目标位姿信息，以实现对定位结果的精度以及鲁棒性的提高。

Description

一种目标定位方法及装置 技术领域
本发明涉及定位技术领域，具体而言，涉及一种目标定位方法及装置。
背景技术
目前，目标对象如自动驾驶车辆和机器人的自主定位方案中，一般是：基于目标对象所设置的图像采集设备采集的视觉信息进行定位。在上述基于视觉信息进行定位的过程中，一般是：利用视觉信息中的路灯杆和交通牌这些元素的位置信息、通过目标对象通过里程计确定的初始位姿信息，从预设包含该类交通元素的地图位置信息的场景地图，中确定与视觉信息中的路灯杆和交通牌匹配的地图元素，进而，利用路灯杆和交通牌的位置信息及其匹配的地图元素在场景图像中的地图位置信息，确定自动驾驶车辆或者机器人的较准确的位姿信息。
然而，上述路灯杆和交通牌这类交通元素在实际交通场景中一般较为稀疏，这在一定程度上对上述定位过程中目标对象的定位结果的精度和鲁棒性存在影响。
发明内容
本发明提供了一种目标定位方法及装置，以实现对定位结果的精度以及鲁棒性的提高。具体的技术方案如下：
第一方面，本发明实施例提供了一种目标定位方法，所述方法包括：
基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得所述待定位目标的初始位姿信息；
基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿 信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
可选的，所述基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息的步骤，包括：
基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
可选的，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息的步骤，包括：
利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
可选的，所述利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息的步骤，包括：
利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
可选的，所述获得所述待定位目标的初始位姿信息的步骤，包括：
获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
可选的，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
第二方面，本发明实施例提供了一种目标定位装置，所述装置包括：
第一确定模块，被配置为基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
第二确定模块，被配置为利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得模块，被配置为获得所述待定位目标的初始位姿信息；
第三确定模块，被配置为基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
可选的，所述第三确定模块，包括：
第一确定单元，被配置为基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
第二确定单元，被配置为利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
可选的，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述第二确定单元，被具体配置为利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设 备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
可选的，所述第二确定模块，被具体配置为利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
可选的，所述获得模块，被具体配置为获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
可选的，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
由上述内容可知，本发明实施例提供的一种目标定位方法及装置，基于预设对象检测模型及道路图像，确定道路图像中的备用地面交通标志物的图像位置信息，其中，道路图像为：待定位目标所设置的图像采集设备采集所得的图像；利用图像采集设备的内参信息、图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息，其中，地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；获得待定位目标的初始位姿信息；基于初始位姿信息、预设地面交通标志物地图、图像采集设备的设备投影模型、第一转换关系以及俯视投影位置信息，确定待定位目标的目标位姿信息，其中，预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
应用本发明实施例，可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且确定备用地面交通标志物在地面坐标系下的俯视投影位置信息，进而利用该俯视投影位置信息以及预设地面交通标志物地图中各地图地面交通标志物及其地图位姿信息，确定待定位目标的目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提 高。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且利用在地面坐标系中的俯视投影位置信息确定目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提高。
2、将地图地面交通标志物从地图对应的坐标系转换至图像坐标系，进而从图像坐标系转到地面坐标系，得到地图地面交通标志物的俯视映射位置信息，进而利用地图地面交通标志物的俯视映射位置信息和备用地面交通标志物的俯视投影位置信息进行残差优化，确定待定位目标的目标位姿信息，以消除高度信息对地面交通标志物的匹配以及位姿信息计算的影响，提高所确定目标位姿信息即定位结果的精度以及鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标定位方法的一种流程示意图；
图2为本发明实施例提供的目标定位装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种目标定位方法及装置，以实现对定位结果的精度以及鲁棒性的提高。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的目标定位方法的一种流程示意图。该方法可以包括如下步骤：
S101：基于预设对象检测模型及道路图像，确定道路图像中的备用地面交通标志物的图像位置信息。
其中，道路图像为：待定位目标所设置的图像采集设备采集所得的图像。该待定为目标可以为自动驾驶车辆也可以为机器人。该待定位目标设置有至少一个图像采集设备，可以针对待定位目标所处环境采集图像。该待定位目标还设置有各类其他传感器，用于辅助待定位目标的定位。该其他传感器可以包括但不限于：轮速传感器、IMU(Inertial measurement unit，测量惯性单元)、GPS(Global Positioning System，全球定位系统)以及GNSS(Global Navigation Satellite System，全球卫星导航系统)等。
本发明实施例所提供的目标定位方法，可以应用于任一具有计算能力的电子设备，该电子设备可以为终端或者服务器。在一种实现中，实现该目标定位方法的功能软件可以以单独的客户端软件的形式存在，也可以以目前相关的客户端软件的插件的形式存在，这都是可以的。
在一种实现中，待定位目标为自动驾驶车辆，相应的，该电子设备可以为车载设备，设置于该待定位目标上，电子设备可以直接获得待定位目标所设置的图像采集设备所采集的道路图像以及所设置的其他传感器所采集的传感器数据。也可以为非车载设备，相应的，该电子设备可以与待定位目标中的车载设备连接，得到待定位目标中的车载设备所传送的图像采集设备采集的道路图像，以及待定位目标所设置的其他传感器所采集的传感器数据或者车载设备基于其他传感器所采集的传感器数据确定的待定位目标的初始位姿信息。
在一种情况中，待定位目标所设置的图像采集设备为多个，该多个图像采集设备可以对待定位目标所处环境进行全方位拍摄，得到待定位目标四周环境的多个道路图像，该道路图像中包括待定位目标所处环境的道路信息。相应的，电子设备可以针对每一道路图像执行本发明实施例所提供的目标定位方法，以得到精度高的定位结果。
电子设备获得道路图像之后，基于预设对象检测模型对道路图像进行检测，确定道路图像中的地面交通标志物，作为备用地面交通标志物，并确定各备用地面交通标志物在道路图像中的图像位置信息。
该预设对象检测模型为预先基于标注有地面交通标志物的样本图像训练得到的神经网络模型，其训练过程可以参见相关技术中神经网络模型的训练过程，在此不再赘述。其中，该地面交通标志物包括备用交通标志物以及后续的地图交通标志物。
在本发明的一种实现方式中，备用地面交通标志物包括：车道线、停车位、停止线、 斑马线以及交通指示箭头中的至少一个。
S102：利用图像采集设备的内参信息、图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息。
其中，地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系。
电子设备本地或所连接的存储设备预先存储其待定位目标所设置的图像采集设备的内参信息以及图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的位置转换关系，即第一转换关系。
其中，图像采集设备的内参信息可以包括：图像采集设备的图像坐标系下横轴方向上的焦距fx，图像采集设备的图像坐标系下纵轴方向上的焦距fy，一般情况下，二者相等；图像采集设备的成像平面中像主点的位置信息，图像坐标系的坐标轴倾斜参数s。
本步骤中，电子设备可以基于图像采集设备的内参信息以及备用地面交通标志物的图像位置信息，确定出备用地面交通标志物在图像采集设备的设备坐标系中的设备位置信息；进而，利用第一转换关系以及备用地面交通标志物的设备位置信息，确定出备用地面交通标志物在地面坐标系下的位置信息，作为俯视投影位置信息。该地面坐标系为三维直角坐标系，其横轴与纵轴所在平面与地面平行，竖轴垂直于地面向上。
其中，备用地面交通标志物在地面坐标系下的俯视投影位置信息中，可以不包含竖轴的坐标值，即无高度信息，在一定程度上可以消除高度信息对后续的备用地面交通标志物匹配以及确定待定位目标的目标位姿信息及定位结果的影响，提高定位准确度。
S103：获得待定位目标的初始位姿信息。
其中，初始位姿信息包括：待定位目标初始的在预设三维直角坐标系下的位置信息和姿态信息。一种情况中，该预设三维直角坐标系为世界坐标系。
在一种实现方式中，电子设备可以直接获得待定位目标的初始位姿信息，其中，该初始位姿信息为基于待定位目标的其他传感器所采集的传感器数据和/或道路图像进行任意组合所确定的位姿信息。例如：可以是：道路图像与IMU所采集的传感器数据组合确定初始位姿信息，道路图像与GNSS所采集的传感器数据组合确定初始位姿信息，道路图像与轮速传感器所采集的传感器数据组合确定初始位姿信息，以及轮速传感器所采集的传感器数据与IMU所采集的传感器数据与GNSS所采集的传感器数据组合确定初始位姿信息等等。
S104：基于初始位姿信息、预设地面交通标志物地图、图像采集设备的设备投影模型、第一转换关系以及俯视投影位置信息，确定待定位目标的目标位姿信息。
其中，预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。 该各地图地面交通标志物以三维点云的形式存在于预设地面交通标志物地图中。地图地面交通标志物包括但不限于：车道线、停车位、停止线、斑马线以及交通指示箭头等。
电子设备本地或所连接的存储设备预先存储有预设地面交通标志物地图，获得待定位目标的初始位姿信息之后，一种实现方式中，电子设备可以直接基于初始位姿信息，从预设地面交通标志物地图，确定出待定位目标所在位置附件的局部区域，作为局部地图。其中，该局部地图中包括地图地面交通标志物。进而，利用初始位姿信息、局部地图中地图地面交通标志物及其地图位姿信息、图像采集设备的内参信息、第一转换关系以及俯视投影位置信息，确定待定位目标图像的目标位姿信息。具体的，可以是：匹配局部地图中地图地面交通标志物与备用地面交通标志物，并利用相互匹配的地图地面交通标志物的地图位姿信息与备用地面交通标志物的俯视投影位置信息、初始位姿信息、图像采集设备的内参信息以及第一转换关系，确定待定位目标图像的目标位姿信息。
在本发明的另一实施例中，该初始位姿信息为在世界坐标系下的位姿信息，各地图地面交通标志物的地图位姿信息为世界坐标系下的位姿信息；
所述利用初始位姿信息、局部地图中地图地面交通标志物及其地图位姿信息、图像采集设备的内参信息、所述第一转换关系以及俯视投影位置信息，确定待定位目标图像的目标位姿信息的步骤，可以包括如下步骤011-013：
011：利用初始位姿信息、设备坐标系与待定位目标所在坐标系之间的第二转换关系、图像采集设备的设备投影模型以及局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在道路图像中的映射位置信息。
012：基于每一地图地面交通标志物在道路图像中的映射位置信息、图像采集设备的内参信息以及第一转换关系，确定每一地图地面交通标志物在地面坐标系下的俯视映射位置信息。
013：利用每一地图地面交通标志物的俯视映射位置信息以及备用地面交通标志物的俯视投影位置信息，确定待定位目标的目标位姿信息。
本实现方式中，电子设备可以利用初始位姿信息、设备坐标系与待定位目标所在坐标系之间的第二转换关系、图像采集设备的设备投影模型以及局部地图中每一地图地面交通标志物的地图位姿信息，将局部地图中每一地图地面交通标志物，从世界坐标系下限转换中待定位目标所在坐标系，进而转换至图像采集设备的设备坐标系，再转换至道路图像所在的图像坐标系下，确定每一地图地面交通标志物在道路图像中的映射位置信息。
后续的，利用每一地图地面交通标志物在道路图像中的映射位置信息、图像采集设备的内参信息以及第一转换关系，将每一地图地面交通标志物从图像坐标系下转换至图 像采集设备的设备坐标系下，再转换至地面坐标系下，确定每一地图地面交通标志物在地面坐标系下的俯视映射位置信息，以消除地图地面交通标志物的高度信息。
进而，利用相互匹配的每一地图地面交通标志物的俯视映射位置信息以及备用地面交通标志物的俯视投影位置信息，构建目标函数；基于该目标函数的函数值调整初始位姿信息，直至该目标函数的函数值达到预设收敛条件，确定在该情况下的调整后的初始位姿信息，即待定位目标的目标位姿信息。其中，该预设收敛条件可以为：各相互匹配的地图地面交通标志物和备用地面交通标志物之间的位置残差的和不高于预设残差阈值。
在一种情况中，该地面坐标系与待定位目标所在坐标系重合。另一种情况中，平移后的该地面坐标系与待定位目标所在坐标系重合。
其中，在地面坐标系与待定位目标所在坐标系重合的情况下，可以通过如下公式(1)，确定地图地面交通标志物在道路图像中的映射位置信息：
Figure PCTCN2021109530-appb-000001
其中，
Figure PCTCN2021109530-appb-000002
表示第i个地图地面交通标志物在地面坐标系下的俯视映射位置信息，T wb表示待定位目标所在坐标系与世界坐标系之间的位置转换关系，即初始位姿信息；T bc表示设备坐标系与待定位目标所在坐标系之间的位置转换关系，即第二转换关系；
Figure PCTCN2021109530-appb-000003
表示第i个地图地面交通标志物的地图位姿信息；Π(·)表示确定地图地面交通标志物在道路图像中的映射位置信息，即利用初始位姿信息、第二转换关系以及图像采集设备的设备投影模型，将地面交通标志物从世界坐标系下映射至道路图像所在的图像坐标系下；Ω(·)表示确定地图地面交通标志物在地面坐标系下的俯视映射位置信息，即利用图像采集设备的内参信息以及第一转换关系，将地面交通标志物从图像坐标系下投影至地面坐标系下；其中，i的取值范围为[1，N]，N表示地图地面交通标志物的个数。
上述确定待定位目标的目标位姿信息的过程可以通过如下公式(2)表示：
Figure PCTCN2021109530-appb-000004
其中，I(·)表示每个交通标志物的能量值函数，其中，交通标志物中的点越靠近该交通标志物的中心位置，利用该能量值函数所确定的该点的能量值越大。该能量值函数可以为高斯模糊函数。
Figure PCTCN2021109530-appb-000005
表示与第i个地图地面交通标志物匹配的备用地面交通标志物的俯视投影位置信息。该交通标志物包括备用交通标志物和局部图像中地图地面交通标志物。f(T wb)表示目标函数，在该f(T wb)的函数值达到预设收敛条件的情况下，确定此时的调整后的初始位姿信息，作为目标位姿信息。
应用本发明实施例，可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且利用在地面坐标系中的俯 视投影位置信息确定目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提高。
在本发明的另一实施例中，所述S102，可以包括如下步骤021-022：
021：利用图像采集设备的内参信息以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在图像采集设备的设备坐标系下的设备位置信息。
023：利用备用地面交通标志物的设备位置信息以及设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息。
本实现方式中，电子设备可以基于图像采集设备的内参信息以及备用地面交通标志物的图像位置信息，将各备用地面交通标志物从道路图像的图像坐标系下，转换至图像采集设备的设备坐标系下，即确定备用地面交通标志物在设备坐标系下的设备位置信息。进而，基于备用地面交通标志物的设备位置信息以及设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系，将备用地面交通标志物从设备坐标系下转换至地面坐标系，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息。
其中，利用图像采集设备的内参信息，将各备用地面交通标志物从道路图像的图像坐标系下的过程中，未确定处各备用地面交通标志物的高度信息即设备坐标系下的竖轴坐标系，后续的，所确定的备用地面交通标志物在地面坐标系下的俯视投影位置信息中不包括备用地面交通标志物的高度信息即地面坐标系下的竖轴坐标系，在一定程度上可以消除高度信息对交通标志物之间的匹配以及目标位姿信息的确定的影响。且可以解决图像采集设备的成像机制导致的地面交通标志物中近大远小的问题，保证目标位姿信息的准确确定。
在本发明的另一实施例中，所述S103，可以包括如下步骤031-032：
031：获得待定位目标所设置的各其他传感器所采集的传感器数据。
032：基于各其他传感器所采集的传感器数据，确定待定位目标的初始位姿信息。
本实现方式中，电子设备可以直接获得待定位目标所设置的各其他传感器所采集的传感器数据，该各其他传感器所采集的传感器数据与道路图像对应的数据，为与道路图像在同一采集周期采集的数据。
进而，利用各其他传感器所采集的传感器数据中的任一组合或者与道路图像的组合，确定待定位目标的初始位姿信息。该确定初始位姿信息的过程可以参将相关技术中确定目标的初始位姿信息的过程，在此不做赘述。
其他传感器可以包括但不限于：轮速传感器、IMU、GPS以及GNSS等。
相应于上述方法实施例，本发明实施例提供了一种目标定位装置，如图2所示，所述装置可以包括：
第一确定模块210，被配置为基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
第二确定模块220，被配置为利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得模块230，被配置为获得所述待定位目标的初始位姿信息；
第三确定模块240，被配置为基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息
应用本发明实施例，可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且利用在地面坐标系中的俯视投影位置信息确定目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提高。
在本发明的另一实施例中，所述第三确定模块240，包括：
第一确定单元(图中未示出)，被配置为基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
第二确定单元(图中未示出)，被配置为利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
在本发明的另一实施例中，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述第二确定单元，被具体配置为利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所 述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
在本发明的另一实施例中，所述第二确定模块220，被具体配置为利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
在本发明的另一实施例中，所述获得模块230，被具体配置为获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
在本发明的另一实施例中，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
上述系统、装置实施例与系统实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

  1. 一种目标定位方法，其特征在于，所述方法包括：
    基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
    利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
    获得所述待定位目标的初始位姿信息；
    基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
  2. 如权利要求1所述的方法，其特征在于，所述基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息的步骤，包括：
    基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
    利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
  3. 如权利要求2所述的方法，其特征在于，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
    所述利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息的步骤，包括：
    利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
    基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
    利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
  4. 如权利要求1所述的方法，其特征在于，所述利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息的步骤，包括：
    利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
    利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
  5. 如权利要求1所述的方法，其特征在于，所述获得所述待定位目标的初始位姿信息的步骤，包括：
    获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
    基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
  6. 如权利要求1-5任一项所述的方法，其特征在于，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
  7. 一种目标定位装置，其特征在于，所述装置包括：
    第一确定模块，被配置为基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
    第二确定模块，被配置为利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
    获得模块，被配置为获得所述待定位目标的初始位姿信息；
    第三确定模块，被配置为基于所述初始位姿信息、预设地面交通标志物地图、所述 图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
  8. 如权利要求7所述的装置，其特征在于，所述第三确定模块，包括：
    第一确定单元，被配置为基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
    第二确定单元，被配置为利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
  9. 如权利要求7所述的装置，其特征在于，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
    所述第二确定单元，被具体配置为利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
    基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
    利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
  10. 如权利要求7-9任一项所述的装置，其特征在于，所述第二确定模块，被具体配置为利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
    利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
PCT/CN2021/109530 2020-12-02 2021-07-30 一种目标定位方法及装置 WO2022116572A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011389764.6A CN114581509A (zh) 2020-12-02 2020-12-02 一种目标定位方法及装置
CN202011389764.6 2020-12-02

Publications (1)

Publication Number Publication Date
WO2022116572A1 true WO2022116572A1 (zh) 2022-06-09

Family

ID=81766946

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/109530 WO2022116572A1 (zh) 2020-12-02 2021-07-30 一种目标定位方法及装置

Country Status (2)

Country Link
CN (1) CN114581509A (zh)
WO (1) WO2022116572A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635721A (zh) * 2022-08-16 2024-03-01 华为云计算技术有限公司 目标定位方法及相关系统、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位系统和自动驾驶车辆
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端
US20200174474A1 (en) * 2018-11-30 2020-06-04 Zuragon Sweden AB Method and system for context and content aware sensor in a vehicle
CN111316284A (zh) * 2019-02-13 2020-06-19 深圳市大疆创新科技有限公司 车道线检测方法、装置、系统与车辆、存储介质
CN112017236A (zh) * 2020-07-13 2020-12-01 魔门塔(苏州)科技有限公司 一种基于单目相机计算目标物位置的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位系统和自动驾驶车辆
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
US20200174474A1 (en) * 2018-11-30 2020-06-04 Zuragon Sweden AB Method and system for context and content aware sensor in a vehicle
CN111316284A (zh) * 2019-02-13 2020-06-19 深圳市大疆创新科技有限公司 车道线检测方法、装置、系统与车辆、存储介质
CN112017236A (zh) * 2020-07-13 2020-12-01 魔门塔(苏州)科技有限公司 一种基于单目相机计算目标物位置的方法及装置

Also Published As

Publication number Publication date
CN114581509A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN107328410B (zh) 用于定位自动驾驶车辆的方法和汽车电脑
CN107063275B (zh) 基于路侧设备的智能车辆地图融合系统及方法
WO2020098316A1 (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN109084782B (zh) 基于摄像头传感器的车道线地图构建方法以及构建系统
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
JP2009053059A (ja) 対象特定装置、対象特定方法および対象特定プログラム
US20200364883A1 (en) Localization of a mobile unit by means of a multi-hypothesis kalman filter method
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
CN110751693B (zh) 用于相机标定的方法、装置、设备和存储介质
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN113252051A (zh) 一种地图构建方法及装置
JP2022542082A (ja) ポーズ特定方法、ポーズ特定装置、コンピュータ可読記憶媒体、コンピュータ機器及びコンピュータプログラム
CN113252022A (zh) 一种地图数据处理方法及装置
CN112446915B (zh) 一种基于图像组的建图方法及装置
CN115564865A (zh) 一种众包高精地图的构建方法、系统、电子设备及车辆
CN114565674B (zh) 自动驾驶车辆城市结构化场景纯视觉定位方法及装置
WO2022116572A1 (zh) 一种目标定位方法及装置
CN113137973A (zh) 一种图像语义特征点真值确定方法及装置
CN116202538B (zh) 地图匹配融合方法、装置、设备及存储介质
CN110135387B (zh) 一种基于传感器融合的图像快速识别方法
US11976939B2 (en) High-definition maps and localization for road vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21899611

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21899611

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21899611

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21.11.2023)