WO2021056841A1 - 定位方法、路径确定方法、装置、机器人及存储介质 - Google Patents

定位方法、路径确定方法、装置、机器人及存储介质 Download PDF

Info

Publication number
WO2021056841A1
WO2021056841A1 PCT/CN2019/124412 CN2019124412W WO2021056841A1 WO 2021056841 A1 WO2021056841 A1 WO 2021056841A1 CN 2019124412 W CN2019124412 W CN 2019124412W WO 2021056841 A1 WO2021056841 A1 WO 2021056841A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
information
positioning
road
route
Prior art date
Application number
PCT/CN2019/124412
Other languages
English (en)
French (fr)
Inventor
刘春晓
梁煜
石建萍
梁浩賢
林晓慧
Original Assignee
上海商汤智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海商汤智能科技有限公司 filed Critical 上海商汤智能科技有限公司
Priority to JP2021519865A priority Critical patent/JP2022504728A/ja
Priority to SG11202103843YA priority patent/SG11202103843YA/en
Publication of WO2021056841A1 publication Critical patent/WO2021056841A1/zh
Priority to US17/227,915 priority patent/US20210229280A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • This application relates to the field of robotics, in particular to positioning methods, path determination methods, devices, robots, and storage media.
  • unmanned control robots such as unmanned vehicles
  • unmanned vehicles In order for an unmanned robot to move on the road, it first needs to be able to accurately locate the position of the robot itself so that the next path of action can be determined based on the positioning.
  • the commonly used positioning methods are: positioning through positioning components such as single-line lidar and global positioning system (global positioning system, GPS).
  • the embodiments of the present application provide a positioning method, a path determination method, a device, a robot, and a storage medium.
  • the first aspect provides a positioning method, including:
  • the positioning of the robot is obtained by fusing the positioning of the positioning component and the positioning of the image collected by the camera. Combining the positioning of the positioning component and the positioning of the sensing result, the positioning of the positioning component can be corrected, which can improve positioning accuracy.
  • the positioning component includes a lidar
  • the determining the first position information of the robot by the positioning component includes:
  • the influence of illumination changes, occlusion, etc. on positioning can be reduced, thereby improving positioning accuracy.
  • the determining the second position information of the robot according to the image includes:
  • the second position information of the robot is determined according to the landmark object and the relative position.
  • the influence of inaccurate positioning through the map can be reduced, and the positioning accuracy can be improved.
  • the determining the relative position between the robot and the landmark object in the image includes:
  • the relative position between the robot and the landmark object is determined.
  • the determining the second position information of the robot according to the landmark object and the relative position includes:
  • the second position information of the robot is determined according to the first position information, the map, the landmark object, and the relative position.
  • the second position information of the robot can be determined by the relative position of the landmark object to the robot and the first position information obtained by the positioning component, which can improve the positioning accuracy of the robot.
  • the determining the second position information of the robot according to the first position information, the map, the landmark object, and the relative position includes:
  • the longitudinal information is the position information of the initial position information in the direction of the road edge
  • the horizontal information is the position information of the initial position information in the direction perpendicular to the road edge.
  • Correcting the position of the robot through the relative position of the landmark object and the robot and the road information recognized by the image can improve the positioning accuracy of the robot.
  • the fusing the first position information and the second position information to obtain the positioning information of the robot includes:
  • the fusion positioning information is the positioning information of the robot.
  • the confidence level can determine the credibility of the fusion positioning information obtained through fusion.
  • the confidence level is greater than the threshold, it indicates that the credibility of the fusion positioning information is high, and the fusion positioning information can be determined as the positioning information of the robot. Can improve positioning accuracy.
  • the method further includes:
  • the travel path of the robot is determined according to the first route and the second route.
  • the route determined by the map and the route determined by the image collected by the camera are combined to obtain the driving path of the robot. Combining the route determined by the map and the route determined by the sensing result can improve the determination accuracy of the driving path .
  • the determining the first route of the robot according to the image includes:
  • the curve smoothing process is performed on the center line to obtain the first route of the robot.
  • the first route of the robot is determined by recognizing the edge of the road in the image, which can reduce the influence of inaccurate route determination through the map, thereby improving the accuracy of determining the driving route.
  • the determining the second route of the robot according to the map and the positioning information of the robot includes:
  • Determining the second route of the robot through the map can reduce the influence of changes in illumination, occlusion, etc. on the determination of the route, thereby improving the accuracy of determining the driving route.
  • the determining the first route of the robot according to the image includes:
  • a turning curve is calculated to obtain the first route of the robot.
  • the route of the robot in the turning direction can be determined, which can reduce the influence of occlusion and other factors on the determination of the route, thereby improving the accuracy of determining the driving route.
  • the determining the second route of the robot according to the map and the positioning information of the robot includes:
  • the positioning information of the robot corresponding to the center line of the turning road is queried from the map, and the second route of the robot is obtained.
  • the time to determine the route can be reduced, so that the speed of determining the driving route can be improved.
  • the determining the travel path of the robot according to the first route and the second route includes:
  • the first route and the second route are aligned to obtain the travel path of the robot.
  • the route of the robot can be optimized, so that the accuracy of determining the driving path can be improved.
  • the method further includes:
  • the second aspect provides a path determination method, including:
  • the travel path of the robot is determined according to the first route and the second route.
  • the route determined by the map and the route determined by the image collected by the camera are combined to obtain the driving path of the robot. Combining the route determined by the map and the route determined by the sensing result can improve the determination accuracy of the driving path .
  • the determining the first route of the robot according to the image includes:
  • the curve smoothing process is performed on the center line to obtain the first route of the robot.
  • the first route of the robot is determined by recognizing the edge of the road in the image, which can reduce the influence of inaccurate route determination through the map, thereby improving the accuracy of determining the driving route.
  • the determining the second route of the robot according to the map and the positioning information of the robot includes:
  • Determining the second route of the robot through the map can reduce the influence of changes in illumination, occlusion, etc. on the determination of the route, thereby improving the accuracy of determining the driving route.
  • the determining the first route of the robot according to the image includes:
  • a turning curve is calculated to obtain the first route of the robot.
  • the route of the robot in the turning direction can be determined, which can reduce the influence of occlusion and other factors on the determination of the route, thereby improving the accuracy of determining the driving route.
  • the determining the second route of the robot according to the map and the positioning information of the robot includes:
  • the positioning information of the robot corresponding to the center line of the turning road is queried from the map to obtain the second route of the robot.
  • the time to determine the route can be reduced, so that the speed of determining the driving route can be improved.
  • the determining the travel path of the robot according to the first route and the second route includes:
  • the first route and the second route are aligned to obtain the travel path of the robot.
  • the route of the robot can be optimized, so that the accuracy of determining the driving path can be improved.
  • the method further includes:
  • a third aspect provides a positioning device, including:
  • the first determining unit is configured to determine the first position information of the robot through the positioning component
  • the collection unit is used to collect images through the camera
  • a second determining unit configured to determine second position information of the robot according to the image
  • the fusion unit is used to fuse the first position information and the second position information to obtain the positioning information of the robot.
  • the positioning component includes a lidar
  • the first determining unit is specifically configured to:
  • the second determining unit is specifically configured to:
  • the second position information of the robot is determined according to the landmark object and the relative position.
  • the second determining unit determining the relative position between the robot and the landmark object in the image includes:
  • the relative position between the robot and the landmark object is determined.
  • the second determining unit determining the second position information of the robot according to the landmark object and the relative position includes:
  • the second position information of the robot is determined according to the first position information, the map, the landmark object, and the relative position.
  • the second determining unit determining the second position information of the robot according to the first position information, the map, the landmark object, and the relative position includes:
  • the longitudinal information is the position information of the initial position information in the direction of the road edge
  • the horizontal information is the position information of the initial position information in the direction perpendicular to the road edge.
  • the fusion unit is specifically used for:
  • the fusion positioning information is the positioning information of the robot.
  • the device further includes:
  • a third determining unit configured to determine the first route of the robot according to the image
  • a fourth determining unit configured to determine the second route of the robot according to the map and the positioning information of the robot
  • the fifth determining unit is configured to determine the travel path of the robot according to the first route and the second route.
  • the third determining unit is specifically configured to:
  • the fourth determining unit is specifically configured to query the center line of the road corresponding to the positioning information of the robot from the map to obtain the second route of the robot.
  • the third determining unit is specifically configured to:
  • a turning curve is calculated to obtain the first route of the robot.
  • the fourth determining unit is specifically configured to query the center line of the turning road corresponding to the positioning information of the robot from a map to obtain the second route of the robot.
  • the fifth determining unit is specifically configured to align the first route and the second route to obtain the travel path of the robot.
  • the device further includes:
  • a generating unit configured to generate a driving instruction for driving according to the driving path
  • the execution unit is used to execute the driving instruction.
  • a fourth aspect provides a path determination device, including:
  • the collection unit is used to collect images through the camera
  • a first determining unit configured to determine a first route of the robot according to the image
  • a second determining unit configured to determine a second route of the robot according to the map and the positioning information of the robot
  • the third determining unit is configured to determine the travel path of the robot according to the first route and the second route.
  • the first determining unit is specifically configured to:
  • the curve smoothing process is performed on the center line to obtain the first route of the robot.
  • the second determining unit is specifically configured to query the center line of the road corresponding to the positioning information of the robot from a map to obtain the second route of the robot.
  • the first determining unit is specifically configured to:
  • a turning curve is calculated to obtain the first route of the robot.
  • the second determining unit is specifically configured to query the center line of the turning road corresponding to the positioning information of the robot from a map to obtain the second route of the robot.
  • the third determining unit is specifically configured to align the first route and the second route to obtain the travel path of the robot.
  • the device further includes:
  • a generating unit configured to generate a driving instruction for driving according to the driving path
  • the execution unit is used to execute the driving instruction.
  • a fifth aspect provides a robot, which includes a processor, a memory, a positioning component, and a camera.
  • the memory is used to store computer program codes
  • the positioning component is used for positioning
  • the camera is used to collect images
  • the processor is used to perform operations such as the first aspect or the first aspect. The method provided in any possible implementation manner in the aspect.
  • a sixth aspect provides a robot, including a processor, a memory, and a camera.
  • the memory is used to store computer program codes.
  • the camera is used to collect images, and the processor is used to execute the second aspect or any one of the possible implementation manners of the second aspect. Provided method.
  • a seventh aspect provides a readable storage medium storing a computer program, and the computer program includes program code that, when executed by a processor, causes the processor to execute the first aspect or the first aspect A method provided in any possible implementation manner, or a method provided in the second aspect or any one of the possible implementation manners of the second aspect.
  • An eighth aspect provides a computer program, including computer-readable code.
  • a processor in the electronic device executes the first aspect or any one of the first aspects.
  • FIG. 1 is a schematic flowchart of a positioning method provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of another positioning method provided by an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of a path determination method provided by an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of a positioning device provided by an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a path determination device provided by an embodiment of the present application.
  • Fig. 6 is a schematic structural diagram of a robot provided by an embodiment of the present application.
  • the embodiments of the present application provide a positioning method, a path determination method, a robot, and a storage medium, which are used to improve the accuracy of positioning. Detailed descriptions are given below.
  • FIG. 1 is a schematic flowchart of a positioning method provided by an embodiment of the present application.
  • the positioning method is applied to robots.
  • the robot can be a small car used for teaching, playing, etc., a large car used for carrying passengers, carrying objects, etc., or a robot used for teaching, playing, etc., which is not limited here.
  • the system used by the robot may be an embedded system or other systems, which is not limited here.
  • the steps of the positioning method may be executed by hardware such as a robot, or executed by a processor running computer executable code. As shown in Figure 1, the positioning method may include the following steps.
  • the first position information is the position information of the robot itself determined by the positioning component. After the robot is powered on or started, the first position information of the robot can be determined by the positioning component in real time or periodically.
  • the positioning component may be lidar, global positioning system (Global Positioning System, GPS), assisted global positioning system (Assisted Global Positioning System, AGPS), Beidou positioning, etc.
  • the lidar can be a single-line lidar or a multi-line lidar. Among them, the period can be 1s, 2s, 5s, and so on.
  • the positioning data can be collected through the lidar first, and then the first position information of the robot is determined according to the point cloud positioning map and the positioning data, that is, the points in the positioning data and the points in the point cloud positioning map
  • the position of the collected positioning data in the point cloud map can be determined by matching, so as to determine the first position information of the robot.
  • the point cloud location map is a map that is stitched together based on point clouds for location.
  • the point cloud location map can be stored in the robot in advance. In the case of using the point cloud location map, the stored point cloud location map needs to be obtained locally.
  • the point cloud positioning map can also be stored in the cloud or other devices, and the robot can be obtained from the cloud or other devices when it needs to be used.
  • the robot After the robot is powered on or started, it can collect images through the camera in real time or periodically.
  • the period here and the period in step 101 may be the same or different.
  • the number of cameras can be one, or two or more.
  • the second position information of the robot can be determined according to the collected image.
  • the relative position between the robot and the iconic object in the image may be determined first, and then the second position information of the robot may be determined according to the iconic object and the relative position. It is also possible to determine the coordinates of the landmark object in the image first, and then determine the relative position between the robot and the landmark object in the image according to the camera’s relative shooting angle of the landmark object and the shooting ratio of the image, and then determine the relative position between the robot and the landmark object in the image.
  • the relative position determines the second position information of the robot. After the robot is recognized according to the target recognition technology, the position of the robot in the camera coordinate system can be converted to the world coordinate system according to the preset coordinate conversion matrix, so as to obtain the second position information of the robot.
  • the landmark objects may be landmark objects such as traffic lights, road signs and signs.
  • a distance sensor can also be used to measure the relative distance between the robot and the landmark object.
  • the coordinates of the robot in the coordinate system with the camera as the origin are (0,0,0), and the coordinates of the landmark object in the coordinate system with the camera as the origin are (x1, y1, z1), then the robot and the logo
  • the relative position between sex objects is (x1, y1, z1).
  • the coordinates of the robot in the coordinate system with the camera as the origin can be obtained by further combining the above external parameters, and then according to the above The process obtains the relative position of the landmark object relative to the center of the robot (that is, the robot).
  • the second position of the robot can be determined according to the first position information, the map, the iconic object and the relative position information.
  • the first position information can be converted to the position on the map to obtain the initial position information of the robot.
  • the road edge of the road where the robot is located can be identified from the image, for example, the lane where the robot car is located.
  • the horizontal information in the initial position information can be corrected according to the identified road edge, and the vertical information in the initial position information can be corrected according to the relative position between the robot and the iconic object in the image, and the second position information of the robot can be obtained.
  • the direction of the sideline of the road is the longitudinal direction
  • the direction perpendicular to the sideline of the road is the horizontal direction
  • the longitudinal information is the position information of the initial position information in the direction of the road edge
  • the horizontal information is the position information of the initial position information in the direction perpendicular to the road edge.
  • the initial position information is the horizontal and vertical coordinates of the robot
  • the horizontal information is the horizontal coordinate
  • the vertical information is the vertical coordinate.
  • Correcting the longitudinal information in the initial position information according to the relative position between the robot and the iconic object in the image can be to first map the coordinates (x1, y1, z1) of the iconic object in the coordinate system with the camera as the origin to the map Obtain the mapped horizontal position and the mapped vertical position, and directly query the position of the landmark object from the map to obtain the inquired horizontal position and the inquired vertical position. Then, the longitudinal position of the landmark object can be obtained according to the mapped longitudinal position and the query longitudinal position, and the average or weighted average of the mapped longitudinal position and the query longitudinal position can be determined as the longitudinal position of the landmark object.
  • the longitudinal information in the initial position information is corrected according to the relative position between the robot and the iconic object in the image and the longitudinal position of the iconic object.
  • the coordinates of the initial position information are (x2, y2)
  • the longitudinal position of the determined landmark object is y3
  • the relative position between the robot and the landmark object is (x1, y1, z1).
  • the relative position corresponds to The longitudinal coordinate difference between the landmark object and the robot is y1
  • Correcting the lateral information in the initial position information according to the recognized road edges can be to first determine the center line of the road where the robot is located according to the recognized road edges, then determine the point corresponding to the initial position information in the center line, and correct the initial position according to the lateral information of the point Horizontal information in information.
  • the corrected lateral information may be the average or weighted average of the lateral information of the point and the lateral information in the initial position information.
  • the point corresponding to the initial position information in the center line may be the same point as the longitudinal information of the initial position.
  • the point corresponding to the initial position information in the center line may be the point closest to the initial position.
  • the center line of the road can be determined according to the sideline of the road where the robot is located.
  • the abscissa of the center line is x3, and the average value or weighted average of x2 and x3 can be used. It can be used as the horizontal coordinate point of the robot.
  • x3 may be the abscissa of the point closest to (x2, y2) in the center line.
  • the map can be a high-precision map or a common physical location map.
  • High-precision maps are electronic maps with higher accuracy and more data dimensions. Higher accuracy is reflected in the accuracy to the centimeter level, and the data dimension is more reflected in the fact that it includes surrounding static information related to driving in addition to road information.
  • High-precision maps store a large amount of robot driving assistance information as structured data, which can be divided into two categories.
  • the first category is road data, such as lane information such as the location, type, width, slope, and curvature of the road sideline.
  • the second category is information about fixed objects around the road, such as traffic signs, traffic lights and other information, road height limits, sewer crossings, obstacles and other road details.
  • the road may be a lane, or a road where robots can move, such as a sidewalk.
  • the sideline of the road is the sideline of the road, which can be a lane line, or a road tooth, can also isolate objects, and can also be other things that can be used as a road sideline.
  • the map is stored in the robot in advance, and the stored map can be obtained locally before use.
  • the map can also be stored in the cloud or other devices, and the robot can be obtained from the cloud or other devices when needed.
  • the first position information of the robot is determined by the positioning component, and the second position information of the robot is determined according to the image, the first position information and the second position information can be merged to obtain the positioning information of the robot.
  • the first location information and the second location information can be input into the fusion algorithm to obtain the fusion positioning information and the confidence of the fusion positioning information, and then it is judged whether the confidence is greater than the threshold, and the confidence is determined. If it is greater than the threshold, it indicates that the accuracy of the fusion positioning information is high, and it can be determined that the fusion positioning information is the positioning information of the robot. In the case where it is determined that the confidence is less than or equal to the threshold, it indicates that the accuracy of the fused positioning information is low, and the fused positioning information can be discarded, and then repositioning is performed.
  • the positioning information of the robot may be an average or a weighted average of the first location information and the second location information.
  • the fusion algorithm can be a comprehensive average method, Kalman filter method, Bayesian estimation method, etc.
  • the first position information and the second position information may also be directly subjected to weighted or averaged fusion processing to obtain the positioning information of the robot.
  • FIG. 2 is a schematic flowchart of another positioning method provided by an embodiment of the present application.
  • the positioning method is applied to robots.
  • the robot can be a small car used for teaching, playing, etc., a large car used for carrying passengers, carrying objects, etc., or a robot used for teaching, playing, etc., which is not limited here.
  • the system used by the robot may be an embedded system or other systems, which is not limited here.
  • the steps of the positioning method may be executed by hardware such as a robot, or executed by a processor running computer executable code. As shown in Figure 2, the positioning method may include the following steps.
  • step 201 is the same as step 101.
  • step 101 please refer to step 101, which will not be repeated here.
  • step 202 is the same as step 102.
  • step 102 please refer to step 102, which will not be repeated here.
  • step 203 is the same as step 103.
  • step 103 please refer to step 103, which will not be repeated here.
  • step 204 is the same as step 104.
  • step 104 please refer to step 104, which will not be repeated here.
  • the first route is based on the collected image information to plan the robot movement path. After the image is collected by the camera, the first route of the robot can be determined based on the image.
  • the robot takes a vehicle as an example.
  • the robot can first identify two road edges corresponding to the road where the robot is located in the image, for example, using a pre-trained road edge recognition model.
  • the two road edges corresponding to the road where the robot is located and then calculate the center line of the two road edges.
  • the center line of the road sideline can be directly determined as the first route of the robot, or the center line of the road sideline can be smoothly processed to obtain the first route of the robot.
  • the road where the robot is located may have only one road edge, and the detected road teeth can be determined as another road edge in the image detection.
  • the road where the robot is located may only have one sideline of the road, which can be detected in the image detection
  • the separated object is determined as another road edge.
  • the first road edge corresponding to the road where the robot is located in the image can be identified.
  • the second road sideline of the road after turning by the robot can be determined according to the map and the positioning information of the robot. That is, the information of the road after turning on the road where the robot is located is queried on the map according to the positioning information of the robot.
  • the road information can include the width of the road and the road of the robot. Sidelines etc. Then, according to the identified first road sideline and the determined second road sideline, the entrance position and entrance direction of the road after the robot turns are determined.
  • the determined road sideline can be complemented according to the recognized road sideline, and the road sideline after the robot turns can be determined based on the completed road sideline.
  • the turning curve can be calculated according to the entry position and entry direction of the road after the robot turns, and the positioning information and direction of the robot, to obtain the first route of the robot.
  • methods such as b-spline and polynomial fitting can be used to calculate the turning curve.
  • the second route is a reference path for the robot to travel planned according to the map and the positioning information of the robot.
  • the second route of the robot can be determined according to the map and the positioning information of the robot.
  • the positioning information of the robot can be queried from the map corresponding to the center line of the road where the robot is currently located, and the center line is used as the second route of the robot.
  • the positioning information of the robot can be queried from the map corresponding to the center line of the road that the robot will turn, and the center line is taken as the second route of the robot.
  • positions on the road for example, a route along the 2/3 position on the left side of the road, can also be used as the second route of the robot.
  • the driving path of the robot can be determined according to the first route and the second route.
  • the first route and the second route are aligned to obtain the travel path of the robot, wherein the first route and the second route can be aligned using methods such as weighted average and curve fitting.
  • step S207 it further includes:
  • a driving instruction for driving according to the driving path can be generated according to the driving path.
  • a travel instruction for traveling 100 meters straight on the current road may be generated.
  • the robot After generating the driving instruction for driving in accordance with the driving route, the robot can execute the driving instruction to travel in accordance with the driving route.
  • the positioning of the positioning component and the positioning performed by the image collected by the camera are merged to obtain the positioning of the robot.
  • Combining the positioning of the positioning component and the positioning of the perception result can position the positioning component Corrections can improve the accuracy of positioning.
  • the route of the robot is determined according to the route of the robot determined by the positioning information and the route of the robot determined by the image collected by the camera.
  • the route of the robot determined by the combination of the positioning information and the route of the robot determined by the image collected by the camera can be compared to the positioning information. Correcting the determined route of the robot can improve the accuracy of determining the driving route.
  • FIG. 3 is a schematic flowchart of a path determination method provided by an embodiment of the present application.
  • the path determination method can be applied to robots.
  • the robot can be a small car used for teaching, playing, etc., a large car used for carrying passengers, carrying objects, etc., or a robot used for teaching, playing, etc., which is not limited here.
  • the system used by the robot may be an embedded system or other systems, which is not limited here.
  • the steps of the path determination method can be executed by hardware such as a robot, or can be executed by a processor running computer executable code. As shown in Fig. 3, the path determination method may include the following steps.
  • step 301 is the same as step 102.
  • step 102 please refer to step 102, which will not be repeated here.
  • step 302 is the same as step 205.
  • step 205 please refer to step 205, which will not be repeated here.
  • step 303 is similar to step 206.
  • step 206 please refer to step 206, which will not be repeated here.
  • the robot may also use one of the positioning components or the map to directly obtain the robot positioning information, and then determine the first route and the second route of the robot.
  • step 304 is the same as step 207.
  • step 207 which will not be repeated here.
  • step 305 is the same as step 208.
  • step 208 please refer to step 208, which will not be repeated here.
  • step 306 is the same as step 209.
  • step 209 which will not be repeated here.
  • the robot’s route is determined based on the robot’s route determined by the positioning information and the robot’s route determined by the image collected by the camera, combined with the robot’s route determined by the positioning information and the camera’s image acquisition.
  • the route of the robot can be corrected for the route of the robot determined by the positioning information, which can improve the accuracy of determining the driving path.
  • FIG. 4 is a schematic structural diagram of a positioning device provided by an embodiment of the present application.
  • the positioning device can be applied to robots.
  • the robot can be a small car used for teaching, playing, etc., a large car used for carrying passengers, carrying objects, etc., or a robot used for teaching, playing, etc., which is not limited here.
  • the system used by the robot may be an embedded system or other systems, which is not limited here.
  • the positioning device may include:
  • the first determining unit 401 is configured to determine the first position information of the robot through the positioning component
  • the collection unit 402 is used to collect images through a camera
  • the second determining unit 403 is configured to determine the second position information of the robot according to the image
  • the fusion unit 404 is used for fusing the first position information and the second position information to obtain the positioning information of the robot.
  • the positioning component may include lidar, and the first determining unit 401 is specifically configured to:
  • the first position information of the robot is determined.
  • the second determining unit 403 is specifically configured to:
  • the second position information of the robot is determined according to the landmark object and the relative position.
  • the second determining unit 403 determining the relative position between the robot and the landmark object in the image includes:
  • the relative position between the robot and the landmark object is determined.
  • the second determining unit 403 determining the second position information of the robot according to the landmark object and the relative position includes:
  • the second position information of the robot is determined according to the first position information, the map, the landmark object and the relative position.
  • the second determining unit 403 determining the second position information of the robot according to the first position information, the map, the landmark object, and the relative position includes:
  • the vertical information is the position information of the initial position information in the direction of the road edge
  • the horizontal information is the position information of the initial position information in the direction perpendicular to the road edge.
  • the fusion unit 404 is specifically configured to:
  • the fusion positioning information is the positioning information of the robot.
  • the positioning device may further include:
  • the third determining unit 405 is configured to determine the first route of the robot according to the image
  • the fourth determining unit 406 is configured to determine the second route of the robot according to the map and the positioning information of the robot;
  • the fifth determining unit 407 is configured to determine the travel path of the robot according to the first route and the second route.
  • the third determining unit 405 is specifically configured to:
  • the curve smoothing process is performed on the center line to obtain the first route of the robot.
  • the fourth determining unit 406 is specifically configured to query the center line of the road corresponding to the positioning information of the robot from the map to obtain the second route of the robot.
  • the third determining unit 405 is specifically configured to:
  • the turning curve is calculated to obtain the first route of the robot.
  • the fourth determining unit 406 is specifically configured to query the center line of the turning road corresponding to the positioning information of the robot from the map, and obtain the second route of the robot.
  • the fifth determining unit 407 is specifically configured to align the first route and the second route to obtain the travel path of the robot.
  • the positioning device may further include:
  • the generating unit 408 is configured to generate a driving instruction for driving according to the driving path;
  • the execution unit 409 is used to execute driving instructions.
  • This embodiment may correspond to the description of the method embodiment in the embodiment of the application, and the above and other operations and/or functions of each unit are used to implement the corresponding processes in each method in FIG. 1 and FIG. 2 respectively. For the sake of brevity, it is not here. Go into details again.
  • FIG. 5 is a schematic structural diagram of a path determination device provided by an embodiment of the present application.
  • the path determination device can be applied to robots.
  • the robot can be a small car used for teaching, playing, etc., a large car used for carrying passengers, carrying objects, etc., or a robot used for teaching, playing, etc., which is not limited here.
  • the system used by the robot may be an embedded system or other systems, which is not limited here.
  • the path determination device may include:
  • the collection unit 501 is used to collect images through a camera
  • the first determining unit 502 is configured to determine the first route of the robot according to the image
  • the second determining unit 503 is configured to determine the second route of the robot according to the map and the positioning information of the robot;
  • the third determining unit 504 is configured to determine the travel path of the robot according to the first route and the second route.
  • the first determining unit 502 is specifically configured to:
  • the curve smoothing process is performed on the center line to obtain the first route of the robot.
  • the second determining unit 503 is specifically configured to query the center line of the road corresponding to the positioning information of the robot from the map to obtain the second route of the robot.
  • the first determining unit 502 is specifically configured to:
  • the turning curve is calculated to obtain the first route of the robot.
  • the second determining unit 503 is specifically configured to query the center line of the turning road corresponding to the positioning information of the robot from the map to obtain the second route of the robot.
  • the third determining unit 504 is specifically configured to align the first route and the second route to obtain the travel path of the robot.
  • the path determination device may further include:
  • the generating unit 505 is configured to generate a driving instruction for driving according to the driving path;
  • the execution unit 506 is used to execute driving instructions.
  • This embodiment may correspond to the description of the method embodiment in the embodiment of the present application, and the above and other operations and/or functions of each unit are used to realize the corresponding flow in each method in FIG. 2 and FIG. 3 respectively. For the sake of brevity, it is not here. Go into details again.
  • FIG. 6 is a schematic structural diagram of a robot provided by an embodiment of the present application.
  • the robot may be a small car used for teaching, playing, etc., a large car used for carrying passengers, carrying objects, etc., or a robot used for teaching, playing, etc., which is not limited here.
  • the system used by the robot may be an embedded system or other systems, which is not limited here.
  • the robot may include at least one processor 601, a memory 602, a positioning component 603, a camera 604, and a communication line 605.
  • the memory 602 may exist independently, and may be connected to the processor 601 through a communication line 605.
  • the memory 602 may also be integrated with the processor 601.
  • the communication line 605 is used to realize the connection between these components.
  • the processor 601 when the computer program instructions stored in the memory 602 are executed, the processor 601 is configured to execute the second determining unit 403, the fusion unit 404, the third determining unit 405, and the fourth determining unit in the foregoing embodiment. 406.
  • the fifth determining unit 407, the generating unit 408, and the execution unit 409 perform operations of at least some of the units.
  • the positioning component 603 is used to perform the operations performed by the first determining unit 401 in the above-mentioned embodiment, and the camera 604 is used to perform the operations in the above-mentioned embodiment. Operations performed by the collection unit 402.
  • the above-mentioned robot can also be used to execute various methods executed by the terminal device in the foregoing method embodiments, and details are not described herein again.
  • the processor 601 when the computer program instructions stored in the memory 602 are executed, the processor 601 is configured to execute the first determining unit 502, the second determining unit 503, the third determining unit 504, and the The operation of at least part of the unit 505 and the execution unit 505, and the camera 604 is used to execute the operation executed by the acquisition unit 501 in the foregoing embodiment.
  • the above-mentioned robot can also be used to execute various methods executed in the foregoing method embodiments, and details are not described herein again.
  • the embodiment of the present application also discloses a computer-readable storage medium with an instruction stored thereon, and the method in the foregoing method embodiment is executed when the instruction is executed.
  • the readable storage medium may be a volatile storage medium or a non-volatile storage medium.
  • the embodiment of the present application also discloses a computer program product containing instructions, which execute the method in the foregoing method embodiment when the instruction is executed.
  • the program can be stored in a computer-readable memory, and the memory can include: flash disk, Read-Only Memory (ROM), Random-Access Memory (RAM), magnetic disk or optical disk, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Manipulator (AREA)

Abstract

一种定位方法、路径确定方法、装置、机器人及存储介质，定位方法包括：通过定位部件确定机器人的第一位置信息（101）；通过摄像头采集图像（102）；根据图像，确定机器人的第二位置信息（103）；融合第一位置信息和第二位置信息，得到机器人的定位信息（104）。

Description

定位方法、路径确定方法、装置、机器人及存储介质
相关申请的交叉引用
本申请基于申请号为201910915168.8、申请日为2019年09月26日，申请名称为“定位方法、路径确定方法、装置、机器人及存储介质”的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以引入方式结合在本申请中。
技术领域
本申请涉及机器人技术领域，具体涉及定位方法、路径确定方法、装置、机器人及存储介质。
背景技术
随着电子技术的不断发展，无人控制机器人，例如无人驾驶车辆应用而生。无人控制机器人为了能够在道路上行动，首先需要能够准确地定位机器人自身的位置，以便可以根据定位确定接下来的行动路径。目前，常用的定位方法为：通过单线激光雷达、全球定位系统(global positioning system，GPS)等定位部件进行定位。
发明内容
本申请实施例提供了定位方法、路径确定方法、装置、机器人及存储介质。
第一方面提供一种定位方法，包括：
通过定位部件确定机器人的第一位置信息；
通过摄像头采集图像；
根据所述图像，确定所述机器人的第二位置信息；
融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息。
在进行定位时，将通过定位部件的定位和通过摄像头采集的图像进行的定位进行融合得到机器人的定位，结合了定位部件的定位和感知结果的定位，可以对定位部件的定位进行修正，可以提高定位精度。
作为一种可能的实施方式，所述定位部件包括激光雷达，所述通过定位部件确定所述机器人的第一位置信息包括：
通过所述激光雷达采集定位数据；
根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
可以降低光照变化、遮挡等对定位的影响，从而可以提高定位精度。
作为一种可能的实施方式，所述根据所述图像，确定所述机器人的第二位置信息包括：
确定所述机器人与所述图像中标志性物体之间的相对位置；
根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
可以降低通过地图定位不准确的影响，从而可以提高定位精度。
作为一种可能的实施方式，所述确定所述机器人与所述图像中标志性物体之间的相对位置包括：
检测所述图像中的标志性物体；
根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
作为一种可能的实施方式，所述根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
由于标志性物体通常在地图中有标识位置，通过其与机器人的相对位置和定位部件获得的第一位置信息，确定机器人的第二位置信息，可以提高机器人的定位精度。
作为一种可能的实施方式，所述根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
识别所述图像中所述机器人所在道路的道路边线；
根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
通过标志性物体与机器人的相对位置和图像识别的道路信息修正机器人的位置，可以提高机器人的定位精度。
作为一种可能的实施方式，所述融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息包括：
将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
通过置信度可以确定通过融合得到的融合定位信息的可信程度，在置信度大于阈值的情况下，表明融合定位信息的可信程度较高，可以将融合定位信息确定为机器人的定位信息，从而可以提高定位精度。
作为一种可能的实施方式，所述方法还包括：
根据所述图像确定所述机器人的第一路线；
根据地图和所述机器人的定位信息确定所述机器人的第二路线；
根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
在确定行驶路径时，将通过地图确定的路线和通过摄像头采集的图像确定的路线进行结合得到机器人的行驶路径，结合了通过地图确定的路线和感知结果确定的路线，可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
通过识别图像中道路边线来确定机器人的第一路线，可以降低通过地图确定路线不准确的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
通过地图确定机器人的第二路线，可以降低光照变化、遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
通过图像和地图可以确定机器人在转弯方向的路线，可以降低遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
通过查询地图确定机器人的第二路线，可以降低确定路线的时间，从而可以提高行驶路径的确定速度。
作为一种可能的实施方式，所述根据所述第一路线和所述第二路线确定所述机器人的行驶路径包括：
对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
通过对齐根据不同方式确定的机器人的两条路线，可以优化机器人的路线，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述方法还包括：
生成用于按照所述行驶路径行驶的行驶指令；
执行所述行驶指令。
可以根据确定的行驶路径行驶，可以提高行驶的安全性。
第二方面提供一种路径确定方法，包括：
通过摄像头采集图像；
根据所述图像确定所述机器人的第一路线；
根据地图和所述机器人的定位信息确定所述机器人的第二路线；
根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
在确定行驶路径时，将通过地图确定的路线和通过摄像头采集的图像确定的路线进行结合得到机器人的行驶路径，结合了通过地图确定的路线和感知结果确定的路线，可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
通过识别图像中道路边线来确定机器人的第一路线，可以降低通过地图确定路线不准确的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
通过地图确定机器人的第二路线，可以降低光照变化、遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
通过图像和地图可以确定机器人在转弯方向的路线，可以降低遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
通过查询地图确定机器人的第二路线，可以降低确定路线的时间，从而可以提高行驶路径的确定速度。
作为一种可能的实施方式，所述根据所述第一路线和所述第二路线确定所述机器人的行驶路径包括：
对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
通过对齐根据不同方式确定的机器人的两条路线，可以优化机器人的路线，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述方法还包括：
生成用于按照所述行驶路径行驶的行驶指令；
执行所述行驶指令。
可以根据确定的行驶路径行驶，可以提高行驶的安全性。
第三方面提供一种定位装置，包括：
第一确定单元，用于通过定位部件确定机器人的第一位置信息；
采集单元，用于通过摄像头采集图像；
第二确定单元，用于根据所述图像，确定所述机器人的第二位置信息；
融合单元，用于融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息。
作为一种可能的实施方式，所述定位部件包括激光雷达，所述第一确定单元具体用于：
通过所述激光雷达采集定位数据；
根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
作为一种可能的实施方式，所述第二确定单元具体用于：
确定所述机器人与所述图像中标志性物体之间的相对位置；
根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
作为一种可能的实施方式，所述第二确定单元确定所述机器人与所述图像中标志性物体之间的相对位置包括：
检测所述图像中的标志性物体；
根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
作为一种可能的实施方式，所述第二确定单元根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的 第二位置信息。
作为一种可能的实施方式，所述第二确定单元根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
识别所述图像中所述机器人所在道路的道路边线；
根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
作为一种可能的实施方式，所述融合单元具体用于：
将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
作为一种可能的实施方式，所述装置还包括：
第三确定单元，用于根据所述图像确定所述机器人的第一路线；
第四确定单元，用于根据地图和所述机器人的定位信息确定所述机器人的第二路线；
第五确定单元，用于根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
作为一种可能的实施方式，所述第三确定单元具体用于：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第三确定单元具体用于：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第五确定单元，具体用于对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
作为一种可能的实施方式，所述装置还包括：
生成单元，用于生成用于按照所述行驶路径行驶的行驶指令；
执行单元，用于执行所述行驶指令。
第四方面提供一种路径确定装置，包括：
采集单元，用于通过摄像头采集图像；
第一确定单元，用于根据所述图像确定所述机器人的第一路线；
第二确定单元，用于根据地图和所述机器人的定位信息确定所述机器人的第二路线；
第三确定单元，用于根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
作为一种可能的实施方式，所述第一确定单元具体用于：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第二确定单元，具体用于从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第一确定单元具体用于：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第二确定单元，具体用于从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第三确定单元，具体用于对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
作为一种可能的实施方式，所述装置还包括：
生成单元，用于生成用于按照所述行驶路径行驶的行驶指令；
执行单元，用于执行所述行驶指令。
第五方面提供一种机器人，包括处理器、存储器、定位部件、摄像头，存储器用于存储计算机程序代码，定位部件用于定位，摄像头用于采集图像，处理器用于执行如第一方面或第一方面中任一种可能的实施方式提供的方法。
第六方面提供一种机器人，包括处理器、存储器、摄像头，存储器用于存储计算机程序代码，摄像头用于采集图像，处理器用于执行如第二方面或第二方面中任一种可能的实施方式提供的方法。
第七方面提供一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序包括程序代码，该程序代码当被处理器执行时使该处理器执行第一方面或第一方面中任一种可能的实施方式提供的方法，或者第二方面或第二方面中任一种可能的实施方式提供的方法。
第八方面提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行第一方面或第一方面中任一种可能的实施方式提供的方法，或者第二方面或第二方面中任一种可能的实施方式提供的方法。
附图说明
图1是本申请实施例提供的一种定位方法的流程示意图；
图2是本申请实施例提供的另一种定位方法的流程示意图；
图3是本申请实施例提供的一种路径确定方法的流程示意图；
图4是本申请实施例提供的一种定位装置的结构示意图；
图5是本申请实施例提供的一种路径确定装置的结构示意图；
图6是本申请实施例提供的一种机器人的结构示意图。
具体实施方式
本申请实施例提供定位方法、路径确定方法、机器人及存储介质，用于提高定位的准确性。以下分别进行详细说明。
请参阅图1，图1是本申请实施例提供的一种定位方法的流程示意图。其中，该定位方法应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。该定位方法步骤的可以通过机器人等硬件执行，或者通过处理器运行计算机可执行代码的方式执行。如图1所示，该定位方法可以包括以下步骤。
101、通过定位部件确定机器人的第一位置信息。
第一位置信息为利用定位部件确定的机器人自身的位置信息。在机器人上电或启动之后，可以实时或周期性地通过定位部件确定机器人的第一位置信息。该定位部件可以为激光雷达、全球定位系统(Global Positioning System，GPS)、辅助全球定位系统(Assisted Global Positioning System，AGPS)、北斗定位等。激光雷达可以为单线激光雷达，也可以为多线激光雷达。其中，周期可以是1s、2s、5s等。
在定位部件为激光雷达的情况下，可以先通过激光雷达采集定位数据，之后根据点云定位地图和定位数据确定机器人的第一位置信息，即将定位数据中的点与点云定位地图中的点进行匹配，可以通过匹配确定采集到的定位数据在点云地图中的位置，从而确定机器人的第一位置信息。点云定位地图为根据点云拼接成的用于定位的地图。其中，点云定位地图可以预先存储在机器人中，在使用点云定位地图的情况下，先需要从本地获取存储的点云定位地图。当然，在其他实施方式中，点云定位地图也可以存储在云端或其他设备中，机器人需要使用时可以从云端或其他设备上获取。
102、通过摄像头采集图像。
在机器人上电或启动之后，可以实时或周期性地通过摄像头采集图像。此处的周期与步骤101中的周期可以相同，也可以不同。摄像头的数量可以为一个，也可以为两个或两个以上。
103、根据采集的图像确定机器人的第二位置信息。
通过摄像头采集到图像之后，可以根据采集的图像确定机器人的第二位置信息。
具体地，可以先确定机器人与图像中标志性物体之间的相对位置，之后根据标志性物体和相对位置确定机器人的第二位置信息。也可以先确定标志性物体在图像中的坐标，之后根据摄像头的相对标志性物体的拍摄角度和图像的拍摄比例，确定机器人与图像中标志性物体之间的相对位置，再根据标志性物体和相对位置确定机器人的第二位置信息。还可以根据目标识别技术识别得到机器人后，根据预设坐标转换矩阵，将摄像机坐标系下的机器人位置转换到世界坐标系下，从而得到机器人的第二位置信息。
在确定机器人与图像中标志性物体之间的相对位置时，可以先检测图像中的标志性物体，之后根据摄像头的仿射变换矩阵确定机器人与标志性物体之间的相对位置；也可以先检测图像中的标志性物体，之后使用激光雷达扫描标志性物体，根据扫描的标志性物体的点确定机器人与标志性物体之间的相对位置。其中，标志性物体可以为交通信号灯、路标指示牌等具有标志性的物体。当然，在其他实施例中，也可以通过距离传感器测量机器人与标志性物体之间的相对距离。
在根据摄像头的仿射变换矩阵确定机器人与标志性物体之间的相对位置时，可以先确定标志性物体在图像坐标系中的坐标，之后根据摄像头的仿射变换矩阵将标志性物体在图像坐标系中的坐标转换为以摄像头为原点的坐标系中的坐标，最后根据转换后的标志性物体的坐标确定机器人与标志性物体之间的相对位置。例如，机器人在以摄像头为原点的坐标系中的坐标为(0,0,0)，标志性物体在以摄像头为原点的坐标系中的坐标为(x1,y1,z1)，则机器人与标志性物体之间的相对位置为(x1,y1,z1)。其中，由于摄像头与机器人中心之间的位置可能存在偏差，而摄像头与机器人中心的外参可测量，因此可 以进一步结合上述外参得到机器人在以摄像头为原点的坐标系中的坐标，然后根据上述过程得到标志性物体相对于机器人中心(也就是机器人)的相对位置。
在根据图像中标志性物体和机器人与图像中标志性物体之间的相对位置确定机器人的第二位置信息时，可以根据第一位置信息、地图、标志性物体和相对位置确定机器人的第二位置信息。具体地，可以先将第一位置信息转换为在地图中的位置，得到机器人的初始位置信息，同时、之前或之后可以从图像中识别机器人所在道路的道路边线，例如识别机器小车所在车道的车道线，然后可以根据识别出的道路边线修正初始位置信息中的横向信息，以及可以根据机器人与图像中标志性物体之间的相对位置修正初始位置信息中的纵向信息，得到机器人的第二位置信息。
其中，道路边线所在方向为纵向，与道路边线垂直的方向为横向。纵向信息为该初始位置信息在道路边线所在方向上的位置信息，该横向信息为该初始位置信息在与道路边线垂直的方向上的位置信息，例如初始位置信息为机器人的横向坐标和纵向坐标，该横向信息为该横向坐标，该纵向信息为该纵向坐标。
根据机器人与图像中标志性物体之间的相对位置修正初始位置信息中的纵向信息可以是先将标志性物体在以摄像头为原点的坐标系中的坐标(x1,y1,z1)映射到地图中得到映射横向位置与映射纵向位置，以及直接从地图查询标志性物体的位置得到查询横向位置与查询纵向位置。之后可以根据映射纵向位置和查询纵向位置得到标志性物体的纵向位置，可以将映射纵向位置和查询纵向位置的平均或加权平均确定为标志性物体的纵向位置。之后再根据机器人与图像中标志性物体之间的相对位置以及标志性物体的纵向位置修正初始位置信息中的纵向信息。例如，初始位置信息的坐标为(x2,y2)，确定的标志性物体的纵向位置为y3，机器人与标志性物体之间的相对位置为(x1,y1,z1)，可见，相对位置对应的标志性物体与机器人之间的纵向坐标差为y1，之后根据y3-y1＝y4可以得到机器人的修正纵向信息，可以将y2与y4的平均值或加权平均可以作为机器人的纵向坐标点。
根据识别出的道路边线修正初始位置信息中的横向信息可以是先根据识别出的道路边线确定机器人所在道路的中线，之后确定中线中初始位置信息对应的点，根据该点的横向信息修正初始位置信息中的横向信息。修正后的横向信息可以是该点的横向信息与初始位置信息中的横向信息的平均或加权平均。在车道边线为直线的情况下，中线中初始位置信息对应的点可以为与初始位置的纵向信息相同的点。在车道边线为曲线的情况下，中线中初始位置信息对应的点可以为与初始位置距离最近的点。例如，初始位置信息的坐标为(x2,y2)，可以根据识别出的机器人所在道路的道路边线确定该道路的中线，该中线的横坐标为x3，可以将x2与x3的平均值或加权平均可以作为机器人的横向坐标点。在该中线不是直线的情况下，x3可以是中线中与(x2,y2)距离最近的点的横坐标。
其中，该地图可以为高精度地图，也可以为普通的实物定位地图。高精度地图就是精度更高、数据维度更多的电子地图。精度更高体现在精确到厘米级别，数据维度更多体现在其包括了除道路信息之外的与行驶相关的周围静态信息。高精度地图将大量的机器人行驶辅助信息存储为结构化数据，这些信息可以分为两类。第一类是道路数据，比如道路边线的位置、类型、宽度、坡度和曲率等车道信息。第二类是道路周边的固定对象信息，比如交通标志、交通信号灯等信息、道路限高、下水道口、障碍物及其他道路细节，还包括高架物体、防护栏、数目、道路边缘类型、路边地标等基础设施信息。其中，道路可以为车道，也可以为人行道等机器人可移动的道路。道路边线为道路的边沿线，可以为车道线，也可以为道路牙子，还可以隔离物体，还可以为其它能够用作道路边线的东西。其中，地图是预先存储的机器人中的，使用之前可以先从本地获取存储的 地图。当然，在其他实施方式中，地图也可以存储在云端或其他设备中，机器人需要使用时可以从云端或其他设备上获取。
104、融合第一位置信息和第二位置信息，得到机器人的定位信息。
通过定位部件确定出机器人的第一位置信息，以及根据图像确定出机器人的第二位置信息之后，可以融合第一位置信息和第二位置信息得到机器人的定位信息。
在一种可能的实现方式中，可以先将第一位置信息和第二位置信息输入融合算法得到融合定位信息以及该融合定位信息的置信度，之后判断置信度是否大于阈值，在判断出置信度大于阈值的情况下，表明该融合定位信息的准确度较高，可以确定该融合定位信息为机器人的定位信息。在判断出置信度小于或等于阈值的情况下，表明该融合定位信息的准确度较低，可以丢弃该融合定位信息，之后进行重新定位。机器人的定位信息可以是第一位置信息和第二位置信息的平均、加权平均等。融合算法可以为综合平均法、卡尔曼滤波法、贝叶斯估计法等。
在其他可能的实现方式中，也可以直接将第一位置信息和第二位置信息进行加权或平均等融合处理，得到机器人的定位信息。
在图1所描述的定位方法中，在进行定位时，将通过定位部件的定位和通过摄像头采集的图像进行的定位进行融合得到机器人的定位，结合了定位部件的定位和感知结果的定位，可以对定位部件的定位进行修正，可以提高定位精度。
请参阅图2，图2是本申请实施例提供的另一种定位方法的流程示意图。其中，该定位方法应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。该定位方法步骤的可以通过机器人等硬件执行，或者通过处理器运行计算机可执行代码的方式执行。如图2所示，该定位方法可以包括以下步骤。
201、通过定位部件确定机器人的第一位置信息。
其中，步骤201与步骤101相同，详细描述请参考步骤101，在此不再赘述。
202、通过摄像头采集图像。
其中，步骤202与步骤102相同，详细描述请参考步骤102，在此不再赘述。
203、根据采集的图像确定机器人的第二位置信息。
其中，步骤203与步骤103相同，详细描述请参考步骤103，在此不再赘述。
204、融合第一位置信息和第二位置信息，得到机器人的定位信息。
其中，步骤204与步骤104相同，详细描述请参考步骤104，在此不再赘述。
205、根据图像确定机器人的第一路线。
第一路线是根据采集的图像信息，规划得到的机器人移动路径。通过摄像头采集到图像之后，可以根据图像确定机器人的第一路线。
在一种可能的实现方式中，机器人以车辆为例，在机器人行驶在直道上时，可以先识别图像中机器人所在道路对应的两条道路边线，例如，采用预先训练好的道路边线识别模型识别图像中机器人所在道路对应的两条道路边线，然后计算两条道路边线的中线。之后，可以直接将道路边线的中线确定为机器人的第一路线，也可以对道路边线的中线进行曲线平滑处理得到机器人的第一路线。在机器人行驶在道路的最右边或最左边的情况下，机器人所在道路可能只有一条道路边线，在图像检测中可以将检测到的道路牙子确定为另一条道路边线。在道路为双向行驶，且道路中间用围栏之类的物体隔开的情况下，在机器人行驶在隔开物体旁边道路的情况下，机器人所在道路可能只有一条道路边线，在图像检测中可以将检测到的隔开物体确定为另一条道路边线。
在一种可能的实现方式中，在机器人行驶在路口或弯道时，可以识别图像中机器人 所在道路对应的第一道路边线。可以根据地图和机器人的定位信息确定机器人转弯后道路的第二道路边线，即根据机器人的定位信息在地图中查询机器人所在道路转弯后道路的信息，道路的信息可以包括道路的宽度、机器人的道路边线等。之后根据识别出的第一道路边线和确定的第二道路边线确定机器人转弯后道路的入口位置和入口方向。由于通过图像识别的第一道路边线比确定的第二道路边线的精度要高，因此，可以根据识别出的道路边线补全确定的道路边线，根据补全后的道路边线确定机器人转弯后行驶道路的入口位置和入口方向。最后可以根据机器人转弯后行驶道路的入口位置和入口方向，以及机器人的定位信息和方向计算转弯曲线，得到机器人的第一路线。其中，可以使用b样条、多项式拟合等方法计算转弯曲线。通过上述方式，可以提高机器人行驶路径规划的准确性，克服由于摄像头盲区道路边线部分不可见而导致的路径规划不准确问题。
206、根据地图和机器人的定位信息确定机器人的第二路线。
第二路线为根据地图和机器人的定位信息规划的机器人行驶参考路径。融合第一位置信息和第二位置信息得到机器人的定位信息之后，可以根据地图和机器人的定位信息确定机器人的第二路线。在机器人行驶在直道上时，可以从地图中查询机器人的定位信息对应机器人当前所在道路的中线，将该中线作为机器人的第二路线。在机器人行驶在路口时，可以从地图中查询机器人的定位信息对应机器人将要转弯的道路的中线，将该中线作为机器人的第二路线。
当然，在其他实施例中，也可以将道路的其他位置，例如沿道路左侧2/3位置的路线，作为机器人的第二路线。
207、根据第一路线和第二路线确定机器人的行驶路径。
根据图像确定机器人的第一路线，以及根据地图和机器人的定位信息确定机器人的第二路线之后，可以根据第一路线和第二路线确定机器人的行驶路径。例如，对齐第一路线和第二路线得到机器人的行驶路径，其中，可以使用加权平均、曲线拟合等方法对第一路线和第二路线进行对齐。
可选地，在步骤S207之后，还包括：
208、生成用于按照行驶路径行驶的行驶指令。
根据第一路线和第二路线确定出机器人的行驶路径之后，可以根据行驶路径生成用于按照行驶路径行驶的行驶指令。
例如，在行驶路径为直线的情况下，可以生成用于按照当前道路直行100米的行驶指令。
209、执行行驶指令。
生成用于按照行驶路径行驶的行驶指令之后，机器人可以执行该行驶指令，以便按照行驶路径行驶。
在图2所描述的定位方法中，将通过定位部件的定位和通过摄像头采集的图像进行的定位进行融合得到机器人的定位，结合了定位部件的定位和感知结果的定位，可以对定位部件的定位进行修正，可以提高定位的准确性。此外，根据定位信息确定的机器人的路线和通过摄像头采集的图像确定的机器人的路线确定机器人的行驶路径，结合了定位信息确定的机器人的路线和摄像头采集图像确定的机器人的路线，可以对定位信息确定的机器人的路线进行修正，可以提高行驶路径的确定精度。
请参阅图3，图3是本申请实施例提供的一种路径确定方法的流程示意图。其中，该路径确定方法可应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。该路径确定方法步骤的可以通过机器人等硬件执行，或者通过处理器运行计算机可执行代码的方 式执行。如图3所示，该路径确定方法可以包括以下步骤。
301、通过摄像头采集图像。
其中，步骤301与步骤102相同，详细描述请参考步骤102，在此不再赘述。
302、根据图像确定机器人的第一路线。
其中，步骤302与步骤205相同，详细描述请参考步骤205，在此不再赘述。
303、根据地图和机器人的定位信息确定机器人的第二路线。
其中，步骤303与步骤206相似，详细描述请参考步骤206，在此不再赘述。
当然，在其他实施例中，机器人也可以利用定位部件或地图其中一种方式直接获取机器人定位信息后，确定机器人的第一路线和第二路线。
304、根据第一路线和第二路线确定机器人的行驶路径。
其中，步骤304与步骤207相同，详细描述请参考步骤207，在此不再赘述。
305、生成用于按照行驶路径行驶的行驶指令。
其中，步骤305与步骤208相同，详细描述请参考步骤208，在此不再赘述。
306、执行行驶指令。
其中，步骤306与步骤209相同，详细描述请参考步骤209，在此不再赘述。
在图3所描述的路径确定方法中，根据定位信息确定的机器人的路线和通过摄像头采集的图像确定的机器人的路线确定机器人的行驶路径，结合了定位信息确定的机器人的路线和摄像头采集图像确定的机器人的路线，可以对定位信息确定的机器人的路线进行修正，可以提高行驶路径的确定精度。
请参阅图4，图4是本申请实施例提供的一种定位装置的结构示意图。其中，该定位装置可应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图4所示，该定位装置可以包括：
第一确定单元401，用于通过定位部件确定机器人的第一位置信息；
采集单元402，用于通过摄像头采集图像；
第二确定单元403，用于根据该图像，确定机器人的第二位置信息；
融合单元404，用于融合第一位置信息和第二位置信息，得到机器人的定位信息。
在一个实施例中，定位部件可以包括激光雷达，第一确定单元401具体用于：
通过激光雷达采集定位数据；
根据点云定位地图和定位数据，确定机器人的第一位置信息。
在一个实施例中，第二确定单元403具体用于：
确定机器人与该图像中标志性物体之间的相对位置；
根据标志性物体和相对位置确定机器人的第二位置信息。
在一个实施例中，第二确定单元403确定机器人与该图像中标志性物体之间的相对位置包括：
检测该图像中的标志性物体；
根据摄像头的仿射变换矩阵，确定机器人与标志性物体之间的相对位置。
在一个实施例中，第二确定单元403根据标志性物体和相对位置确定机器人的第二位置信息包括：
根据第一位置信息、地图、标志性物体和相对位置确定机器人的第二位置信息。
在一个实施例中，第二确定单元403根据第一位置信息、地图、标志性物体和相对位置确定机器人的第二位置信息包括：
将第一位置信息转换为在地图中的位置，得到机器人的初始位置信息；
识别该图像中机器人所在道路的道路边线；
根据识别的道路边线修正初始位置信息的横向信息，以及根据相对位置修正初始位置信息中的纵向信息，得到机器人的第二位置信息；
其中，纵向信息为初始位置信息在道路边线所在方向上的位置信息，横向信息为初始位置信息在与道路边线垂直的方向上的位置信息。
在一个实施例中，融合单元404具体用于：
将第一位置信息和第二位置信息进行融合，得到融合定位信息以及融合定位信息的置信度；
在置信度大于阈值的情况下，确定融合定位信息为机器人的定位信息。
在一个实施例中，该定位装置还可以包括：
第三确定单元405，用于根据图像确定机器人的第一路线；
第四确定单元406，用于根据地图和机器人的定位信息确定机器人的第二路线；
第五确定单元407，用于根据第一路线和第二路线确定机器人的行驶路径。
在一个实施例中，第三确定单元405具体用于：
识别图像中机器人所在道路对应的两条道路边线；
计算两条道路边线的中线；
对中线进行曲线平滑处理，得到机器人的第一路线。
在一个实施例中，第四确定单元406，具体用于从地图中查询机器人的定位信息对应道路的中线，得到机器人的第二路线。
在一个实施例中，第三确定单元405具体用于：
识别图像中机器人所在道路对应的第一道路边线；
根据地图和机器人的定位信息，确定机器人转弯后道路的第二道路边线；
根据第一道路边线和第二道路边线，确定机器人转弯后道路的入口位置和入口方向；
根据入口位置、入口方向以及机器人的定位信息和方向，计算转弯曲线，得到机器人的第一路线。
在一个实施例中，第四确定单元406，具体用于从地图中查询机器人的定位信息对应转弯道路的中线，得到机器人的第二路线。
在一个实施例中，第五确定单元407，具体用于对齐第一路线和第二路线，得到机器人的行驶路径。
在一个实施例中，该定位装置还可以包括：
生成单元408，用于生成用于按照行驶路径行驶的行驶指令；
执行单元409，用于执行行驶指令。
本实施例可对应于本申请实施例中方法实施例描述，并且各个单元的上述和其它操作和/或功能分别为了实现图1和图2中各方法中的相应流程，为了简洁，在此不再赘述。
请参阅图5，图5是本申请实施例提供的一种路径确定装置的结构示意图。其中，该路径确定装置可应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图5所示，该路径确定装置可以包括：
采集单元501，用于通过摄像头采集图像；
第一确定单元502，用于根据图像确定机器人的第一路线；
第二确定单元503，用于根据地图和机器人的定位信息确定机器人的第二路线；
第三确定单元504，用于根据第一路线和第二路线确定机器人的行驶路径。
在一个实施例中，第一确定单元502具体用于：
识别图像中机器人所在道路对应的两条道路边线；
计算两条道路边线的中线；
对中线进行曲线平滑处理，得到机器人的第一路线。
在一个实施例中，第二确定单元503，具体用于从地图中查询机器人的定位信息对应道路的中线，得到机器人的第二路线。
在一个实施例中，第一确定单元502具体用于：
识别图像中机器人所在道路对应的第一道路边线；
根据地图和机器人的定位信息，确定机器人转弯后道路的第二道路边线；
根据第一道路边线和第二道路边线，确定机器人转弯后道路的入口位置和入口方向；
根据入口位置、入口方向以及机器人的定位信息和方向，计算转弯曲线，得到机器人的第一路线。
在一个实施例中，第二确定单元503，具体用于从地图中查询机器人的定位信息对应转弯道路的中线，得到机器人的第二路线。
在一个实施例中，第三确定单元504，具体用于对齐第一路线和第二路线，得到机器人的行驶路径。
在一个实施例中，该路径确定装置还可以包括：
生成单元505，用于生成用于按照行驶路径行驶的行驶指令；
执行单元506，用于执行行驶指令。
本实施例可对应于本申请实施例中方法实施例描述，并且各个单元的上述和其它操作和/或功能分别为了实现图2和图3中各方法中的相应流程，为了简洁，在此不再赘述。
请参阅图6，图6是本申请实施例提供的一种机器人的结构示意图。其中，该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图6所示，该机器人可以包括至少一个处理器601、存储器602、定位部件603、摄像头604和通信线路605。存储器602可以是独立存在的，可以通过通信线路605与处理器601相连接。存储器602也可以和处理器601集成在一起。其中，通信线路605用于实现这些组件之间的连接。
在一个实施例中，存储器602中存储的计算机程序指令被执行时，该处理器601用于执行上述实施例中执行第二确定单元403、融合单元404、第三确定单元405、第四确定单元406、第五确定单元407、生成单元408和执行单元409中至少部分单元的操作，定位部件603用于执行上述实施例中第一确定单元401执行的操作，摄像头604用于执行上述实施例中采集单元402执行的操作。上述机器人还可以用于执行前述方法实施例中终端设备执行的各种方法，不再赘述。
在另一个实施例中，存储器602中存储的计算机程序指令被执行时，该处理器601用于执行上述实施例中执行第一确定单元502、第二确定单元503、第三确定单元504、生成单元505和执行单元505中至少部分单元的操作，摄像头604用于执行上述实施例中采集单元501执行的操作。上述机器人还可以用于执行前述方法实施例中执行的各种方法，不再赘述。
本申请实施例还公开一种计算机可读存储介质，其上存储有指令，该指令被执行时执行上述方法实施例中的方法。该可读存储介质可以是易失性存储介质，也可以是非易失性存储介质。
本申请实施例还公开一种包含指令的计算机程序产品，该指令被执行时执行上述方法实施例中的方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以 通过程序指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random-Access Memory，RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (31)

  1. 一种定位方法，包括：
    通过定位部件确定机器人的第一位置信息；
    通过摄像头采集图像；
    根据所述图像，确定所述机器人的第二位置信息；
    融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息。
  2. 根据权利要求1所述的方法，其中，所述定位部件包括激光雷达，所述通过定位部件确定所述机器人的第一位置信息包括：
    通过所述激光雷达采集定位数据；
    根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
  3. 根据权利要求1或2所述的方法，其中，所述根据所述图像，确定所述机器人的第二位置信息包括：
    确定所述机器人与所述图像中标志性物体之间的相对位置；
    根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
  4. 根据权利要求3所述的方法，其中，所述确定所述机器人与所述图像中标志性物体之间的相对位置包括：
    检测所述图像中的标志性物体；
    根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
  5. 根据权利要求3或4所述的方法，其中，所述根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
    根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
  6. 根据权利要求5所述的方法，其中，所述根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
    将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
    识别所述图像中所述机器人所在道路的道路边线；
    根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
    其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
  7. 根据权利要求1-6任一项所述的方法，其中，所述融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息包括：
    将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
    在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
  8. 根据权利要求1-7任一项所述的方法，其中，所述方法还包括：
    根据所述图像确定所述机器人的第一路线；
    根据地图和所述机器人的定位信息确定所述机器人的第二路线；
    根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
  9. 根据权利要求8所述的方法，其中，所述根据所述图像确定所述机器人的第一路线包括：
    识别所述图像中所述机器人所在道路对应的两条道路边线；
    计算所述两条道路边线的中线；
    对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
  10. 根据权利要求9所述的方法，其中，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
    从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
  11. 根据权利要求8所述的方法，其中，所述根据所述图像确定所述机器人的第一路线包括：
    识别所述图像中所述机器人所在道路对应的第一道路边线；
    根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
    根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
    根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
  12. 根据权利要求11所述的方法，其中，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
    从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
  13. 根据权利要求8-12任一项所述的方法，其中，所述根据所述第一路线和所述第二路线确定所述机器人的行驶路径包括：
    对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
  14. 根据权利要求8-13任一项所述的方法，其中，所述方法还包括：
    生成用于按照所述行驶路径行驶的行驶指令；
    执行所述行驶指令。
  15. 一种定位装置，包括：
    第一确定单元，用于通过定位部件确定机器人的第一位置信息；
    采集单元，用于通过摄像头采集图像；
    第二确定单元，用于根据所述图像，确定所述机器人的第二位置信息；
    融合单元，用于融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息。
  16. 根据权利要求15所述的装置，其中，所述定位部件包括激光雷达，所述第一确定单元具体用于：
    通过所述激光雷达采集定位数据；
    根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
  17. 根据权利要求15或16所述的装置，其中，所述第二确定单元具体用于：
    确定所述机器人与所述图像中标志性物体之间的相对位置；
    根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
  18. 根据权利要求17所述的装置，其中，所述第二确定单元确定所述机器人与所述图像中标志性物体之间的相对位置包括：
    检测所述图像中的标志性物体；
    根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
  19. 根据权利要求17或18所述的装置，其中，所述第二确定单元根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
    根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的 第二位置信息。
  20. 根据权利要求19所述的装置，其中，所述第二确定单元根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
    将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
    识别所述图像中所述机器人所在道路的道路边线；
    根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
    其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
  21. 根据权利要求15-20任一项所述的装置，其中，所述融合单元具体用于：
    将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
    在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
  22. 根据权利要求15-21任一项所述的装置，其中，所述装置还包括：
    第三确定单元，用于根据所述图像确定所述机器人的第一路线；
    第四确定单元，用于根据地图和所述机器人的定位信息确定所述机器人的第二路线；
    第五确定单元，用于根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
  23. 根据权利要求22所述的装置，其中，所述第三确定单元具体用于：
    识别所述图像中所述机器人所在道路对应的两条道路边线；
    计算所述两条道路边线的中线；
    对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
  24. 根据权利要求23所述的装置，其中，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
  25. 根据权利要求22所述的装置，其中，所述第三确定单元具体用于：
    识别所述图像中所述机器人所在道路对应的第一道路边线；
    根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
    根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
    根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
  26. 根据权利要求25所述的装置，其中，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
  27. 根据权利要求22-26任一项所述的装置，其中，所述第五确定单元，具体用于对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
  28. 根据权利要求22-27任一项所述的装置，其中，所述装置还包括：
    生成单元，用于生成用于按照所述行驶路径行驶的行驶指令；
    执行单元，用于执行所述行驶指令。
  29. 一种机器人，包括处理器、存储器、定位部件、摄像头，所述存储器用于存储计算机程序代码，所述定位部件用于定位，所述摄像头用于采集图像，所述处理器用于调用所述计算机程序代码执行如权利要求1-14任一项所述的方法。
  30. 一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-14任一项所述的方法。
  31. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现权利要求1-14任一项所述的方法。
PCT/CN2019/124412 2019-09-26 2019-12-10 定位方法、路径确定方法、装置、机器人及存储介质 WO2021056841A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021519865A JP2022504728A (ja) 2019-09-26 2019-12-10 ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体
SG11202103843YA SG11202103843YA (en) 2019-09-26 2019-12-10 Positioning method and device, path determination method and device, robot and storage medium
US17/227,915 US20210229280A1 (en) 2019-09-26 2021-04-12 Positioning method and device, path determination method and device, robot and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910915168.8 2019-09-26
CN201910915168.8A CN110530372B (zh) 2019-09-26 2019-09-26 定位方法、路径确定方法、装置、机器人及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/227,915 Continuation US20210229280A1 (en) 2019-09-26 2021-04-12 Positioning method and device, path determination method and device, robot and storage medium

Publications (1)

Publication Number Publication Date
WO2021056841A1 true WO2021056841A1 (zh) 2021-04-01

Family

ID=68670274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/124412 WO2021056841A1 (zh) 2019-09-26 2019-12-10 定位方法、路径确定方法、装置、机器人及存储介质

Country Status (6)

Country Link
US (1) US20210229280A1 (zh)
JP (1) JP2022504728A (zh)
CN (1) CN110530372B (zh)
SG (1) SG11202103843YA (zh)
TW (2) TWI742554B (zh)
WO (1) WO2021056841A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530372B (zh) * 2019-09-26 2021-06-22 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质
CN111121805A (zh) * 2019-12-11 2020-05-08 广州赛特智能科技有限公司 基于道路交通标线标志的局部定位修正方法、设备及介质
CN111524185A (zh) * 2020-04-21 2020-08-11 上海商汤临港智能科技有限公司 定位方法及装置、电子设备和存储介质
CN113884093A (zh) * 2020-07-02 2022-01-04 苏州艾吉威机器人有限公司 Agv建图和定位的方法、系统、装置及计算机可读存储介质
CN114076602B (zh) * 2020-08-20 2024-07-16 北京四维图新科技股份有限公司 定位方法及定位设备
CN112405526A (zh) * 2020-10-26 2021-02-26 北京市商汤科技开发有限公司 一种机器人的定位方法及装置、设备、存储介质
CN112867977A (zh) * 2021-01-13 2021-05-28 华为技术有限公司 一种定位方法、装置和车辆
CN112800159B (zh) * 2021-01-25 2023-10-31 北京百度网讯科技有限公司 地图数据处理方法及装置
CN113706621B (zh) * 2021-10-29 2022-02-22 上海景吾智能科技有限公司 基于带标记图像的标志点定位及姿态获取方法和系统
CN116008991B (zh) * 2022-12-12 2024-08-06 北京斯年智驾科技有限公司 一种岸桥下车辆定位方法、装置、电子设备及存储介质
TWI832686B (zh) * 2023-01-23 2024-02-11 國立陽明交通大學 路徑規劃系統及其路徑規劃方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108776474A (zh) * 2018-05-24 2018-11-09 中山赛伯坦智能科技有限公司 集成高精度导航定位与深度学习的机器人嵌入式计算终端
US20190187241A1 (en) * 2018-12-27 2019-06-20 Intel Corporation Localization system, vehicle control system, and methods thereof
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN109931939A (zh) * 2019-02-27 2019-06-25 杭州飞步科技有限公司 车辆的定位方法、装置、设备及计算机可读存储介质
CN110530372A (zh) * 2019-09-26 2019-12-03 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674992A (zh) * 2014-11-20 2016-06-15 高德软件有限公司 一种导航方法及装置
CN105448184B (zh) * 2015-11-13 2019-02-12 北京百度网讯科技有限公司 地图道路的绘制方法及装置
CN105783936B (zh) * 2016-03-08 2019-09-24 武汉中海庭数据技术有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN107398899A (zh) * 2016-05-20 2017-11-28 富泰华工业（深圳）有限公司 无线信号强度定位引导系统及方法
JP6535634B2 (ja) * 2016-05-26 2019-06-26 本田技研工業株式会社 経路案内装置及び経路案内方法
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
JP6834401B2 (ja) * 2016-11-24 2021-02-24 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
JP7016214B2 (ja) * 2016-11-29 2022-02-04 アルパイン株式会社 走行可能領域設定装置および走行可能領域設定方法
JP6891753B2 (ja) * 2017-09-28 2021-06-18 ソニーグループ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
JP6859927B2 (ja) * 2017-11-06 2021-04-14 トヨタ自動車株式会社 自車位置推定装置
JP2019152924A (ja) * 2018-02-28 2019-09-12 学校法人立命館 自己位置同定システム、車両、及び処理装置
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109141437B (zh) * 2018-09-30 2021-11-26 中国科学院合肥物质科学研究院 一种机器人全局重定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108776474A (zh) * 2018-05-24 2018-11-09 中山赛伯坦智能科技有限公司 集成高精度导航定位与深度学习的机器人嵌入式计算终端
US20190187241A1 (en) * 2018-12-27 2019-06-20 Intel Corporation Localization system, vehicle control system, and methods thereof
CN109931939A (zh) * 2019-02-27 2019-06-25 杭州飞步科技有限公司 车辆的定位方法、装置、设备及计算机可读存储介质
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110530372A (zh) * 2019-09-26 2019-12-03 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
SG11202103843YA (en) 2021-05-28
TW202144150A (zh) 2021-12-01
TWI742554B (zh) 2021-10-11
CN110530372A (zh) 2019-12-03
US20210229280A1 (en) 2021-07-29
JP2022504728A (ja) 2022-01-13
TW202112513A (zh) 2021-04-01
CN110530372B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
WO2021056841A1 (zh) 定位方法、路径确定方法、装置、机器人及存储介质
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
RU2645388C2 (ru) Устройство определения неправильного распознавания
JP5157067B2 (ja) 自動走行用マップ作成装置、及び自動走行装置。
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
Schreiber et al. Laneloc: Lane marking based localization using highly accurate maps
JP5966747B2 (ja) 車両走行制御装置及びその方法
KR101241651B1 (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
JP5747787B2 (ja) 車線認識装置
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
KR20220033477A (ko) 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
US10942519B2 (en) System and method for navigating an autonomous driving vehicle
US10963708B2 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road
US20170103275A1 (en) Traffic Signal Recognition Apparatus and Traffic Signal Recognition Method
JP2018048949A (ja) 物体識別装置
JP7461399B2 (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
JP7321035B2 (ja) 物体位置検出方法及び物体位置検出装置
JP6790951B2 (ja) 地図情報学習方法及び地図情報学習装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
US20240221390A1 (en) Lane line labeling method, electronic device and storage medium
JP2010176592A (ja) 車両用運転支援装置
TWI805077B (zh) 路徑規劃方法及其系統
CN116242375A (zh) 一种基于多传感器的高精度电子地图生成方法和系统
CN115050203A (zh) 地图生成装置以及车辆位置识别装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021519865

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947309

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19947309

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23.05.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 19947309

Country of ref document: EP

Kind code of ref document: A1