WO2020000737A1 - 移动机器人定位方法、存储介质及计算机设备 - Google Patents

移动机器人定位方法、存储介质及计算机设备 Download PDF

Info

Publication number
WO2020000737A1
WO2020000737A1 PCT/CN2018/108175 CN2018108175W WO2020000737A1 WO 2020000737 A1 WO2020000737 A1 WO 2020000737A1 CN 2018108175 W CN2018108175 W CN 2018108175W WO 2020000737 A1 WO2020000737 A1 WO 2020000737A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
position information
information
panoramic
codes
Prior art date
Application number
PCT/CN2018/108175
Other languages
English (en)
French (fr)
Inventor
鲁豫杰
方牧
李陆洋
Original Assignee
未来机器人（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 未来机器人（深圳）有限公司 filed Critical 未来机器人（深圳）有限公司
Publication of WO2020000737A1 publication Critical patent/WO2020000737A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Definitions

  • the present application relates to the field of computer technology, and in particular, to a mobile robot positioning method, a storage medium, and a computer device.
  • the positioning of a mobile robot refers to determining the position coordinates of the robot during its movement.
  • the positioning of a mobile robot mainly includes relative positioning and absolute positioning.
  • Relative positioning refers to tracking and estimation of a mobile robot based on its initial posture.
  • the absolute positioning is Calculate the robot's position in the world coordinate system by pre-determining the environment model or directly providing the robot with external location information through sensors.
  • the traditional robot positioning method uses laser SLAM (Simultaneous Localization and Mapping) positioning method.
  • This positioning method uses laser scanning environment contour information to establish a grid map and use the grid map to locate directly. Once the environment changes, it is easy to cause positioning failure.
  • a mobile robot positioning method a storage medium, and a computer device are provided.
  • a mobile robot positioning method includes:
  • the method further includes: Perform denoising processing.
  • the acquiring image position information of the multiple image codes in the panoramic image in the panoramic image includes:
  • the method further includes: The number of valid image codes;
  • the step of calculating and obtaining position information of each valid image code according to corner information corresponding to each valid image code is performed.
  • the method further includes:
  • the method further includes:
  • calculating the image relative position information of each of the image code and the center position of the panoramic image according to the image position information of each of the image codes includes:
  • the image relative position information of each of the valid image code and the center position of the panoramic image is calculated.
  • the calculating relative angle information of each corresponding image code and the panoramic camera according to the image relative position information includes:
  • the relative angle information of each valid image code and the panoramic camera is calculated according to the image relative position information of each valid image code and the center position of the panoramic image.
  • the relative angle information of each of the valid image codes and the panoramic camera is calculated by the following formula:
  • ⁇ is the relative angle between the effective image code and the panoramic camera
  • a 2 is the angle calculation function
  • (v-cy, u-cx) is the image relative position coordinates of the effective image code and the center position of the panoramic image
  • (u, v ) Represents the position coordinates of the effective image code
  • (cx, cy) represents the position coordinates of the center position of the panoramic image.
  • the camera external parameter of the panoramic camera is obtained, and the position information and corresponding posture of the mobile robot are calculated according to the position information and corresponding posture information of the camera external parameter and the panoramic camera.
  • the position information and corresponding posture information of the mobile robot as initial position information and initial posture information, respectively, further includes:
  • the posture information is optimized to obtain the position information of the mobile robot at the current time and corresponding posture information.
  • a computer-readable storage medium stores a computer program thereon, and when the computer program is executed by a processor, the steps of the mobile robot positioning method are implemented.
  • a computer device includes a memory and a processor.
  • the memory stores a computer program
  • the processor implements the steps of the mobile robot positioning method when the processor executes the computer program.
  • the mobile robot positioning method, storage medium and computer device provided by the present application acquire a panoramic image captured by a panoramic camera, acquire image position information of a plurality of image codes in the panoramic image, and determine the position information in the panoramic image according to the image position information of each image code.
  • the relative angle information of each image code and the panoramic camera is calculated based on the image relative position information.
  • the panoramic camera's image is calculated based on the image position information of each image code and the corresponding relative angle information.
  • the position information and corresponding attitude information are used to obtain the camera external parameters of the panoramic camera, and the position information and corresponding attitude information of the mobile robot are calculated according to the camera external parameters and the position information of the panoramic camera and the corresponding attitude information.
  • the relative positions obtained are in the same reference frame, and the position of the panoramic camera is calculated based on the image position of the image code and the relative angle information of the panoramic camera and the image code And attitude accuracy are higher, the position and attitude of the mobile robot calculated through higher accuracy data are also more accurate, and the use of a panoramic camera to obtain data can reduce project costs.
  • FIG. 1 is an application environment diagram of a mobile robot positioning method according to an embodiment
  • FIG. 2 is an application environment diagram of a mobile robot positioning method according to another embodiment
  • FIG. 3 is a schematic flowchart of positioning a mobile robot according to an embodiment
  • FIG. 4 is a schematic flowchart of a step of calculating image position information according to an embodiment
  • FIG. 5 is a schematic flowchart of a mobile robot positioning step according to an embodiment
  • FIG. 6 is a schematic flowchart of a mobile robot positioning step according to another embodiment
  • FIG. 7 is a schematic flowchart of a mobile robot positioning method according to another embodiment
  • FIG. 8 is a schematic flowchart of a mobile robot positioning method according to another embodiment
  • FIG. 9 is a structural block diagram of a robot positioning device according to an embodiment
  • FIG. 10 is a structural block diagram of a location acquisition module according to an embodiment
  • FIG. 11 is a structural block diagram of a computer device according to an embodiment.
  • the picture includes a panoramic camera 110, a processor 120, a device 130, and an odometer 140.
  • the device 130 may be a mobile robot, and the device 130 is used to carry the panoramic camera 110 and the processor 120.
  • odometer 140 the panoramic camera 110 is used to capture a panoramic image
  • the processor 120 is used to process the panoramic image captured by the panoramic camera 110
  • the odometer 140 is used to calculate movement data of the device 130.
  • the moving path of the device 130 is preset with an image code 150 used to indicate corresponding position information at different positions.
  • the image code 150 includes identification information for distinguishing each image code, and different image codes carry identifiers. The information is different.
  • the image code 150 here refers to all image codes that have been set in advance.
  • the panoramic camera 110 acquires panoramic images at different times and places and sends the acquired panoramic images to the processor 120.
  • the panoramic image includes the image code 150 captured by the panoramic camera 110.
  • the captured image code 150 is used as an auxiliary tool to increase the characteristics of the environment.
  • the processor 120 calculates the image position information of each image code 150 in the panoramic image in the panoramic image, obtains the image relative position information of each image code 150 and the center position of the panoramic image according to the image position information, and obtains corresponding information according to different image relative position information.
  • the relative angle information of each image code 150 and the panoramic camera 110 is obtained from the position information of the panoramic camera 110 and the corresponding attitude information according to the image position information and the corresponding relative angle information.
  • the image code 150 here refers to the image code included in the panoramic image captured by the panoramic camera 110.
  • the image code 150 appearing below generally refers to the image captured by the panoramic camera 110 code.
  • FIG. 2 is an application environment diagram of a mobile robot positioning method, and the diagram includes a device 130 and a terminal 160 (or a server 170).
  • the device 130 is connected to the terminal 160 (or the server 170) through a network.
  • the device 130 can be used as a data acquisition device, and the terminal 160 (or the server 170) is used to perform data processing on the data collected by the device 130.
  • a mobile robot positioning method is provided. This embodiment is mainly described by using the method applied to the terminal 160 (or the server 170) in FIG. 2 described above. Referring to FIG. 2, the mobile robot positioning method specifically includes the following steps:
  • Step S202 Acquire a panoramic image captured by a panoramic camera.
  • the panoramic image includes multiple image codes.
  • the terminal 160 or the server 170 acquires a panoramic image captured by the panoramic camera 110 in the device 130.
  • the panoramic camera refers to scanning with a small field of view lens or its optical parts, and the optical axis of the camera is continuously changed to achieve an enlarged horizontal width. camera.
  • the image obtained by the panoramic camera is a panoramic image.
  • the panoramic image contains multiple image codes.
  • the identification information carried by the image code is used to distinguish each image code.
  • the image code can be a two-dimensional code, a one-dimensional code, or can be carried.
  • the two-dimensional code can be a two-dimensional code (such as QR code, Data matrix, Aruco code, Aperil TAg) or two-dimensional code array that people are familiar with, or other types of artificial labels, such as having a special structure Reflective labels, cylindrical artificial labels and more.
  • a two-dimensional code such as QR code, Data matrix, Aruco code, Aperil TAg
  • two-dimensional code array that people are familiar with, or other types of artificial labels, such as having a special structure Reflective labels, cylindrical artificial labels and more.
  • Step S204 Acquire image position information of the multiple image codes in the panoramic image in the panoramic image.
  • step S206 image relative position information of each image code and the center position of the panoramic image is calculated according to the image position information of each image code.
  • the terminal 160 or the server 170 performs image processing on the panoramic image to obtain each image code, and acquires image position information of each image code in the panoramic image in the panoramic image, and acquires the image position of each image code in the panoramic image.
  • the image relative position information of the image code and the center position of the panoramic image is calculated from the image position information of each image code.
  • the center position of the panoramic image refers to the intersection of the camera optical axis and the sensor in the panoramic camera.
  • the method before acquiring image position information of the multiple image codes in the panoramic image in the panoramic image, the method further includes performing denoising processing on the panoramic image.
  • Images may be polluted by noise during the process of acquisition and transmission.
  • Common noises are mainly Gaussian noise and salt and pepper noise.
  • Gaussian noise is mainly generated by the sensor components of the camera, and salt and pepper noise is mainly cut by the image.
  • Denoising the panoramic image can reduce the interference of noise on the panoramic image.
  • the method before acquiring the position of the image code, further includes: judging the number of image codes in the panoramic image.
  • the image codes included in the panoramic image may be determined from the image codes included in the panoramic image. Select a preset number of image codes according to a preset rule.
  • the preset rules can be customized. For example, image codes that are not on the same line as the panoramic camera are selected from the image codes included in the panoramic image as candidate image codes. If the number of image codes obtained is greater than the preset number, then A target image code is selected from the candidate image codes according to a second preset rule, and position information of the target image code is acquired.
  • the method before acquiring the position of the image code, further includes: judging the number of image codes in the panoramic image.
  • the number of image codes included is less than a preset number
  • other auxiliary positioning methods may be used for positioning For example, using odometer measurement data for positioning, or positioning the same image code in the world coordinate system at different times.
  • Step S208 Calculate the relative angle information of each image code and the panoramic camera according to the relative position information of the image.
  • the relative angle information of the image code and the panoramic camera refers to the display angle information between the camera and the image code in the world coordinate system.
  • the angle information can be directly obtained through measurement, or the image code and the panoramic camera in the panoramic image.
  • the angle information is calculated.
  • the angle information of the image code and the panoramic camera in the panoramic image is the relative angle information between the camera and the image code in the boundary coordinate system.
  • the angle information of the image code and the panoramic camera in the panoramic image can be Calculated from the position information of the image code and the position information of the panoramic camera.
  • the position coordinates of the image code be (u, v), and the image coordinates corresponding to the intersection of the optical axis of the panoramic camera and the sensor be (cx, cy), (cx, cy) can be obtained according to prior calibration, (v-cy, u-cx) is the relative position coordinates of each image code and the center position of the image.
  • the angle of the image code relative to the panoramic camera in the ground plane is atan 2 (v-cy, u-cx), where atan2 is a function used to calculate the angle.
  • the panoramic camera may be a monocular camera equipped with a fisheye lens when viewed vertically, and (cx, cy) may be an image center position of the fisheye lens.
  • Step S210 Calculate position information and corresponding attitude information of the panoramic camera according to image position information and corresponding relative angle information of each image code.
  • the position information and corresponding attitude information of the panoramic camera are calculated according to the position information of each image code and the image center in the panoramic image, the relative angle of each image code and the panoramic camera in the image.
  • the relative position information of image code A and image code B, the relative position information of image code A and image code C, and the relative position information between image code B and image code C, and image code A, B, and C The relative angle with the panoramic camera has been determined.
  • the image code and the panoramic camera are connected, and the image code and the image code are connected. According to the sine theorem, the position information and attitude information of the panoramic camera can be obtained.
  • Step S212 Obtain camera external parameters of the panoramic camera, and calculate position information and corresponding posture information of the mobile robot according to the position information and corresponding attitude information of the camera external parameters and the panoramic camera.
  • the external parameters of the panoramic camera can be obtained by calibration according to the external parameter calibration algorithm.
  • the position information and the corresponding attitude information of the mobile robot are calculated according to the camera external parameters of the panoramic camera and the position information and corresponding attitude information of the panoramic camera.
  • the panoramic image includes multiple image codes, acquiring image position information in the panoramic image of the multiple image codes in the panoramic image, and according to the image position information of each image code.
  • Obtain position information and corresponding attitude information of the camera obtain camera external parameters of the panoramic camera, and calculate position information and corresponding attitude information of the mobile robot according to the camera external parameters and the position information of the panoramic camera and the corresponding attitude information.
  • calculate the relative position between each image code and obtain the image code and The relative angle information of the panoramic camera.
  • the position information and posture information of the panoramic camera in the panoramic image are calculated based on the relative angle information and the relative position information of each image code.
  • the mobile robot is determined based on the position information and posture information of the panoramic camera in the panoramic image.
  • the position information and attitude information of the mobile robot are determined by the camera external reference of the panoramic camera and the on-position information and attitude information of the panoramic camera.
  • acquiring image position information in the panoramic image of multiple image codes in the panoramic image includes steps S302 to S308.
  • step S302 a binarization process is performed on the panoramic image to obtain a binarized image.
  • step S304 the contour information of each image code in the binary image is extracted to obtain the corner point information corresponding to each image code.
  • binarization refers to turning an image into a black-and-white image, that is, the image can be binarized according to a preset binarization threshold, such as setting the gray value of a pixel point on the image to 0 or 255.
  • You can set the gray value of pixels whose gray value is greater than the binarization threshold to 255 and the gray value of pixels less than or equal to the binarization threshold to 0 to present a black and white effect.
  • Binarizing the image can reduce the image data, obtain the contour information of the image, extract the contour information of the image code in the binary image, and determine the corner information of each image code according to the contour information corresponding to each image code.
  • the information includes corner point coordinates and so on.
  • Step S306 Decode each image code to obtain multiple valid image codes that are successfully decoded.
  • Step S308 Calculate the position information of each valid image code according to the corner information corresponding to each valid image code, and use the position information of each valid image code as the image position information.
  • decoding each image code refers to obtaining the information stored in the image code, and successful decoding means successfully obtaining the information carried in the image code.
  • the validity of each image code is determined according to the decoding result of each image code, and the successfully decoded image code is taken as the effective image code.
  • Calculate the position information of each image code by using the corner information corresponding to each valid image code.
  • the center position coordinates of each image code are used as the position information of each image code.
  • the shape of the image code can be customized according to requirements, as defined as Triangle, quadrilateral or polygon.
  • the image code is a quadrilateral
  • the corner information is the position information of the four vertices of the image code.
  • the position information includes vertex coordinates, and the center position coordinates of the image code are calculated according to the vertex coordinates. It is simple and convenient to calculate the position coordinates of the image code in the image through the image processing algorithm.
  • the above mobile robot positioning method further includes:
  • step S402 when the number of image codes included in the current panoramic image is less than a preset number, position information and corresponding attitude information of the mobile robot at the previous moment are acquired.
  • the preset number is a preset threshold.
  • the previous time refers to the time of the position information and corresponding posture information of the mobile robot calculated before the current time.
  • the position information and corresponding attitude information of the mobile robot at the last moment may be calculated based on the image code position information, the relative angle information between the image code and the camera, and the camera external parameters in the panoramic image at the last moment, or may be based on the image
  • the position information of the code and the measurement data of the odometer in the mobile robot are calculated.
  • Step S404 Obtain measurement data of an odometer in the mobile robot.
  • Step S406 Calculate the position information and posture information of the mobile robot at the current time based on the measurement data of the odometer and the position information and corresponding posture information of the mobile robot at the previous time.
  • an odometer is a device that uses data obtained from a motion sensor to estimate changes in the position of an object over time.
  • the device is used on many types of robotic systems (wheeled or legged).
  • Velocity is very sensitive to errors produced by time integration to obtain an estimate of the position.
  • the Position information and corresponding attitude information According to the position information and corresponding attitude information of the mobile robot at the previous time and the corresponding attitude change and position change of the measurement data, the Position information and corresponding attitude information.
  • the panoramic image captured by the panoramic camera during the movement of the mobile robot may not contain an image code or contain fewer image codes, there is no way to calculate the position information and posture information of the mobile robot through the image code, or the calculated position information and The accuracy of the attitude information is not high, and the positioning of the mobile robot can be better achieved through the aid of positioning data measured by the odometer.
  • the above mobile robot positioning method further includes:
  • step S502 when the number of image codes included in the current panoramic image is greater than a preset number, a preset number of image codes are selected from the image codes according to a preset rule as a target image code.
  • step S504 the initial position information and corresponding initial posture information of the mobile robot are obtained according to the position information of the target image code and the camera external parameters of the panoramic camera.
  • Step S506 Calculate the position information and corresponding attitude information of the mobile robot according to the image position information, the initial position information, and the corresponding initial posture information of the multiple image codes in the panoramic image.
  • the preset rule is a custom rule for filtering image codes
  • the preset rule may be a limitation on a relative position between the image codes, a relative position between the image code and a panoramic camera, and the like.
  • select image codes that satisfy the preset rule from the image codes included in the current panoramic image select a preset number of image codes from the image codes that meet the preset rule .
  • the target image code obtain the position information of the target image code in the panoramic image and the camera external parameters of the panoramic camera, and calculate the initial position information and initial position of the mobile robot based on the camera external parameters of the panoramic image code and the position information of the target image code.
  • Posture information, the initial position information and the corresponding initial pose information and the position information of all image codes in the panoramic image are input into the position and pose optimization model.
  • the loss value of the model is minimized, and the optimized position information and The corresponding posture information is used as the position information and corresponding posture information of the mobile robot at the current time.
  • the preset rule is set to be that multiple image codes are on the same line as the panoramic camera, one of the image codes is selected as the image code in that direction.
  • an image code that satisfies a preset rule is selected from the image codes included in the current panoramic image, and the number of image codes that meet the preset rule is determined.
  • the number of image codes that meet the preset rule is less than the preset number
  • To enter the position information and corresponding attitude information of the mobile robot at the previous moment to obtain the odometer measurement data in the mobile robot, and calculate based on the odometer measurement data and the position information and corresponding attitude information of the mobile robot at the previous moment, Get the position information and attitude information of the mobile robot at the current moment.
  • the odometry measurement data is used to assist the mobile robot in positioning, so that the positioning is more accurate, and the situation that the image code cannot be used for positioning can be avoided.
  • obtaining the relative angle information of each image code and the panoramic camera includes:
  • the position of the panoramic camera in the panoramic image is obtained, and the relative position information and relative position of the panoramic camera and each image code in the panoramic image are calculated according to the image position information of the panoramic camera and the image position information of each image code in the panoramic image.
  • Angle information according to parameters such as the shooting angle of the camera and relative angle information, determine the relative angle information of the panoramic camera and the image code.
  • step S212 using the position information and corresponding posture information of the mobile robot as the initial position information and the initial posture information, respectively, further includes:
  • Step S214 Acquire multiple panoramic images of a preset time period or a preset distance.
  • Step S216 Image processing is performed on each panoramic image to obtain image position information of each image code in each panoramic image.
  • Step S218, input the image position information, initial position information, and initial posture information of each image code in each panoramic image into the optimization model, and optimize the initial position information and initial posture information through the optimization rules corresponding to the optimization model to obtain a mobile robot Position information and corresponding attitude information at the current time.
  • the preset time period is preset time interval length information, and the preset time period can be customized.
  • the interval time can be set to 1 minute, 3 minutes, or 5 minutes.
  • the preset distance length is the preset displacement interval distance.
  • the preset distance length can be customized, such as 100m, 500m or 1Km.
  • the position information and corresponding posture information of the mobile robot at the current moment are determined according to the image code in the panoramic image, and the position information and corresponding posture information are used as the initial position information and the initial posture information.
  • Image code extraction is performed on each panoramic image to obtain position information of each image code in each panoramic image.
  • Gesture information is performed by the image position information, initial position information and initial posture information of each image code in the panoramic image at different times.
  • the robot positioning method includes:
  • Step S602 Acquire a panoramic image captured by a panoramic camera.
  • the panoramic image includes multiple image codes.
  • step S604 the panoramic image is binarized to obtain a binarized image, contour information of each image code in the binarized image is extracted, and corner point information corresponding to each image code is obtained.
  • Step S606 Decode each image code to obtain multiple valid image codes that have been successfully decoded, count the number of valid image codes, and determine whether the number of valid image codes is less than a preset number. When the number of valid image codes is less than a preset number If yes, go to step S608, otherwise go to step S610.
  • Step S608 Obtain the position information and corresponding attitude information of the mobile robot at the previous time, obtain the odometer measurement data in the mobile robot, and calculate based on the odometer measurement data and the position information and corresponding attitude information of the mobile robot at the previous time. To obtain the position information and posture information of the mobile robot at the current moment.
  • step S610 it is determined whether the number of valid image codes is equal to a preset number. When the number of valid image codes is greater than the preset number, the process proceeds to step S612. When the number of valid image codes is equal to the preset number, the process proceeds to step S616.
  • step S612 a preset number of image codes are selected from the valid image codes according to a preset rule, and as a target image code, each target image code is calculated based on the image position information of each target image code and the image position information corresponding to the panoramic camera.
  • the relative angle information of the panoramic camera is calculated based on the position information of each target image code, the corresponding relative angle information, and the camera's external parameters of the panoramic camera to obtain the initial position information and corresponding initial attitude information of the mobile robot.
  • Step S614 Calculate according to the image position information, the initial position information, and the corresponding initial posture information of the effective image code in the panoramic image to obtain the position information and corresponding posture information of the mobile robot.
  • Step S616 Calculate the relative angle information of each target image code and the panoramic camera according to the image position information of each target image code and the image position information corresponding to the panoramic camera, and according to the position information of each target image code, the corresponding relative angle information, and the panorama The external parameters of the camera are calculated to obtain the position information and corresponding attitude information of the mobile robot.
  • step S618 the position information and corresponding posture information of the mobile robot calculated in step S614 or step S616 are used as the initial position information and the initial posture information, respectively.
  • Step S620 obtaining a plurality of panoramic images of a preset time period or a preset distance length.
  • Step S622 Image processing is performed on each panoramic image to obtain image position information of each image code in each panoramic image.
  • Step S624 input the image position information, initial position information, and initial posture information of each image code in each panoramic image into the optimization model, and optimize the initial position information and initial posture information through the optimization rules corresponding to the optimization model to obtain a mobile robot Position information and corresponding attitude information at the current time.
  • FIGS. 3-8 are schematic flowcharts of a mobile robot positioning method according to an embodiment. It should be understood that although the steps in the flowcharts of FIGS. 3-8 are sequentially displayed in accordance with the directions of the arrows, these steps are not necessarily performed sequentially in the order indicated by the arrows. Unless explicitly stated in this document, the execution of these steps is not strictly limited, and these steps can be performed in other orders. Moreover, at least a part of the steps in FIG. 3-8 may include multiple sub-steps or stages. These sub-steps or stages are not necessarily performed at the same time, but may be performed at different times. These sub-steps or stages The execution order of is not necessarily performed sequentially, but may be performed in turn or alternately with at least a part of another step or a sub-step or stage of another step.
  • a robot positioning device 200 includes a position acquisition module 202, a relative position calculation module 204, a relative angle calculation module 206, a panoramic camera positioning module 208, and Robot positioning module 210.
  • the position acquisition module 202 is configured to acquire a panoramic image captured by a panoramic camera.
  • the panoramic image includes multiple image codes, and acquires image position information of the multiple image codes in the panoramic image in the panoramic image.
  • the relative position calculation module 204 is configured to determine image relative position information of each image code and a center position of the panoramic image according to image position information of each image code.
  • the relative angle calculation module 206 is configured to obtain the relative angle information of each corresponding image code and the panoramic camera according to the relative position information of the image.
  • the panoramic camera positioning module 208 is configured to calculate position information and corresponding attitude information of the panoramic camera according to the image relative position information and corresponding relative angle information of each image code.
  • the robot positioning module 210 is configured to obtain camera external parameters of the panoramic camera, and calculate position information and corresponding posture information of the mobile robot according to the position information and corresponding posture information of the camera external parameters and the panoramic camera.
  • the robot positioning device 200 further includes an image denoising module, which is used for denoising the panoramic image to reduce the interference of the noise on the panoramic image.
  • the position acquisition module 202 includes a binarization unit 2022, a corner information calculation unit 2024, a decoding unit 2026, and an image position information calculation unit 2028.
  • the binarization unit 2022 is configured to perform binarization processing on the panoramic image to obtain a binarized image.
  • the corner point information calculation unit 2024 is configured to extract contour information of each image code in the binarized image to obtain corner point information corresponding to each image code;
  • the decoding unit 2026 is configured to decode each image code to obtain multiple valid image codes that are successfully decoded.
  • the image position information calculation unit 2028 is configured to calculate position information of each valid image code according to corner information corresponding to each valid image code, and use the position information of each valid image code as image position information.
  • the robot positioning device 200 is further configured to determine the number of image codes in the panoramic image. When the number of image codes included in the current panoramic image is less than a preset number, obtain the position information of the mobile robot at the previous moment. And corresponding attitude information; obtain measurement data of the odometer in the mobile robot; calculate the position data and attitude information of the mobile robot at the current moment based on the odometer measurement data and the position information and corresponding attitude information of the mobile robot at the previous moment .
  • the robot positioning device 200 is further configured to determine the number of image codes in the panoramic image. When the number of image codes included in the current panoramic image is greater than a preset number, the robot positioning device 200 is selected from the image codes according to a preset rule. Preset a preset number of image codes as the target image code; calculate the initial position information and corresponding initial posture information of the mobile robot based on the position information of the target image code and the camera's external parameters of the panoramic camera; according to multiple images in the panoramic image The image position information, the initial position information, and the corresponding initial posture information in the image are calculated by the code to obtain the position information and corresponding posture information of the mobile robot.
  • the relative angle calculation module 206 is further configured to obtain image position information of the panoramic camera in the panoramic image, and calculate according to the image position information corresponding to the panoramic camera and the image position information of each image code to obtain each image code and panorama. Relative angle information of the camera.
  • the robot positioning device 200 is further configured to use the position information and corresponding posture information of the mobile robot as the initial position information and the initial posture information, respectively; and obtain multiple panoramic images of a preset time period or a preset distance length; Perform image processing on each panoramic image to obtain the image position information of each image code in each panoramic image; input the image position information, initial position information, and initial attitude information of each image code in each panoramic image into the optimization model, and correspondingly through the optimization model
  • the optimization rules of the first initial position information and the first initial posture information are optimized to obtain the position information and corresponding posture information of the mobile robot at the current moment.
  • FIG. 11 shows an internal structure diagram of a computer device in one embodiment.
  • the computer device may specifically be the terminal 160 (or the server 170) in FIG. 2.
  • the computer device includes the computer device including a processor, a memory, a network interface, an input device, and a display screen connected through a system bus.
  • the memory includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium of the computer device stores an operating system and a computer program.
  • the processor can implement a positioning method for a mobile robot.
  • a computer program may also be stored in the internal memory, and when the computer program is executed by the processor, the processor may cause the processor to execute the positioning method of the mobile robot.
  • the display screen of a computer device can be a liquid crystal display or an electronic ink display screen.
  • the input device of the computer device can be a touch layer covered on the display screen, or a button, a trackball or a touchpad provided on the computer device casing. It can be an external keyboard, trackpad, or mouse.
  • FIG. 11 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer equipment to which the solution of the present application is applied.
  • the specific computer equipment may be Include more or fewer parts than shown in the figure, or combine certain parts, or have a different arrangement of parts.
  • the mobile robot positioning device provided in this application may be implemented in the form of a computer program, and the computer program may be run on a computer device as shown in FIG. 11.
  • the memory of the computer device may store various program modules constituting the mobile robot positioning device, such as the A module, the B module, and the C module shown in FIG. 9.
  • the computer program constituted by each program module causes the processor to execute the steps in the mobile robot positioning method of each embodiment of the present application described in this specification.
  • the computer device shown in FIG. 11 may execute a position acquisition module 202 in the mobile robot positioning device shown in FIG. 9 to execute a panoramic image captured by a panoramic camera.
  • the panoramic image includes multiple image codes, and multiple Image code's image position information in the panoramic image.
  • the relative position calculation module 204 calculates image relative position information of each image code and the center position of the panoramic image according to the image position information of each image code.
  • the relative angle calculation module 206 calculates the relative angle information of each corresponding image code and the panoramic camera according to the image relative position information.
  • the relative position calculation module 208 of the image code and the camera performs calculation based on the image position information and corresponding relative angle information of each image code to obtain position information and corresponding attitude information of the panoramic camera.
  • the positioning module 210 executes acquiring camera external parameters of the panoramic camera, and calculates position information and corresponding posture information of the mobile robot according to the position information and corresponding posture information of the camera external parameters and the panoramic camera.
  • a computer device includes a memory and a processor.
  • the memory stores a computer program.
  • the processor executes the computer program, the processor implements the following steps: acquiring a panoramic image captured by a panoramic camera, including a plurality of image codes in the panoramic image, and acquiring multiple images in the panoramic image.
  • the image position information of the image code in the panoramic image is calculated based on the image position information of each image code.
  • the image relative position information of each image code and the panoramic image center position is calculated.
  • the corresponding image code and the panoramic camera are calculated based on the image relative position information.
  • Relative angle information The position information and corresponding attitude information of the panoramic camera are obtained according to the image position information and corresponding relative angle information of each image code.
  • the camera external parameters of the panoramic camera are obtained.
  • the corresponding attitude information is calculated to obtain the position information of the mobile robot and the corresponding attitude information.
  • the processor executes the computer program, the following steps are further implemented: performing a denoising process on the panoramic image.
  • the following steps are further implemented: binarizing the panoramic image to obtain a binarized image, extracting contour information of each image code in the binarized image, and obtaining a corresponding image code
  • the corner information is used to decode each image code to obtain multiple valid image codes that have been successfully decoded.
  • the position information of each valid image code is calculated based on the corner information corresponding to each valid image code, and the position information of each valid image code is obtained. As image position information.
  • the processor when the processor executes the computer program, the following steps are further implemented: counting the number of valid image codes; when the number of valid image codes is equal to a preset number, executing calculations based on the corner information corresponding to each valid image code to obtain each Steps for valid image code position information.
  • the processor executes the computer program, the following steps are further implemented: when the number of valid image codes is greater than a preset number, a preset number of image codes are selected from the valid image codes according to a preset rule as a target image Code; according to the position information of the target image code and the camera's external parameters of the panoramic camera, the initial position information of the mobile robot and the corresponding initial attitude information are obtained; according to the image position information in the image of the multiple image codes in the panoramic image, the initial The position information and the corresponding initial posture information are calculated to obtain the position information and the corresponding posture information of the mobile robot.
  • the processor executes the computer program, the following steps are further implemented: when the number of valid image codes is less than a preset number, acquiring the position information and corresponding attitude information of the mobile robot at the previous moment; acquiring mileage in the mobile robot The measured mobile data of the mobile robot is calculated; based on the mobile data of the mobile robot and the position information and corresponding attitude information of the mobile robot at the previous moment, the position information and posture information of the mobile robot at the current moment are obtained.
  • the processor when the processor executes the computer program, the processor further implements the following steps: obtaining position information of the center position of the panoramic image; and calculating each valid image code and the position information of the center position of the panoramic image Image relative position information of the center position of the panoramic image.
  • the processor executes the computer program, the following steps are further implemented: according to the relative position information of each valid image code and the center position of the panoramic image, the relative angle information of each valid image code and the panoramic camera is calculated.
  • the relative angle information of each valid image code and the panoramic camera is calculated by the following formula:
  • ⁇ is the relative angle between the effective image code and the panoramic camera
  • a 2 is the angle calculation function
  • (v-cy, u-cx) is the image relative position coordinates of the effective image code and the center position of the panoramic image
  • (u, v ) Represents the position coordinates of the effective image code
  • (cx, cy) represents the position coordinates of the center position of the panoramic image.
  • the processor when the processor executes the computer program, the processor further implements the following steps: acquiring multiple panoramic images of a preset time period or a preset distance length; performing image processing on each panoramic image to obtain the image code of each image in each panoramic image. Image position information; input the image position information, initial position information, and initial posture information of each image code in each panoramic image into the optimization model, and optimize the initial position information and initial posture information through the optimization rules corresponding to the optimization model to obtain a mobile robot Position information and corresponding attitude information at the current time.
  • a computer-readable storage medium has stored thereon a computer program that, when executed by a processor, implements the following steps: acquiring a panoramic image captured by a panoramic camera, the panoramic image including a plurality of image codes, and acquiring a plurality of panoramic images
  • the image position information of the image code in the panoramic image is calculated based on the image position information of each image code.
  • the image relative position information of each image code and the panoramic image center position is calculated.
  • the corresponding image code and the panoramic camera are calculated based on the image relative position information.
  • Relative angle information The position information and corresponding attitude information of the panoramic camera are obtained according to the image position information and corresponding relative angle information of each image code.
  • the camera external parameters of the panoramic camera are obtained.
  • the corresponding attitude information is calculated to obtain the position information of the mobile robot and the corresponding attitude information.
  • the following steps are also implemented: performing denoising processing on the panoramic image.
  • the following steps are further implemented: binarizing the panoramic image to obtain a binarized image, extracting contour information of each image code in the binarized image, and obtaining each image code.
  • Corresponding corner information is used to decode each image code to obtain multiple valid image codes that have been successfully decoded.
  • the position information of each valid image code is calculated based on the corner information corresponding to each valid image code. The information is used as image position information.
  • the following steps are further implemented: counting the number of valid image codes; when the number of valid image codes is equal to a preset number, performing calculation based on the corner information corresponding to each valid image code Steps for the location information of each valid image code.
  • the following steps are further implemented: when the number of valid image codes is greater than a preset number, a preset number of image codes are selected from the valid image codes according to a preset rule as a target Image code; based on the position information of the target image code and the camera's external parameters of the panoramic camera, the initial position information and corresponding initial posture information of the mobile robot are obtained; according to the image position information in the image of the multiple image codes in the panoramic image, The initial position information and the corresponding initial posture information are calculated to obtain the position information and corresponding posture information of the mobile robot.
  • the following steps are also implemented: when the number of valid image codes is less than a preset number, obtaining the position information and corresponding attitude information of the mobile robot at the previous moment;
  • the odometer measures the movement data of the mobile robot; and calculates based on the movement data of the mobile robot and the position information and corresponding attitude information of the mobile robot at the previous moment to obtain the position information and attitude information of the mobile robot at the current moment.
  • the following steps are further implemented: obtaining position information of the center position of the panoramic image; and calculating each valid image code according to the position information of each valid image code and the position information of the center position of the panoramic image. Image relative position information with the center position of the panoramic image.
  • the following steps are further implemented: according to the relative position information of each valid image code and the center position of the panoramic image, the relative angle information of each valid image code and the panoramic camera is calculated.
  • the relative angle information of each valid image code and the panoramic camera is calculated by the following formula:
  • ⁇ is the relative angle between the effective image code and the panoramic camera
  • a 2 is the angle calculation function
  • (v-cy, u-cx) is the image relative position coordinates of the effective image code and the center position of the panoramic image
  • (u, v ) Represents the position coordinates of the effective image code
  • (cx, cy) represents the position coordinates of the center position of the panoramic image.
  • the following steps are further implemented: acquiring multiple panoramic images of a preset time period or a predetermined distance length; performing image processing on each panoramic image to obtain each image code in each panoramic image Image position information; input the image position information, initial position information, and initial posture information of each image code in each panoramic image into the optimization model, and optimize the initial position information and initial posture information through the optimization rules corresponding to the optimization model to get the movement Position information and corresponding attitude information of the robot at the current moment.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in various forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM dual data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain (Synchlink) DRAM
  • SLDRAM synchronous chain (Synchlink) DRAM
  • Rambus direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

一种移动机器人定位方法、存储介质及计算机设备，包括：获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码的在全景图像中的图像位置信息，根据各个图像码的图像位置信息确定各个图像码的图像相对位置信息，获取各个图像码与全景相机的相对角度信息，根据各个图像码的图像相对位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息，提高了移动机器人的定位精确度，降低了设备成本。

Description

移动机器人定位方法、存储介质及计算机设备
相关申请的交叉引用
本申请要求于2018年06月27日提交中国专利局、申请号为2018106788223、申请名称为“移动机器人定位方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，特别是涉及一种移动机器人定位方法、存储介质及计算机设备。
背景技术
随着计算机技术的发展，移动机器人的定位方法不断发展。移动机器人的定位是指确定机器人在运动过程中的位置坐标，目前移动机器人的定位主要包括相对定位和绝对定位，相对定位是指根据机器人的初始位姿，对移动机器人进行跟踪估计，绝对定位是对预先确定好环境模型或通过传感器直接向机器人提供外界位置信息，计算机器人在世界坐标系中的位置。
传统的机器人定位方法采用激光SLAM(Simultaneous Localization and Mapping)定位方法，该定位方法采用激光扫描环境轮廓信息，建立栅格地图，直接利用栅格地图进行定位，一旦环境发生变化，容易导致定位失败。
发明内容
根据本申请公开的各种实施例，提供一种移动机器人定位方法、存储介质及计算机设备。
一种移动机器人定位方法，包括：
获取全景相机拍摄的全景图像，所述全景图像中包括多个图像码；
获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息；
根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息；
根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息；
根据各个所述图像码的图像位置信息和对应的相对角度信息计算得到所述全景相机的位置信息和对应的姿态信息；
获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息。
在一个实施例中，所述获取全景相机拍摄的全景图像之后，所述获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息之前，还包括：对所述全景图像进行去噪处理。
在一个实施例中，所述获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息，包括：
对所述全景图像进行二值化处理，得到二值化图像；
提取所述二值化图像中各个所述图像码的轮廓信息，得到各个所述图像码对应的角点信息；
对各个所述图像码进行解码，得到解码成功的多个有效图像码；
根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息，将各个所述有效图像码的位置信息作为所述多个图像码的在所述全景图像中的图像位置信息。
在一个实施例中，所述得到解码成功的多个有效图像码之后，所述根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息之前，还包括：统计所述有效图像码的数目；
当所述有效图像码的数目等于预设数量时，执行所述根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息的步骤。
在一个实施例中，所述方法还包括：
当所述有效图像码的数目大于预设数量时，根据预设规则从所述有效图像码中选取出预设数目个图像码，作为目标图像码；
根据所述目标图像码的位置信息和所述全景相机的相机外参计算，得到所述移动机器人的初始位置信息和对应的初始姿态信息；
根据所述全景图像中多个图像码的在图像中的图像位置信息、所述初始位置信息和对应的初始姿态信息计算，得到所述移动机器人的位置信息和对应的姿态信息。
在一个实施例中，所述方法还包括：
当所述有效图像码的数目小于预设数量时，获取上一时刻所述移动机器人的位置信息和对应的姿态信息；
获取所述移动机器人中的里程计的测量的所述移动机器人的移动数据；
根据所述移动机器人的移动数据和上一时刻所述移动机器人的位置信息和对应的姿态信息计算，得到当前时刻所述移动机器人的位置信息和姿态信息。
在一个实施例中，所述根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息，包括：
获取所述全景图像中心位置的位置信息；
根据各个有效图像码的位置信息，以及所述全景图像中心位置的位置信息，计算各个所述有效图像码与所述全景图像中心位置的图像相对位置信息。
在一个实施例中，所述根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息，包括：
根据各个所述有效图像码与所述全景图像中心位置的图像相对位置信息，计算得到各个所述有效图像码与所述全景相机的相对角度信息。
在一个实施例中，通过以下公式计算得到各个所述有效图像码与所述全景相机的相对角度信息：
α＝a tan 2(v-cy,u-cx)
其中，α为有效图像码与全景相机的相对角度，a tan 2为角度计算函数，(v-cy,u-cx)为有效图像码与全景图像中心位置的图像相对位置坐标，(u,v)表示有效图像码的位置坐标，(cx,cy)表示全景图像中心位置的位置坐标。
在一个实施例中，所述获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息之后，将所述移动机器人的位置信息和对应的姿态信息分别作为初始位置信息和初始姿态信息，还包括：
获取预设时间段或预设距离长度的多幅全景图像；
对各个所述全景图像进行图像处理，得到各个所述全景图像中各个图像码的图像位置信息；
将各个所述全景图像中各个图像码的图像位置信息、所述初始位置信息和所述初始姿态信息输入优化模型中，通过所述优化模型对应的优化规则对所述初始位置信息和所述初始姿态信息进行优化，得到所述移动机器人在当前时刻的位置信息和对应的姿态信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述移动机器人定位方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述移动机器人定位方法的步骤。
本申请提供的移动机器人定位方法、存储介质及计算机设备，获取全景相机拍摄的全景图像，获取全景图像中多个图像码的在全景图像中的图像位置信息，根据各个图像码的图像位置信息确定各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。对全景图像进行图像分析，得到全景图像中包含的图像码的在全景图像中的位置信息，根据各个图像码在全景图像中的 位置，计算各个图像码与图像中心位置之间的图像相对位置，根据图像相对位置计算各个图像码与全景相机的相对角度信息，根据该相对角度信息和各个图像码的位置信息计算全景相机的在位置信息和姿态信息，通过全景相机的相机外参和全景相机的在位置信息和姿态信息，确定移动机器人的位置信息和对应的姿态信息。计算同一副全景图像的图像码与图像中心位置的相对位置，得到的相对位置都在同一个参考系，根据图像码的图像位置以及全景相机与图像码的相对角度信息计算得到的全景相机的位置和姿态精确度更高，通过精确度更高的数据计算得到的移动机器人的位置和姿态也更为精确，且采用全景相机获取数据，可以降低项目成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为一个实施例提供的移动机器人定位方法的应用环境图；
图2为另一个实施例提供的移动机器人定位方法的应用环境图；
图3为一个实施例提供的移动机器人定位的流程示意图；
图4为一个实施例提供的计算图像位置信息步骤的流程示意图；
图5为一个实施例提供的移动机器人定位步骤的流程示意图；
图6为另一个实施例提供的移动机器人定位步骤的流程示意图；
图7为再一个实施例提供的移动机器人定位方法的流程示意图；
图8为又一个实施例提供的移动机器人定位方法的流程示意图；
图9为一个实施例提供的机器人定位装置的结构框图；
图10为一个实施例提供的位置获取模块的结构框图；
图11为一个实施例提供的计算机设备的结构框图。
具体实施方式
为了使本申请的发明目的、技术方案及技术效果更加清楚明白，以下结合附图对本申请的具体实施例进行描述。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，在一个实施中，图中包括全景相机110、处理器120、设备130、里程计140，其中，设备130可以是移动机器人，设备130用于搭载全景相机110、处理器120和里程计140，全景相机110用于拍摄全景图像，处理器120用于对全景相机110拍摄的全景图像进行处理，里程计140用于计算设备130的移动数据。此外，在设备130的移动路径上预先设置有位于不同位置的、用来表示对应的位置信息的图像码150，图像码150包含有用于区分各个图像码的标识信息，不同的图像码携带的标识信息不同，此处的图像码150指的是预先设置好的所有图像码。
具体地，在设备130进行位置移动的过程中，全景相机110获取不同时刻不同地点的全景图像，并将获取的全景图像发送至处理器120，全景图像中包括全景相机110拍摄到的图像码150，拍摄到的图像码150作为辅助工具用于增加环境的特征。处理器120计算全景图像中各个图像码150在全景图像中的图像位置信息，根据图像位置信息得到各个图像码150与全景图像中心位置的图像相对位置信息，根据不同的图像相对位置信息得到对应的各个图像码150与全景相机110的相对角度信息，根据图像位置信息和对应的相对角度信息得到全景相机110的位置信息和对应的姿态信息，根据全景相机110的相机外参、全景相机110的位置信息和对应的姿态信息确定设备130的位置信息和姿态信息。需要说明的是，此处的图像码150是指全景相机110拍摄到的全景图像中包含的图像码，另外，为了便于解释说明，下文出现的图像码150一般是指全景相机110拍摄到的图像码。
如图2所示，在一个实施例中，图2为移动机器人定位方法的应用环境图，图中包括设备130和终端160(或服务器170)。设备130与终端160(或服务器170)通过网络连接，其中设备130可以当作数据采集设备，终端160(或服务 器170)用于对设备130采集到的数据进行数据处理。
如图3所示，在一个实施例中，提供了一种移动机器人定位方法。本实施例主要以该方法应用于上述图2中的终端160(或服务器170)来举例说明。参照图2，该移动机器人定位方法具体包括如下步骤：
步骤S202，获取全景相机拍摄的全景图像，全景图像中包括多个图像码。
具体地，终端160或服务器170获取设备130中的全景相机110拍摄的全景图像，全景相机是指利用小视场角镜头或其光学零件运动扫描，相机光轴指向连续改变，实现扩大横向幅宽的相机。通过全景相机拍摄得到的图像为全景图像，在全景图像中包含了多个图像码，其中图像码携带的标识信息用于区分各个图像码，图像码可以是二维码、一维码或能够携带标识信息的编码图片，其中，二维码可以是人们熟识的二维码(例如：QR code、Data Matrix、Aruco code、Aperil TAg)或二维码阵，或其他种类人工标签，例如有特殊结构的反光标签，圆柱形人工标签等等。
步骤S204，获取全景图像中多个图像码的在全景图像中的图像位置信息。
步骤S206，根据各个图像码的图像位置信息根据各个图像码的图像位置信息，计算各个图像码与全景图像中心位置的图像相对位置信息。
具体地，终端160或服务器170对全景图像进行图像处理，得到各个图像码，并获取全景图像中各个图像码在全景图像中的图像位置信息，在获取到各个图像码在全景图像中的图像位置信息之后，通过各个图像码的图像位置信息计算图像码与全景图像中心位置的图像相对位置信息，全景图像中心位置是指全景相机中相机光轴与传感器的交点。
在一个实施例中，在获取全景图像中多个图像码的在全景图像中的图像位置信息之前，还包括对全景图像进行去噪处理。图像在获取、传输的过程中都可能会受到噪声的污染，常见的噪声主要有高斯噪声和椒盐噪声，其中，高斯噪声主要是由相机的传感器元器件内部产生的，椒盐噪声主要是由图像切割所产生的黑白相间的亮暗点噪声，“椒”表示黑色噪声，“盐”表示白色噪声。通过对全景图像进行去噪处理，可以减少噪音对全景图像的干扰。
在一个实施例中，在获取图像码位置之前还包括：对全景图像中的图像码的数目进行判断，当包含的图像码的数目大于预设数目时，可以从全景图像中包含的图像码中按照预设规则选取预设数目的图像码。预设规则可以自定义，如从全景图像中包含的图像码中选择出与全景相机不在同一直线上的图像码，作为候选图像码，若得到的图像码的图像码数目大于预设数目，则按照第二预设规则从候选图像码选出目标图像码，获取目标图像码的位置信息。
在另一个实施例中，在获取图像码位置之前还包括：对全景图像中的图像码的数目进行判断，当包含的图像码的数目小于预设数目时，可以采用其他的辅助定位方式进行定位，如采用里程计测量数据进行定位，或是采用不同时刻的同一图像码在世界坐标系中的位置一致性进行定位。
步骤S208，根据图像相对位置信息计算各个图像码与全景相机的相对角度信息。
具体地，图像码与全景相机的相对角度信息是指在世界坐标系中相机与图像码之间的展示角度信息，该角度信息可以直接通过测量得到，也可以通过全景图像中图像码与全景相机的角度信息计算得到。当全景相机的光轴与水平面垂直时，全景图像中图像码与全景相机的角度信息即为界坐标系中相机与图像码之间相对角度信息，全景图像中图像码与全景相机的角度信息可以通过图像码的位置信息和全景相机的位置信息计算得到，设图像码的位置坐标为(u,v)，全景相机光轴与传感器的交点对应的图像坐标为(cx,cy)，(cx,cy)可以根据事先标定得出，(v-cy,u-cx)为各个图像码与图像中心位置的相对位置坐标。图像码相对于全景相机在地平面的角度为a tan 2(v-cy,u-cx)，其中atan2是用于计算角度的函数。
在一个实施例中，全景相机可以是一个垂直向上观测配有鱼眼镜头的单目相机，(cx,cy)可以是鱼眼镜头的图像中心位置。
步骤S210，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息。
具体地，根据全景图像中各个图像码与图像中心的图像位置信息、各个图像码和全景相机在图像中的相对角度，计算得到全景相机的位置信息和对应的姿态信息。如已知图像码A和图像码B的相对位置信息、图像码A和图像码C的相对位置信息，以及图像码B和图像码C之间的相对位置信息，且图像码A、B和C与全景相机的相对角度已经确定，将图像码和全景相机进行连接，图像码和图像码连接，根据正弦定理可以求得全景相机的位置信息和姿态信息。
步骤S212，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。
具体地，全景相机的外参可以根据外参标定算法进行标定得到。根据全景相机的相机外参和全景相机的位置信息和对应的姿态信息计算移动机器人的位置信息和对应的姿态信息。
上述移动机器人定位方法，通过获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码的在全景图像中的图像位置信息，根据各个图像码的图像位置信息确定各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。对全景图像进行图像处理，得到全景图像中包含的图像码的在全景图像中的位置信息，根据各个图像码在全景图像中的位置，计算出各个图像码之间的相对位置，获取图像码与全景相机的相对角度信息，根据该相对角度信息和各个图像码的相对位置信息计算全景相机的在全景图像中的位置信息和姿态信息，根据全景图像中全景相机的位置信息和姿态信息确定移动机器人的位置信息和姿态信息，通过全景相机的相机外参和全景相机的在位置信息和姿态信息，确定移动机器人的位置信息和对应的姿态信息。
在一个实施例中，如图4所示，获取全景图像中多个图像码的在全景图像中的图像位置信息，包括步骤S302至步骤S308。
步骤S302，对全景图像进行二值化处理，得到二值化图像。
步骤S304，提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息。
具体地，二值化是指将图像变为黑白图像，即可以按照预先设定的二值化阈值对图像进行二值化处理，如将图像上的像素点的灰度值设置为0或255，可以将灰度值大于二值化阈值的像素点的灰度值设置为255，小于等于二值化阈值的像素点的灰度值设置为0，呈现黑白效果。获取预先设置的或根据图像自适应得到的二值化阈值，根据二值化阈值对全景图像进行二值化处理，得到全景图像对应的二值化图像。对图像进行二值化处理能够减少图像数据，得到图像的轮廓信息，提取二值化图像中图像码的轮廓信息，根据各个图像码对应的轮廓信息确定各个图像码的角点信息，其中角点信息包括角点坐标等。
步骤S306，对各个图像码进行解码，得到解码成功的多个有效图像码。
步骤S308，根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。
具体地，各个图像码进行解码是指获取图像码中存储的信息，解码成功是指成功获取到图像码中携带的信息。根据各个图像码的解码结果确定各个图像码的有效性，将成功解码的图像码作为有效图像码。通过各个有效图像码对应的角点信息，计算各个图像码的位置信息，如将各个图像码的中心位置坐标作为各个图像码的位置信息，其中图像码的形状可以根据需求自定义，如定义为三角形，四边形或多边型等。在一个实施例中，图像码为四边形，角点信息为图像码的四个顶点的位置信息，位置信息包括顶点坐标，根据顶点坐标计算图像码的中心位置坐标。通过图像处理算法计算图像码在图像中的位置坐标简单方便。
在一个实施例中，如图5所示，上述移动机器人定位方法还包括：
步骤S402，当当前全景图像中包含的图像码数目小于预设数目时，获取上一时刻移动机器人的位置信息和对应的姿态信息。
具体地，预设数目是预先设置的临界值，当全景图像中的图像码数目小于预设数目时，上一时刻是指当前时刻之前计算得到的移动机器人的位置信息和对应的姿态信息的时刻，上一时刻移动机器人的位置信息和对应的姿态信息可以是根据上一时刻全景图像中的图像码位置信息、图像码与相机的相对角度信息和相机外参计算得到的，也可以是根据图像码的位置信息和移动机器人中的里程计的测量数据计算得到的。
步骤S404，获取移动机器人中的里程计的测量数据。
步骤S406，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。
具体地，里程计是一种利用从移动传感器获得的数据来估计物体位置随时间的变化而改变的装置，该装置被用在许多种机器人系统(轮式或者腿式)上面，该装置对由速度对时间积分来求得位置的估计时所产生的误差十分敏感。根据里程计测量数据确定当前时刻和上一时刻的姿态变化和位置变化，根据上一时刻移动机器人的位置信息和对应的姿态信息和测量数据对应的姿态变化和位置变化，得到当前时刻移动机器人的位置信息和对应的姿态信息。由于移动机器人在运动过程中全景相机拍摄的全景图像中可能不包含图像码或包含的图像码较少，则存在无法通过图像码计算移动机器人的位置信息和姿态信息，或计算得到的位置信息与姿态信息精确度不高，通过里程计的测量数据辅助定位能够更好的实现移动机器人的定位。
在一个实施例中，如图6所示，上述移动机器人定位方法还包括：
步骤S502，当当前全景图像中包含的图像码数目大于预设数目时，根据预设规则从图像码中选取出预设数目个图像码，作为目标图像码。
步骤S504，根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息。
步骤S506，根据全景图像中多个图像码的在图像中的图像位置信息、初 始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。
具体地，预设规则是用于筛选图像码的自定义规则，预设规则可以是对图像码之间的相对位置的限定、图像码与全景相机之间的相对位置限定等。当当前全景图像中包含的图像码数目大于预设数目时，从当前全景图像中包含的图像码选择满足预设规则的图像码，从满足预设规则的图像码中选择预设数目个图像码，作为目标图像码，获取目标图像码在全景图像中的位置信息以及全景相机的相机外参，根据全景图像码的相机外参和目标图像码的位置信息计算得到移动机器人的初始位置信息和初始姿态信息，将初始位置信息和对应的初始姿态信息以及全景图像中全部图像码的位置信息输入位置姿态优化模型，根据优化模型对应的参数，使得模型的损失值最小，得到优化后的位置信息和对应的姿态信息，作为当前时刻移动机器人的位置信息和对应的姿态信息。如设置预设规则为多个图像码与全景相机在同一直线上时，选取其中一个图像码作为该方向上的图像码，当获取到的满足预设规则的图像码大于预设数目时，当预设数目为3时，当满足预设规则的图像码数据大于等于3时，从满足预设规则的图像码中选取3个图像码，作为目标图像码，根据目标图像码在全景图像中的位置信息和全景相机的参数计算得到移动机器人的位置信息和对应的姿态信息。
在一个实施例中，从当前全景图像中包含的图像码选择满足预设规则的图像码，对满足预设规则图像码的数目进行判断，当满足预设规则图像码的数目小于预设数目时，进入获取上一时刻移动机器人的位置信息和对应的姿态信息，获取移动机器人中的里程计的测量数据，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。满足预设规则的图像码小于预设数目时，通过里程计测量数据辅助移动机器人进行定位，使得定位更为准确，避免单独采用图像码进行定位时出现无法定位的情况。
在一个实施例中，获取各个图像码与全景相机的相对角度信息包括：
获取全景相机在全景图像中的图像位置信息，根据全景相机对应的图像位置信息和各个图像码的图像位置信息计算，得到各个图像码与全景相机的相对角度信息。
具体地，获取全景相机在全景图像中的位置，根据全景相机的图像位置信息和全景图像中各个图像码的图像位置信息，计算得到在全景图像中全景相机与各个图像码的相对位置信息和相对角度信息，根据相机的拍摄角度等参数和相对角度信息，确定全景相机与图像码的相对角度信息。
在一个实施例中，如图7所示，步骤S212之后，将移动机器人的位置信息和对应的姿态信息分别作为初始位置信息和初始姿态信息，还包括：
步骤S214，获取预设时间段或预设距离长度的多幅全景图像。
步骤S216，对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息。
步骤S218，将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。
其中，预设时间段是预先设置的时间间隔长度信息，预设时间段可以自定义，如可以设置间隔时间为1分钟、3分钟或5分钟等，预设距离长度是预先设置的位移间隔距离，预设距离长度可以自定义，如可以设置为100m、500m或1Km。
具体地，根据全景图像中的图像码确定当前时刻移动机器人的位置信息和对应的姿态信息，将位置信息和对应的姿态信息作为初始位置信息和初始姿态信息。对各个全景图像进行图像码提取，得到各个全景图像中各个图像码的位置信息。将不同时刻全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型，根据优化模型中的优化规则对输入的数据进行优化处理，得到当前时刻移动机器人的位置信息和对应的姿态信息。
在一个实施例中，如图8所示，上述机器人定位方法包括：
步骤S602，获取全景相机拍摄的全景图像，全景图像中包括多个图像码。
步骤S604，对全景图像进行二值化处理，得到二值化图像，提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息。
步骤S606，对各个图像码进行解码，得到解码成功的多个有效图像码，统计有效图像码的数目，判断有效图像码的数目是否小于预设数目，当有效图像码的数目小于预设数目时，进入步骤S608，反之进入步骤S610。
步骤S608，获取上一时刻移动机器人的位置信息和对应的姿态信息，获取移动机器人中的里程计的测量数据，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。
步骤S610，判断有效图像码的数目是否等于预设数目，当有效图像码的数目大于预设数目，进入步骤S612，当有效图像码的数目等于预设数目进入步骤S616。
步骤S612，根据预设规则从有效图像码中选取出预设数目个图像码，作为目标图像码，根据各个目标图像码的图像位置信息和全景相机对应的图像位置信息计算得到各个目标图像码与全景相机的相对角度信息，根据各个目标图像码的位置信息、对应的相对角度信息和全景相机的相机外参计算得到移动机器人的初始位置信息和对应的初始姿态信息。
步骤S614，根据全景图像中有效图像码在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。
步骤S616，根据各个目标图像码的图像位置信息和全景相机对应的图像位置信息计算得到各个目标图像码与全景相机的相对角度信息，根据各个目标图像码的位置信息、对应的相对角度信息和全景相机的相机外参计算得到移动机器人的位置信息和对应的姿态信息。
步骤S618，将上述步骤S614或步骤S616中计算得到的移动机器人的位置信息和对应的姿态信息分别作为初始位置信息和初始姿态信息。
步骤S620，获取预设时间段或预设距离长度的多幅全景图像。
步骤S622，对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息。
步骤S624，将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。
图3-8为一个实施例中移动机器人定位方法的流程示意图。应该理解的是，虽然图3-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种机器人定位装置200，该机器人定位装置200包括位置获取模块202、相对位置计算模块204、相对角度计算模块206、全景相机定位模块208和机器人定位模块210。
位置获取模块202用于获取全景相机拍摄的全景图像，全景图像中包括多个图像码，并获取全景图像中多个图像码的在全景图像中的图像位置信息。
相对位置计算模块204用于根据各个图像码的图像位置信息确定各个图像码与全景图像中心位置的图像相对位置信息。
相对角度计算模块206，用于根据图像相对位置信息获取对应的各个图像码与全景相机的相对角度信息。
全景相机定位模块208用于根据各个图像码的图像相对位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息。
机器人定位模块210，用于获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。
在一个实施例中，机器人定位装置200还包括图像去噪模块，用于对全景图像进行去噪处理，以减少噪音对全景图像的干扰。
在一个实施例中，如图10所示，位置获取模块202包括二值化单元2022、角点信息计算单元2024、解码单元2026和图像位置信息计算单元2028。
二值化单元2022用于对所全景图像进行二值化处理，得到二值化图像。
角点信息计算单元2024用于提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息；
解码单元2026用于对各个图像码进行解码，得到解码成功的多个有效图像码。
图像位置信息计算单元2028用于根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。
在一个实施例中，机器人定位装置200还用于对全景图像中的图像码的数目进行判断，当当前全景图像中包含的图像码数目小于预设数目时，获取上一时刻移动机器人的位置信息和对应的姿态信息；获取移动机器人中的里程计的测量数据；根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。
在一个实施例中，机器人定位装置200还用于对全景图像中的图像码的数目进行判断，当当前全景图像中包含的图像码数目大于预设数目时，根据预设规则从图像码中选取出预设数目个图像码，作为目标图像码；根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息；根据全景图像中多个图像码的在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。
在一个实施例中，相对角度计算模块206还用于获取全景相机在全景图像中的图像位置信息，根据全景相机对应的图像位置信息和各个图像码的图像位置信息计算，得到各个图像码与全景相机的相对角度信息。
在一个实施例中，机器人定位装置200还用于将移动机器人的位置信息和对应的姿态信息分别作为初始位置信息和初始姿态信息；获取预设时间段或预设距离长度的多幅全景图像；对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息；将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则第一初始位置信息和第一初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图2中的终端160(或服务器170)。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现移动机器人定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行移动机器人定位方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的移动机器人定位装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机 设备的存储器中可存储组成该移动机器人定位装置的各个程序模块，比如，图9所示的A模块、B模块和C模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的移动机器人定位方法中的步骤。
例如，图11所示的计算机设备可以通过如图9所示的移动机器人定位装置中位置获取模块202执行获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码的在全景图像中的图像位置信息。相对位置计算模块204执行根据各个图像码的图像位置信息计算各个图像码与全景图像中心位置的图像相对位置信息。相对角度计算模块206执行根据图像相对位置信息计算对应的各个图像码与全景相机的相对角度信息。图像码与相机的相对位置计算模块208执行根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息。定位模块210执行获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码的在全景图像中的图像位置信息，根据各个图像码的图像位置信息计算各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算对应的各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对全景图像进行去噪处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对全景图像进行二值化处理，得到二值化图像，提取二值化图像中各个图像码的轮廓 信息，得到各个图像码对应的角点信息，对各个图像码进行解码，得到解码成功的多个有效图像码，根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：统计有效图像码的数目；当有效图像码的数目等于预设数量时，执行根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息的步骤。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当有效图像码的数目大于预设数量时，根据预设规则从有效图像码中选取出预设数目个图像码，作为目标图像码；根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息；根据全景图像中多个图像码的在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当有效图像码的数目小于预设数量时，获取上一时刻移动机器人的位置信息和对应的姿态信息；获取移动机器人中的里程计的测量的移动机器人的移动数据；根据移动机器人的移动数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取全景图像中心位置的位置信息；根据各个有效图像码的位置信息，以及全景图像中心位置的位置信息，计算各个有效图像码与全景图像中心位置的图像相对位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据各个有效图像码与全景图像中心位置的图像相对位置信息，计算得到各个有效图像码与全景相机的相对角度信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过以下公式计算得到各个有效图像码与全景相机的相对角度信息：
α＝a tan 2(v-cy,u-cx)
其中，α为有效图像码与全景相机的相对角度，a tan 2为角度计算函数，(v-cy,u-cx)为有效图像码与全景图像中心位置的图像相对位置坐标，(u,v)表示有效图像码的位置坐标，(cx,cy)表示全景图像中心位置的位置坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预设时间段或预设距离长度的多幅全景图像；对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息；将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码的在全景图像中的图像位置信息，根据各个图像码的图像位置信息计算各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算对应的各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对全景图像进行去噪处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对全景图像进行二值化处理，得到二值化图像，提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息，对各个图像码进行解码，得到解码成功的多个有效图像码，根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：统计有 效图像码的数目；当有效图像码的数目等于预设数量时，执行根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息的步骤。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当有效图像码的数目大于预设数量时，根据预设规则从有效图像码中选取出预设数目个图像码，作为目标图像码；根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息；根据全景图像中多个图像码的在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当有效图像码的数目小于预设数量时，获取上一时刻移动机器人的位置信息和对应的姿态信息；获取移动机器人中的里程计的测量的移动机器人的移动数据；根据移动机器人的移动数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取全景图像中心位置的位置信息；根据各个有效图像码的位置信息，以及全景图像中心位置的位置信息，计算各个有效图像码与全景图像中心位置的图像相对位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据各个有效图像码与全景图像中心位置的图像相对位置信息，计算得到各个有效图像码与全景相机的相对角度信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过以下公式计算得到各个有效图像码与全景相机的相对角度信息：
α＝a tan 2(v-cy,u-cx)
其中，α为有效图像码与全景相机的相对角度，a tan 2为角度计算函数，(v-cy,u-cx)为有效图像码与全景图像中心位置的图像相对位置坐标，(u,v)表示有效图像码的位置坐标，(cx,cy)表示全景图像中心位置的位置坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取预 设时间段或预设距离长度的多幅全景图像；对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息；将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (30)

  1. 一种移动机器人定位方法，包括：
    获取全景相机拍摄的全景图像，所述全景图像中包括多个图像码；
    获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息；
    根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息；
    根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息；
    根据各个所述图像码的图像位置信息和对应的相对角度信息计算得到所述全景相机的位置信息和对应的姿态信息；
    获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息。
  2. 根据权利要求1所述的方法，所述获取全景相机拍摄的全景图像之后，所述获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息之前，还包括：对所述全景图像进行去噪处理。
  3. 根据权利要求1所述的方法，所述获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息，包括：
    对所述全景图像进行二值化处理，得到二值化图像；
    提取所述二值化图像中各个所述图像码的轮廓信息，得到各个所述图像码对应的角点信息；
    对各个所述图像码进行解码，得到解码成功的多个有效图像码；
    根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息，将各个所述有效图像码的位置信息作为所述多个图像码的在所述全景图像中的图像位置信息。
  4. 根据权利要求3所述的方法，所述得到解码成功的多个有效图像码之后，所述根据各个所述有效图像码对应的角点信息计算得到各个所述有效图 像码的位置信息之前，还包括：
    统计所述有效图像码的数目；
    当所述有效图像码的数目等于预设数量时，执行所述根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息的步骤。
  5. 根据权利要求4所述的方法，所述方法还包括：
    当所述有效图像码的数目大于预设数量时，根据预设规则从所述有效图像码中选取出预设数目个图像码，作为目标图像码；
    根据所述目标图像码的位置信息和所述全景相机的相机外参计算，得到所述移动机器人的初始位置信息和对应的初始姿态信息；
    根据所述全景图像中多个图像码的在图像中的图像位置信息、所述初始位置信息和对应的初始姿态信息计算，得到所述移动机器人的位置信息和对应的姿态信息。
  6. 根据权利要求4所述的方法，所述方法还包括：
    当所述有效图像码的数目小于预设数量时，获取上一时刻所述移动机器人的位置信息和对应的姿态信息；
    获取所述移动机器人中的里程计的测量的所述移动机器人的移动数据；
    根据所述移动机器人的移动数据和上一时刻所述移动机器人的位置信息和对应的姿态信息计算，得到当前时刻所述移动机器人的位置信息和姿态信息。
  7. 根据权利要求3所述的方法，所述根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息，包括：
    获取所述全景图像中心位置的位置信息；
    根据各个有效图像码的位置信息，以及所述全景图像中心位置的位置信息，计算各个所述有效图像码与所述全景图像中心位置的图像相对位置信息。
  8. 根据权利要求7所述的方法，所述根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息，包括：
    根据各个所述有效图像码与所述全景图像中心位置的图像相对位置信息，计算得到各个所述有效图像码与所述全景相机的相对角度信息。
  9. 根据权利要求8所述的方法，通过以下公式计算得到各个所述有效图像码与所述全景相机的相对角度信息：
    α＝a tan 2(v-cy,u-cx)
    其中，α为有效图像码与全景相机的相对角度，a tan 2为角度计算函数，(v-cy,u-cx)为有效图像码与全景图像中心位置的图像相对位置坐标，(u,v)表示有效图像码的位置坐标，(cx,cy)表示全景图像中心位置的位置坐标。
  10. 根据权利要求1所述的方法，所述获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息之后，将所述移动机器人的位置信息和对应的姿态信息分别作为初始位置信息和初始姿态信息，还包括：
    获取预设时间段或预设距离长度的多幅全景图像；
    对各个所述全景图像进行图像处理，得到各个所述全景图像中各个图像码的图像位置信息；
    将各个所述全景图像中各个图像码的图像位置信息、所述初始位置信息和所述初始姿态信息输入优化模型中，通过所述优化模型对应的优化规则对所述初始位置信息和所述初始姿态信息进行优化，得到所述移动机器人在当前时刻的位置信息和对应的姿态信息。
  11. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
    获取全景相机拍摄的全景图像，所述全景图像中包括多个图像码；
    获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息；
    根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息；
    根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息；
    根据各个所述图像码的图像位置信息和对应的相对角度信息计算得到所述全景相机的位置信息和对应的姿态信息；
    获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息。
  12. 根据权利要求11所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：对所述全景图像进行去噪处理。
  13. 根据权利要求11所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：
    对所述全景图像进行二值化处理，得到二值化图像；
    提取所述二值化图像中各个所述图像码的轮廓信息，得到各个所述图像码对应的角点信息；
    对各个所述图像码进行解码，得到解码成功的多个有效图像码；
    根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息，将各个所述有效图像码的位置信息作为所述多个图像码的在所述全景图像中的图像位置信息。
  14. 根据权利要求13所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：
    统计所述有效图像码的数目；
    当所述有效图像码的数目等于预设数量时，执行所述根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息的步骤。
  15. 根据权利要求14所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：当所述有效图像码的数目大于预设数量时，根据预设规则从所述有效图像码中选取出预设数目个图像码，作为目标图像码；
    根据所述目标图像码的位置信息和所述全景相机的相机外参计算，得到所述移动机器人的初始位置信息和对应的初始姿态信息；
    根据所述全景图像中多个图像码的在图像中的图像位置信息、所述初始 位置信息和对应的初始姿态信息计算，得到所述移动机器人的位置信息和对应的姿态信息。
  16. 根据权利要求14所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：当所述有效图像码的数目小于预设数量时，获取上一时刻所述移动机器人的位置信息和对应的姿态信息；
    获取所述移动机器人中的里程计的测量的所述移动机器人的移动数据；
    根据所述移动机器人的移动数据和上一时刻所述移动机器人的位置信息和对应的姿态信息计算，得到当前时刻所述移动机器人的位置信息和姿态信息。
  17. 根据权利要求13所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：获取所述全景图像中心位置的位置信息；
    根据各个有效图像码的位置信息，以及所述全景图像中心位置的位置信息，计算各个所述有效图像码与所述全景图像中心位置的图像相对位置信息。
  18. 根据权利要求17所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：根据各个所述有效图像码与所述全景图像中心位置的图像相对位置信息，计算得到各个所述有效图像码与所述全景相机的相对角度信息。
  19. 根据权利要求18所述的存储介质，所述计算机程序被处理器执行时，通过以下公式计算得到各个所述有效图像码与所述全景相机的相对角度信息：
    α＝a tan 2(v-cy,u-cx)
    其中，α为有效图像码与全景相机的相对角度，a tan 2为角度计算函数，(v-cy,u-cx)为有效图像码与全景图像中心位置的图像相对位置坐标，(u,v)表示有效图像码的位置坐标，(cx,cy)表示全景图像中心位置的位置坐标。
  20. 根据权利要求11所述的存储介质，所述计算机程序被处理器执行时还实现以下步骤：
    将所述移动机器人的位置信息和对应的姿态信息分别作为初始位置信息 和初始姿态信息；
    获取预设时间段或预设距离长度的多幅全景图像；
    对各个所述全景图像进行图像处理，得到各个所述全景图像中各个图像码的图像位置信息；
    将各个所述全景图像中各个图像码的图像位置信息、所述初始位置信息和所述初始姿态信息输入优化模型中，通过所述优化模型对应的优化规则对所述初始位置信息和所述初始姿态信息进行优化，得到所述移动机器人在当前时刻的位置信息和对应的姿态信息。
  21. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
    获取全景相机拍摄的全景图像，所述全景图像中包括多个图像码；
    获取所述全景图像中多个图像码的在所述全景图像中的图像位置信息；
    根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息；
    根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息；
    根据各个所述图像码的图像位置信息和对应的相对角度信息计算得到所述全景相机的位置信息和对应的姿态信息；
    获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息。
  22. 根据权利要求21所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：对所述全景图像进行去噪处理。
  23. 根据权利要求21所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：
    对所述全景图像进行二值化处理，得到二值化图像；
    提取所述二值化图像中各个所述图像码的轮廓信息，得到各个所述图像 码对应的角点信息；
    对各个所述图像码进行解码，得到解码成功的多个有效图像码；
    根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息，将各个所述有效图像码的位置信息作为所述多个图像码的在所述全景图像中的图像位置信息。
  24. 根据权利要求23所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：
    统计所述有效图像码的数目；
    当所述有效图像码的数目等于预设数量时，执行所述根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息的步骤。
  25. 根据权利要求24所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：
    当所述有效图像码的数目大于预设数量时，根据预设规则从所述有效图像码中选取出预设数目个图像码，作为目标图像码；
    根据所述目标图像码的位置信息和所述全景相机的相机外参计算，得到所述移动机器人的初始位置信息和对应的初始姿态信息；
    根据所述全景图像中多个图像码的在图像中的图像位置信息、所述初始位置信息和对应的初始姿态信息计算，得到所述移动机器人的位置信息和对应的姿态信息。
  26. 根据权利要求24所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：
    当所述有效图像码的数目小于预设数量时，获取上一时刻所述移动机器人的位置信息和对应的姿态信息；
    获取所述移动机器人中的里程计的测量的所述移动机器人的移动数据；
    根据所述移动机器人的移动数据和上一时刻所述移动机器人的位置信息和对应的姿态信息计算，得到当前时刻所述移动机器人的位置信息和姿态信息。
  27. 根据权利要求23所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：
    获取所述全景图像中心位置的位置信息；
    根据各个有效图像码的位置信息，以及所述全景图像中心位置的位置信息，计算各个所述有效图像码与所述全景图像中心位置的图像相对位置信息。
  28. 根据权利要求27所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：
    根据各个所述有效图像码与所述全景图像中心位置的图像相对位置信息，计算得到各个所述有效图像码与所述全景相机的相对角度信息。
  29. 根据权利要求28所述的计算机设备，所述处理器执行计算机程序时，通过以下公式计算得到各个所述有效图像码与所述全景相机的相对角度信息：
    α＝a tan 2(v-cy,u-cx)
    其中，α为有效图像码与全景相机的相对角度，a tan 2为角度计算函数，(v-cy,u-cx)为有效图像码与全景图像中心位置的图像相对位置坐标，(u,v)表示有效图像码的位置坐标，(cx,cy)表示全景图像中心位置的位置坐标。
  30. 根据权利要求21所述的计算机设备，所述处理器执行计算机程序时还实现以下步骤：
    将所述移动机器人的位置信息和对应的姿态信息分别作为初始位置信息和初始姿态信息；
    获取预设时间段或预设距离长度的多幅全景图像；
    对各个所述全景图像进行图像处理，得到各个所述全景图像中各个图像码的图像位置信息；
    将各个所述全景图像中各个图像码的图像位置信息、所述初始位置信息和所述初始姿态信息输入优化模型中，通过所述优化模型对应的优化规则对所述初始位置信息和所述初始姿态信息进行优化，得到所述移动机器人在当前时刻的位置信息和对应的姿态信息。
PCT/CN2018/108175 2018-06-27 2018-09-28 移动机器人定位方法、存储介质及计算机设备 WO2020000737A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810678822.3 2018-06-27
CN201810678822.3A CN109099915B (zh) 2018-06-27 2018-06-27 移动机器人定位方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
WO2020000737A1 true WO2020000737A1 (zh) 2020-01-02

Family

ID=64845114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/108175 WO2020000737A1 (zh) 2018-06-27 2018-09-28 移动机器人定位方法、存储介质及计算机设备

Country Status (2)

Country Link
CN (1) CN109099915B (zh)
WO (1) WO2020000737A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023126725A1 (en) * 2021-12-29 2023-07-06 Midea Group Co., Ltd. Joint visual localization and orientation detection method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
CN112558008B (zh) * 2019-09-26 2024-03-12 北京外号信息技术有限公司 基于光通信装置的导航方法、系统、设备及介质
CN110774319B (zh) * 2019-10-31 2021-07-23 深圳市优必选科技股份有限公司 一种机器人及其定位方法和装置
CN111161350B (zh) * 2019-12-18 2020-12-04 北京城市网邻信息技术有限公司 位置信息及位置关系确定方法、位置信息获取装置
CN110868269B (zh) * 2020-01-19 2020-07-31 上海高仙自动化科技发展有限公司 一种实现传感器之间同步的确定方法、装置、电子设备及存储介质
CN111256701A (zh) * 2020-04-26 2020-06-09 北京外号信息技术有限公司 一种设备定位方法和系统
CN112630787B (zh) * 2020-12-03 2022-05-17 深圳市优必选科技股份有限公司 定位方法、装置、电子设备及可读存储介质
CN112762928B (zh) * 2020-12-23 2022-07-15 重庆邮电大学 含有激光slam的odom与dm地标组合移动机器人及导航方法
CN112598728B (zh) * 2020-12-23 2024-02-13 极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105411490A (zh) * 2015-10-26 2016-03-23 曾彦平 移动机器人的实时定位方法及移动机器人
CN106803261A (zh) * 2015-11-20 2017-06-06 沈阳新松机器人自动化股份有限公司 机器人相对位姿估计方法
CN106990776A (zh) * 2017-02-27 2017-07-28 广东省智能制造研究所 机器人归航定位方法与系统
CN107728617A (zh) * 2017-09-27 2018-02-23 速感科技（北京）有限公司 多目在线标定方法、可移动机器人及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499324A (zh) * 2002-11-06 2004-05-26 中国科学院自动化研究所 一种机器人位置和姿态的推算定位方法及装置
KR100824744B1 (ko) * 2006-07-12 2008-04-24 동명대학교산학협력단 모서리 형태를 이용한 이동로봇의 자기위치 검출 시스템 및방법
CN106092086B (zh) * 2016-06-12 2018-08-31 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
CN108122252A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 一种基于全景视觉机器人定位的图像处理方法及相关设备
CN108121332A (zh) * 2016-11-28 2018-06-05 沈阳新松机器人自动化股份有限公司 基于二维码的室内移动机器人定位装置及方法
CN107843251B (zh) * 2017-10-18 2020-01-31 广东宝乐机器人股份有限公司 移动机器人的位姿估计方法
CN108038139B (zh) * 2017-11-10 2021-08-13 未来机器人（深圳）有限公司 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105411490A (zh) * 2015-10-26 2016-03-23 曾彦平 移动机器人的实时定位方法及移动机器人
CN106803261A (zh) * 2015-11-20 2017-06-06 沈阳新松机器人自动化股份有限公司 机器人相对位姿估计方法
CN106990776A (zh) * 2017-02-27 2017-07-28 广东省智能制造研究所 机器人归航定位方法与系统
CN107728617A (zh) * 2017-09-27 2018-02-23 速感科技（北京）有限公司 多目在线标定方法、可移动机器人及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023126725A1 (en) * 2021-12-29 2023-07-06 Midea Group Co., Ltd. Joint visual localization and orientation detection method
US11830219B2 (en) 2021-12-29 2023-11-28 Midea Group Co., Ltd. Joint visual localization and orientation detection method

Also Published As

Publication number Publication date
CN109099915A (zh) 2018-12-28
CN109099915B (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
WO2020000737A1 (zh) 移动机器人定位方法、存储介质及计算机设备
Zhou et al. Automated evaluation of semantic segmentation robustness for autonomous driving
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
US9625908B2 (en) Methods and systems for mobile-agent navigation
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN109753838B (zh) 二维码识别方法、装置、计算机设备及存储介质
US9625912B2 (en) Methods and systems for mobile-agent navigation
EP2917754B1 (en) Image processing method, particularly used in a vision-based localization of a device
US9420265B2 (en) Tracking poses of 3D camera using points and planes
JP5430456B2 (ja) 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
JP5109294B2 (ja) ３次元位置補正装置
US20180225527A1 (en) Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line
CN115655262B (zh) 基于深度学习感知的多层级语义地图构建方法和装置
CN108489486A (zh) 二维码以及用于机器人的视觉-惯性组合导航系统及方法
CN114119864A (zh) 一种基于三维重建与点云匹配的定位方法和装置
CN110895821B (zh) 图像处理装置、存储有图像处理程序的存储介质及驾驶支援系统
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
Streiff et al. 3D3L: Deep learned 3D keypoint detection and description for LiDARs
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN117570968A (zh) 基于视觉路标的地图构建与维护方法、装置及存储介质
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
JP2024516478A (ja) サラウンドビュー画像を使用して床汚れを検出する方法及びシステム
CN111915632B (zh) 一种基于机器学习的贫纹理目标物体真值数据库构建方法
CN114581890A (zh) 确定车道线的方法、装置、电子设备和存储介质
CN109784315B (zh) 3d障碍物的跟踪检测方法、装置、系统及计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924511

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18924511

Country of ref document: EP

Kind code of ref document: A1