WO2019076320A1 - 机器人定位方法、装置及计算机可读存储介质 - Google Patents

机器人定位方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2019076320A1
WO2019076320A1 PCT/CN2018/110667 CN2018110667W WO2019076320A1 WO 2019076320 A1 WO2019076320 A1 WO 2019076320A1 CN 2018110667 W CN2018110667 W CN 2018110667W WO 2019076320 A1 WO2019076320 A1 WO 2019076320A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
sampling time
beacon
target image
determining
Prior art date
Application number
PCT/CN2018/110667
Other languages
English (en)
French (fr)
Inventor
杨嘉伟
全晓臣
吴永海
Original Assignee
杭州海康机器人技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康机器人技术有限公司 filed Critical 杭州海康机器人技术有限公司
Publication of WO2019076320A1 publication Critical patent/WO2019076320A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • a first acquiring module configured to acquire a target image collected by a camera mounted on the robot at a current sampling time
  • a first determining module configured to: when there is a fixed beacon in the target image and a guiding beacon exists, determine a location based on a guiding beacon existing in the target image and a position coordinate of the robot determined at a last sampling moment Determining the current position coordinates of the robot at the current sampling time;
  • the second obtaining module is specifically configured to:
  • the first determining module includes:
  • a second determining submodule configured to determine a measurement error of the encoder based on the first position coordinate, the lateral deviation, and the angular deviation
  • a memory for storing processor executable instructions
  • a computer readable storage medium having stored therein a computer program, the computer program being executed by a processor to implement the method of the first aspect described above.
  • an application is provided for performing the method of the first aspect described above at runtime.
  • FIG. 4 is a schematic structural diagram of a robot positioning device according to an embodiment of the present application.
  • the robot 101 and the camera 102 may be included, and the smart device 103 is not included.
  • the camera 102 can directly send the image to the robot 101.
  • the robot 101 determines the positioning information according to the image, and controls the motion according to the positioning information. That is, the robot positioning method provided by the embodiment of the present application can be performed by the robot 101.
  • FIG. 2A is a flowchart of a method for positioning a robot according to an embodiment of the present application. The method may be applied to the application scenario shown in FIG. 1A, and the execution of the method may be performed based on the two system architectures introduced above.
  • the main body can be a smart device or a robot. Referring to FIG. 2A, the method includes the following steps:
  • the camera can be mounted at the center of the bottom of the robot, and the camera can perform image acquisition according to a certain sampling period.
  • the smart device or the robot can perform robot positioning through subsequent steps by processing the target image.
  • the image recognition window of the current sampling time is determined according to the position coordinates of the robot at the current sampling time predicted by the last sampling time, if the robot continues to move along the preset route after the last sampling time, then even There is a slight deviation in the movement route of the robot.
  • the probability that the fixed beacon or the guide beacon appears in the image recognition window is still relatively large, and part of the image area is performed according to the image recognition window.
  • the scanning and recognition ensure the recognition accuracy and the recognition time will be shortened, which improves the image recognition efficiency.
  • the contour of the fixed beacon can be a contour such as a circle or a square
  • the robot can convert the image region into a binarized image when performing recognition, and then use the Hough transform to detect whether the image is binarized or not.
  • the specified contour is included, wherein when the contour of the preset fixed beacon is circular, the designated contour is a circle, and when the contour of the preset fixed beacon is square, the designated contour is correspondingly square.
  • the line is not a preset guide beacon. If it is a preset width, it is determined that the line is a preset guide beacon. At this time, it can be determined that there is a guide in the target image. Beacon.
  • Step 203b when there is a fixed beacon in the target image, determine a current position coordinate of the robot at the current sampling time based on the fixed beacon, the fixed beacon is a pre-arranged beacon with encoding information, and the encoding information includes a fixed letter. The coordinates of the location.
  • the robot can read the encoded information in the fixed beacon and decode the encoded information to obtain the coordinates of the location of the fixed beacon.
  • the target image of the current sampling moment captured by the camera is the ground image of the location of the robot at the current moment, and therefore, when the fixed beacon is decoded, After the coordinates of the position, the coordinates of the position where the fixed beacon is located can be determined as the current position coordinates of the robot.
  • the coded information of the fixed beacon may include not only the coordinates of the location where the fixed beacon is located, but also other special location indication information or special letter indication map information.
  • the code information may include the name of the road segment where the fixed beacon is located, or the letter number may be preset in advance for some special terrain and the area to which the fixed beacon is located, such as the room number and the floor.
  • the encoded information may further include an alphabetic number indicating the topography of the location where the fixed beacon is located.
  • the foregoing is only an example of information that may be included in several coding information according to an actual application.
  • the coding information may also flexibly add more information according to requirements, and the application is added. Flexibility and adaptability.
  • the robot may determine the robot according to the guiding beacon existing in the target image and the position coordinates of the robot determined at the last sampling moment by the following steps 2041-2043 The current position coordinates.
  • the robot can acquire the measured value collected by the encoder at the current sampling time and the measured value collected at the previous sampling time, wherein the measured value collected at the current sampling moment can be It is the moving distance of the robot from the initial time to the current sampling time, and the measured value collected at the last sampling time may be the moving distance of the robot from the initial time to the last sampling time.
  • the moving distance may include a first moving distance and a second moving distance, wherein the first moving distance may be a moving distance of the left wheel of the robot, and the second moving The distance can be the distance traveled by the right wheel of the robot.
  • the guiding beacon may be a position coordinate of an end point of the central axis in the target image as a first endpoint coordinate, and a position coordinate of the other end point of the guide axis of the guide beacon in the target image as a second endpoint coordinate, the guide beacon The position coordinates of the midpoint of the central axis in the target image are used as the midpoint coordinates.
  • the vertical distance can be calculated in the x-axis of the image coordinate system by the following formulas (4) and (5), respectively.
  • the component on the y-axis is converted into the actual lateral deviation by the following formula (6).
  • a second determining module 304 configured to determine that a fixed beacon exists in the target image when the graphic of the specified contour is included in the image region;
  • the position coordinate of the determined robot at the last sampling moment is determined according to a fixed beacon in the image collected at the last sampling moment;
  • the device 400 may be a smart device such as a computer, an industrial computer, or a robot.
  • the multimedia component 408 includes a screen between the device 400 and the user that provides an output interface.
  • the screen can include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen can be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touches, slides, and gestures on the touch panel. The touch sensor can sense not only the boundary of the touch or sliding action, but also the duration and pressure associated with the touch or slide operation.
  • the multimedia component 408 includes a front camera and/or a rear camera. When the device 400 is in an operation mode, such as a shooting mode or a video mode, the front camera and/or the rear camera can receive external multimedia data. Each front and rear camera can be a fixed optical lens system or have focal length and optical zoom capabilities.

Abstract

提供了一种机器人定位方法、装置及计算机可读存储介质，属于机器人技术领域。机器人定位方法包括：获取机器人上搭载的摄像头在当前采样时刻采集的目标图像（201a）；当目标图像中不存在固定信标而存在引导信标时，基于目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标，确定机器人在当前采样时刻的当前位置坐标（202a）。该方法不必同时结合固定信标和引导信标来对机器人进行定位，只要目标图像中存在二者中的一个，即可以实现对机器人的定位，这样，即使在预设路线上设置固定信标和引导信标时将二者随意组合，机器人也可以根据该随意组合的信标进行定位，定位方式变得更加灵活，提高了机器人的环境适应性。

Description

机器人定位方法、装置及计算机可读存储介质
本申请要求于2017年10月17日提交的申请号为201710966574.8、发明名称为“机器人定位方法、装置及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及机器人技术领域，特别涉及一种机器人定位方法、装置及计算机可读存储介质。
背景技术
当前，机器人被广泛的用于仓储物流、移动操作、自动驾驶等领域。通常，当机器人工作时，需要按照预设路线进行移动。在机器人移动的过程中，为了防止机器人偏离预设路线，需要对机器人进行实时定位。
在相关技术中，可以在机器人移动的预设路线上铺设条带，并在条带上设置二维码，其中，每相邻的两个二维码之间的距离相等。另外，机器人上搭载有摄像机，且机器人可以与智能设备进行通信。当机器人移动时，摄像机可以实时采集图像，并将采集到的图像发送至智能设备。当智能设备接收到采集到的图像时，可以结合图像中的二维码和条带对机器人进行定位，并将得到的定位信息发送至机器人，之后，机器人可以按照接收到的定位信息和预设路线进行姿态调整，以保证机器人能够沿着预设路线继续移动。
由上述描述可知，智能设备需要同时结合图像中的二维码和条带才能对机器人进行定位，而为了保证摄像机能够在一幅图像中同时采集到二维码和条带，在预设路线上铺设的每相邻的两个二维码之间的距离就需要符合一定的规则，由此可见，相关技术中对机器人进行定位的方法在应用方式上不灵活，环境适应性较差。
发明内容
本申请实施例提供了一种机器人定位方法、装置及计算机可读存储介质， 可以用于解决相关技术中的机器人定位方法在应用方式上不灵活，环境适应性较差的问题。所述技术方案如下：
第一方面，提供了一种机器人定位方法，所述方法包括：
获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像；
当所述目标图像中不存在固定信标而存在引导信标时，基于所述目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标，确定所述机器人在所述当前采样时刻的当前位置坐标；
其中，所述固定信标和所述引导信标是在所述机器人对应的预设线路上设置的、用于对所述机器人的位置进行定位的信标，且所述固定信标包括编码信息，所述编码信息包括所述固定信标所在位置的坐标。
可选地，所述获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像之后，还包括：
基于所述上一采样时刻确定的机器人的位置坐标，确定当前采样时刻的图像识别窗口；
从所述目标图像中获取位于当前采样时刻的图像识别窗口中的图像区域；
当所述图像区域中包括指定轮廓的图形时，确定所述目标图像中存在所述固定信标；
当所述图像区域中不包括所述指定轮廓的图形而包括直线，且所述直线的宽度为预设宽度和/或所述直线的颜色为预设颜色时，确定所述目标图像中不存在所述固定信标而存在所述引导信标。
可选地，所述方法还包括：
基于预设位置坐标和上一采样时刻确定的机器人的位置坐标，预测所述机器人在当前采样时刻的位置坐标，所述预设位置坐标为预先设置的所述机器人任务结束时的终点坐标；
基于预测的当前采样时刻的位置坐标，确定当前采样时刻的图像识别窗口。
可选地，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的固定信标确定得到；
或者，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的引导信标确定得到。
可选地，所述基于上一采样时刻确定的机器人的位置坐标和所述引导信 标，确定所述机器人在所述当前采样时刻的当前位置坐标，包括：
基于所述机器人上设置的编码器在当前采样时刻采集到的测量值以及所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标；
基于所述目标图像中存在的引导信标确定所述机器人的侧向偏差和角度偏差；
基于所述第一位置坐标、所述侧向偏差和所述角度偏差确定所述编码器的测量误差；
通过所述编码器的测量误差对所述第一位置坐标进行修正，以得到所述机器人在所述当前采样时刻的当前位置坐标。
可选地，所述基于所述机器人上的编码器在当前采样时刻采集到的测量值以及所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标，包括：
基于所述机器人上设置的编码器在当前采样时刻采集到的测量值以及在上一采样时刻采集到的测量值，计算上一采样时刻到当前采样时刻之间所述机器人的第一车轮滚动量和第二车轮滚动量；
基于所述第一车轮滚动量、所述第二车轮滚动量和所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标。
可选地，所述基于所述引导信标确定所述机器人的侧向偏差和角度偏差，包括：
获取所述引导信标在所述目标图像中的第一端点坐标和第二端点坐标；
基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的中心点到所述引导信标的垂直距离，并基于所述垂直距离确定所述机器人的侧向偏差；
基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的纵向中心线与所述引导信标的夹角，并基于所述夹角确定所述机器人的角度偏差。
第二方面，提供了一种机器人定位装置，所述装置包括：
第一获取模块，用于获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像；
第一确定模块，用于当所述目标图像中不存在固定信标而存在引导信标时，基于所述目标图像中存在的引导信标和上一采样时刻确定的机器人的位置 坐标，确定所述机器人在所述当前采样时刻的当前位置坐标；
其中，所述固定信标和所述引导信标是在所述机器人对应的预设线路上设置的、用于对所述机器人的位置进行定位的信标，且所述固定信标包括编码信息，所述编码信息包括所述固定信标所在位置的坐标。
可选地，所述装置还包括：
第二获取模块，用于基于所述上一采样时刻确定的机器人的位置坐标，确定当前采样时刻的图像识别窗口，从所述目标图像中获取位于当前采样时刻的图像识别窗口中的图像区域，所述当前采样时刻的图像识别窗口是基于上一采样时刻确定的机器人的位置坐标确定得到；
第二确定模块，用于当所述图像区域中包括指定轮廓的图形时，确定所述目标图像中存在所述固定信标；
第三确定模块，用于当所述图像区域中不包括所述指定轮廓的图形而包括直线，且所述直线的宽度为预设宽度和/或所述直线的颜色为预设颜色时，确定所述目标图像中不存在所述固定信标而存在所述引导信标。
可选地，所述第二获取模块具体用于：
基于预设位置坐标和上一采样时刻确定的机器人的位置坐标，预测所述机器人在当前采样时刻的位置坐标，所述预设位置坐标为所述机器人任务结束时的终点坐标；
基于预测的当前采样时刻的位置坐标，确定当前采样时刻的图像识别窗口。
可选地，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的固定信标确定得到；
或者，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的引导信标确定得到。
可选地，所述第一确定模块包括：
计算子模块，用于基于所述机器人上的编码器在当前采样时刻采集到的测量值以及所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标；
第一确定子模块，用于基于所述目标图像中存在的引导信标确定所述机器人的侧向偏差和角度偏差；
第二确定子模块，用于基于所述第一位置坐标、所述侧向偏差和所述角度 偏差确定所述编码器的测量误差；
修正子模块，用于通过所述编码器的测量误差对所述第一位置坐标进行修正，以得到所述机器人在所述当前采样时刻的当前位置坐标。
可选地，所述计算子模块具体用于：
基于所述机器人上设置的编码器在当前采样时刻采集到的测量值以及在上一采样时刻采集到的测量值，计算上一采样时刻到当前采样时刻之间所述机器人的第一车轮滚动量和第二车轮滚动量；
基于所述第一车轮滚动量、所述第二车轮滚动量和所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标。
可选地，所述第一确定子模块具体用于：
获取所述引导信标在所述目标图像中的第一端点坐标和第二端点坐标；
基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的中心点到所述引导信标的垂直距离，并基于所述垂直距离确定所述机器人的侧向偏差；
基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的纵向中心线与所述引导信标的夹角，并基于所述夹角确定所述机器人的角度偏差。
第三方面，提供了一种机器人定位装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述第一方面所述的任一项方法。
第四方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
第五方面，提供了一种应用程序，所述应用程序用于在运行时执行上述第一方面所述的方法。
本申请实施例提供的技术方案带来的有益效果至少包括：获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像，如果在该目标图像中不存在固定信标而存在引导信标，则可以基于上一采样时刻确定的机器人的位置坐标和该引导信标确定机器人在当前采样时刻的当前位置坐标。也即是，在本申请实 施例中，不必同时结合固定信标和引导信标来对机器人进行定位，即使不存在固定信标，也可以通过目标图像中的引导信标来完成对机器人的定位，定位方式变得更加灵活，提高了机器人的环境适应性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种机器人定位方法的应用场景图；
图1B是本申请实施例提供的一种机器人定位方法的系统架构图；
图2A是本申请实施例提供的一种机器人定位方法的流程图；
图2B是本申请实施例提供的另一种机器人定位方法的流程图；
图3A是本申请实施例提供的一种机器人定位装置的结构示意图；
图3B是本申请实施例提供的一种机器人定位装置的结构示意图；
图3C是本申请实施例提供的一种第一确定模块的结构示意图；
图4是本申请实施例提供的一种机器人定位装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细的解释说明之前，先对本申请实施例的应用场景予以介绍。
当前，机器人被广泛的用于仓储物流、自动驾驶、移动操作等领域。例如，在仓储物流方面，机器人可以按照预设路线进行移动，以此来搬运货物或者是对货物进行挑拣。在自动驾驶方面，可以在车辆中搭载机器人，以此来检测车辆是否偏离预设路线。无论是将机器人用于仓储物流领域还是自动驾驶领域，当机器人进行工作时，机器人可能需要按照预设路线进行移动。通常，为了防止机器人在移动过程中偏离预设路线，可以在预设路线上设置信标来对机器人进行实时定位。比如，在仓储物流领域中用于货物搬运的机器人，在该机器人移动的预设路线上，从预设路线的起点到终点一般会设置有连续的条带，而在 该条带上则会间隔的设置有诸如二维码、一维码之类的固定信标，以此来对机器人进行实时定位，以保证机器人能够沿着预设路线准确移动。而本申请实施例提供的机器人定位方法即可以用于诸如上面所述的仓储物流运输中，或者是其他需要按照预设路线进行移动的场景中，以实现对机器人的实时定位。
示例性的，图1A是本申请实施例提供的一种机器人定位方法的应用场景图，如图1A所示，在该应用场景中包括多个固定信标001和多个引导信标002，该多个固定信标001和多个引导信标002是预先铺设在机器人移动所要途经的预设路线的地面上的。该预设路线的起点为O1，终点为O2。其中，固定信标001和引导信标002可以间隔设置，示例性的，如图1A所示，所谓固定信标001和引导信标002间隔设置可以理解为：每两个固定信标001之间设置有一个引导信标002，以及每两个引导信标002之间设置有一个固定信标001。其中，引导信标002可以铺设在该预设路线的中心线上，每相邻的两个固定信标001之间的距离可以相等，也可以不等。多个引导信标002可以是具有相同的宽度和/或相同的颜色的直线条带。多个固定信标001为具有编码信息的信标，其中，每个固定信标的编码信息中包括该固定信标所在位置的坐标。另外，各个固定信标可以具有相同的轮廓，例如，该多个固定信标001可以统一为具有圆形轮廓的二维码或者是具有方形轮廓的一维码等。
需要说明的是，图1仅仅是本申请实施例示例性的给出的一种应用场景。在一种可能的情况中，多个固定信标001中的部分固定信标001可以和引导信标002间隔设置，而其余的至少两个固定信标001可以相连接，也即是，其余的至少两个固定信标001可以连续设置，这样，至少两个固定信标001中每相邻的两个固定信标001之间将不存在引导信标002。
接下来对本申请实施例涉及到的系统架构进行介绍。图1B是本申请实施例提供的一种机器人定位方法的系统架构图，如图1B所示，该系统包括机器人101、摄像头102和智能设备103，其中，机器人101可以与摄像头102、智能设备103进行通信，摄像头102和智能设备103之间也可以进行通信。
在本申请实施例中，摄像头102可以搭载在机器人101的底部，与机器人101一起进行移动。在移动的过程中，摄像头102可以实时采集地面图像，并将采集到的图像发送至机器人101或者是智能设备103。如果摄像头102将采集到的图像发送至机器人101，那么，机器人101可以将该图像转发至智能设 备103。当智能设备103接收到摄像头102当前时刻采集到的图像时，可以对该图像进行处理，从而根据该图像对机器人定位。之后，智能设备103可以将该定位信息发送至机器人101，以使机器人101根据该定位信息调整位置姿态。也即是，本申请实施例提供的机器人定位方法可以由智能设备103来执行完成。
需要说明的是，该智能设备103可以是工业电脑、工控机或者是其他具有图像识别以及运算定位功能的智能设备。
在本申请提供的另一示例性的系统架构中，也可以只包括机器人101和摄像头102，而不包括智能设备103。其中，摄像头102在采集到图像之后，可以直接将该图像发送至机器人101，由机器人101根据该图像确定定位信息，并根据定位信息控制自身运动。也即是，本申请实施例提供的机器人定位方法可以由机器人101来执行完成。
需要说明的是，图1B中机器人101和摄像头102之间的位置关系并不代表实际应用中二者之间的位置关系，在此仅以图1B来简要说明该系统架构的组成和各组成之间的相互联系。
接下来对本申请实施例提供的机器人定位方法进行详细的解释说明。
图2A是本申请实施例提供的一种机器人定位方法的流程图，该方法可以被应用于上述图1A所示的应用场景中，并且，基于前面介绍的两种系统架构可知，该方法的执行主体可以为智能设备，也可以为机器人，参见图2A，该方法包括以下步骤：
步骤201a：获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像。
在本申请实施例中，摄像头可以搭载在机器人底部的中心位置，并且，该摄像头可以按照一定的采样周期进行图像采集。智能设备或者是机器人可以通过对该目标图像的处理，通过后续步骤进行机器人定位。
步骤202a：当目标图像中不存在固定信标而存在引导信标时，基于该目标图像中的引导信标和上一采样时刻确定的机器人的位置坐标，确定机器人在当前采样时刻的当前位置坐标。
其中，固定信标和引导信标是在机器人对应的预设线路上设置的、用于对机器人的位置进行定位的信标，且固定信标包括编码信息，编码信息包括固定信标所在位置的坐标。
需要说明的是，该固定信标可以为圆形或者方形等几何形状。该引导信标可以为具有一定宽度和/或颜色的直线。在设置固定信标和引导信标时，可以如前述应用场景中介绍将固定信标和引导信标间隔设置，也即，相邻的两个固定信标之间设置有一个引导信标，且引导信标的一端与两个固定信标中的一个连接，另一端与两个固定信标中的另一个连接。其中，每相邻的两个固定信标之间的间隔可以相同，也可以不同。
或者，部分固定信标和引导信标可以按照上述方式设置，部分固定信标则可以连续设置，所谓连续设置是指相邻两个固定信标直接连接，之间不设置引导信标。
另外，上一采样时刻确定的机器人的位置坐标可以是在上一采样时刻根据上一采样时刻采集到的图像中的固定信标确定得到的，也可以是在上一采样时刻根据上一采样时刻采集到的图像中的引导信标确定得到的。
在本申请实施例中，机器人或者智能设备可以获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像，如果该目标图像中不存在固定信标而存在引导信标，则可以基于该引导信标确定机器人在当前采样时刻的当前位置坐标。也即是，在本申请实施例中，不必同时结合固定信标和引导信标来对机器人进行定位，只要目标图像中存在二者中的一个，即可以实现对机器人的定位，这样，即使在预设路线上设置固定信标和引导信标时将二者随意组合，机器人也可以根据该随意组合的信标进行定位，定位方式变得更加灵活，提高了机器人的环境适应性。
图2B是本申请实施例提供的一种机器人定位方法的流程图，该方法可以被应用于上述图1A所示的应用场景中，并且，基于前面介绍的两种系统架构可知，该方法的执行主体可以为智能设备，也可以为机器人，本申请实施例中将以执行主体为机器人为例进行解释说明。参见图2B，该方法包括以下步骤：
步骤201b：获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像。
在本申请实施例中，摄像头可以搭载在机器人底部的中心位置，当机器人移动时，摄像头可以实时采集图像。一般情况下，摄像头1s内可以采集50帧的图像，每当摄像头采集到一帧图像时，即可以将该帧图像发送至机器人。
步骤202b：判断该目标图像中是否存在固定信标或者引导信标。
当机器人获取到摄像头发送的当前采样时刻采集到的目标图像之后，可以对该目标图像进行全局扫描，以检测该目标图像中是否存在固定信标或者是引导信标。在一个可选实施例中，由于对目标图像进行全局扫描需要耗费的时间相对较长，因此，机器人也可以获取当前采样时刻的图像识别窗口，仅对目标图像中位于当前采样时刻的图像识别窗口内的部分图像区域进行扫描，以检测该部分图像区域中是否存在固定信标或者是引导信标。其中，当前采样时刻的图像识别窗口是基于上一采样时刻确定的机器人的位置坐标确定得到的。
示例性的，机器人可以在上一采样时刻确定机器人的位置坐标之后，按照预设位置坐标对移动方向进行调整和控制，以便机器人能够继续沿着预设路线朝预设位置坐标移动。其中，预设位置坐标是指预先设置的机器人任务结束时的终点坐标。当对机器人的移动方向进行调整之后，机器人可以按照调整后的移动方向、机器人的平均移动速度以及摄像头的采样周期，预测机器人的当前采样时刻的位置坐标。其中，机器人的平均移动速度可以是根据任务需要预先设置的机器人的移动速度。或者，机器人的平均移动速度也可以是根据预测时刻之前机器人的运动速度确定得到。
当预测得到当前采样时刻的位置坐标之后，机器人可以根据该预测的当前采样时刻的位置坐标，设置当前采样时刻的图像识别窗口。其中，机器人可以确定当前采样时刻的位置坐标中横向坐标与上一采样时刻确定的机器人的位置坐标中的横向坐标之间的横向差值，以及当前时刻的位置坐标中纵向坐标与上一采样时刻确定的机器人的位置坐标中的纵向坐标之间的纵向差值。之后，机器人可以将该横向差值和纵向差值分别换算成图像中的横向像素差和纵向像素差，并将上一时刻的图像识别窗口分别按照该横向像素差和纵向像素差进行相反方向的移动，从而得到当前采样时刻的图像识别窗口。
可选地，在一种可能的实现方式中，机器人也可以在当前采样时刻采集到目标图像之后，获取上一采样时刻确定的机器人的位置坐标，并通过前述介绍的方法基于上一采样时刻确定的机器人的位置坐标预测当前采样时刻的位置坐标，进而根据预测的当前采样时刻的位置坐标来确定当前采样时刻的图像识别窗口。
由于当前采样时刻的图像识别窗口是根据上一采样时刻预测得到的当前采样时刻的机器人的位置坐标确定的，因此，如果在上一采样时刻之后，机器人继续沿着预设路线移动，那么，即使机器人的移动路线出现细微的偏差，在 当前采样时刻的目标图像中，固定信标或引导信标出现在该图像识别窗口中的概率依然是比较大的，而根据该图像识别窗口进行部分图像区域的扫描和识别，在保证了识别的准确率的同时，识别时间将缩短，提高了图像识别效率。
当机器人通过图像识别窗口对目标图像中的部分区域进行扫描时，机器人可以从目标图像中获取位于当前采样时刻的图像识别窗口中的图像区域，之后，机器人可以检测该图像区域中是否包括指定轮廓的图形，当该图像区域中包括指定轮廓的图形时，则确定目标图像中存在固定信标。当该图像区域中不包括指定轮廓的图形而包括直线时，机器人可以判断该直线的宽度是否为预设宽度，以及判断该直线的颜色是否为预设颜色，当该直线的宽度为预设宽度和/或该直线的颜色为预设颜色时，则确定该目标图像中不存在固定信标而存在引导信标。
其中，由于固定信标中包括该固定信标当前所在位置的坐标，而摄像头位于机器人底部的中心位置，拍摄的目标图像正是机器人当前所在位置的地面图像，也就是说，只要能够检测到固定信标，就说明机器人当前就在该固定信标所在的位置处，机器人就可以直接根据该固定信标所在位置的坐标确定自身的当前位置坐标，因此，机器人在获取到图像识别窗口所对应的图像区域之后，可以首先扫描该图像区域中是否存在固定信标。另外，由于固定信标的轮廓可以为圆形或者方形等轮廓，因此，机器人在进行识别时，可以将该图像区域转换为二值化图像，之后，利用霍夫变换在二值化图像中检测是否包括指定轮廓，其中，当预先设置的固定信标的轮廓为圆形，该指定轮廓即为圆形，当预先设置的固定信标的轮廓为方形，该指定轮廓相应地也就为方形。
当机器人检测到该图像区域中包括指定轮廓时，即可以确定该目标图像中存在固定信标，反之，则确定该目标图像中不存在固定信标。如果该目标图像中不存在固定信标，那么，机器人也就不能依赖固定信标进行定位，此时，机器人则需要在该目标图像中搜索引导信标来进行定位。
当机器人在该目标图像中搜索引导信标时，可以在该图像识别窗口所对应的图像区域中检测是否存在直线。当检测到直线之后，由于该直线可能并不是预先设置的引导信标，因此，为了排除干扰，保证检测到的直线即为引导信标，机器人可以确定该直线在目标图像中的宽度。由于在图像中宽度可以通过像素点来表示，因此，在一个可选实施例中，机器人可以根据摄像头标定时确定的像素点与现实世界中的实际物理距离之间的关系，换算得到该直线在现实世界 中的宽度。之后，机器人可以判断换算得到的该直线的宽度是否为预设宽度，其中，该预设宽度为现实世界中引导信标的宽度。如果不为预设宽度，则判定该直线并不是预设的引导信标，如果为预设宽度，则判定该直线为预设的引导信标，此时，即可以确定该目标图像中存在引导信标。
可选地，机器人不仅可以通过检测直线的宽度是否为预设宽度来判断该直线是否为引导信标，机器人还可以通过检测该直线的颜色是否为预设颜色来判断该直线是否为引导信标，其中，该预设颜色为预先铺设的引导信标的颜色。在一个可选实施例中，为了提高准确性，机器人还可以将上述两种方法进行结合，也即是，不仅判断该直线的宽度是否为预设宽度，还要判断该直线的颜色是否为预设颜色，只有当该直线的宽度为预设宽度，且该直线的颜色也为预设颜色时，才可以确定该直线为引导信标。
需要说明的是，当机器人刚开始工作时，也即，当机器人采集第一帧图像时，由于并不存在上一采样时刻确定得到的图像识别窗口，因此，机器人可以将接收到的第一帧图像进行全局扫描，以检测其中是否存在固定信标或者引导信标。之后，当机器人在第一帧图像中检测到固定信标或引导信标时，可以基于该固定信标或引导信标在第一帧图像中确定包含有该固定信标或引导信标的图像识别窗口，以便后续可以基于第一帧图像中的图像识别窗口确定第二帧图像中的图像识别窗口。在一个可选实施例中，对于每个采样时刻采集到的图像，机器人均可以通过对图像进行全局扫描来检测其中是否存在固定信标或者引导信标。
另外，在本申请实施例中，机器人可以从预设路线的起点开始工作，也可从该预设路线中除起点之外的其他任意固定信标处开始工作，当机器人开始工作时，该机器人可以在当前所处的固定信标处进行初始化注册，之后，可以通过摄像头采集包括该固定信标的图像，并读取该固定信标中的位置坐标，以对机器人进行初始定位。
如果通过上述方法确定该目标图像中存在固定信标，那么，机器人则可以通过步骤203b来进行定位，如果确定该目标图像中不存在固定信标，而是存在引导信标，那么，机器人可以通过步骤204b来进行定位。
步骤203b：当目标图像中存在固定信标时，基于固定信标，确定机器人在当前采样时刻的当前位置坐标，该固定信标为预先布置的具有编码信息的信标，该编码信息包括固定信标所在位置的坐标。
当确定目标图像中存在固定信标时，机器人则可以读取该固定信标中的编码信息，并对该编码信息进行解码，以得到该固定信标所在位置的坐标。在一个可选实施例中，当摄像头搭载在机器人底部中心位置时，摄像头拍摄到的当前采样时刻的目标图像，即为当前时刻机器人所在位置的地面图像，因此，当解码得到该固定信标所在位置的坐标之后，即可将该固定信标所在位置的坐标确定为机器人的当前位置坐标。
可选地，该固定信标的编码信息中不仅可以包括该固定信标所在位置的坐标，而且还可以包括其他特殊位置标示信息或者是特殊字母标示地图信息。例如，该编码信息中可以包括该固定信标所在的路段的名称，或者，对于一些特殊地形、固定信标所处位置所属的区域如房间号、楼层，均可以预先设置字母标号。例如，如果该固定信标所处位置的地形为特殊地形，那么，该编码信息中还可以包括用于指示该固定信标所处的位置的地形的字母标号。在一个可选实施例中，该编码信息中还可以包括该固定信标所处位置所属的区域的字母标号，例如，当该固定信标所处位置属于二楼，二楼对应的字母标号为B，那么，该编码信息中可以包括该字母标号。另外，该固定信标的编码信息可以是二维码、一维码等，本申请实施例在此不做限定。
需要说明的是，上述仅仅是根据实际应用所举出的几种编码信息可能包括的信息的示例，在实际应用中，该编码信息中还可以灵活的根据需要添加更多的信息，增加了应用的灵活性和适应性。
步骤204b：当目标图像中不存在固定信标而存在引导信标时，基于该目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标，确定机器人的当前位置坐标。
当确定目标图像中不存在固定信标而存在引导信标时，机器人则可以通过下述步骤2041-2043，根据目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标确定机器人的当前位置坐标。
2041：基于机器人上的编码器在当前采样时刻采集到的测量值以及上一采样时刻确定的机器人的位置坐标，计算机器人的第一位置坐标。
其中，机器人可以基于编码器在当前采样时刻采集到的测量值以及在上一采样时刻采集到的测量值，计算上一采样时刻到当前采样时刻之间机器人的第一车轮滚动量和第二车轮滚动量；基于第一车轮滚动量、第二车轮滚动量和上一采样时刻确定的机器人的位置坐标，计算机器人的第一位置坐标。由此可见， 该第一位置坐标实际上就是根据上一采样时刻的位置坐标和编码器的测量值计算得到的机器人的理论位置坐标。
示例性的，当检测到引导信标时，机器人可以获取编码器在当前采样时刻采集到的测量值和在上一采样时刻采集到的测量值，其中，在当前采样时刻采集到的测量值可以是从初始时刻开始到当前采样时刻为止机器人的移动距离，而在上一采样时刻采集到的测量值可以是从初始时刻开始到上一采样时刻为止机器人的移动距离。并且，由于机器人的两个车轮的移动距离可能不同，因此，上述的移动距离可以包括第一移动距离和第二移动距离，其中，第一移动距离可以为机器人左车轮的移动距离，第二移动距离则可以为机器人右车轮的移动距离。将当前采样时刻的第一移动距离和上一采样时刻的第一移动距离相减，将当前采样时刻的第二移动距离和上一采样时刻的第二移动距离相减，即可以得到从上一采样时刻到当前采样时刻之间机器人的两个车轮滚动量，也即第一车轮滚动量和第二车轮滚动量。
当计算得到第一车轮滚动量和第二车轮滚动量之后，机器人可以根据第一车轮滚动量和第二车轮滚动量，通过下述公式(1)计算得到机器人从上一采样时刻到当前采样时刻之间的位置变化量和角度变化量，并根据该位置变化量、角度变化量和上一采样时刻确定的机器人的位置坐标，通过公式(2)和(3)计算得到机器人的第一位置坐标。
Figure PCTCN2018110667-appb-000001
Figure PCTCN2018110667-appb-000002
θ m＝norm(θ m-1+d θ)    (3)
其中，d s为上一采样时刻到当前采样时刻之间的位置变化量，d θ为上一采样时刻到当前采样时刻之间的角度变化量，d 1为第一车轮滚动量，d 2为第二车轮滚动量，B为机器人两个车轮之间的间距。(X m,Y m,θ m)为第一位置坐标，(X m-1,Y m-1,θ m-1)为上一采样时刻确定的机器人的位置坐标。
2042：基于引导信标确定机器人的侧向偏差和角度偏差。
在本申请实施例中，由于摄像头搭载在机器人上，因此，可以认为摄像头采集到的目标图像的中心点即对应于机器人的当前位置坐标。在一个可选实施例中，当摄像头搭载在机器人底部的中心位置时，可以认为摄像头采集到的目 标图像的纵向中心线的方向即为机器人当前的移动方向；如果机器人当前已经偏离预设路线，那么，拍摄到的目标图像中的引导信标相对于该目标图像的纵向中心线将是倾斜的；此时，机器人可以确定该目标图像的中心点到该引导信标的垂直距离以及引导信标相对于纵向中心线的夹角，并基于该垂直距离确定侧向偏差，基于该夹角确定该机器人的角度偏差。
在一个可选实施例中，确定目标图像的中心点到目标图像中的引导信标的垂直距离以及基于该垂直距离确定侧向偏差的过程可以包括：机器人可以获取引导信标的第一端点坐标、第二端点坐标以及中点坐标，其中，该第一端点坐标是目标图像包括的引导信标的一个端点在该目标图像中的位置坐标，第二端点坐标为目标图像包括的引导信标的另一个端点在该目标图像中的位置坐标，中点坐标则是目标图像包括的引导信标的中点在该目标图像中的位置坐标。需要说明的是，当该目标图像中的引导信标的宽度不能忽略时，也即，当该目标图像中的引导信标的宽度与目标图像的宽度的比值大于一定数值时，可以将该引导信标的中轴线的一个端点在该目标图像中的位置坐标作为第一端点坐标、将该引导信标的中轴线的另一个端点在该目标图像中的位置坐标作为第二端点坐标，将该引导信标的中轴线的中点在该目标图像中的位置坐标作为中点坐标。当获取到第一端点坐标、第二端点坐标和中点坐标之后，机器人可以基于该第一端点坐标、第二端点坐标和中点坐标确定目标图像的中心点到引导信标的垂直距离。由于该垂直距离实际上是在该目标图像中的距离，因此，机器人还可以根据摄像机标定时确定的像素点和实际物理长度之间的关系，将该垂直距离换算为现实世界中的实际的垂直距离，换算后得到的垂直距离即为该机器人的侧向偏差。
示例性的，当机器人获取到第一端点坐标、第二端点坐标和中点坐标之后，可以分别通过下述公式(4)和(5)计算得到该垂直距离在图像坐标系的x轴和y轴上的分量，并通过下述公式(6)将该垂直距离换算为实际的侧向偏差。
Figure PCTCN2018110667-appb-000003
Figure PCTCN2018110667-appb-000004
Figure PCTCN2018110667-appb-000005
其中，I Fx为目标图像的中心点到该引导信标的垂直距离在x轴上的分量， I Fy为目标图像的中心点到该引导信标的垂直距离在y轴上的分量。(L x1,L y1)为第一端点坐标。(I Cx,I Cy)为该引导信标的中点坐标。d Lx为该侧向偏差在世界坐标系x轴上的分量，d Ly为该侧向偏差在世界坐标系y轴上的分量，R为预设的坐标转换矩阵，k为预设的去畸变系数，K为根据第一端点坐标和第二端点坐标确定的值，在一个可选实施例中，K可以通过下述公式(7)计算得到。
Figure PCTCN2018110667-appb-000006
其中，(L x2,L y2)为第二端点坐标。
示例性的，当机器人获取到该引导信标的第一端点坐标、第二端点坐标之后，机器人还可以获取存储的上一采样时刻确定的角度偏差，之后，机器人可以基于该第一端点坐标、第二端点坐标和上一采样时刻确定的角度偏差，通过下述公式(8)计算得到当前采样时刻机器人的角度偏差。
Figure PCTCN2018110667-appb-000007
其中，θ L为当前采样时刻机器人的角度偏差，θ L-1为上一采样时刻确定的角度偏差。
可选地，为了降低计算复杂度，机器人也可以直接将引导信标相对于纵向中心线的夹角，确定为该机器人的角度偏差。
2043：基于第一位置坐标、侧向偏差和角度偏差确定编码器的测量误差，并通过编码器的测量误差对第一位置坐标进行修正，以得到机器人在当前采样时刻的当前位置坐标。
当确定了当前采样时刻机器人的侧向偏差和角度偏差之后，机器人可以根据该侧向偏差、角度偏差以及上一采样时刻确定的机器人的位置坐标来确定第二位置坐标，该第二位置坐标实际上就是机器人通过目标图像初步确定的机器人当前的位置坐标，将该第二位置坐标与通过编码器测量值确定得到的机器人的第一位置坐标进行比较，从而得到编码器的测量误差，并利用该测量误差对通过编码器测量值计算得到的第一位置坐标进行修正。
其中，机器人可以在确定测量误差之后，对前述步骤2041中的位置变化量d s和角度变化量d θ进行修正，并根据修正后的位置变化量和角度变化量，通过公式(2)和(3)重新计算位置坐标，该重新计算得到的位置坐标即为修正后的第一位置坐标，也即是，机器人在当前采样时刻的当前位置坐标。
在本申请实施例中，通过该测量误差对第一位置坐标进行修正，也就是对通过编码器测量值计算第一位置坐标的过程中可能存在的由系统、机械参数等引起的测量误差进行修正，这样，将经过修正的第一位置坐标确定为当前位置坐标，提高了当前位置坐标的准确性。另外，如果机器人在运动过程中发生打滑现象，机器人还可以根据该侧向偏差和角度偏差对该机器人上设置的惯性导航传感器存在的测量误差进行修正，并根据修正后的测量误差结合获取到的移动距离确定机器人当前位置坐标。这样，即使机器人在移动过程中受到环境干扰，如坡度、打滑或颠簸撞击，也能够通过该引导信标进行引导修正，提高了机器人的环境适应性和鲁棒性。
在本申请实施例中，获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像，如果在该目标图像中存在固定信标，则可以基于该固定信标来确定机器人当前的位置坐标，如果该目标图像中不存在固定信标，而是存在引导信标，那么，则可以基于该引导信标确定机器人当前的位置坐标。也即是，在本申请实施例中，不必同时结合固定信标和引导信标来对机器人进行定位，只要目标图像中存在二者中的一个，即可以实现对机器人的定位，这样，即使在预设路线上设置固定信标和引导信标时将二者随意组合，机器人也可以根据该随意组合的信标进行定位，定位方式变得更加灵活，提高了机器人的环境适应性。
另外，当目标图像中不存在固定信标时，机器人可以根据引导信标确定侧向偏差和角度偏差，进而对编码器和/或惯性导航传感器的测量误差进行修正，在提高了定位准确性的同时，还可以解决因打滑引起的定位失真的问题，增强了机器人的环境适应性。
还需要说明的是，由于在本申请实施例中，机器人可以根据上一采样时刻预测得到的当前采样时刻的位置坐标来设置当前采样时刻的图像识别窗口，因此，当采用该当前采样时刻的图像识别窗口来对目标图像中的部分图像区域进行识别时，在一定的识别时间内，增加了识别到固定信标或者是引导信标的概率，提高了识别效率。
在对本申请实施例提供的机器人定位方法进行介绍之后，接下来，对本申请实施例所提供的装置进行介绍。
图3A是本申请实施例提供的一种机器人定位装置300的结构示意图，如图3A所示，该装置300包括第一获取模块301，第一确定模块302和第二确 定模块303：
第一获取模块301，用于获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像；
第一确定模块302，用于当目标图像中不存在固定信标而存在引导信标时，基于目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标，确定机器人在当前采样时刻的当前位置坐标；
其中，固定信标和引导信标是在机器人对应的预设线路上设置的、用于对机器人的位置进行定位的信标，且固定信标包括编码信息，该编码信息包括固定信标所在位置的坐标。
可选地，参见图3B，该装置300还包括：
第二获取模块303，用于基于上一采样时刻确定的机器人的位置坐标，确定当前采样时刻的图像识别窗口，从目标图像中获取位于当前采样时刻的图像识别窗口中的图像区域，当前采样时刻的图像识别窗口是基于上一采样时刻确定的机器人的位置坐标确定得到；
第二确定模块304，用于当图像区域中包括指定轮廓的图形时，确定目标图像中存在固定信标；
第三确定模块305，用于当图像区域中不包括指定轮廓的图形而包括直线，且直线的宽度为预设宽度和/或直线的颜色为预设颜色时，确定目标区域中不存在固定信标而存在引导信标。
可选地，第二获取模块303具体用于：
基于预设位置坐标和上一采样时刻确定的机器人的位置坐标，预测机器人在当前采样时刻的位置坐标，预设位置坐标为预先设置的机器人任务结束时的终点坐标；
基于预测的当前采样时刻的位置坐标，确定当前采样时刻的图像识别窗口。
可选地，上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的固定信标确定得到；
或者，上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的引导信标确定得到。
可选地，参见图3C，第一确定模块302包括：
计算子模块3021，用于基于机器人上设置的编码器在当前采样时刻采集到 的测量值以及上一采样时刻确定的机器人的位置坐标，计算机器人的第一位置坐标；
第一确定子模块3022，用于基于目标图像中存在的引导信标确定机器人的侧向偏差和角度偏差；
第二确定子模块3023，用于基于第一位置坐标、侧向偏差和角度偏差确定编码器的测量误差；
修正子模块3024，用于通过编码器的测量误差对第一位置坐标进行修正，以得到机器人在当前采样时刻的当前位置坐标。
可选地，计算子模块3021具体用于：
基于机器人上的编码器在当前采样时刻采集到的测量值以及在上一采样时刻采集到的测量值，计算上一采样时刻到当前采样时刻之间机器人的第一车轮滚动量和第二车轮滚动量；
基于第一车轮滚动量、第二车轮滚动量和上一采样时刻确定的机器人的位置坐标，计算机器人的第一位置坐标。
可选地，第一确定子模块3022具体用于：
获取引导信标在目标图像中的第一端点坐标和第二端点坐标；
基于第一端点坐标和第二端点坐标，确定目标图像的中心点到引导信标的垂直距离，并基于垂直距离确定机器人的侧向偏差；
基于第一端点坐标和第二端点坐标，确定目标图像的纵向中心线与引导信标的夹角，并基于夹角确定机器人的角度偏差。
综上所述，在本申请实施例中，获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像，如果在该目标图像中存在固定信标，则可以基于该固定信标来确定机器人当前的位置坐标，如果该目标图像中不存在固定信标，而是存在引导信标，那么，则可以基于该引导信标确定机器人当前的位置坐标。也即是，在本申请实施例中，不必同时结合固定信标和引导信标来对机器人进行定位，只要目标图像中存在二者中的一个，即可以实现对机器人的定位，这样，即使在预设路线上设置固定信标和引导信标时将二者随意组合，机器人也可以根据该随意组合的信标进行定位，定位方式变得更加灵活，提高了机器人的环境适应性。
需要说明的是：上述实施例提供的机器定位装置在进行机器人定位时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述 功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的机器人定位装置与机器人定位方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图4是本申请实施例示出的一种用于机器人定位的装置400的框图。例如，该装置400可以是诸如计算机，工业电脑等智能设备，也可以为机器人。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为装置400的各种组件提供电源。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电源相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述 触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑 器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图2A和图2B所示实施例提供的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种计算机可读存储介质，当存储介质中的指令由智能设备或机器人的处理器执行时，使得智能设备或机器人能够执行图2A或图2B所提供的机器人定位方法。
一种应用程序，该应用程序可以在智能设备或机器人上运行，且当该应用程序在智能设备或机器人上运行时，可以使得智能设备或机器人执行图2A或图2B所提供的机器人定位方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

  1. 一种机器人定位方法，所述方法包括：
    获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像；
    当所述目标图像中不存在固定信标而存在引导信标时，基于所述目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标，确定所述机器人在所述当前采样时刻的当前位置坐标；
    其中，所述固定信标和所述引导信标是在所述机器人对应的预设线路上设置的、用于对所述机器人的位置进行定位的信标，且所述固定信标包括编码信息，所述编码信息包括所述固定信标所在位置的坐标。
  2. 根据权利要求1所述的方法，其中，所述获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像之后，还包括：
    基于所述上一采样时刻确定的机器人的位置坐标，确定当前采样时刻的图像识别窗口；
    从所述目标图像中获取位于当前采样时刻的图像识别窗口中的图像区域；
    当所述图像区域中包括指定轮廓的图形时，确定所述目标图像中存在所述固定信标；
    当所述图像区域中不包括所述指定轮廓的图形而包括直线，且所述直线的宽度为预设宽度和/或所述直线的颜色为预设颜色时，确定所述目标图像中不存在所述固定信标而存在所述引导信标。
  3. 根据权利要求2所述的方法，其中，所述基于所述上一采样时刻确定的机器人的位置坐标，确定当前采样时刻的图像识别窗口，包括：
    基于预设位置坐标和上一采样时刻确定的机器人的位置坐标，预测所述机器人在当前采样时刻的位置坐标，所述预设位置坐标为预先设置的所述机器人任务结束时的终点坐标；
    基于预测的当前采样时刻的位置坐标，确定当前采样时刻的图像识别窗口。
  4. 根据权利要求1所述的方法，其中，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的固定信标确定得到；
    或者，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的引导信标确定得到。
  5. 根据权利要求1-4任一所述的方法，其中，所述基于所述目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标，确定所述机器人在所述当前采样时刻的当前位置坐标，包括：
    基于所述机器人上的编码器在当前采样时刻采集到的测量值以及所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标；
    基于所述目标图像中存在的引导信标确定所述机器人的侧向偏差和角度偏差；
    基于所述第一位置坐标、所述侧向偏差和所述角度偏差确定所述编码器的测量误差；
    通过所述编码器的测量误差对所述第一位置坐标进行修正，以得到所述机器人在所述当前采样时刻的当前位置坐标。
  6. 根据权利要求5所述的方法，其中，所述基于所述机器人上设置的编码器在当前采样时刻采集到的测量值以及所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标，包括：
    基于所述机器人上设置的编码器在当前采样时刻采集到的测量值以及在上一采样时刻采集到的测量值，计算上一采样时刻到当前采样时刻之间所述机器人的第一车轮滚动量和第二车轮滚动量；
    基于所述第一车轮滚动量、所述第二车轮滚动量和所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标。
  7. 根据权利要求5所述的方法，其中，所述基于所述目标图像中存在的引导信标确定所述机器人的侧向偏差和角度偏差，包括：
    获取所述引导信标在所述目标图像中的第一端点坐标和第二端点坐标；
    基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的中心点到所述引导信标的垂直距离，并基于所述垂直距离确定所述机器人的侧向偏差；
    基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的纵向中心线与所述引导信标的夹角，并基于所述夹角确定所述机器人的角度偏差。
  8. 一种机器人定位装置，其中，所述装置包括：
    第一获取模块，用于获取机器人上搭载的摄像头在当前采样时刻采集到的目标图像；
    第一确定模块，用于当所述目标图像中不存在固定信标而存在引导信标时，基于所述目标图像中存在的引导信标和上一采样时刻确定的机器人的位置坐标，确定所述机器人在所述当前采样时刻的当前位置坐标；
    其中，所述固定信标和所述引导信标是在所述机器人对应的预设线路上设置的、用于对所述机器人的位置进行定位的信标，且所述固定信标包括编码信息，所述编码信息包括所述固定信标所在位置的坐标。
  9. 根据权利要求8所述的装置，其中，所述装置还包括：
    第二获取模块，用于基于所述上一采样时刻确定的机器人的位置坐标，确定当前采样时刻的图像识别窗口，从所述目标图像中获取位于当前采样时刻的图像识别窗口中的图像区域；
    第二确定模块，用于当所述图像区域中包括指定轮廓的图形时，确定所述目标图像中存在所述固定信标；
    第三确定模块，用于当所述图像区域中不包括所述指定轮廓的图形而包括直线，且所述直线的宽度为预设宽度和/或所述直线的颜色为预设颜色时，确定所述目标图像中不存在所述固定信标而存在所述引导信标。
  10. 根据权利要求9所述的装置，其中，所述第二获取模块具体用于：
    基于预设位置坐标和上一采样时刻确定的机器人的位置坐标，预测所述机器人在当前采样时刻的位置坐标，所述预设位置坐标为所述机器人任务结束时的终点坐标；
    基于预测的当前采样时刻的位置坐标，确定当前采样时刻的图像识别窗口。
  11. 如权利要求8所述的装置，其中，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的固定信标确定得到；
    或者，所述上一采样时刻确定的机器人的位置坐标是根据上一采样时刻采集到的图像中的引导信标确定得到。
  12. 根据权利要求8-11任一所述的装置，其中，所述第一确定模块包括：
    计算子模块，用于基于所述机器人上的编码器在当前采样时刻采集到的测量值以及所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标；
    第一确定子模块，用于基于所述目标图像中存在的引导信标确定所述机器人的侧向偏差和角度偏差；
    第二确定子模块，用于基于所述第一位置坐标、所述侧向偏差和所述角度偏差确定所述编码器的测量误差；
    修正子模块，用于通过所述编码器的测量误差对所述第一位置坐标进行修正，以得到所述机器人在所述当前采样时刻的当前位置坐标。
  13. 根据权利要求12所述的装置，其中，所述计算子模块具体用于：
    基于所述机器人上设置的编码器在当前采样时刻采集到的测量值以及在上一采样时刻采集到的测量值，计算上一采样时刻到当前采样时刻之间所述机器人的第一车轮滚动量和第二车轮滚动量；
    基于所述第一车轮滚动量、所述第二车轮滚动量和所述上一采样时刻确定的机器人的位置坐标，计算所述机器人的第一位置坐标。
  14. 根据权利要12所述的装置，其中，所述第一确定子模块具体用于：
    获取所述引导信标在所述目标图像中的第一端点坐标和第二端点坐标；
    基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的中心点到所述引导信标的垂直距离，并基于所述垂直距离确定所述机器人的侧向偏差；
    基于所述第一端点坐标和所述第二端点坐标，确定所述目标图像的纵向中心线与所述引导信标的夹角，并基于所述夹角确定所述机器人的角度偏差。
  15. 一种机器人定位装置，其中，所述装置包括：
    处理器；
    用于存储处理器可执行指令的存储器；
    其中，所述处理器被配置为执行权利要求1-7所述的任一项方法。
  16. 一种计算机可读存储介质，其中，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法。
  17. 一种应用程序，其中，所述应用程序用于在运行时执行权利要求1-7任一所述的方法。
PCT/CN2018/110667 2017-10-17 2018-10-17 机器人定位方法、装置及计算机可读存储介质 WO2019076320A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710966574.8A CN109668551B (zh) 2017-10-17 2017-10-17 机器人定位方法、装置及计算机可读存储介质
CN201710966574.8 2017-10-17

Publications (1)

Publication Number Publication Date
WO2019076320A1 true WO2019076320A1 (zh) 2019-04-25

Family

ID=66140420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/110667 WO2019076320A1 (zh) 2017-10-17 2018-10-17 机器人定位方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109668551B (zh)
WO (1) WO2019076320A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580380A (zh) * 2020-12-11 2021-03-30 北京极智嘉科技有限公司 基于图形码的定位方法、装置、电子设备和存储介质
CN112712502A (zh) * 2020-12-29 2021-04-27 凌云光技术股份有限公司 一种将正反面同步检测结果进行关联的方法
CN112819884A (zh) * 2021-01-08 2021-05-18 苏州华兴源创科技股份有限公司 坐标修正方法及装置、电子设备、计算机可读介质
CN112834764A (zh) * 2020-12-28 2021-05-25 深圳市人工智能与机器人研究院 机械臂的采样控制方法及装置、采样系统
CN113034604A (zh) * 2019-12-25 2021-06-25 南京极智嘉机器人有限公司 标定系统、方法及自导引机器人
CN113175932A (zh) * 2021-04-27 2021-07-27 上海景吾智能科技有限公司 机器人导航自动化测试方法、系统、介质及设备
CN114136306A (zh) * 2021-12-01 2022-03-04 浙江大学湖州研究院 一种可拓展的基于uwb和摄像头的相对定位的设备和方法
CN114187349A (zh) * 2021-11-03 2022-03-15 深圳市正运动技术有限公司 产品加工方法、装置、终端设备以及存储介质
CN116002323A (zh) * 2022-12-29 2023-04-25 上海邺洋生物技术应用有限公司 一种基于机械臂的生物实验室智能搬运方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551176A (zh) * 2020-04-09 2020-08-18 成都双创时代科技有限公司 一种双色条加二维码的机器人室内定位方法
CN111583338B (zh) * 2020-04-26 2023-04-07 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN112580432B (zh) * 2020-11-23 2023-09-22 江苏省新通智能交通科技发展有限公司 一种闸门错位检测方法及检测系统
CN113237464A (zh) * 2021-05-07 2021-08-10 郑州比克智能科技有限公司 定位系统、方法、定位器以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256560B1 (en) * 1999-02-25 2001-07-03 Samsung Electronics Co., Ltd. Method for correcting position of automated-guided vehicle and apparatus therefor
CN103064417A (zh) * 2012-12-21 2013-04-24 上海交通大学 一种基于多传感器的全局定位导引系统及方法
CN103294059A (zh) * 2013-05-21 2013-09-11 无锡普智联科高新技术有限公司 基于混合导航带的移动机器人定位系统及其方法
CN105651286A (zh) * 2016-02-26 2016-06-08 中国科学院宁波材料技术与工程研究所 一种移动机器人视觉导航方法与系统、以及仓库系统
CN206075136U (zh) * 2016-08-29 2017-04-05 深圳市劲拓自动化设备股份有限公司 基于模糊算法的视觉导航控制系统
CN106708051A (zh) * 2017-01-10 2017-05-24 上海极络智能科技有限公司 基于二维码的导航系统和方法、导航标记物及导航控制器
JP2017117012A (ja) * 2015-12-21 2017-06-29 株式会社デンソー 無人搬送車及び無人搬送システム
CN106950972A (zh) * 2017-05-15 2017-07-14 上海音锋机器人股份有限公司 一种无人搬运车agv及其路线纠偏方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473141B2 (en) * 2008-12-11 2013-06-25 Kabushiki Kaisha Yaskawa Denki Robot system
CN104298240A (zh) * 2014-10-22 2015-01-21 湖南格兰博智能科技有限责任公司 导游机器人及其控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256560B1 (en) * 1999-02-25 2001-07-03 Samsung Electronics Co., Ltd. Method for correcting position of automated-guided vehicle and apparatus therefor
CN103064417A (zh) * 2012-12-21 2013-04-24 上海交通大学 一种基于多传感器的全局定位导引系统及方法
CN103294059A (zh) * 2013-05-21 2013-09-11 无锡普智联科高新技术有限公司 基于混合导航带的移动机器人定位系统及其方法
JP2017117012A (ja) * 2015-12-21 2017-06-29 株式会社デンソー 無人搬送車及び無人搬送システム
CN105651286A (zh) * 2016-02-26 2016-06-08 中国科学院宁波材料技术与工程研究所 一种移动机器人视觉导航方法与系统、以及仓库系统
CN206075136U (zh) * 2016-08-29 2017-04-05 深圳市劲拓自动化设备股份有限公司 基于模糊算法的视觉导航控制系统
CN106708051A (zh) * 2017-01-10 2017-05-24 上海极络智能科技有限公司 基于二维码的导航系统和方法、导航标记物及导航控制器
CN106950972A (zh) * 2017-05-15 2017-07-14 上海音锋机器人股份有限公司 一种无人搬运车agv及其路线纠偏方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034604A (zh) * 2019-12-25 2021-06-25 南京极智嘉机器人有限公司 标定系统、方法及自导引机器人
CN112580380A (zh) * 2020-12-11 2021-03-30 北京极智嘉科技有限公司 基于图形码的定位方法、装置、电子设备和存储介质
CN112580380B (zh) * 2020-12-11 2024-04-19 北京极智嘉科技股份有限公司 基于图形码的定位方法、装置、电子设备和存储介质
CN112834764A (zh) * 2020-12-28 2021-05-25 深圳市人工智能与机器人研究院 机械臂的采样控制方法及装置、采样系统
CN112712502A (zh) * 2020-12-29 2021-04-27 凌云光技术股份有限公司 一种将正反面同步检测结果进行关联的方法
CN112712502B (zh) * 2020-12-29 2024-04-19 凌云光技术股份有限公司 一种将正反面同步检测结果进行关联的方法
CN112819884A (zh) * 2021-01-08 2021-05-18 苏州华兴源创科技股份有限公司 坐标修正方法及装置、电子设备、计算机可读介质
CN113175932A (zh) * 2021-04-27 2021-07-27 上海景吾智能科技有限公司 机器人导航自动化测试方法、系统、介质及设备
CN114187349A (zh) * 2021-11-03 2022-03-15 深圳市正运动技术有限公司 产品加工方法、装置、终端设备以及存储介质
CN114187349B (zh) * 2021-11-03 2022-11-08 深圳市正运动技术有限公司 产品加工方法、装置、终端设备以及存储介质
CN114136306A (zh) * 2021-12-01 2022-03-04 浙江大学湖州研究院 一种可拓展的基于uwb和摄像头的相对定位的设备和方法
CN116002323A (zh) * 2022-12-29 2023-04-25 上海邺洋生物技术应用有限公司 一种基于机械臂的生物实验室智能搬运方法及系统

Also Published As

Publication number Publication date
CN109668551B (zh) 2021-03-26
CN109668551A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
WO2019076320A1 (zh) 机器人定位方法、装置及计算机可读存储介质
US10564392B2 (en) Imaging apparatus and focus control method
US10229501B2 (en) Mobile robot and method for controlling the same
US20200357138A1 (en) Vehicle-Mounted Camera Self-Calibration Method and Apparatus, and Storage Medium
WO2020168742A1 (zh) 一种车体定位方法及装置
US9304970B2 (en) Extended fingerprint generation
CN110169056B (zh) 一种动态三维图像获取的方法和设备
US20210158560A1 (en) Method and device for obtaining localization information and storage medium
US20170200273A1 (en) System and Method for Fusing Outputs of Sensors Having Different Resolutions
US8467575B2 (en) Moving-object detection apparatus, moving-object detection method and moving-object detection program
US9733713B2 (en) Laser beam based gesture control interface for mobile devices
US20130063401A1 (en) Projector device and operation detecting method
US20130195314A1 (en) Physically-constrained radiomaps
US20150062305A1 (en) Image capturing device, image processing method, and recording medium
CN112013844B (zh) 建立室内环境地图的方法及装置
US20180299645A1 (en) Focusing control device, imaging device, focusing control method, and focusing control program
US20140191959A1 (en) Pointing system and display having improved operable range
US20170328976A1 (en) Operation device, tracking system, operation method, and program
US11353885B2 (en) Method of acquiring image for recognizing position and robot implementing the same
CN113557492B (zh) 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质
KR20150074878A (ko) 휴대 단말기의 이미지 프레임 내 피사체 간 거리 측정 방법
EP3889637A1 (en) Method and device for gesture detection, mobile terminal and storage medium
JP6175745B2 (ja) 決定装置、決定方法、および決定プログラム
JP7153747B2 (ja) 制御システム、制御方法、プログラムおよびシートセット
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18867500

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18867500

Country of ref document: EP

Kind code of ref document: A1