WO2021012682A1 - 一种应用于搬运机器人的搬运行进方法及其搬运机器人 - Google Patents

一种应用于搬运机器人的搬运行进方法及其搬运机器人 Download PDF

Info

Publication number
WO2021012682A1
WO2021012682A1 PCT/CN2020/078287 CN2020078287W WO2021012682A1 WO 2021012682 A1 WO2021012682 A1 WO 2021012682A1 CN 2020078287 W CN2020078287 W CN 2020078287W WO 2021012682 A1 WO2021012682 A1 WO 2021012682A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
transfer
motor
robot
target image
Prior art date
Application number
PCT/CN2020/078287
Other languages
English (en)
French (fr)
Inventor
张建民
龙佳乐
郑英明
凌钟发
许志辉
Original Assignee
五邑大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 五邑大学 filed Critical 五邑大学
Publication of WO2021012682A1 publication Critical patent/WO2021012682A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels

Definitions

  • the invention relates to the field of intelligent robots, in particular to a carrying method applied to a carrying robot and the carrying robot.
  • the purpose of the present invention is to solve at least one of the technical problems existing in the prior art, and to provide a carrying method applied to a carrying robot and a carrying robot thereof, which can automatically search for a carrying target and automatically travel to the carrying target.
  • a carrying method applied to a carrying robot comprising a traveling mechanism, a camera, a mechanical arm, a laser rangefinder and a control processor, and the carrying method includes the following steps :
  • Step S1 Take a target image through a camera
  • Step S2 Judge whether the target image has the first transportation target through the target detection algorithm
  • Step S3 If the target image does not have the first transportation target, the rotating camera continues shooting until it is detected that the target image has the first transportation target;
  • Step S4 After detecting the existence of the first conveying target in the target image, proceed to the first conveying target, and re-shoot the target image containing the first conveying target at every set shooting time and obtain the position coordinates (x, y);
  • Step S5. Adjust the moving direction through proportional closed-loop control according to the latest abscissa x and adjust the moving speed accordingly, and obtain the real-time distance h from the first transport target through the laser rangefinder until the real-time distance h is equal to the first threshold and the latest If the ordinate y is equal to the second threshold, stop moving, stop shooting the target image, and stop acquiring the position coordinates of the first conveying target;
  • Step S6 Grab the workpiece on the first transport target by the mechanical arm
  • Step S7 Confirm the second transfer target according to the method adopted in step S1 to step S5 and move to before the second transfer target;
  • Step S8 Place the workpiece on the robotic arm on the second transport target.
  • the above-mentioned carrying method applied to the carrying robot has at least the following beneficial effects: the carrying robot automatically searches for several target images taken by the camera through the target detection algorithm and confirms the two carrying targets successively, and shoots new objects at intervals during the travel. It also adjusts the direction of travel and confirms the timing of stopping according to the coordinates of the conveying target. There is no need to follow the established path.
  • the automatic recognition and automatic travel of the conveying robot are realized, and the degree of intelligence of the conveying robot is improved.
  • the transportation goal of the location can also be realized, which greatly improves the transportation efficiency.
  • the adjustment of the movement direction through the proportional closed-loop system according to the latest abscissa x is specifically: comparing the abscissa x with the coordinate value x c of the lateral center point of the target image, and when x is greater than x c , adjust The moving direction is right, when x is less than x c , adjust the moving direction to the left.
  • the traveling mechanism includes two front wheels and two rear wheels, the two front wheels are respectively connected with a motor A and a motor B, and the two rear wheels are respectively connected with a motor C and a motor D;
  • the speed adjustment method is specifically: detecting that the moving speed is different from the set speed, the absolute value of the difference between the moving speed and the set speed is taken as the speed deviation output value Vx, and the motor A, motor B, motor C and motor D are Adjust as follows: Among them, Target_A, Target_B, Target_C and Target_D are the output target values of motor A, motor B, motor C and motor D respectively, and RC_Position is the given maximum moving position value.
  • the moving direction is adjusted by the proportional closed-loop system according to the latest abscissa x at this time. Adjust the movement speed accordingly.
  • the target detection algorithm is an SSD target detection algorithm based on the TensorFlow framework.
  • the first transfer target and the second transfer target are distinguished by identifying the marks on the first transfer target and the second transfer target.
  • a transport robot which includes a traveling mechanism, a camera, a mechanical arm, a laser rangefinder, a control processor, and a memory for communicating with the control processor; the memory stores Instructions that can be executed by the control processor, the instructions are executed by the control processor, so that the control processor can execute the loading method applied to a handling robot according to the first aspect of the present invention .
  • the above-mentioned handling robot has at least the following beneficial effects: the target detection algorithm automatically searches from several target images taken by the camera and confirms the two handling targets successively, and shoots new target images at intervals during the travel, and according to the Coordinates adjust the direction of travel and confirm the timing of stopping. There is no need to follow the established path. It can complete automatic identification and automatic travel. It has a high degree of intelligence. It can also realize the transportation of the transportation target without a fixed position, which greatly improves the transportation efficiency. .
  • FIG. 1 is a flowchart of a method for carrying in a carrying robot according to an embodiment of the present invention
  • Fig. 2 is a schematic diagram of the traveling of a handling robot according to an embodiment of the present invention.
  • an embodiment of the present invention provides a method for carrying and moving a handling robot
  • the handling robot includes a traveling mechanism 800, a camera 200, a mechanical arm 300, a laser rangefinder 400 and a control
  • the loading mode includes the following steps:
  • Step S1 Take a target image through the camera 200;
  • Step S2 Determine whether the first transport target 600 exists in the target image through the target detection algorithm
  • Step S3 If the first transport target 600 does not exist in the target image, the rotating camera 200 continues shooting until the first transport target 600 is detected in the target image;
  • Step S4 After detecting the presence of the first transport target 600 in the target image, proceed to the first transport target 600, and re-photograph the target image containing the first transport target 600 at every set shooting time and obtain the corresponding position of the first transport target 600 Coordinates (x, y);
  • Step S5 Adjust the moving direction through proportional closed-loop control according to the latest abscissa x and adjust the moving speed accordingly, and obtain the real-time distance h from the first transport target 600 through the laser rangefinder 400 until the real-time distance h is equal to the first threshold and If the latest ordinate y is equal to the second threshold, stop moving, stop capturing the target image, and stop acquiring the position coordinates of the first conveying target 600;
  • Step S6 Grab the workpiece 610 on the first transport target 600 by the robotic arm 300;
  • Step S7 Confirm the second transfer target 700 according to the method adopted in steps S1 to S5 and move to the front of the second transfer target 700;
  • Step S8 Place the workpiece 610 on the robot arm 300 on the second transport target 700.
  • the first transport target 600 is automatically searched and confirmed from several target images taken by the camera 200 through a target detection algorithm, where the target detection algorithm used is an SSD target detection algorithm based on the TensorFlow framework.
  • the SSD target detection algorithm is a one-step detection algorithm. The main idea is to uniformly sample densely at different positions of the target image. The bounding box can be set at different scales and aspect ratios during sampling, and then the CNN algorithm is used to extract features. Direct classification and regression, the whole process is in place in one step. If the captured target image does not include the first transfer target 600, the rotating camera 200 continues to shoot until the first transfer target 600 is searched, and the automatic search of the first transfer target 600 by the transfer robot is completed.
  • the transfer robot moves to the first transfer target 600.
  • the camera 200 is fixed, and the direction of the camera 200 is the forward direction of the transport robot, so rotating the camera 200 needs to make the transport robot self-rotate.
  • the target image including the first conveying target 600 is re-photographed every time the shooting time is set and the corresponding position coordinates (x, y) of the first conveying target 600 are obtained; specifically , Set the shooting time to 0.5s. Make the handling robot maintain accurate positioning of the handling target during the travel.
  • step S5 during the traveling process, according to the abscissa x of the first transport target 600 in the newly captured target image, the moving direction is adjusted through a proportional closed-loop system, specifically: comparing the abscissa x with the coordinates of the horizontal center point of the target image Value x c , when x is greater than x c , adjust the movement direction to the right, when x is less than x c , adjust the movement direction to the left.
  • the resolution of the target image captured by the camera 200 is 640 pixels*480 pixels
  • the value of x c is 320.
  • the traveling mechanism 800 includes two front wheels and two rear wheels, the two front wheels are respectively connected with a motor A and a motor B, and the two rear wheels are respectively connected with a motor C and a motor D; when the handling robot turns or encounters When an obstacle is reached, the movement speed is likely to change, and the movement speed needs to be adjusted.
  • the adjustment method of the moving speed is specifically as follows: if the moving speed is detected to be different from the set speed, the absolute value of the difference between the moving speed and the set speed is used as the speed deviation output value Vx, which is for motor A, motor B, motor C and motor D. Adjust as follows:
  • Target_A, Target_B, Target_C and Target_D are the output target values of motor A, motor B, motor C and motor D respectively, and RC_Position is the given maximum moving position value.
  • the real-time distance h from the first transport target 600 is obtained by the laser rangefinder 400.
  • the real-time distance h is equal to the first threshold and the latest ordinate y is greater than the second threshold, it is determined that there is an obstacle ahead
  • adjust the moving direction through the proportional closed-loop system according to the above-mentioned method; similarly, compare the abscissa x with the coordinate value x c of the horizontal center point of the target image, when x is greater than x c , adjust the moving direction to the right, when x is less than When x c , adjust the moving direction to the left. And make the handling robot adjust the moving speed accordingly when turning.
  • the transport robot when the transport robot is traveling to the first transport target 600, when the real-time distance h is equal to the first threshold and the latest ordinate y is equal to the second threshold, it stops moving, stops capturing the target image, and stops acquiring the first transport target 600
  • the location coordinates Specifically, the first threshold is 10 cm, and the second threshold is 40.
  • the transfer robot before the transfer robot reaches the first transfer target 600, it confirms the workpiece 610 on the first transfer target 600 and its position, and uses the robotic arm 300 to grab the workpiece 610 on the first transfer target 600.
  • the transfer robot confirms the second transfer target 700 and moves to the front of the second transfer target 700; the workpiece 610 on the robot arm 300 is placed on the second transfer target 700.
  • the identifications on the first transfer target 600 and the second transfer target 700 are identified by the SSD target detection algorithm to distinguish the first transfer target 600 from the second transfer target 700.
  • the identifiers are numbers marked on the first transfer target 600 and the second transfer target 700.
  • the identification may be the color or shape difference between the first transport target 600 and the second transport target 700. So far, the handling robot can automatically transport the workpiece 610 from one handling target to another, which is highly intelligent.
  • the handling robot is made to automatically search for several target images captured by the camera 200 through the target detection algorithm, and to confirm the two handling targets successively, and shoot new target images at intervals during the travel, and follow the target Coordinates adjust the direction of travel and confirm the timing of stopping.
  • the above-mentioned handling robot automatically searches for several target images captured by the camera 200 through the target detection algorithm and confirms the two handling targets successively, shoots new target images at intervals during the travel, and adjusts the direction of travel and confirms according to the coordinates of the handling target When stopping, there is no need to follow the established path. It can complete automatic identification and automatic travel. It has a high degree of intelligence. It can also realize the transportation of the transportation target without a fixed position, which greatly improves the transportation efficiency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

一种应用于搬运机器人的搬运行进方法，搬运机器人包括行进机构（800）、摄像头（200）、机械臂（300）、激光测距仪（400）和控制处理器（100）。这种方法通过目标检测算法自动从摄像头（200）拍摄的若干目标图像中搜索并先后分别确认两个搬运目标，在行进过程中间隔地拍摄新的目标图像，并按照搬运目标的坐标调整行进方向和确认停止时机，最终实现自动将工件从一个搬运目标运送至另一个搬运目标；无需按照既定的路径来行进，能完成自动识别和自动行进的方式，具有高度的智能化，对没有固定位置的搬运目标亦能够实现搬运，大大提高了搬运效率。还涉及一种应用了这种搬运行进方法的搬运机器人。

Description

一种应用于搬运机器人的搬运行进方法及其搬运机器人 技术领域
本发明涉及智能机器人领域，特别是一种应用于搬运机器人的搬运行进方法及其搬运机器人。
背景技术
随着工业技术的迅速发展，在工业生产中，对生产设备的智能化和自动化需求日益增加。但目前的搬运机器人只能按照设定的路径来行进，无法自动寻找搬运目标，不够智能化。在搬运目标不是摆放在固定位置的情况下，搬运机器人即无法完成搬运任务，将导致搬运效率大大降低。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种应用于搬运机器人的搬运行进方法及其搬运机器人，能自动搜索搬运目标并自动行进至搬运目标处。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，提供了一种应用于搬运机器人的搬运行进方法，所述搬运机器人包括行进机构、摄像头、机械臂、激光测距仪和控制处理器，所述搬运行进方式包括以下步骤：
步骤S1、通过摄像头拍摄目标图像；
步骤S2、通过目标检测算法判断目标图像是否存在第一搬运目 标；
步骤S3、若目标图像不存在第一搬运目标，则旋转摄像头继续拍摄直至检测到目标图像存在第一搬运目标；
步骤S4、检测到目标图像存在第一搬运目标后向第一搬运目标行进，每间隔设定拍摄时间重新拍摄包含第一搬运目标的目标图像和获取对应的第一搬运目标的位置坐标(x，y)；
步骤S5、根据最新的横坐标x通过比例闭环控制调节移动方向并相应地调整移动速度以及通过激光测距仪获得与第一搬运目标的实时距离h，直至实时距离h等于第一阈值且最新的纵坐标y等于第二阈值则停止移动、停止拍摄目标图像和停止获取第一搬运目标的位置坐标；
步骤S6、通过机械臂抓取第一搬运目标上的工件；
步骤S7、按照步骤S1至步骤S5所采用的方法确认第二搬运目标并移动至第二搬运目标前；
步骤S8、将机械臂上的工件放置到第二搬运目标上。
上述应用于搬运机器人的搬运行进方法至少具有以下的有益效果:使搬运机器人通过目标检测算法自动从摄像头拍摄的若干目标图像中搜索并先后分别确认两个搬运目标，在行进过程中间隔地拍摄新的目标图像，并按照搬运目标的坐标调整行进方向和确认停止时机，无需按照既定的路径来行进，实现搬运机器人的自动识别和自动行进的方式，提高了搬运机器人的智能化程度，对没有固定位置的搬运目 标亦能够实现搬运，大大提高了搬运效率。
根据本发明的第一方面,所述获取对应的第一搬运目标的位置坐标(x，y)具体为：x＝cx*k 1，y＝cy*k 2，其中cx为目标检测算法对第一搬运目标框定的边界框的中心点横坐标，cy为目标检测算法对第一搬运目标框定的边界框的中心点纵坐标，k 1为目标图像的分辨率的横向像素值，k 2为目标图像的分辨率的纵向像素值。
根据本发明的第一方面,所述根据最新的横坐标x通过比例闭环系统调节移动方向具体为：比较横坐标x与目标图像横向中心点的坐标值x c，当x大于x c时，调节移动方向偏右，当x小于x c时，调节移动方向偏左。
根据本发明的第一方面,所述行进机构包括两个前轮和两个后轮，两个前轮分别连接有电机A和电机B，两个后轮分别连接有电机C和电机D；移动速度的调整方式具体为：检测到移动速度与设定速度不同，则将移动速度和设定速度的差的绝对值作为速度偏差输出值Vx，对电机A、电机B、电机C和电机D按照如下方式调整：
Figure PCTCN2020078287-appb-000001
其中Target_A、Target_B、Target_C和Target_D分别为电机A、电机B、电机C和电机D的输出目标值，RC_Position为给定最大移动位置值。
根据本发明的第一方面,当实时距离h等于第一阈值而最新的纵坐标y大于第二阈值，则判定前方存在障碍物，此时根据最新的横坐 标x通过比例闭环系统调节移动方向并相应地调整移动速度。
根据本发明的第一方面,所述目标检测算法为基于TensorFlow框架的SSD目标检测算法。
根据本发明的第一方面,通过识别第一搬运目标和第二搬运目标上的标识来区分第一搬运目标和第二搬运目标。
本发明的第二方面，提供了一种搬运机器人，包括行进机构、摄像头、机械臂、激光测距仪、控制处理器和用于与所述控制处理器通信连接的存储器；所述存储器存储有可被所述控制处理器执行的指令，所述指令被所述控制处理器执行，以使所述控制处理器能够执行如本发明第一方面所述的一种应用于搬运机器人的搬运行进方法。
上述搬运机器人至少具有以下的有益效果：通过目标检测算法自动从摄像头拍摄的若干目标图像中搜索并先后分别确认两个搬运目标，在行进过程中间隔地拍摄新的目标图像，并按照搬运目标的坐标调整行进方向和确认停止时机，无需按照既定的路径来行进，能完成自动识别和自动行进的方式，具有高度的智能化，对没有固定位置的搬运目标亦能够实现搬运，大大提高了搬运效率。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例一种应用于搬运机器人的搬运行进方法的流程图；
图2是本发明实施例一种搬运机器人的行进示意图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1和图2，本发明的一个实施例，提供了一种应用于搬运机器人的搬运行进方法，所述搬运机器人包括行进机构800、摄像头200、机械臂300、激光测距仪400和控制处理器100，所述搬运行进方式包括以下步骤：
步骤S1、通过摄像头200拍摄目标图像；
步骤S2、通过目标检测算法判断目标图像是否存在第一搬运目标600；
步骤S3、若目标图像不存在第一搬运目标600，则旋转摄像头200继续拍摄直至检测到目标图像存在第一搬运目标600；
步骤S4、检测到目标图像存在第一搬运目标600后向第一搬运目标600行进，每间隔设定拍摄时间重新拍摄包含第一搬运目标600的目标图像和获取对应的第一搬运目标600的位置坐标(x，y)；
步骤S5、根据最新的横坐标x通过比例闭环控制调节移动方向并相应地调整移动速度以及通过激光测距仪400获得与第一搬运目标600的实时距离h，直至实时距离h等于第一阈值且最新的纵坐标y等于第二阈值则停止移动、停止拍摄目标图像和停止获取第一搬运目标600的位置坐标；
步骤S6、通过机械臂300抓取第一搬运目标600上的工件610；
步骤S7、按照步骤S1至步骤S5所采用的方法确认第二搬运目标700并移动至第二搬运目标700前；
步骤S8、将机械臂300上的工件610放置到第二搬运目标700上。
在该实施例中，通过目标检测算法自动从摄像头200拍摄的若干目标图像中搜索并确认第一搬运目标600，其中所采用的目标检测算法为基于TensorFlow框架的SSD目标检测算法。SSD目标检测算法 是一种一步到位检测算法，其主要思路是均匀地在目标图像的不同位置进行密集抽样，抽样时框定的边界框可以采用不同尺度和长宽比，然后利用CNN算法提取特征后直接进行分类与回归，整个过程一步到位。若拍摄的目标图像中没有包含第一搬运目标600则旋转摄像头200继续拍摄直至搜索到第一搬运目标600，完成搬运机器人对第一搬运目标600的自动搜索。
进一步，在步骤S4中，在搜索到第一搬运目标600后，获取对应的第一搬运目标600的位置坐标(x，y)，具体为：x＝cx*k 1，y＝cy*k 2，其中cx为目标检测算法对第一搬运目标600框定的边界框的中心点横坐标，cy为目标检测算法对第一搬运目标600框定的边界框的中心点纵坐标，k 1为目标图像的分辨率的横向像素值，k 2为目标图像的分辨率的纵向像素值。具体地，摄像头200拍摄的目标图像的分辨率为640像素*480像素，则k 1为640，k 2为480。
获取得到第一搬运目标600的坐标后，搬运机器人向第一搬运目标600移动。需要说明的是，摄像头200是固定的，摄像头200所对方向为搬运机器人前进方向，因此旋转摄像头200需要使搬运机器人自旋转。
进一步，向第一搬运目标600行进的过程中，每间隔设定拍摄时间重新拍摄包含第一搬运目标600的目标图像和获取对应的第一搬运目标600的位置坐标(x，y)；具体地，设定拍摄时间为0.5s。使搬运机器人在行进过程中保持对搬运目标的准确定位。
进一步,在步骤S5中，行进过程中，根据最新拍摄的目标图像中第一搬运目标600的横坐标x通过比例闭环系统调节移动方向，具体为：比较横坐标x与目标图像横向中心点的坐标值x c，当x大于x c时，调节移动方向偏右，当x小于x c时，调节移动方向偏左。具体地，摄像头200拍摄的目标图像的分辨率为640像素*480像素，则x c取值为320。
进一步,所述行进机构800包括两个前轮和两个后轮，两个前轮分别连接有电机A和电机B，两个后轮分别连接有电机C和电机D；在搬运机器人转弯或遇到障碍时，移动速度容易产生变化，需要对移动速度进行调整。移动速度的调整方式具体为：检测到移动速度与设定速度不同，则将移动速度和设定速度的差的绝对值作为速度偏差输出值Vx，对电机A、电机B、电机C和电机D按照如下方式调整：
Figure PCTCN2020078287-appb-000002
其中Target_A、Target_B、Target_C和Target_D分别为电机A、电机B、电机C和电机D的输出目标值，RC_Position为给定最大移动位置值。
进一步,在行进过程中，通过激光测距仪400获得与第一搬运目标600的实时距离h，当实时距离h等于第一阈值而最新的纵坐标y大于第二阈值，则判定前方存在障碍物，此时按照上述的方式通过比例闭环系统调节移动方向；同样地，比较横坐标x与目标图像横向中 心点的坐标值x c，当x大于x c时，调节移动方向偏右，当x小于x c时，调节移动方向偏左。并使搬运机器人在转弯时相应地调整移动速度。
进一步，搬运机器人在向第一搬运目标600行进的过程中，当实时距离h等于第一阈值且最新的纵坐标y等于第二阈值则停止移动、停止拍摄目标图像和停止获取第一搬运目标600的位置坐标。具体地，第一阈值为10cm，第二阈值为40。
进一步，搬运机器人到达第一搬运目标600前，确认第一搬运目标600上的工件610及其位置，通过机械臂300抓取第一搬运目标600上的工件610。
然后，按照上述步骤所采用的方法使搬运机器人确认第二搬运目标700并移动至第二搬运目标700前；将机械臂300上的工件610放置到第二搬运目标700上。其中，通过SSD目标检测算法识别第一搬运目标600和第二搬运目标700上的标识来区分第一搬运目标600和第二搬运目标700。具体地，本实施例中，标识为第一搬运目标600和第二搬运目标700上标记的数字。在其他实施例中，标识可以为第一搬运目标600和第二搬运目标700的颜色或形状区别。至此，使搬运机器人自动将工件610从一个搬运目标运送到另一个搬运目标，具有高度智能化。
在该实施例中，使搬运机器人通过目标检测算法自动从摄像头200拍摄的若干目标图像中搜索并先后分别确认两个搬运目标，在行 进过程中间隔地拍摄新的目标图像，并按照搬运目标的坐标调整行进方向和确认停止时机，无需按照既定的路径来行进，实现搬运机器人的自动识别和自动行进的方式，提高了搬运机器人的智能化程度，对没有固定位置的搬运目标亦能够实现搬运，大大提高了搬运效率。
参照图2，本发明的另一个实施例，提供了一种搬运机器人，包括行进机构800、摄像头200、机械臂300、激光测距仪400、控制处理器100和用于与所述控制处理器100通信连接的存储器500；行进机构800、摄像头200、机械臂300、激光测距仪400分别与控制处理器100连接，受控制处理器100控制；所述存储器500存储有可被所述控制处理器100执行的指令，所述指令被所述控制处理器100执行，以使所述控制处理器100能够执行如上所述的一种应用于搬运机器人的搬运行进方法。
上述搬运机器人通过目标检测算法自动从摄像头200拍摄的若干目标图像中搜索并先后分别确认两个搬运目标，在行进过程中间隔地拍摄新的目标图像，并按照搬运目标的坐标调整行进方向和确认停止时机，无需按照既定的路径来行进，能完成自动识别和自动行进的方式，具有高度的智能化，对没有固定位置的搬运目标亦能够实现搬运，大大提高了搬运效率。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (8)

  1. 一种应用于搬运机器人的搬运行进方法，其特征在于，所述搬运机器人包括行进机构、摄像头、机械臂、激光测距仪和控制处理器，所述搬运行进方式包括以下步骤：
    步骤S1、通过摄像头拍摄目标图像；
    步骤S2、通过目标检测算法判断目标图像是否存在第一搬运目标；
    步骤S3、若目标图像不存在第一搬运目标，则旋转摄像头继续拍摄直至检测到目标图像存在第一搬运目标；
    步骤S4、检测到目标图像存在第一搬运目标后向第一搬运目标行进，每间隔设定拍摄时间重新拍摄包含第一搬运目标的目标图像和获取对应的第一搬运目标的位置坐标(x，y)；
    步骤S5、根据最新的横坐标x通过比例闭环控制调节移动方向并相应地调整移动速度以及通过激光测距仪获得与第一搬运目标的实时距离h，直至实时距离h等于第一阈值且最新的纵坐标y等于第二阈值则停止移动、停止拍摄目标图像和停止获取第一搬运目标的位置坐标；
    步骤S6、通过机械臂抓取第一搬运目标上的工件；
    步骤S7、按照步骤S1至步骤S5所采用的方法确认第二搬运目标并移动至第二搬运目标前；
    步骤S8、将机械臂上的工件放置到第二搬运目标上。
  2. 根据权利要求1所述的一种应用于搬运机器人的搬运行进方法， 其特征在于，所述获取对应的第一搬运目标的位置坐标(x，y)具体为：x＝cx*k 1，y＝cy*k 2，其中cx为目标检测算法对第一搬运目标框定的边界框的中心点横坐标，cy为目标检测算法对第一搬运目标框定的边界框的中心点纵坐标，k 1为目标图像的分辨率的横向像素值，k 2为目标图像的分辨率的纵向像素值。
  3. 根据权利要求1所述的一种应用于搬运机器人的搬运行进方法，其特征在于，所述根据最新的横坐标x通过比例闭环系统调节移动方向具体为：比较横坐标x与目标图像横向中心点的坐标值x c，当x大于x c时，调节移动方向偏右，当x小于x c时，调节移动方向偏左。
  4. 根据权利要求3所述的一种应用于搬运机器人的搬运行进方法，其特征在于，所述行进机构包括两个前轮和两个后轮，两个前轮分别连接有电机A和电机B，两个后轮分别连接有电机C和电机D；移动速度的调整方式具体为：检测到移动速度与设定速度不同，则将移动速度和设定速度的差的绝对值作为速度偏差输出值Vx，对电机A、电机B、电机C和电机D按照如下方式调整：
    Figure PCTCN2020078287-appb-100001
    其中Target_A、Target_B、Target_C和Target_D分别为电机A、电机B、电机C和电机D的输出目标值，RC_Position为给定最大移动位置值。
  5. 根据权利要求4所述的一种应用于搬运机器人的搬运行进方法， 其特征在于，当实时距离h等于第一阈值而最新的纵坐标y大于第二阈值，则判定前方存在障碍物，此时根据最新的横坐标x通过比例闭环系统调节移动方向并相应地调整移动速度。
  6. 根据权利要求1所述的一种应用于搬运机器人的搬运行进方法，其特征在于，所述目标检测算法为基于TensorFlow框架的SSD目标检测算法。
  7. 根据权利要求1所述的一种应用于搬运机器人的搬运行进方法，其特征在于，通过识别第一搬运目标和第二搬运目标上的标识来区分第一搬运目标和第二搬运目标。
  8. 一种搬运机器人，其特征在于，包括行进机构、摄像头、机械臂、激光测距仪、控制处理器和用于与所述控制处理器通信连接的存储器；所述存储器存储有可被所述控制处理器执行的指令，所述指令被所述控制处理器执行，以使所述控制处理器能够执行如权利要求1-7任一项所述的一种应用于搬运机器人的搬运行进方法。
PCT/CN2020/078287 2019-07-19 2020-03-06 一种应用于搬运机器人的搬运行进方法及其搬运机器人 WO2021012682A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910653647.7 2019-07-19
CN201910653647.7A CN110450129B (zh) 2019-07-19 2019-07-19 一种应用于搬运机器人的搬运行进方法及其搬运机器人

Publications (1)

Publication Number Publication Date
WO2021012682A1 true WO2021012682A1 (zh) 2021-01-28

Family

ID=68481495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/078287 WO2021012682A1 (zh) 2019-07-19 2020-03-06 一种应用于搬运机器人的搬运行进方法及其搬运机器人

Country Status (2)

Country Link
CN (1) CN110450129B (zh)
WO (1) WO2021012682A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110450129B (zh) * 2019-07-19 2022-06-24 五邑大学 一种应用于搬运机器人的搬运行进方法及其搬运机器人
CN111061265A (zh) * 2019-12-06 2020-04-24 常州节卡智能装备有限公司 一种物体搬运方法、装置及系统
CN111220093A (zh) * 2020-02-24 2020-06-02 五邑大学 一种具有三维视觉的小车图像识别方法、装置及存储介质
CN113822508B (zh) * 2020-06-19 2024-05-17 广东瑞仕格科技有限公司 对象调度方法、装置、电子设备及存储介质
CN113371378B (zh) * 2021-06-24 2023-04-11 深圳市库宝软件有限公司 自动装卸机控制方法、装置、控制设备及可读存储介质
CN113777336B (zh) * 2021-09-08 2023-08-04 广州赛特智能科技有限公司 一种生物标本的自动化检测系统及方法
CN114257736A (zh) * 2021-11-12 2022-03-29 北京京仪仪器仪表研究总院有限公司 一种工件自适应拍摄方法
CN114434443A (zh) * 2022-01-23 2022-05-06 轮趣科技(东莞)有限公司 一种自主移动设备的控制方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041495A1 (en) * 2011-08-10 2013-02-14 Xerox Corporation Flexible production collating system
DE102013020702B3 (de) * 2013-11-30 2015-06-03 Ludy Galvanosysteme Gmbh Verfahren und Vorrichtung zum automatischen Beladen von Werkstückträgern
CN105691717A (zh) * 2016-03-25 2016-06-22 云南昆船电子设备有限公司 一种机器人抓取散状辅料包装置及寻包方法
CN106041930A (zh) * 2016-06-27 2016-10-26 长沙长泰机器人有限公司 具有工件位置补偿功能的机加工系统及控制方法
CN108693772A (zh) * 2017-04-11 2018-10-23 北京京东尚科信息技术有限公司 搬运机器人伺服驱动系统的增益调节方法、装置及机器人
CN109081026A (zh) * 2018-07-13 2018-12-25 山东省科学院自动化研究所 基于激光测距雷达定位引导的机器人拆垛系统及方法
CN110450129A (zh) * 2019-07-19 2019-11-15 五邑大学 一种应用于搬运机器人的搬运行进方法及其搬运机器人

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100352623C (zh) * 2005-04-11 2007-12-05 中国科学院自动化研究所 一种自动拾取物体的智能移动机器人控制装置及方法
US9586317B2 (en) * 2014-03-31 2017-03-07 Canon Kabushiki Kaisha Controlling method of robot system, program, recording medium, and robot system
CN107015558A (zh) * 2016-01-27 2017-08-04 鸿富锦精密工业（深圳）有限公司 人工标记组合以及进行电脑视觉定位的系统和方法
CN106526534B (zh) * 2016-10-17 2019-06-04 南京理工大学 基于无线电导航的移动小车自动分拣搬运物品装置及方法
CN107767402A (zh) * 2017-10-26 2018-03-06 五邑大学 一种基于Camshift算法的视频跟踪小车系统及方法
CN109991973A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种机器人运动控制方法、装置以及机器人
CN108500979B (zh) * 2018-03-10 2020-10-27 彭惠平 一种基于相机通讯连接的机器人抓取方法及其系统
CN108792384B (zh) * 2018-04-18 2019-04-26 北京极智嘉科技有限公司 搬运方法、搬运装置及搬运系统
CN109279252B (zh) * 2018-10-30 2022-10-11 北京极智嘉科技股份有限公司 货物拣选系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041495A1 (en) * 2011-08-10 2013-02-14 Xerox Corporation Flexible production collating system
DE102013020702B3 (de) * 2013-11-30 2015-06-03 Ludy Galvanosysteme Gmbh Verfahren und Vorrichtung zum automatischen Beladen von Werkstückträgern
CN105691717A (zh) * 2016-03-25 2016-06-22 云南昆船电子设备有限公司 一种机器人抓取散状辅料包装置及寻包方法
CN106041930A (zh) * 2016-06-27 2016-10-26 长沙长泰机器人有限公司 具有工件位置补偿功能的机加工系统及控制方法
CN108693772A (zh) * 2017-04-11 2018-10-23 北京京东尚科信息技术有限公司 搬运机器人伺服驱动系统的增益调节方法、装置及机器人
CN109081026A (zh) * 2018-07-13 2018-12-25 山东省科学院自动化研究所 基于激光测距雷达定位引导的机器人拆垛系统及方法
CN110450129A (zh) * 2019-07-19 2019-11-15 五邑大学 一种应用于搬运机器人的搬运行进方法及其搬运机器人

Also Published As

Publication number Publication date
CN110450129B (zh) 2022-06-24
CN110450129A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
WO2021012682A1 (zh) 一种应用于搬运机器人的搬运行进方法及其搬运机器人
CN111496770B (zh) 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
CN108132675B (zh) 一种工厂巡视无人机自主路径巡航以及智能避障方法
US8849036B2 (en) Map generating and updating method for mobile robot position recognition
KR20200041355A (ko) 마커를 결합한 동시 위치결정과 지도작성 내비게이션 방법, 장치 및 시스템
Yan et al. Autonomous underwater vehicle vision guided docking experiments based on L-shaped light array
CN111735445B (zh) 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN108038139B (zh) 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质
Momeni-k et al. Height estimation from a single camera view
CN109375211B (zh) 基于雷达和多光学设备的可移动无人平台目标搜索方法
CN107977985B (zh) 无人机悬停方法、装置、无人机及存储介质
CN111198496A (zh) 一种目标跟随机器人及跟随方法
CN112091925A (zh) 一种基于机器视觉的物料搬运系统及搬运方法
CN108564628A (zh) 一种面向掘进机自动化的截割头视觉定位定向系统
US20230410362A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN108470165A (zh) 一种采摘机器人果实视觉协同搜索方法
US20240051146A1 (en) Autonomous solar installation using artificial intelligence
CN112540382B (zh) 一种基于视觉识别检测的激光导航agv辅助定位方法
Wang et al. Autonomous pallet localization and picking for industrial forklifts based on the line structured light
TWI774543B (zh) 障礙物偵測方法
CN115797397A (zh) 一种机器人全天候自主跟随目标人员的方法及系统
CN114554030B (zh) 设备检测系统以及设备检测方法
CN104296657A (zh) 一种基于双目视觉的石壁爆破孔检测与定位装置及定位方法
Liu et al. An image-based accurate alignment for substation inspection robot

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844879

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20844879

Country of ref document: EP

Kind code of ref document: A1