WO2017015898A1 - 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法 - Google Patents

用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法 Download PDF

Info

Publication number
WO2017015898A1
WO2017015898A1 PCT/CN2015/085425 CN2015085425W WO2017015898A1 WO 2017015898 A1 WO2017015898 A1 WO 2017015898A1 CN 2015085425 W CN2015085425 W CN 2015085425W WO 2017015898 A1 WO2017015898 A1 WO 2017015898A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
sensor
unit
target object
coordinate system
Prior art date
Application number
PCT/CN2015/085425
Other languages
English (en)
French (fr)
Inventor
俞迪龙
杨伟
刘建伟
李越
杨波
Original Assignee
Abb 瑞士股份有限公司
俞迪龙
杨伟
刘建伟
李越
杨波
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Abb 瑞士股份有限公司, 俞迪龙, 杨伟, 刘建伟, 李越, 杨波 filed Critical Abb 瑞士股份有限公司
Priority to CN201590001106.1U priority Critical patent/CN207861446U/zh
Priority to PCT/CN2015/085425 priority patent/WO2017015898A1/zh
Publication of WO2017015898A1 publication Critical patent/WO2017015898A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for

Definitions

  • the present invention relates to a control system for a robotic demolition apparatus, and to a method for controlling robot demolition.
  • manual demolition is not suitable for toxic, harmful and other environments that are not conducive to human health and high requirements for material cleanliness. It is time consuming, laborious, labor intensive, and labor costs are high. Therefore, automatic demolition has a good development prospect. With the rapid development of the logistics industry, the use of robots to automatically disassemble incoming materials has become more and more widely used.
  • Automatic demolition generally adopts the form of controlling industrial robots. Firstly, the coordinate position of the object to be disassembled needs to be accurately calculated, and the coordinate values of each object to be disassembled are set in the control system of the industrial robot, and the control system issues instructions and controls. Industrial robotic fixtures to grab and move the object to be removed. At present, there are mainly the following problems in the control of demolition:
  • the identification of the removed items is usually scanned by two-dimensional sensors, which often cannot be correctly identified for irregular incoming materials;
  • the robot needs to hold the sensor to move and scan.
  • the scanning takes time and the calculation is slow, which causes the robot to slow down and beat slowly.
  • robot demolition is only limited to the application of the ruled incoming material.
  • an object of the present invention is to provide a control system for a robot demolition device and a method for controlling the demolition of a robot, which are used for solving the problem of unloading of an incoming object, especially not The problem of unraveling the rules of incoming materials.
  • the technical solution of the present invention provides a control system for a robot demolition device, the control system comprising a sensor unit, a data processing unit, a robot control unit and a communication unit, the sensor unit comprising a three-dimensional laser sensor for acquiring a robot Raw data of the target object in the work area;
  • the data processing unit includes a pose calculation unit for performing calculation using a point cloud platform of an industrial computer to obtain position and posture information of the target object in a sensor coordinate system;
  • the robot control unit is disposed on the robot, and includes a motion control unit, the motion control unit is configured to control a fixture of the robot to capture the target object; and the communication unit is configured to implement the robot Industrial computer and sensing Communication between units.
  • the robot control unit further includes a synchronization unit configured to calculate position and attitude information of the target object in the working coordinate system of the robot by coordinate transformation according to position and posture information in the sensor coordinate system.
  • the data processing unit further includes a limited search area filtering unit and/or a feature point extraction filtering unit for optimizing the calculation speed of the pose calculating unit.
  • the three-dimensional laser sensor is fixed on the arm of the robot and is vertically movable with the arm.
  • the communication protocol between the robot and the industrial computer is a socket protocol
  • the communication protocol between the sensor unit and the industrial computer is a TCP/IP protocol.
  • the communication unit comprises a Gigabit Ethernet industrial switch.
  • the technical solution of the present invention further provides a method for controlling robot demolition, which comprises the following steps: A. measuring step: acquiring raw data of a target object in a working area of the robot using a three-dimensional laser sensor; B. data The processing step includes the following steps: b3. Pose calculation step: calculating using a point cloud platform of an industrial computer to obtain position and posture information of the target object in a sensor coordinate system; C. Robot control step, including the following steps : c2. Action control step: controlling the fixture of the robot to grab the target object.
  • the data processing step B further includes at least one of the following steps before the pose calculation step b3 to optimize the calculation speed of the pose calculation step b3: b1. performing limited search region filtering; b2. performing features Point extraction filtering.
  • the pose calculation step b3 adopts a target segmentation method to obtain position and posture information of a plurality of the target objects.
  • the three-dimensional laser sensor is fixed on the arm of the robot and is vertically movable with the arm.
  • the measuring step A specifically includes the following steps: a1. the robot moves to an initial detection position; a2. the three-dimensional laser sensor performs pre-scan; a3. sensor position adjustment step: determines the Whether the target object is within the visual range of the three-dimensional laser sensor, if not, the robot moves vertically up/down by a distance to reach the measurement position until the target object is within the visual range of the three-dimensional laser sensor; a4. Scanning step: The three-dimensional laser sensor performs scanning to acquire raw data of the target object.
  • the sensor position adjustment step a3 further includes moving the robot to a sensor optimal visual height.
  • the three-dimensional laser sensor remains stationary.
  • the robot control step C further includes the following steps before the action control step c2: c1.
  • a synchronization step after the sensor position adjustment step a3, obtaining the position and posture information A0 of the robot; acquiring the bit
  • the posture calculation step b3 obtains the position and posture information X of the target object in the sensor coordinate system; according to the coordinate system calibration method of the sensor and the position and posture information A0 of the robot, the robot working coordinate system is calculated to the sensor
  • the position and attitude of the coordinate system is transformed T; the position and attitude information X of the target object in the sensor coordinate system is subjected to a coordinate system transformation operation F[T, X] by using T to obtain the target object in the robot working coordinate system.
  • the robot control step C further includes: c3.
  • the robot is controlled to return to the waiting position.
  • control system for the robot demolition device and the method for controlling the robot demolition overcome the shortcomings of the prior art, and provide a stable and reliable automatic demolition solution, reliability High, greatly improving efficiency, it has the following advantages:
  • the technical solution of the present invention overcomes the current situation that the irregular material unloading is completely dependent on labor, can significantly improve the level of automation, and meets the increasing demand for unraveling of irregular materials;
  • the three-dimensional vision system of the technical solution of the present invention is developed based on the open source point cloud platform, which is beneficial to the subsequent maintenance of the system and reduces the development cost;
  • the technical solution of the invention can perform fast processing operations on the visual data, can effectively improve the grabbing beat of the robot, thereby improving the working efficiency of the demolition;
  • V. High integration The technical solution of the present invention deeply and seamlessly integrates the three-dimensional vision system and the robot, which is beneficial to the maintenance of the system.
  • the present invention has the advantages of high work efficiency, high degree of automation, and labor saving.
  • Figure 1 is a schematic view of a sample tray of irregular incoming materials
  • FIG. 2 is a schematic diagram of hardware modules of a robot demolition control system according to an embodiment of the present invention
  • FIG. 3 is a flow chart showing the operation of a robot demolition control system according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of data processing of a point cloud platform of a control system according to an embodiment of the present invention
  • FIG. 5 is a schematic diagram of coordinate transformation of a coordinate system according to an embodiment of the present invention.
  • FIG. 6 is a scanning diagram of a three-dimensional sensor of a sample tray according to an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of recognition results of a sample tray after data processing by a point cloud platform according to an embodiment of the present invention.
  • the invention provides a control system for a robot demolition device and a method for controlling a robot demolition, using industrial three-dimensional laser sensors to obtain scattered spatial data of irregularly placed objects, and processing the data into open source.
  • the data format that the C++ Point Cloud Program Platform (PCL) can handle uses the point cloud platform to program the spatial pose of the object including position and orientation, and sends it to the industrial robot.
  • the robot acquires and obtains the spatial position and its own coordinate system. After syncing, grab the target.
  • the invention utilizes the point cloud computing three-dimensional vision system and the industrial robot to form a smart demolition system closely, which can well solve the problem of unraveling of irregular materials.
  • FIG. 2 is a schematic diagram showing hardware modules of a robot demolition control system according to a preferred embodiment of the present invention.
  • the system can be composed of the following components in hardware: 3D laser scanning sensor, industrial computer, robot control system, Gigabit industrial switch.
  • the 3D laser scanning sensor scans the ⁇ type and obtains the original 3D data.
  • the industrial computer includes a data processing unit that can process the three-dimensional raw data on the point cloud platform to obtain the object space pose and send it to the robot system.
  • the robot control system After acquiring the three-dimensional data of the object, the robot control system synchronizes with its own coordinate system and optimizes it.
  • the coordinate transformation is used to obtain the pose information of the object in the working coordinate system of the robot, so that the fixture can safely and quickly capture the target.
  • the system also undertakes the input and output control of the fixture and the operational control tasks of the three-dimensional sensor.
  • Ethernet switches are used to establish fast Ethernet communication between robots, industrial computers, and 3D sensors. In order to increase communication speed, Gigabit Ethernet switches can be used.
  • the present invention uses a three-dimensional laser sensor, not only can the coordinates of the incoming material be recognized
  • the position can also identify the attitude of the incoming material, so that the irregular feeding of the inclined or staggered can be correctly identified.
  • communication between the industrial computer and the robot controller can be established through the socket protocol.
  • the communication between the 3D sensor and the industrial computer can, for example, select the TCP/IP protocol.
  • the 3D laser sensor is attached to the arm of the robot and can move vertically with the arm, but does not need to move in the horizontal direction during the scanning process.
  • the industrial 3D laser scanning sensor with large field of view can be selected, and the general 3D laser vision requires the robot to hold the sensor to move the scanning.
  • the system can detect the maximum 1000*1200*750mm (length*width) when the sensor is not moving. *High) objects that effectively increase the grab beat.
  • the data processing unit includes a pose calculation unit, a search region filtering unit, and a feature point extraction filtering unit.
  • the search area filtering unit selects, for example, a PassThrough filter
  • the feature point extraction filtering unit selects, for example, a VoxelGrid filter, to optimize the calculation speed of the pose calculation unit.
  • the pose calculation unit performs calculation using the point cloud platform of the industrial computer, and the pose information of the target object in the sensor coordinate system can be obtained. Due to the use of the filter, the problem of slow calculation of the point cloud platform can be well solved.
  • the data calculation of 1000mm*1200mm field of view and around 390000 points can be controlled to about 2s, which can effectively improve the robot's grabbing beat.
  • Measurement step using the three-dimensional laser sensor to obtain the original data of the target object in the working area of the robot, which may specifically include the following steps:
  • the three-dimensional laser sensor performs pre-scanning
  • Sensor position adjustment step according to the pre-scan result, it is judged whether the target object is within the visual range of the three-dimensional laser sensor, and if not, the robot moves vertically up/down by a distance to reach the measurement position until the target object is within the visual range of the three-dimensional laser sensor Preferably, the robot can be moved to the sensor's optimal visual height.
  • Scanning step The 3D laser sensor scans to obtain the original data of the target object.
  • the three-dimensional laser sensor remains stationary.
  • the data processing step may specifically include the following steps:
  • Pose calculation step calculation is performed using a point cloud platform of an industrial computer to obtain position and posture information of the target object in the sensor coordinate system; preferably, the target segmentation method may be used to obtain position and posture information of the plurality of target objects.
  • the robot control step may specifically include the following steps:
  • Synchronization step for calculating the position and attitude information of the target object in the working coordinate system of the robot by coordinate transformation according to the position and posture information in the sensor coordinate system;
  • Control Step Control the robot's fixture to grab the target object.
  • Search area filtering and feature point extraction filtering for example, filtering using a PassThrough filter and a VoxelGrid filter;
  • Target segmentation for example, using the RegionGrowing function for cutting
  • the robot control system After receiving the data, the robot control system does not directly use the point cloud platform to process the spatial position of the object, but synchronizes it with its own coordinate system. As shown in Figure 5, it is calculated by the coordinate system transformation in the robot controller. The pose of the object in the working coordinate system of the robot, the specific steps are as follows.
  • the target object obtained by the pose calculation step b3 is obtained in the sensor coordinate system.
  • the position and attitude information X of the target object in the sensor coordinate system is subjected to the coordinate system transformation operation F[T, X] by T to obtain the position and posture information of the target object in the robot working coordinate system.
  • the 3D sensor can be centered on the robot and the robot is the center, thereby reducing the difficulty of the fixture control, optimizing the grasping control scheme, and helping the robot to safely and quickly grasp the target.
  • the technical solution of the present invention closely combines the 3D vision system, the robot and the point cloud platform to form an intelligent demolition system, which can well solve the problem of unraveling of irregular materials; and the system can perform visual data.
  • the fast processing operation effectively improves the grab and beat of the robot, thereby improving the efficiency of the demolition.
  • FIG. 6 shows a scan image obtained by performing a 3D sensor scan on the sample tray of the irregular feed of FIG. 1;
  • FIG. 7 shows the sample tray passing through the point cloud platform.
  • the robot control system synchronizes with its own coordinate system, and the control fixture grasps the target safely and quickly, so that the control of the irregular incoming material can be realized.

Abstract

一种用于机器人拆垛设备的控制系统和一种用于控制机器人拆垛的方法，所述控制系统包括传感器单元、数据处理单元、机器人控制单元和通信单元，所述传感器单元包括三维激光传感器，用于获取机器人工作区域内的目标对象的原始数据；所述数据处理单元包括位姿计算单元，用于使用工业计算机的点云平台进行计算，以得到所述目标对象在传感器坐标系下的位置和姿态信息；所述机器人控制单元，设置在所述机器人上，包括动作控制单元，所述动作控制单元用于控制所述机器人的夹具，以抓取所述目标对象；所述通信单元用于实现所述机器人、工业计算机和传感器单元之间的通讯。该控制系统和方法可以很好地解决不规则来料的拆垛问题。

Description

用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法 技术领域
本发明涉及一种用于机器人拆垛设备的控制系统，同时涉及一种用于控制机器人拆垛的方法。
背景技术
目前，工业上固体包装物料的拆垛作业一般采用人工拆垛和自动拆垛两种形式。人工拆垛既不适用于有毒、有害等不利于人体健康及对物料洁净度要求高的环境，又费时、费力、劳动强度大，同时人工成本偏高。因此，自动拆垛具有很好的发展前景。随着物流业的迅猛发展，使用机器人对来料进行自动拆垛已经得到了越来越广泛的应用。
自动拆垛一般采用对工业机器人进行控制的形式，首先被拆物的坐标位置需要精确计算，并将各被拆物品的坐标值设定在工业机器人的控制系统中，由控制系统发出指令，控制工业机器人的夹具来抓取和移动被拆物。当前，在拆垛的控制中主要存在以下几个问题：
一、由于数据处理的局限性，对于被拆物品的识别通常采用二维传感器进行扫描，对于不规则来料往往无法正确识别；
二、需要机器人夹持传感器移动进行扫描，扫描耗时，计算缓慢，导致机器人拆垛节拍缓慢。
因此，到目前为止，由于缺乏稳定可靠的自动化解决方案，机器人拆垛还仅仅局限于对规则来料进行拆垛的应用中。
然而在实际操作中，物品的摆放往往是不规则的，因此对于不规则摆放来料的拆垛需求在不断增长。这些不规则不仅仅体现在来料摆放的二维位置的变化，也体现在来料空间位置的变化，如图1所示，物品的摆放有可能是倾斜和错落的，因此视觉识别的难度和数据处理的复杂程度很大。
因此，对于机器人拆垛系统，尤其对不规则来料如何拆垛的复杂应用场景，如何使用自动化方式实现可靠控制，是本领域亟待解决的难题。
发明内容
为了克服现有技术的缺点，本发明的发明目的在于提供一种用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法，用于解决物体来料的拆垛问题，尤其是不规则来料的拆垛难题。
本发明技术方案提供了一种用于机器人拆垛设备的控制系统，所述控制系统包括传感器单元、数据处理单元、机器人控制单元和通信单元，所述传感器单元包括三维激光传感器，用于获取机器人工作区域内的目标对象的原始数据；所述数据处理单元包括位姿计算单元，用于使用工业计算机的点云平台进行计算，以得到所述目标对象在传感器坐标系下的位置和姿态信息；所述机器人控制单元，设置在所述机器人上，包括动作控制单元，所述动作控制单元用于控制所述机器人的夹具，以抓取所述目标对象；所述通信单元用于实现所述机器人、工业计算机和传感 器单元之间的通讯。
进一步地，所述机器人控制单元还包括同步单元，用于根据所述传感器坐标系下的位置和姿态信息，通过坐标变换计算所述目标对象在机器人工作坐标系下的位置和姿态信息。
进一步地，所述数据处理单元还包括限定搜索区域滤波单元和/或特征点提取滤波单元，用于优化所述位姿计算单元的计算速度。
进一步地，所述三维激光传感器固定在所述机器人的手臂上，能够随着所述手臂垂直移动。
进一步地，所述机器人和工业计算机之间的通信协议为socket协议，所述传感器单元和工业计算机之间的通信协议为TCP/IP协议。
进一步地，所述通信单元包括千兆以太网工业交换机。
本发明技术方案还提供了一种用于控制机器人拆垛的方法，其特征在于，包括以下步骤：A.测量步骤：使用三维激光传感器获取机器人工作区域内的目标对象的原始数据；B.数据处理步骤，包括以下步骤：b3.位姿计算步骤：使用工业计算机的点云平台进行计算，以得到所述目标对象在传感器坐标系下的位置和姿态信息；C.机器人控制步骤，包括以下步骤：c2.动作控制步骤：控制所述机器人的夹具，以抓取所述目标对象。
进一步地，所述数据处理步骤B在位姿计算步骤b3之前还包括以下步骤中的至少一个，以优化所述位姿计算步骤b3的计算速度：b1.进行限定搜索区域滤波；b2.进行特征点提取滤波。
进一步地，所述位姿计算步骤b3采用目标分割方法，获得多个所述目标对象的位置和姿态信息。
进一步地，所述三维激光传感器固定在所述机器人的手臂上，能够随着所述手臂垂直移动。
进一步地，所述测量步骤A具体包括以下步骤：a1.所述机器人移动到初始检测位；a2.所述三维激光传感器进行预扫描；a3.传感器位置调整步骤：根据预扫描结果，判断所述目标对象是否在所述三维激光传感器视觉范围内，如果不是，则机器人垂直向上/下移动一距离到达测量位，直到所述目标对象位于所述三维激光传感器视觉范围内；a4.扫描步骤：所述三维激光传感器进行扫描，获取所述目标对象的原始数据。
进一步地，所述传感器位置调整步骤a3还进一步包括：将所述机器人移动到传感器最佳视觉高度。
进一步地，在所述扫描步骤a4中，所述三维激光传感器保持静止不动。
进一步地，所述机器人控制步骤C在动作控制步骤c2之前还包括以下步骤：c1.同步步骤：在所述传感器位置调整步骤a3之后，得到所述机器人的位置和姿态信息A0；获取所述位姿计算步骤b3得到的所述目标对象在传感器坐标系下的位置和姿态信息X；根据所述传感器的坐标系标定方法和所述机器人的位置和姿态信息A0，计算得到机器人工作坐标系到传感器坐标系的位置和姿态变换T；将所述目标对象在传感器坐标系下的位置和姿态信息X利用T进行坐标系变换运算F[T，X]，以得到所述目标对象在机器人工作坐标系下的位置和姿态信息。
进一步地，所述机器人控制步骤C还进一步包括：c3.当测量到托盘上没有物体时，控制所述机器人回到等待位置。
由此，本发明提供的用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法，克服了现有技术的缺点，提供了一种稳定可靠的自动拆垛的解决方案，可靠性高，大大提高了效率，其具有以下优点：
一、减少不必要的现场作业和维护：由于本发明提供的技术方案可以可靠地实现自动拆垛，从而可以减少不必要的现场作业和维护；
二、提高自动化水平：本发明的技术方案克服了目前不规则来料拆垛完全依赖于人工的现状，可以明显提高自动化水平，满足了日益增长的不规则来料的拆垛需求；
三、维护性强：本发明的技术方案的三维视觉系统基于开源的点云平台进行开发，有利于系统的后续维护，也降低了开发成本；
四、工作效率高：本发明的技术方案可以针对视觉数据进行快速处理运算，可以有效地提高机器人的抓取节拍，从而提高了拆垛的工作效率；
五、集成性高：本发明的技术方案对三维视觉系统和机器人进行深度无缝集成，有利于系统的维护。
综上，本发明具有工作效率高、自动化程度高、节省劳动力等优点。
下面结合附图和具体实施方式对本发明做进一步说明。
附图说明
为了更好地描述本发明的实施例，绘制了以下附图。应当理解的是，附图仅是以示例的方式示出了本发明的优选实施例，而不应将附图解释为对本发明的限制，其中：
图1为不规则来料的样品托盘示意图；
图2为本发明提供的一实施例的机器人拆垛控制系统的硬件模块示意图；
图3为本发明提供的一实施例的机器人拆垛控制系统的工作流程图；
图4为本发明提供的一实施例的控制系统的点云平台数据处理流程图；
图5为本发明提供的一实施例的坐标系同步变换示意图；
图6为本发明提供的一实施例的样品托盘的三维传感器扫描图；
图7为本发明提供的一实施例的样品托盘经过点云平台进行数据处理后的识别结果示意图。
具体实施方式
下面结合附图和实施例，对本发明进行具体描述。应当理解的是：在下文的描述中，“左”、“右”、“上”、“下”、“前”、“后”等术语仅用于表示参照附图所指示的方向；而“第一”、“第二”、“第三”等术语用于 描述多个组成部分，但是这些组成部分之间不存在先后顺序，这些术语仅仅是为了将一个组成部分与另一组成部分区分。
本发明提供了一种用于机器人拆垛设备的控制系统和一种用于控制机器人拆垛的方法，使用工业用三维激光传感器获取不规则摆放物体的零散空间数据，将这些数据处理成开源C++点云程序平台(PCL)能够处理的数据格式，利用点云平台编程计算物体包括位置和方位的空间姿态，并将其发送给工业机器人，机器人获取并将得到的空间位置与自身的坐标系同步后去抓取目标。本发明利用点云计算三维视觉系统和工业机器人紧密结合组成了智能拆垛系统，可以很好地解决不规则来料的拆垛问题。
图2示出了本发明提供的一较佳实施例的机器人拆垛控制系统的硬件模块示意图。
如图2所示，此系统在硬件上可以由以下几部分组成：三维激光扫描传感器、工业计算机、机器人控制系统、千兆工业交换机。三维激光扫描传感器扫描垛型并获取原始三维数据。工业计算机包括数据处理单元，可以在点云平台处理三维原始数据，得到物体空间位姿并发送给机器人系统。机器人控制系统获取物体三维数据后与自身坐标系进行同步并对其进行优化，通过坐标变换获得物体在机器人工作坐标系下的位姿信息，以使夹具能够安全、快速的抓取目标，同时该系统还承担着夹具的输入输出控制和三维传感器的运行控制任务。以太网交换机用于建立快速的机器人、工业计算机、3D传感器之间的以太网通讯，为了提高通讯速度，可以选用千兆以太网交换机。
由于本发明采用了三维激光传感器，从而不仅可以识别来料的坐标 位置，还可以识别来料的姿态，因此可以对倾斜或者错落摆放的不规则来料进行正确识别。
由于采用了通用的开源C++点云程序平台，不仅可以提高系统的通用性，而且有利于系统的后续维护，同时基于自开发的程序进行数据处理，无需与传感器自带的识别软件进行联合调试，也降低了开发成本。
在一较佳实施例中，在点云平台上，可以通过socket协议建立了工控机和机器人控制器的通讯。3D传感器和工控机之间的通信例如可以选择TCP/IP协议。
在另一较佳实施例中，3D激光传感器固定在机器人的手臂上，能够随着手臂垂直移动，但在扫描过程中，在水平方向无需移动。优选地，可以选用大视野的工业用3D激光扫描传感器，与一般3D激光视觉需要机器人挟持传感器移动扫描不同，本系统可以在传感器不动的情况下，检测最大1000*1200*750mm(长*宽*高)的物体，有效地提高了抓取节拍。
在另一较佳实施例中，数据处理单元包括位姿计算单元、搜索区域滤波单元和特征点提取滤波单元。搜索区域滤波单元例如选择PassThrough滤波器，特征点提取滤波单元例如选择VoxelGrid滤波器，可以优化位姿计算单元的计算速度。滤波之后，位姿计算单元使用工业计算机的点云平台进行计算，可以得到目标对象在传感器坐标系下的位姿信息。由于滤波器的利用，可以很好解决点云平台计算缓慢的问题，一次1000mm*1200mm视野、390000点左右的数据计算可以控制在2s左右，从而可以有效地提高机器人抓取节拍。
以下参考图3，说明本发明一最佳实施例的机器人拆垛控制系统的工作流程。
A.测量步骤：使用三维激光传感器获取机器人工作区域内的目标对象的原始数据，具体可以包括如下步骤：
a1.机器人移动到初始检测位；
a2.三维激光传感器进行预扫描；
a3.传感器位置调整步骤：根据预扫描结果，判断目标对象是否在三维激光传感器视觉范围内，如果不是，则机器人垂直向上/下移动一距离到达测量位，直到目标对象位于三维激光传感器视觉范围内；优选地，可以将机器人移动到传感器最佳视觉高度。
a4.扫描步骤：三维激光传感器进行扫描，获取目标对象的原始数据。优选地，在扫描步骤a4中，三维激光传感器保持静止不动。
B.数据处理步骤，具体可以包括以下步骤：
b1.进行限定搜索区域滤波；
b2.进行特征点提取滤波。
b3.位姿计算步骤：使用工业计算机的点云平台进行计算，以得到目标对象在传感器坐标系下的位置和姿态信息；优选可以采用目标分割方法，获得多个目标对象的位置和姿态信息。
C.机器人控制步骤，具体可以包括以下步骤：
c1.同步步骤：用于根据传感器坐标系下的位置和姿态信息，通过坐标变换计算目标对象在机器人工作坐标系下的位置和姿态信息；
c2.动作控制步骤：控制机器人的夹具，以抓取目标对象。
c3.当测量到托盘上没有物体时，控制机器人回到等待位置。
以下参考图4，说明本发明一优选实施例的点云平台的数据处理流程。
(一)、通过视觉扫描获得初始3D数据；
(二)、计算机通过TCP/IP通讯获得初始3D数据；
(三)、将初始3D数据转化为*.pcd格式；
(四)、搜索区域滤波和特征点提取滤波：例如使用PassThrough滤波器和VoxelGrid滤波器进行滤波；
(五)、目标分割：例如使用RegionGrowing函数进行切割；
(六)、获得物体的空间位置；
(七)、通过socket通讯协议发送给机器人控制系统。
机器人控制系统在接收到数据后，并不直接使用点云平台处理得到的物体空间位置，而是将其与本身坐标系进行同步，如图5所示，在机器人控制器中通过坐标系变换计算物体在机器人工作坐标系下的位姿，具体步骤如下。
首先，在传感器位置调整步骤a3之后，得到机器人的位置和姿态信息A0；
接下来，获取位姿计算步骤b3得到的目标对象在传感器坐标系下的 位置和姿态信息X；
然后，根据传感器的坐标系标定方法和机器人的位置和姿态信息A0，计算得到机器人工作坐标系到传感器坐标系的位置和姿态变换T；
最后，将目标对象在传感器坐标系下的位置和姿态信息X利用T进行坐标系变换运算F[T，X]，以得到目标对象在机器人工作坐标系下的位置和姿态信息。
由于本发明采用了同步步骤，可以不以3D传感器为中心，而以机器人为中心，从而降低了夹具控制难度，优化了抓取控制方案，有助于机器人安全、快速地抓取目标。
综上，本发明的技术方案将3D视觉系统、机器人和点云平台紧密结合，构成了智能拆垛系统，可以很好地解决不规则来料的拆垛问题；而且本系统可以对于视觉数据进行快速处理运算，有效地提高了机器人的抓取节拍，从而提高了拆垛的工作效率。
为了更形象地表示本发明的数据处理过程，图6示出了对图1的不规则来料的样品托盘进行3D传感器扫描得到的扫描图；图7示出了对该样品托盘经过点云平台进行数据处理后得到的识别结果示意图。机器人控制系统根据识别结果，与自身坐标系同步优化后，控制夹具安全、快速地抓取目标，从而可以实现对不规则来料的拆垛控制。
根据需要，可以将上述各技术方案进行结合，以达到最佳技术效果。
以上所述的仅是本发明的原理和较佳的实施例。应当指出，尽管为说明本发明的目的公开了本发明的较佳实施例和附图，但是熟悉本领域技术的人员，在不脱离本发明及所附的权利要求的精神和范围内，可作 各种替换、变化和润饰。因此在本发明原理的基础上，做出的若干其它变型，也应视为本发明的保护范围。

Claims (15)

  1. 一种用于机器人拆垛设备的控制系统，其特征在于，所述控制系统包括传感器单元、数据处理单元、机器人控制单元和通信单元，
    所述传感器单元包括三维激光传感器，用于获取机器人工作区域内的目标对象的原始数据；
    所述数据处理单元包括位姿计算单元，用于使用工业计算机的点云平台进行计算，以得到所述目标对象在传感器坐标系下的位置和姿态信息；
    所述机器人控制单元，设置在所述机器人上，包括动作控制单元，所述动作控制单元用于控制所述机器人的夹具，以抓取所述目标对象；
    所述通信单元用于实现所述机器人、工业计算机和传感器单元之间的通讯。
  2. 根据权利要求1所述的控制系统，其特征在于，所述机器人控制单元还包括同步单元，用于根据所述传感器坐标系下的位置和姿态信息，通过坐标变换计算所述目标对象在机器人工作坐标系下的位置和姿态信息。
  3. 根据权利要求1或2所述的控制系统，其特征在于，所述数 据处理单元还包括限定搜索区域滤波单元和/或特征点提取滤波单元，用于优化所述位姿计算单元的计算速度。
  4. 根据权利要求1或2所述的控制系统，其特征在于，所述三维激光传感器固定在所述机器人的手臂上，能够随着所述手臂垂直移动。
  5. 根据权利要求1或2所述的控制系统，其特征在于，所述机器人和工业计算机之间的通信协议为socket协议，所述传感器单元和工业计算机之间的通信协议为TCP/IP协议。
  6. 根据权利要求1或2所述的控制系统，其特征在于，所述通信单元包括千兆以太网工业交换机。
  7. 一种用于控制机器人拆垛的方法，其特征在于，包括以下步骤：
    A.测量步骤：使用三维激光传感器获取机器人工作区域内的目标对象的原始数据；
    B.数据处理步骤，包括以下步骤：
    b3.位姿计算步骤：使用工业计算机的点云平台进行计算，以得到所述目标对象在传感器坐标系下的位置和姿态信息；
    C.机器人控制步骤，包括以下步骤：
    c2.动作控制步骤：控制所述机器人的夹具，以抓取所述目标对象。
  8. 根据权利要求7所述的方法，其特征在于，所述数据处理步骤B在位姿计算步骤b3之前还包括以下步骤中的至少一个，以优化所述位姿计算步骤b3的计算速度：
    b1.进行限定搜索区域滤波；
    b2.进行特征点提取滤波。
  9. 根据权利要求7所述的方法，其特征在于，所述位姿计算步骤b3采用目标分割方法，获得多个所述目标对象的位置和姿态信息。
  10. 根据权利要求7-9中任一项所述的方法，其特征在于，所述三维激光传感器固定在所述机器人的手臂上，能够随着所述手臂垂直移动。
  11. 根据权利要求10所述的方法，其特征在于，所述测量步骤A具体包括以下步骤：
    a1.所述机器人移动到初始检测位；
    a2.所述三维激光传感器进行预扫描；
    a3.传感器位置调整步骤：根据预扫描结果，判断所述目标对象是否在所述三维激光传感器视觉范围内，如果不是，则机器人垂直向上/下移动一距离到达测量位，直到所述目标对象位于所述三维激光传感器视觉范围内；
    a4.扫描步骤：所述三维激光传感器进行扫描，获取所述目标对象的原始数据。
  12. 根据权利要求11所述的方法，其特征在于，所述传感器位置调整步骤a3还进一步包括：将所述机器人移动到传感器最佳视觉高度。
  13. 根据权利要求11所述的方法，其特征在于，在所述扫描步骤a4中，所述三维激光传感器保持静止不动。
  14. 根据权利要求11-13中任一项所述的方法，其特征在于，所述机器人控制步骤C在动作控制步骤c2之前还包括以下步骤：
    c1.同步步骤：
    在所述传感器位置调整步骤a3之后，得到所述机器人的位置和姿态信息A0；
    获取所述位姿计算步骤b3得到的所述目标对象在传感器坐标 系下的位置和姿态信息X；
    根据所述传感器的坐标系标定方法和所述机器人的位置和姿态信息A0，计算得到机器人工作坐标系到传感器坐标系的位置和姿态变换T；
    将所述目标对象在传感器坐标系下的位置和姿态信息X利用T进行坐标系变换运算F[T，X]，以得到所述目标对象在机器人工作坐标系下的位置和姿态信息。
  15. 根据权利要求7-9、11-13中任一项所述的方法，其特征在于，所述机器人控制步骤C还进一步包括：
    c3.当测量到托盘上没有物体时，控制所述机器人回到等待位置。
PCT/CN2015/085425 2015-07-29 2015-07-29 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法 WO2017015898A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201590001106.1U CN207861446U (zh) 2015-07-29 2015-07-29 用于机器人拆垛设备的控制系统
PCT/CN2015/085425 WO2017015898A1 (zh) 2015-07-29 2015-07-29 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/085425 WO2017015898A1 (zh) 2015-07-29 2015-07-29 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法

Publications (1)

Publication Number Publication Date
WO2017015898A1 true WO2017015898A1 (zh) 2017-02-02

Family

ID=57885705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/085425 WO2017015898A1 (zh) 2015-07-29 2015-07-29 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法

Country Status (2)

Country Link
CN (1) CN207861446U (zh)
WO (1) WO2017015898A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107030703A (zh) * 2017-06-09 2017-08-11 上海岭先机器人科技股份有限公司 一种移动机器人系统
CN108805925A (zh) * 2018-08-17 2018-11-13 九牧厨卫股份有限公司 一种卫生陶瓷坐便器自动卸窑方法及自动卸窑装置
CN109230580A (zh) * 2018-10-11 2019-01-18 西安中科光电精密工程有限公司 一种基于混放物料信息采集的拆垛机器人系统及方法
WO2019100400A1 (en) * 2017-11-27 2019-05-31 Abb Schweiz Ag Apparatus and method for use with robot
CN110221623A (zh) * 2019-06-17 2019-09-10 酷黑科技（北京）有限公司 一种空地协同作业系统及其定位方法
CN110232710A (zh) * 2019-05-31 2019-09-13 深圳市皕像科技有限公司 基于三维相机的物品定位方法、系统及设备
CN110877151A (zh) * 2019-10-16 2020-03-13 无锡黎曼机器人科技有限公司 一种视觉导引发动机缸体拆垛检测机器人装备及其方法
CN110969660A (zh) * 2019-12-17 2020-04-07 浙江大学 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN110977218A (zh) * 2019-11-21 2020-04-10 上海船舶工艺研究所(中国船舶工业集团公司第十一研究所) 3d激光扫描设备及使用该设备的点云自动提取转换方法
CN112720477A (zh) * 2020-12-22 2021-04-30 泉州装备制造研究所 一种基于局部点云模型的物体最优抓取识别方法
CN114084683A (zh) * 2021-12-02 2022-02-25 长沙长泰智能装备有限公司 确定垛型的方法和装置
CN114178752A (zh) * 2021-12-21 2022-03-15 唐山英莱科技有限公司 一种波纹油箱散热片焊接实施方法
CN114367979A (zh) * 2021-12-16 2022-04-19 西安理工大学 一种矿用钻杆自动加接方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455527B (zh) * 2018-11-29 2021-02-02 合肥泰禾智能科技集团股份有限公司 一种货物拆垛方法及装置
CN109775376B (zh) * 2018-12-29 2021-07-23 上海新时达机器人有限公司 不规则随机物料的机器人拆垛方法
CN110077862B (zh) * 2019-05-17 2024-02-27 山东省科学院激光研究所 一种拆垛机连续拆垛监测系统及其监测方法
CN111439594B (zh) * 2020-03-09 2022-02-18 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统
CN112667220B (zh) * 2021-01-27 2023-07-07 北京字跳网络技术有限公司 一种动画生成方法、装置以及计算机存储介质
CN112509024B (zh) * 2021-02-08 2021-05-18 杭州灵西机器人智能科技有限公司 基于升降装置的混合拆垛控制方法、装置、设备及介质
CN113353519A (zh) * 2021-05-11 2021-09-07 李冬菊 一种物流仓储使用的货物移动系统
CN115924557B (zh) * 2022-12-16 2023-07-14 广州赛志系统科技有限公司 一种定制家居板件机器人码垛优化方法及码垛系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5984623A (en) * 1998-03-31 1999-11-16 Abb Flexible Automation, Inc. Carrier feed vaccum gripper
CN1792573A (zh) * 2004-12-21 2006-06-28 发那科株式会社 机器人控制装置
CN102300680A (zh) * 2008-12-05 2011-12-28 本田技研工业株式会社 机器人手臂的控制方法
CN103192397A (zh) * 2012-01-09 2013-07-10 沈阳新松机器人自动化股份有限公司 视觉机器人离线编程方法和系统
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN103862457A (zh) * 2014-03-13 2014-06-18 湖南信息职业技术学院 一种带视觉系统的服务机器人
CN104669281A (zh) * 2015-03-16 2015-06-03 青岛海之晨工业装备有限公司 基于3d机器视觉引导的工业机器人自动拆垛系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5984623A (en) * 1998-03-31 1999-11-16 Abb Flexible Automation, Inc. Carrier feed vaccum gripper
CN1792573A (zh) * 2004-12-21 2006-06-28 发那科株式会社 机器人控制装置
CN102300680A (zh) * 2008-12-05 2011-12-28 本田技研工业株式会社 机器人手臂的控制方法
CN103192397A (zh) * 2012-01-09 2013-07-10 沈阳新松机器人自动化股份有限公司 视觉机器人离线编程方法和系统
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN103862457A (zh) * 2014-03-13 2014-06-18 湖南信息职业技术学院 一种带视觉系统的服务机器人
CN104669281A (zh) * 2015-03-16 2015-06-03 青岛海之晨工业装备有限公司 基于3d机器视觉引导的工业机器人自动拆垛系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107030703A (zh) * 2017-06-09 2017-08-11 上海岭先机器人科技股份有限公司 一种移动机器人系统
WO2019100400A1 (en) * 2017-11-27 2019-05-31 Abb Schweiz Ag Apparatus and method for use with robot
US11642800B2 (en) 2017-11-27 2023-05-09 Abb Schweiz Ag Apparatus and method for use with robot
CN108805925A (zh) * 2018-08-17 2018-11-13 九牧厨卫股份有限公司 一种卫生陶瓷坐便器自动卸窑方法及自动卸窑装置
CN109230580A (zh) * 2018-10-11 2019-01-18 西安中科光电精密工程有限公司 一种基于混放物料信息采集的拆垛机器人系统及方法
CN109230580B (zh) * 2018-10-11 2024-02-20 西安中科光电精密工程有限公司 一种基于混放物料信息采集的拆垛机器人系统及方法
CN110232710A (zh) * 2019-05-31 2019-09-13 深圳市皕像科技有限公司 基于三维相机的物品定位方法、系统及设备
CN110221623A (zh) * 2019-06-17 2019-09-10 酷黑科技（北京）有限公司 一种空地协同作业系统及其定位方法
CN110877151A (zh) * 2019-10-16 2020-03-13 无锡黎曼机器人科技有限公司 一种视觉导引发动机缸体拆垛检测机器人装备及其方法
CN110877151B (zh) * 2019-10-16 2024-03-29 无锡黎曼机器人科技有限公司 一种视觉导引发动机缸体拆垛检测机器人装备及其方法
CN110977218A (zh) * 2019-11-21 2020-04-10 上海船舶工艺研究所(中国船舶工业集团公司第十一研究所) 3d激光扫描设备及使用该设备的点云自动提取转换方法
CN110969660A (zh) * 2019-12-17 2020-04-07 浙江大学 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN110969660B (zh) * 2019-12-17 2023-09-22 浙江大学 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN112720477A (zh) * 2020-12-22 2021-04-30 泉州装备制造研究所 一种基于局部点云模型的物体最优抓取识别方法
CN112720477B (zh) * 2020-12-22 2024-01-30 泉州装备制造研究所 一种基于局部点云模型的物体最优抓取识别方法
CN114084683A (zh) * 2021-12-02 2022-02-25 长沙长泰智能装备有限公司 确定垛型的方法和装置
CN114084683B (zh) * 2021-12-02 2023-09-01 中轻长泰(长沙)智能科技股份有限公司 确定垛型的方法和装置
CN114367979B (zh) * 2021-12-16 2023-07-18 西安理工大学 一种矿用钻杆自动加接方法
CN114367979A (zh) * 2021-12-16 2022-04-19 西安理工大学 一种矿用钻杆自动加接方法
CN114178752A (zh) * 2021-12-21 2022-03-15 唐山英莱科技有限公司 一种波纹油箱散热片焊接实施方法

Also Published As

Publication number Publication date
CN207861446U (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
WO2017015898A1 (zh) 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
CN111496770B (zh) 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
CN109081026B (zh) 基于激光测距雷达定位引导的机器人拆垛系统及方法
JP2020124800A (ja) ピースロス管理メカニズムを有するロボットシステム
EP3587050A1 (en) Method and system to generate a 3d model for a robot scene
CN111136656A (zh) 一种用于机器人三维不规则物体自动识别及抓取的方法
CN112010024B (zh) 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
EP3910593A1 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
Tsarouchi et al. Vision system for robotic handling of randomly placed objects
CN113715012B (zh) 一种遥控器零件自动装配方法和系统
CN111598172A (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN204389406U (zh) 蓝宝石长晶缺陷及表面缺陷光学检测系统
JP2018146347A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN113538459B (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN114192447A (zh) 基于图像识别的垃圾分拣方法
CN108189032B (zh) 视觉识别自动拿取方法和机械臂
JP5332873B2 (ja) 袋状ワーク認識装置および方法
CN116197888B (zh) 物品位置确定方法、装置、电子设备和存储介质
CN116197885B (zh) 基于压叠检测的图像数据过滤方法、装置、设备和介质
CN115556102B (zh) 一种基于视觉识别的机器人分拣规划方法及规划设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15899250

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15899250

Country of ref document: EP

Kind code of ref document: A1