WO2018108098A1 - 一种基于多传感器信息融合的带电作业机器人自主作业方法 - Google Patents

一种基于多传感器信息融合的带电作业机器人自主作业方法 Download PDF

Info

Publication number
WO2018108098A1
WO2018108098A1 PCT/CN2017/115881 CN2017115881W WO2018108098A1 WO 2018108098 A1 WO2018108098 A1 WO 2018108098A1 CN 2017115881 W CN2017115881 W CN 2017115881W WO 2018108098 A1 WO2018108098 A1 WO 2018108098A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
robot arm
working
industrial computer
arm
Prior art date
Application number
PCT/CN2017/115881
Other languages
English (en)
French (fr)
Inventor
纪良
陆政
沈辉
张伟
Original Assignee
国网江苏省电力公司常州供电公司
国网江苏省电力公司
国家电网公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国网江苏省电力公司常州供电公司, 国网江苏省电力公司, 国家电网公司 filed Critical 国网江苏省电力公司常州供电公司
Publication of WO2018108098A1 publication Critical patent/WO2018108098A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40523—Path motion planning, path in space followed by tip of robot

Definitions

  • the invention belongs to the field of electric power technology, and particularly relates to an autonomous operation method of a charged working robot based on multi-sensor information fusion.
  • Patent No. 201310033112 invented by Shandong Electric Power Research Institute, "a vision system and a working method for a high-voltage live working robot", which adopts a binocular stereo camera mounted on the left and right robot arms to realize the recognition of the target position and posture.
  • the measurement uses a stereo camera to make the image stereoscopic, and a CCD camera is mounted on the front side and the rear side of the arm to monitor the robot operation.
  • the invention can identify and measure the working environment and targets to a certain extent, it can not deal with the measurement problems in the complex environment, and can not provide good monitoring in the anti-collision protection of the robot arm. It can be seen that although a single visual method can obtain relatively complete environmental information, the amount of image information is too large, and it is difficult to remove interference components by using an efficient algorithm to extract useful information, which may cause difficulty in autonomous operation of a charged working robot.
  • the invention provides a self-operating operation method of a charged working robot based on multi-sensor information fusion, which can obtain not only the information of the relationship between the working target, the robot arm and the working target, but also the information of the relationship between the robot arms, thereby making it more convenient. Monitor and protect the collision between the robot arm and the target and between the robot arms.
  • the present invention provides a self-operated working method of a charged working robot based on multi-sensor information fusion
  • the working working robot includes an operating system and a monitoring system
  • the operating system includes settings a first robot arm, a second robot arm, an auxiliary robot arm, a robot arm special toolbox and a first industrial computer on the live working robot platform
  • the monitoring system comprises a binocular camera, a panoramic camera, a depth sensor and a second industrial control And a display
  • a binocular camera is installed at the end of the first robot arm, the second robot arm and the auxiliary robot arm
  • the panoramic camera is used for monitoring the working scene
  • the depth sensor is used for acquiring the depth image information of the working scene
  • the industrial computer and display are installed on the insulated bucket car;
  • the autonomous operation process is:
  • Step 101 The panoramic camera captures a panoramic image including the live working robot platform, and sends the display to the display through the second industrial computer, and the operator sends the live working robot platform to the working area by viewing the panoramic image;
  • Step 102 the first industrial computer controls the first mechanical arm and the second mechanical arm to enter an initial working posture, and ensures that the binocular camera on the first robot arm and the second robot arm can capture a binocular image containing the work target; Controlling the auxiliary robot arm to enter the initial working posture, ensuring that the binocular camera on the auxiliary robot arm can capture the binocular image including the work target, the first robot arm and the second robot arm;
  • Step 103 The three binocular cameras transmit the captured binocular image data to the second industrial computer, and the second industrial computer processes the binocular image to identify the work target and determine the job task category;
  • Step 104 The second industrial computer determines, according to the work target and the job category, whether the work task weight is a tool in the special toolbox, and if the tool needs to be acquired, the first mechanical arm and the second mechanical arm are controlled by the first industrial computer. Obtain the tool from the special toolbox, and then proceed to step 5, if you do not need to obtain the tool, proceed directly to step 105;
  • Step 105 The second industrial computer plans a space movement path of the robot arm according to the positions of the first robot arm and the second robot arm and the work task, and sends the path to the first industrial computer;
  • Step 106 the first industrial computer controls the movement of the first mechanical arm and the second mechanical arm according to the space movement path of the robot to complete the corresponding work task; during the operation of the first mechanical arm and the second mechanical arm, the second industrial computer according to the depth
  • the depth information obtained by the sensor determines whether there is a collision between the robot arms and between the robot arms and the surrounding objects. If yes, return to step 5 to re-execute the arm space motion path planning; if not, continue the work task until Complete the job task.
  • the live working robot includes four depth sensors respectively acquiring the working area depth image from the upper, the front, and the left and right sides of the live working robot platform; the second industrial computer judges and judges the mechanical arms according to the depth information obtained by the depth sensor.
  • the method of collision between each arm and surrounding objects is:
  • Step 201 processing the panoramic image of the work scene captured by the panoramic camera to separate the robot arms from the working environment, that is, separating the background and the robot arm, and acquiring the position information of each robot arm pixel point;
  • Step 202 Matching the working scene panoramic image with the working area depth image obtained by the four depth sensors, that is, matching the pixel points in the panoramic image with the pixel points in the depth image to obtain the three-dimensional coordinates of the actual point in the space. Thereby obtaining a three-dimensional point cloud on the job site and obtaining a point cloud of each robot arm position, and recording the first robot arm, the second robot arm and the auxiliary robot arm point cloud as the first point cloud region, the second point cloud region and the auxiliary point respectively Cloud area
  • Step 203 Calculate a distance between each point on the point cloud of each robot arm and each point on the working environment point cloud. If the distance is less than the threshold, the robot arm is considered to collide with the environmental object; the first point cloud area is calculated, and the second point is calculated. The distance between two points on the point cloud area and the auxiliary point cloud area. If the distance is less than the threshold, it is considered that a collision will occur between the robot arms.
  • the second industrial computer preprocesses the binocular image to eliminate interference and noise; then extracts the work target, and matches the work target with the target model in the model library to determine the job task category.
  • FIG. 1 is a schematic structural view of a charged working robot based on multi-sensor information fusion according to the present invention
  • FIG. 2 is a flow chart of autonomous operation of a charged working robot based on multi-sensor information fusion according to the present invention.
  • the hardware composition of the charged working robot based on multi-sensor information fusion mainly includes the operating system and the monitoring system.
  • the operating system includes a first robot arm 43, a second robot arm 44, an auxiliary robot arm 42, a robot arm special toolbox 47, and a first industrial computer 48.
  • the first mechanical arm 43, the second mechanical arm 44 and the auxiliary mechanical arm 42 are both mounted in the insulating bucket, and the first mechanical arm 43 and the second mechanical arm 44 are mounted on the front part of the insulating bucket, which is the main operating hand of the system;
  • the auxiliary mechanical arm 42 is installed in the middle of the left and right robot arms, mainly used for auxiliary operation and auxiliary monitoring;
  • the robot arm special tool box 47 is equipped with tools for visual and sensor identification, which facilitates the replacement of the working tools during the operation;
  • the first industrial computer 48 Mainly used to control the movement of three robot arms.
  • the monitoring system includes three sets of binocular cameras 45, a panoramic camera 41, four depth sensors, and a second industrial computer.
  • a pair of binocular cameras 45 are respectively mounted on the wrists of the three robot arms; a bracket is mounted after the robot arm special tool case 47, and a panoramic camera 41 and a second depth sensor 411 are installed at the end of the bracket;
  • the third depth sensor 412 and the fourth depth sensor 413 are respectively mounted on the left and right sides of the arm special tool box 47;
  • the bracket is mounted on the edge of the insulating bucket in front of the robot arm, and the first depth sensor 414 is installed at the end of the bracket;
  • the second industrial computer is installed An image processor for processing and fusing each camera image and depth sensor information.
  • the binocular cameras 45 are assembled by two high-definition CCD cameras, which are respectively mounted on the wrists of the three mechanical arms, and the binocular cameras on the first robot arm 43 and the second robot arm 44 are mainly used for the identification and tracking of the work target. And positioning, the binocular camera on the auxiliary robot arm 42 is mainly used for auxiliary monitoring.
  • Each CCD camera is connected to the second industrial computer through RJ45.
  • the panoramic camera 41 adopts a high-definition panoramic camera for monitoring the entire working area, and is connected to the second industrial computer through the RJ45.
  • the depth sensor adopts a 3D structured light depth sensor for collecting working scene depth data, and the obtained image is a grayscale image with depth information, and the posture information of the mechanical arm and the relative position of the working environment object can be obtained by analyzing the depth information. Thereby, coordinated control of the robot arm can be achieved.
  • the first depth sensor 410 captures a depth image from the front of the three robot arms; the second depth sensor 411 captures the depth image from behind the three robot arms; the third depth sensor 412 and the fourth depth sensor 413 respectively from the three robot arms
  • the depth image is taken at the left rear and right rear.
  • the depth sensor is connected to the second industrial computer via USB.
  • the autonomous operation process of a charged working robot based on multi-sensor information fusion is:
  • Step 1 adjusting the position of the powered working robot platform 4;
  • Step 2 the panoramic environment image including the live working robot platform 4 is captured by the panoramic camera 41, and the image is sent to the second industrial computer for processing to determine whether the robot platform enters a suitable working area, and if so, step 3 is performed; , return to step 1;
  • the method for determining whether the robot platform enters a suitable working area is to analyze the panoramic image of the working area and the arm area by analyzing the image taken by the panoramic camera 41. When the height difference is less than a certain threshold, the robot platform has entered a suitable area, otherwise Continue to adjust the position of the live working robot platform;
  • Step 3 controlling three robot arms by the first industrial computer 48, and initializing the positions of the three robot arms;
  • the initializing three robot arm positions means that the first mechanical arm 43 and the second mechanical arm 44 are respectively controlled by the first industrial computer 48 to bring the two mechanical arms into the initial working posture, and the binocular cameras on the two mechanical arms are ensured.
  • 45 can capture an image containing the work target; then control the auxiliary robot arm 42 to enter the initial working posture, ensuring that the binocular camera 45 on the robot arm can capture the work target, the first robot arm 43 and the second robot arm 44.
  • Image and can facilitate auxiliary live operation in subsequent actions;
  • Step 4 The working target image is taken by the binocular camera 45 on the robot arm, and the image is sent to the second industrial computer for processing, the device is identified and the type of the job is determined; the specific steps are:
  • Step 4-1 obtaining an image containing the job target, and transmitting the image to the second industrial computer;
  • Step 4-2 preprocessing the image to eliminate interference and noise
  • Step 4-3 extracting the job target, automatically matching with the device model in the model library, determining the device type of the job target, and determining the job type;
  • Step 4-4 the obtained job type information is transmitted to the first industrial computer 48 through optical fiber communication;
  • Step 5 it is determined whether the tool is to be taken, and if so, the first industrial computer 48 controls the first robot arm 43 and the second robot arm 44 to acquire the tools from the robot arm tool box 47 respectively, and if not, step 6 is performed;
  • the steps to describe the automatic acquisition tool are as follows:
  • Step 5-1 the first industrial computer 48 controls the first mechanical arm 43 and the second mechanical arm 44 to rotate to the rear tool grasping area;
  • Step 5-2 the first industrial computer 48 determines the type of the tool to be used according to the job type information acquired in step 4-4;
  • Step 5-3 obtaining a tool image through the binocular camera 45 on the two robot arms to determine the type and position of the tool;
  • Step 5-4 the camera tracks the position of the tool and guides the robot arm acquisition tool
  • Step 6 Plan the space path of the robot arm
  • Step 7 the first industrial computer 48 controls the first mechanical arm 43 and the second mechanical arm 44 to perform an autonomous operation, and the auxiliary mechanical arm 42 assists the operation and assists monitoring through the binocular camera 45 mounted thereon;
  • step 8 the depth information of the entire working area is obtained from four directions by four depth sensors, and the image is transmitted to the second industrial computer for processing and fusion to determine whether collision occurs between the robot arms and between the robot arm and the environmental object. Whether there will be a collision, if yes, return to step 6; if not, proceed to step 9;
  • Step 8-1 the panoramic environment image including the powered working robot platform 4 is acquired by the panoramic camera 41, and the image is preprocessed;
  • Step 8-2 separating the robot arm from the background to obtain the position of the robot arm pixel point
  • Step 8-3 matching the image of the panoramic camera 41 with the depth image information obtained by the four depth sensors, that is, one pixel in the image of the panoramic camera 41 matches one pixel in the depth image, and the three-dimensional coordinates of the actual point in the space are obtained.
  • the first robot arm 43, the second robot arm 44 and the auxiliary robot arm 42 point cloud are respectively recorded as the first point cloud area, the second point cloud area, Auxiliary point cloud area;
  • Step 8-4 calculate points on the point cloud of the robot arm point and the point cloud on the working environment (except the job target point cloud). If the distance is less than the threshold, it is considered that the robot arm will collide with the environmental object, and return to step 6 to re-plan the path of the robot arm;
  • Step 8-5 calculating a distance between two points on the first point cloud area, the second point cloud area, and the auxiliary point cloud area. If the threshold is less than the threshold, it is considered that a collision will occur between the robot arms, and returning to step 6 on the robot arm Path re-planning;
  • Step 8-6 if the calculated distances of steps 8-4 and 8-5 are greater than the threshold, it is considered that no collision occurs, and the mechanical arm continues to work;
  • step 9 it is determined whether the job is completed, and if so, the process ends; if not, the process returns to step 5.
  • the present invention has significant advantages in that:
  • the invention adopts a method in which the depth sensor and the visual system information are fused, not only can obtain information on the relationship between the work target, the robot arm and the work target, but also can acquire information on the relationship between the robot arms, thereby making it more convenient for the machine. Monitoring and protection of collisions between the arm and the target and between the robot arms;
  • the present invention installs a set of binocular cameras on the wrist of the auxiliary mechanical arm, and can extend the front side or the back side of the target device through a flexible auxiliary mechanical arm to observe the dead angle of the front view, thereby making the charging operation easier to complete.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

一种基于多传感器信息融合的带电作业机器人自主作业方法。带电作业机器人包括作业系统和监控系统；所述作业系统包括第一机械臂（43）、第二机械臂（44）、辅助机械臂（42）、机械臂专用工具箱（47）和第一工控机（48）；所述监控系统包括双目摄像头（45）、全景摄像头（41）、深度传感器和第二工控机和显示器；第一机械臂、第二机械臂和辅助机械臂末端均安装有双目摄像头；全景摄像头用于监控作业场景；深度传感器为多个，用于获取作业场景深度图像信息；第二工控机和显示器安装在绝缘斗臂车上。该方法不仅能获得作业目标、机械臂与作业目标之间关系的信息，而且能获取机械臂之间关系的信息，从而能更方便对机械臂与目标之间和机械臂之间的碰撞进行监测和保护。

Description

一种基于多传感器信息融合的带电作业机器人自主作业方法 技术领域
本发明属于电力技术领域，具体涉及一种基于多传感器信息融合的带电作业机器人自主作业方法。
背景技术
随着国民经济的发展，技术的进步，以及人们对生活质量的要求越来越高，客户对用电质量、服务的要求也越来越高，停电不但会给企业造成巨大经济损失，也给人们的日常生活带来很多不便。为了保持设备良好的运行状况，常常需要作业人员进行人工带电维护检修作业，但这种带电作业方式需要作业人员长时间处于高强度高危险的环境中，不仅给作业人员人身安全带来风险，而且会使作业效率低下。将带电作业机器人引入到电力产业中，代替人工进行电力维护检修工作，可以有效避免带电作业时人员伤亡事故的发生，并且能极大提高电力维护检修的作业效率。
采用该方式进行带电作业，机器人可以通过视觉系统采集并反馈的工作环境信息，自主完成作业。然而，在带电作业现场，环境较为复杂，设备器具较多，不易与背景环境区分，单一采用视觉方式难以对作业环境和目标进行全方位高精度的测量。例如山东电力研究院发明的专利号201310033112的“一种用于高压带电作业机器人的视觉系统及工作方法”，该发明采用在左右机械臂上安装双目立体相机实现对目标位置和姿态的识别和测量，采用立体摄像机使图像具有立体视觉效果，并在机械臂前侧和后侧分别安装CCD相机以便对机器人作业进行监控。该发明虽然能在一定程度上对工作环境及目标进行识别和测量，但并不能处理复杂环境中的测量问题，也无法在机械臂防碰撞保护方面提供很好的监控。由此可见，采用单一视觉方式虽然能获得较为完整的环境信息，但图像信息量过大，难以用高效的算法对图像去除干扰成分，提取有用信息，这些会造成带电作业机器人自主作业的困难。
发明内容
本发明提出一种基于多传感器信息融合的带电作业机器人自主作业方法，不仅能获得作业目标、机械臂与作业目标之间关系的信息，而且能获取机械臂之间关系的信息，从而能更方便对机械臂与目标之间和机械臂之间的碰撞进行监测和保护。
为了解决上述技术问题，本发明提供一种基于多传感器信息融合的带电作业机器人自主作业方法，带电作业机器人包括作业系统和监控系统；所述作业系统包括设置 在带电作业机器人平台上的第一机械臂、第二机械臂、辅助机械臂、机械臂专用工具箱和第一工控机；所述监控系统包括双目摄像头、全景摄像头、深度传感器和第二工控机和显示器；第一机械臂、第二机械臂和辅助机械臂末端均安装有双目摄像头；全景摄像头用于监控作业场景；深度传感器为多个，用于获取作业场景深度图像信息；第二工控机和显示器安装在绝缘斗臂车上；自主作业过程为：
步骤101，全景摄像头拍摄包括带电作业机器人平台的在内的全景图像，通过第二工控机送显示器显示，操作人员通过查看全景图像将带电作业机器人平台送入作业区域；
步骤102，第一工控机控制第一机械臂和第二机械臂进入初始工作姿态，并确保第一机械臂和第二机械臂上的双目摄像头能拍摄到包含作业目标的双目图像；随后控制辅助机械臂进入初始工作姿态，确保辅助机械臂上的双目摄像头能拍摄到包含作业目标、第一机械臂和第二机械臂的双目图像；
步骤103，三个双目摄像头将拍摄的双目图像数据传送给第二工控机，第二工控机对所述双目图像进行处理，以识别出作业目标并判断作业任务类别；
步骤104，第二工控机根据作业目标和作业类别判断作业任务重是否是需要使用专用工具箱中的工具，若果需要获取工具，则通过第一工控机控制第一机械臂和第二机械臂分别从专用工具箱中获取工具，然后进行步骤5，如果不需要获取工具，则直接进行步骤105；
步骤105，第二工控机根据第一机械臂和第二机械臂的位置以及作业任务规划出机械臂空间运动路径，并发送给第一工控机；
步骤106，第一工控机根据机械臂空间运动路径控制第一机械臂和第二机械臂运动完成相应作业任务；在第一机械臂和第二机械臂进行作业过程中，第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞，若是，则返回步骤5重新进行械臂空间运动路径规划；若否，则继续进行作业任务直至完成作业任务。
进一步，带电作业机器人包括四个深度传感器，分别从带电作业机器人平台的上方、前方以及左右两侧获取作业区域深度图像；第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞的方法为：
步骤201，对全景摄像头拍摄的作业场景全景图像进行处理将各机械臂与作业环境分离，即分离背景与机械臂，获取各机械臂像素点位置信息；
步骤202，将作业场景全景图像与四只深度传感器获得的作业区域深度图像进行信息匹配，即将全景图像中的像素点与深度图像中的像素点进行匹配，获得空间中实际该点的三维坐标，从而获取作业现场三维点云并得到各机械臂位置的点云，将第一机械臂、第二机械臂和辅助机械臂点云分别记为第一点云区、第二点云区和辅助点云区；
步骤203，计算各机械臂点云上各点与作业环境点云上各点之间的距离，若该距离小于阈值，则认为机械臂将要与环境物体碰撞；计算第一点云区、第二点云区和辅助点云区上相互两点间的距离，若该距离小于阈值，则认为机械臂之间将要发生碰撞。
进一步，第二工控机对双目图像进行预处理，剔除干扰和噪声；然后提取出作业目标，将作业目标与模型库中的目标模型进行匹配，以判断出作业任务类别。
附图说明
图1为本发明基于多传感器信息融合的带电作业机器人结构示意图；
图2为本发明基于多传感器信息融合的带电作业机器人自主作业流程图。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于多传感器信息融合的带电作业机器人自主作业方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。
结合附图，基于多传感器信息融合的带电作业机器人，其硬件组成主要包括作业系统和监控系统。
所述作业系统包括第一机械臂43、第二机械臂44、辅助机械臂42、机械臂专用工具箱47和第一工控机48。第一机械臂43、第二机械臂44和辅助机械臂42均安装于绝缘斗中，第一机械臂43和第二机械臂44安装于绝缘斗前部，为系统主要操作手；辅助机械臂42安装于左、右机械臂中间，主要用于辅助作业和辅助监控；机械臂专用工具箱47装有便于视觉和传感器识别的工具，方便作业过程中对作业工具进行更换；第一工控机48主要用于控制三个机械臂运动。
所述监控系统包括三组双目摄像头45、一只全景摄像头41、四只深度传感器和第二工控机。在三只机械臂的腕部分别安装一组双目摄像头45；在机械臂专用工具箱47后安装支架，并在支架末端安装全景摄像头41和第二深度传感器411；在机械 臂专用工具箱47左右两侧分别安装第三深度传感器412和第四深度传感器413；在机械臂前方的绝缘斗边缘安装支架，并在支架末端安装第一深度传感器414；第二工控机安装有图像处理器，用于对各摄像头图像和深度传感器信息进行处理和融合。
双目摄像头45均采用两只高清CCD摄像头组合而成，分别安装于三个机械臂腕部，第一机械臂43和第二机械臂44上的双目摄像头主要用于作业目标的识别、跟踪及定位，辅助机械臂42上的双目摄像头主要用于辅助监控。每个CCD摄像头均通过RJ45与第二工控机相连。
所述全景摄像头41采用高清全景摄像头，用于对整个作业区域进行监控，其通过RJ45与第二工控机相连。
所述深度传感器采用3D结构光深度传感器，用来采集作业场景深度数据，其所获图像为带有深度信息的灰度图，通过分析深度信息可以获得机械臂姿态信息和作业环境物体相对位置，从而能实现机械臂的协调控制。其中，第一深度传感器410从三只机械臂前下方拍摄深度图像；第二深度传感器411从三只机械臂后方拍摄深度图像；第三深度传感器412、第四深度传感器413分别从三只机械臂左后方和右后方拍摄深度图像。深度传感器通过USB与第二工控机相连。
基于多传感器信息融合的带电作业机器人自主作业过程为：
步骤1，调节带电作业机器人平台4的位置；
步骤2，通过全景摄像头41拍摄包括带电作业机器人平台4的全景环境图像，将图像传入第二工控机中进行处理，判断机器人平台是否进入合适的作业区域，若是，则执行步骤3；若否，返回步骤1；
所述判断机器人平台是否进入合适的作业区域的方法是通过分析全景摄像头41拍摄图像，得到作业区域与机械臂区域的相对高度差，当高度差小于一定阈值，则机器人平台已进入合适区域，否则继续调节带电作业机器人平台位置；
步骤3，通过第一工控机48控制三只机械臂，初始化三只机械臂位置；
所述初始化三只机械臂位置是指分别用第一工控机48控制第一机械臂43和第二机械臂44使两只机械臂进入初始工作姿态，并确保两只机械臂上的双目摄像头45能拍摄到包含工作目标的图像；接着控制辅助机械臂42进入初始工作姿态，确保该机械臂上的双目摄像头45能拍摄到包含工作目标、第一机械臂43和第二机械臂44的图像，并能够在后续动作中方便辅助带电作业；
步骤4，通过机械臂上的双目摄像头45拍摄作业目标图像，将图像传入第二工控机中进行处理，识别设备并判断作业种类；其具体步骤为：
步骤4-1，获取包含作业目标的图像，传入第二工控机；
步骤4-2，对图像进行预处理，剔除干扰和噪声；
步骤4-3，对作业目标进行提取，自动与模型库中的设备模型进行匹配，判断作业目标的设备类型，并判断作业种类；
步骤4-4，将得到的作业种类信息通过光纤通信传输给第一工控机48；
步骤5，判断是否获要取工具，若是，则第一工控机48控制第一机械臂43和第二机械臂44分别从机械臂专用工具箱47获取工具，若否，则执行步骤6；所述自动获取工具步骤如下：
步骤5-1，第一工控机48控制第一机械臂43和第二机械臂44转至后方工具抓取区域；
步骤5-2，第一工控机48根据步骤4-4获取的作业种类信息判断需要使用的工具种类；
步骤5-3，通过两只机械臂上的双目摄像头45获取工具图像，判断工具种类和位置；
步骤5-4，摄像头跟踪工具的位置并引导机械臂获取工具；
步骤6，对机械臂空间路径进行规划；
步骤7，第一工控机48控制第一机械臂43和第二机械臂44进行自主作业动作，辅助机械臂42辅助作业并通过安装于其上的双目摄像头45辅助监控；
步骤8，通过四只深度传感器从四个方向获取整个作业区域深度信息，将图像传入第二工控机中进行处理和融合，判断机械臂之间是否会发生碰撞以及机械臂与环境物体之间是否会发生碰撞，若是，则返回步骤6；若否，则执行步骤9；
所述判断碰撞采用的方法步骤如下：
步骤8-1，由全景摄像头41获取包括带电作业机器人平台4的全景环境图像，对图像进行预处理；
步骤8-2，将机械臂与背景分离，获取机械臂像素点位置；
步骤8-3，将全景摄像头41图像与四只深度传感器获得的深度图像信息匹配，即全景摄像头41图像中的一个像素点与深度图像中一个像素点匹配，得到空间中实际该点的三维坐标，从而获取作业现场三维点云并得到机械臂位置的点云，第一机械臂43、第二机械臂44和辅助机械臂42点云分别记为第一点云区、第二点云区、辅助点云区；
步骤8-4，计算机械臂点云上各点与作业环境点云上(除了作业目标点云)各点 距离，若小于阈值，则认为机械臂将要与环境物体碰撞，返回步骤6对机械臂路径重新规划；
步骤8-5，计算第一点云区、第二点云区和辅助点云区上相互两点间的距离，若小于阈值，则认为机械臂之间将要发生碰撞，返回步骤6对机械臂路径重新规划；
步骤8-6，若步骤8-4、步骤8-5计算距离均大于阈值，则认为不会发生碰撞，机械臂继续工作；
步骤9，判断是否完成作业，若是，则进入结束流程；若否，则返回步骤5。
工业应用性
本发明与现有技术相比，其显著优点在于：
(1)本发明采用深度传感器与视觉系统信息融合的方式，不仅能获得作业目标、机械臂与作业目标之间关系的信息，而且能获取机械臂之间关系的信息，从而能更方便对机械臂与目标之间和机械臂之间的碰撞进行监测和保护；
(2)本发明在辅助机械臂腕部安装一组双目摄像头，可以通过灵活的辅助机械臂伸至目标设备的侧面或背面，对正面视觉的死角进行观测，使得带电作业更容易完成。

Claims (3)

  1. 一种基于多传感器信息融合的带电作业机器人自主作业方法，其特征在于，带电作业机器人包括作业系统和监控系统；
    所述作业系统包括设置在带电作业机器人平台上的第一机械臂、第二机械臂、辅助机械臂、机械臂专用工具箱和第一工控机；所述监控系统包括双目摄像头、全景摄像头、深度传感器和第二工控机和显示器；第一机械臂、第二机械臂和辅助机械臂末端均安装有双目摄像头；全景摄像头用于监控作业场景；深度传感器为多个，用于获取作业场景深度图像信息；第二工控机和显示器安装在绝缘斗臂车上；
    自主作业过程为：
    步骤101，全景摄像头拍摄包括带电作业机器人平台的在内的全景图像，通过第二工控机送显示器显示，操作人员通过查看全景图像将带电作业机器人平台送入作业区域；
    步骤102，第一工控机控制第一机械臂和第二机械臂进入初始工作姿态，并确保第一机械臂和第二机械臂上的双目摄像头能拍摄到包含作业目标的双目图像；随后控制辅助机械臂进入初始工作姿态，确保辅助机械臂上的双目摄像头能拍摄到包含作业目标、第一机械臂和第二机械臂的双目图像；
    步骤103，三个双目摄像头将拍摄的双目图像数据传送给第二工控机，第二工控机对所述双目图像进行处理，以识别出作业目标并判断作业任务类别；
    步骤104，第二工控机根据作业目标和作业类别判断作业任务重是否是需要使用专用工具箱中的工具，若果需要获取工具，则通过第一工控机控制第一机械臂和第二机械臂分别从专用工具箱中获取工具，然后进行步骤5，如果不需要获取工具，则直接进行步骤105；
    步骤105，第二工控机根据第一机械臂和第二机械臂的位置以及作业任务规划出机械臂空间运动路径，并发送给第一工控机；
    步骤106，第一工控机根据机械臂空间运动路径控制第一机械臂和第二机械臂运动完成相应作业任务；在第一机械臂和第二机械臂进行作业过程中，第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞，若是，则返回步骤5重新进行械臂空间运动路径规划；若否，则继续进行作业任务直至完成作业任务。
  2. 如权利要求1所述带电作业机器人自主作业方法，其特征在于，包括四个 深度传感器，分别从带电作业机器人平台的上方、前方以及左右两侧获取作业区域深度图像；第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞的方法为：
    步骤201，对全景摄像头拍摄的作业场景全景图像进行处理将各机械臂与作业环境分离，获取各机械臂像素点位置信息；
    步骤202，将作业场景全景图像与四只深度传感器获得的作业区域深度图像进行信息匹配，即将全景图像中的像素点与深度图像中的像素点进行匹配，获得空间中实际该点的三维坐标，从而获取作业现场三维点云并得到各机械臂位置的点云，将第一机械臂、第二机械臂和辅助机械臂点云分别记为第一点云区、第二点云区和辅助点云区；
    步骤203，计算各机械臂点云上各点与作业环境点云上各点之间的距离，若该距离小于阈值，则认为机械臂将要与环境物体碰撞；计算第一点云区、第二点云区和辅助点云区上相互两点间的距离，若该距离小于阈值，则认为机械臂之间将要发生碰撞。
  3. 如权利要求1所述带电作业机器人自主作业方法，其特征在于，第二工控机对双目图像进行预处理，剔除干扰和噪声；然后提取出作业目标，将作业目标与模型库中的目标模型进行匹配，以判断出作业任务类别。
PCT/CN2017/115881 2016-12-14 2017-12-13 一种基于多传感器信息融合的带电作业机器人自主作业方法 WO2018108098A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611153009.1A CN106426186B (zh) 2016-12-14 2016-12-14 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN201611153009.1 2016-12-14

Publications (1)

Publication Number Publication Date
WO2018108098A1 true WO2018108098A1 (zh) 2018-06-21

Family

ID=58216598

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/115881 WO2018108098A1 (zh) 2016-12-14 2017-12-13 一种基于多传感器信息融合的带电作业机器人自主作业方法

Country Status (2)

Country Link
CN (1) CN106426186B (zh)
WO (1) WO2018108098A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584293A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统
CN110482219A (zh) * 2019-07-08 2019-11-22 齐鲁工业大学 一种基于机器视觉的医学载玻片传递系统及方法
CN110732601A (zh) * 2019-09-27 2020-01-31 上海应用技术大学 基于视觉检测的机械手辅助上下料和避障检测系统及方法
CN112894850A (zh) * 2021-01-27 2021-06-04 国网安徽省电力有限公司电力科学研究院 一种爬杆机器人控制系统及其控制方法
CN112934541A (zh) * 2021-01-25 2021-06-11 山东华锐智能技术有限公司 基于视觉3d重建的自动喷涂装置及方法
CN113618733A (zh) * 2021-08-06 2021-11-09 安徽佳乐建设机械有限公司 一种多机械臂系统机械臂碰撞预警系统
CN113671527A (zh) * 2021-07-23 2021-11-19 国电南瑞科技股份有限公司 一种提高配网带电作业机器人的精准作业方法及装置
CN113765999A (zh) * 2021-07-20 2021-12-07 上海卓昕医疗科技有限公司 一种多种多关节机械臂兼容方法及系统
CN114022414A (zh) * 2021-10-15 2022-02-08 北方工业大学 一种基于双目感知学习的加油加电智能动作的执行方法
CN114083548A (zh) * 2021-11-16 2022-02-25 国网天津市电力公司 系列化配网带电作业机器人通用化平台及设计方法
CN114260912A (zh) * 2021-12-24 2022-04-01 北京如影智能科技有限公司 一种智慧厨房机器人智能抓取工具的装置及系统
CN114770567A (zh) * 2022-04-28 2022-07-22 国网山东省电力公司青岛供电公司 一种配电带电作业机器人远程操控方法及系统
CN114770505A (zh) * 2022-04-29 2022-07-22 清华大学 一种抓取装置、装配设备及其控制方法
CN114798253A (zh) * 2022-05-09 2022-07-29 北京克莱明科技有限公司 一种高空作业的设备及其控制方法
CN116638519A (zh) * 2023-06-08 2023-08-25 广东电网有限责任公司广州供电局 工器具切换装置及方法
CN116728410A (zh) * 2023-06-29 2023-09-12 盐城工学院 一种在狭窄工作环境下的机器人绝对定位精度误差补偿方法
CN117260740A (zh) * 2023-11-09 2023-12-22 国网山东省电力公司东营供电公司 带电作业机器人车身定位区分析方法、系统、终端及介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106426186B (zh) * 2016-12-14 2019-02-12 国网江苏省电力公司常州供电公司 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN106954426B (zh) * 2017-03-23 2019-01-18 江苏大学 一种基于近景深度传感器的机器人实时逼近定位采摘方法
US11366450B2 (en) * 2017-03-23 2022-06-21 Abb Schweiz Ag Robot localization in a workspace via detection of a datum
CN107553017B (zh) * 2017-09-04 2019-09-27 佛山伊贝尔科技有限公司 线束焊接机器人及线束焊接系统
CN107471218B (zh) * 2017-09-07 2020-09-11 南京理工大学 一种基于多目视觉的双臂机器人手眼协调方法
CN107498568B (zh) * 2017-10-16 2024-02-06 云南电网有限责任公司电力科学研究院 一种机械臂装置
CN108312143A (zh) * 2017-12-19 2018-07-24 国家电网有限公司 机器人机械手控制方法、装置及系统
JP7166088B2 (ja) * 2018-06-28 2022-11-07 株式会社小松製作所 作業車両による作業を判定するためのシステム、方法、及び学習済みモデルの製造方法
CN109176507A (zh) * 2018-08-13 2019-01-11 国网陕西省电力公司电力科学研究院 一种机器人对变压器的智能接线方法及装置
CN109434826A (zh) * 2018-09-13 2019-03-08 南京理工大学 一种带电作业机器人控制系统
CN109318232A (zh) * 2018-10-22 2019-02-12 佛山智能装备技术研究院 一种工业机器人的多元感知系统
CN109176534B (zh) * 2018-11-27 2021-04-20 国网智能科技股份有限公司 一种机器人多摄像机实时融合系统及方法
CN109514520A (zh) * 2018-11-28 2019-03-26 广东电网有限责任公司 一种高压带电作业主从机器人作业装置和方法
CN110000775B (zh) * 2019-02-28 2021-09-21 深圳镁伽科技有限公司 设备管理方法、控制设备及存储介质
CN110054084B (zh) * 2019-04-29 2021-03-09 广东博智林机器人有限公司 一种多机械臂行吊系统及其控制方法和故障处理方法
CN110421557A (zh) * 2019-06-21 2019-11-08 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的环境立体感知与安全预警保护系统及方法
CN110197508B (zh) * 2019-07-10 2024-02-20 深圳西顺万合科技有限公司 2d、3d共融视觉引导运动的方法及装置
CN110530289A (zh) * 2019-10-11 2019-12-03 上海理工大学 一种基于相机防碰撞的机器手三维自扫描装置及扫描方法
CN112642741B (zh) * 2019-10-12 2023-02-28 顺丰科技有限公司 物品分拣方法、装置、工控设备及存储介质
CN110883775B (zh) * 2019-11-20 2024-06-11 北京国电富通科技发展有限责任公司 单臂带电作业机器人的人机交互系统和人机协同系统
CN112704564A (zh) * 2020-12-22 2021-04-27 上海微创医疗机器人（集团）股份有限公司 手术机器人系统、碰撞检测方法、系统及可读存储介质
CN113093356B (zh) * 2021-03-18 2022-08-12 北京空间机电研究所 一种基于机械臂的大型分块光学组件装配方法
CN113237586B (zh) * 2021-04-29 2022-08-19 中铁检验认证中心有限公司 一种控温转矩测量系统及方法
CN113511455A (zh) * 2021-06-02 2021-10-19 李冬菊 一种仓储货物自动化搬运装置
WO2023065988A1 (zh) * 2021-10-21 2023-04-27 上海微创医疗机器人（集团）股份有限公司 碰撞检测方法、装置、设备、可读存储介质
CN115070777A (zh) * 2022-08-06 2022-09-20 深圳进化动力数码科技有限公司 一种电力机器人控制方法、装置、设备及存储介质
CN116512216B (zh) * 2023-06-29 2023-10-20 国网瑞嘉(天津)智能机器人有限公司 双臂机器人接引线作业方法及带电作业系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07137997A (ja) * 1993-05-24 1995-05-30 Sumitomo Electric Ind Ltd 配電作業用ロボットシステム
JPH0837711A (ja) * 1994-07-22 1996-02-06 Tokyo Electric Power Co Inc:The 架空配電線工事用ロボット
CN102615637A (zh) * 2012-04-01 2012-08-01 山东电力研究院 一种高压带电作业主从控制机器人作业平台
CN103085084A (zh) * 2013-01-29 2013-05-08 山东电力集团公司电力科学研究院 一种用于高压带电作业机器人的视觉系统及工作方法
CN103481285A (zh) * 2013-09-16 2014-01-01 国家电网公司 基于现实虚拟技术的高压带电作业机器人控制系统及方法
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN106426186A (zh) * 2016-12-14 2017-02-22 国网江苏省电力公司常州供电公司 一种基于多传感器信息融合的带电作业机器人自主作业方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5489000B2 (ja) * 2010-08-31 2014-05-14 株式会社安川電機 作業装置及び部品ピッキングシステム
CN102601782B (zh) * 2012-04-01 2014-08-27 山东电力研究院 高压带电作业机器人装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07137997A (ja) * 1993-05-24 1995-05-30 Sumitomo Electric Ind Ltd 配電作業用ロボットシステム
JPH0837711A (ja) * 1994-07-22 1996-02-06 Tokyo Electric Power Co Inc:The 架空配電線工事用ロボット
CN102615637A (zh) * 2012-04-01 2012-08-01 山东电力研究院 一种高压带电作业主从控制机器人作业平台
CN103085084A (zh) * 2013-01-29 2013-05-08 山东电力集团公司电力科学研究院 一种用于高压带电作业机器人的视觉系统及工作方法
CN103481285A (zh) * 2013-09-16 2014-01-01 国家电网公司 基于现实虚拟技术的高压带电作业机器人控制系统及方法
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN106426186A (zh) * 2016-12-14 2017-02-22 国网江苏省电力公司常州供电公司 一种基于多传感器信息融合的带电作业机器人自主作业方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584293A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统
CN110482219A (zh) * 2019-07-08 2019-11-22 齐鲁工业大学 一种基于机器视觉的医学载玻片传递系统及方法
CN110732601B (zh) * 2019-09-27 2024-05-14 上海应用技术大学 基于视觉检测的机械手辅助上下料和避障检测系统及方法
CN110732601A (zh) * 2019-09-27 2020-01-31 上海应用技术大学 基于视觉检测的机械手辅助上下料和避障检测系统及方法
CN112934541A (zh) * 2021-01-25 2021-06-11 山东华锐智能技术有限公司 基于视觉3d重建的自动喷涂装置及方法
CN112894850A (zh) * 2021-01-27 2021-06-04 国网安徽省电力有限公司电力科学研究院 一种爬杆机器人控制系统及其控制方法
CN112894850B (zh) * 2021-01-27 2023-11-17 国网安徽省电力有限公司电力科学研究院 一种爬杆机器人控制系统及其控制方法
CN113765999B (zh) * 2021-07-20 2023-06-27 上海卓昕医疗科技有限公司 一种多种多关节机械臂兼容方法及系统
CN113765999A (zh) * 2021-07-20 2021-12-07 上海卓昕医疗科技有限公司 一种多种多关节机械臂兼容方法及系统
CN113671527A (zh) * 2021-07-23 2021-11-19 国电南瑞科技股份有限公司 一种提高配网带电作业机器人的精准作业方法及装置
CN113618733A (zh) * 2021-08-06 2021-11-09 安徽佳乐建设机械有限公司 一种多机械臂系统机械臂碰撞预警系统
CN114022414B (zh) * 2021-10-15 2024-03-15 北方工业大学 一种基于双目感知学习的加油加电智能动作的执行方法
CN114022414A (zh) * 2021-10-15 2022-02-08 北方工业大学 一种基于双目感知学习的加油加电智能动作的执行方法
CN114083548A (zh) * 2021-11-16 2022-02-25 国网天津市电力公司 系列化配网带电作业机器人通用化平台及设计方法
CN114260912B (zh) * 2021-12-24 2023-10-31 北京如影智能科技有限公司 一种智慧厨房机器人智能抓取工具的装置及系统
CN114260912A (zh) * 2021-12-24 2022-04-01 北京如影智能科技有限公司 一种智慧厨房机器人智能抓取工具的装置及系统
CN114770567A (zh) * 2022-04-28 2022-07-22 国网山东省电力公司青岛供电公司 一种配电带电作业机器人远程操控方法及系统
CN114770505A (zh) * 2022-04-29 2022-07-22 清华大学 一种抓取装置、装配设备及其控制方法
CN114798253B (zh) * 2022-05-09 2023-05-26 北京克莱明科技有限公司 一种高空作业的设备及其控制方法
CN114798253A (zh) * 2022-05-09 2022-07-29 北京克莱明科技有限公司 一种高空作业的设备及其控制方法
CN116638519A (zh) * 2023-06-08 2023-08-25 广东电网有限责任公司广州供电局 工器具切换装置及方法
CN116638519B (zh) * 2023-06-08 2024-04-12 广东电网有限责任公司广州供电局 工器具切换装置及方法
CN116728410A (zh) * 2023-06-29 2023-09-12 盐城工学院 一种在狭窄工作环境下的机器人绝对定位精度误差补偿方法
CN117260740A (zh) * 2023-11-09 2023-12-22 国网山东省电力公司东营供电公司 带电作业机器人车身定位区分析方法、系统、终端及介质

Also Published As

Publication number Publication date
CN106426186B (zh) 2019-02-12
CN106426186A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
WO2018108098A1 (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN110561432B (zh) 一种基于人机共融的安全协作方法及装置
CN109240311B (zh) 基于智能机器人的室外电力场地施工作业监督方法
CN108177143B (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
JP5736622B1 (ja) 検出装置およびこの装置を具えたマニプレータの動作制御
CN104626206A (zh) 一种非结构环境下机器人作业的位姿信息测量方法
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
CN103895042A (zh) 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN104400265B (zh) 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法
CN103105851B (zh) 一种遥操纵机器人基于视觉的动觉示教控制方法
CN101441769A (zh) 单目摄像机实时视觉定位方法
Momeni-k et al. Height estimation from a single camera view
CN108564628B (zh) 一种面向掘进机自动化的截割头视觉定位定向系统
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
Tellaeche et al. Human robot interaction in industrial robotics. Examples from research centers to industry
CN106527239A (zh) 一种多机器人协同操作模式的方法及系统
CN110142769B (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
CN112000094A (zh) 一种单双目结合的高压输电线路金具在线识别定位系统及方法
CN201355241Y (zh) 基于视觉的空间目标位姿测量装置
TWI274845B (en) Equipment for detecting the object corner and distance using a sole lens
Yang et al. Visual servoing control of baxter robot arms with obstacle avoidance using kinematic redundancy
CN117893998A (zh) 基于机器视觉的人机位姿智能防碰方法
CN109977884B (zh) 目标跟随方法和装置
CN206416179U (zh) 一种基于双目视觉的运动目标跟踪定位与抓取系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17881079

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17881079

Country of ref document: EP

Kind code of ref document: A1