WO2020252632A1 - 一种坐标系校准方法、装置和计算机可读介质 - Google Patents

一种坐标系校准方法、装置和计算机可读介质 Download PDF

Info

Publication number
WO2020252632A1
WO2020252632A1 PCT/CN2019/091575 CN2019091575W WO2020252632A1 WO 2020252632 A1 WO2020252632 A1 WO 2020252632A1 CN 2019091575 W CN2019091575 W CN 2019091575W WO 2020252632 A1 WO2020252632 A1 WO 2020252632A1
Authority
WO
WIPO (PCT)
Prior art keywords
actuator
coordinate system
axis
coordinates
camera
Prior art date
Application number
PCT/CN2019/091575
Other languages
English (en)
French (fr)
Inventor
梁栋
Original Assignee
西门子（中国）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西门子（中国）有限公司 filed Critical 西门子（中国）有限公司
Priority to US17/617,673 priority Critical patent/US11820024B2/en
Priority to PCT/CN2019/091575 priority patent/WO2020252632A1/zh
Priority to EP19933487.1A priority patent/EP3967459A4/en
Priority to CN201980094555.8A priority patent/CN113613850B/zh
Publication of WO2020252632A1 publication Critical patent/WO2020252632A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Definitions

  • the invention relates to the technical field of industrial robots, in particular to a coordinate system calibration method, device and computer readable medium.
  • the "eye on hand” robot means that the camera (eye) is installed on the actuator (hand, such as a gripper) connected to the robotic arm, rather than installed next to the robot.
  • the actuator hand, such as a gripper
  • it is necessary to determine the conversion relationship between the actuator coordinate system and the camera coordinate system, that is, perform hand-eye calibration.
  • Figure 1 shows a hand-eye calibration method currently in use.
  • the user 30 controls the mechanical arm 21 to pass through various points on the workbench 40 along a set path, and controls the camera 10 to take a picture of a target object 60 on the workbench 40 during the movement.
  • the conversion relationship between the two coordinate systems is determined according to the position of the actuator 20 during the movement of the robot arm 21 and the coordinates of the target object 60 recorded by the photo.
  • a prerequisite for the application of the current hand-eye calibration method is that the z-axis of the actuator coordinate system is perpendicular to the table 40. If this precondition is not met, errors will be introduced.
  • the embodiments of the present invention provide a coordinate system calibration method, device, and computer readable medium, which are used to determine the error caused by the non-perpendicular z-axis of the actuator coordinate system and the worktable.
  • a coordinate system calibration method may include: when an actuator fixedly connected to a mechanical arm is in a first position, a second position, and a third position, respectively controlling a camera fixedly connected to the actuator to a workbench operated by the mechanical arm The placed target object is photographed, wherein the second position and the third position are two positions that the actuator rotates from the first position to the z" axis of the actual actuator coordinate system; Combine the position of the target object in the photo taken when the actuator is at the second position and the third position into the photo taken when the actuator is at the first position; after determining the combined position The coordinates of the circle center P3 of the three positions of the target object in the photo in the camera coordinate system; control the robotic arm so that the actuator moves along the z" axis and the end of the actuator touches the The workbench, mark the point where the actuator touches the workbench as point P2; control the mechanical arm so that the actuator returns to the first position along the z" axis and controls the The camera takes pictures
  • a coordinate system calibration device including: a control module configured to: when an actuator fixedly connected to a mechanical arm is in a first position, a second position, and a third position, respectively control and The camera fixedly connected to the actuator takes a picture of the target object placed on the workbench operated by the robotic arm, wherein the second position and the third position are the coordinates of the actuator in the actual actuator coordinate system.
  • a photo processing module is configured to: position the target in the photos taken when the actuator is in the second position and the third position The position of the object is merged into the photo taken when the actuator is at the first position;
  • a calculation module is configured to: determine the center P3 of the circle where the three positions of the target object in the photo after the merged position are located in the camera Coordinates in a coordinate system;
  • the control module is also configured to: control the robotic arm so that the actuator moves along the z" axis and the end of the actuator touches the worktable, marking the The actuator touches a point on the workbench as point P2, and controls the mechanical arm so that the actuator returns to the first position along the z" axis and controls the camera to take pictures;
  • the calculation module is further configured to determine the coordinates of P2 in the camera coordinate system according to the position of P2 in the photo, and according to the coordinates of P2 and P3 in the camera coordinate system, and the actuator extends the
  • a coordinate system calibration device which includes: at least one memory configured to store computer-readable codes; at least one processor configured to call the computer-readable codes to perform the following steps:
  • the actuators fixedly connected to the robotic arm are in the first position, the second position and the third position, the cameras fixedly connected to the actuators are respectively controlled to take pictures of the target objects placed on the workbench operated by the robotic arm, wherein , The second position and the third position are the two positions that the actuator rotates from the first position to the z" axis of the actual actuator coordinate system; the actuator is in the position The position of the target object in the photo taken when the second position and the third position are merged into the photo taken when the actuator is at the first position; three parts of the target object in the photo after the merged position are determined The coordinates of the center P3 of the circle where the positions are located in the camera coordinate system; control the robotic arm so that the actuator moves along the z" axis and the end of the actuator touches the worktable, marking the The actuator touches the
  • a computer-readable medium has computer-readable instructions stored on the computer-readable medium, and when the computer-readable instructions are executed by a processor, the processor executes the following steps:
  • the actuators fixedly connected to the robotic arm are in the first position, the second position and the third position, the cameras fixedly connected to the actuators are respectively controlled to take pictures of the target objects placed on the workbench operated by the robotic arm, wherein , The second position and the third position are the two positions that the actuator rotates from the first position to the z" axis of the actual actuator coordinate system; the actuator is in the position The position of the target object in the photo taken when the second position and the third position are merged into the photo taken when the actuator is at the first position; three parts of the target object in the photo after the merged position are determined The coordinates of the center P3 of the circle where the positions are located in the camera coordinate system; control the robotic arm so that the actuator moves along the z" axis and the end of the actuator touches the worktable, marking the The actuator touches the point
  • the above scheme has the advantages of simple, easy and efficient operation, and can accurately and effectively determine the error. It only needs to control the movement and rotation of the mechanical arm for a limited number of times, and there is no need to precisely control the distance and angle of the actuator movement, which means easier operation, no need to set a large number of parameters, and lower requirements for the operator.
  • the coordinates of P2 in the theoretical actuator coordinate system can be determined, and the deviation direction of the z" axis can be calculated according to the determined coordinates.
  • the coordinates of an operating position in the camera coordinate system can be determined; the coordinates of the operating position in the camera coordinate system are converted to the theoretical actuator coordinate system According to the degree of deviation of the z" axis from the z axis, and the deviation direction of the z" axis, and the coordinates of the operating position in the theoretical actuator coordinate system, determine the actual execution The coordinates of the operating position in the machine coordinate system.
  • the accurate operation position in the actual actuator coordinate system is determined according to the error, which can ensure the accuracy of the actuator operation.
  • Figure 1 shows a method of hand-eye calibration.
  • Fig. 2 is a scene where the robot arm is controlled to move and take pictures in the embodiment of the present invention, as well as the camera coordinate system, the theoretical actuator coordinate system and the actual actuator coordinate system.
  • Figure 3 shows two error parameters required to be solved in the embodiment of the present invention.
  • Figure 4 shows the position of the target object and the camera in the photo taken when the actuator is in the first position, the field of view of the camera, points P2 and P3.
  • Figure 5 shows the target object, the position of the camera and the field of view of the camera, P2 and P3 points in the control actuator to rotate and take photos.
  • Fig. 6 shows a method for determining the position of the P3 point in an embodiment of the present invention.
  • FIGS 7 and 8 show error processing methods provided by embodiments of the present invention.
  • FIG. 9 is a flowchart of a coordinate system calibration method provided by an embodiment of the present invention.
  • Fig. 10 is a schematic structural diagram of a coordinate system calibration device provided by an embodiment of the present invention.
  • FIG. 11 is a schematic diagram of another structure of a coordinate system calibration device provided by an embodiment of the present invention.
  • the term “including” and its variants means open terms, meaning “including but not limited to.”
  • the term “based on” means “based at least in part on.”
  • the terms “one embodiment” and “an embodiment” mean “at least one embodiment.”
  • the term “another embodiment” means “at least one other embodiment.”
  • the terms “first”, “second”, etc. may refer to different or the same objects. Other definitions can be included below, either explicit or implicit. Unless clearly indicated in the context, the definition of a term is consistent throughout the specification.
  • a camera 10 is installed on the actuator 20 of the mechanical arm 21.
  • the user 30 can control the movement of the robot arm 21 through the teach pendant 50 and drive the actuator 20 to operate on the workbench 40.
  • a target object 60 is placed on the workbench 40, and the target object 60 is within the shooting range of the camera 10.
  • the three axes of the theoretical actuator coordinate system 61 are x-axis, y-axis and z-axis respectively; the three axes of the camera coordinate system 62 are x'-axis, y'-axis and z'-axis respectively; the actual actuator coordinates
  • the three axes of the system 63 are x" axis, y" axis and z" axis.
  • ⁇ is the angle between the z" axis of the actual actuator coordinate system 63 and the theoretical z axis of the actuator coordinate system 61
  • ⁇ is the z" of the actual actuator coordinate system 63.
  • the projection of the axis on the plane of the table 40 is the vector
  • the counterclockwise angle with the theoretical x-axis of the actuator coordinate system 61 is used to indicate the direction in which the z" axis deviates.
  • the z" axis is used between the projection of the z" axis on the plane of the table 40 and the x axis
  • the included angle of is used to indicate the direction.
  • the included angle between the projection of the z" axis on the plane where the worktable 40 is located and the y-axis can also be used to indicate the direction.
  • Can calculate ⁇ according to sin ⁇ d/h by obtaining d and h shown in Figure 3.
  • the robot arm 21 is controlled to move, thereby driving the movement of the actuator 20 connected to the robot arm 21, so that the actuator 20 moves to different positions, and the camera 10 is controlled to take photos at each position. It is ensured that the target object 60 is within the field of view of the camera 10 at each position. Moreover, when the actuator 20 is moved to a position, before the camera 10 is controlled to take pictures, the camera 10 is controlled to calibrate relative to the worktable 40, so that the photo taken by the camera 10 is the same as when the optical axis of the camera 10 is perpendicular to the worktable 40. The effect is consistent, which ensures that z'of the camera coordinate system 62 is perpendicular to the worktable 40 after calibration.
  • first position 71 As the original position.
  • the first position 71 corresponds to the end of the actuator 20, that is, the TCP is located at point P1 in FIG. 3, which is along the theoretical actuator coordinate system 61
  • the point where the z-axis of P1 is projected onto the worktable 40 is point P3, and the point where the P1 point is projected onto the worktable 40 along the z" axis of the actual actuator coordinate system 61 is point P2, as shown in FIG.
  • the camera 10 is controlled to take pictures.
  • the camera 10 is at the position 81
  • the target object 60 is at the position 82
  • the P2 point is at the position 85
  • the field of view of the camera 10 is a range 84.
  • the P3 point is located at position 83, as shown in Figure 4.
  • the photo is taken at the third position 73.
  • the target object 60 remains motionless during the rotation.
  • the actuator 20 moves to the second position 72, the position of the camera 10 in the captured photo becomes position 81', and the field of view of the camera 10 The range becomes 84', and the P2 point is at position 85' (because the actuator 20 rotates at z”, the spatial position of the P2 point remains unchanged); when the actuator 20 moves to the third position 73, the shot In the photo, the position of the camera 10 becomes 81", the field of view of the camera 10 becomes 84", and the P2 point is at the position 85".
  • the positions of the target object 60 in the photo are respectively position 82, position 82', and position 82". Since each position is taken before taking a picture, the camera 10 is controlled to be calibrated relative to the worktable 40, therefore, Here, it can be considered that the camera 10 rotates on a straight line that passes through P3 and is perpendicular to the table 40. Therefore, in the photos taken at each position, the target object 60 is located at the same distance from the point P3 in the picture.
  • the three positions of the target object 60 namely the position 82, the position 82' and the position 82" are on the circle centered at P3, as shown in FIG. Then, according to the coordinates of the position 82, the position 82' and the position 82" in the camera coordinate system 62, the coordinates (Cx, Cy) of the position 83 in the camera coordinate system 62 can be obtained.
  • the actuator 20 is controlled to move so that the actuator 20 moves along the z" axis from the first position 71, and the end of the actuator 20, that is, the TCP touches the table 40, that is, reaches the fourth position 74.
  • the actuator The end of the coordinate system 61, that is, the point on the table 40 touched by the TCP is P2.
  • the TCP movement distance of the actuator 20 is h in Fig. 3.
  • the actuator 20 is controlled to move so that the actuator 20 moves along Return to the first position 71 along the z" axis, and control the camera 10 to take pictures.
  • the photo has the position of point P2 on the worktable 40, and the coordinates (Cxt, Cyt) of this position in the camera coordinate system 62 are determined, so d can be obtained by the following formula (1):
  • ⁇ is a vector It is the counterclockwise angle between the theoretical x-axis of the actuator coordinate system 61.
  • Cxt, Cyt the previously marked coordinates (Cxt, Cyt) of P2 in the camera coordinate system 62, according to the known theoretical conversion relationship between the actuator coordinate system 61 and the camera coordinate system 62, the theoretical execution of P2 can be obtained The coordinates (Txr, Tyr, Tzr) in the machine coordinate system 61.
  • these two parameters ⁇ and ⁇ are used as internal parameters of the robot arm 21.
  • the camera 10 calculates the coordinates of a grasping position in the camera coordinate system 62, and converts it into a theoretical execution according to the known conversion relationship between the camera coordinate system 62 and the theoretical actuator coordinate system 61
  • the coordinates (X, Y, Z) in the machine coordinate system 61, then, in the real grasping position (Xr, Yr, Zr), Zr can be calculated by the following formula (4) (as shown in Figure 8):
  • the embodiment of the present invention provides a coordinate system calibration method, which can be used to determine the error introduced due to the fact that the z-axis of the actual actuator coordinate system is not perpendicular to the worktable.
  • the method may include the following steps:
  • S902 Combine the position of the target object 60 in the photos taken when the actuator 20 is at the second position 72 and the third position 73 into the photos taken when the actuator 20 is at the first position 71;
  • S903 Determine the coordinates of the center P3 of the circle where the three positions of the target object 60 in the photo after the merged position are located in the camera coordinate system 62;
  • S906 Determine the coordinates of P2 in the camera coordinate system 62 according to the position of P2 in the photo;
  • S908 Determine the coordinates of P2 in the theoretical actuator coordinate system 61, and calculate the deviation direction of the z" axis according to the determined coordinates.
  • S909 Determine the coordinates of an operating position in the camera coordinate system 62, and convert the coordinates of the operating position in the camera coordinate system 62 to coordinates in the theoretical actuator coordinate system 61;
  • S910 Determine the operating position in the actual actuator coordinate system 63 according to the degree of deviation of the z" axis from the z axis, the deviation direction of the z" axis, and the coordinates of the operating position in the theoretical actuator coordinate system 61 coordinate.
  • step S909 and step S910 under the premise of known errors, the method can be implemented separately and does not depend on the previous steps S901 to S908.
  • an embodiment of the present invention also provides a coordinate system calibration device 100, including:
  • a control module 1001 is configured to control the camera 10 fixedly connected to the actuator 20 when the actuator 20 fixedly connected to a mechanical arm 21 is in the first position 71, the second position 72 and the third position 73 respectively Take a picture of the target object 60 placed on the workbench 40 operated by the robot arm 21, where the second position 72 and the third position 73 are the actuator 20 taking the z" axis of the actual actuator coordinate system 63 as the axis from the first The two positions that position 71 rotates to;
  • a photo processing module 1002 configured to merge the position of the target object 60 in the photos taken when the actuator 20 is at the second position 72 and the third position 73 into the photos taken when the actuator 20 is at the first position 71 in;
  • a calculation module 1003 is configured to determine the coordinates of the circle center P3 of the circle where the three positions of the target object 60 in the photo after the merged position are located in the camera coordinate system 62;
  • the control module 1001 is also configured to control the mechanical arm 21 so that the actuator 20 moves along the z" axis and the end of the actuator 20 touches the table 40, marking the point where the actuator 20 touches the table 40 as point P2 , And control the mechanical arm 21 so that the actuator 20 returns to the first position 71 along the z" axis and controls the camera 10 to take pictures;
  • the calculation module 1003 is further configured to determine the coordinates of P2 in the camera coordinate system 62 according to the position of P2 in the photo, and the coordinates of P2 and P3 in the camera coordinate system 62, and the actuator 20 extends from the first position 71
  • the moving distance of the z" axis determines the degree of deviation between the z" axis and the theoretical z axis of the actuator coordinate system 61.
  • the calculation module 1003 is further configured to: determine the coordinates of P2 in the theoretical actuator coordinate system 61; and calculate the deviation direction of the z" axis according to the determined coordinates.
  • the calculation module 1003 is further configured to: determine the coordinates of an operating position in the camera coordinate system 62; convert the coordinates of the operating position in the camera coordinate system 62 to coordinates in the theoretical actuator coordinate system 61 ; According to the degree of deviation between the z" axis and the z axis, and the direction of the deviation of the z" axis, and the coordinates of the operating position in the theoretical actuator coordinate system 61, determine the coordinates of the operating position in the actual actuator coordinate system 63 .
  • the control module 1001 is used to move the robotic arm and control the camera to take pictures
  • the photo processing module 1002 is used to process pictures taken by the camera.
  • the calculation module 1003 is used to calculate errors and so on. Under the premise of a known error, the calculation module 1003 can independently implement a solution for determining the coordinates of the operating position in the actual actuator coordinate system 63, and does not depend on the solution for determining the error.
  • FIG. 11 is a schematic diagram of another structure of a coordinate system calibration device 100 provided by an embodiment of the present invention.
  • the coordinate system calibration device 100 may include at least one memory 1004 for storing computer-readable codes; at least one processor 1005 is configured to execute the computer-readable information stored in the at least one memory 1004 Code, execute the aforementioned coordinate system calibration method.
  • the modules shown in FIG. 10 can be regarded as program modules written by computer readable codes stored in the memory 1004, and when these program modules are called by the processor 1005, the aforementioned coordinate system calibration method can be executed.
  • the above-mentioned modules can also be regarded as various functional modules realized by a combination of hardware and software, and various functions involved in the coordinate system calibration apparatus 100 when executing the coordinate system calibration method.
  • the above-mentioned modules can also be regarded as various functional modules realized by hardware, which are used to realize the various functions involved in the coordinate system calibration method performed by the coordinate system calibration device 100, for example, the control logic of each process involved in the method in advance. Burned into a Field-Programmable Gate Array (FPGA) chip or a Complex Programmable Logic Device (CPLD), and these chips or devices perform the functions of the above-mentioned modules, and the specific implementation The method may depend on engineering practice.
  • FPGA Field-Programmable Gate Array
  • CPLD Complex Programmable Logic Device
  • the coordinate system calibration device 100 can be implemented as a part of the function of the teach pendant 50. Based on the functions implemented by the teaching pendant 50, the movement of the robot arm 21 and the camera 10 taking pictures are controlled. Operations such as parameter calculation can also be completed by using the existing processing capabilities of the teach pendant 50.
  • an embodiment of the present invention also provides a computer-readable medium having computer-readable instructions stored thereon, and the computer-readable instructions, when executed by a processor, cause the processor to execute the aforementioned coordinate system calibration method.
  • Examples of computer-readable media include floppy disks, hard disks, magneto-optical disks, optical disks (such as CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD+RW), magnetic tape, Volatile memory card and ROM.
  • the computer-readable instructions can be downloaded from a server computer or a cloud via a communication network.
  • system structure described in the foregoing embodiments may be a physical structure or a logical structure. That is, some modules may be implemented by the same physical entity, or some modules may be implemented by multiple physical entities, or may be implemented by multiple physical entities. Some components in independent devices are implemented together.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

涉及工业机器人技术领域，尤其涉及一种坐标系校准方法、装置和计算机可读介质。一种坐标校准方法包括：在执行器（20）处于以实际的执行器坐标系（63）的z"轴为轴旋转达到三个不同位置时分别控制摄像头（10）对工作台（40）上的目标物体（60）拍照；将三个位置所拍摄照片中目标物体（60）的位置合并一张照片中，确定照片中目标物体（60）的三个位置所在圆周的圆心P3在摄像头坐标系（62）下的坐标；使执行器（20）沿着z"轴移动且末端触碰工作台（40），标记触碰点作为点P2；控制执行器（20）沿着z"轴返回第一位置（71）处并控制摄像头（10）拍照；根据照片中P2的位置确定P2在摄像头坐标系（62）下的坐标；根据在摄像头坐标系（62）下P2和P3的坐标，以及执行器（20）从第一位置（71）延z"轴移动的距离，确定z"轴与理论上的执行器坐标系（61）的z轴之间偏离的程度。具有操作简单的优点。

Description

一种坐标系校准方法、装置和计算机可读介质 技术领域
本发明涉及工业机器人技术领域，尤其涉及一种坐标系校准方法、装置和计算机可读介质。
背景技术
“eye on hand”机器人是指摄像头(眼)安装在机械臂所连接的执行器(手，比如一个夹持器)上，而非安装在机器人旁边。为了实现执行器自动执行操作过程中与摄像头之间相互配合，需要确定执行器坐标系和摄像头坐标系之间的转换关系，即进行手-眼校准。
图1示出了目前使用的一种手-眼校准的方法。该方法中，用户30控制机械臂21沿着设定的路径经过工作台40上的各个点，在移动过程中控制摄像头10对工作台40上一个目标物体60进行拍照。然后根据在机械臂21移动过程中执行器20的位置以及拍照所记录的目标物体60的坐标来确定两个坐标系之间的转换关系。
目前手眼校准方法应用的一个假设的前提条件是，执行器坐标系的z轴与工作台40垂直。如果不满足这个前提条件，就会引入误差。
发明内容
本发明实施例提供了一种坐标系校准方法、装置和计算机可读介质，用于确定上述执行器坐标系的z轴与工作台不垂直所引入的误差。
第一方面，提供一种坐标系校准方法。该方法可包括：在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时，分别控制与所述执行器固定连接的摄像头对机械臂所操作的工作台上放置的目标物体拍照，其中，所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置；将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中；确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标；控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台，标记所述执行器触碰所述工作台上的点作为点P2；控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照；根据照片中P2的位置确定P2在摄像头坐标系下的坐标；根据在摄像头坐标系下P2和P3的坐标，以 及执行器从所述第一位置延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
第二方面，提供一种坐标系校准装置，包括：一个控制模块，被配置为：在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时，分别控制与所述执行器固定连接的摄像头对机械臂所操作的工作台上放置的目标物体拍照，其中，所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置；一个照片处理模块，被配置为：将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中；一个计算模块，被配置为：确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标；所述控制模块，还被配置为：控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台，标记所述执行器触碰所述工作台上的点作为点P2，以及控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照；所述计算模块，还被配置为：根据照片中P2的位置确定P2在摄像头坐标系下的坐标，以及根据在摄像头坐标系下P2和P3的坐标，以及执行器从所述第一位置延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
第三方面，提供一种坐标系校准装置，包括：至少一个存储器，被配置为存储计算机可读代码；至少一个处理器，被配置为调用所述计算机可读代码，执行下述步骤：在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时，分别控制与所述执行器固定连接的摄像头对机械臂所操作的工作台上放置的目标物体拍照，其中，所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置；将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中；确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标；控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台，标记所述执行器触碰所述工作台上的点作为点P2；控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照；根据照片中P2的位置确定P2在摄像头坐标系下的坐标；根据在摄像头坐标系下P2和P3的坐标，以及执行器从所述第一位置延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
第四方面，一种计算机可读介质，所述计算机可读介质上存储有计算机可读指令，所述计算机可读指令在被处理器执行时，使所述处理器执行下述步骤：在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时，分别控制与所述执行器固定连接的摄像 头对机械臂所操作的工作台上放置的目标物体拍照，其中，所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置；将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中；确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标；控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台，标记所述执行器触碰所述工作台上的点作为点P2；控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照；根据照片中P2的位置确定P2在摄像头坐标系下的坐标；根据在摄像头坐标系下P2和P3的坐标，以及执行器从所述第一位置延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
上述方案具有操作简单、容易，高效的优点，能够准确有效地确定误差。仅需控制机械臂移动和旋转有限次数，且无需精确地控制执行器移动的距离和角度，这意味着操作更容易，无需设置大量参数，对操作者的要求较低。
对于上述任一方面，可选地，还可确定P2在理论上的执行器坐标系下的坐标，并根据确定的坐标计算得到所述z”轴的偏离方向。
对于上述任一方面，可选地，还可确定一个操作位置在所述摄像头坐标系下的坐标；将所述操作位置在所述摄像头坐标系下的坐标转换为理论上的执行器坐标系下的坐标；根据所述z”轴与所述z轴偏离的程度，以及所述z”轴的偏离方向，以及所述操作位置在理论上的执行器坐标系下的坐标，确定在实际的执行器坐标系下所述操作位置的坐标。其中，根据误差确定在实际的执行器坐标系下准确的操作位置，能够保证执行器操作的准确性。
附图说明
图1示出了一种手眼校准的方法。
图2为本发明实施例中控制机械臂移动并拍照的场景，以及摄像头坐标系、理论上的执行器坐标系和实际的执行器坐标系。
图3示出了本发明实施例要求解的两个误差参数。
图4示出了执行器处于第一位置时拍摄的照片中目标物体和摄像头的位置、摄像头的视野范围、P2点和P3点。
图5示出了控制执行器旋转并拍摄照片中目标物体、摄像头的位置以及摄像头的视野范围、P2点和P3点。
图6示出了本发明实施例中确定P3点位置的方法。
图7和图8示出本发明实施例提供的误差处理的方法。
图9为本发明实施例提供的坐标系校准方法的流程图。
图10为本发明实施例提供的坐标系校准装置的一种结构示意图。
图11为本发明实施例提供的坐标系校准装置的另一种结构示意图。
附图标记列表：
Figure PCTCN2019091575-appb-000001
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
如图2所示，本发明实施例中，机械臂21的执行器20上安装有摄像头10。用户30可 通过示教器50控制机械臂21的移动，带动执行器20在工作台40上操作。在工作台40上放置一个目标物体60，该目标物体60在摄像头10的拍摄范围内。理论上的执行器坐标系61的三个轴分别为x轴、y轴和z轴；摄像头坐标系62的三个轴分别为x’轴、y’轴和z’轴；实际的执行器坐标系63的三个轴分别为x”轴、y”轴和z”轴。
在图2中，理论上的执行器坐标系61的z轴与工作台40垂直，但实际的执行器坐标系63的z”轴并不与工作台40垂直，这就造成了图3所示的误差α和β。图3中，P1点为执行器20的末端(通常是执行器20的TCP所在位置)在空间中的位置，P2点为执行器20从图3中所示位置沿着实际的执行器坐标系61的z”轴移动，执行器20的末端触碰到工作台40上的点，P3点为执行器20从图3所示位置沿着理论上的执行器坐标系61的z轴移动，执行器20的末端触碰到工作台40上的点，即P1在工作台40上的投影。
如图2所示，β是实际的执行器坐标系63的z”轴与理论上的执行器坐标系61的z轴之间的夹角，而α是实际的执行器坐标系63的z”轴在工作台40所在平面的投影，即为向量
Figure PCTCN2019091575-appb-000002
与理论上执行器坐标系61的x轴之间的逆时针方向的夹角，用于表示z”轴偏离的方向。这里采用了z”轴在工作台40所在平面的投影与x轴之间的夹角来表示该方向，在具体实施时，也可采用z”轴在工作台40所在平面的投影与y轴之间的夹角或其他方式等来表示该方向。。本发明实施例中，可通过获取图3所示的d和h，根据sinβ＝d/h来计算β。
本发明实施例中，假定已知理论上的执行器坐标系61与摄像头坐标系62之间的转换关系，那么对于理论上的执行器坐标系61下的任何一个坐标，根据该转换关系即可获知其在摄像头坐标系62下的坐标。
本发明实施例中，控制机械臂21移动，进而带动与机械臂21连接的执行器20的移动，使得执行器20移动到不同的位置，并在每一个位置处控制摄像头10拍摄照片，其中在每个位置处均保证目标物体60在摄像头10的视野范围内。并且，当执行器20移动到一个位置处，控制摄像头10拍照之前，先控制摄像头10相对于工作台40进行校准，使得摄像头10拍摄得到的照片与摄像头10的光轴与工作台40垂直时的效果一致，这样就保证了校准后摄像头坐标系62的z’与工作台40垂直。
首先设定一个第一位置71作为原始位置，在空间上，该第一位置71对应于执行器20的末端即TCP位于图3中的P1点，该P1点沿着理论上执行器坐标系61的z轴投影到工作台40上的点为P3点，该P1点沿着实际的执行器坐标系61的z”轴投影到工作台40的点为P2点，如图3中所示。
当执行器20处于第一位置71时控制摄像头10拍照，照片中摄像头10位于位置81、目 标物体60位于位置82、P2点位于位置85，摄像头10的视野范围为范围84。相对于该照片，P3点位于位置83，如图4所示。
然后控制机械臂21使得执行器20以实际的执行器20的z”轴为轴旋转到第二位置72和第三位置73，并控制摄像头10分别在执行器20旋转到第二位置72和第三位置73时拍照。在旋转过程中目标物体60保持不动。其中，当执行器20移动到第二位置72处时，拍摄的照片中摄像头10的位置变为位置81’，摄像头10的视野范围变为范围84’，P2点位于位置85’(由于执行器20以z”旋转，因此P2点在空间上的位置保持不变)；当执行器20移动到第三位置73处时，拍摄的照片中摄像头10的位置变为位置81”，摄像头10的视野范围变为范围84”，P2点位于位置85”。
将在第二位置72处所拍摄的照片以及在第三位置73处所拍摄的照片中目标物体60的位置合并到在第一位置71处所拍摄的照片中，在第一位置71、第二位置72和第三位置73下，目标物体60在照片中的位置分别为位置82、位置82’和位置82”。由于在每一个位置拍照之前，均会控制摄像头10相对于工作台40进行校准，因此，这里可以认为摄像头10以经过P3且与工作台40垂直的直线为轴旋转，因此在每一个位置处拍摄的照片中，目标物体60在图片中所处的位置与P3点距离相同。因此，在合并位置后的照片中，目标物体60所处的三个位置，即位置82、位置82’和位置82”在以P3为圆心的圆周上，如图7所示。那么根据摄像头坐标系62下位置82、位置82’和位置82”的坐标可以得到P3点即位置83在摄像头坐标系62下的坐标(Cx，Cy)。
控制执行器20移动，使得执行器20从第一位置71处沿着z”轴移动，并使得执行器20的末端即TCP触碰工作台40，即到达第四位置74处，此时执行器坐标系61的末端即TCP触碰的工作台40上的点即为P2。那么执行器20的TCP移动的距离即为图3中的h。。然后控制执行器20移动，使得执行器20沿着z”轴返回至第一位置71，并控制摄像头10拍照。照片中具有P2点在工作台40上的位置，确定该位置在摄像头坐标系62中的坐标(Cxt，Cyt)，因此d可以通过下述公式(1)得到：
Figure PCTCN2019091575-appb-000003
那么，前述的角β可通过下述公式(2)得到：
Figure PCTCN2019091575-appb-000004
接下来确定误差α。
本发明实施例中，α为向量
Figure PCTCN2019091575-appb-000005
为和理论上的执行器坐标系61的x轴之间的逆时针方向的夹角。根据前面标记的P2在摄像头坐标系62中的坐标(Cxt，Cyt)，依据已知的理论上的 执行器坐标系61与摄像头坐标系62之间的转换关系，可以得到P2在理论上的执行器坐标系61下的坐标(Txr，Tyr，Tzr)。由于P3是执行器20在第一位置71时，其TCP点沿着理论上的执行器坐标系61的z轴投影到工作台40所在平面上的点，因此，而P3在理论上的执行器坐标系61下的坐标为(0，0，Tzr)，因此，角度α可以通过下面的公式(3)计算得到：
Figure PCTCN2019091575-appb-000006
以上，介绍了如何确定误差α和β。那么在得到误差α和β之后，如何控制机械臂21进行操作，即在实际的执行器坐标系63的z”轴不与工作台40垂直的情况下，也能够在工作台40上准确操作，比如抓取一个放置在工作台40的目标物体60。这就需要进行下述的误差处理。
具体地，将这两个参数α和β用作机械臂21的内部参数。比如：如果摄像头10计算出一个抓取位置在摄像头坐标系62下的坐标，并根据已知的摄像头坐标系62与理论上的执行器坐标系61之间的转换关系，转换为理论上的执行器坐标系61下的坐标(X，Y，Z)，那么，真正的抓取位置(Xr，Yr，Zr)中，Zr可以通过下面的公式(4)计算得到(如图8所示)：
Figure PCTCN2019091575-appb-000007
如图9所示，理论上目标物体60所在的位置为位置86，而由于误差导致的目标物体60实际所在的位置为位置86’，那么可以通过下面的公式(5)和公式(6)分别计算得到Xr和Yr：
Xr＝X-d.sinα…公式(5)
Yr＝Y-d.cosα…公式(6)
总结上述的过程如图9所示，本发明实施例提供了一种坐标系校准方法，该方法可用于确定由于实际的执行器坐标系的z轴与工作台不垂直所引入的误差。如图9所示，该方法可包括如下步骤：
S901：在一个机械臂21上所固定连接的执行器20处于第一位置71、第二位置72和第三位置73时，分别控制与执行器20固定连接的摄像头10对机械臂21所操作的工作台40上放置的目标物体60拍照，其中，第二位置72和第三位置73是执行器20以实际的执行器坐标系63的z”轴为轴从第一位置71旋转到的两个位置；
S902：将执行器20处于第二位置72和第三位置73处时所拍摄照片中目标物体60的位置合并到执行器20处于第一位置71处时所拍摄照片中；
S903：确定合并位置后的照片中目标物体60的三个位置所在圆周的圆心P3在摄像头坐 标系62下的坐标；
S904：控制机械臂21使得执行器20沿着z”轴移动且执行器20的末端触碰工作台40，标记执行器20触碰工作台40上的点作为点P2；
S905：控制机械臂21使得执行器20沿着z”轴返回第一位置71处并控制摄像头10拍照；
S906：根据照片中P2的位置确定P2在摄像头坐标系62下的坐标；
S907：根据在摄像头坐标系62下P2和P3的坐标，以及执行器20从第一位置71延z”轴移动的距离，确定z”轴与理论上的执行器坐标系61的z轴之间偏离的程度；
S908：确定P2在理论上的执行器坐标系61下的坐标，并根据确定的坐标计算得到z”轴的偏离方向。
S909：确定一个操作位置在摄像头坐标系62下的坐标，并将操作位置在摄像头坐标系62下的坐标转换为理论上的执行器坐标系61下的坐标；
S910：根据z”轴与z轴偏离的程度，以及z”轴的偏离方向，以及操作位置在理论上的执行器坐标系61下的坐标，确定在实际的执行器坐标系63下操作位置的坐标。
该方法的其他可选实现方式可参考图2～图8以及对应的描述，这里不再赘述。其中，对于步骤S909和步骤S910而言，在已知误差的前提下，该方法可单独实施，并不依赖于前面的步骤S901～S908。
如图10所示，本发明实施例还提供了一种坐标系校准装置100，包括：
一个控制模块1001，被配置为：在一个机械臂21上所固定连接的执行器20处于第一位置71、第二位置72和第三位置73时，分别控制与执行器20固定连接的摄像头10对机械臂21所操作的工作台40上放置的目标物体60拍照，其中，第二位置72和第三位置73是执行器20以实际的执行器坐标系63的z”轴为轴从第一位置71旋转到的两个位置；
一个照片处理模块1002，被配置为：将执行器20处于第二位置72和第三位置73处时所拍摄照片中目标物体60的位置合并到执行器20处于第一位置71处时所拍摄照片中；
一个计算模块1003，被配置为：确定合并位置后的照片中目标物体60的三个位置所在圆周的圆心P3在摄像头坐标系62下的坐标；
控制模块1001，还被配置为：控制机械臂21使得执行器20沿着z”轴移动且执行器20的末端触碰工作台40，标记执行器20触碰工作台40上的点作为点P2，以及控制机械臂21使得执行器20沿着z”轴返回第一位置71处并控制摄像头10拍照；
计算模块1003，还被配置为：根据照片中P2的位置确定P2在摄像头坐标系62下的坐标，以及根据在摄像头坐标系62下P2和P3的坐标，以及执行器20从第一位置71延z”轴 移动的距离，确定z”轴与理论上的执行器坐标系61的z轴之间偏离的程度。
可选地，计算模块1003，还被配置为：确定P2在理论上的执行器坐标系61下的坐标；根据确定的坐标计算得到z”轴的偏离方向。
可选地，计算模块1003，还被配置为：确定一个操作位置在摄像头坐标系62下的坐标；将操作位置在摄像头坐标系62下的坐标转换为理论上的执行器坐标系61下的坐标；根据z”轴与z轴偏离的程度，以及z”轴的偏离方向，以及操作位置在理论上的执行器坐标系61下的坐标，确定在实际的执行器坐标系63下操作位置的坐标。
该装置100的其他可选实现方式可参考图2～图8以及对应的描述，其中，控制模块1001用于移动机械臂以及控制摄像头拍照等，照片处理模块1002用于对摄像头拍摄的图片进行处理，计算模块1003用于计算误差等。在已知误差的前提下，计算模块1003可单独实施确定操作位置在实际的执行器坐标系63下的坐标的方案，并不依赖于用于确定误差的方案。
图11为本发明实施例提供的坐标系校准装置100的另一种结构示意图。如图11所示，在此结构下，坐标系校准装置100可包括至少一个存储器1004，用于存放计算机可读代码；至少一个处理器1005，被配置为执行至少一个存储器1004存储的计算机可读代码，执行前述坐标系校准方法。其中，图10中示出的各个模块可视为存储器1004中存储的计算机可读代码编写的程序模块，当这些程序模块被处理器1005调用时，能够执行前述坐标系校准方法。
此外，上述各模块也可视为由硬件和软件组合而实现的各个功能模块，坐标系校准装置100在执行坐标系校准方法时涉及的各种功能。上述各模块还也可视为由硬件实现的各个功能模块，用于实现坐标系校准装置100在执行坐标系校准方法时涉及的各种功能，比如预先将该方法中涉及的各流程的控制逻辑烧制到诸如现场可编程门阵列(Field-Programmable Gate Array，FPGA)芯片或复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)中，而由这些芯片或器件执行上述各模块的功能，具体实现方式可依工程实践而定。
在具体实现时，该坐标系校准装置100可以作为示教器50的一部分功能来实现。基于示教器50已实现的功能来控制机械臂21的移动以及摄像头10拍摄照片。参数计算等操作亦可利用示教器50已有的处理能力来完成。
此外，本发明实施例还提供一种计算机可读介质，该计算机可读介质上存储有计算机可读指令，计算机可读指令在被处理器执行时，使处理器执行前述的坐标系校准方法。计算机 可读介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选地，可以由通信网络从服务器计算机上或云上下载计算机可读指令。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

Claims (12)

  1. 一种坐标系校准方法，其特征在于，包括：
    在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时，分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照，其中，所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置；
    将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中；
    确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标；
    控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40)，标记所述执行器(20)触碰所述工作台(40)上的点作为点P2；
    控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照；
    根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标；
    根据在摄像头坐标系(62)下P2和P3的坐标，以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
  2. 如权利要求1所述的方法，其特征在于，还包括：
    确定P2在理论上的执行器坐标系(61)下的坐标；
    根据确定的坐标计算得到所述z”轴的偏离方向。
  3. 如权利要求2所述的方法，其特征在于，
    确定一个操作位置在所述摄像头坐标系(62)下的坐标；
    将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标；
    根据所述z”轴与所述z轴偏离的程度，以及所述z”轴的偏离方向，以及所述操作位置在理论上的执行器坐标系(61)下的坐标，确定在实际的执行器坐标系(63)下所述操作位置的坐标。
  4. 一种坐标系校准装置(100)，其特征在于，包括：
    一个控制模块(1001)，被配置为：在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时，分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照，其中，所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置；
    一个照片处理模块(1002)，被配置为：将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中；
    一个计算模块(1003)，被配置为：确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标；
    所述控制模块(1001)，还被配置为：控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40)，标记所述执行器(20)触碰所述工作台(40)上的点作为点P2，以及控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照；
    所述计算模块(1003)，还被配置为：根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标，以及根据在摄像头坐标系(62)下P2和P3的坐标，以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
  5. 如权利要求4所述的装置(100)，其特征在于，所述计算模块(1003)，还被配置为：
    确定P2在理论上的执行器坐标系(61)下的坐标；
    根据确定的坐标计算得到所述z”轴的偏离方向。
  6. 如权利要求5所述的装置(100)，其特征在于，所述计算模块(1003)，还被配置为：
    确定一个操作位置在所述摄像头坐标系(62)下的坐标；
    将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标；
    根据所述z”轴与所述z轴偏离的程度，以及所述z”轴的偏离方向，以及所述操作位置在理论上的执行器坐标系(61)下的坐标，确定在实际的执行器坐标系(63)下所述操作位置 的坐标。
  7. 一种坐标系校准装置(100)，其特征在于，包括：
    至少一个存储器(1004)，被配置为存储计算机可读代码；
    至少一个处理器(1005)，被配置为调用所述计算机可读代码，执行下述步骤：
    在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时，分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照，其中，所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置；
    将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中；
    确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标；
    控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40)，标记所述执行器(20)触碰所述工作台(40)上的点作为点P2；
    控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照；
    根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标；
    根据在摄像头坐标系(62)下P2和P3的坐标，以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
  8. 如权利要求7所述的装置(100)，其特征在于，所述处理器(1005)还被配置为执行如下步骤：
    确定P2在理论上的执行器坐标系(61)下的坐标；
    根据确定的坐标计算得到所述z”轴的偏离方向。
  9. 如权利要求8所述的装置(100)，其特征在于，所述处理器(1005)还被配置为执行 如下步骤：
    确定一个操作位置在所述摄像头坐标系(62)下的坐标；
    将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标；
    根据所述z”轴与所述z轴偏离的程度，以及所述z”轴的偏离方向，以及所述操作位置在理论上的执行器坐标系(61)下的坐标，确定在实际的执行器坐标系(63)下所述操作位置的坐标。
  10. 一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机可读指令，所述计算机可读指令在被处理器执行时，使所述处理器执行下述步骤：
    在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时，分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照，其中，所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置；
    将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中；
    确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标；
    控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40)，标记所述执行器(20)触碰所述工作台(40)上的点作为点P2；
    控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照；
    根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标；
    根据在摄像头坐标系(62)下P2和P3的坐标，以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离，确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
  11. 如权利要求10所述的介质，其特征在于，所述计算机可读指令在被所述处理器执行时，还使所述处理器执行下述步骤：
    确定P2在理论上的执行器坐标系(61)下的坐标；
    根据确定的坐标计算得到所述z”轴的偏离方向。
  12. 如权利要求11所述的介质，其特征在于，所述计算机可读指令在被所述处理器执行时，还使所述处理器执行下述步骤：
    确定一个操作位置在所述摄像头坐标系(62)下的坐标；
    将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标；
    根据所述z”轴与所述z轴偏离的程度，以及所述z”轴的偏离方向，以及所述操作位置在理论上的执行器坐标系(61)下的坐标，确定在实际的执行器坐标系(63)下所述操作位置的坐标。
PCT/CN2019/091575 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质 WO2020252632A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/617,673 US11820024B2 (en) 2019-06-17 2019-06-17 Coordinate system calibration method, device, and computer readable medium
PCT/CN2019/091575 WO2020252632A1 (zh) 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质
EP19933487.1A EP3967459A4 (en) 2019-06-17 2019-06-17 COORDINATE SYSTEM CALIBRATION METHOD, DEVICE AND COMPUTER READABLE MEDIA
CN201980094555.8A CN113613850B (zh) 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/091575 WO2020252632A1 (zh) 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质

Publications (1)

Publication Number Publication Date
WO2020252632A1 true WO2020252632A1 (zh) 2020-12-24

Family

ID=74036900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/091575 WO2020252632A1 (zh) 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质

Country Status (4)

Country Link
US (1) US11820024B2 (zh)
EP (1) EP3967459A4 (zh)
CN (1) CN113613850B (zh)
WO (1) WO2020252632A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113894786A (zh) * 2021-10-28 2022-01-07 福建省海峡智汇科技有限公司 一种基于深度学习双目相机的双轮差速机器人避障方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220219322A1 (en) * 2019-05-17 2022-07-14 Telefonaktiebolaget Lm Ericsson (Publ) Technique for Parameter Conversion Between a Robotic Device and a Controller for the Robotic Device
CN114833832B (zh) * 2022-05-11 2023-06-20 厦门微亚智能科技有限公司 一种机器人手眼标定方法、装置、设备及可读存储介质
JP2023175167A (ja) * 2022-05-30 2023-12-12 セイコーエプソン株式会社 キャリブレーション方法およびロボットシステム
CN115414117B (zh) * 2022-08-31 2023-05-09 北京长木谷医疗科技有限公司 骨科手术机器人执行末端位置坐标的确定方法及装置
CN116572255B (zh) * 2023-07-10 2023-10-20 北京集度科技有限公司 坐标原点的标定方法、标定装置及介质
CN116734774B (zh) * 2023-08-09 2023-11-28 合肥安迅精密技术有限公司 贴装头r轴对z轴的旋转精度测试、补偿方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807247A (zh) * 2010-03-22 2010-08-18 中国农业大学 果蔬采摘点微调定位方法
CN102289824A (zh) * 2011-07-06 2011-12-21 湖南大学 冷凝器管口图像的平面质心定位方法
US20140088765A1 (en) * 2011-04-05 2014-03-27 Zenrobotics Oy Method for invalidating sensor measurements after a picking action in a robot system
CN106291278A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种基于多视觉系统的开关柜局部放电自动检测方法
CN107160380A (zh) * 2017-07-04 2017-09-15 华南理工大学 一种基于scara机械手的相机标定和坐标变换的方法
CN107813313A (zh) * 2017-12-11 2018-03-20 南京阿凡达机器人科技有限公司 机械臂运动的校正方法和装置
CN108942927A (zh) * 2018-06-29 2018-12-07 齐鲁工业大学 一种基于机器视觉的像素坐标与机械臂坐标统一的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2700965B2 (ja) * 1991-07-04 1998-01-21 ファナック株式会社 自動キャリブレーション方式
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
CN104354167B (zh) 2014-08-29 2016-04-06 广东正业科技股份有限公司 一种机器人手眼标定方法及装置
CN106426172B (zh) * 2016-10-27 2019-04-16 深圳元启智能技术有限公司 一种工业机器人工具坐标系的标定方法与系统
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
CN109754421A (zh) 2018-12-31 2019-05-14 深圳市越疆科技有限公司 一种视觉标定方法、装置及机器人控制器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807247A (zh) * 2010-03-22 2010-08-18 中国农业大学 果蔬采摘点微调定位方法
US20140088765A1 (en) * 2011-04-05 2014-03-27 Zenrobotics Oy Method for invalidating sensor measurements after a picking action in a robot system
CN102289824A (zh) * 2011-07-06 2011-12-21 湖南大学 冷凝器管口图像的平面质心定位方法
CN106291278A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种基于多视觉系统的开关柜局部放电自动检测方法
CN107160380A (zh) * 2017-07-04 2017-09-15 华南理工大学 一种基于scara机械手的相机标定和坐标变换的方法
CN107813313A (zh) * 2017-12-11 2018-03-20 南京阿凡达机器人科技有限公司 机械臂运动的校正方法和装置
CN108942927A (zh) * 2018-06-29 2018-12-07 齐鲁工业大学 一种基于机器视觉的像素坐标与机械臂坐标统一的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3967459A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113894786A (zh) * 2021-10-28 2022-01-07 福建省海峡智汇科技有限公司 一种基于深度学习双目相机的双轮差速机器人避障方法
CN113894786B (zh) * 2021-10-28 2023-02-07 福建省海峡智汇科技有限公司 一种基于深度学习双目相机的双轮差速机器人避障方法

Also Published As

Publication number Publication date
CN113613850A (zh) 2021-11-05
EP3967459A4 (en) 2022-12-28
US11820024B2 (en) 2023-11-21
US20220168896A1 (en) 2022-06-02
EP3967459A1 (en) 2022-03-16
CN113613850B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
WO2020252632A1 (zh) 一种坐标系校准方法、装置和计算机可读介质
TWI672206B (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP7207851B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム及び記録媒体
JP6812095B2 (ja) 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN108326850B (zh) 一种机器人准确移动机械臂到达指定位置的方法及系统
JP2018169403A (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
WO2016079967A1 (en) Robot and robot system
WO2021012124A1 (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2015150636A (ja) ビジュアルフィードバックを利用したロボットシステム
JP2014014912A (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
TW202212081A (zh) 機器手臂的座標系校正設備及校正方法
EP3602214B1 (en) Method and apparatus for estimating system error of commissioning tool of industrial robot
US20220395981A1 (en) System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system
CN107756391B (zh) 机械手臂校正系统的校正方法
WO2020252631A1 (zh) 一种坐标系校准方法、装置和计算机可读介质
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
TWI617405B (zh) Correction method for robot arm correction system
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
CN210072704U (zh) 摄像头标定系统
JP2018146232A (ja) 認識装置、較正装置、システム、生成方法および物品製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933487

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019933487

Country of ref document: EP

Effective date: 20211207

NENP Non-entry into the national phase

Ref country code: DE