WO2022092446A1 - 터치를 이용한 로봇의 캘리브레이션 시스템 및 방법 - Google Patents

터치를 이용한 로봇의 캘리브레이션 시스템 및 방법 Download PDF

Info

Publication number
WO2022092446A1
WO2022092446A1 PCT/KR2021/001128 KR2021001128W WO2022092446A1 WO 2022092446 A1 WO2022092446 A1 WO 2022092446A1 KR 2021001128 W KR2021001128 W KR 2021001128W WO 2022092446 A1 WO2022092446 A1 WO 2022092446A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
calibration
touch
touch panel
coordinate system
Prior art date
Application number
PCT/KR2021/001128
Other languages
English (en)
French (fr)
Inventor
김동엽
전세웅
신동인
김근환
조형기
조민영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2022092446A1 publication Critical patent/WO2022092446A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Definitions

  • the present invention relates to a calibration of a robot, and more particularly, to a calibration of a robot utilizing a touch of an end effector.
  • the calibration may mean matching the position and direction of the origin of the coordinate system with that of the robot.
  • the coordinate system used for calibration of the above-described robot may include a robot coordinate system and a camera coordinate system.
  • the robot coordinate system can be used when expressing the position (TCP, Tool Center Point) and direction of the end effector of the end of the robot arm according to the joint angle that changes based on the pedestal of the normal robot arm.
  • the camera coordinate system is a coordinate system used to express the measurement values of a camera or a sensor, and may be calibrated based on the degree of separation of an object from the camera's focus, usually with the camera's focus as the origin. If the calibration is perfect, it is possible to work in the correct position and direction when performing the work plan of the robot based on the information obtained through the sensor.
  • the conventional camera coordinate system-robot coordinate system calibration methods attach the calibration plate to the TCP of the robot arm, measure the position of the calibration plate with a ceiling camera or a camera disposed outside the robot arm, and then attach the current robot TCP value (calibration plate reference point), a method of calibrating the camera coordinate system and the robot coordinate system after placing the calibration plate in a vertical position spaced a certain distance from the end effector and taking a picture using the camera placed on the robot arm. are doing
  • these conventional camera coordinate system-robot coordinate system calibration methods have an assumption that there is no separate source of error other than the difference of the coordinate system.
  • the encoder resolution accuracy of the robot arm joint is lower than the standard value, if the robot arm is twisted or the joint module is damaged during repeated work, if noise occurs in the encoder signal, or if the end effector (gripper, suction, If the mechanism of magnetic) is different from the information input for calibration, an error may occur regardless of the coordinate system. In particular, when the end effector is a suction, an error may occur in the process of tightening the tab (thread).
  • An object of the present invention is to provide a system and method capable of calibrating a camera coordinate system and a robot coordinate system while calibrating the difference between the two coordinate systems and including other errors.
  • the robot calibration system provides a touch panel device for displaying a screen capable of displaying at least one point according to a touch input in connection with performing a robot calibration operation using a touch, and by touching the touch panel device to It may include a robot device including a touch means for inputting at least one point, an end effector for fixing the touch means, and a camera capable of photographing a screen on which the at least one point is displayed.
  • the robot device performs a calibration operation of the robot device based on a difference between a robot coordinate system value corresponding to the end value of the end effector and a camera coordinate system value obtained through an image according to a screen capture on which the at least one point is displayed can be set.
  • the robot device may further include a spring-type linear encoder connected to the touch means, and may be set to calculate the robot coordinate system value by subtracting a spring compression amount of the spring-type linear encoder during the touch operation.
  • the camera may include at least one of a camera disposed on a robot arm on which the end effector is disposed and a ceiling camera fixed to a position capable of photographing a screen of the touch panel device.
  • the robot device further includes a height adjusting device for adjusting the separation distance between the touch panel device and the end effector, and re-calibrating the calibration operation based on the touch panel device whose height is adjusted through the height adjusting device. can be set to perform.
  • the touch panel device displays a calibration pattern prior to the robot calibration operation using the touch, the robot device performs image capturing for the calibration pattern, and performs a first calibration operation based on the captured calibration pattern After that, it may be set to perform the touch-based calibration operation.
  • the robot calibration method includes the steps of outputting a screen designated on a touch panel device in relation to a robot calibration operation using a touch, and using a touch means disposed on an end effector of the robot device to the touch panel device.
  • the method may include calculating a coordinate system value, and performing a calibration operation of the robot device based on a difference between the camera coordinate system value and the robot coordinate system value.
  • the calculating may include calculating the robot coordinate system value by subtracting a spring compression amount of a spring-type linear encoder connected to the touch means.
  • the method includes displaying a calibration pattern on the touch panel device before the robot calibration operation using the touch, the robot device performs image capturing for the calibration pattern, and based on the captured calibration pattern 1
  • the method may further include performing a difference calibration operation.
  • the system and method according to the present invention can support to perform precise work in a robot arm system using machine vision or artificial intelligence.
  • system and method of the present invention can correct when an error during operation is more than an allowable value or simply perform calibration during process relocation.
  • FIG. 1 is a diagram schematically showing the configuration of a calibration system of a robot according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating in more detail an example of a configuration of a robot device among configurations of a calibration system of a robot according to an embodiment of the present invention.
  • 3A is a diagram illustrating an example of touch points according to operation of a calibration system of a robot according to an embodiment of the present invention.
  • 3B is a diagram illustrating an example of a calibration pattern according to operation of a calibration system of a robot according to an embodiment of the present invention.
  • FIG. 4 is a view schematically showing an additional configuration for the reinforcement operation of the calibration system of the robot according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a method for calibrating a robot according to an embodiment of the present invention.
  • FIG. 1 is a diagram schematically showing a configuration of a calibration system of a robot according to an embodiment of the present invention
  • FIG. 2 is a diagram showing in more detail an example of a configuration of a robot device among configurations of a calibration system of a robot according to an embodiment of the present invention .
  • the robot calibration system 10 includes a workbench 11, a touch point display means that leaves traces (or dots) according to the touch, for example, the touch panel device 100 (or , paper or a panel made of a specific material) and a robot device 200 , and referring to FIG. 2 , the robot calibration system 10 includes a workbench 11 , a touch panel device 100 and A control device 300 may be further included in addition to the robot device 200 .
  • the control device 300 is provided as a configuration included in the robot device 200 as in FIG. 1 or as a separate configuration as shown in FIG. 2 , and then communicates with the robot device 200 through the robot device ( 200) control-related control signals and information may be provided.
  • the workbench 11 may include a mechanism on which the pattern structure 100 is placed and at least a part of the robot device 200 is placed or disposed adjacently.
  • the work table 11 may provide at least a portion of a place for performing the work of the robot device 200 .
  • the work table 11 may include a part of a transport device for transporting a designated object.
  • the robot device 200 When placed on a work piece on the work bench 11, the robot device 200 performs a specified task for the work piece (eg, holding and transferring the work piece, welding the work piece, bolt or nut work on the work piece, and other parts to the work piece) assembly work, etc.).
  • An alignment mark on which the touch panel device 100 is placed may be disposed on one side of the work table 11 .
  • the alignment mark may be printed or engraved on one side of the work table 11 . At least a portion of the alignment mark may be disposed at a position aligned with the center of the work located on the work table 11 .
  • the touch panel device 100 is a device that is disposed on one side (eg, a place where an alignment mark is formed) of the work table 11 and is used for calibration of the robot device 200 , for example, of the robot device 200 .
  • At least one application capable of displaying a point according to a touch may be stored.
  • the touch panel device 100 may include a touch panel, a display capable of displaying a point according to a touch, a processor for controlling the touch panel and the display operation, and a memory for storing the at least one application.
  • the touch panel device 100 may further include a communication circuit or communication interface capable of communicating with the robot device 200 or the control device 300 .
  • the touch panel device 100 may execute an application related to touch point reception in response to an input of an operator performing a calibration operation of the robot device 200 .
  • the touch panel device 100 may establish a communication channel with the control device 300 and execute the application in response to the control of the control device 300 .
  • the touch panel device 100 outputs a screen according to touch point reception on a display for a specified time, or transmits information on touch points according to the touch of the robot device 200 to the robot device 200 or the control device. (300) can be passed.
  • the touch panel device 100 may output a calibration pattern (or image) for calibrating the camera coordinate system-robot coordinate system.
  • the robot device 200 may perform a specified task for the work placed on the work table 11 .
  • the robot apparatus 200 may perform calibration periodically or according to specific conditions in order to perform a specified operation on a workpiece without error.
  • the robot device 200 includes a motion module 250 , a power unit 240 , a camera 230 , a processor 210 , a communication circuit 220 , a memory 270 , a spring-type linear encoder 261 , and a touch means.
  • the touch pen 263 may be included.
  • the exercise module 250 may be provided to change the position of the end effector disposed at the end of the robot device 200 .
  • the exercise module 250 may include a pedestal, at least one joint, a plurality of arms, and an end effector.
  • the configuration of the exercise module 250 may be changed according to the operation purpose of the robot device 200 .
  • the number of joints, the number of arms, and the type of the end effector may be changed according to the purpose of the operation.
  • the power unit 240 may generate power for the exercise of the exercise module 250 , and transmit the generated power to the exercise module 250 under the control of the processor 210 .
  • the power device 240 may include at least one motor or at least one hydraulic device to generate power, and may include a power transmission means capable of transmitting the generated power to the exercise module 250 .
  • the degree of power generation and power transmission of the power unit 240 may be controlled by the processor 210 .
  • the power unit 240 may generate and transmit power for a rotational motion or a linear motion of a joint included in the exercise module 250 .
  • the camera 230 may be disposed on one side of the exercise module 250 .
  • the camera 230 may be disposed on an arm to which the end effector of the exercise module 250 is assembled or a joint connected to an arm to which the end effector is assembled.
  • the camera 230 may be connected to the processor 210 in a wired or wireless manner, may capture an image related to calibration under the control of the processor 210 , and may transmit the captured image to the processor 210 .
  • the camera 230 may be connected to the control device 300 through a wired or wireless communication interface, and may capture and deliver an image related to calibration under the control of the control device 300 .
  • the camera 230 may be disposed at a specified separation distance from the touch panel device 100 by the exercise module 250 while the touch panel device 100 is disposed on the workbench 11 .
  • the camera 230 may photograph and transmit a screen output to the display of the touch panel device 100 in response to the control of the processor 210 or the control of the control device 300 in a state in which the camera 230 is disposed at a specified separation distance.
  • the calibration system 10 of the robot may further include an external camera disposed at a location physically separated from the robot device 200 .
  • the external camera may photograph the screen of the touch panel device 100 and transmit the captured image to the processor 210 or the control device 300 of the robot device 200 .
  • the communication circuit 220 may form a communication channel of the robot device 200 .
  • the communication circuit 220 may form a communication channel with the control device 300 , and receive information related to a work operation and information related to calibration from the control device 300 .
  • the communication circuit 220 may transmit an image acquired by the camera 230 to the control device 300 in response to the control of the processor 210 .
  • the communication circuit 220 may include at least one of a wired communication interface and a wireless communication interface connected to the camera 230 and the control device 300 .
  • the memory 270 may store at least one program related to operation of the robot device 200 , job information related to job operation, information related to calibration processing, and the like.
  • the memory 270 may temporarily store a captured image (eg, a screen image of the touch panel device 100 ) acquired by the camera 230 .
  • the captured image stored in the memory 270 may be used to perform calibration or may be transmitted to the control device 300 .
  • the spring-type linear encoder 261 may be disposed at one end of the exercise module 250 , for example, between the end of the end effector and the touch pen.
  • the spring-type linear encoder 261 may be compressed while the touch pen touches a specific point of the touch panel device 100 , and may accurately measure the compression amount or compression distance and transmit it to the processor 210 .
  • the spring-type linear encoder 261 may protect the touch panel device 100 even if an error occurs in the height direction (or vertical direction) according to the spring operation.
  • the touch pen 263 is coupled to the spring-type linear encoder 261 and may be disposed at an end of the exercise module 250 .
  • the touch pen 263 may be used to touch the display of the touch panel device 100 during a calibration operation.
  • the touch pen 263 may be provided in a form compatible with the touch panel method of the touch panel device 100 .
  • the touch pen 263 includes a body coupled to the spring-type linear encoder 261 and a touch pen tip that is in contact with the touch panel device 100 to leave a point for a specific point of the touch panel device 100 . may include
  • the processor 210 may process information related to operation of the robot device 200 and perform operations through operation control of respective components (eg, the exercise module 250 and the power unit 240 ).
  • the processor 210 controls the operation of the exercise module 250 and the power unit 240 while periodically, if necessary
  • the camera 230 operation related to the calibration may be performed according to the user interface or the manager input.
  • the processor 210 may control the power unit 240 and the exercise module 250 so that the touch pen 263 disposed on the end effector touches a point of the touch panel apparatus 100 .
  • the processor 210 may control the operation of the plurality of touch pens 263 for more precise calibration in relation to the calibration operation.
  • the processor 210 controls to touch a position corresponding to the center point of the workbench 11 or a point corresponding to the center of the touch panel device 100 , and then touches points located within a predetermined distance from the center point. can be controlled to do so.
  • the processor 210 may collect the compression distance information according to the compression amount of the spring or spring compression from the spring-type linear encoder 261 .
  • the processor 210 may photograph the screen of the touch panel device 100 using the camera 230 and store the captured image as a camera coordinate system.
  • the processor 210 uses the spring compression distance of the spring-type linear encoder 261 connected to the end effector to determine the position (eg, TCP) of the end point of the end effector, and collect robot coordinate system information based on this. there is.
  • the processor 210 may estimate and correct a work error of the robot device 200 by comparing the camera coordinate system with the robot coordinate system.
  • the processor 210 serves to transmit information about the camera coordinate system and the robot coordinate system to the control device 300, and , it is possible to perform operation error correction of the robot device 200 based on the calibration information received from the control device 300 .
  • the processor 210 requests the touch panel device 100 to output a calibration pattern corresponding to the conventional calibration plate, and uses an external camera to photograph the calibration pattern output to the touch panel device 100 . can be obtained.
  • the processor 210 may calculate a camera coordinate system-robot coordinate system error based on a photographed image of the calibration pattern and the position of the end effector, and then correct the error.
  • the processor 210 may measure the vertical direction error of the robot device 200 with the spring-type linear encoder 261 , so that the dots on the touch panel device 100 are arranged on the same horizontal plane and process data.
  • the processor 210 may determine the robot coordinate system value as a value obtained by subtracting the information pressed by the spring-type linear encoder when touched from the position of the end of the end effector (the position corresponding to the initial value of the robot coordinate system). In this operation, the processor 210 may calculate the end effector end value by adding the end effector size to the TCP obtained through the robot's regular kinematics.
  • the camera coordinate system value may be a position value of points displayed on the display 160 of the touch panel device 100 measured by the camera 230 .
  • the control device 300 may be provided in the robot device 200 when the robot device 200 is provided to process a calculation related to calibration in the robot calibration system 10 .
  • the control device 300 may be implemented with the configuration of the processor 210 and the memory 270 of the robot device 200 .
  • the control device 300 includes a communication interface capable of communicating with the communication circuit 220 of the robot device 200 , and transmits a control signal related to calibration from the robot device 200 to the robot device 200 . can be forwarded to After the control device 300 performs a calibration-related operation of the robot device 200 (eg, an operation of touching specific points of the touch panel device 100 ), the camera coordinate system information for capturing the screen of the touch panel device 100 . and robot coordinate system information corresponding to the position of the end effector.
  • a calibration-related operation of the robot device 200 eg, an operation of touching specific points of the touch panel device 100
  • the camera coordinate system information for capturing the screen of the touch panel device 100 e.g, an operation of touching specific points of the touch panel device 100
  • the control device 300 compares the difference between the camera coordinate system information based on the received screen image of the touch panel device 100 and the robot coordinate system information, calculates a correction value based on this, and then sends the can transmit Meanwhile, the control device 300 may control to display a calibration pattern on the touch panel device 100 before a calibration operation using the touch panel device 100 . In this regard, the control device 300 may communicate with the touch panel device 100 to control the calibration pattern to be displayed on the display.
  • the control device 300 collects information obtained by photographing the calibration pattern displayed on the touch panel device 100 with an external camera, and performs error correction of the robot device 200 based on the collected information and the position information of the end effector. can be controlled to perform. Thereafter, the control device 300 requests the touch panel device 100 to execute an application in which dots according to the touch pen contact are displayed on the display screen of the touch panel device 100 , and at least one It is possible to control to re-perform the error correction of the robot device 200 based on the image obtained by photographing the dots and the position information of the end effector.
  • control device 300 selectively operates (two error corrections) based on error correction based on the calibration pattern photographed image and the end effector position, and the position-based error correction of the touch point photographed image and the end effector. It can be controlled to perform all or to operate only one error correction if necessary.
  • 3A is a diagram illustrating an example of touch points according to operation of a calibration system of a robot according to an embodiment of the present invention.
  • the touch pen 263 attached to the motion module 250 of the robot device 200 is a touch panel device.
  • normal touch points 169 uniformly arranged may be touched.
  • the touch pen 263 attached to the motion module 250 of the robot device 200 is a touch panel device.
  • the touch panel device When 100 is touched, non-uniformly arranged abnormal touch points 168 may be displayed.
  • the various reasons are, for example, when the resolution of the joint encoder of the robot arm is not sufficient, when the robot arm is twisted or the joint module is damaged by repeated impacts, when noise occurs in the encoder signal of the robot device, the TCP of the robot device Even if the calibration is perfect until It may include a case where the mechanical element is included in the robot device.
  • the robot device 200 calculates an error based on the result of the touch panel device 100 in the 305 state in which the normal touch points 169 described in the 301 state and the abnormal touch points 168 described in the 303 state are displayed together. Calculation and correcting the error may perform calibration of the robot apparatus 200 .
  • the touch panel device 100 executes an application capable of displaying abnormal touch points 168 according to the touch of the touch pen 263 according to an input signal of an administrator performing the calibration operation. and a screen according to the execution of the application may be output to the display 160 .
  • the touch panel device 100 forms a communication channel with the robot device 200 (or the control device 300 ), and the touch pen 263 from the robot device 200 (or the control device 300 ) ) may receive an application execution request capable of displaying the points 168 according to the contact.
  • the touch panel device 100 may execute an application in response to an application execution request from the robot device 200 (or the control device 300 ), and may output a corresponding screen to the display 160 .
  • 3B is a diagram illustrating an example of a calibration pattern according to operation of a calibration system of a robot according to an embodiment of the present invention.
  • the touch panel device 100 may output a calibration pattern 167 to the display 160 .
  • the touch panel device 100 executes an application related to the calibration pattern 167 output in response to an input signal of a manager, a control signal from the robot device 200 or the control device 300, and according to the execution of the application
  • the calibration pattern 167 may be output to the display 160 .
  • the touch panel device 100 may store an image corresponding to the calibration pattern 167 in a memory and output the calibration pattern 167 to the display 160 in response to an input signal or a control signal.
  • the robot device 200 of the present invention is a camera 230 disposed on the robot device 200 or a camera disposed on the end effector. After collecting an image corresponding to the calibration pattern 167 using By performing the correction secondarily, it is possible to perform a more reliable calibration of the robot device 200 .
  • FIG. 4 is a view schematically showing an additional configuration for the reinforcement operation of the calibration system of the robot according to an embodiment of the present invention.
  • the calibration system 10 of the present invention arranges the touch panel device 100 on the workbench 11 as in the 401 state, and places the touch panel device 100 at the touch points according to the touch operation of the robot device 200 . After acquiring the image for the , error correction between the camera coordinate system and the robot coordinate system can be performed based on this. That is, the calibration system 10 of the present invention may be a method of measuring physically the same point in two ways.
  • the calibration system 10 is a touch operation and touch point at various positions in one horizontal plane (x-y plane, a plane in which the display 160 of the touch panel device 100 is disposed perpendicular to the end effector of the robot device 200) Measurements based on imaging of them can be performed.
  • the calibration system 10 can adjust the height of the touch panel device 100 in the vertical direction (eg, the direction at the shortest distance from the upper surface of the worktable 11 to the end effector of the robot device 200).
  • the height adjustment device 110 may be further included, and the height of the touch panel device 100 may be varied to prevent a calibration result from being tilted to one side (local minima, or over fitting).
  • the height adjusting device 110 may include various structures capable of adjusting the height of the touch panel device 100 from the upper surface of the work table 11 .
  • the height adjusting device 110 may include a press capable of moving the touch panel device 100 up and down.
  • FIG. 5 is a diagram illustrating an example of a method for calibrating a robot according to an embodiment of the present invention.
  • the touch panel device 100 may display a screen capable of displaying dots according to the input of the touch pen 263 on the display 160 .
  • the touch pen 263 may be replaced with a marker or pen capable of leaving a point through a touch.
  • the touch panel device 100 may be replaced with a paper, a plastic panel, or a metal panel that leaves a trace according to the contact with the marker or the pen.
  • the robot device 200 may perform a touch operation using the touch pen 263 mounted on the end effector.
  • a spring-type linear encoder 261 may be disposed between the touch pen 263 and the end effector in the robot device 200 for the purpose of protecting the touch panel device 100 and for correcting an error according to the vertical operation of the end effector. there is.
  • step 505 the processor 210 or the control device 300 of the robot device 200 calculates the robot coordinate system value in consideration of the spring compression amount of the spring-type linear encoder 261 during the touch operation and calculates the touched points according to the touch operation.
  • a camera coordinate system value may be calculated based on the captured image.
  • the image capturing of the touch points may be performed using the camera 230 disposed on the robot arm to which the end effector is coupled or the camera fixed at a designated position (eg, a ceiling camera).
  • the processor 210 or the control device 300 of the robot device 200 may perform correction based on the error comparison between the camera coordinate system and the robot coordinate system.
  • This calibration method of the present invention is that there is no error other than the target information being calibrated, such as robot arm kinematics calibration, camera or sensor mounting position calibration, camera internal-extrinsic parameter calibration, or Hand-Eye calibration. How to make no assumptions. That is, the calibration method of the present invention supports to calibrate the entire system for actual work in a single solution in the work of a robot arm using machine vision or artificial intelligence. To this end, the calibration method of the present invention may be performed based on a configuration including a linear encoder spring type and a touch pen in the robot arm end effector, and including a touch panel device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)

Abstract

본 발명은 터치를 이용한 로봇 캘리브레이션 동작 수행과 관련하여 터치 입력에 따른 적어도 하나의 지점을 표시할 수 있는 화면을 표시하는 터치 패널 장치 및 상기 터치 패널 장치에 터치하여 상기 적어도 하나의 지점을 입력하는 터치 수단과, 상기 터치 수단을 고정하는 엔드 이펙터, 상기 적어도 하나의 지점이 표시된 화면을 촬영할 수 있는 카메라를 포함하는 로봇 장치를 포함할 수 있다. 본 발명은 상기 엔드 이펙터의 끝 값에 해당하는 로봇 좌표계 값 및 상기 적어도 하나의 지점이 표시된 화면 촬영에 따른 이미지를 통해 획득한 카메라 좌표계 값의 차이를 기반으로 상기 로봇 장치의 캘리브레이션 동작을 수행하도록 설정된 로봇 캘리브레이션 시스템을 개시한다.

Description

터치를 이용한 로봇의 캘리브레이션 시스템 및 방법
본 발명은 로봇의 캘리브레이션에 관한 것으로, 더욱 상세하게는 엔드 이팩터의 터치를 활용하는 로봇의 캘리브레이션에 관한 것이다.
머신비전이나 인공지능을 활용한 로봇 작업에 있어서, 카메라와 로봇 간 또는 깊이 센서와 로봇 사이의 캘리브레이션 성능이 매우 중요하다. 상기 캘리브레이션은 좌표계 원점의 위치와 방향을 로봇의 그것과 일치시키는 것을 의미할 수 있다. 상술한 로봇의 캘리브레이션에 이용되는 좌표계는 로봇 좌표계와 카메라 좌표계를 들 수 있다. 상기 로봇 좌표계는 보통 로봇팔의 받침대를 기준으로, 변화하는 관절 각도에 따라 로봇팔 끝의 엔드 이팩터의 위치(TCP, Tool Center Point)와 방향을 표현할 때 사용될 수 있다. 상기 카메라 좌표계는 카메라나 센서의 측정값을 표현할 쓰는 좌표계로서, 보통 카메라의 초점을 원점으로 하고, 카메라의 초점을 기준으로 물체가 떨어진 정도를 기반으로 캘리브레이션할 수 있다. 캘리브레이션이 완벽하다면, 센서를 통해 얻어진 정보를 바탕으로 로봇의 작업계획을 수행할 때 정확한 위치와 방향으로 작업을 할 수 있다.
한편, 종래 카메라 좌표계-로봇 좌표계 캘리브레이션 방법들은 캘리브레이션 플레이트를 로봇팔의 TCP에 부착한 후 천장 카메라 또는 로봇팔 외부에 배치된 카메라로 캘리브레이션 플레이트의 위치를 측정 한 후, 현재의 로봇 TCP 값(캘리브레이션 플레이트 기준점)과 비교하는 방법, 캘리브레이션 플레이트를 엔드 이팩터로부터 일정 거리 이격된 수직한 위치에 배치하고 로봇 팔에 배치된 카메라를 이용하여 촬영을 수행한 후, 카메라 좌표계와 로봇 좌표계를 캘리브레이션 하는 방법 등을 제공하고 있다. 그런데, 이러한 종래 카메라 좌표계-로봇 좌표계 캘리브레이션 방법들은 좌표계의 차이 외에 별도의 오차 원인이 없다는 가정을 가지고 있다. 이에 따라, 로봇 팔 관절의 엔코더 분해능의 정확도가 기준치보다 낮거나, 반복된 작업 과정에서 로봇 팔이 틀어지거나 관절 모듈이 손상되는 경우, 엔코더 신호에 노이즈가 발생하는 경우 또는 엔드 이펙터(그리퍼, 석션, 마그네틱)의 기구가 캘리브레이션을 위해 입력된 정보와 다른 경우 등에는 좌표계와 관계없이 오차가 발생할 수 있다. 특히, 엔드 이팩터가 석션인 경우, 탭(나사산)을 조이는 과정에서 오차가 발생할 수 있다.
본 발명은 카메라 좌표계와 로봇 좌표계를 캘리브레이션하면서, 두 좌표계의 차이뿐만 아니라 그 외의 오차까지 포함하여 캘리브레이션할 수 있는 시스템 및 방법을 제공함에 있다.
본 발명의 실시 예에 따른 로봇 캘리브레이션 시스템은 터치를 이용한 로봇 캘리브레이션 동작 수행과 관련하여 터치 입력에 따른 적어도 하나의 지점을 표시할 수 있는 화면을 표시하는 터치 패널 장치, 상기 터치 패널 장치에 터치하여 상기 적어도 하나의 지점을 입력하는 터치 수단과, 상기 터치 수단을 고정하는 엔드 이펙터, 상기 적어도 하나의 지점이 표시된 화면을 촬영할 수 있는 카메라를 포함하는 로봇 장치를 포함할 수 있다. 상기 로봇 장치는 상기 엔드 이펙터의 끝 값에 해당하는 로봇 좌표계 값 및 상기 적어도 하나의 지점이 표시된 화면 촬영에 따른 이미지를 통해 획득한 카메라 좌표계 값의 차이를 기반으로 상기 로봇 장치의 캘리브레이션 동작을 수행하도록 설정될 수 있다.
여기서, 상기 로봇 장치는 상기 터치 수단에 연결된 스프링 타입 리니어 엔코더를 더 포함하고, 상기 터치 동작 중 상기 스프링 타입 리니어 엔코더의 스프링 압축량을 감산하여 상기 로봇 좌표계 값을 산출하도록 설정될 수 있다.
한편, 상기 카메라는 상기 엔드 이펙터가 배치된 로봇 팔에 배치된 카메라 및 상기 터치 패널 장치의 화면을 촬영할 수 있는 위치에 고정된 천장 카메라 중 적어도 하나를 포함할 수 있다.
추가로, 상기 로봇 장치는 상기 터치 패널 장치와 엔드 이펙터 사이의 이격 거리를 조절하는 높이 조절 장치를 더 포함하고, 상기 높이 조절 장치를 통해 높이가 조절된 터치 패널 장치를 기반으로 상기 캘리브레이션 동작을 재수행하도록 설정될 수 있다.
또한, 상기 터치 패널 장치는 상기 터치를 이용한 로봇 캘리브레이션 동작 이전에 캘리브레이션 패턴을 표시하고, 상기 로봇 장치는 상기 캘리브레이션 패턴에 대한 이미지 촬영을 수행하고, 촬영된 캘리브레이션 패턴을 기반으로 1차 캘리브레이션 동작을 수행한 후, 상기 터치 기반의 캘리브레이션 동작을 수행하도록 설정될 수 있다.
본 발명의 실시 예에 따른 로봇 캘리브레이션 방법은, 터치를 이용한 로봇 캘리브레이션 동작과 관련하여 터치 패널 장치에 지정된 화면을 출력하는 단계, 로봇 장치의 엔드 이펙터에 배치된 터치 수단을 이용하여 상기 터치 패널 장치에 터치하여 적어도 하나의 터치 지점을 입력하는 단계, 상기 적어도 하나의 지점이 입력된 화면을 촬영하는 단계, 상기 엔드 이펙터의 끝 값에 해당하는 로봇 좌표계 값 및 상기 화면을 촬영한 이미지를 통해 획득한 카메라 좌표계 값을 산출하는 단계, 상기 카메라 좌표계 값과 상기 로봇 좌표계 값의 차이를 기반으로 상기 로봇 장치의 캘리브레이션 동작을 수행하는 단계를 포함할 수 있다.
여기서, 상기 산출하는 단계는 상기 터치 수단에 연결된 스프링 타입 리니어 엔코더의 스프링 압축량을 감산하여 상기 로봇 좌표계 값을 산출하는 단계를 포함할 수 있다.
추가로, 상기 방법은 상기 터치를 이용한 로봇 캘리브레이션 동작 이전에 상기 터치 패널 장치에 캘리브레이션 패턴을 표시하는 단계, 상기 로봇 장치가 상기 캘리브레이션 패턴에 대한 이미지 촬영을 수행하고, 촬영된 캘리브레이션 패턴을 기반으로 1차 캘리브레이션 동작을 수행하는 단계를 더 포함할 수 있다.
본 발명에 따른 시스템 및 방법은 머신비전 또는 인공지능을 활용한 로봇 팔 시스템에서 정밀한 작업 수행이 가능하도록 지원할 수 있다.
또한, 본 발명의 시스템 및 방법은 작업 중 오차가 허용치 이상일 때 보정을 하거나, 공정 재배치 중에도 간단하게 캘리브레이션을 수행할 수 있다.
도 1은 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 구성 중 로봇 장치 구성의 한 예를 보다 상세히 나타낸 도면이다.
도 3a는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 운용에 따른 터치 포인트들의 한 예를 나타낸 도면이다.
도 3b는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 운용에 따른 캘리브레이션 패턴의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템의 보강 운용을 위한 추가 구성을 개략적으로 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 방법의 한 예를 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시 예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 구성을 개략적으로 나타낸 도면이며, 도 2는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 구성 중 로봇 장치 구성의 한 예를 보다 상세히 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템(10)은 작업대(11), 터치에 따른 흔적(또는 점)이 남는 터치 지점 표시 수단 예컨대, 터치 패널 장치(100)(또는, 터치 흔적이 남는 종이나, 특정 재질의 판넬) 및 로봇 장치(200)를 포함하며, 도 2를 참조하면, 상기 로봇의 캘리브레이션 시스템(10)은 작업대(11), 터치 패널 장치(100)와 로봇 장치(200)와 더불어 제어 장치(300)를 더 포함할 수 있다. 상기 제어 장치(300)는 도 1에서와 같이 로봇 장치(200)에 포함된 구성으로 마련되거나 또는 도 2에 나타낸 바와 같이 별도의 구성으로 마련된 후, 로봇 장치(200)와 통신을 통하여 로봇 장치(200) 제어와 관련한 제어 신호 및 정보를 제공할 수 있다.
상기 작업대(11)는 상기 패턴 구조물(100)이 놓이며, 상기 로봇 장치(200)의 적어도 일부가 놓이거나 또는 인접되게 배치되는 기구를 포함할 수 있다. 예컨대, 상기 작업대(11)는 상기 로봇 장치(200)의 작업을 수행하는 장소의 적어도 일부를 제공할 수 있다. 상기 작업대(11)는 지정된 물건을 이송하는 이송 장치의 일부를 포함할 수 있다. 상기 작업대(11)에 작업물에 놓이면 상기 로봇 장치(200)는 상기 작업물에 대하여 지정된 작업(예: 작업물의 파지 및 이송, 작업물의 용접, 작업물의 볼트 또는 너트 작업, 작업물에 다른 부품을 조립하는 작업 등)을 수행할 수 있다. 상기 작업대(11) 일측에는 상기 터치 패널 장치(100)가 놓이는 얼라인 마크가 배치될 수 있다. 상기 얼라인 마크는 상기 작업대(11) 일측에 인쇄되거나 또는 음각될 수 있다. 상기 얼라인 마크의 적어도 일부는 상기 작업대(11)에 위치하는 작업물의 중심부와 얼라인 되는 위치에 배치될 수 있다.
상기 터치 패널 장치(100)는 상기 작업대(11)의 일측(예: 얼라인 마크가 형성된 장소)에 배치되어 상기 로봇 장치(200)의 캘리브레이션에 이용되는 장치로서, 예컨대, 로봇 장치(200)의 터치에 따른 포인트를 표시할 수 있는 적어도 하나의 어플리케이션을 저장할 수 있다. 이와 관련하여, 상기 터치 패널 장치(100)는 터치 패널, 터치에 따른 포인트를 표시할 수 있는 디스플레이, 상기 터치 패널 및 상기 디스플레이 운용을 제어하는 프로세서, 상기 적어도 하나의 어플리케이션을 저장하는 메모리를 포함할 수 있다. 추가적으로, 상기 터치 패널 장치(100)는 상기 로봇 장치(200) 또는 제어 장치(300)와 통신할 수 있는 통신 회로 또는 통신 인터페이스를 더 포함할 수 있다.
상기 터치 패널 장치(100)는 상기 로봇 장치(200)의 캘리브레이션 작업을 수행하는 작업자의 입력에 대응하여 터치 포인트 수신과 관련한 어플리케이션을 실행할 수 있다. 또는, 상기 터치 패널 장치(100)는 제어 장치(300)와 통신 채널을 형성하고, 제어 장치(300)의 제어에 대응하여 상기 어플리케이션을 실행할 수도 있다. 상기 터치 패널 장치(100)는 터치 포인트 수신에 따른 화면을 지정된 시간 동안 디스플레이에 출력하거나, 또는, 상기 로봇 장치(200)의 터치에 따른 터치 포인트들의 정보를 상기 로봇 장치(200) 또는 상기 제어 장치(300)에 전달할 수 있다. 상기 터치 패널 장치(100)는 카메라 좌표계-로봇 좌표계 캘리브레이션을 위한 캘리브레이션 패턴(또는 이미지)을 출력할 수도 있다.
상기 로봇 장치(200)는 상기 작업대(11)에 놓이는 작업물에 대한 지정된 작업을 수행할 수 있다. 상기 로봇 장치(200)는 작업물에 대한 지정된 작업을 오차 없이 수행하기 위하여 주기적으로 또는 특정 조건에 따라 캘리브레이션을 수행할 수 있다. 상기 로봇 장치(200)는 운동 모듈(250), 동력 장치(240), 카메라(230), 프로세서(210), 통신 회로(220), 메모리(270), 스프링 타입 리니어 엔코더(261) 및 터치 수단 예컨대, 터치 펜(263)을 포함할 수 있다.
상기 운동 모듈(250)은 로봇 장치(200)의 끝단에 배치된 엔드 이팩터의 위치를 변경할 수 있도록 마련될 수 있다. 예컨대, 상기 운동 모듈(250)은 받침대, 적어도 하나의 관절, 복수개의 암 및 엔드 이팩터를 포함할 수 있다. 상기 운동 모듈(250)의 구성은 로봇 장치(200)의 작업 목적에 따라 변경될 수 있다. 예컨대, 관절의 수, 암의 개수 및 엔드 이팩터의 종류는 작업 목적에 따라 변경될 수 있다.
상기 동력 장치(240)는 상기 운동 모듈(250)의 운동을 위한 동력을 생성하고, 생성된 동력을 프로세서(210) 제어에 따라 운동 모듈(250)에 전달할 수 있다. 예컨대, 동력 장치(240)는 적어도 하나의 모터 또는 적어도 하나의 유압 장치를 포함하여 동력을 생성하고, 생성된 동력을 운동 모듈(250)에 전달할 수 있는 동력 전달 수단을 포함할 수 있다. 상기 동력 장치(240)의 동력 생성 및 동력 전달의 정도는 프로세서(210)에 의해 제어될 수 있다. 예컨대, 동력 장치(240)는 운동 모듈(250)에 포함된 관절의 회전 동작 또는 직선 동작을 위한 동력을 생성 및 전달할 수 있다.
상기 카메라(230)는 상기 운동 모듈(250)의 일측에 배치될 수 있다. 예컨대, 상기 카메라(230)는 운동 모듈(250)의 엔드 이펙터가 조립되는 암 또는 엔드 이펙터가 조립되는 암과 연결된 관절에 배치될 수 있다. 상기 카메라(230)는 유선 또는 무선 방식으로 프로세서(210)에 연결되고, 프로세서(210) 제어에 따라 캘리브레이션과 관련한 영상을 촬영하고, 촬영된 영상을 프로세서(210)에 전달할 수 있다. 또는, 상기 카메라(230)는 제어 장치(300)와 유선 또는 무선 통신 인터페이스를 통해 연결되고, 제어 장치(300)의 제어에 따라 캘리브레이션과 관련한 영상을 촬영 및 전달할 수도 있다. 상기 카메라(230)는 터치 패널 장치(100)가 작업대(11)에 배치된 상태에서, 운동 모듈(250)에 의해 터치 패널 장치(100)와 지정된 이격 거리에 배치될 수 있다. 상기 카메라(230)는 지정된 이격 거리에 배치된 상태에서, 프로세서(210) 제어 또는 제어 장치(300) 제어에 대응하여 터치 패널 장치(100)의 디스플레이에 출력된 화면을 촬영 및 전송할 수 있다. 다른 예로서, 로봇의 캘리브레이션 시스템(10)은 로봇 장치(200)와 물리적으로 이격된 위치에 배치된 외부 카메라를 더 포함할 수도 있다. 상기 외부 카메라는 터치 패널 장치(100)의 화면을 촬영하고, 촬영된 영상을 로봇 장치(200)의 프로세서(210) 또는 제어 장치(300)에 전달할 수 있다.
상기 통신 회로(220)는 로봇 장치(200)의 통신 채널을 형성할 수 있다. 예컨대, 상기 통신 회로(220)는 제어 장치(300)와 통신 채널을 형성하고, 제어 장치(300)로부터 작업 동작과 관련한 정보, 캘리브레이션과 관련한 정보를 수신할 수 있다. 또한, 통신 회로(220)는 프로세서(210) 제어에 대응하여 카메라(230)가 획득한 영상을 제어 장치(300)에 전달할 수도 있다. 상기 통신 회로(220)는 카메라(230) 및 제어 장치(300)와 연결되는 유선 통신 인터페이스 및 무선 통신 인터페이스 중 적어도 하나를 포함할 수 있다.
상기 메모리(270)는 로봇 장치(200) 운용과 관련한 적어도 하나의 프로그램 및 작업 운용과 관련한 작업 정보, 캘리브레이션 처리와 관련한 정보 등을 저장할 수 있다. 상기 메모리(270)는 카메라(230)가 획득한 촬영 이미지(예: 터치 패널 장치(100)의 화면 이미지)를 임시로 저장할 수 있다. 메모리(270)에 저장된 촬영 이미지는 캘리브레이션 수행에 이용되거나, 제어 장치(300)에 전달될 수 있다.
상기 스프링 타입 리니어 엔코더(261)는 운동 모듈(250)의 일측 끝단 예컨대, 엔드 이펙터의 끝단과 터치 펜 사이에 배치될 수 있다. 상기 스프링 타입 리니어 엔코더(261)는 터치 펜이 터치 패널 장치(100)의 특정 지점을 터치하는 동안 압축될 수 있으며, 압축량 또는 압축 거리를 정밀하게 측정하여 프로세서(210)에 전달할 수 있다. 상기 스프링 타입 리니어 엔코더(261)는 스프링 동작에 따라 높이 방향(또는 수직 방향)으로 오차가 발생하더라도 터치 패널 장치(100)를 보호할 수 있다.
상기 터치 펜(263)은 스프링 타입 리니어 엔코더(261)에 결합되며, 운동 모듈(250)의 끝단부에 배치될 수 있다. 터치 펜(263)은 캘리브레이션 동작 동안 터치 패널 장치(100)의 디스플레이를 터치 하는데 이용될 수 있다. 이와 관련하여, 터치 펜(263)은 터치 패널 장치(100)의 터치 패널 방식과 호응할 수 있는 형태로 마련될 수 있다. 예컨대, 상기 터치 펜(263)은 스프링 타입 리니어 엔코더(261)와 결합되는 바디와, 상기 터치 패널 장치(100)와 접촉되어 터치 패널 장치(100)의 특정 지점에 대한 포인트를 남기는 터치 펜 촉을 포함할 수 있다.
상기 프로세서(210)는 로봇 장치(200) 운용과 관련한 정보의 처리 및 각 구성들(예: 운동 모듈(250), 동력 장치(240))의 동작 제어를 통한 작업을 수행할 수 있다. 본 발명의 실시 예에 따른 캘리브레이션 작업을 로봇 장치(200)가 독자적으로 수행하도록 구성되는 경우, 프로세서(210)는 운동 모듈(250)과 동력 장치(240)의 운용을 제어하면서, 주기적으로, 필요에 따라, 또는 관리자 입력에 따라 캘리브레이션과 관련한 카메라(230) 운용을 수행할 수 있다. 상기 프로세서(210)는 동력 장치(240)와 운동 모듈(250)을 제어하여 엔드 이펙터에 배치된 터치 펜(263)이 터치 패널 장치(100)의 일 지점을 터치하도록 제어할 수 있다. 상기 프로세서(210)는 캘리브레이션 작업과 관련하여 보다 정밀한 캘리브레이션을 위해 복수의 터치 펜(263) 운용을 제어할 수 있다. 예를 들어, 프로세서(210)는 작업대(11)의 중심 지점에 해당하는 위치 또는 터치 패널 장치(100)의 중심에 해당하는 지점을 터치하도록 제어하고, 이후 중심 지점으로부터 일정 거리 이내에 위치한 지점들을 터치하도록 제어할 수 있다. 이 동작에서, 프로세서(210)는 스프링 타입 리니어 엔코더(261)로부터 스프링의 압축량 또는 스프링 압축에 따른 압축 거리 정보를 수집할 수 있다.
터치 패널 장치(100)에서의 터치 동작이 완료된 이후, 프로세서(210)는 카메라(230)를 이용하여 터치 패널 장치(100)의 화면을 촬영하고, 촬영된 이미지를 카메라 좌표계로서 저장할 수 있다. 상기 프로세서(210)는 엔드 이펙터에 연결된 스프링 타입 리니어 엔코더(261)의 스프링 압축 거리를 이용하여, 엔드 이펙터의 끝점의 위치(예: TCP)를 확인하고, 이를 기반으로 로봇 좌표계 정보를 수집할 수 있다. 상기 프로세서(210)는 상기 카메라 좌표계와 로봇 좌표계의 비교를 통하여, 로봇 장치(200)의 작업 오차를 추정하고, 이를 보정할 수 있다. 본 발명의 실시 예에 따른 캘리브레이션 작업의 연산을 제어 장치(300)가 수행하도록 설계된 경우, 상기 프로세서(210)는 카메라 좌표계 및 로봇 좌표계에 관한 정보를 제어 장치(300)에 전달하는 역할을 수행하고, 제어 장치(300)로부터 수신되는 캘리브레이션 정보를 기반으로 로봇 장치(200)의 작업 오차 보정을 수행할 수 있다. 한편, 상기 프로세서(210)는 터치 패널 장치(100)에 종래 캘리브레이션 플레이트에 대응하는 캘리브레이션 패턴 출력을 요청하고, 외부 카메라를 이용하여, 상기 터치 패널 장치(100)에 출력된 캘리브레이션 패턴을 촬영한 이미지를 획득할 수 있다. 상기 프로세서(210)는 캘리브레이션 패턴을 촬영한 이미지 및 엔드 이펙터의 위치를 기반으로 카메라 좌표계-로봇 좌표계 오차를 계산한 후, 해당 오차를 보정할 수 있다.
상기 프로세서(210)는 로봇 장치(200)의 수직 방향 오차를 스프링 타입 리니어 엔코더(261)로 측정함으로써, 터치 패널 장치(100)에 찍힌 점들은 동일 수평면에 배치되는 것으로 데이터 처리할 수 있다. 상기 프로세서(210)는 로봇 좌표계 값을, 엔드 이펙터 끝의 위치(로봇 좌표계 초기 값에 해당하는 위치)로부터, 터치 했을 때 스프링 타입 리니어 엔코더가 눌린 정보를 뺀 값으로 결정할 수 있다. 이 동작에서, 상기 프로세서(210)는 로봇의 정기구학을 통해 얻어진 TCP에 엔드 이펙터 크기를 더함으로써, 엔드 이펙터 끝 값을 계산할 수 있다. 상기 카메라 좌표계 값은 카메라(230)에서 측정한 터치 패널 장치(100)의 디스플레이(160)에 표시된 점들의 위치 값이 될 수 있다.
상기 제어 장치(300)는 상기 로봇 캘리브레이션 시스템(10)에서 로봇 장치(200)가 캘리브레이션과 관련한 연산을 처리하도록 마련되는 경우, 로봇 장치(200) 내에 마련될 수 있다. 또는, 상기 제어 장치(300)는 로봇 장치(200)의 프로세서(210) 및 메모리(270) 구성으로 구현될 수도 있다. 다른 예로서, 상기 제어 장치(300)는 로봇 장치(200)의 통신 회로(220)와 통신할 수 있는 통신 인터페이스를 포함하고, 로봇 장치(200)로부터 캘리브레이션과 관련한 제어 신호를 로봇 장치(200)에 전달할 수 있다. 상기 제어 장치(300)는 로봇 장치(200)의 캘리브레이션 관련 동작(예: 터치 패널 장치(100)의 특정 지점들을 터치 하는 동작) 수행 이후, 터치 패널 장치(100)의 화면을 촬영한 카메라 좌표계 정보 및 엔드 이펙터의 위치에 해당하는 로봇 좌표계 정보를 수신할 수 있다. 상기 제어 장치(300)는 수신된 터치 패널 장치(100)의 화면 이미지 기반의 카메라 좌표계 정보와 로봇 좌표계 정보와의 차이를 비교하고, 이를 기반으로 보정 값을 산출한 후, 로봇 장치(200)에 전달할 수 있다. 한편, 상기 제어 장치(300)는 상기 터치 패널 장치(100)를 이용한 캘리브레이션 동작 이전에, 터치 패널 장치(100)에 캘리브레이션 패턴을 표시하도록 제어할 수 있다. 이와 관련하여, 제어 장치(300)는 터치 패널 장치(100)와 통신하여, 상기 캘리브레이션 패턴을 디스플레이에 표시하도록 제어할 수 있다.
상기 제어 장치(300)는 상기 터치 패널 장치(100)에 표시된 캘리브레이션 패턴을 외부 카메라로 촬영한 정보를 수집하고, 수집된 정보와 엔드 이펙터의 위치 정보를 기반으로 로봇 장치(200)의 오차 보정을 수행하도록 제어할 수 있다. 이후, 제어 장치(300)는 터치 패널 장치(100)의 디스플레이 화면에 터치 펜 접촉에 따른 점들이 표시될 수 있는 어플리케이션 실행을 터치 패널 장치(100)에 요청하고, 터치 펜 접촉에 따른 적어도 하나의 점들을 촬영한 이미지 및 엔드 이펙터의 위치 정보를 기반으로 로봇 장치(200)의 오차 보정을 재수행하도록 제어할 수 있다. 상술한 바와 같이, 제어 장치(300)는 캘리브레이션 패턴 촬영 이미지 및 엔드 이펙터 위치 기반 오차 보정과, 터치 지점들 촬영 이미지 및 엔드 이펙터의 위치 기반 오차 보정을 필요에 따라, 선택적으로 운용(두 오차 보정을 모두 수행하거나 필요에 따라 어느 하나의 오차 보정만을 운용)하도록 제어할 수 있다.
도 3a는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 운용에 따른 터치 포인트들의 한 예를 나타낸 도면이다.
도 3a를 참조하면, 로봇 장치(200)가 정상 상태 또는 캘리브레이션이 정상적으로 적용된 경우, 301 상태에서와 같이, 로봇 장치(200)의 운동 모듈(250)에 부착된 터치 펜(263)이 터치 패널 장치(100)를 터치하는 경우, 도시된 바와 같이, 균일하게 배치된 정상 터치 지점들(169)을 터치할 수 있다.
한편, 로봇 장치(200)가 다양한 이유로 인하여, 카메라와의 오차가 발생한 경우에, 303 상태에서와 같이, 로봇 장치(200)의 운동 모듈(250)에 부착된 터치 펜(263)이 터치 패널 장치(100)를 터치하는 경우, 불균일하게 배치된 비정상 터치 지점들(168)이 표시될 수 있다. 상기 다양한 이유는 예컨대, 로봇팔 관절 엔코더의 분해능이 충분하지 않은 경우, 반복된 충격으로 로봇팔이 틀어지거나 관절모듈이 손상되는 경우, 로봇 장치의 엔코더 신호에 노이즈가 발생하는 경우, 로봇 장치의 TCP까지 캘리브레이션이 완벽하더라도 엔드 이펙터(그리퍼, 석션, 마그네틱)의 기구가 도면과 다른 경우(예컨대, 석션의 경우 탭(나사산)에 조이는 구조이기 때문에 오차가 발생할 수 있음), 스프링 등 실시간으로 측정하기 어려운 기계요소가 로봇 장치에 포함된 경우를 포함할 수 있다.
로봇 장치(200)는 301 상태에서 설명한 정상 터치 지점들(169)과 303 상태에서 설명한 비정상 터치 지점들(168)이 함께 표시된 305 상태에서의 터치 패널 장치(100)의 결과를 기반으로, 오차를 산출하고, 상기 오차를 보정하여 로봇 장치(200)의 캘리브레이션을 수행할 수 있다. 상술한 캘리브레이션 수행과 관련하여, 터치 패널 장치(100)는 캘리브레이션 작업을 수행하는 관리자의 입력 신호에 따라, 터치 펜(263) 터치에 따른 비정상 터치 지점들(168)을 표시할 수 있는 어플리케이션을 실행하고, 상기 어플리케이션 실행에 따른 화면을 디스플레이(160)에 출력할 수 있다.
다른 예로서, 상기 터치 패널 장치(100)는 로봇 장치(200)(또는 제어 장치(300))와 통신 채널을 형성하고, 로봇 장치(200)(또는 제어 장치(300))로부터 터치 펜(263) 접촉에 따른 지점들(168)을 표시할 수 있는 어플리케이션 실행 요청을 수신할 수 있다. 상기 터치 패널 장치(100)는 로봇 장치(200)(또는 제어 장치(300))로부터 어플리케이션 실행 요청에 따라, 어플리케이션을 실행하고, 해당 화면을 디스플레이(160)에 출력할 수 있다.
도 3b는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템 운용에 따른 캘리브레이션 패턴의 한 예를 나타낸 도면이다.
도 3b를 참조하면, 상기 터치 패널 장치(100)는 캘리브레이션 패턴(167)을 디스플레이(160)에 출력할 수 있다. 예컨대, 터치 패널 장치(100)는 관리자의 입력 신호, 로봇 장치(200) 또는 제어 장치(300)로부터 제어 신호에 대응하여, 캘리브레이션 패턴(167) 출력과 관련한 어플리케이션을 실행하고, 해당 어플리케이션 실행에 따라 캘리브레이션 패턴(167)을 디스플레이(160)에 출력할 수 있다. 또는, 터치 패널 장치(100)는 캘리브레이션 패턴(167)에 해당하는 이미지를 메모리에 저장하고, 입력 신호 또는 제어 신호에 대응하여 상기 캘리브레이션 패턴(167)을 디스플레이(160)에 출력할 수 있다. 상기 터치 패널 장치(100)의 디스플레이(160)에 캘리브레이션 패턴(167)이 출력되면, 본 발명의 로봇 장치(200)는 로봇 장치(200)에 배치된 카메라(230) 또는 엔드 이펙터에 배치된 카메라를 이용하여 상기 캘리브레이션 패턴(167)에 대응하는 이미지를 수집하고, 이를 기반으로 카메라 좌표계-로봇 좌표계 간의 오차 보정을 1차로 수행한 후, 앞서 도 3a에서 설명한 터치 지점들 간의 오차를 기반으로 한 오차 보정을 2차로 수행함으로써, 보다 신뢰성 높은 로봇 장치(200)의 캘리브레이션을 수행할 수 있다.
도 4는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 시스템의 보강 운용을 위한 추가 구성을 개략적으로 나타낸 도면이다.
도 4를 참조하면, 본 발명의 캘리브레이션 시스템(10)은 401 상태에서와 같이, 작업대(11)에 터치 패널 장치(100)를 배치하고, 로봇 장치(200)의 터치 동작에 따른 터치 지점들에 대한 이미지를 획득한 후, 이를 기반으로 카메라 좌표계-로봇 좌표계 간의 오차 보정을 수행할 수 있다. 즉, 본 발명의 캘리브레이션 시스템(10)은 물리적으로 동일한 지점을 두 가지 방법으로 측정하는 방식이 될 수 있다. 상기 캘리브레이션 시스템(10)은 한 수평면(x-y plane, 터치 패널 장치(100)의 디스플레이(160)가 로봇 장치(200)의 엔드 이펙터에 수직하게 배치된 면)에서 다양한 위치에서의 터치 동작 및 터치 지점들의 촬영을 기반으로 하는 측정들을 수행할 수 있다.
또한, 캘리브레이션 시스템(10)은 터치 패널 장치(100)의 수직 방향(예: 작업대(11)의 상부면에서 로봇 장치(200)의 엔드 이펙터로 향하는 가장 짧은 거리에서의 방향) 높이를 조절할 수 있는 높이 조절 장치(110)를 더 포함하고, 터치 패널 장치(100)의 높이를 다양하게 해서 캘리브레이션 결과가 한쪽에 쏠리는(local minima, 또는 over fitting) 것을 방지할 수 있다. 상기 높이 조절 장치(110)는 작업대(11)의 상부면으로부터의 터치 패널 장치(100) 높이를 조절할 수 있는 다양한 구조물을 포함할 수 있다. 한 예로서, 높이 조절 장치(110)는 터치 패널 장치(100)를 상하로 이동시킬 수 있는 프레스를 포함할 수 있다.
도 5는 본 발명의 실시 예에 따른 로봇의 캘리브레이션 방법의 한 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 로봇 캘리브레이션 방법에 있어서, 501 단계에서, 터치 패널 장치(100)는 터치 펜(263) 입력에 따른 점들을 표시할 수 있는 화면을 디스플레이(160)에 표시할 수 있다. 상기 501 단계에서, 상기 터치 펜(263)은 터치를 통해 점을 남길 수 있는 마커 또는 펜으로 대체될 수 있다. 이 경우, 상기 터치 패널 장치(100)는 상기 마커 또는 펜 접촉에 따라 흔적이 남는 종이, 플라스틱 판넬, 또는 금속 판넬 등으로 대체될 수 있다.
503 단계에서, 로봇 장치(200)는 엔드 이펙터에 장착된 터치 펜(263)을 이용하여 터치 동작을 수행할 수 있다. 상기 로봇 장치(200)에서 터치 펜(263)과 엔드 이펙터 사이에는, 터치 패널 장치(100)의 보호 목적 및 엔드 이펙터의 수직 동작에 따른 오차 보정을 위하여 스프링 타입 리니어 엔코더(261)가 배치될 수 있다.
505 단계에서, 로봇 장치(200)의 프로세서(210) 또는 제어 장치(300)는 터치 동작 중 스프링 타입 리니어 엔코더(261)의 스프링 압축량을 고려한 로봇 좌표계 값 산출 및 터치 동작에 따라 터치된 지점들을 촬영한 이미지를 기반으로 카메라 좌표계 값을 산출할 수 있다. 상기 터치 지점들에 대한 이미지 촬영은 엔드 이펙터가 결합된 로봇 팔에 배치된 카메라(230) 또는 지정된 위치에 고정된 카메라(예: 천장 카메라)를 이용하여 수행될 수 있다.
507 단계에서, 로봇 장치(200)의 프로세서(210) 또는 제어 장치(300)는 카메라 좌표계 - 로봇 좌표계의 오차 비교를 기반으로 보정을 수행할 수 있다. 이러한 본 발명의 캘리브레이션 방법은 로봇 팔 기구학 캘리브레이션, 카메라 또는 센서 장착 위치 캘리브레이션, 카메라 내부-외부 캘리브레이션(intrinsic parameter - extrinsic parameter calibration), 또는 Hand-Eye calibration 처럼 캘리브레이션을 수행하고 있는 대상정보 외에는 오차가 없다는 가정을 하지 않는 방법이다. 즉, 본 발명의 캘리브레이션 방법은 머신비전이나 인공지능을 활용한 로봇팔의 작업에서, 실제 작업을 위한 전체 시스템을 단일 솔루션으로 캘리브레이션할 수 있도록 지원한다. 이를 위하여, 본 발명의 캘리브레이션 방법은 로봇팔 엔드 이펙터에 리니어 엔코더 스프링 타입과 터치펜을 배치하고, 터치 패널 장치를 포함하는 구성을 기반으로 수행될 수 있다.
한편, 본 명세서와 도면에 개시된 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.

Claims (8)

  1. 로봇 캘리브레이션 시스템에 있어서,
    터치를 이용한 로봇 캘리브레이션 동작 수행과 관련하여 터치 입력에 따른 적어도 하나의 지점을 표시할 수 있는 화면을 표시하는 터치 패널 장치;
    상기 터치 패널 장치에 터치하여 상기 적어도 하나의 지점을 입력하는 터치 수단과, 상기 터치 수단을 고정하는 엔드 이펙터, 상기 적어도 하나의 지점이 표시된 화면을 촬영할 수 있는 카메라를 포함하는 로봇 장치;를 포함하고,
    상기 로봇 장치는
    상기 엔드 이펙터의 끝 값에 해당하는 로봇 좌표계 값 및 상기 적어도 하나의 지점이 표시된 화면 촬영에 따른 이미지를 통해 획득한 카메라 좌표계 값의 차이를 기반으로 상기 로봇 장치의 캘리브레이션 동작을 수행하도록 설정된 로봇 캘리브레이션 시스템.
  2. 제1항에 있어서,
    상기 로봇 장치는
    상기 터치 수단에 연결된 스프링 타입 리니어 엔코더를 더 포함하고, 상기 터치 동작 중 상기 스프링 타입 리니어 엔코더의 스프링 압축량을 감산하여 상기 로봇 좌표계 값을 산출하도록 설정된 로봇 캘리브레이션 시스템.
  3. 제1항에 있어서,
    상기 카메라는
    상기 엔드 이펙터가 배치된 로봇 팔에 배치된 카메라;
    상기 터치 패널 장치의 화면을 촬영할 수 있는 위치에 고정된 천장 카메라; 중 적어도 하나를 포함하는 로봇 캘리브레이션 시스템.
  4. 제1항에 있어서,
    상기 로봇 장치는
    상기 터치 패널 장치와 엔드 이펙터 사이의 이격 거리를 조절하는 높이 조절 장치;를 더 포함하고,
    상기 높이 조절 장치를 통해 높이가 조절된 터치 패널 장치를 기반으로 상기 캘리브레이션 동작을 재수행하도록 설정된 로봇 캘리브레이션 시스템.
  5. 제1항에 있어서,
    상기 터치 패널 장치는 상기 터치를 이용한 로봇 캘리브레이션 동작 이전에 캘리브레이션 패턴을 표시하고,
    상기 로봇 장치는 상기 캘리브레이션 패턴에 대한 이미지 촬영을 수행하고, 촬영된 캘리브레이션 패턴을 기반으로 1차 캘리브레이션 동작을 수행한 후, 상기 터치 기반의 캘리브레이션 동작을 수행하도록 설정된 로봇 캘리브레이션 시스템.
  6. 로봇 캘리브레이션 방법에 있어서,
    터치를 이용한 로봇 캘리브레이션 동작과 관련하여 터치 패널 장치에 지정된 화면을 출력하는 단계;
    로봇 장치의 엔드 이펙터에 배치된 터치 수단을 이용하여 상기 터치 패널 장치에 터치하여 적어도 하나의 터치 지점을 입력하는 단계;
    상기 적어도 하나의 지점이 입력된 화면을 촬영하는 단계;
    상기 엔드 이펙터의 끝 값에 해당하는 로봇 좌표계 값 및 상기 화면을 촬영한 이미지를 통해 획득한 카메라 좌표계 값을 산출하는 단계;
    상기 카메라 좌표계 값과 상기 로봇 좌표계 값의 차이를 기반으로 상기 로봇 장치의 캘리브레이션 동작을 수행하는 단계;를 포함하는 로봇 캘리브레이션 방법.
  7. 제6항에 있어서,
    상기 산출하는 단계는
    상기 터치 수단에 연결된 스프링 타입 리니어 엔코더의 스프링 압축량을 감산하여 상기 로봇 좌표계 값을 산출하는 단계;를 포함하는 로봇 캘리브레이션 방법.
  8. 제6항에 있어서,
    상기 터치를 이용한 로봇 캘리브레이션 동작 이전에 상기 터치 패널 장치에 캘리브레이션 패턴을 표시하는 단계;
    상기 로봇 장치가 상기 캘리브레이션 패턴에 대한 이미지 촬영을 수행하고, 촬영된 캘리브레이션 패턴을 기반으로 1차 캘리브레이션 동작을 수행하는 단계;를 더 포함하는 로봇 캘리브레이션 방법.
PCT/KR2021/001128 2020-10-30 2021-01-28 터치를 이용한 로봇의 캘리브레이션 시스템 및 방법 WO2022092446A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0142940 2020-10-30
KR1020200142940A KR102384648B1 (ko) 2020-10-30 2020-10-30 터치를 이용한 로봇의 캘리브레이션 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2022092446A1 true WO2022092446A1 (ko) 2022-05-05

Family

ID=81210128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001128 WO2022092446A1 (ko) 2020-10-30 2021-01-28 터치를 이용한 로봇의 캘리브레이션 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102384648B1 (ko)
WO (1) WO2022092446A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070096627A (ko) * 2006-03-27 2007-10-02 고등기술연구원연구조합 로봇의 위치측정장치 및 방법
US20180126557A1 (en) * 2015-04-02 2018-05-10 Abb Schweiz Ag Method for industrial robot commissioning, industrial robot system and control system using the same
JP2019141935A (ja) * 2018-02-16 2019-08-29 オムロン株式会社 コンベアトラッキングシステムおよびキャリブレーション方法
KR20200003445A (ko) * 2018-07-02 2020-01-10 전자부품연구원 터치패널을 이용한 로봇의 캘리브레이션 시스템, 장치 및 방법
KR102130617B1 (ko) * 2019-05-13 2020-07-06 주식회사 하나비전테크 로봇 위치 제어 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070096627A (ko) * 2006-03-27 2007-10-02 고등기술연구원연구조합 로봇의 위치측정장치 및 방법
US20180126557A1 (en) * 2015-04-02 2018-05-10 Abb Schweiz Ag Method for industrial robot commissioning, industrial robot system and control system using the same
JP2019141935A (ja) * 2018-02-16 2019-08-29 オムロン株式会社 コンベアトラッキングシステムおよびキャリブレーション方法
KR20200003445A (ko) * 2018-07-02 2020-01-10 전자부품연구원 터치패널을 이용한 로봇의 캘리브레이션 시스템, 장치 및 방법
KR102130617B1 (ko) * 2019-05-13 2020-07-06 주식회사 하나비전테크 로봇 위치 제어 장치 및 방법

Also Published As

Publication number Publication date
KR102384648B1 (ko) 2022-04-11

Similar Documents

Publication Publication Date Title
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
US9303988B2 (en) Image measurement apparatus, image measurement method and image measurement program
US7805219B2 (en) Carrier robot system and control method for carrier robot
JPH01127238A (ja) 可動部材用の限定的再位置決め区域における位置フイードバック向上
WO2013111964A1 (ko) 비전 기반 공작물 셋업 방법
WO2013162341A1 (ko) 스크린 프린터 장비의 보정방법 및 이를 이용한 기판 검사시스템
CN109297413A (zh) 一种大型筒体结构视觉测量方法
TW538231B (en) Image processing method and device, and wire-bonding device
US20180354137A1 (en) Robot System Calibration
WO2020171527A1 (ko) 이동형 로봇 및 그것의 로봇 암 정렬 방법
WO2022092446A1 (ko) 터치를 이용한 로봇의 캘리브레이션 시스템 및 방법
JPH09128549A (ja) ロボット装置の相対位置姿勢検出方法
WO2010140814A2 (ko) 척의 능동적 기울기 제어가 가능한 웨이퍼 프로브 스테이션 및 그 제어방법
CN116359131A (zh) 极片缺陷检测系统的标定方法及极片缺陷检测系统
JP2009279677A (ja) 計測装置を用いてロボットの位置教示を行うロボット制御装置
KR101430970B1 (ko) 디스플레이 패널의 정렬방법
KR102422990B1 (ko) 스캔을 이용한 로봇의 캘리브레이션 시스템 및 방법
JPH1011146A (ja) 移動体の停止姿勢補正装置
JP4371832B2 (ja) 電子部品実装装置における移動台の移動制御方法およびその方法に用いられるマトリックス基板
CN111947896A (zh) 一种镜头光心与成像传感器感光面中心对齐系统与方法
JPH10128689A (ja) 無人移動体の視覚補正装置
KR20200003445A (ko) 터치패널을 이용한 로봇의 캘리브레이션 시스템, 장치 및 방법
JPS60259446A (ja) スクリーン印刷におけるスクリーン版と被印刷体の位置整合装置
JPH05108126A (ja) 位置ずれ較正装置
KR20060077598A (ko) 로봇을 이용한 레이저 비젼 시스템의 교정 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886447

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21886447

Country of ref document: EP

Kind code of ref document: A1