WO2021086108A1 - 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 - Google Patents

로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 Download PDF

Info

Publication number
WO2021086108A1
WO2021086108A1 PCT/KR2020/015028 KR2020015028W WO2021086108A1 WO 2021086108 A1 WO2021086108 A1 WO 2021086108A1 KR 2020015028 W KR2020015028 W KR 2020015028W WO 2021086108 A1 WO2021086108 A1 WO 2021086108A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
camera
coordinate system
marker
sample
Prior art date
Application number
PCT/KR2020/015028
Other languages
English (en)
French (fr)
Inventor
박종훈
강준수
Original Assignee
주식회사 뉴로메카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190138460A external-priority patent/KR102111655B1/ko
Application filed by 주식회사 뉴로메카 filed Critical 주식회사 뉴로메카
Priority to US17/772,074 priority Critical patent/US11642789B2/en
Priority to EP20881234.7A priority patent/EP4052861A4/en
Publication of WO2021086108A1 publication Critical patent/WO2021086108A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1648—Programme controls characterised by the control loop non-linear control combined or not with linear control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39016—Simultaneous calibration of manipulator and camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Definitions

  • the present invention relates to a calibration method, and more particularly, to an automatic calibration method in a robot vision system.
  • a vision sensor is a very important component in the usability of a robot system, but an accurate conversion between the coordinate system of the vision sensor and the coordinate system of the robot must be preceded. However, it is a very tricky problem to perform calibration for an arbitrary robot and an arbitrary camera without a separate device such as a marker having the coordinates fixed in advance.
  • An object according to an embodiment of the present invention is that in a robot vision system mounted on a camera robot or used with a robot by fixing a camera separately, the camera's unique parameters, such as focal length, offset, and distortion constant, and the camera and the robot end effector Or, it provides a method of automatically calibrating the position and angle offset between the camera and the robot coordinate system at once.
  • an automatic calibration method in a calibration device connected to a camera disposed on an end effector of a robot and a robot controller that controls the robot includes a marker marked on a working area of the robot.
  • Acquiring an image for and a robot reference coordinate system from the camera and the robot controller (the acquired image and robot reference coordinate system are recorded while moving the end effector to a plurality of sample coordinates) and the acquired image and robot reference It may include the step of estimating the position of the robot coordinate system reference marker using the coordinate system.
  • the step of estimating the position of the robot coordinate system reference marker using the acquired image and the robot reference coordinate system includes the camera-robot offset (T off ) as an assumed value and a camera reference in a plurality of postures using a nonlinear optimization algorithm. It may include the step of estimating the camera-robot offset (T off ) by minimizing the error rate of the coordinates converted from the position of the marker (T m,j) to the robot reference coordinate system.
  • the camera-robot offset T off may be calculated as a function of variables including xyz coordinates and zyx Euler angles.
  • the camera-robot offset (T off ) expresses the degree of distortion between the first sample coordinate and the second sample coordinate as values of the error of the rotation matrix (R) and the position (P) error, and uses a nonlinear optimization algorithm that minimizes this. Can be estimated.
  • the camera-robot offset (T off ) is Where j is the index of the sample coordinate, T j is the transformation matrix of the sample coordinate j, T m,j is the position of the camera reference marker at the sample coordinate j, and R is the variable related to the rotation matrix. , P may represent a variable related to the position error.
  • the end effector is provided in a state in which the movable region is taught, and the movable region is a region serving as a reference for calibration and may be defined as a plurality of reference points.
  • the plurality of sample coordinates may be disposed in an area within the plurality of reference points.
  • the plurality of sample coordinates includes: recording a transformation matrix from the reference coordinate system of the robot to the end of the robot at the plurality of reference points, setting a motion center point that the plurality of reference points commonly look at, based on the set motion center point Extracting through the steps of recording variables that determine the positions of the plurality of reference coordinates, extracting the minimum and maximum values of each variable, and extracting the plurality of sample coordinates through a weighted sum of random numbers between the plurality of reference points Can be.
  • the variables may include at least two of azimuth, elevation, roll, and distance from the motion center point.
  • a transformation matrix T j of each sample coordinate system may be calculated from the extracted variables of the plurality of sample coordinates.
  • a calibration method in a camera disposed at a position spaced apart from a robot and a calibration device connected to a robot controller that controls the robot includes a marker disposed on a robot end effector.
  • the step of estimating the position of the robot base reference camera using the acquired image and the robot reference coordinate system includes the robot end-marker offset (T em ) as an assumed value, and a robot in a plurality of postures using a nonlinear optimization algorithm. It may include the step of estimating the robot end-marker offset (T em ) through a method of minimizing the error rate of the coordinates obtained by converting the position of the base reference camera into the robot reference coordinate system.
  • the robot end-marker offset T em may be calculated as a function of variables including xyz coordinates and zyx Euler angles.
  • the robot end-marker offset (T em ) may be estimated using a nonlinear optimization algorithm that expresses the degree of distortion between the first sample coordinate and the second sample coordinate as a value of an error of a rotation matrix and a position error, and minimizes this. .
  • the robot end-marker offset (T em ) is Where j is the index of the sample coordinates, and T j is the transform matrix of the robot. T em denotes an estimate of the offset from the robot end to the marker, T m,j denotes the position of the marker from the camera, R denotes a variable related to the rotation matrix, and P denotes a variable related to the position error.
  • a camera disposed on an end effector of a robot and a calibration device connected to a robot controller that controls the robot includes an image of a marker marked on a work area of the robot and Using an input unit that obtains a robot reference coordinate system from the camera and the robot controller (the acquired image and robot reference coordinate system are recorded while moving the end effector to a plurality of sample coordinates) and the acquired image and the robot reference coordinate system. It may include a processor for estimating the position of the reference marker in the robot coordinate system.
  • a camera disposed at a position spaced apart from the robot and a calibration device connected to a robot controller controlling the robot include an image of the marker and a robot reference coordinate system. And an input unit acquired from the robot controller (the acquired image and the robot reference coordinate system are recorded while moving the end effector to a plurality of sample coordinates), and a processor for estimating a robot base reference camera position from the acquired image. I can.
  • the robot since it is possible to overfit the calibration accordingly in any work area, even with a low-cost camera with severe distortion, the robot performs precise work in an environment with many constraints. There is an effect that allows you to do it.
  • FIG. 1 is a block diagram schematically showing a robot vision system in which an automatic calibration method according to an embodiment of the present invention is used;
  • FIG. 2 is a flowchart schematically showing an automatic calibration method according to an embodiment of the present invention
  • FIG. 3 is a conceptual diagram for explaining the concept of designating N reference points in an automatic calibration method according to an embodiment of the present invention
  • FIG. 4 is a detailed flow chart showing in detail a method of uniformly selecting sample coordinates of the automatic calibration method according to an embodiment of the present invention
  • FIG. 5 is a schematic block diagram of an automatic calibration apparatus according to an embodiment of the present invention.
  • first and second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.
  • the term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • a robot vision system may include a camera 110, a robot controller 120, and a calibration device 130.
  • the calibration device 130 interlocks with the camera 110 and the robot controller 120 to obtain an image captured from the camera 110, in particular, image information of a marker, and the robot controller 120 Information related to robot control is obtained from
  • the information related to the robot control may include coordinate information in the robot coordinate system or variable information (elevation angle, azimuth angle, etc.) determining a position when the robot is positioned in a specific area such as a reference point or sample coordinates.
  • the robot controller 120 may include an encoder.
  • the camera 110 may be mounted on an end of the robot, that is, an end effector, to photograph a marker existing in the moving area of the robot and obtain photographed image information.
  • This can be the first embodiment.
  • the camera 110 is separately fixed and present at a position spaced apart from the robot, but a marker is attached to the end of the robot and the area where the marker is visible in the camera image is set as the movable area so that calibration is performed. can do.
  • the calibration device 130 may obtain information from the camera 110 and the robot controller 120 to automatically calibrate not only the camera's unique parameter but also the robot-camera offset value at once. This will be described in more detail with reference to FIG. 2 below.
  • FIG. 2 is a flowchart schematically showing an automatic calibration method according to an embodiment of the present invention.
  • a marker is placed at an arbitrary position in the working area of the robot, and the user moves the robot to N reference points and teaches the movable area (S210).
  • methods such as direct teaching and indirect teaching may be used. This process will be described in more detail with reference to FIG. 3.
  • FIG. 3 is a conceptual diagram illustrating a concept of designating N reference points in an automatic calibration method according to an embodiment of the present invention.
  • a user variably designates an area that is a reference for performing calibration. This may be performed through a method such as direct teaching or indirect teaching by the user.
  • a marker is placed on a position where the base of the robot exists or on a certain area (work area of the robot) from the position, and a reference point that becomes the edge of the area to which the robot will move while performing calibration Specify N number.
  • the reference point is four. N seed views may be obtained from these reference points.
  • the device obtains a marker image by setting sample coordinates in the area inside the taught reference points, that is, the movable area, and moving to the corresponding coordinates (S220).
  • sample coordinates in the area inside the taught reference points, that is, the movable area, and moving to the corresponding coordinates (S220).
  • FIG. 4 is a detailed flow chart showing a method of uniformly selecting sample coordinates in the automatic calibration method according to an embodiment of the present invention.
  • a transformation matrix (T i , i ⁇ ⁇ 1, ..., N ⁇ ) from the robot reference coordinate system to the robot end is recorded at the four reference points set in step S210.
  • i represents the index of the reference point (S410).
  • the device sets the motion center point that the reference points commonly look at (S420). To this end, it is desirable to solve the following minimization problem and extract the closest point to the z-axis of all terminal coordinate systems as the motion center point (S420).
  • the azimuth angle ⁇ i , the elevation angle ⁇ i , the roll ⁇ i , and the distance d i values from the motion center point are recorded based on the motion center point set in step S420, and the minimum value of each variable and The maximum value is extracted (S430). This is expressed by the following variable values. ( ⁇ min , ⁇ max , ⁇ min , ⁇ max , ⁇ min , ⁇ max , d min , d max )
  • the apparatus extracts a plurality of arbitrary sample coordinates through a weighted sum of random numbers between the reference points (S440).
  • the number of sample coordinates is preferably about 15 to 25, more preferably 20.
  • r represents a random number between 0 and 1.
  • a transformation matrix T j of each sample coordinate system is calculated from at least one of azimuth angle, elevation angle, roll, and distance of about 20 newly extracted sample coordinates (S450).
  • the end effector of the robot is moved to the calculated sample coordinates to obtain an image of a marker at each sample coordinate.
  • the estimated camera-specific parameter is estimated from the acquired image (S230), and the position of the camera reference marker (T m,j ) is estimated from each image (S240).
  • the estimated camera-specific parameters may include a focal length, an offset, and a distortion constant.
  • the position of the reference marker in the robot coordinate system is estimated using the estimated position of the camera reference marker (S250).
  • the apparatus uses a nonlinear optimization algorithm.
  • the device uses a method that minimizes the error of the coordinates (T j , T off , T m,j ) converted from the position value of the camera reference marker into the robot reference coordinate system in various postures, and uses a camera-robot offset (T off ).
  • T m,j represents the position of the camera reference marker at a specific sample coordinate.
  • j represents the index of the sample coordinates.
  • various algorithms such as BroydenFletcher-GoldfarbShanno may be used as the nonlinear optimization algorithm.
  • T off can be calculated as a function of six variables of xyz coordinates and zyx Euler angles. This can be expressed by the following equation.
  • T off goes into an assumed value, and a nonlinear algorithm is executed in a manner that minimizes the error of T off.
  • the transformation matrix of the sample coordinate system, T off value, and the position of the marker from the camera (T m,j- ) to the sample coordinate (j-1), which is the sample coordinate before the sample coordinate (j). 1 ) is calculated, and inverse is taken for it.
  • the term related to the sample coordinate (j) is calculated in the forward direction, only the degree of distortion between the two points on the path from going to the sample coordinate (j-1) and returning to the sample coordinate (j) remains. This is expressed by the equation below.
  • Equation 3 ⁇ log( ⁇ R j ) ⁇ represents the norm of the rotation matrix, and r ⁇ ⁇ R j ⁇ becomes the norm of the position error, and together, the total error in relation to T off
  • the norm of is formed, and as the sigma ( ⁇ ) value is taken, a value obtained by summing the error values in the photographing in the entire sample coordinate is generated, and the calibration process operates in the direction of minimizing this.
  • a marker is attached to the end of the robot, and a reference point is set based on the image where the marker is visible, thereby similarly performing a series of processes in FIG. 2.
  • Estimate the end-marker offset (T em ), and through this, the camera position relative to the robot base Can be estimated.
  • T j represents the transform matrix of the robot.
  • T em represents the estimate of the offset from the robot end to the marker, and T m,j is the position of the marker from the camera. This can be expressed as an equation as follows.
  • T m,j -1 becomes the transformation matrix from the marker to the camera, and the position of the camera from the robot reference coordinate system at the previous sample coordinate (j-1) from the sample coordinate (j) and the robot reference at the sample coordinate (j).
  • T em robot end-marker offset
  • the automatic calibration apparatus may include an input unit 510, a memory 520, a processor 520, an output unit 540, and a user interface 550. have.
  • the input unit 510 may obtain information from a camera and a robot controller (or a robot encoder).
  • the captured image information may be obtained from the camera, and information representing the position of the robot at the time of capturing the image in the robot coordinate system and information related to the control command of the robot may be obtained from the robot controller.
  • the memory 520 stores an instruction word related to an automatic calibration procedure in the processor 530.
  • the processor 530 calibrates the camera's specific parameters and the robot-camera offset at once.
  • the processor 530 places a marker at an arbitrary position in the work area, moves the robot to a plurality of reference coordinates to teach the movable area, and then acquires it through the input unit 510 when the robot automatically moves within the movable area.
  • a plurality of marker images and a robot coordinate system are received, the camera-specific parameters are estimated from the image, and the position of the camera reference marker in each image is estimated.
  • the camera-robot offset at which the error rate is minimal is estimated.
  • the output unit 540 outputs the estimated camera-specific parameters and camera-robot offset information.
  • the user interface 550 is a component used to set various set values to be set in a corresponding device.

Abstract

본 발명의 일 양태는 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 자동 캘리브레이션 방법을 개시하고 있다. 상기 방법은, 로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계를 포함한다.

Description

로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
본 발명은 캘리브레이션(calibration) 방법에 관한 것으로, 보다 상세하게는, 로봇 비전 시스템에서의 자동 캘리브레이션 방법에 관한 것이다.
로봇 시스템의 사용성에 있어 비전 센서(vision sensor)는 매우 중요한 컴포넌트이나, 비전 센서의 좌표계와 로봇의 좌표계 사이의 정확한 변환이 선행 되어야 한다. 하지만, 사전에 좌표를 고정한 마커 등의 별도 장치 없이, 임의의 로봇과 임의의 카메라에 대해 캘리브레이션을 수행하는 것은 매우 까다로운 문제이다.
특히, 저가형 카메라의 경우, 카메라의 왜곡이 심해, 캘리브레이션을 통해 고유 매개 변수를 추정하더라도 그 좌표계를 완벽하게 얻을 수 없는 경우가 많다. 이처럼 불완전한 카메라 좌표계를 로봇 작업에 사용하려면 작업 영역에 과적합 시키는 편법이 필요한데, 사전에 정의된 위치를 기준으로 하거나 제약 조건이 있을 경우, 임의의 작업 현장에 맞춰 캘리브레이션을 수행할 수는 없다.
본 발명의 일 실시예에 따른 목적은 카메라 로봇에 탑재된, 혹은 카메라가 별도로 고정되어 로봇과 함께 사용되는 로봇 비전 시스템에서 초점거리, 오프셋, 왜곡 상수 등 카메라의 고유 매개 변수와 카메라와 로봇 엔드이펙터, 혹은 카메라와 로봇 좌표계 사이의 위치 및 각도 오프셋을 한번에 자동으로 캘리브레이션하는 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른, 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 자동 캘리브레이션 방법은, 로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계를 포함할 수 있다.
상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계는, 상기 카메라-로봇 오프셋(Toff)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 카메라 기준 마커의 위치(Tm,j)를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 카메라-로봇 오프셋(Toff)을 추정하는 단계를 포함할 수 있다.
상기 카메라-로봇 오프셋(Toff)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산될 수 있다.
상기 카메라-로봇 오프셋(Toff)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스(R)의 에러 및 포지션(P) 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정될 수 있다.
상기 카메라-로봇 오프셋(Toff)은
Figure PCTKR2020015028-appb-I000001
을 통해 산출되며, 여기서, j는 표본 좌표의 인덱스를, Tj는 표본 좌표 j의 변환 행렬을, Tm,j는 표본 좌표 j에서 카메라 기준 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타낼 수 있다.
상기 엔드 이펙터는 가동영역이 교시된 상태로 구비되며, 상기 가동영역은 캘리브레이션의 기준이 되는 영역으로 복수 개의 기준점으로 정의될 수 있다.
상기 복수 개의 표본 좌표들은, 상기 복수 개의 기준점 내의 영역에 배치될 수 있다.
복수 개의 표본 좌표들은, 상기 복수 개의 기준점에서 로봇의 기준 좌표계로부터 로봇 말단으로의 변환 행렬을 기록하는 단계, 상기 복수 개의 기준점들이 공통적으로 바라보는 동작 중심점을 설정하는 단계, 상기 설정된 동작 중심점을 기준으로 상기 복수 개의 기준좌표들의 위치를 결정짓는 변수들을 기록하고 각 변수들의 최소값 및 최대값을 추출하는 단계 및 상기 복수 개의 기준점들 사이의 난수 가중합을 통해 상기 복수 개의 표본 좌표들을 추출하는 단계를 통해 추출될 수 있다.
상기 변수들은 방위각, 고도각, 롤 및 상기 동작 중심점으로부터의 거리 중 적어도 둘을 포함할 수 있다.
상기 추출된 복수 개의 표본 좌표들의 변수들로부터 각 표본 좌표계의 변환행렬(Tj)이 산출될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른, 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 캘리브레이션 방법은, 로봇 엔드 이펙터에 배치된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계(복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 단계를 포함할 수 있다.
상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 베이스 기준 카메라의 위치를 추정하는 단계는, 상기 로봇 말단-마커 오프셋(Tem)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 로봇 베이스 기준 카메라의 위치를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 로봇 말단-마커 오프셋(Tem)을 추정하는 단계를 포함할 수 있다.
상기 로봇 말단-마커 오프셋(Tem)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산될 수 있다.
상기 로봇 말단-마커 오프셋(Tem)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스의 에러 및 포지션 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정될 수 있다.
상기 로봇 말단-마커 오프셋(Tem)은
Figure PCTKR2020015028-appb-I000002
을 통해 산출되며, 여기서, j는 표본 좌표의 인덱스를, Tj는 로봇의 변환 행렬을 나타낸다. Tem는 로봇 말단으로부터 마커로의 오프셋 추정값을 나타내고, Tm,j는 카메라로부터 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타낼 수 있다.
상기한 목적을 달성하기 위한 본 발명의 또 다른 양태에 따른, 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치는, 로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 프로세서를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른, 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치는, 상기 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부(상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨) 및 상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 프로세서를 포함할 수 있다.
본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에 따르면, 미리 정확한 좌표에 마커를 위치시킨 기준 좌표계나 별도의 제약 조건 없이, 로봇 비전 시스템을 임의의 환경에서 간편하게 캘리브레이션이 이루어지도록 하는 효과가 있다.
특히, 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에 따르면, 어떠한 작업 영역에서도 그에 맞춰 캘리브레이션을 과적합시킬 수 있기 때문에, 왜곡이 심한 저가형 카메라로도 제약조건이 많은 환경에서 로봇이 정밀한 작업을 수행할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법이 사용되는 로봇 비전 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법을 개략적으로 나타낸 흐름도,
도 3은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에서 기준점 N개를 지정하는 개념을 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법의 표본 좌표를 균일하게 선택하는 방법을 구체적으로 나타낸 상세흐름도,
도 5는 본 발명의 일 실시예에 따른 자동 캘리브레이션 장치를 개략적으로 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법이 사용되는 로봇 비전 시스템을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 로봇 비전 시스템은 카메라(110), 로봇 제어기(120) 및 캘리브레이션 장치(130)를 포함할 수 있다.
도 1을 참조하면, 캘리브레이션 장치(130)는 카메라(110)와 로봇 제어기(120)와 연동하여 카메라(110)로부터 촬영된 이미지, 특히 마커를 촬영한 이미지 정보를 획득하고, 로봇 제어기(120)로부터 로봇 제어와 관련된 정보를 획득한다. 로봇 제어와 관련된 정보는 로봇이 기준점, 또는 표본 좌표와 같은 특정 영역에 위치할 때 로봇 좌표계에서의 좌표 정보 내지 위치를 결정짓는 변수 정보(고도각, 방위각 등)를 포함할 수 있다. 로봇 제어기(120)는 인코더(encoder)를 포함할 수 있다.
본 발명의 실시예에 따르면, 카메라(110)는 로봇의 말단, 즉, 엔드 이펙터에 탑재되어 로봇의 가동영역 내에 존재하는 마커를 촬영하고 촬영된 이미지 정보를 획득할 수 있다. 이것이 제 1 실시예가 될 수 있다. 또한, 제 2 실시예에서는, 카메라(110)는 로봇과 이격된 위치에 별도로 고정되어 존재하되, 로봇의 말단에 마커를 부착하고 카메라 영상에 마커가 보이는 영역을 가동영역으로 설정하여 캘리브레이션이 이루어지도록 할 수 있다.
캘리브레이션 장치(130)는 카메라(110)와 로봇 제어기(120)로부터 정보를 획득하여 카메라의 고유 매개 변수뿐만 아니라 로봇-카메라 간의 오프셋 값을 한번에 자동으로 캘리브레이션할 수 있다. 이는 다음의 도 2를 통해 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 로봇의 작업 영역의 임의의 위치에 마커(marker)를 두고, 사용자는 로봇을 N 개의 기준점으로 움직이며 가동 영역을 교시한다(S210). 이때, 직접 교시, 간접 교시 등의 방법이 사용될 수 있다. 이 과정은 도 3을 통해 보다 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법에서 기준점 N개를 지정하는 개념을 설명하기 위한 개념도이다.
도 3을 참조하면, 임의의 작업 위치에서 캘리브레이션을 수행하기 위해, 사용자는 캘리브레이션 수행의 기준이 되는 영역을 가변적으로 지정해주는 것이 바람직하다. 이는 사용자에 의해 직접교시 간접교시 등의 방법을 통해 수행될 수 있다. 본 발명의 실시예에 따르면, 로봇의 베이스(base)가 존재하는 위치 또는 해당 위치로부터 일정 영역(로봇의 작업 영역) 상에 마커를 배치하고, 캘리브레이션을 수행하면서 로봇이 이동할 영역의 가장자리가 되는 기준점 N개를 지정한다.
본 발명의 실시예에 따르면, 기준점은 4개인 것이 바람직하다. 이러한 기준점으로부터 시드 뷰(seed view)를 N개 획득할 수 있다.
다시 도 2로 돌아가서, 장치는 교시된 기준점들 안쪽의 영역, 즉, 가동영역에서 표본 좌표들을 설정하여 해당 좌표로 이동함에 의해 마커 이미지를 획득한다(S220). 본 발명의 실시예에 따르면, 표본 좌표는 약 15개 내지 25개를 설정하는 것이 바람직하고, 보다 바람직하게는, 20개를 설정하는 것이 좋다. 이때, 표본 좌표들을 균일하게 선택하기 위해 도 4의 과정을 거치는 것이 바람직하다.
도 4는 본 발명의 일 실시예에 따른 자동 캘리브레이션 방법의 표본 좌표를 균일하게 선택하는 방법을 구체적으로 나타낸 상세흐름도이다.
도 4를 참조하면, 단계(S210)에서 설정한 4개의 기준점에서 로봇 기준 좌표계로부터 로봇 말단으로의 변환 행렬(Ti, i∈{1, ..., N})을 기록한다. 여기서, i는 기준점의 인덱스를 나타낸다(S410).
그리고는, 장치는 로봇이 움직일 구면 좌표계의 중심점을 추출하기 위해, 기준점들이 공통적으로 바라보는 동작 중심점을 설정한다(S420). 이를 위해, 다음의 최소화 문제를 풀어, 모든 말단 좌표계의 z축과 가장 가까운 점을 동작 중심점으로 추출하는 것이 바람직하다(S420).
Figure PCTKR2020015028-appb-M000001
그리고는, 단계(S420)에서 설정한 동작 중심점을 기준으로 기준점들의 방위각 θi, 고도각 Ψi, 롤 ωi, 그리고 상기 동작 중심점으로부터의 거리 di 값을 기록하고, 각각의 변수들의 최소값 및 최대값을 추출한다(S430). 이는 다음의 변수 값으로 표현된다. (θmin, θmax, Ψmin, Ψmax, ωmin, ωmax, dmin, dmax)
그 다음으로, 장치는 기준점 사이의 난수 가중합을 통해 임의의 표본 좌표들을 복수 개 추출한다(S440). 이때, 표본 좌표의 수는 약 15개 내지 25개가 적합하며, 보다 바람직하게는 20개가 좋다. 이때, 구면좌표계에서 균일한 표본 좌표를 획득하기 위해, 다음의 수학식을 이용하는 것이 바람직하다.
Figure PCTKR2020015028-appb-M000002
Figure PCTKR2020015028-appb-I000003
여기서, r은 0과 1 사이의 난수를 나타낸다.
그리고는, 새로 추출된 약 20개의 표본 좌표들의 방위각, 고도각, 롤 및 거리 중 적어도 하나로부터 각 표본 좌표계의 변환행렬 Tj를 산출한다(S450).
다시 도 2로 돌아가서, 표본 좌표를 설정 및 그에 대한 변환행렬을 계산한 후, 계산된 표본 좌표들로 로봇의 엔드 이펙터를 이동시켜 각 표본 좌표에서 마커의 이미지를 획득한다.
그리고는, 획득된 이미지로부터 카메라 고유 매개 변수를 추정하고(S230), 각 이미지로부터 카메라 기준 마커의 위치(Tm,j)를 추정한다(S240). 추정되는 카메라 고유 매개 변수는 초점거리, 오프셋, 왜곡 상수 등이 포함될 수 있다.
그리고는, 추정된 카메라 기준 마커의 위치를 이용, 로봇 좌표계 기준 마커의 위치를 추정한다(S250).
본 발명의 실시예에 따르면, 로봇 좌표계 기준 마커의 위치를 추정하기 위해, 장치는 비선형 최적화 알고리즘을 사용한다. 장치는 여러 자세에서 카메라 기준 마커의 위치 값을 로봇 기준 좌표계로 변환한 좌표(Tj, Toff, Tm,j)의 오차가 최소가 되도록 하는 방식을 이용하여 카메라-로봇 오프셋(Toff)를 추정한다. 여기서, Tm,j는 특정 표본 좌표에서의 카메라 기준 마커의 위치를 나타낸다. j는 표본 좌표의 인덱스를 나타낸다. 이때, 비선형 최적화 알고리즘은 BroydenFletcher-GoldfarbShanno 등 다양한 알고리즘을 사용할 수 있다. 특히, 연산의 효율성 및 수렴성을 위해, Toff는 x-y-z 좌표 및 z-y-x 오일러각의 6개 변수의 함수로 두고 계산할 수 있다. 이는 다음의 수학식으로 표현할 수 있다.
Figure PCTKR2020015028-appb-M000003
여기서, Toff은 가정값으로 들어가고, Toff의 에러를 최소화하는 방식으로 비선형 알고리즘이 실행된다. 수학식 3의 하단 식을 살펴보면, 표본 좌표(j) 이전 표본 좌표인 표본 좌표(j-1)에 대해 표본 좌표계의 변환 행렬, Toff 값, 그리고, 카메라로부터 마커의 위치(Tm,j-1)를 산출하고, 이에 대해 인버스(inverse)를 취한다. 그리고, 표본 좌표(j)와 관련된 항은 정방향으로 계산함에 따라 표본 좌표(j-1)로 갔다가 표본 좌표(j)로 돌아오는 경로에서 두 지점 사이의 틀어짐의 정도 값만 남게 된다. 이것이 상기 하단 식으로 표현된다. 그리고, 수학식 3의 상단 식을 살펴보면, ∥log(ΔRj)∥가 로테이션 매트릭스의 놈(Norm)을 나타내고, r∥ΔRj∥가 포지션 에러의 놈이 되어, 합쳐서 Toff과 관련하여 전체 에러의 놈이 형성되며, 여기에 시그마(Σ) 값을 취함에 따라 전체 표본 좌표에서의 촬영에서의 에러값을 합산한 값이 생성되고, 이를 최소화하는 방향으로 캘리브레이션 프로세스가 동작한다.
본 발명의 다른 실시예에 따르면, 카메라가 별도로 설치된 작업 환경에서 로봇 말단에 마커를 부착하고, 카메라 영상에 마커가 보이는 영영에거 기준점을 설정하여 도 2의 일련의 과정을 유사하게 수행함에 따라 로봇 말단-마커 오프셋(Tem)을 추정하고, 이를 통해 로봇 베이스 기준의 카메라 위치
Figure PCTKR2020015028-appb-I000004
를 추정할 수 있다. 여기서, Tj는 로봇의 변환 행렬을 나타낸다. Tem는 로봇 말단으로부터 마커로의 오프셋 추정값을 나타내고, Tm,j는 카메라로부터 마커의 위치이다. 이를 수학식으로 나타내면 다음과 같다.
Figure PCTKR2020015028-appb-M000004
Tm,j -1은 마커로부터 카메라로의 변환 행렬이 되고, 표본 좌표(j)의 이전 표본 좌표(j-1)에서의 로봇 기준 좌표계로부터 카메라의 위치와 표본 좌표(j)에서의 로봇 기준 좌표계로부터 카메라의 위치 사이의 에러에 대한 로테이션 매트릭스 및 포지션 매트릭스의 에러를 최소화하는 방법으로, 로봇 베이스 기준 카메라 위치뿐만 아니라 로봇 말단-마커 오프셋(Tem)을 추정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 자동 캘리브레이션 장치를 개략적으로 나타낸 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 자동 캘리브레이션 장치는 입력부(510), 메모리(520), 프로세서(520), 출력부(540) 및 사용자 인터페이스(550)를 포함할 수 있다.
입력부(510)는 카메라 및 로봇 제어기(또는 로봇 인코더)로부터 정보를 획득할 수 있다. 카메라로부터는 촬영된 이미지 정보를 획득할 수 있고, 로봇 제어기로부터는 해당 이미지 촬영시의 로봇의 위치를 로봇 좌표계로 표현한 정보, 로봇의 제어명령과 관련된 정보를 획득할 수 있다.
메모리(520)는 프로세서(530)에서의 자동 캘리브레이션 프로시져(procedure)와 관련된 지시어를 저장하고 있다.
프로세서(530)는 카메라의 고유 매개 변수와 로봇-카메라 오프셋을 한번에 캘리브레이션한다. 프로세서(530)는, 작업 영역의 임의의 위치에 마커를 두고, 로봇을 복수 개의 기준좌표로 움직여 가동영역을 교시하도록 한 후, 로봇이 가동 영역 안에서 자동으로 움직일 때, 입력부(510)를 통해 획득되는 다수의 마커 이미지와 로봇 좌표계를 수신하여, 해당 이미지로부터 카메라 고유 매개 변수를 추정하고 각 이미지에서 카메라 기준 마커의 위치를 추정한다. 이때, 비선형 알고리즘을 사용하여 다양한 자세에서 카메라 기준 마커의 위치를 로봇의 기준 좌표계로 변환했을 때, 에러율이 최소가 되는 카메라-로봇 오프셋을 추정한다.
출력부(540)는 추정된 카메라 고유 매개 변수 및 카메라-로봇 오프셋 정보를 출력한다.
사용자 인터페이스(550)는 해당 장치에서 설정해야 할 다양한 설정값을 설정하는데 사용되는 구성요소이다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (17)

  1. 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 자동 캘리브레이션 방법에 있어서,
    로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  2. 제 1 항에 있어서, 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 좌표계 기준 마커의 위치를 추정하는 단계는,
    상기 카메라-로봇 오프셋(Toff)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 카메라 기준 마커의 위치(Tm,j)를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 카메라-로봇 오프셋(Toff)을 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  3. 제 2 항에 있어서,
    상기 카메라-로봇 오프셋(Toff)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산되는, 자동 캘리브레이션 방법.
  4. 제 3 항에 있어서,
    상기 카메라-로봇 오프셋(Toff)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스(R)의 에러 및 포지션(P) 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정되는, 자동 캘리브레이션 방법.
  5. 제 4 항에 있어서,
    상기 카메라-로봇 오프셋(Toff)은
    Figure PCTKR2020015028-appb-I000005
    을 통해 산출되며,
    여기서, j는 표본 좌표의 인덱스를, Tj는 표본 좌표 j의 변환 행렬을, Tm,j는 표본 좌표 j에서 카메라 기준 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타내는, 자동 캘리브레이션 방법.
  6. 제 1 항에 있어서,
    상기 엔드 이펙터는 가동영역이 교시된 상태로 구비되며,
    상기 가동영역은 캘리브레이션의 기준이 되는 영역으로 복수 개의 기준점으로 정의되는, 자동 캘리브레이션 방법.
  7. 제 6 항에 있어서,
    상기 복수 개의 표본 좌표들은, 상기 복수 개의 기준점 내의 영역에 배치되는, 자동 캘리브레이션 방법.
  8. 제 1 항에 있어서, 복수 개의 표본 좌표들은,
    상기 복수 개의 기준점에서 로봇의 기준 좌표계로부터 로봇 말단으로의 변환 행렬을 기록하는 단계;
    상기 복수 개의 기준점들이 공통적으로 바라보는 동작 중심점을 설정하는 단계;
    상기 설정된 동작 중심점을 기준으로 상기 복수 개의 기준좌표들의 위치를 결정짓는 변수들을 기록하고 각 변수들의 최소값 및 최대값을 추출하는 단계; 및
    상기 복수 개의 기준점들 사이의 난수 가중합을 통해 상기 복수 개의 표본 좌표들을 추출하는 단계를 통해 추출되는, 자동 캘리브레이션 방법.
  9. 제 8 항에 있어서,
    상기 변수들은 방위각, 고도각, 롤 및 상기 동작 중심점으로부터의 거리 중 적어도 둘을 포함하는, 자동 캘리브레이션 방법.
  10. 제 8 항에 있어서,
    상기 추출된 복수 개의 표본 좌표들의 변수들로부터 각 표본 좌표계의 변환행렬(Tj)이 산출되는, 자동 캘리브레이션 방법.
  11. 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에서의 캘리브레이션 방법에 있어서,
    로봇 엔드 이펙터에 배치된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 단계, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  12. 제 11 항에 있어서, 상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 로봇 베이스 기준 카메라의 위치를 추정하는 단계는,
    상기 로봇 말단-마커 오프셋(Tem)을 가정된 값으로 두고 비선형 최적화 알고리즘을 사용하여 복수 개의 자세에서 로봇 베이스 기준 카메라의 위치를 로봇 기준 좌표계로 변환한 좌표의 에러율을 최소로 만드는 방식을 통해 로봇 말단-마커 오프셋(Tem)을 추정하는 단계를 포함하는, 자동 캘리브레이션 방법.
  13. 제 12 항에 있어서,
    상기 로봇 말단-마커 오프셋(Tem)은 x-y-z 좌표 및 z-y-x 오일러 각을 포함하는 변수들의 함수로 계산되는, 자동 캘리브레이션 방법.
  14. 제 13 항에 있어서,
    상기 로봇 말단-마커 오프셋(Tem)은 제 1 표본 좌표와 제 2 표본 좌표 간의 틀어짐 정도를 로테이션 매트릭스의 에러 및 포지션 에러의 값으로 표현하고, 이를 최소화하는 비선형 최적화 알고리즘을 이용하여 추정되는, 자동 캘리브레이션 방법.
  15. 제 14 항에 있어서,
    상기 로봇 말단-마커 오프셋(Tem)은
    Figure PCTKR2020015028-appb-I000006
    을 통해 산출되며,
    여기서, j는 표본 좌표의 인덱스를, Tj는 로봇의 변환 행렬을 나타낸다. Tem는 로봇 말단으로부터 마커로의 오프셋 추정값을 나타내고, Tm,j는 카메라로부터 마커의 위치를, R은 로테이션 매트릭스와 관련된 변수를, P는 포지션 에러와 관련된 변수를 나타내는, 자동 캘리브레이션 방법.
  16. 로봇의 엔드 이펙터에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에 있어서,
    로봇의 작업 영역에 마킹된 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지 및 로봇 기준 좌표계를 이용하여 카메라 기준 마커의 위치를 추정하는 프로세서를 포함하는, 자동 캘리브레이션 장치.
  17. 로봇으로부터 이격된 위치에 배치된 카메라 및 상기 로봇을 제어하는 로봇 제어기와 연결된 캘리브레이션 장치에 있어서,
    상기 마커에 대한 이미지 및 로봇 기준 좌표계를 상기 카메라 및 상기 로봇 제어기로부터 획득하는 입력부, 상기 획득된 이미지 및 로봇 기준 좌표계는 복수 개의 표본 좌표들로 상기 엔드 이펙터를 이동시키며 기록됨; 및
    상기 획득된 이미지로부터 로봇 베이스 기준 카메라 위치를 추정하는 프로세서를 포함하는, 자동 캘리브레이션 장치.
PCT/KR2020/015028 2019-11-01 2020-10-30 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 WO2021086108A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/772,074 US11642789B2 (en) 2019-11-01 2020-10-30 Automatic calibration method and device for robot vision system
EP20881234.7A EP4052861A4 (en) 2019-11-01 2020-10-30 AUTOMATIC CALIBRATION METHOD AND DEVICE FOR ROBOT VISION SYSTEM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020190138460A KR102111655B1 (ko) 2019-11-01 2019-11-01 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
KR10-2019-0138460 2019-11-01
KR10-2020-0055963 2019-11-01
KR1020200055963A KR102220173B1 (ko) 2019-11-01 2020-05-11 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021086108A1 true WO2021086108A1 (ko) 2021-05-06

Family

ID=75718775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015028 WO2021086108A1 (ko) 2019-11-01 2020-10-30 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Country Status (4)

Country Link
US (1) US11642789B2 (ko)
EP (1) EP4052861A4 (ko)
KR (1) KR102220173B1 (ko)
WO (1) WO2021086108A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117226853B (zh) * 2023-11-13 2024-02-06 之江实验室 一种机器人运动学标定的方法、装置、存储介质、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0165435B1 (ko) * 1995-09-13 1999-03-20 김광호 비젼 시스템의 카메라 취부 및 보정 방법
KR100207722B1 (ko) * 1997-03-25 1999-07-15 윤종용 위치 제어 시스템의 캘리브레이션 방법
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法
KR20190027584A (ko) * 2017-09-07 2019-03-15 주식회사 인지 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치
KR102111655B1 (ko) * 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101622659B1 (ko) 2009-10-29 2016-05-20 대우조선해양 주식회사 로봇과 레이저 비전 시스템 간의 캘리브레이션 방법
KR101465652B1 (ko) 2013-04-12 2014-11-28 성균관대학교산학협력단 로봇 핸드와 로봇 핸드에 부착된 카메라의 캘리브레이션 방법 및 장치
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
US10076842B2 (en) * 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
US10625427B2 (en) * 2017-06-14 2020-04-21 The Boeing Company Method for controlling location of end effector of robot using location alignment feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0165435B1 (ko) * 1995-09-13 1999-03-20 김광호 비젼 시스템의 카메라 취부 및 보정 방법
KR100207722B1 (ko) * 1997-03-25 1999-07-15 윤종용 위치 제어 시스템의 캘리브레이션 방법
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法
KR20190027584A (ko) * 2017-09-07 2019-03-15 주식회사 인지 카메라와 로봇 핸드의 캘리브레이션 방법 및 장치
KR102111655B1 (ko) * 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4052861A4 *

Also Published As

Publication number Publication date
EP4052861A1 (en) 2022-09-07
US11642789B2 (en) 2023-05-09
EP4052861A4 (en) 2023-11-29
KR102220173B9 (ko) 2022-01-17
KR102220173B1 (ko) 2021-02-25
US20220379483A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
KR102111655B1 (ko) 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
Muis et al. Eye-to-hand approach on eye-in-hand configuration within real-time visual servoing
WO2016024797A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2013077623A1 (ko) 구조물 변위 측정 시스템 및 방법
CN108908334A (zh) 一种基于深度学习的智能抓取系统及方法
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
WO2021086108A1 (ko) 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
JPH1183530A (ja) 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN110634164B (zh) 视觉传感器快速标定方法
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2016195299A1 (ko) 탄소섬유강화플라스틱 부품에 대한 광학 검사 방법
WO2020055195A1 (ko) 열화상 영상을 이용한 구조물의 균열깊이 측정방법 및 장치
WO2017065358A1 (ko) 시약 키트의 이미지를 통한 감염병 진단 방법 및 장치
WO2017213335A1 (ko) 실시간 영상 합성 방법
WO2023096133A1 (ko) 경량화된 자세 추정 모델 제공 장치 및 방법
CN110719452B (zh) 一种色坐标测量方法、测量装置、计算机设备和存储介质
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
CN111098306A (zh) 机器人的标定方法、装置、机器人和存储介质
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2022025690A1 (ko) 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
WO2021096167A1 (ko) 선박 선저검사용 수중 카메라 영상보정 시스템 및 방법
CN112584041B (zh) 一种图像识别动态纠偏方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20881234

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020881234

Country of ref document: EP

Effective date: 20220601