KR102205040B1 - Intelligent robot controling method of turning machining using machine vision - Google Patents

Intelligent robot controling method of turning machining using machine vision Download PDF

Info

Publication number
KR102205040B1
KR102205040B1 KR1020200075919A KR20200075919A KR102205040B1 KR 102205040 B1 KR102205040 B1 KR 102205040B1 KR 1020200075919 A KR1020200075919 A KR 1020200075919A KR 20200075919 A KR20200075919 A KR 20200075919A KR 102205040 B1 KR102205040 B1 KR 102205040B1
Authority
KR
South Korea
Prior art keywords
cap
vision
robot arm
robot
robot control
Prior art date
Application number
KR1020200075919A
Other languages
Korean (ko)
Inventor
신승호
신종호
Original Assignee
주식회사 대덕알앤디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 대덕알앤디 filed Critical 주식회사 대덕알앤디
Priority to KR1020200075919A priority Critical patent/KR102205040B1/en
Application granted granted Critical
Publication of KR102205040B1 publication Critical patent/KR102205040B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • B25J19/061Safety devices with audible signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

Disclosed is an intelligent robot control method using a machine vision, comprising: a step where a robot control unit controls a robot arm unit to move to a preset reference position; a step where the robot control unit controls a vision camera unit to photograph a subject to be extracted; a step of detecting a cap-shaped disc in a vision image photographed by the vision camera unit; a step where the cap-shaped disc controls and moves the robot arm unit in accordance with an offset value between the detected vision position and the preset reference position; a step where the robot control unit controls an extraction tool unit to extract the cap-shaped disc, and controls the robot arm unit to transfer the extracted cap-shaped disc; and a step where, when the cap-shaped disc is completely transferred, the robot control unit controls a slip sheet adsorption unit to adsorb and remove a slip sheet. The present invention is able to effectively extract, transfer, and remove the subject to be extracted and the slip sheet from a pallet by using a robot.

Description

머신비전을 이용한 지능형 로봇 제어방법{INTELLIGENT ROBOT CONTROLING METHOD OF TURNING MACHINING USING MACHINE VISION}Intelligent robot control method using machine vision {INTELLIGENT ROBOT CONTROLING METHOD OF TURNING MACHINING USING MACHINE VISION}

본 발명(Disclosure)은, 머신비전을 이용한 지능형 로봇 제어방법에 관한 것으로, 구체적으로, 로봇에 구비된 비전카메라를 통해 검출된 비전위치와, 기 설정된 기준위치 및 오프셋(offset)거리에 따라 취출위치를 결정하고, 그 취출위치에 따라 로봇의 위치제어를 통해 취출대상물을 취출 및 이송한 후에, 간지를 흡착 제거하는 과정을 반복 수행함으로써, 파레트에서 취출대상물과 간지를 로봇을 이용하여 효과적으로 취출, 이송 및 제거할 수 있는 머신비전을 이용한 지능형 로봇 제어방법에 관한 것이다.The present invention (Disclosure) relates to an intelligent robot control method using machine vision, and specifically, a vision position detected through a vision camera provided in the robot, and an extraction position according to a preset reference position and an offset distance. Is determined, and after taking out and transferring the take-out object through the robot's position control according to the take-out position, by repeatedly performing the process of adsorbing and removing the slip sheet, effectively taking out and transferring the take-out object and the slip sheet from the pallet using the robot. And an intelligent robot control method using removable machine vision.

여기서는, 본 발명에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).Here, background technology related to the present invention is provided, and these do not necessarily mean known technology (This section provides background information related to the present disclosure which is not necessarily prior art).

자동차, 열차 등에 사용되는 바퀴 휠과 브레이크에 사용되는 디스크는 주철 재질 등으로 제조된다.Wheels used in automobiles and trains and discs used in brakes are made of cast iron.

여기에서, 바퀴 휠 및 디스크는 제작 단계 또는 사용 중에 발생되는 편마모, 부식 등의 이유로 지속적인 점검이 요구되며, 일정한 품질이 유지될 수 있도록 외표면을 후가공하는 작업이 요구된다.Here, the wheel, wheel and disk require continuous inspection due to uneven wear, corrosion, etc. occurring during the manufacturing stage or during use, and the work of post-processing the outer surface to maintain a certain quality is required.

또한, 열차의 차륜은 마모에 따라 주기적으로 탈착시켜 정밀 가공하거나 진단을 수행하기 위해 중량물인 차륜을 이송할 수 있는 로봇을 이용한 위치제어를 통해 차륜을 가공기에 로딩 및 언로딩할 수 있다.In addition, the wheels of the train may be periodically detached according to wear and then precisely processed, or the wheels may be loaded and unloaded into the processing machine through position control using a robot capable of transferring the wheels, which are heavy objects to perform diagnosis.

이러한 바퀴 휠 및 디스크(이하에서는 '디스크'로 하여 통칭하기로 한다)는 고중량으로 인해 인력을 이용한 운반이나 장시간의 작업이 어렵기 때문에, 디스크에 대한 운반 및 가공은 생산성 향상과 작업자 안전을 고려하여 주로 자동화 시스템에 의해 수행되고 있다.These wheel wheels and disks (hereinafter referred to as'disks') are difficult to transport or work for a long time due to their high weight, so the transport and processing of the disks are performed in consideration of productivity improvement and worker safety. It is mainly carried out by an automated system.

상기 자동화 시스템에서는 디스크는 기 설정된 규격으로 구비된 파레트에 적재될 수 있고, 파레트에 적재된 디스크는 가공을 위해 로봇에 의해 가공 장치로 이송될 수 있다.In the automated system, the disk may be loaded on a pallet provided with a preset standard, and the disk loaded on the pallet may be transferred to a processing device by a robot for processing.

하지만, 황삭가공된 디스크는 선삭가공(또는 연마공정)에 투입하기 위해 간지 위에 일정한 패턴을 적용시켜 캡형 디스크 한층을 적재한 후 간지를 다시 적층하는 적층형으로 파레트에 적재될 수 있는데, 파레트 내부에 적재되는 디스크와 간지를 취출하기 위해서 디스크를 패턴에 따라 취출한 후에 간지를 제거하는 과정을 반복 수행해야 하지만 그 위치제어가 어렵고, 디스크 취출과 간지 취출을 위한 별도의 로봇이 필요한 문제점이 있다.However, the roughed disk can be loaded onto the pallet in a stacked type in which a layer of cap-type disks is stacked again after applying a certain pattern on the slip sheets to put them into the turning process (or polishing process). In order to take out the disc and the slip sheet, the process of removing the slip sheet must be repeatedly performed after the disk is taken out according to the pattern, but the position control is difficult, and there is a problem that a separate robot for taking out the disk and taking out the slip sheet is required.

또한, 종래에는 파레트 단위로 소재를 취급하기 때문에 3*3, 4*4 등과 같은 정형화된 패턴을 적용할 수 없을 경우도 있을 뿐만 아니라 한층에 11개, 17개 등 다양한 패턴을 이용할 수 있는데, 이와 같은 정형화되지 않은 패턴은 화물차, 지게차 등을 이용한 운송 과정에서 패턴의 왜곡이 발생하기 때문에, 정확한 위치에서 소재를 취출할 수 없어 자동화 공정에 변수로 작용하는 문제가 있다.In addition, conventionally, since materials are handled in pallet units, there may be cases where it is not possible to apply standard patterns such as 3*3, 4*4, and various patterns such as 11 and 17 can be used per layer. The same non-standardized pattern has a problem of acting as a variable in the automated process because the pattern is distorted during transportation using a freight truck, forklift, etc., and the material cannot be taken out from an accurate location.

아울러, 종래에는 지게차로 소재를 투입할 경우 공차가 반드시 발생하게 되고, 시스템 운용에 문제가 발생할 경우 작업자가 소프트웨어적으로 오프셋을 임의로 부여하여 로봇을 운용하였지만, 소재가 적층된 층별로 허용 범위를 벗어난 경우 동일한 문제가 반복적으로 발생하여 자동화 공정을 이용한 연속 생산과 그 생산성에 문제점이 있다.In addition, conventionally, when a material is input by a forklift, a tolerance must occur, and when a problem occurs in system operation, the operator randomly assigned an offset by software to operate the robot, but the material is outside the allowable range for each layer on which the material is stacked. In this case, the same problem occurs repeatedly, and there is a problem in continuous production using an automated process and its productivity.

1. 한국등록특허공보 제10-0457312호(2004.11.05.등록)1. Korean Registered Patent Publication No. 10-0457312 (registered on November 5, 2004)

본 발명(Disclosure)은, 로봇에 구비된 비전카메라를 통해 검출된 비전위치와, 기 설정된 기준위치 및 오프셋(offset)거리에 따라 취출위치를 결정하고, 그 취출위치에 따라 로봇의 위치제어를 통해 취출대상물을 취출 및 이송한 후에, 간지를 흡착 제거하는 과정을 반복 수행함으로써, 파레트에서 취출대상물과 간지를 로봇을 이용하여 효과적으로 취출, 이송 및 제거할 수 있는 머신비전을 이용한 지능형 로봇 제어방법의 제공을 일 목적으로 한다.The present invention (Disclosure) determines the take-out position according to the vision position detected through a vision camera provided in the robot, a preset reference position and an offset distance, and controls the position of the robot according to the take-out position. Provides an intelligent robot control method using machine vision that can effectively take out, transfer and remove the take-out object and the slip sheet from the pallet by using a robot by repeatedly performing the process of adsorbing and removing the slip sheet after taking out and transporting the take-out object. Is for work purposes.

그리고, 본 발명(Disclosure)은, 특정위치에서 비전영상을 통해 검출한 비전위치에서 특정위치에 대응하는 기준위치를 감산하여 특정위치에 대응하는 로봇의 오프셋값을 획득하고, 기준위치와 오프셋값을 합산하여 특정위치에서 비전 오프셋값을 반영한 취출위치를 결정함으로써, 취출할 디스크의 검출위치에 따라 로봇의 정확한 위치제어를 통해 해당 디스크를 정밀하게 취출할 수 있는 머신비전을 이용한 지능형 로봇 제어방법의 제공을 일 목적으로 한다.Further, the present invention (Disclosure) obtains an offset value of a robot corresponding to a specific position by subtracting a reference position corresponding to a specific position from a vision position detected through a vision image at a specific position, and calculates the reference position and the offset value. Providing an intelligent robot control method using machine vision that can accurately eject the disk through precise position control of the robot according to the detection position of the disk to be ejected by determining the ejection position reflecting the vision offset value at a specific position by adding up Is for work purposes.

여기서는, 본 발명의 전체적인 요약(Summary)이 제공되며, 이것이 본 발명의 외연을 제한하는 것으로 이해되어서는 아니 된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).Here, a summary of the present invention is provided, and this section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).

상기한 과제의 해결을 위해, 본 발명을 기술하는 여러 관점들 중 어느 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법은, 로봇제어부에서 로봇아암부를 제어하여 기 설정된 기준위치로 이동하는 단계; 상기 로봇제어부에서 비전카메라부를 제어하여 취출대상물을 촬영하는 단계; 상기 비전카메라부를 통해 촬영된 비전영상에서 캡형 디스크를 검출하는 단계; 상기 캡형 디스크가 검출된 비전위치와 상기 기 설정된 기준위치와의 오프셋(offset)값에 따라 상기 로봇아암부를 제어하여 이동시키는 단계; 상기 로봇제어부에서 취출툴부를 제어하여 상기 캡형 디스크를 취출한 후에, 상기 로봇아암부를 제어하여 취출된 상기 캡형 디스크를 이송하는 단계; 및 상기 캡형 디스크의 이송이 완료되면 상기 로봇제어부에서 간지흡착부를 제어하여 간지를 흡착 제거하는 단계;를 포함한다.In order to solve the above problems, the intelligent robot control method using machine vision according to any one of the various aspects describing the present invention, in which the robot control unit controls the robot arm to move to a preset reference position. step; Photographing an object to be taken out by controlling the vision camera unit in the robot control unit; Detecting a cap-type disk from the vision image captured through the vision camera unit; Controlling and moving the robot arm according to an offset value between the detected vision position of the cap-shaped disk and the preset reference position; Controlling the take-out tool part by the robot control part to take out the cap-type disk, and then controlling the robot arm part to transfer the taken out cap-type disk; And when the transfer of the cap-type disk is completed, the robot control unit controls the separation sheet to be sucked and removed.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 취출대상물을 촬영하는 단계 후에, 상기 비전영상에서 상기 캡형 디스크를 검출하지 못한 검출오류를 카운트하여 검출오류 임계값이 될 경우 상기 로봇아암부를 제어하여 검색위치를 변경하는 단계;를 더 포함할 수 있다.In an intelligent robot control method using machine vision according to an aspect of the invention, after the step of photographing the object to be taken out, a detection error that fails to detect the cap-type disk in the vision image is counted to become a detection error threshold. In this case, the method may further include controlling the robot arm to change the search location.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 검색위치를 변경하는 중에 변경횟수 임계값이 될 경우 이상상태 알람을 제공하는 단계;를 더 포함할 수 있다.In the intelligent robot control method using machine vision according to an aspect of the invention, the step of providing an abnormal state alarm when a threshold value of the number of times of change is reached while changing the search location; may further include.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 로봇아암부를 제어하여 이동시키는 단계는, 상기 비전영상에서 상기 캡형 디스크가 검출될 경우 상기 기준위치와 상기 비전위치와의 오프셋거리가 오프셋거리 임계값 미만인 경우 상기 로봇아암부를 제어하여 상기 비전위치로 이동시킬 수 있다.In the intelligent robot control method using machine vision according to an aspect of the invention, the step of controlling and moving the robot arm unit includes: when the cap-type disk is detected in the vision image, the reference position and the vision position are When the offset distance is less than the offset distance threshold, the robot arm may be controlled to move to the vision position.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 캡형 디스크를 검출하는 단계에서 상기 캡형 디스크를 패턴별로 검출하지 못한 경우 비전카메라의 노출시간보정 및 조명강도조정을 수행하는 단계;를 더 포함할 수 있다.In the intelligent robot control method using machine vision according to an aspect of the invention, when the cap-type disk is not detected for each pattern in the step of detecting the cap-type disk, the exposure time correction and the illumination intensity adjustment of the vision camera are performed. Step; may further include.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 로봇아암부를 제어하여 이동시키는 단계는, 상기 로봇아암부의 이동거리가 오차범위 내에서 상기 오프셋거리에 수렴할 경우 상기 기준위치에 대응하는 상기 오프셋값을 획득할 수 있다.In the intelligent robot control method using machine vision according to an aspect of the invention, the step of controlling and moving the robot arm unit includes the reference when the moving distance of the robot arm unit converges to the offset distance within an error range. The offset value corresponding to the position may be obtained.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 로봇아암부를 제어하여 이동시키는 단계는, 상기 기준위치와 상기 오프셋값을 합산하여 비전 오프셋값을 반영한 취출위치를 결정하여 상기 로봇아암부를 이동시킬 수 있다.In the intelligent robot control method using machine vision according to an aspect of the invention, the step of controlling and moving the robot arm includes determining an extraction position reflecting the vision offset value by summing the reference position and the offset value. The robot arm can be moved.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 로봇아암부를 제어하여 이동시키는 단계는, 상기 로봇아암부를 이동하도록 제어하기 전에 상기 로봇아암부의 좌표계를 취출좌표계로 변경할 수 있다.In the intelligent robot control method using machine vision according to an aspect of the invention, the step of controlling and moving the robot arm part may change the coordinate system of the robot arm part to the take-out coordinate system before controlling the robot arm part to move. have.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 캡형 디스크를 이송하는 단계는, 상기 취출툴부의 집게툴을 가동하여 상기 캡형 디스크를 취출한 후에, 상기 로봇아암부를 제어하여 목표위치로 이송시킬 수 있다.In the intelligent robot control method using machine vision according to an aspect of the present invention, the step of transferring the cap-type disk includes removing the cap-type disk by actuating a tong tool of the take-out tool part, and then controlling the robot arm part. It can be transferred to the target position.

발명의 일 관점(aspect)에 따른 머신비전을 이용한 지능형 로봇 제어방법에서, 상기 간지를 흡착 제거하는 단계는, 상기 캡형 디스크를 순차 취출 및 이송한 후에, 상기 간지흡착부의 흡착툴을 하강시켜 상기 간지를 흡착 제거할 수 있다.In the intelligent robot control method using machine vision according to an aspect of the invention, the step of adsorbing and removing the slip sheets comprises: after sequentially taking out and transferring the cap-shaped disk, the suction tool of the slip sticking portion is lowered to lower the slip sheet. Can be removed by adsorption.

본 발명에 따르면, 로봇에 구비된 비전카메라를 통해 검출된 비전위치와, 기 설정된 기준위치 및 오프셋(offset)거리에 따라 취출위치를 결정하고, 그 취출위치에 따라 로봇의 위치제어를 통해 취출대상물을 취출 및 이송한 후에, 간지를 흡착 제거하는 과정을 반복 수행함으로써, 파레트에서 취출대상물과 간지를 로봇을 이용하여 효과적으로 취출, 이송 및 제거할 수 있다.According to the present invention, an extraction position is determined according to a vision position detected through a vision camera provided in a robot, a preset reference position and an offset distance, and an object to be taken out through the position control of the robot according to the extraction position. After taking out and transporting the slippers, by repeatedly performing the process of adsorbing and removing the slip sheets, the object to be taken out and the slip sheets from the pallet can be effectively taken out, transferred, and removed using a robot.

그리고, 본 발명에 따르면, 특정위치에서 비전영상을 통해 검출한 비전위치에서 특정위치에 대응하는 기준위치를 감산하여 특정위치에 대응하는 로봇의 오프셋값을 획득하고, 기준위치와 오프셋값을 합산하여 특정위치에서 비전 오프셋값을 반영한 취출위치를 결정함으로써, 취출할 디스크의 검출위치에 따라 로봇의 정확한 위치제어를 통해 해당 디스크를 정밀하게 취출할 수 있다.And, according to the present invention, by subtracting a reference position corresponding to a specific position from a vision position detected through a vision image at a specific position, an offset value of the robot corresponding to a specific position is obtained, and the reference position and the offset value are summed. By determining the ejection position reflecting the vision offset value at a specific position, the corresponding disk can be accurately ejected through the precise position control of the robot according to the detection position of the disk to be ejected.

또한, 본 발명에 따르면, 머신비전을 이용하여 위치제어를 수행할 경우 항상 일정한 위치에서 소재를 취출할 수 있어 디스크 로딩 장치 및 정렬 장치와 같은 별도의 장치가 필요하지 않을 뿐만 아니라 자석 툴 외에도 다양한 응용 툴을 설계하여 반영할 수 있으며, 머신비전을 이용한 로봇의 위치제어를 통해 항상 일정한 위치에서 소재를 취출 및 이송할 수 있어 안정적인 운용 환경을 제공할 수 있고, 취출해야 하는 위치마다 머신비전에서 틀어진 오프셋값을 자동으로 계산하여 생산성을 극대화할 수 있다.In addition, according to the present invention, when performing position control using machine vision, materials can always be taken out from a certain position, so that a separate device such as a disk loading device and an alignment device is not required, as well as various applications other than a magnetic tool. The tool can be designed and reflected, and material can be taken out and transferred from a certain position at all times through the position control of the robot using machine vision, providing a stable operating environment, and offsets deviated from the machine vision for each position to be taken out. The value can be calculated automatically to maximize productivity.

한편, 본 발명에 따르면, 머신비전을 이용하여 로봇의 위치제어가 가능하여 다른 공정과 결합된 작업을 수행할 수 있어 자동화 공정을 수행하는데 있어 경제성 및 효율성을 향상시킬 수 있다.On the other hand, according to the present invention, it is possible to control the position of the robot using machine vision, so that a task combined with other processes can be performed, thereby improving economic efficiency and efficiency in performing an automated process.

도 1은 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정을 나타낸 플로우차트이고,
도 2는 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정을 수행하는 제어장치의 블록구성도이며,
도 3은 본 발명의 실시예에 따른 파레트에 적재된 취출대상물을 예시한 도면이고,
도 4는 본 발명의 실시예에 따른 기준위치, 비전위치 및 오프셋거리를 설명하기 위한 도면이며,
도 5 및 도 6은 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정을 수행하는 제어장치를 예시한 도면이고,
도 7 및 도 8은 본 발명의 실시예에 따른 취출툴부 및 간지흡착부를 예시한 도면이며,
도 9는 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정을 구체적으로 설명하기 위한 플로우차트이다.
1 is a flowchart showing an intelligent robot control process using machine vision according to an embodiment of the present invention,
2 is a block diagram of a control device that performs an intelligent robot control process using machine vision according to an embodiment of the present invention.
3 is a diagram illustrating an object to be taken out loaded on a pallet according to an embodiment of the present invention,
4 is a diagram for explaining a reference position, a vision position, and an offset distance according to an embodiment of the present invention,
5 and 6 are diagrams illustrating a control device for performing an intelligent robot control process using machine vision according to an embodiment of the present invention,
7 and 8 are views illustrating a take-out tool part and a sticking part according to an embodiment of the present invention,
9 is a flow chart for explaining in detail an intelligent robot control process using machine vision according to an embodiment of the present invention.

이하, 본 발명에 따른 머신비전을 이용한 지능형 로봇 제어방법을 구현한 실시형태를 도면을 참조하여 자세히 설명한다.Hereinafter, an embodiment of implementing a method for controlling an intelligent robot using machine vision according to the present invention will be described in detail with reference to the drawings.

다만, 본 발명의 본질적인(intrinsic) 기술적 사상은 이하에서 설명되는 실시형태에 의해 그 실시 가능 형태가 제한된다고 할 수는 없고, 본 발명의 본질적인(intrinsic) 기술적 사상에 기초하여 통상의 기술자에 의해 이하에서 설명되는 실시형태를 치환 또는 변경의 방법으로 용이하게 제안될 수 있는 범위를 포섭함을 밝힌다. However, the intrinsic technical idea of the present invention cannot be said to be limited by the embodiments to be described below, and the intrinsic technical idea of the present invention is given below by a person skilled in the art. It turns out to cover the range that can be easily proposed by a method of substitution or change of the embodiment described in FIG.

또한, 이하에서 사용되는 용어는 설명의 편의를 위하여 선택한 것이므로, 본 발명의 본질적인(intrinsic) 기술적 사상을 파악하는 데 있어서, 사전적 의미에 제한되지 않고 본 발명의 기술적 사상에 부합되는 의미로 적절히 해석되어야 할 것이다. In addition, since the terms used below are selected for convenience of description, in grasping the intrinsic technical idea of the present invention, it is not limited to the dictionary meaning and is appropriately interpreted as a meaning consistent with the technical idea of the present invention. Should be.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정을 나타낸 플로우차트이고, 도 2는 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정을 수행하는 제어장치의 블록구성도이다.1 is a flowchart showing an intelligent robot control process using machine vision according to an embodiment of the present invention, and FIG. 2 is a block configuration of a control device for performing an intelligent robot control process using machine vision according to an embodiment of the present invention. Is also.

도 1 및 도 2를 참조하면, 로봇제어부(150)에서는 로봇아암부(110)를 제어하여 기 설정된 기준위치로 이동할 수 있다(단계101).Referring to FIGS. 1 and 2, the robot control unit 150 may control the robot arm unit 110 to move to a preset reference position (step 101).

여기에서, 로봇아암부(110)는 로봇제어부(150)의 제어에 따라 로봇의 위치를 XYZ축으로 각각 이동시키는 것으로, 공간좌표 중 X축 및 Y축으로의 이동을 담당하는 수평회동축과, 공간좌표 중 Z축으로의 이동을 담당하는 복수의 수직회동축과, 수평회동축 및 각 수직회동축 사이에 구비되는 복수의 관절부를 포함할 수 있다.Here, the robot arm unit 110 moves the position of the robot in the XYZ axis according to the control of the robot control unit 150, and a horizontal rotation axis in charge of movement in the X axis and Y axis among spatial coordinates, Among the spatial coordinates, a plurality of vertical rotation axes in charge of movement to the Z axis, and a plurality of joints provided between the horizontal rotation axis and each vertical rotation axis may be included.

이러한 로봇아암부(110)는 공간좌표 상의 각 축별로 자유 이동되는 다관절로 구비된 장비를 의미할 수 있다.The robot arm unit 110 may refer to an equipment provided with multi-joints that are freely moved for each axis on a spatial coordinate.

상기 기준위치는 i위치에 대응하여 기 설정된 위치인 RPi(xi, yi, ri)로 나타낼 수 있는데, i위치는 취출대상물이 적재된 한층의 소재 개수로서 i번째 위치(예를 들면, 1-17 등)이고, xi, yi는 좌표를 의미하며, ri는 검출한 패턴의 틀어진 각도를 의미한다.The reference position can be represented by RPi (xi, yi, ri), which is a preset position corresponding to the i position, where the i position is the number of materials in one layer in which the object to be taken out is loaded, and the i-th position (for example, 1-17 Etc.), xi and yi denote coordinates, and ri denotes a misaligned angle of the detected pattern.

그리고, 로봇제어부(150)에서는 비전카메라부(120)를 제어하여 취출대상물을 촬영할 수 있다(단계102).In addition, the robot control unit 150 may control the vision camera unit 120 to take a picture of an object to be taken out (step 102).

여기에서, 비전카메라부(120)는 로봇제어부(150)의 제어에 따라 파레트(P)에 적재된 취출대상물을 촬영하는 것으로, 로봇아암부(110)의 말단에 구비되는 비전카메라를 통해 파레트에 적재된 취출대상물을 촬영하여 그 비전영상을 로봇제어부(150)로 제공할 수 있다.Here, the vision camera unit 120 is to photograph the take-out object loaded on the pallet P under the control of the robot control unit 150, and is displayed on the pallet through a vision camera provided at the end of the robot arm unit 110. The loaded object to be taken out may be photographed and the vision image may be provided to the robot control unit 150.

상술한 바와 같은 파레트(P)는 황삭가공된 디스크를 선삭가공(또는 연마공정)에 투입하기 위해 도 3에 도시한 바와 같이 간지(20) 상에 캡형 디스크(10)가 적재된 상태로 제공될 수 있다.The pallet (P) as described above will be provided in a state in which the cap-shaped disk 10 is loaded on the interlayer paper 20 as shown in FIG. 3 in order to put the rough-processed disk into the turning process (or polishing process). I can.

다음에, 로봇제어부(150)에서는 비전카메라부(120)를 통해 촬영된 비전영상에서 캡형 디스크를 검출할 수 있다(단계103). 여기에서, 캡형 디스크의 검출은 캡형 디스크(10)의 패턴별로 기 저장된 기준패턴들(즉, 캡 모양에 대응하는 동심원 에지 형상 등)과 비교하여 검출할 수 있다.Next, the robot control unit 150 may detect the cap-shaped disk from the vision image captured through the vision camera unit 120 (step 103). Here, the cap-type disk may be detected by comparing with reference patterns previously stored for each pattern of the cap-type disk 10 (ie, a concentric edge shape corresponding to the cap shape).

상기 단계(105)에서 캡형 디스크를 기 저장된 패턴별로 검출하지 못한 경우 로봇제어부(150)에서는 비전카메라의 노출시간보정 및 조명강도조정을 수행할 수 있다.If the cap-type disk is not detected for each pattern previously stored in step 105, the robot controller 150 may perform exposure time correction and illumination intensity adjustment of the vision camera.

한편, 로봇제어부(150)에서는 비전영상에서 캡형 디스크를 검출하지 못한 검출오류를 카운트하여 검출오류 임계값이 될 경우 로봇아암부(110)를 제어하여 검색위치를 변경할 수 있는데, X축, Y축 등으로 기 설정된 거리(예를 들면, +100mm, -100mm 등)만큼 검색위치를 변경할 수 있고, 검색위치를 변경하는 중에 변경횟수 임계값이 될 경우 이상상태 알람을 제공할 수 있는데, 원인분석을 위해 장치를 중지시킨 후에 원인분석 후 재가동하도록 부저, 경고음 등의 청각적인 알람이나, 혹은 관리자 단말기에 경고화면을 디스플레이하는 시각적인 알람을 출력할 수 있다.On the other hand, the robot control unit 150 counts the detection errors that failed to detect the cap-type disk in the vision image, and controls the robot arm unit 110 to change the search position when the detection error threshold is reached. The search location can be changed by a preset distance (e.g., +100mm, -100mm, etc.), and an abnormal status alarm can be provided when the change frequency threshold is reached while changing the search location. An audible alarm such as a buzzer or a warning sound can be output to restart after a cause analysis of a hazardous device is stopped, or a visual alarm that displays a warning screen on the administrator terminal can be output.

그리고, 로봇제어부(150)에서는 캡형 디스크가 검출될 경우 캡형 디스크가 검출된 비전위치와 기 설정된 기준위치와의 오프셋(offset)값에 따라 로봇아암부(110)를 제어하여 이동시킬 수 있다(단계104).In addition, when the cap-type disk is detected, the robot control unit 150 may control and move the robot arm unit 110 according to an offset value between the vision position at which the cap-type disk is detected and a preset reference position (step 104).

예를 들면, 기준위치는 i위치에 대응하여 기 설정된 위치인 RPi(xi, yi, ri)로 나타낼 수 있고, 비전위치는 i위치의 비전영상에서 검출한 위치인 VPi(xi, yi, ri)로 나타낼 수 있으며, 오프셋거리(D)는 |VPi-RPi|로 나타낼 수 있다. 이때, i위치는 취출대상물이 적재된 한층의 소재 개수로서 i번째 위치(예를 들면, 1-17 등)이고, xi, yi는 좌표를 의미하며, ri는 검출한 패턴의 틀어진 각도를 의미하는데, 도 4에 도시한 바와 같이 기준위치(RPi), 비전위치(VPi) 및 오프셋거리(D)를 나타낼 수 있다.For example, the reference position can be expressed as RPi (xi, yi, ri), which is a preset position corresponding to the i position, and the vision position is VPi (xi, yi, ri), which is the position detected in the vision image of the i position. And the offset distance (D) can be expressed as |VPi-RPi|. At this time, the i position is the number of materials in one layer in which the object to be taken out is loaded, and is the i-th position (for example, 1-17, etc.), xi and yi refer to coordinates, and ri refers to the wrong angle of the detected pattern. , As shown in FIG. 4, a reference position (RPi), a vision position (VPi), and an offset distance (D) may be indicated.

여기에서, 단계104에서 로봇제어부(150)에서는 기준위치와 비전위치와의 오프셋거리가 오프셋거리 임계값 미만인 경우 로봇아암부(110)를 제어하여 비전위치로 이동시킬 수 있는데, 로봇아암부(110)의 이동거리가 오차범위 내에서 오프셋거리에 수렴할 경우 기준위치에 대응하는 오프셋값을 획득할 수 있다. 예를 들면, 로봇아암부(110)의 이동거리가 오차범위 내(예를 들면, ±1mm 등)에서 오프셋거리에 수렴할 경우(즉, 오프셋거리가 0에 수렴할 경우) 기준위치에 대응하는 오프셋값을 획득할 수 있다.Here, in step 104, if the offset distance between the reference position and the vision position is less than the offset distance threshold value, the robot control unit 150 may control the robot arm unit 110 to move to the vision position. When the moving distance of) converges to the offset distance within the error range, an offset value corresponding to the reference position can be obtained. For example, when the moving distance of the robot arm 110 converges to the offset distance within the error range (eg, ±1mm, etc.) (that is, when the offset distance converges to 0), corresponding to the reference position The offset value can be obtained.

이러한 로봇제어부(150)에서는 오프셋값이 거의 0에 수렴할 때까지 캡형 디스크(10)를 추적하여 항상 광원축의 초점 센터에 오도록 로봇아암부(110)를 이동하도록 제어하기 때문에, 검출대상물에 대한 검출 오차를 줄일 수 있는 추적알고리즘을 적용할 수 있다.Since the robot control unit 150 controls the robot arm unit 110 to always come to the focal center of the light source axis by tracking the cap-shaped disk 10 until the offset value converges to almost zero, the detection object is detected. A tracking algorithm that can reduce errors can be applied.

이에 따라, 기 설정된 기준위치 범위를 벗어나게 될 경우 검출대상물을 취출할 수 없도록 하기 때문에, 기 설정된 기준위치 범위 내의 검출대상물을 추적하여 로봇아암부(110)를 제어하여 기 설정된 기준위치로 다시 이동한 후에 계측하는 방식으로 그 오프셋값을 0으로 수렴한 그 위치를 최적 위치(optimal position)로 계산할 수 있다.Accordingly, if the detection object is out of the preset reference position range, the detection object cannot be retrieved, so that the detection target within the preset reference position range is tracked and the robot arm unit 110 is controlled to move back to the preset reference position. By measuring later, the position where the offset value is converged to zero can be calculated as the optimal position.

또한, 단계104에서 로봇제어부(150)에서는 기준위치와 오프셋값을 합산하여 비전 오프셋값을 반영한 취출위치를 결정하여 로봇아암부(110)를 이동시킬 수 있다. 이 때, 로봇제어부(150)에서는 로봇아암부(110)를 이동하도록 제어하기 전에 로봇아암부(110)의 좌표계를 취출좌표계로 변경할 수 있다.In addition, in step 104, the robot control unit 150 may move the robot arm unit 110 by summing the reference position and the offset value to determine an extraction position reflecting the vision offset value. At this time, the robot control unit 150 may change the coordinate system of the robot arm unit 110 to the take-out coordinate system before controlling the robot arm unit 110 to move.

여기에서, i위치에서 로봇의 오프셋값은 "OPi(xi, yi, ri)=VPi(xi, yi, ri)-RPi(xi, yi, ri)"로 나타낼 수 있고, i위치에서 비전 오프셋값을 반영한 잡을 위치인 취출위치는 "GPi(xi, yi, ri)=RPi(xi, yi, ri)+OPi(xi, yi, ri)"로 나타낼 수 있다.Here, the offset value of the robot at the i position can be expressed as "OPi(xi, yi, ri)=VPi(xi, yi, ri)-RPi(xi, yi, ri)", and the vision offset value at the i position The take-out position, which is the position to be picked up reflecting the value, may be expressed as "GPi(xi, yi, ri)=RPi(xi, yi, ri) + OPi(xi, yi, ri)".

다음에, 로봇제어부(150)에서 취출툴부(130)를 제어하여 캡형 디스크(10)를 취출한 후에, 로봇아암부(110)를 제어하여 취출된 캡형 디스크(10)를 이송할 수 있다(단계105).Next, the robot control unit 150 controls the take-out tool unit 130 to take out the cap-shaped disk 10, and then controls the robot arm unit 110 to transfer the taken out cap-shaped disk 10 (step 105).

이러한 단계105에서는, 로봇제어부(150)의 제어에 따라 취출툴부(130A, 130B)의 집게툴을 가동하여 캡형 디스크(10)를 취출한 후에, 로봇아암부(110)를 제어하여 목표위치로 이송시킬 수 있는데, 취출툴부(130A, 130B)는 로봇제어부(150)의 제어에 따라 취출대상물을 취출하는 것으로, 취출대상물을 취출하는 취출툴은 집게툴 등으로 제공할 수 있다.In this step 105, under the control of the robot control unit 150, the tongs tools of the take-out tool parts 130A and 130B are operated to take out the cap-shaped disk 10, and then the robot arm part 110 is controlled and transferred to the target position. The take-out tool parts 130A and 130B take out the take-out object under the control of the robot control unit 150, and the take-out tool for taking out the take-out object may be provided with a forceps tool or the like.

예를 들면, 도 7에 도시한 바와 같이 하나의 집게툴을 갖는 취출툴(130A)의 경우 로봇아암부(110)의 말단에 연결되는 연결블록(131a)과, 연결블록(131b)의 하부에 구비되는 연결포스트(132a)와, 연결포스트(132a)의 하부에 구비되어 클램프조(clamp jaw, 134a)를 구동하는 실린더블록(133a)과, 실린더블록(133a)의 구동에 따라 내측 또는 외측으로 이동하여 캡형 디스크(10)를 취출하는 클램프조(134a)를 포함할 수 있다.For example, as shown in FIG. 7, in the case of the take-out tool 130A having one tongs tool, the connection block 131a connected to the end of the robot arm part 110 and the lower part of the connection block 131b The provided connection post (132a) and the cylinder block (133a) provided under the connection post (132a) to drive the clamp jaw (134a), and inward or outward according to the driving of the cylinder block (133a) It may include a clamp jaw (134a) to move and take out the cap-shaped disk (10).

또한, 도 8에 도시한 바와 같이 세 개의 집게툴을 갖는 취출툴(130B)의 경우 로봇아암부(110)의 말단에 연결되는 연결블록(131b)과, 연결블록(131b)의 하부에 구비되는 연결포스트(132b)와, 연결포스트(132b)의 하부에 구비되어 클램프조(clamp jaw, 134b)를 구동하는 실린더블록(133b)과, 실린더블록(133b)의 구동에 따라 내측 또는 외측으로 이동하여 캡형 디스크(10)를 취출하는 클램프조(134b)와, 연결블록(131b)의 측면에 구비되어 캡형 디스크(10)를 그리핑(gripping)하여 연마기로 이송하거나, 또는 다른 자세로 정렬시키거나, 또는 가공이 끝난 소재를 꺼내는 용도로 사용되는 제 1 그리퍼(gripper, 135b) 및 제 2 그리퍼(136b) 등을 포함할 수 있다. 물론, 그리퍼는 필요에 따라 다양한 개수로 구비될 수 있다.In addition, as shown in FIG. 8, in the case of the take-out tool 130B having three tongs tools, a connection block 131b connected to the end of the robot arm unit 110, and a connection block 131b provided under the connection block 131b. The connection post 132b and the cylinder block 133b provided under the connection post 132b to drive the clamp jaw 134b, and the cylinder block 133b move inward or outward according to the drive. The clamp jaw 134b for taking out the cap-shaped disk 10 and the connecting block 131b are provided on the side of the cap-shaped disk 10 to grip the cap-shaped disk 10 and transfer it to a polishing machine, or align it in a different posture, Alternatively, it may include a first gripper (135b) and a second gripper (136b), etc. used for taking out the processed material. Of course, the grippers may be provided in various numbers as needed.

이어서, 캡형 디스크(10)의 이송이 완료되면 로봇제어부(150)에서는 간지흡착부(140)를 제어하여 간지를 흡착 제거할 수 있다(단계106).Subsequently, when the transfer of the cap-shaped disk 10 is completed, the robot control unit 150 may control the intercalation adsorption unit 140 to adsorb and remove the intercalation paper (step 106).

이러한 단계106에서는, 캡형 디스크(10)를 순차 취출 및 이송한 후에, 간지흡착부(140)의 흡착툴을 하강시켜 간지를 흡착 제거할 수 있는데, 간지흡착부(140)는 로봇제어부(150)의 제어에 따라 간지를 흡착 제거할 수 있다.In this step 106, after the cap-type disk 10 is sequentially taken out and transferred, the suction tool of the intercalation adsorption unit 140 may be lowered to adsorb and remove the separating paper. The intercalation adsorption unit 140 is the robot control unit 150 It can be adsorbed and removed according to the control of.

예를 들면, 도 7 및 도 8에 도시한 바와 같이 간지흡착부(140)는 취출툴부(130A, 103B)에 일단이 고정되어 상하 회동시키는 회동실린더(141)와, 회동실린더(141)의 타단이 고정되어 상하 회동되는 흡착지지블록(142)과, 흡착지지블록(142)의 회동축과 취출툴부(130A, 103B)에 양단이 연결되는 회동축편(143)과, 흡착지지블록(142)의 하부에 구비되어 간지(20)를 흡착하는 복수의 흡착패드(144)와, 복수의 흡착패드(144)의 중앙부에 흡착지지블록(142)에 구비되어 흡착되는 간지(20)의 완충 역할을 수행하는 완충패드(145) 등을 포함할 수 있다.For example, as shown in Figs. 7 and 8, the gripping part 140 has one end fixed to the take-out tool parts 130A and 103B to rotate up and down, and the other end of the rotating cylinder 141 The suction support block 142 which is fixed and rotates up and down, the rotary shaft piece 143 connected to both ends of the suction support block 142 and the extraction tool parts 130A and 103B, and the suction support block 142 A plurality of adsorption pads 144 that are provided at the bottom of the device to adsorb the separators 20, and the adsorption support block 142 at the center of the plurality of adsorption pads 144 serves as a buffer for the separators 20 to be adsorbed. It may include a buffer pad 145 to perform.

이러한 간지흡착부(140)는 캡형 디스크(10)를 취출할 경우에는 수직방향인 직립상태로 유지하다가 한층의 캡형 디스크(10)를 전부 취출 및 이송한 후에, 회동실린더(141)가 돌출 연장되어 회동축을 따라 흡착지지블록(142)이 수평상태로 회동되고, 흡착지지블록(142)의 하부에 구비된 복수의 흡착패드(144)와 완충패드(145)를 통해 간지(20)를 안정적으로 흡착하여 제거할 수 있다.When the cap-type disk 10 is taken out, the interlayer suction unit 140 is maintained in an upright state in the vertical direction, and after all the cap-type disks 10 are taken out and transferred, the rotating cylinder 141 protrudes and extends. The adsorption support block 142 is rotated in a horizontal state along the rotation axis, and the separation paper 20 is stably held through the plurality of adsorption pads 144 and buffer pads 145 provided under the adsorption support block 142. It can be removed by adsorption.

따라서, 본 발명은 로봇에 구비된 비전카메라를 통해 검출된 비전위치와, 기 설정된 기준위치 및 오프셋(offset)거리에 따라 취출위치를 결정하고, 그 취출위치에 따라 로봇의 위치제어를 통해 취출대상물을 취출 및 이송한 후에, 간지를 흡착 제거하는 과정을 반복 수행함으로써, 파레트에서 취출대상물과 간지를 로봇을 이용하여 효과적으로 취출, 이송 및 제거할 수 있다.Accordingly, the present invention determines the take-out position according to the vision position detected through the vision camera provided in the robot, the preset reference position and offset distance, and the take-out object through the position control of the robot according to the take-out position. After taking out and transporting the slippers, by repeatedly performing the process of adsorbing and removing the slip sheets, the object to be taken out and the slip sheets from the pallet can be effectively taken out, transferred, and removed using a robot.

그리고, 본 발명은 특정위치에서 비전영상을 통해 검출한 비전위치에서 특정위치에 대응하는 기준위치를 감산하여 특정위치에 대응하는 로봇의 오프셋값을 획득하고, 기준위치와 오프셋값을 합산하여 특정위치에서 비전 오프셋값을 반영한 취출위치를 결정함으로써, 취출할 디스크의 검출위치에 따라 로봇의 정확한 위치제어를 통해 해당 디스크를 정밀하게 취출할 수 있다.In addition, the present invention obtains an offset value of a robot corresponding to a specific position by subtracting a reference position corresponding to a specific position from a vision position detected through a vision image at a specific position, and summing the reference position and the offset value to obtain a specific position By determining the ejection position reflecting the vision offset value, the corresponding disk can be accurately ejected through the precise position control of the robot according to the detection position of the disk to be ejected.

한편, 도 9는 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정을 구체적으로 설명하기 위한 플로우차트로서, 본 발명의 실시예에 따른 머신비전을 이용한 지능형 로봇 제어 과정에 대해 구체적으로 설명하기로 한다.Meanwhile, FIG. 9 is a flowchart for explaining in detail an intelligent robot control process using machine vision according to an embodiment of the present invention, and specifically describes an intelligent robot control process using machine vision according to an embodiment of the present invention. I will do it.

도 9를 참조하면, 로봇제어부(150)에서는 로봇아암부(110)를 제어하여 비전카메라 계측위치(즉, 비전카메라의 촬영위치)인 기 설정된 기준위치로 이동할 수 있다(단계901). 여기에서, 취출대상물의 총개수에 따라 연산 방식 또는 불균일(또는 불규칙, 불특정)한 패턴의 경우 로봇아암부(110)를 제어하여 기 설정된 기준위치(즉, 계측위치)로 이동할 수 있다.Referring to FIG. 9, the robot control unit 150 may control the robot arm unit 110 to move to a preset reference position, which is a vision camera measurement position (ie, a photographing position of a vision camera) (step 901 ). Here, in the case of a calculation method or a non-uniform (or irregular, unspecified) pattern according to the total number of objects to be taken out, the robot arm unit 110 may be controlled to move to a preset reference position (ie, a measurement position).

그리고, 로봇제어부(150)에서는 비전영상에서 취출대상물의 패턴을 검출하지 못할 경우 카운트하기 위한 검출오류 카운트를 리셋할 수 있다(단계802).In addition, the robot control unit 150 may reset the detection error count for counting when the pattern of the object to be retrieved from the vision image cannot be detected (step 802).

또한, 로봇제어부(150)에서는 기 설정된 기준위치에서 비전카메라부(120)를 제어하여 취출대상물을 촬영할 수 있다(단계903).In addition, the robot control unit 150 may control the vision camera unit 120 at a preset reference position to take a picture of an object to be taken out (step 903).

다음에, 로봇제어부(150)에서는 취출영상물을 촬영한 비전영상에서 캡형 디스크(10)가 검출되는지를 체크한다(단계904).Next, the robot control unit 150 checks whether or not the cap-shaped disk 10 is detected in the vision image photographed with the taken-out video object (step 904).

상기 단계(904)에서의 체크 결과, 캡형 디스크(10)를 검출하지 못한 검출오류가 발생할 경우 로봇제어부(150)에서는 그 검출오류를 카운트할 수 있다(단계905).As a result of the check in step 904, when a detection error that fails to detect the cap-type disk 10 occurs, the robot control unit 150 may count the detection error (step 905).

다음에, 로봇제어부(150)에서는 단계904의 과정을 재수행하면서 검출오류가 계속 발생할 경우 검출오류 카운트를 증가시켜 검출오류 카운트가 검출오류 임계값이 되는지를 체크한다(단계906).Next, while performing the process of step 904 again, the robot control unit 150 increases the detection error count and checks whether the detection error count becomes a detection error threshold value (step 906).

상기 단계(906)에서의 체크 결과, 검출오류 카운트가 검출오류 임계값이 될 경우 로봇제어부(150)에서는 검색위치를 변경하도록 로봇아암부(110)를 제어할 수 있다(단계907). 여기에서, 로봇제어부(150)에서는 로봇아암부(110)를 이동 제어하여 X축, Y축 등으로 기 설정된 거리(예를 들면, +100mm, -100mm 등)만큼 검색위치를 변경할 수 있으며, 로봇제어부(150)에서는 검색 위치의 변경 후에 비전카메라부(120)를 제어하여 단계903을 재수행할 수 있다.As a result of the check in step 906, when the detection error count becomes the detection error threshold value, the robot control unit 150 may control the robot arm unit 110 to change the search position (step 907). Here, the robot control unit 150 controls the movement of the robot arm unit 110 to change the search location by a preset distance (eg, +100mm, -100mm, etc.) in the X-axis, Y-axis, etc. After the search location is changed, the controller 150 may control the vision camera unit 120 to perform step 903 again.

다음에, 로봇제어부(150)에서는 변경횟수가 변경횟수 임계값이 되는지를 체크한다(단계908). 여기에서, 로봇제어부(150)에서는 변경횟수가 변경횟수 임계값이 되지 않은 경우 검색위치를 변경하여 단계902 내지 907의 과정을 재수행하도록 제어할 수 있다.Next, the robot control unit 150 checks whether the number of changes becomes the threshold value of the number of changes (step 908). Here, when the number of changes does not reach the threshold value of the number of changes, the robot control unit 150 may control the search location to be changed to perform the processes of steps 902 to 907 again.

상기 단계(908)에서의 체크 결과, 변경횟수가 변경횟수 임계값이 될 경우 로봇제어부(150)에서는 이상상태 알람을 제공할 수 있다(단계909). 여기에서, 로봇제어부(150)에서는 원인분석을 위해 장치를 중지시킨 후에 원인분석 후 재가동하도록 부저, 경고음 등의 청각적인 알람이나, 혹은 관리자 단말기에 경고화면을 디스플레이하는 시각적인 알람을 출력할 수 있다.As a result of the check in step 908, when the number of changes becomes the threshold value of the number of changes, the robot controller 150 may provide an abnormal state alarm (step 909). Here, the robot control unit 150 may output an audible alarm such as a buzzer, a warning sound, etc., or a visual alarm displaying a warning screen on the manager terminal so that the device is stopped for cause analysis and then restarted after analysis of the cause. .

한편, 상기 단계(904)에서의 체크 결과, 캡형 디스크(10)를 검출한 경우 로봇제어부(150)에서는 캡형 디스크(10)의 패턴별로 기 저장된 기준패턴들(즉, 컵 모양에 대응하는 동심원 에지 형상 등)과 비교하여 검출되는지를 체크할 수 있다(단계910).On the other hand, as a result of the check in step 904, when the cap-shaped disk 10 is detected, the robot control unit 150 pre-stored reference patterns (ie, concentric circles corresponding to the cup shape) for each pattern of the cap-shaped disk 10. Shape, etc.), it can be checked whether it is detected (step 910).

상기 단계(910)에서의 체크 결과, 캡형 디스크(10)의 패턴별로 검출하지 못한 경우 로봇제어부(150)에서는 비전카메라의 노출시간보정 및 조명강도조정을 위해 비전카메라부(120)를 제어할 수 있다(단계911). 이 후, 로봇제어부(150)에서는 비전카메라부(120)를 제어하여 단계903을 재수행할 수 있다.As a result of the check in step 910, if the pattern of the cap-type disk 10 is not detected, the robot control unit 150 can control the vision camera unit 120 to correct the exposure time and adjust the illumination intensity of the vision camera. Yes (step 911). After that, the robot control unit 150 may control the vision camera unit 120 to perform step 903 again.

한편, 상기 단계(910)에서의 체크 결과, 캡형 디스크(10)의 패턴별로 검출한 경우 로봇제어부(150)에서는 검출된 캡형 디스크(10)의 비전위치와, 기 설정된 기준위치와의 오프셋거리가 오프셋거리 임계값 미만인지를 체크한다(단계912).On the other hand, as a result of the check in step 910, when detecting each pattern of the cap-shaped disk 10, the robot control unit 150 determines the detected vision position of the cap-shaped disk 10 and an offset distance between the preset reference position. It is checked whether it is less than the offset distance threshold (step 912).

여기에서, 기준위치는 i위치에 대응하여 기 설정된 위치인 RPi(xi, yi, ri)로 나타낼 수 있고, 비전위치는 i위치의 비전영상에서 검출한 위치인 VPi(xi, yi, ri)로 나타낼 수 있으며, 오프셋거리(D)는 |VPi-RPi|로 나타낼 수 있다.Here, the reference position can be expressed as RPi (xi, yi, ri), which is a preset position corresponding to the i position, and the vision position is VPi (xi, yi, ri), which is the position detected in the vision image of the i position. It can be represented, and the offset distance (D) can be expressed as |VPi-RPi|.

상기 단계(912)에서의 체크 결과, 오프셋거리가 오프셋거리 임계값을 초과하는 경우 로봇제어부(150)에서는 비전카메라부(120)를 제어하여 단계903을 재수행할 수 있다.As a result of the check in step 912, if the offset distance exceeds the offset distance threshold value, the robot control unit 150 may control the vision camera unit 120 to perform step 903 again.

한편, 상기 단계(912)에서의 체크 결과, 오프셋거리가 오프셋거리 임계값 미만인 경우 로봇제어부(150)에서는 해당 캡형 디스크(10)의 비전위치로 이동시키도록 로봇아암부(110)를 제어할 수 있다(913).On the other hand, as a result of the check in step 912, if the offset distance is less than the offset distance threshold, the robot control unit 150 can control the robot arm unit 110 to move to the vision position of the cap-type disk 10. There is (913).

그리고, 로봇제어부(150)에서는 로봇아암부(110)의 이동거리가 오차범위 내(예를 들면, ±1mm 등)에서 오프셋거리에 수렴할 경우(즉, 오프셋거리가 0에 수렴할 경우) 기준위치에 대응하는 오프셋값을 획득할 수 있다(단계914).In addition, in the robot control unit 150, when the moving distance of the robot arm unit 110 converges to the offset distance within an error range (for example, ±1mm, etc.) (that is, when the offset distance converges to 0), the reference An offset value corresponding to the position may be obtained (step 914).

이러한 로봇제어부(150)에서는 오프셋값이 거의 0에 수렴할 때까지 캡형 디스크(10)를 추적하여 항상 광원축의 초점 센터에 오도록 로봇아암부(110)를 이동하도록 제어하기 때문에, 검출대상물에 대한 검출 오차를 줄일 수 있는 추적알고리즘을 적용할 수 있다.Since the robot control unit 150 controls the robot arm unit 110 to always come to the focal center of the light source axis by tracking the cap-shaped disk 10 until the offset value converges to almost zero, the detection object is detected. A tracking algorithm that can reduce errors can be applied.

이에 따라, 기 설정된 기준위치 범위를 벗어나게 될 경우 검출대상물을 취출할 수 없도록 하기 때문에, 기 설정된 기준위치 범위 내의 검출대상물을 추적하여 로봇아암부(110)를 제어하여 기 설정된 기준위치로 다시 이동한 후에 계측하는 방식으로 그 오프셋값을 0으로 수렴한 그 위치를 최적 위치(optimal position)로 계산할 수 있다.Accordingly, if the detection object is out of the preset reference position range, the detection object cannot be retrieved, so that the detection target within the preset reference position range is tracked and the robot arm unit 110 is controlled to move back to the preset reference position. By measuring later, the position where the offset value is converged to zero can be calculated as the optimal position.

또한, 로봇제어부(150)에서는 기준위치와 오프셋값을 합산하여 비전 오프셋값을 반영한 취출위치를 결정하여 로봇아암부(110)를 이동하도록 제어할 수 있다(단계915). 이 때, 로봇제어부(150)는 로봇아암부(110)를 이동하도록 제어하기 전에 로봇아암부(110)의 좌표계를 취출좌표계로 변경할 수 있다.In addition, the robot control unit 150 may control the robot arm unit 110 to move by summing the reference position and the offset value to determine the take-out position reflecting the vision offset value (step 915). At this time, the robot control unit 150 may change the coordinate system of the robot arm unit 110 to the take-out coordinate system before controlling the robot arm unit 110 to move.

여기에서, i위치에서 로봇의 오프셋값은 "OPi(xi, yi, ri)=VPi(xi, yi, ri)-RPi(xi, yi, ri)"로 나타낼 수 있고, i위치에서 비전 오프셋값을 반영한 잡을 위치인 취출위치는 "GPi(xi, yi, ri)=RPi(xi, yi, ri)+OPi(xi, yi, ri)"로 나타낼 수 있다.Here, the offset value of the robot at the i position can be expressed as "OPi(xi, yi, ri)=VPi(xi, yi, ri)-RPi(xi, yi, ri)", and the vision offset value at the i position The take-out position, which is the position to be picked up reflecting the value, may be expressed as "GPi(xi, yi, ri)=RPi(xi, yi, ri) + OPi(xi, yi, ri)".

그리고, 로봇제어부(150)에서는 취출툴부(130A, 130B)의 집게툴을 가동하여 캡형 디스크(10)를 취출한 후에, 로봇아암부(110)를 제어하여 목표위치로 이송시킬 수 있다(단계916).In addition, the robot control unit 150 may control the robot arm unit 110 to be transferred to a target position after actuating the tongs tools of the take-out tool units 130A and 130B to take out the cap-shaped disk 10 (step 916). ).

다음에, 로봇제어부(150)에서는 검출된 컵형 디스크(10)를 패턴별로 순차적으로 상술한 바와 같은 과정을 통해 전체 개수를 취출 및 이송할 수 있다(단계917).Next, the robot control unit 150 may take out and transfer the total number of the detected cup-shaped disks 10 sequentially for each pattern through the above-described process (step 917).

이어서, 캡형 디스크(10)의 이송이 완료되면 로봇제어부(150)에서는 간지흡착부(140)를 제어하여 간지(20)를 흡착 제거할 수 있다(단계918).Subsequently, when the transfer of the cap-shaped disk 10 is completed, the robot control unit 150 may control the slipper suction unit 140 to adsorb and remove the slippery paper 20 (step 918).

예를 들면, 간지흡착부(140)는 캡형 디스크(10)의 이송이 완료될 경우 회동실린더(141)가 돌출 연장되어 회동축을 따라 흡착지지블록(142)이 수평상태로 회동되고, 흡착지지블록(142)의 하부에 구비된 복수의 흡착패드(144)와 완충패드(145)를 통해 간지(20)를 안정적으로 흡착하여 제거할 수 있다.For example, when the transfer of the cap-type disk 10 is completed, the rotation cylinder 141 protrudes and extends so that the suction support block 142 rotates in a horizontal state along the rotation axis, and the suction support Through the plurality of adsorption pads 144 and buffer pads 145 provided under the block 142, the interlayer paper 20 may be stably adsorbed and removed.

따라서, 본 발명은 로봇에 구비된 비전카메라를 통해 검출된 비전위치와, 기 설정된 기준위치 및 오프셋거리에 따라 취출위치를 결정하고, 그 취출위치에 따라 로봇의 위치제어를 통해 취출대상물을 취출 및 이송한 후에, 간지를 흡착 제거하는 과정을 반복 수행함으로써, 파레트에서 취출대상물과 간지를 로봇을 이용하여 효과적으로 취출, 이송 및 제거할 수 있다.Accordingly, the present invention determines the take-out position according to the vision position detected by the vision camera provided in the robot, the preset reference position and offset distance, and takes out the take-out object through the position control of the robot according to the take-out position. After the transfer, by repeatedly performing the process of adsorbing and removing the slip sheets, the object to be taken out and the slip sheets from the pallet can be effectively taken out, transferred, and removed using a robot.

그리고, 본 발명은 머신비전을 이용하여 위치제어를 수행할 경우 항상 일정한 위치에서 소재를 취출할 수 있어 디스크 로딩 장치 및 정렬 장치와 같은 별도의 장치가 필요하지 않을 뿐만 아니라 자석 툴 외에도 다양한 응용 툴을 설계하여 반영할 수 있으며, 머신비전을 이용한 로봇의 위치제어를 통해 항상 일정한 위치에서 소재를 취출 및 이송할 수 있어 안정적인 운용 환경을 제공할 수 있고, 취출해야 하는 위치마다 머신비전에서 틀어진 오프셋값을 자동으로 계산하여 생산성을 극대화할 수 있다.In addition, the present invention does not require a separate device such as a disk loading device and an alignment device, since it is possible to always take out material from a certain position when performing position control using machine vision. It can be designed and reflected, and through the position control of the robot using machine vision, the material can always be taken out and transferred from a certain position, providing a stable operating environment, and offset values that are wrong in the machine vision for each location to be taken out It can be calculated automatically to maximize productivity.

또한, 본 발명은 머신비전을 이용하여 로봇의 위치제어가 가능하여 다른 공정과 결합된 작업을 수행할 수 있어 자동화 공정을 수행하는데 있어 경제성 및 효율성을 향상시킬 수 있다.In addition, according to the present invention, the position of the robot can be controlled using the machine vision, so that a task combined with other processes can be performed, thereby improving economic efficiency and efficiency in performing an automated process.

Claims (10)

로봇제어부에서 로봇아암부를 제어하여 기 설정된 기준위치로 이동하는 단계;
상기 로봇제어부에서 비전카메라부를 제어하여 취출대상물을 촬영하는 단계;
상기 비전카메라부를 통해 촬영된 비전영상에서 캡형 디스크를 검출하는 단계;
상기 캡형 디스크가 검출된 비전위치와 상기 기 설정된 기준위치와의 오프셋(offset)값에 따라 상기 로봇아암부를 제어하여 이동시키는 단계;
상기 로봇제어부에서 취출툴부를 제어하여 상기 캡형 디스크를 취출한 후에, 상기 로봇아암부를 제어하여 취출된 상기 캡형 디스크를 이송하는 단계; 및
상기 캡형 디스크의 이송이 완료되면 상기 로봇제어부에서 간지흡착부를 제어하여 간지를 흡착 제거하는 단계;를 포함하며,
상기 취출대상물을 촬영하는 단계 후에, 상기 비전영상에서 상기 캡형 디스크를 검출하지 못한 검출오류를 카운트하여 검출오류 임계값이 될 경우 상기 로봇아암부를 제어하여 검색위치를 변경하는 단계;
상기 검색위치를 변경하는 중에 변경횟수 임계값이 될 경우 이상상태 알람을 제공하는 단계; 및
상기 캡형 디스크를 검출하는 단계에서 상기 캡형 디스크를 패턴별로 검출하지 못한 경우 비전카메라의 노출시간보정 및 조명강도조정을 수행하는 단계;를 더 포함하고,
상기 로봇아암부를 제어하여 이동시키는 단계는, 상기 비전영상에서 상기 캡형 디스크가 검출될 경우 상기 기 설정된 기준위치와 상기 비전위치와의 오프셋거리가 오프셋거리 임계값 미만인 경우 상기 로봇아암부를 제어하여 상기 비전위치로 이동시키며, 상기 로봇아암부의 이동거리가 오차범위 내에서 상기 오프셋거리에 수렴할 경우 상기 기 설정된 기준위치에 대응하는 상기 오프셋값을 획득하는 머신비전을 이용한 지능형 로봇 제어방법.
Controlling the robot arm in the robot control unit to move to a preset reference position;
Photographing an object to be taken out by controlling the vision camera unit in the robot control unit;
Detecting a cap-type disk from the vision image captured through the vision camera unit;
Controlling and moving the robot arm according to an offset value between the detected vision position of the cap-shaped disk and the preset reference position;
Controlling the take-out tool part by the robot control part to take out the cap-type disk, and then controlling the robot arm part to transfer the taken out cap-type disk; And
When the transfer of the cap-type disk is completed, the robot control unit controls the separation sheet to remove the separation sheet by adsorbing,
Counting a detection error that fails to detect the cap-type disk in the vision image and changing a search location by controlling the robot arm when a detection error threshold is reached after the step of photographing the take-out object;
Providing an abnormal state alarm when a threshold value of the number of times of change is reached while changing the search location; And
In the step of detecting the cap-type disk, when the cap-type disk is not detected for each pattern, performing exposure time correction and illumination intensity adjustment of the vision camera; further comprising,
The step of controlling and moving the robot arm may include controlling the robot arm when the cap-type disk is detected in the vision image and an offset distance between the preset reference position and the vision position is less than an offset distance threshold value. An intelligent robot control method using machine vision for moving to a position and obtaining the offset value corresponding to the preset reference position when the moving distance of the robot arm unit converges to the offset distance within an error range.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 로봇아암부를 제어하여 이동시키는 단계는, 상기 기 설정된 기준위치와 상기 오프셋값을 합산하여 비전 오프셋값을 반영한 취출위치를 결정하여 상기 로봇아암부를 이동시키는 머신비전을 이용한 지능형 로봇 제어방법.
The method according to claim 1,
In the step of controlling and moving the robot arm part, the intelligent robot control method using machine vision for moving the robot arm part by summing the preset reference position and the offset value to determine a take-out position reflecting the vision offset value.
청구항 7에 있어서,
상기 로봇아암부를 제어하여 이동시키는 단계는, 상기 로봇아암부를 이동하도록 제어하기 전에 상기 로봇아암부의 좌표계를 취출좌표계로 변경하는 머신비전을 이용한 지능형 로봇 제어방법.
The method of claim 7,
The step of controlling and moving the robot arm part may include changing a coordinate system of the robot arm part to a take-out coordinate system before controlling the robot arm part to move.
청구항 8에 있어서,
상기 캡형 디스크를 이송하는 단계는, 상기 취출툴부의 집게툴을 가동하여 상기 캡형 디스크를 취출한 후에, 상기 로봇아암부를 제어하여 목표위치로 이송시키는 머신비전을 이용한 지능형 로봇 제어방법.
The method of claim 8,
In the step of transferring the cap-type disk, after the cap-type disk is removed by actuating the clip tool of the take-out tool part, the intelligent robot control method using machine vision controls the robot arm part to transfer it to a target position.
청구항 1, 청구항 7 내지 청구항 9 중 어느 한 항에 있어서,
상기 간지를 흡착 제거하는 단계는, 상기 캡형 디스크를 순차 취출 및 이송한 후에, 상기 간지흡착부의 흡착툴을 하강시켜 상기 간지를 흡착 제거하는 머신비전을 이용한 지능형 로봇 제어방법.
The method according to any one of claims 1 and 7 to 9,
In the step of adsorbing and removing the slip sheets, the cap-type disk is sequentially taken out and transferred, and then the suction tool of the slip sticking portion is lowered to adsorb and remove the slip sheets.
KR1020200075919A 2020-06-22 2020-06-22 Intelligent robot controling method of turning machining using machine vision KR102205040B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200075919A KR102205040B1 (en) 2020-06-22 2020-06-22 Intelligent robot controling method of turning machining using machine vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200075919A KR102205040B1 (en) 2020-06-22 2020-06-22 Intelligent robot controling method of turning machining using machine vision

Publications (1)

Publication Number Publication Date
KR102205040B1 true KR102205040B1 (en) 2021-01-19

Family

ID=74237245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200075919A KR102205040B1 (en) 2020-06-22 2020-06-22 Intelligent robot controling method of turning machining using machine vision

Country Status (1)

Country Link
KR (1) KR102205040B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100457312B1 (en) 2002-06-26 2004-11-16 현대자동차주식회사 Transfer robot for parts of a car body
JP2007007768A (en) * 2005-06-30 2007-01-18 Juki Corp Part adsorbing method and part adsorbing device
JP2010226029A (en) * 2009-03-25 2010-10-07 Fuji Xerox Co Ltd Method and device for extracting component
JP2011136377A (en) * 2009-12-25 2011-07-14 Ihi Corp Robot control device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100457312B1 (en) 2002-06-26 2004-11-16 현대자동차주식회사 Transfer robot for parts of a car body
JP2007007768A (en) * 2005-06-30 2007-01-18 Juki Corp Part adsorbing method and part adsorbing device
JP2010226029A (en) * 2009-03-25 2010-10-07 Fuji Xerox Co Ltd Method and device for extracting component
JP2011136377A (en) * 2009-12-25 2011-07-14 Ihi Corp Robot control device and method

Similar Documents

Publication Publication Date Title
EP3173194B1 (en) Manipulator system, image capturing system, transfer method of object, and carrier medium
US11639075B2 (en) Automated removal and replacement of vehicle wheels and tires
US11027426B2 (en) Robot system and control method of robot system for taking out workpieces loaded in bulk
JP6088563B2 (en) Work picking robot system having position and orientation conversion operation function, and work picking method
US20140277694A1 (en) Robot system and method for producing to-be-processed material
JP2010069542A (en) Workpiece picking method in bulk picking device
CN114708209B (en) Production interaction method and system based on 3D modeling and visual inspection
KR102205040B1 (en) Intelligent robot controling method of turning machining using machine vision
JP2009302265A (en) Pickup means selection device, pickup means selection method, and component height measurement device
KR102411364B1 (en) Intelligent robot controling apparatus of rough machining using machine vision
CN110304464B (en) Wheel hub pile up neatly machine people
JP4483818B2 (en) Workpiece transfer method, workpiece transfer device, and workpiece transfer system
CN115003613A (en) Device and method for separating piece goods
KR20210057238A (en) Apparatus for Inspection of product combined with Autonomous Vehicle
US20240109198A1 (en) Method for handling objects, and handling system
WO2022202655A1 (en) Three-dimensional measurement system
Yang et al. A new novel recognition and positioning system of black light-absorbing volute for automation depalletizing development
WO2024083674A1 (en) Apparatus and method for the automated bending of workpieces
JPH11116060A (en) Container placed condition detection method for cargo handling device
JP3271689B2 (en) Article position detection device
TW202404768A (en) Automatic operation method and system that includes acquiring a photographing result and recognizing a specific mark formed a target object from the photographing result

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant