KR102220304B1

KR102220304B1 - Apparatus and method for controlling robot

Info

Publication number: KR102220304B1
Application number: KR1020200025155A
Authority: KR
Inventors: 이은광; 박영천; 이윤학; 김승연; 이상훈
Original assignee: 주식회사 두산
Priority date: 2020-02-28
Filing date: 2020-02-28
Publication date: 2021-02-25
Also published as: KR20210110191A

Abstract

Provided is a robot control device for automatically controlling a robot that processes an object or generating information necessary for controlling the robot. According to the present invention, the robot control device may comprise: a first photographing unit and a second photographing unit which photograph an object to be processed by the robot; and an estimator for using the first photographing unit to generate first information used for a first control of the robot and when the first control is performed, generating second information used for a second control of the robot using the second photographing unit.

Description

Robot control device and robot control method {APPARATUS AND METHOD FOR CONTROLLING ROBOT}

본 발명은 로봇을 제어하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling a robot.

물건을 가공하거나 처리하는 로봇을 해당 물건에 맞춰 제어하기 위해, 물건을 탐지하는 센서가 이용될 수 있다.In order to control a robot that processes or processes an object according to the object, a sensor that detects an object can be used.

물건에 대한 로봇의 처리 정확도는 센서의 측정 정밀도에 관련될 수 있다. 로봇의 처리 정확도를 개선하기 위해 센서의 측정 정밀도는 높을수록 유리하다.The accuracy of the robot's processing of the object may be related to the measurement precision of the sensor. In order to improve the processing accuracy of the robot, the higher the measurement accuracy of the sensor is, the more advantageous.

하지만, 높은 측정 정밀도를 갖는 센서는 매우 고가이므로 보급화가 어렵다. 또한, 높은 측정 정밀도를 갖는 센서를 마련하는 경우에도, 물건의 종류에 따라 난반사 등을 이유로 측정 정밀도가 저하되는 상황이 발생될 수 있다.However, since sensors with high measurement precision are very expensive, it is difficult to popularize them. In addition, even when a sensor having high measurement accuracy is provided, a situation in which the measurement accuracy is deteriorated due to diffuse reflection or the like may occur depending on the type of object.

한국공개특허공보 제2019-0072285호에는 피킹 조망 카메라를 통해 선택된 파지 대상물의 위치를 파악하고, 파지부를 이용해 파지 대상물을 파지하는 기술이 나타나 있다.Korean Laid-Open Patent Publication No. 2019-0072285 discloses a technology for grasping the selected object to be gripped through a picking viewing camera and using the holding unit.

한국공개특허공보 제2019-0072285호Korean Patent Publication No. 2019-0072285

본 발명의 목적은 대상물을 처리하는 로봇을 자동 제어하거나, 로봇의 제어에 필요한 정보를 생성하는 제어 장치 및 제어 방법을 제공하기 위한 것이다.An object of the present invention is to provide a control device and a control method that automatically controls a robot that processes an object or generates information necessary for controlling the robot.

본 발명의 실시예에 따르면 로봇 제어 장치가 제공된다. 상기 로봇 제어 장치는, 로봇에 의해 처리될 대상물을 촬영하는 제1 촬영부 및 제2 촬영부; 상기 제1 촬영부를 이용해 상기 로봇의 제1 제어에 사용되는 제1 정보를 생성하고, 상기 제1 제어가 수행되면 상기 제2 촬영부를 이용해 상기 로봇의 제2 제어에 사용되는 제2 정보를 생성하는 추정부;를 포함할 수 있다.According to an embodiment of the present invention, a robot control device is provided. The robot control apparatus includes: a first photographing unit and a second photographing unit for photographing an object to be processed by the robot; Generates first information used for the first control of the robot using the first photographing unit, and when the first control is performed, generating second information used for the second control of the robot using the second photographing unit It may include an estimation unit.

상기 제1 촬영부는 상기 대상물의 상측에 배치된 구조물에 고정 설치될 수 있다.The first photographing unit may be fixedly installed on a structure disposed above the object.

상기 제2 촬영부는 상기 로봇에서 상기 대상물을 처리하는 이펙터(end effector)가 형성된 암(arm)의 단부에 설치되고, 상기 암과 함께 움직일 수 있다.The second photographing unit is installed at an end of an arm in which an end effector for processing the object is formed in the robot, and may move together with the arm.

상기 제2 촬영부는 상기 로봇의 제1 제어에 의해 상기 암이 상기 대상물에 접근하면, 상기 제1 촬영부보다 가까운 거리에서 상기 대상물을 촬영할 수 있다.When the arm approaches the object under the first control of the robot, the second photographing unit may photograph the object at a closer distance than the first photographing unit.

상기 추정부는 상기 제1 촬영부보다 가까운 거리에서 상기 대상물을 촬영한 상기 제2 촬영부의 제2 이미지를 이용해서 상기 제2 정보를 생성할 수 있다.The estimating unit may generate the second information by using a second image of the second photographing unit photographing the object at a closer distance than the first photographing unit.

상기 제2 촬영부는 상기 제1 촬영부와 상기 대상물의 사이에서 움직이는 상기 로봇의 암(arm)에 설치될 수 있다.The second photographing unit may be installed on an arm of the robot that moves between the first photographing unit and the object.

상기 제1 제어에 의해 상기 암은 상기 제1 촬영부에 대해 상기 대상물을 가리는 경유 지점으로 움직일 수 있다.By the first control, the arm may move to a point through which the object is covered with respect to the first photographing unit.

상기 암이 상기 경유 지점에 도착하면, 상기 제2 촬영부는 상기 암에 의한 촬영 간섭이 배제된 제2 위치에서 상기 대상물을 촬영하고, 촬영된 이미지를 상기 추정부에 제공할 수 있다.When the arm arrives at the transit point, the second photographing unit may photograph the object at a second position where photographing interference by the arm is excluded, and provide a photographed image to the estimation unit.

상기 제1 촬영부 및 상기 제2 촬영부는 각각 상기 대상물에 대한 컬러 이미지와 뎁스(depth) 정보를 획득하는 RGB-D 센서를 포함할 수 있다.The first photographing unit and the second photographing unit may each include an RGB-D sensor that obtains a color image and depth information of the object.

상기 추정부는 상기 제1 촬영부에 의해 획득된 제1 이미지와 제1 뎁스 정보를 이용해서 상기 제1 정보를 생성할 수 있다.The estimation unit may generate the first information by using the first image and first depth information acquired by the first photographing unit.

상기 추정부는 상기 제2 촬영부에 의해 획득된 제2 이미지와 제2 뎁스 정보를 이용해서 상기 제2 정보를 생성할 수 있다.The estimation unit may generate the second information by using the second image and second depth information acquired by the second photographing unit.

상기 제1 촬영부와 상기 제2 촬영부 중 적어도 하나를 상기 로봇에 설치하기 위한 착탈부가 마련될 수 있다.A detachable part for installing at least one of the first photographing part and the second photographing part to the robot may be provided.

상기 착탈부는 상기 대상물을 처리하는 이펙터(end effector)가 형성된 상기 로봇의 단부에 착탈 가능하게 형성될 수 있다.The detachable part may be detachably formed at an end of the robot where an end effector for processing the object is formed.

제1 인터페이스부와 제2 인터페이스부 중 적어도 하나가 마련될 수 있다.At least one of the first interface unit and the second interface unit may be provided.

상기 제1 인터페이스부는 상기 제1 촬영부 및 상기 제2 촬영부로부터 출력된 정보를 상기 추정부에 유선 또는 무선으로 제공할 수 있다.The first interface unit may provide information output from the first and second photographing units to the estimation unit via wire or wirelessly.

상기 제2 인터페이스부는 상기 추정부에서 생성된 상기 제1 정보 및 상기 제2 정보 중 적어도 하나를 상기 로봇에 유선 또는 무선으로 제공할 수 있다.The second interface unit may provide at least one of the first information and the second information generated by the estimation unit to the robot by wire or wirelessly.

상기 제1 촬영부는 제1 위치에서 상기 대상물을 촬영할 수 있다.The first photographing unit may photograph the object at a first position.

상기 제2 촬영부는 상기 대상물과 상기 제1 위치 사이의 제2 위치에서 상기 대상물을 촬영할 수 있다.The second photographing unit may photograph the object at a second position between the object and the first position.

상기 추정부는 상기 제1 촬영부에서 촬영된 제1 이미지를 이용해서 상기 로봇의 암(arm)을 상기 제1 위치와 상기 대상물 사이의 경유 지점까지 안내하는데 필요한 상기 제1 정보를 생성할 수 있다.The estimating unit may generate the first information necessary to guide the arm of the robot to a point of transit between the first position and the object by using the first image captured by the first photographing unit.

상기 추정부는 상기 제2 촬영부에서 촬영된 제2 이미지를 이용해서 상기 암을 상기 경유 지점으로부터 상기 대상물까지 안내하는데 필요한 상기 제2 정보를 생성할 수 있다.The estimating unit may generate the second information necessary to guide the arm from the point of passage to the object by using the second image photographed by the second photographing unit.

상기 제1 촬영부는 상기 경유 지점의 도출을 위해 필요한 상기 대상물의 위치를 제1 위치에서 파악하거나, 상기 제1 촬영부와 상기 대상물 사이의 경유 지점에서 상기 로봇의 암(arm)이 취해야 할 제1 자세의 도출에 필요한 상기 타겟 자세를 상기 제1 위치에서 파악할 수 있는 제1 분해능을 갖게 형성될 수 있다.The first photographing unit identifies the position of the object required for derivation of the passage point at a first position, or the first arm of the robot at a point of passage between the first photographing unit and the object The target posture required for derivation of the posture may be formed to have a first resolution capable of grasping at the first position.

상기 제2 촬영부는 상기 로봇의 암(arm)이 상기 대상물을 처리하는데 필요한 제2 자세의 도출을 위해 필요한 상기 대상물의 자세에 해당하는 타겟 자세를 제2 위치에서 파악할 수 있는 제2 분해능을 갖게 형성될 수 있다.The second photographing unit is formed to have a second resolution capable of grasping a target posture corresponding to the posture of the object required for deriving a second posture required for the arm of the robot to process the object at a second position. Can be.

상기 제1 정보는 상기 대상물에 대면되는 위치에서 상기 로봇의 암(arm)이 취해야 할 제1 자세에 관한 정보를 포함할 수 있다.The first information may include information on a first posture to be taken by the arm of the robot at a position facing the object.

상기 제2 정보는 상기 대상물을 처리하기 위해 상기 암이 취해야 할 제2 자세에 관한 정보를 포함할 수 있다.The second information may include information on a second posture that the arm should take in order to process the object.

상기 제2 자세는 상기 제1 자세에 포함된 오차가 보정된 보정 자세에 해당될 수 있다.The second posture may correspond to a corrected posture in which an error included in the first posture is corrected.

상기 제1 자세 및 상기 제2 자세 중 적어도 하나는 로봇 좌표계를 기준으로 3차원 위치 정보, 피치(pitch) 정보, 롤(roll) 정보, 요(yaw) 정보 중 적어도 하나를 포함할 수 있다.At least one of the first posture and the second posture may include at least one of 3D position information, pitch information, roll information, and yaw information based on the robot coordinate system.

상기 대상물의 중심을 통과하고 상기 대상물의 표면에 수직하게 연장되는 가상축이 정의될 수 있다.A virtual axis passing through the center of the object and extending perpendicular to the surface of the object may be defined.

상기 제1 정보에 의해 상기 로봇은 상기 대상물을 처리하는 이펙터(end effector)가 임의의 위치로부터 상기 가상축 상의 경유 지점에 도달하도록 움직일 수 있다.According to the first information, the robot may move such that an end effector processing the object reaches a transit point on the virtual axis from an arbitrary position.

상기 제2 정보에 의해 상기 가상축이 보정되고, 상기 로봇은 보정된 가상축을 따라서 상기 이펙터를 움직일 수 있다.The virtual axis is corrected by the second information, and the robot may move the effector along the corrected virtual axis.

상기 추정부는 상기 제1 촬영부 및 상기 제2 촬영부 중 적어도 하나에서 촬영된 이미지에 딥러닝 알고리즘을 적용하여 상기 대상물의 윤곽선 정보를 추출할 수 있다.The estimation unit may extract contour information of the object by applying a deep learning algorithm to an image captured by at least one of the first and second photographing units.

상기 추정부는 추출된 상기 윤곽선 정보를 이용해서 상기 이미지 내에 배치된 대상물의 자세를 추정할 수 있다.The estimating unit may estimate the posture of the object disposed in the image using the extracted contour information.

상기 제1 촬영부 및 상기 제2 촬영부 중 적어도 하나는 상기 대상물의 이미지와 뎁스 정보를 상기 추정부에 제공할 수 있다.At least one of the first photographing unit and the second photographing unit may provide the image and depth information of the object to the estimation unit.

상기 추정부는 상기 이미지의 분석을 통해 상기 대상물의 윤곽선 정보를 추출할 수 있다.The estimating unit may extract contour information of the object through analysis of the image.

상기 추정부는 상기 윤곽선 정보 내에 서로 이격된 복수의 가상점을 설정할 수 있다.The estimation unit may set a plurality of virtual points spaced apart from each other in the outline information.

상기 추정부는 상기 뎁스 정보의 분석을 통해 상기 제1 촬영부 또는 상기 제2 촬영부를 기준으로 하는 상기 가상점 각각의 뎁스를 분석할 수 있다.The estimation unit may analyze the depth of each of the virtual points based on the first or second photographing unit through the analysis of the depth information.

상기 추정부는 상기 분석된 각 가상점의 뎁스를 이용해서 상기 대상물의 자세를 추정할 수 있다.The estimating unit may estimate the posture of the object by using the analyzed depth of each virtual point.

상기 추정부는 상기 추정된 상기 대상물의 자세를 이용해서 상기 제1 정보 또는 상기 제2 정보를 생성할 수 있다.The estimation unit may generate the first information or the second information by using the estimated posture of the object.

상기 추정부는 상기 제2 촬영부에서 촬영된 제2 이미지의 분석을 통해 상기 대상물의 중심을 추정할 수 있다.The estimation unit may estimate the center of the object through analysis of the second image captured by the second photographing unit.

상기 추정부는 상기 대상물의 중심으로부터 연장되고 상기 대상물의 표면에 직교하는 가상선 정보를 이용해서 상기 제2 정보를 생성할 수 있다.The estimation unit may generate the second information by using virtual line information extending from the center of the object and perpendicular to the surface of the object.

상기 제1 촬영부는 복수의 상기 대상물이 포함된 설정 영역이 촬영된 제1 이미지를 상기 추정부에 제공할 수 있다.The first photographing unit may provide the estimating unit with a first image in which a setting area including a plurality of objects is captured.

상기 추정부는 상기 제1 이미지의 분석을 통해 상기 설정 영역 내에 존재하는 복수의 상기 대상물 중 하나를 타겟으로 선택하고, 상기 타겟에 기초한 상기 제1 정보 및 상기 제2 정보 중 적어도 하나를 생성할 수 있다.The estimating unit may select one of the plurality of objects present in the setting area as a target through analysis of the first image, and may generate at least one of the first information and the second information based on the target. .

상기 추정부는 선택된 타겟에 대한 상기 로봇의 처리가 완료되면, 이전 타겟과 가장 가까운 위치에 배치된 대상물을 다음 타겟으로 선택할 수 있다.When the processing of the robot for the selected target is completed, the estimating unit may select an object disposed at a position closest to the previous target as the next target.

상기 제1 촬영부는 복수의 상기 대상물이 포함된 설정 영역이 촬영된 제1 이미지 및 상기 설정 영역에 대한 뎁스 정보를 상기 추정부에 제공할 수 있다.The first photographing unit may provide a first image in which a setting region including a plurality of objects is photographed and depth information on the setting region to the estimation unit.

상기 추정부는 상기 제1 이미지에 포함된 복수의 대상물 중 상기 제1 촬영부에 대한 뎁스가 가장 짧은 특정 대상물을 기초로 상기 제1 정보 및 상기 제2 정보 중 적어도 하나를 생성할 수 있다.The estimating unit may generate at least one of the first information and the second information based on a specific object having a shortest depth for the first photographing unit among a plurality of objects included in the first image.

상기 제1 촬영부에 가장 가깝게 배치된 대상물부터 상기 로봇에 의해 처리될 수 있다.The object disposed closest to the first photographing unit may be processed by the robot.

또한, 본 발명의 다른 실시예에 따르면 로봇 제어 장치가 제공된다. 상기 로봇 제어 장치는, 제1 위치에서 제1 분해능으로 상기 대상물을 촬영하는 제1 촬영부; 제2 분해능으로 상기 대상물을 촬영하는 제2 촬영부; 상기 제1 촬영부에서 촬영된 제1 이미지의 분석을 통해, 상기 대상물의 자세 정보에 해당하는 타겟 자세를 상기 제2 분해능으로 파악할 수 있는 제2 위치를 추정하는 추정부;를 포함할 수 있다.Further, according to another embodiment of the present invention, a robot control device is provided. The robot control device includes: a first photographing unit for photographing the object at a first position with a first resolution; A second photographing unit for photographing the object with a second resolution; And an estimating unit for estimating a second position capable of grasping a target posture corresponding to the posture information of the object with the second resolution through analysis of the first image captured by the first photographing unit.

상기 추정부는 상기 제2 위치에 상기 제2 촬영부를 배치시키는 로봇의 제1 제어에 필요한 제1 정보를 생성하고, 상기 로봇에 상기 제1 정보를 제공할 수 있다.The estimating unit may generate first information necessary for first control of a robot that arranges the second photographing unit at the second position, and may provide the first information to the robot.

상기 제2 촬영부는 상기 로봇에 의해 상기 제2 위치에 도달하면 상기 대상물을 촬영할 수 있다.The second photographing unit may photograph the object when the robot reaches the second position.

상기 추정부는 상기 제2 위치에서 상기 제2 촬영부에 의해 촬영된 제2 이미지의 분석을 통해 상기 타겟 자세를 추정할 수 있다.The estimating unit may estimate the target posture through analysis of a second image captured by the second photographing unit at the second position.

상기 추정부는 추정된 상기 타겟 자세가 반영된 제2 정보를 생성하고, 상기 로봇에 상기 제2 정보를 제공할 수 있다.The estimating unit may generate second information in which the estimated target posture is reflected, and may provide the second information to the robot.

또한, 본 발명의 또 다른 실시예에 따르면 로봇 제어 장치가 제공된다. 상기 로봇 제어 장치는, 제1 광축을 가지며 설정 영역을 촬영하는 제1 촬영부; 상기 제1 촬영부에 의해 촬영된 제1 이미지의 분석을 통해 상기 설정 영역에 배치된 대상물의 위치를 추정하는 추정부; 로봇의 암(arm)에 설치되며 제2 광축을 가지며 상기 대상물을 촬영하는 제2 촬영부;를 포함할 수 있다.Further, according to another embodiment of the present invention, a robot control device is provided. The robot control device includes: a first photographing unit having a first optical axis and photographing a setting area; An estimating unit estimating a position of an object disposed in the setting area through analysis of the first image captured by the first photographing unit; It may include; a second photographing unit installed on the arm of the robot and having a second optical axis to photograph the object.

상기 추정부는 상기 제2 촬영부의 상기 제2 광축이 상기 추정된 대상물의 위치를 향하도록 상기 로봇의 암을 움직이는 제1 제어에 사용되는 제1 정보를 생성하며, 상기 로봇에 상기 제1 정보를 제공할 수 있다.The estimation unit generates first information used for first control of moving the arm of the robot such that the second optical axis of the second photographing unit faces the estimated position of the object, and provides the first information to the robot. can do.

상기 로봇은 상기 로봇의 암에 결합되어 상기 대상물을 처리하는 이펙터(end effector)의 동작 축이 상기 대상물 상에 위치하도록 움직일 수 있다.The robot may be coupled to the arm of the robot so that an axis of motion of an end effector processing the object is positioned on the object.

상기 제2 촬영부는 상기 이펙터로부터 이격되게 상기 암에 설치될 수 있다.The second photographing unit may be installed on the arm to be spaced apart from the effector.

상기 제2 촬영부는 상기 제2 광축이 상기 동작 축에 평행하게 유지되도록 상기 암의 단부에 설치될 수 있다.The second photographing unit may be installed at an end of the arm so that the second optical axis is maintained parallel to the motion axis.

상기 제2 촬영부는 상기 동작 축에 평행하게 형성된 제2 광축으로 인해 상기 대상물로부터 이격된 지점을 조준한 상태에서, 상기 동작 축 상에 배치된 상기 대상물을 촬영할 수 있는 화각을 가질 수 있다.The second photographing unit may have a field of view capable of photographing the object disposed on the motion axis while aiming at a point spaced apart from the object due to a second optical axis formed parallel to the motion axis.

본 발명의 또 다른 실시예에 따르면 로봇 제어 방법이 제공된다. 상기 로봇 제어 방법은, 제1 촬영부에 의해 촬영된 대상물의 제1 이미지 및 제1 거리 정보를 획득하는 제1 획득 단계; 상기 제1 이미지와 상기 제1 거리 정보를 이용하여 상기 대상물의 윤곽선 정보와 기울기 정보를 1차 추정하는 제1 추정 단계; 1차 추정된 결과에 따라 상기 대상물을 그랩하는 로봇을 상기 제1 촬영부와 상기 대상물 사이의 경유 지점으로 안내하는 제1 정보를 생성하고, 상기 로봇에 상기 제1 정보를 제공하는 제1 제공 단계; 상기 로봇이 상기 경유 지점에 도달하면 상기 로봇과 함께 움직이는 제2 촬영부로부터 제2 이미지 및 제2 거리 정보를 획득하는 제2 획득 단계; 상기 제2 이미지와 상기 제2 거리 정보를 이용하여 상기 대상물의 윤곽선 정보와 기울기 정보를 2차 추정하는 제2 추정 단계; 2차 추정된 결과에 따라 상기 로봇을 상기 경유 지점으로부터 상기 대상물까지 안내하거나 상기 대상물을 그랩하는 상기 로봇의 자세를 보정하는 제2 정보를 생성하고, 상기 로봇에 상기 제2 정보를 제공하는 제2 제공 단계;를 포함할 수 있다.According to another embodiment of the present invention, a robot control method is provided. The robot control method includes: a first obtaining step of obtaining a first image and first distance information of an object photographed by a first photographing unit; A first estimation step of first estimating contour information and tilt information of the object using the first image and the first distance information; A first providing step of generating first information guiding a robot grabbing the object to a point of transit between the first photographing unit and the object according to the first estimated result, and providing the first information to the robot ; A second obtaining step of obtaining a second image and second distance information from a second photographing unit moving together with the robot when the robot reaches the point of transit; A second estimating step of secondarily estimating contour information and slope information of the object using the second image and the second distance information; Second information for guiding the robot from the point of passage to the object or correcting the posture of the robot grasping the object according to the second estimated result, and providing the second information to the robot It may include; providing step.

상기 대상물에 대한 상기 로봇의 그랩 여부를 판별하는 판별 단계;가 포함될 수 있다.It may include a determination step of determining whether or not the robot grabs the object.

상기 판별 단계에서 상기 대상물에 대한 상기 로봇의 그랩이 실패한 것으로 판별되면, 상기 경유 지점으로 상기 로봇이 후퇴할 수 있다.When it is determined that the grab of the robot against the object has failed in the determining step, the robot may retreat to the point of transit.

상기 로봇이 상기 경유 지점까지 후퇴하면, 상기 제2 획득 단계, 상기 제2 추정 단계, 상기 제2 제공 단계가 순서대로 재실행될 수 있다.When the robot retreats to the via point, the second obtaining step, the second estimating step, and the second providing step may be sequentially re-executed.

본 발명에 따르면, 로봇이 다양한 위치에 자유롭게 배치된 대상물을 그랩하기 위해 필요한 제1 정보 및 제2 정보가 생성될 수 있다. 제1 정보 및 제2 정보 중 적어도 하나는 로봇에 제공되고, 로봇의 제어에 이용될 수 있다.According to the present invention, the first information and the second information necessary for the robot to grab objects that are freely arranged in various positions can be generated. At least one of the first information and the second information is provided to the robot and may be used for controlling the robot.

본 발명에 따르면, 제1 정보의 소스를 획득하는 제1 촬영부, 제2 정보의 소스를 획득하는 제2 촬영부가 구분될 수 있다. 추정부는 제2 정보를 생성할 수 있는 발판을 마련하기 위해 제1 정보를 사용할 수 있다.According to the present invention, a first photographing unit that obtains a source of first information and a second photographing unit that obtains a source of second information may be classified. The estimating unit may use the first information to prepare a foothold on which the second information can be generated.

로봇은 대상물로부터 이격된 특정 지점을 경유해서 대상물에 접근하는 특성을 가질 수 있다. 로봇의 해당 특성을 이용해서, 본 발명의 제어 장치는 원거리로부터 특정 지점까지 로봇을 움직이는데 필요한 제1 정보를 획득하기 위해 제1 촬영부를 사용할 수 있다. 본 발명의 제어 장치는 특정 지점으로부터 대상물까지 로봇을 움직이는데 필요한 제2 정보를 획득하기 위해 제2 촬영부를 사용할 수 있다.The robot may have a characteristic of approaching an object through a specific point separated from the object. Using the corresponding characteristics of the robot, the control device of the present invention can use the first photographing unit to acquire first information required to move the robot from a distance to a specific point. The control device of the present invention may use the second photographing unit to obtain second information required to move the robot from a specific point to an object.

원거리에 배치된 단일의 촬영기를 이용해 로봇의 전체 동작을 제어하는 비교 실시예의 경우, 단일 촬영기만으로 대상물을 정확하게 관측해야 한다.In the case of the comparative example in which the entire motion of the robot is controlled using a single camera located at a distance, the object must be accurately observed with only a single camera.

따라서, 비교 실시예에 따르면 촬영기에 대한 높은 분해능이 요구되며, 높은 분해능의 요구는 제어 장치의 비용 상승을 유발하는 요인이 된다.Therefore, according to the comparative example, a high resolution is required for the photographing device, and the demand for a high resolution becomes a factor that causes an increase in the cost of the control device.

또한, 비교 실시예의 경우, 원거리에서 관측된 대상물 정보를 소스로 하므로, 대상물 표면의 난반사, 노이즈에 취약할 수 있다. 난반사, 노이즈 등을 제거하기 위해 복잡한 알고리즘이 추가로 요구된다. 해당 알고리즘의 추가로 인해 촬영기에서 획득된 이미지를 분석하는 처리기의 부하가 증가될 수 있다.In addition, in the case of the comparative example, since object information observed from a distance is used as a source, it may be vulnerable to diffuse reflection and noise on the surface of the object. Complex algorithms are additionally required to remove diffuse reflection and noise. Due to the addition of the corresponding algorithm, the load of the processor that analyzes the image acquired by the camera may increase.

또한, 비교 실시예의 경우, 단일 촬영기에서 촬영된 이미지에 대한 분석이 완료되고, 처리될 대상물이 특정되면 로봇이 대상물을 향해 진입하게 된다. 이때, 로봇이 단일 촬영기에 대해 대상물을 가리기 때문에, 단일 촬영기는 대상물을 촬영할 수 없다. 따라서, 로봇의 진입 후에 대상물의 위치 변화 등이 추가 발생된 경우, 대상물에 대한 정상적인 처리가 수행될 수 없다. 따라서, 비교 실시예는 적어도 단일 촬영기에서 대상물을 촬영한 시점 이후부터는 움직임이 제한되는 종류/형상의 대상물에만 적용될 수 있는 한계가 있다.In addition, in the case of the comparative example, when the analysis of the image captured by the single camera is completed, and the object to be processed is specified, the robot enters the object. At this time, since the robot covers the object with respect to the single photographing device, the single photographing device cannot photograph the object. Therefore, when a position change of the object or the like occurs after the robot enters, normal processing of the object cannot be performed. Accordingly, the comparative embodiment has a limitation that can be applied only to an object of a type/shape whose movement is restricted from at least a point in time after the object is photographed by a single camera.

본 발명에 따르면, 서로 구분되는 제1 촬영부와 제2 촬영부가 마련될 수 있다. 제1 촬영부는 로봇의 경유 지점을 확보하는데 필요한 분해능을 가지면 충분하다. 제2 촬영부는 경유 지점 부근부터 대상물을 확보하는데 필요한 분해능을 가지면 충분하다. 따라서, 각 촬영부는 비교 실시예의 단일 카메라보다 낮은 분해능을 가질 수 있다. 낮은 분해능을 갖는 촬영부 2개는 높은 분해능의 단일 카메라보다 매우 저렴하므로, 본 발명의 제어 장치는 비교 실시예 대비 높은 생산성을 가질 수 있다.According to the present invention, a first photographing unit and a second photographing unit separated from each other may be provided. It is sufficient if the first photographing unit has the necessary resolution to secure the point of the robot through. It is sufficient if the second photographing unit has the necessary resolution to secure the object from the vicinity of the point of transit. Accordingly, each photographing unit may have a lower resolution than the single camera of the comparative example. Since two photographing units having a low resolution are much cheaper than a single camera having a high resolution, the control device of the present invention can have higher productivity compared to the comparative example.

또한, 본 발명에 따르면, 제2 촬영부에 의해 비교 실시예의 단일 카메라보다 가까운 거리에서 대상물을 촬영하게 되므로, 난반사나 노이즈의 유입이 개선된 이미지의 확보가 가능하다. 따라서, 본 발명의 추정부에서 사용하는 노이즈 개선 알고리즘에 대한 적용 레벨이 비교 실시예보다 완화될 수 있다. 본 발명에 따르면, 추정부의 처리 부하가 경감될 수 있다.Further, according to the present invention, since the second photographing unit photographs an object at a closer distance than the single camera of the comparative example, it is possible to secure an image with improved diffuse reflection or noise inflow. Accordingly, the level of application to the noise improvement algorithm used in the estimating unit of the present invention may be more relaxed than in the comparative example. According to the present invention, the processing load of the estimating unit can be reduced.

또한, 본 발명에 따르면, 제2 촬영부에 의해 로봇의 간섭없이 대상물의 촬영이 가능하다. 따라서, 제1 촬영부의 촬영 결과에 따라 로봇이 예비 동작을 수행한 이후에 대상물의 자세 등이 변화하더라도, 별다른 무리없이 대상물에 대한 처리가 수행될 수 있다. 본 발명에 따르면, 다양한 종류/형상의 대상물이 로봇의 처리 대상이 될 수 있다.Further, according to the present invention, the second photographing unit enables photographing of an object without interference from a robot. Therefore, even if the posture of the object changes after the robot performs the preliminary operation according to the photographing result of the first photographing unit, the processing of the object can be performed without much difficulty. According to the present invention, objects of various types/shapes can be processed by the robot.

또한, 본 발명에 따르면, 제1 촬영부, 제2 촬영부, 추정부 중 적어도 하나가 로봇에 착탈 가능하게 형성될 수 있다. 본 발명의 제어 장치는 기존 다양한 용도로 사용되는 로봇에 무리없이 설치 가능하다.In addition, according to the present invention, at least one of the first photographing unit, the second photographing unit, and the estimating unit may be formed to be detachably attached to the robot. The control device of the present invention can be installed without difficulty in a robot used for various purposes.

도 1은 본 발명의 실시예에 따른 제어 장치를 나타낸 개략도이다.
도 2는 본 발명의 실시예에 따른 제어 장치를 나타내 블록도이다.
도 3은 제1 촬영부에 의해 촬영된 제1 이미지를 처리하는 추정부의 동작을 나타낸 개략도이다.
도 4는 제2 촬영부에 의해 촬영된 제2 이미지를 처리하는 추정부의 동작을 나타낸 개략도이다.
도 5는 본 발명의 제어 장치의 동작을 나타낸 개략도이다.
도 6은 본 발명의 실시예에 따른 제어 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.1 is a schematic diagram showing a control device according to an embodiment of the present invention.
2 is a block diagram showing a control device according to an embodiment of the present invention.
3 is a schematic diagram illustrating an operation of an estimation unit processing a first image captured by a first photographing unit.
4 is a schematic diagram illustrating an operation of an estimation unit processing a second image captured by a second photographing unit.
5 is a schematic diagram showing the operation of the control device of the present invention.
6 is a flowchart illustrating a control method according to an embodiment of the present invention.
7 is a diagram illustrating a computing device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the embodiments of the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.In this specification, redundant descriptions of the same components are omitted.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.In addition, in the present specification, when a component is referred to as being'connected' or'connected' to another component, it may be directly connected or connected to the other component, but other components in the middle It should be understood that may exist. On the other hand, in the present specification, when it is mentioned that a certain element is'directly connected' or'directly connected' to another element, it should be understood that no other element exists in the middle.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다. In addition, terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. In addition, in the present specification, a singular expression may include a plurality of expressions unless the context clearly indicates otherwise.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.In addition, in the present specification, terms such as'include' or'have' are only intended to designate the existence of features, numbers, steps, actions, components, parts, or a combination thereof described in the specification, and one or more It is to be understood that the presence or addition of other features, numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance the possibility of being excluded.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. In addition, in this specification, the term'and/or' includes a combination of a plurality of listed items or any of a plurality of listed items.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.In addition, in this specification, detailed descriptions of known functions and configurations that may obscure the subject matter of the present invention will be omitted.

이하, 도면을 참조하여 본 발명의 실시예에 따른 로봇 제어 장치 및 로봇 제어 방법을 설명한다.Hereinafter, a robot control apparatus and a robot control method according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 제어 장치를 나타낸 개략도이다. 도 2는 본 발명의 실시예에 따른 제어 장치를 나타내 블록도이다.1 is a schematic diagram showing a control device according to an embodiment of the present invention. 2 is a block diagram showing a control device according to an embodiment of the present invention.

도면에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제어 장치(100)는 제1 촬영부(110), 제2 촬영부(120), 추정부(130), 인터페이스부(140, 160)를 포함할 수 있다.As shown in the drawing, the control device 100 according to an embodiment of the present invention includes a first photographing unit 110, a second photographing unit 120, an estimating unit 130, and an interface unit 140, 160 It may include.

제1 촬영부(110) 및 제2 촬영부(120)는 로봇(10)에 의해 처리될 대상물(90)을 촬영할 수 있다. 대상물(90)의 촬영은 광학, 적외선 등과 같은 영상학적 소스를 이용해서 이루어질 수 있다. 일 예로, 제1 촬영부(110)와 제2 촬영부(120) 중 적어도 하나는 대상물(90)에 대한 컬러 이미지와 뎁스(depth) 정보를 획득하는 RGB-D 센서, 비젼 센서 등을 포함할 수 있다. 제1 촬영부(110) 또는 제2 촬영부(120)는 이미지를 획득하는 이미지 센서와 뎁스 정보를 획득하는 뎁스 센서를 모두 포함할 수 있다. 뎁스 센서의 예로 TOF(Time-Of-flight) 센서가 있다.The first photographing unit 110 and the second photographing unit 120 may photograph the object 90 to be processed by the robot 10. The photographing of the object 90 may be performed using an imaging source such as optical or infrared light. As an example, at least one of the first photographing unit 110 and the second photographing unit 120 may include an RGB-D sensor, a vision sensor, etc. that acquire a color image and depth information of the object 90. I can. The first photographing unit 110 or the second photographing unit 120 may include both an image sensor acquiring an image and a depth sensor acquiring depth information. An example of a depth sensor is a TOF (Time-Of-flight) sensor.

제1 촬영부(110)와 제2 촬영부(120)는 동일한 종류의 센서로 마련될 수 있다. 다시 말하면, 제1 촬영부(110)가 RGB-D 센서인 경우 제2 촬영부(120)도 RGB-D 센서로 마련될 수 있다. 가령, 제1 촬영부(110)가 비젼 센서 또는 스테레오 카메라로 마련될 경우, 제2 촬영부(120)도 비젼 센서 또는 스테레오 카메라로 마련될 수 있다. 동일한 유형의 센서가 사용될 경우에, 센서 가격이 보다 줄어들 수 있다.The first photographing unit 110 and the second photographing unit 120 may be provided with the same type of sensor. In other words, when the first photographing unit 110 is an RGB-D sensor, the second photographing unit 120 may also be provided as an RGB-D sensor. For example, when the first photographing unit 110 is provided with a vision sensor or a stereo camera, the second photographing unit 120 may also be provided with a vision sensor or a stereo camera. If the same type of sensor is used, the cost of the sensor can be further reduced.

제1 촬영부(110)는 대상물(90)을 촬영한 제1 이미지를 생성할 수 있다. 제1 촬영부(110)는 제1 촬영부(110)와 대상물(90) 간의 거리를 나타내는 제1 뎁스 정보를 생성할 수 있다.The first photographing unit 110 may generate a first image photographing the object 90. The first photographing unit 110 may generate first depth information indicating a distance between the first photographing unit 110 and the object 90.

제2 촬영부(120)는 대상물(90)을 촬영한 제2 이미지를 생성할 수 있다. 제2 촬영부(120)는 제2 촬영부(120)와 대상물(90) 간의 거리를 나타내는 제2 뎁스 정보를 생성할 수 있다.The second photographing unit 120 may generate a second image photographing the object 90. The second photographing unit 120 may generate second depth information indicating a distance between the second photographing unit 120 and the object 90.

추정부(130)는 제1 촬영부(110)를 이용해 로봇(10)의 제1 제어에 사용되는 제1 제어에 사용되는 제1 정보를 생성할 수 있다. 구체적으로, 추정부(130)는 제1 촬영부(110)에 의해 획득된 제1 이미지와 제1 뎁스 정보를 이용해서 제1 정보를 생성할 수 있다. 추정부(130)는 생성된 제1 정보를 로봇(10)에게 제공할 수 있다. 제1 정보는 로봇(10)을 제1 제어하는 제어 신호를 포함할 수 있다. 또는, 제1 정보는 로봇(10)의 제1 제어용 신호를 생성하는데 필요한 대상물(90)의 자세 정보를 포함할 수 있다.The estimating unit 130 may generate first information used for the first control used for the first control of the robot 10 using the first photographing unit 110. Specifically, the estimating unit 130 may generate the first information by using the first image and first depth information acquired by the first photographing unit 110. The estimation unit 130 may provide the generated first information to the robot 10. The first information may include a control signal for first controlling the robot 10. Alternatively, the first information may include posture information of the object 90 required to generate the first control signal of the robot 10.

로봇(10)의 제1 제어가 수행되면, 추정부(130)는 제2 촬영부(120)를 이용해 로봇(10)의 제2 제어에 사용되는 제2 정보를 생성할 수 있다. 예를 들어, 로봇(10)의 제1 제어가 완료되면, 추정부(130)는 제2 촬영부(120)에 의해 획득된 제2 이미지와 제2 뎁스 정보를 이용해서 제2 정보를 생성할 수 있다. 추정부(130)는 생성된 제2 정보를 로봇(10)에게 제공할 수 있다. 제2 정보는 로봇(10)을 제2 제어하는 제어 신호를 포함할 수 있다. 또는, 제2 정보는 로봇(10)의 제2 제어용 신호를 생성하는데 필요한 대상물(90)의 자세 정보를 포함할 수 있다.When the first control of the robot 10 is performed, the estimating unit 130 may generate second information used for the second control of the robot 10 using the second photographing unit 120. For example, when the first control of the robot 10 is completed, the estimating unit 130 may generate second information using the second image and second depth information acquired by the second photographing unit 120. I can. The estimation unit 130 may provide the generated second information to the robot 10. The second information may include a control signal for second controlling the robot 10. Alternatively, the second information may include posture information of the object 90 required to generate the second control signal of the robot 10.

도 1에 도시된 바와 같이, 제1 촬영부(110)는 대상물(90)의 상측으로 공간을 격하고 배치된 구조물(109)에 고정 설치될 수 있다. 일 예로, 구조물(109)은 지면 또는 선반 등에 지지되고 대상물(90)의 상측까지 연장되는 막대 형상 등의 프레임을 포함할 수 있다. 또는, 구조물(109)은 제어 장치가 배치된 건물 실내의 천장을 포함할 수 있다. 또는, 제1 촬영부(110)는 착탈부(미도시)를 통해 구조물(109)에 착탈 가능하게 형성될 수도 있다.As shown in FIG. 1, the first photographing unit 110 may be fixedly installed on the structure 109 disposed in a space above the object 90. As an example, the structure 109 may include a frame, such as a rod shape, which is supported on the ground or a shelf and extends to the upper side of the object 90. Alternatively, the structure 109 may include a ceiling inside a building in which the control device is disposed. Alternatively, the first photographing unit 110 may be formed to be detachably attached to the structure 109 through a detachable unit (not shown).

제2 촬영부(120)는 로봇(10)에서 대상물(90)을 처리하는 이펙터(20)(end effector)가 형성된 암(11)(arm)의 단부에 설치될 수 있다. 암(11)의 단부에 설치된 제2 촬영부(120)는 암(11)과 함께 움직일 수 있다. 이펙터(20)는 대상물(90)의 처리 종류에 따라 달라질 수 있다. 이펙터(20)는 대상물(90)을 처리하기 위해 로봇(10)의 암(11)에 결합 또는 부착될 수 있다.The second photographing unit 120 may be installed at an end of an arm 11 on which an end effector 20 for processing the object 90 in the robot 10 is formed. The second photographing unit 120 installed at the end of the arm 11 may move together with the arm 11. The effector 20 may vary depending on the type of treatment of the object 90. The effector 20 may be coupled or attached to the arm 11 of the robot 10 to process the object 90.

대상물(90)을 절단하는 처리의 경우, 이펙터(20)는 대상물(90)을 절단하는 커터를 포함할 수 있다.In the case of cutting the object 90, the effector 20 may include a cutter that cuts the object 90.

대상물(90)을 용접하는 처리의 경우, 이펙터(20)는 대상물(90)을 용접하는 용접기를 포함할 수 있다.In the case of welding the object 90, the effector 20 may include a welding machine for welding the object 90.

대상물(90)을 그랩(grab), 그립(grip), 픽(pick)하는 처리의 경우, 이펙터(20)는 에어 석션을 이용해서 대상물(90)을 흡착하고 들어올리는 석션부를 포함할 수 있다. 다른 예로, 이펙터(20)는 대상물(90)의 일측과 타측을 각각 집는 복수의 핑거를 포함할 수 있다. 복수의 핑거가 서로 가까워지는 방향으로 조여지면, 복수의 핑거 사이에 배치된 대상물(90)은 핑거에 의해 그랩될 수 있다.In the case of a process of grabbing, gripping, or picking the object 90, the effector 20 may include a suction unit that adsorbs and lifts the object 90 using air suction. As another example, the effector 20 may include a plurality of fingers each picking up one side and the other side of the object 90. When the plurality of fingers are tightened in a direction closer to each other, the object 90 disposed between the plurality of fingers may be grabbed by the fingers.

제2 촬영부(120)는 로봇(10)의 제1 제어에 의해 암(11)이 대상물(90)에 접근하면, 제1 촬영부(110) 보다 가까운 거리에서 대상물(90)을 촬영할 수 있다. 추정부(130)는 제1 촬영부(110)보다 가까운 거리에서 대상물(90)을 촬영한 제2 촬영부(120)의 제2 이미지를 이용해서 제2 정보를 생성할 수 있다.When the arm 11 approaches the object 90 by the first control of the robot 10, the second photographing unit 120 may photograph the object 90 at a closer distance than the first photographing unit 110. . The estimating unit 130 may generate second information by using the second image of the second photographing unit 120 photographing the object 90 at a closer distance than the first photographing unit 110.

본 실시예에 따르면, 제1 촬영부(110)는 제2 촬영부(120)와 비교하여 상대적으로 먼거리에서 대상물(90)을 촬영할 수 있다. 거리상의 차이로 인해 제1 촬영부(110)에서 촬영된 제1 이미지를 통해 대상물(90)의 자세(자세 정보)가 러프하게 획득될 수 있다. 반면, 제2 촬영부(120)는 제1 촬영부(110) 대비 대상물(90)과의 거리가 더 가깝기 때문에, 주변환경의 영향을 덜 받는다. 이로 인해, 제2 촬영부(120)에 의해 촬영된 제2 이미지에서는 대상물(90)의 자세가 정밀하고 세밀하게 획득될 수 있다.According to the present embodiment, the first photographing unit 110 may photograph the object 90 from a relatively far distance compared to the second photographing unit 120. Due to the difference in distance, a rough posture (posture information) of the object 90 may be obtained through the first image photographed by the first photographing unit 110. On the other hand, since the second photographing unit 120 is closer to the object 90 than the first photographing unit 110, it is less affected by the surrounding environment. For this reason, in the second image captured by the second photographing unit 120, the posture of the object 90 can be accurately and precisely acquired.

대상물(90)의 러프한 자세를 소스로 하는 제1 제어는 대상물(90)의 정밀한 자세를 소스로 하는 제2 제어와 대비하여 정밀도가 낮을 수 있다. 하지만, 제1 제어가 수행된 후 제2 제어가 수행되는 로봇(10)의 경우, 제1 제어의 정밀도 저하는 별다른 무리가 없을 수 있다.The first control using the rough posture of the object 90 as a source may have low precision compared to the second control using the precise posture of the object 90 as a source. However, in the case of the robot 10 in which the second control is performed after the first control is performed, the accuracy of the first control may not be degraded.

예를 들어, 제2 촬영부(120)는 제1 촬영부(110)와 대상물(90)의 사이에서 움직이는 로봇(10)의 암(11)에 설치될 수 있다. 제1 제어에 의해 암(11)은 초기 위치 p0로부터 경유 지점 pr로 움직일 수 있다. For example, the second photographing unit 120 may be installed on the arm 11 of the robot 10 that moves between the first photographing unit 110 and the object 90. By the first control, the arm 11 can move from the initial position p0 to the transit point pr.

경유 지점 pr에 암(11)이 배치되면, 제1 촬영부(110)는 촬영 정밀도, 분해능 등에 상관없이 물리적으로 대상물(90)을 가리는 암(11)에 의해 대상물(90)을 정확하게 촬영할 수 없다. 이로 인해, 이펙터(20)가 대상물(90)을 처리하는 처리 시점의 촬영 또는 처리 시점에 근접한 실시간적인 촬영이 어려울 수 있다. 반면, 제2 촬영부(120)보다 대상물(90)로부터 멀리 이격된 제1 촬영부(110)는 제2 촬영부(120) 대비 대상물(90)이 포함된 넓은 설정 영역 L을 촬영할 수 있다. 따라서, 제1 촬영부(110)에서 촬영된 제1 이미지는 복수의 대상물(90) 중 특정 대상물(90)을 선택하는 용도, 이펙터(20)가 특정 대상물(90)에 접근하는 경로 중 하나인 경유 지점 pr을 파악하는 용도로 사용될 수 있다.When the arm 11 is disposed at the point pr, the first photographing unit 110 cannot accurately photograph the object 90 by the arm 11 that physically covers the object 90 regardless of photographing precision and resolution. . For this reason, it may be difficult to photograph the effector 20 at the time of processing the object 90 or photograph the object 90 in real time close to the processing time. On the other hand, the first photographing unit 110 that is farther away from the object 90 than the second photographing unit 120 may capture a wide setting area L including the object 90 compared to the second photographing unit 120. Therefore, the first image captured by the first photographing unit 110 is used for selecting a specific object 90 from among a plurality of objects 90, and is one of the paths for the effector 20 to approach the specific object 90. It can be used to identify the transit point pr.

로봇(10)의 암(11)에 설치된 제2 촬영부(120)는 암(11)의 위치, 자세 등에 상관없이 암(11)에 의해 시야가 가리지 않을 수 있다. 따라서, 암(11)이 경유 지점 pr에 도착하면, 암(11)에 설치된 제2 촬영부(120)는 암(11)에 의한 촬영 간섭이 배제된 제2 위치 p2에서 대상물(90)을 촬영할 수 있다. 제2 촬영부(120)는 촬영된 제2 이미지를 추정부(130)에 제공할 수 있다.The second photographing unit 120 installed on the arm 11 of the robot 10 may not be obscured by the arm 11 regardless of the position or posture of the arm 11. Therefore, when the arm 11 arrives at the transit point pr, the second photographing unit 120 installed on the arm 11 can photograph the object 90 at the second position p2 where photographing interference by the arm 11 is excluded. I can. The second photographing unit 120 may provide the photographed second image to the estimating unit 130.

결국, 대상물(90)에 근접하여 촬영할 수 있는 제2 촬영부(120)가 존재하기 때문에, 제1 촬영부(110)는 대상물(90)을 정밀하게 촬영하는 구성을 가질 필요가 없다.As a result, since the second photographing unit 120 that can photograph the object 90 close to the object 90 exists, the first photographing unit 110 does not need to have a configuration that accurately photographs the object 90.

한편, 본 발명의 제어 장치는 로봇(10)에 일체로 형성되거나, 별도로 형성될 수 있다.On the other hand, the control device of the present invention may be integrally formed with the robot 10 or may be formed separately.

본 발명에 따른 제어 장치가 로봇(10)과 일체로 형성되는 경우, 추정부(130)는 로봇(10)의 콘트롤러(미도시)와 일체로 형성될 수 있다. 물론, 추정부(130)와 로봇(10)의 콘트롤러는 별도로 각각 마련될 수도 있다.When the control device according to the present invention is integrally formed with the robot 10, the estimation unit 130 may be integrally formed with a controller (not shown) of the robot 10. Of course, the controller of the estimating unit 130 and the robot 10 may be provided separately.

본 발명에 따른 제어 장치가 로봇(10)과 별도로 형성되는 경우, 제어 장치는 기존 로봇(10)에 착탈 가능하게 구비될 필요가 있다. 로봇(10)과 별도로 형성된 제어 장치를 기존 로봇(10)에 적용하기 위해 착탈부(180)가 마련될 수 있다.When the control device according to the present invention is formed separately from the robot 10, the control device needs to be detachably provided to the existing robot 10. A detachable part 180 may be provided to apply a control device formed separately from the robot 10 to the existing robot 10.

착탈부(180)에는 제1 촬영부(110)와 제2 촬영부(120) 중 적어도 하나가 설치될 수 있다. 착탈부(180)는 제1 촬영부(110)와 제2 촬영부(120) 중 적어도 하나를 로봇에 설치하기 위한 것일 수 있다. 착탈부(180)는 대상물(90)을 처리하는 이펙터(20)(end effector)가 형성된 로봇(10)의 단부에 착탈 가능하게 형성될 수 있다.At least one of the first photographing unit 110 and the second photographing unit 120 may be installed in the detachable unit 180. The detachable part 180 may be for installing at least one of the first photographing unit 110 and the second photographing unit 120 to the robot. The detachable part 180 may be formed to be detachably attached to an end of the robot 10 on which an end effector 20 for processing the object 90 is formed.

일 예로, 착탈부(180)는 기둥 또는 막대 형상을 갖는 로봇(10)의 암(11)을 감싸거나, 이펙터(20)의 밑둥을 감싸는 밴드를 포함할 수 있다. 밴드의 일측 단부와 타측 단부는 밴드의 몸체가 암(11) 또는 이펙터(20)를 감싼 상태에서 볼트(189)/너트를 이용한 나사 결합 등에 의해 서로 조여질 수 있다. 양 단부 간의 조여짐에 의해 밴드는 착탈부(180)와 함께 로봇(10)에 견고하게 결합될 수 있다.As an example, the detachable part 180 may include a band surrounding the arm 11 of the robot 10 having a column or rod shape or surrounding the base of the effector 20. One end and the other end of the band may be tightened with each other by screwing using bolts 189/nuts while the body of the band wraps the arm 11 or the effector 20. By tightening between both ends, the band may be firmly coupled to the robot 10 together with the detachable part 180.

다른 예로, 착탈부(180)는 로봇(10)의 암(11) 또는 이펙터(20)의 일면에 밀착 접촉된 상태에서 나사 결합 등을 통해 암(11) 또는 이펙터(20)에 체결되는 브라켓을 포함할 수 있다. In another example, the detachable unit 180 may be in close contact with the arm 11 of the robot 10 or the one surface of the effector 20, and the bracket that is fastened to the arm 11 or the effector 20 through screw coupling, etc. Can include.

나사 결합이 해제되면 착탈부(180)는 로봇(10)으로부터 이탈될 수 있다.When the screw connection is released, the detachable part 180 may be separated from the robot 10.

제어 장치에는 제1 인터페이스부(140)와 제2 인터페이스부(160) 중 적어도 하나가 마련될 수 있다.At least one of the first interface unit 140 and the second interface unit 160 may be provided in the control device.

제1 인터페이스부(140)는 제1 촬영부(110) 및 제2 촬영부(120)로부터 출력된 정보를 추정부(130)에 유선 또는 무선(이하 '유무선')으로 제공할 수 있다. 일 예로, 제1 인터페이스부(140)는 제1 촬영부(110)로부터 출력된 제1 이미지 또는 제1 뎁스 정보를 추정부(130)에 전송할 수 있다. 제1 인터페이스부(140)는 제2 촬영부(120)로부터 출력된 제2 이미지 또는 제2 뎁스 정보를 추정부(130)에 전송할 수 있다.The first interface unit 140 may provide information output from the first and second photographing units 110 and 120 to the estimating unit 130 by wire or wirelessly (hereinafter, referred to as “wired/wireless”). For example, the first interface unit 140 may transmit the first image or first depth information output from the first photographing unit 110 to the estimating unit 130. The first interface unit 140 may transmit the second image or second depth information output from the second photographing unit 120 to the estimation unit 130.

착탈부(180)를 이용해 로봇(10)에 착탈 가능하게 형성된 본 발명의 제어 장치는 제어 키트로 명명될 수 있다. 제어 키트로 구성된 경우, 제1 촬영부(110)와 제2 촬영부(120)는 로봇(10)에 대해 별도로 제공될 수 있다. 추정부(130) 역시 별도로 제공될 수 있다. 하지만, 로봇(10)에 마련된 콘트롤러에 소프트웨어를 업데이트하는 방식을 통해, 추정부(130)는 로봇(10)의 콘트롤러와 일체로 형성될 수도 있다.The control device of the present invention formed detachably to the robot 10 using the detachable part 180 may be referred to as a control kit. When configured as a control kit, the first photographing unit 110 and the second photographing unit 120 may be separately provided for the robot 10. The estimation unit 130 may also be provided separately. However, the estimation unit 130 may be integrally formed with the controller of the robot 10 through a method of updating software in the controller provided in the robot 10.

제1 인터페이스부(140)는 추정부(130)와 통신하는 유선 통신 모듈 또는 무선 통신 모듈을 포함할 수 있다. 추정부(130)가 로봇(10)의 콘트롤러와 일체로 형성된 경우, 제1 인터페이스부(140)는 로봇(10)과 통신하고, 로봇(10)의 콘트롤러에 제1 이미지, 제1 뎁스 정보, 제2 이미지, 제2 뎁스 정보를 제공할 수 있다.The first interface unit 140 may include a wired communication module or a wireless communication module that communicates with the estimating unit 130. When the estimating unit 130 is integrally formed with the controller of the robot 10, the first interface unit 140 communicates with the robot 10, and the first image, the first depth information, and the controller of the robot 10 Second image and second depth information may be provided.

제2 인터페이스부(160)는 추정부(130)에서 생성된 제1 정보 및 제2 정보 중 적어도 하나를 로봇(10)에 유무선으로 제공할 수 있다. 제2 인터페이스부(160)는 추정부(130)가 로봇(10)과 별개로 마련된 경우 유용하다. 추정부(130)는 제1 촬영부(110)와 제2 촬영부(120)로부터 전달받은 정보를 이용해서 제1 정보와 제2 정보를 생성하고, 제2 인터페이스부(160)를 통해 로봇(10)에 제1 정보와 제2 정보를 제공할 수 있다. 한편, 제1 인터페이스부(140)와 제2 인터페이스부(160)는 하나의 인터페이스부로 형성될 수도 있다. The second interface unit 160 may provide at least one of the first information and the second information generated by the estimating unit 130 to the robot 10 by wire or wirelessly. The second interface unit 160 is useful when the estimating unit 130 is provided separately from the robot 10. The estimating unit 130 generates first information and second information by using the information transmitted from the first and second photographing units 110 and 120, and the robot through the second interface unit 160 ( 10) can provide the first information and the second information. Meanwhile, the first interface unit 140 and the second interface unit 160 may be formed as one interface unit.

제1 촬영부(110)는 대상물(90)로부터 이격되고 대상물(90)에 대면되는 제1 위치 p1에서 대상물(90)을 촬영할 수 있다.The first photographing unit 110 may photograph the object 90 at a first position p1 that is spaced apart from the object 90 and faces the object 90.

제2 촬영부(120)는 대상물(90)로부터 이격되고 대상물(90)에 대면되는 제2 위치 p2에서 대상물(90)을 촬영할 수 있다. 제2 위치 p2는 대상물(90)과 제1 위치 사이에 위치할 수 있다.The second photographing unit 120 may photograph the object 90 at a second position p2 that is spaced apart from the object 90 and faces the object 90. The second position p2 may be located between the object 90 and the first position.

추정부(130)에서 제1 촬영부(110)에서 촬영된 제1 이미지를 이용해서 제1 정보를 생성할 수 있다. 이때, 제1 정보는 로봇(10)의 암(11)(arm)을 제1 위치와 대상물(90) 사이의 경유 지점 pr까지 안내하는데 필요한 정보를 포함할 수 있다.The estimating unit 130 may generate first information by using the first image captured by the first photographing unit 110. In this case, the first information may include information necessary to guide the arm 11 of the robot 10 to a point pr through which the first position and the object 90 are passed through.

추정부(130)는 제2 촬영부(120)에서 촬영된 제2 이미지를 이용해서 제2 정보를 생성할 수 있다. 이때, 제2 정보는 암(11)(arm)을 경유 지점 pr로부터 대상물(90)까지 안내하는데 필요한 정보를 포함할 수 있다.The estimating unit 130 may generate second information by using the second image captured by the second photographing unit 120. In this case, the second information may include information necessary for guiding the arm 11 from the point pr to the object 90 via the arm.

제1 촬영부(110)와 대상물(90) 사이의 경유 지점 pr에서 로봇(10)의 암(11)(arm)이 취해야 할 제1 자세가 정의될 수 있다. 로봇(10)의 암(11)(arm)이 대상물(90)을 처리하는데 필요한 제2 자세가 정의될 수 있다.A first posture to be taken by the arm 11 of the robot 10 may be defined at a point pr passing between the first photographing unit 110 and the object 90. A second posture required for the arm 11 of the robot 10 to process the object 90 may be defined.

일 예로, 제2 자세는 대상물(90)에 접근한 이펙터(20)가 대상물(90)을 그랩하기 위해 이펙터(20) 또는 암(11)이 취해야 할 자세를 나타낼 수 있다. 일 예로, 대상물(90)이 육면체인 경우, 제2 자세는 대상물(90)의 일면 가운데에 직교하는 축과 동축 상에 배치된 암(11)의 자세를 의미할 수 있다.For example, the second posture may represent a posture that the effector 20 or the arm 11 should take in order for the effector 20 approaching the object 90 to grab the object 90. For example, when the object 90 is a six-sided shape, the second posture may mean a posture of the arm 11 disposed coaxially with an axis orthogonal to the center of one side of the object 90.

로봇(10)의 암(11)은 초기 위치 p0으로부터 가상의 궤적을 그리면서 대상물(90)까지 움직이게 되며, 가상의 궤적 상의 일점이 경유 지점 pr에 해당될 수 있다. 대상물(90)에 도착한 로봇(10)의 암(11)은 제2 자세를 취하게 되며, 제2 자세는 대상물(90)의 도착 전에 경유하는 경유 지점 pr에서 로봇(10)이 취하고 있는 제1 자세로부터 변형된 자세일 수 있다.The arm 11 of the robot 10 moves from the initial position p0 to the object 90 while drawing a virtual trajectory, and a point on the virtual trajectory may correspond to the transit point pr. The arm 11 of the robot 10 arriving at the object 90 takes a second posture, and the second posture is the first posture taken by the robot 10 at the point pr passing through before the object 90 arrives. It may be a posture transformed from a posture.

제1 자세가 제2 자세와 크게 다르면, 경유 지점 pr에서 대상물(90)까지의 짧은 구간 동안 암(11)의 자세가 급변해야 한다. 경유 지점 pr에서 대상물(90)까지의 구간 동안 암(11)의 자세 변화가 작을수록 로봇(10)의 수명 측면, 제어 측면, 정보 획득 측면 등에서 유리할 수 있다. If the first posture is significantly different from the second posture, the posture of the arm 11 must change rapidly during a short section from the passing point pr to the object 90. The smaller the change in posture of the arm 11 during the section from the transit point pr to the object 90 may be advantageous in terms of life, control, and information acquisition of the robot 10.

제어 측면에서 살펴보면, 제1 자세와 제2 자세가 거의 동일하거나 매우 유사하므로, 로봇(10)은 제1 자세에 포함된 미세한 오차를 보정하는 것으로 제2 자세를 달성할 수 있다. 미세 오차는 제2 촬영부(120) 및 추정부(130)에서 탐지되고 분석될 수 있다.In terms of control, since the first posture and the second posture are substantially the same or very similar, the robot 10 can achieve the second posture by correcting a minute error included in the first posture. The minute error may be detected and analyzed by the second photographing unit 120 and the estimating unit 130.

정보 획득 측면에서 살펴보면, 제2 촬영부(120)의 배치 각도가 제1 자세 또는 제2 자세에 기초해서 설정되면, 대상물(90)에 대한 시야가 자연스럽게 확보될 수 있다. 또한, 제2 촬영부(120)는 제1 자세와 제2 자세 간의 미세한 오차를 보정하는데 필요한 정보만 획득하면 충분하다. 제1 촬영부(110)는 정밀한 제2 자세가 아니라 제1 자세를 취할 정도의 러프한 정보만 획득하면 충분하다. 획득해야 할 정보의 종류, 양, 정밀도 등이 완화되므로, 이에 맞춰 제1 촬영부(110)의 필요 분해능 또는 제2 촬영부(120)의 필요 분해능이 완화될 수 있다. 분해능의 완화로 인해 정밀한 고가의 카메라 대신 저렴한 RGB-D 카메라를 이용해서 제1 촬영부(110)와 제2 촬영부(120)가 구성될 수 있다. 이를 통해 제어 장치를 마련하는 생산성이 개선될 수 있다.In terms of information acquisition, if the arrangement angle of the second photographing unit 120 is set based on the first posture or the second posture, a view of the object 90 can be naturally secured. In addition, it is sufficient for the second photographing unit 120 to acquire only information necessary to correct a minute error between the first posture and the second posture. It is sufficient for the first photographing unit 110 to acquire only rough information about taking the first posture, not the precise second posture. Since the type, amount, and precision of information to be acquired are relaxed, the required resolution of the first imaging unit 110 or the required resolution of the second imaging unit 120 may be relaxed accordingly. Due to the relaxation of resolution, the first photographing unit 110 and the second photographing unit 120 may be configured using an inexpensive RGB-D camera instead of a precise expensive camera. Through this, the productivity of providing the control device can be improved.

일 예로, 제1 촬영부(110)는 경유 지점 pr의 도출을 위해 필요한 대상물(90)의 위치를 제1 위치 p0에서 파악할 수 있는 제1 분해능을 갖게 형성될 수 있다. 또는, 제1 촬영부(110)는 제1 자세의 도출에 필요한 대상물(90)의 자세에 해당하는 타겟 자세를 제1 위치 p1에서 파악할 수 있는 제1 분해능을 갖게 형성될 수 있다.As an example, the first photographing unit 110 may be formed to have a first resolution capable of grasping the position of the object 90 required for deriving the passing point pr at the first position p0. Alternatively, the first photographing unit 110 may be formed to have a first resolution capable of recognizing a target posture corresponding to the posture of the object 90 required for deriving the first posture at the first position p1.

제2 촬영부(120)는 제2 자세의 도출을 위해 필요한 타겟 자세를 제2 위치 p2에서 파악할 수 있는 제2 분해능을 갖게 형성될 수 있다.The second photographing unit 120 may be formed to have a second resolution capable of recognizing a target posture required for deriving the second posture at the second position p2.

로봇(10)을 제2 자세로 제어하기 위해서는 제2 정보가 요구되고, 제2 정보는 제2 촬영부(120)의 촬영 결과를 이용해 생성될 수 있다. 제2 촬영부(120)의 촬영 결과에 해당되는 제2 이미지 또는 제2 뎁스 정보는 제2 위치 p2에서 대상물(90)을 센싱 또는 촬영한 것일 수 있다. 이는 곧, 로봇(10)을 제2 자세로 제어하기 위해서는 제2 촬영부(120)를 제2 위치 p2에 배치시켜야 한다는 것을 의미할 수 있다. 이런 관점에서 본 발명의 제어 장치는 제2 촬영부(120)를 중심으로 기술될 수 있다.In order to control the robot 10 in the second posture, second information is required, and the second information may be generated using a photographing result of the second photographing unit 120. The second image or second depth information corresponding to the photographing result of the second photographing unit 120 may be the sensing or photographing of the object 90 at the second position p2. This may mean that in order to control the robot 10 in the second posture, the second photographing unit 120 must be disposed at the second position p2. In this respect, the control device of the present invention may be described based on the second photographing unit 120.

일 예로, 제1 촬영부(110)는 제1 분해능으로 대상물(90)을 촬영할 수 있다.For example, the first photographing unit 110 may photograph the object 90 with a first resolution.

제2 촬영부(120)는 제2 분해능으로 대상물(90)을 촬영할 수 있다.The second photographing unit 120 may photograph the object 90 with a second resolution.

추정부(130)는 제1 촬영부(110)에서 촬영된 제1 이미지를 분석할 수 있다. 대상물(90)의 자세 정보를 타겟 자세로 정의할 때, 추정부(130)는 제1 이미지의 분석을 통해 타겟 자세를 제2 분해능으로 파악할 수 있는 제2 위치 p2를 추정할 수 있다.The estimating unit 130 may analyze the first image captured by the first photographing unit 110. When the posture information of the object 90 is defined as a target posture, the estimating unit 130 may estimate a second position p2 capable of grasping the target posture with a second resolution through analysis of the first image.

추정부(130)는 제1 정보를 생성하고, 로봇(10)에 제1 정보를 제공할 수 있다. 이때, 제1 정보는 제2 위치 p2에 제2 촬영부(120)를 배치시키는 로봇(10)의 제1 제어에 필요한 정보를 포함할 수 있다. 예를 들어, 제1 정보는 대상물(90)의 위치 정보, 대상물(90)의 자세 정보, 대상물(90)의 위치 정보와 자세 정보를 이용해 생성된 로봇(10)의 제어 신호 중 적어도 하나를 포함할 수 있다.The estimating unit 130 may generate first information and provide the first information to the robot 10. In this case, the first information may include information necessary for the first control of the robot 10 that arranges the second photographing unit 120 at the second position p2. For example, the first information includes at least one of the position information of the object 90, the attitude information of the object 90, the position information of the object 90 and the control signal of the robot 10 generated using the attitude information. can do.

제1 정보를 제공받은 로봇(10)은 제1 정보에 기초해서, 제2 위치 p2에 제2 촬영부(120)가 도달하도록 움직일 수 있다. 로봇(10)은 제1 정보에 기초해서, 제2 촬영부(120)의 광축 k2가 대상물(90)을 향하도록 움직일 수 있다. 대상물(90)의 처리 작업 또는 제2 위치 p2에 대한 제2 촬영부(120)의 정렬 작업을 위해 로봇(10)은 복수의 자유도를 갖게 형성될 수 있다.The robot 10 receiving the first information may move so that the second photographing unit 120 reaches the second position p2 based on the first information. The robot 10 may move such that the optical axis k2 of the second photographing unit 120 faces the object 90 based on the first information. The robot 10 may be formed to have a plurality of degrees of freedom for processing the object 90 or aligning the second photographing unit 120 with respect to the second position p2.

일 예로, 서로 직교하는 제1 축, 제2 축, 제3 축이 형성하는 3차원 공간이 정의될 수 있다. 도면에서, 제1 축은 x축, y축, z축 중 어느 하나일 수 있다. 제2 축은 x축, y축, z축 중 제1 축과 다른 하나일 수 있다. 제3 축은 x축, y축, z축 중 제1 축과 제2 축을 제외한 나머지 하나일 수 있다.For example, a three-dimensional space formed by a first axis, a second axis, and a third axis orthogonal to each other may be defined. In the drawing, the first axis may be any one of the x-axis, y-axis, and z-axis. The second axis may be one of the x-axis, y-axis, and z-axis different from the first axis. The third axis may be one of the x-axis, y-axis, and z-axis except for the first axis and the second axis.

로봇(10)의 암(11) 또는 이펙터(20)는 제1 축 방향을 따라 움직이는 제1 이동 자유도, 제2 축 방향을 따라 움직이는 제2 이동 자유도, 제3 축 방향을 따라 움직이는 제3 이동 자유도 중 적어도 하나를 가질 수 있다. 로봇(10)의 암(11) 또는 이펙터(20)는 제1 축을 기준으로 회전하는 제1 회전 자유도, 제2 축을 기준으로 회전하는 제2 회전 자유도, 제3 축을 기준으로 회전하는 제3 회전 자유도 중 적어도 하나를 가질 수 있다.The arm 11 or the effector 20 of the robot 10 includes a first degree of freedom of movement that moves along the first axis direction, a second degree of freedom of movement that moves along the second axis direction, and a third degree of freedom that moves along the third axis direction. It may have at least one of the degrees of freedom of movement. The arm 11 or the effector 20 of the robot 10 has a first degree of freedom of rotation that rotates about a first axis, a second degree of freedom that rotates about a second axis, and a third degree of freedom that rotates about a third axis. It may have at least one of the degrees of freedom of rotation.

제1 정보는 대상물(90)에 대면되는 위치, 예를 들어 경유 지점 pr에서 로봇(10)의 이펙터(20) 또는 암(11)(arm)이 취해야 할 제1 자세에 관한 정보를 포함할 수 있다. 제2 정보는 대상물(90)을 처리하기 위해 암(11)이 취해야할 제2 자세에 관한 정보를 포함할 수 있다. 제2 자세는 제1 자세에 포함된 오차가 보정된 보정 자세에 해당될 수 있다. 제1 자세 및 제2 자세 중 적어도 하나는 로봇(10) 좌표계를 기준으로 3차원 위치 정보, 피치(pitch) 정보, 롤(roll) 정보, 요(yaw) 정보 중 적어도 하나를 포함할 수 있다.The first information may include information on the first posture that the effector 20 or the arm 11 of the robot 10 should take at a position facing the object 90, for example, at a point pr through the way. have. The second information may include information about a second posture that the arm 11 should take in order to process the object 90. The second posture may correspond to a corrected posture in which an error included in the first posture is corrected. At least one of the first posture and the second posture may include at least one of 3D position information, pitch information, roll information, and yaw information based on the robot 10 coordinate system.

3차원 위치 정보는 3차원 공간에서 제1 축 방향 좌표, 제2 축 방향 좌표, 제3 축 방향 좌표를 나타낼 수 있다. 예를 들어, 제1 축은 x축이고, 제2 축은 y축이고, 제3 축은 z축일 수 있다. 이펙터(20) 또는 로봇(10)의 암(11)은 3차원 위치 정보를 달성하기 위해, 제1 이동 자유도, 제2 이동 자유도, 제3 이동 자유도 중 적어도 하나를 활용할 수 있다.The 3D location information may indicate coordinates in a first axis direction, coordinates in a second axis direction, and coordinates in a third axis direction in a 3D space. For example, a first axis may be an x axis, a second axis may be a y axis, and a third axis may be a z axis. The effector 20 or the arm 11 of the robot 10 may utilize at least one of a first degree of freedom of movement, a second degree of freedom of movement, and a third degree of freedom of movement in order to achieve 3D positional information.

피치 정보는 제1 축을 기준으로 하는 각도 정보를 포함할 수 있다. 이펙터(20) 또는 로봇(10)의 암(11)은 피치 정보가 나타내는 각도를 달성하기 위해 제1 회전 자유도를 활용할 수 있다.The pitch information may include angle information based on the first axis. The effector 20 or the arm 11 of the robot 10 may utilize the first degree of freedom of rotation to achieve the angle indicated by the pitch information.

롤 정보는 제2 축을 기준으로 하는 각도 정보를 포함할 수 있다. 이펙터(20) 또는 로봇(10)의 암(11)은 롤 정보가 나타내는 각도를 달성하기 위해 제2 회전 자유도를 활용할 수 있다.The roll information may include angle information based on the second axis. The effector 20 or the arm 11 of the robot 10 may utilize the second degree of freedom of rotation to achieve the angle indicated by the roll information.

요 정보는 제3 축을 기준으로 하는 각도 정보를 포함할 수 있다. 이펙터(20) 또는 로봇(10)의 암(11)은 요 정보가 나타내는 각도를 달성하기 위해 제3 회전 자유도를 활용할 수 있다.The yaw information may include angle information based on the third axis. The effector 20 or the arm 11 of the robot 10 may utilize the third degree of rotational freedom to achieve the angle indicated by the yaw information.

다양한 자유도를 갖는 로봇(10)에 의해 제2 위치 p2에 도달하면, 제2 촬영부(120)는 대상물(90)을 촬영할 수 있다.When reaching the second position p2 by the robot 10 having various degrees of freedom, the second photographing unit 120 may photograph the object 90.

추정부(130)는 제2 위치 p2에서 제2 촬영부(120)에 의해 촬영된 제2 이미지의 분석을 통해 타겟 자세를 추정할 수 있다. 추정부(130)는 추정된 타겟 자세가 반영된 제2 정보를 생성하고, 로봇(10)에 제2 정보를 제공할 수 있다.The estimating unit 130 may estimate the target posture through analysis of the second image captured by the second photographing unit 120 at the second position p2. The estimating unit 130 may generate second information in which the estimated target posture is reflected, and may provide the second information to the robot 10.

제2 촬영부(120)의 시야와 관련된 제2 광축 k2가 대상물(90)을 향하도록 로봇(10)을 제어하는 관점에서 본 발명의 제어 장치가 기술될 수 있다.The control apparatus of the present invention may be described in terms of controlling the robot 10 so that the second optical axis k2 related to the field of view of the second photographing unit 120 faces the object 90.

도 2에 도시된 바와 같이, 제1 촬영부(110)는 제1 광축 k1을 가지며 설정 영역 L을 촬영할 수 있다.As illustrated in FIG. 2, the first photographing unit 110 has a first optical axis k1 and may photograph a setting area L.

추정부(130)는 제1 촬영부(110)에 의해 촬영된 제1 이미지의 분석을 통해 설정 영역 L에 배치된 대상물(90)의 위치를 추정할 수 있다.The estimating unit 130 may estimate the position of the object 90 disposed in the setting area L through analysis of the first image captured by the first photographing unit 110.

제2 촬영부(120)는 제2 광축 k2를 가지며 대상물(90)을 촬영할 수 있다. 제2 촬영부(120)는 로봇의 암(arm)에 설치될 수 있다.The second photographing unit 120 has a second optical axis k2 and may photograph the object 90. The second photographing unit 120 may be installed on an arm of the robot.

추정부(130)는 제1 이미지의 분석을 통해 위치가 추정된 대상물(90)을 향해 제2 광축 k2가 향하도록 제1 정보를 생성할 수 있다. 제1 정보는 로봇(10)의 제1 제어에 사용될 수 있다. 로봇(10)의 제1 제어는 제2 광축 k2이 대상물(90)의 추정 위치를 향하도록 로봇(10)의 암(11)을 움직이는 제어(예, 제2 광축 k2이 대상물(90)을 향하도록 제2 촬영부(120)를 움직이는 로봇(10)의 제어)를 포함할 수 있다. 추정부(130)는 로봇(10)에 제1 정보를 제공할 수 있다.The estimating unit 130 may generate first information such that the second optical axis k2 faces toward the object 90 whose position is estimated through analysis of the first image. The first information may be used for the first control of the robot 10. The first control of the robot 10 is a control that moves the arm 11 of the robot 10 so that the second optical axis k2 faces the estimated position of the object 90 (e.g., the second optical axis k2 faces the object 90). It may include a control of the robot 10 to move the second photographing unit 120 to be. The estimation unit 130 may provide first information to the robot 10.

제1 정보에 의해 제어되는 로봇(10)에 의해 제2 촬영부(120)는 제2 위치 p2에 배치되고, 대상물(90)을 향해 제2 광축 k2가 조정된 촬영 상태가 될 수 있다. 촬영 상태에서 촬영된 제2 이미지는 제2 정보의 생성에 사용될 수 있다.The second photographing unit 120 may be placed in a second position p2 by the robot 10 controlled by the first information, and may be in a photographing state in which the second optical axis k2 is adjusted toward the object 90. The second image captured in the photographing state may be used to generate second information.

대상물(90)을 처리하는 이펙터(20)(end effector)가 로봇(10)의 암(11)(arm)에 형성될 때, 로봇(10)은 이펙터(20)의 동작 축 k3가 대상물(90) 상에 위치하도록 움직일 수 있다. 이펙터(20)의 동작을 방해하지 않고, 이펙터(20)에 의해 대상물(90)이 가리지 않도록 제2 촬영부(120)는 이펙터(20)로부터 이격되게 암(11)에 설치될 수 있다. 예를 들어, 대상물(90)에 대면되는 암(11)의 일면 가운데에 이펙터(20)가 형성된 경우, 제2 촬영부(120)는 대상물(90)에 대면되는 암(11)의 가장자리에 설치될 수 있다. 또는, 제2 촬영부(120)는 이펙터(200), 로봇(10), 또는 암(11) 등의 외주면으로부터 돌출되게 설치될 수 있다. 제2 촬영부(120)의 돌출 방향은 동작 축 k3에 수직할 수 있다. 제2 촬영부(120)는 제2 광축 k2가 동작 축 k3에 평행하게 유지되도록 암(11)의 단부에 설치될 수 있다.When the effector 20 (end effector) for processing the object 90 is formed on the arm 11 of the robot 10, the robot 10 is the motion axis k3 of the effector 20 is the object 90 ) Can be moved to be located on. The second photographing unit 120 may be installed on the arm 11 to be spaced apart from the effector 20 so that the object 90 is not blocked by the effector 20 without interfering with the operation of the effector 20. For example, when the effector 20 is formed in the middle of one surface of the arm 11 facing the object 90, the second photographing unit 120 is installed at the edge of the arm 11 facing the object 90 Can be. Alternatively, the second photographing unit 120 may be installed to protrude from an outer peripheral surface of the effector 200, the robot 10, or the arm 11. The protruding direction of the second photographing unit 120 may be perpendicular to the motion axis k3. The second photographing unit 120 may be installed at the end of the arm 11 so that the second optical axis k2 is maintained parallel to the motion axis k3.

대상물(90)의 중심 o를 통과하고 대상물(90)의 표면에 수직하게 연장되는 가상축 k4가 정의될 수 있다. 로봇(10)이 대상물(90)에 도달하기 전에 경유하는 경유 지점 pr은 가상축 k4 상에 설정될 수 있다.A virtual axis k4 that passes through the center o of the object 90 and extends perpendicular to the surface of the object 90 may be defined. The transit point pr that the robot 10 passes through before reaching the object 90 may be set on the virtual axis k4.

동작 축 k3이 가상축 k4와 동축 상에 형성되고, 제2 광축 k2가 동작 축 k3에 평행하게 형성되면, 제2 위치 p2에 배치된 제2 촬영부(120)는 대상물(90)의 중심 o로부터 이격된 지점을 조준할 수 있다. 이때, 제2 촬영부(120)는 대상물(90)의 중심 o로부터 이격된 다른 지점을 조준한 상태에서, 동작 축 k3 상에 배치된 대상물(90)을 촬영할 수 있는 화각을 가질 수 있다.When the motion axis k3 is formed coaxially with the virtual axis k4 and the second optical axis k2 is formed parallel to the motion axis k3, the second photographing unit 120 disposed at the second position p2 is the center o of the object 90 You can aim at points away from. In this case, the second photographing unit 120 may have a view angle capable of photographing the object 90 disposed on the motion axis k3 while aiming at another point separated from the center o of the object 90.

제1 정보에 의해 로봇(10)은 대상물(90)을 처리하는 이펙터(20)(end effector)가 임의 위치, 예를 들어 초기 위치 p0로부터 가상축 k4 상의 경유 지점 pr에 도달하도록 움직일 수 있다. 제2 정보에 의해 가상축 k4가 보정될 수 있다. 로봇(10)은 이펙터(20)가 보정된 가상축 k4를 따라가면서 대상물(90)에 도달하도록 이펙터(20)(보다 정확하게는 로봇(10)의 암(11))를 움직일 수 있다. 보정된 가상축 k4를 따라가는 이펙터(20)는 정확하게 대상물(90)에 도달할 수 있다. 또한, 이펙터(20)는 대상물(90)의 표면에 수직한 방향을 따라서 대상물(90)에 접근하고, 대상물(90)을 처리할 수 있다.According to the first information, the robot 10 may move such that the end effector 20 processing the object 90 reaches a point pr on the virtual axis k4 from an arbitrary position, for example, an initial position p0. The virtual axis k4 may be corrected by the second information. The robot 10 may move the effector 20 (more precisely, the arm 11 of the robot 10) so that the effector 20 reaches the object 90 while following the corrected virtual axis k4. The effector 20 along the corrected virtual axis k4 can accurately reach the object 90. In addition, the effector 20 may approach the object 90 along a direction perpendicular to the surface of the object 90 and process the object 90.

추정부(130)는 제1 촬영부(110) 및 제2 촬영부(120) 중 적어도 하나에서 촬영된 이미지에 딥러닝 알고리즘을 적용하여 대상물(90)의 윤곽선 정보(99)를 추출할 수 있다.The estimating unit 130 may extract contour information 99 of the object 90 by applying a deep learning algorithm to an image captured by at least one of the first and second photographing units 110 and 120. .

추정부(130)는 추출된 윤곽선 정보(99)를 이용해서 이미지 내에 배치된 대상물(90)의 자세를 추정할 수 있다.The estimating unit 130 may estimate the posture of the object 90 disposed in the image using the extracted contour information 99.

일 예로, 제1 촬영부(110) 및 제2 촬영부(120) 중 적어도 하나는 대상물(90)의 이미지와 뎁스 정보를 추정부(130)에 제공할 수 있다. 추정부(130)는 이미지의 분석을 통해 대상물(90)의 윤곽선 정보(99)를 추출할 수 있다. 추정부(130)는 윤곽선 정보(99) 내에 서로 이격된 복수의 가상점(91, 92, 95)을 설정할 수 있다. 추정부(130)는 뎁스 정보의 분석을 통해 제1 촬영부(110) 또는 제2 촬영부(120)를 기준으로 하는 가상점 각각의 깊이를 분석할 수 있다. 가상점의 깊이는 각 촬영부와 가상점 간의 거리를 의미할 수 있다. 추정부(130)는 분석된 각 가상점의 깊이를 이용해서 대상물(90)의 자세를 추정할 수 있다. 추정부(130)는 추정된 대상물(90)의 자세를 이용해서 제1 정보 또는 제2 정보를 생성할 수 있다.For example, at least one of the first and second photographing units 110 and 120 may provide the image and depth information of the object 90 to the estimating unit 130. The estimating unit 130 may extract contour information 99 of the object 90 through image analysis. The estimating unit 130 may set a plurality of virtual points 91, 92, and 95 spaced apart from each other in the outline information 99. The estimating unit 130 may analyze the depth of each virtual point based on the first photographing unit 110 or the second photographing unit 120 through analysis of the depth information. The depth of the virtual point may mean a distance between each photographing unit and the virtual point. The estimation unit 130 may estimate the posture of the object 90 by using the analyzed depth of each virtual point. The estimating unit 130 may generate first information or second information by using the estimated posture of the object 90.

추정부(130)는 제2 촬영부(120)에서 촬영된 제2 이미지의 분석을 통해 대상물(90)의 중심 o를 추정할 수 있다. 이때, 대상물(90)의 중심 o는 대상물(90)의 3차원적인 중심을 나타내거나, 윤곽선 정보(99)에 포함된 윤곽선으로 이루어진 폐곡면 중심을 나타낼 수 있다. 추정부(130)는 대상물(90)의 중심으로부터 연장되고 대상물(90)의 표면에 직교하는 가상선 정보 k4를 이용해서 제2 정보를 생성할 수 있다.The estimating unit 130 may estimate the center o of the object 90 through analysis of the second image captured by the second photographing unit 120. In this case, the center o of the object 90 may indicate a three-dimensional center of the object 90 or may indicate the center of a closed curved surface formed of an outline included in the contour information 99. The estimating unit 130 may generate second information by using virtual line information k4 extending from the center of the object 90 and perpendicular to the surface of the object 90.

제1 촬영부(110)는 도 3과 같이 복수의 대상물(90)이 포함된 설정 영역 L이 촬영된 제1 이미지를 추정부(130)에 제공할 수 있다.The first photographing unit 110 may provide the estimating unit 130 with a first image in which the setting area L including the plurality of objects 90 is photographed as shown in FIG. 3.

추정부(130)는 제1 이미지의 분석을 통해 설정 영역 내에 존재하는 복수의 대상물(90) 중 하나를 타겟으로 선택할 수 있다. 추정부(130)는 타겟에 기초한 제1 정보 및 제2 정보 중 적어도 하나를 생성할 수 있다.The estimating unit 130 may select one of the plurality of objects 90 existing in the setting area as a target through analysis of the first image. The estimating unit 130 may generate at least one of first information and second information based on a target.

추정부(130)는 선택된 타겟에 대한 로봇(10)의 처리가 완료되면, 이전 타겟과 가장 가까운 위치에 배치된 대상물(90)을 다음 타겟으로 선택할 수 있다. 도 1에서 대상물(90)은 원통 또는 중공 파이프 형상의 물체를 포함하며, 빈(bin)(80)에 수용될 수 있다.When the processing of the robot 10 for the selected target is completed, the estimating unit 130 may select an object 90 disposed at a position closest to the previous target as the next target. In FIG. 1, the object 90 includes an object in the shape of a cylinder or a hollow pipe, and may be accommodated in a bin 80.

초기 구동시 추정부(130)에 의해 제1 물체 ①이 로봇(10)의 작업 대상으로 선택될 수 있다. 제1 물체 ①에 대한 로봇(10)의 처리가 완료되면, 추정부(130)는 나머지 물체 중 기존 제1 물체 ①에 가장 가깝게 배치된 제2 물체 ②를 로봇(10)의 다음 작업 대상으로 선정할 수 있다. 제2 물체 ②에 대한 로봇(10)의 처리가 완료되면, 추정부(130)는 나머지 제3 물체 ③을 로봇(10)의 다음 작업 대상으로 선택할 수 있다.During initial driving, the first object ① may be selected as a work target of the robot 10 by the estimating unit 130. When the processing of the robot 10 for the first object ① is completed, the estimation unit 130 selects the second object ② that is closest to the existing first object ① among the remaining objects as the next target of the robot 10 can do. When the processing of the robot 10 for the second object ② is completed, the estimating unit 130 may select the remaining third object ③ as the next work target of the robot 10.

제1 촬영부(110)는 복수의 대상물(90)이 포함된 설정 영역 L이 촬영된 제1 이미지 및 설정 영역에 대한 뎁스 정보를 추정부(130)에 제공할 수 있다.The first photographing unit 110 may provide the estimating unit 130 with a first image in which the setting area L including the plurality of objects 90 is captured and depth information on the setting area.

추정부(130)는 제1 이미지에 포함된 복수의 대상물(90) 중 제1 촬영부(110)에 대한 뎁스가 가장 짧은 특정 대상물(90)을 기초로 제1 정보 및 제2 정보 중 적어도 하나를 생성할 수 있다. 제1 촬영부(110)에 가장 가깝게 배치된 대상물(90)부터 로봇(10)에 의해 처리될 수 있다.The estimation unit 130 includes at least one of the first information and the second information based on the specific object 90 having the shortest depth for the first photographing unit 110 among the plurality of objects 90 included in the first image. Can be created. The object 90 disposed closest to the first photographing unit 110 may be processed by the robot 10.

도 1에서 설정 영역 L에 배치된 바스켓(basket) 또는 빈(bin)(80)에 제1 물체 ①, 제2 물체 ②, 제3 물체 ③이 담겨 있다. 이때, 제2 물체 ②에 올려져 있는 제1 물체 ①이 제1 위치에 가장 가까울 수 있다. 제1 촬영부(110)는 뎁스 정보를 이용해서 제1 물체 ①이 제1 위치 또는 제1 촬영부(110)에 가장 가까운 것을 확인할 수 있다. 현실적으로 동일 규격의 복수 대상물(90)이 놓인 설정 영역 L에서 특정 대상물(90)이 다른 대상물(90)보다 제1 위치에 가깝다는 것은 특정 대상물(90)의 설정 영역 L의 가운데에 배치된 것을 의미하거나, 특정 대상물(90)이 다른 대상물(90) 위에 올려져 있는 것을 의미할 수 있다. 해당 위치에 배치된 특정 대상물(90)은 다른 대상물(90)의 처리를 방해할 수 있으므로, 우선적으로 로봇(10)에 의해 처리되는 것이 좋다. 본 실시예에 따르면, 대상물(90)이 바스켓에 수북하게 쌓인 상태에서 맨 위에 놓인 특정 대상물(90)부터 로봇(10)에 의해 처리될 수 있다.In FIG. 1, a first object ①, a second object ②, and a third object ③ are contained in a basket or bin 80 arranged in the setting area L. At this time, the first object ① placed on the second object ② may be closest to the first position. The first photographing unit 110 may confirm that the first object ① is closest to the first position or the first photographing unit 110 by using the depth information. In reality, in the setting area L in which the plurality of objects 90 of the same standard are placed, the fact that the specific object 90 is closer to the first position than the other objects 90 means that the specific object 90 is placed in the center of the setting area L of the specific object 90 Alternatively, it may mean that a specific object 90 is placed on another object 90. Since the specific object 90 disposed at the corresponding position may interfere with the processing of the other object 90, it is preferable to be processed by the robot 10 first. According to the present embodiment, the object 90 can be processed by the robot 10 from the specific object 90 placed on the top in a state where the object 90 is easily stacked in the basket.

도 3은 제1 촬영부(110)에 의해 촬영된 제1 이미지를 처리하는 추정부(130)의 동작을 나타낸 개략도이다. 도 4는 제2 촬영부(120)에 의해 촬영된 제2 이미지를 처리하는 추정부(130)의 동작을 나타낸 개략도이다.3 is a schematic diagram showing an operation of the estimating unit 130 processing a first image captured by the first photographing unit 110. 4 is a schematic diagram showing an operation of the estimating unit 130 for processing a second image captured by the second photographing unit 120.

도 3은 설정 영역의 중심에서 설정 영역 L을 촬영한 제1 촬영부(110)의 제1 이미지 i1를 나타낼 수 있다. 도 3에는 설정 영역 L에 배치된 빈(bin)(80) 내에 담긴 원통형 물체가 로봇(10)의 처리 타겟에 해당하는 대상물(90)이 될 수 있다.3 illustrates a first image i1 of the first photographing unit 110 photographing a setting area L from the center of the setting area. In FIG. 3, a cylindrical object contained in a bin 80 disposed in the setting area L may be an object 90 corresponding to a processing target of the robot 10.

도 4는 제1 촬영부(110)와 대상물(90) 사이의 경유 지점 pr에 이펙터(20)가 도달한 상태에서 제2 위치 p2에 배치된 제2 촬영부(120)를 통해 획득한 제2 이미지 i2를 나타낼 수 있다. 제2 위치 p2에 배치된 제2 촬영부(120)의 제2 광축 k2는 대상물(90)을 수직하게 관통하는 이펙터(20)의 동작축 k3에 대해 평행하게 형성될 수 있다. 따라서, 제2 촬영부(120)는 타겟으로 선정된 대상물(90)의 중앙점(95)으로부터 이격된 지점을 조준할 수 있다. 이때, 제2 촬영부(120)는 적어도 제2 이미지 i2의 가장자리에 목표로 하는 대상물(90)이 포함되는 화각을 갖도록 형성될 수 있다.4 is a second image obtained through a second photographing unit 120 disposed at a second position p2 in a state in which the effector 20 reaches a transit point pr between the first photographing unit 110 and the object 90. Can represent image i2. The second optical axis k2 of the second photographing unit 120 disposed at the second position p2 may be formed parallel to the motion axis k3 of the effector 20 vertically penetrating the object 90. Accordingly, the second photographing unit 120 may aim at a point separated from the central point 95 of the object 90 selected as the target. In this case, the second photographing unit 120 may be formed to have an angle of view in which the target object 90 is included at least at the edge of the second image i2.

본 발명의 제어 장치는 기존에 다른 용도로 사용되던 로봇(10)에 착탈될 수 있다. 일 예로, 다른 작업을 수행하던 기존 로봇(10)에 본 발명의 제어 장치를 부착하는 것을 통해 해당 로봇(10)에 빈 피킹 기능 등이 추가될 수 있다.The control device of the present invention may be attached to and detached from the robot 10 that has been used for other purposes. For example, by attaching the control device of the present invention to the existing robot 10 that has been performing other tasks, a bin picking function or the like may be added to the corresponding robot 10.

로봇(10)은 기본적으로 피킹 동작을 수행할 수 있는 암(11)(arm)과, 암(11)을 구동하기 위한 암(11) 구동부(모터 등), 암(11) 구동부를 제어하기 위한 콘트롤러를 포함할 수 있다. 산업용 로봇(10), 협동 로봇(10), 안내 로봇(10) 등 다양한 종류의 로봇(10)이 여기에 속할 수 있다.The robot 10 is basically an arm 11 capable of performing a picking operation, an arm 11 for driving the arm 11 (motor, etc.), and for controlling the arm 11 driving unit. It may include a controller. Various types of robots 10, such as an industrial robot 10, a cooperative robot 10, and a guide robot 10, may belong to this.

제어 장치는 천정(Ceiling)에 부착된 제1 촬영부(110), 로봇(10)의 암(11)에 부착되는 제2 촬영부(120), 딥러닝(머신러닝) 알고리즘을 이용해서 제1 촬영부(110), 제2 촬영부(120)에서 촬영한 영상에서 물체(대상물(90))를 세그멘테이션(Segmentation)하는 이미지 프로세서, 이미지 프로세서로부터 인식된 물체 이미지 세그멘테이션(segmentation) 정보로부터 피킹 타겟의 Pose(자세, 예를 들면, x,y,z 3차원 위치와 pitch, roll, yaw 각도)를 추정하고, Pose가 추정된 타겟을 피킹하기 위해서 암(11)이 취해야 하는 Pose를 추정하는 암 자세 추정기(estimator)로 구성될 수 있다. 이미지 프로세서와 암 자세 추정기는 일체로 형성될 수 있다. 암 자세 추정기는 타겟 자세를 이용해서 로봇(10)의 자세와 관련된 제어 신호를 생성하는 추정부(130)의 일 실시예에 해당될 수 있다.The control device uses a first photographing unit 110 attached to the ceiling, a second photographing unit 120 attached to the arm 11 of the robot 10, and a deep learning (machine learning) algorithm. The image processor for segmenting the object (object 90) from the image captured by the photographing unit 110 and the second photographing unit 120, the picking target from the object image segmentation information recognized by the image processor. Arm pose that estimates the pose (e.g., x, y, z 3D position and pitch, roll, yaw angle) and estimates the pose that the arm 11 must take in order to peak the target whose Pose is estimated It can be configured as an estimator. The image processor and the arm posture estimator may be integrally formed. The arm posture estimator may correspond to an embodiment of the estimating unit 130 that generates a control signal related to the posture of the robot 10 by using the target posture.

이미지 프로세서로는 딥러닝, CNN 알고리즘이 적용되어 이미지 처리 학습이 가능하며, 병렬 연산이 가능한 GPU(Graphic Process Unit)가 사용될 수 있다.As an image processor, deep learning and CNN algorithms are applied to enable image processing learning, and a GPU (Graphic Process Unit) capable of parallel computation may be used.

암 자세 추정기(estimator)는 이미지 프로세서로부터 세그멘테이션된 타겟 이미지 정보를 받아서 지정된 타겟을 피킹하기 위해서 암(11)이 취해야 할 자세를 추정할 수 있다. 암(11)의 자세 정보는 로봇(10) 좌표계를 기준으로 x, y, z 위치 정보와 각 방향의 각도(pitch, roll, yaw angle) 정보를 포함할 수 있다. The arm posture estimator may receive segmented target image information from an image processor and estimate a posture that the arm 11 should take in order to pick a designated target. The posture information of the arm 11 may include x, y, z position information and angle information (pitch, roll, yaw angle) in each direction based on the robot 10 coordinate system.

로봇(10)의 콘트롤러에 암 자세 추정 기능이 부여될 수도 있고, 콘트롤러와 암 자세 추정기가 각각 별도의 프로세서로 만들어질 수도 있다.The arm posture estimation function may be provided to the controller of the robot 10, or the controller and the arm posture estimator may be made by separate processors.

제1 촬영부(110) 및 제2 촬영부(120)는 각각 RGB-D 센서로서, RGB 컬러 이미지와 뎁스(Depth) 정보(거리 정보)를 이미지 프로세서로 제공할 수 있다. 이미지 프로세서는 딥러닝 알고리즘, 가령 CNN 알고리즘이 적용되어 제1 촬영부(110) 또는 제2 촬영부(120)로부터 제공된 RGB 컬러 이미지와 뎁스 정보를 이용하여 이미지 내의 대상물(90)들을 세그멘테이션할 수 있다.The first and second photographing units 110 and 120 are RGB-D sensors, respectively, and may provide an RGB color image and depth information (distance information) to an image processor. The image processor may segment the objects 90 in the image using the RGB color image and depth information provided from the first or second photographing unit 110 by applying a deep learning algorithm, such as a CNN algorithm. .

보다 상세하게 설명하면, 이미지 프로세서로부터 출력되는 정보에는 개별 대상물(90)의 외곽선을 따라 형성된 윤곽선(contour, edge) 정보가 포함될 수 있다. 이미지 프로세서가 개별 물체 각각의 윤곽선 정보(99)를 정확하게 추출할 수 있도록 CNN(Convolution Neural Network)의 딥러닝 알고리즘이 적용될 수 있다. 딥러닝 알고리즘은 컴파일된 오브젝트(Object) 코드 형태로 하드디스크, SSD(Solid State Drive) 등의 저장부에 저장될 수 있다. 제어 장치가 턴온(Turn-on)되는 경우, 저장부에 저장된 딥러닝 알고리즘이 이미지 프로세서에 호출되면서 학습이 이루어질 수 있다. In more detail, information output from the image processor may include contour (edge) information formed along an outline of the individual object 90. A deep learning algorithm of a Convolution Neural Network (CNN) may be applied so that the image processor can accurately extract the contour information 99 of each individual object. The deep learning algorithm may be stored in a storage unit such as a hard disk or a solid state drive (SSD) in the form of a compiled object code. When the control device is turned on, learning may be performed while the deep learning algorithm stored in the storage is called to the image processor.

이미지 프로세서는 제1 촬영부(110)로부터 촬영된 RGB 컬러 이미지(제1 이미지 i1)와 제1 뎁스 정보를 받아서 개별 물체들의 세그멘티드 정보(segmented data)를 출력할 수 있다. 여기서, 세그멘티드 정보를 보다 정확하게 출력하기 위해서 딥러닝 알고리즘 중 CNN이 적용될 수 있다. 세그멘테이션 정보의 정확도를 높이기 위해 딥러닝 알고리즘을 적용하였으나, 아주 높은 수준의 정확도를 요구하지 않는 환경에서는 딥러닝 알고리즘 외에 다른 이미지 처리 알고리즘이 적용될 수도 있다.The image processor may receive the RGB color image (first image i1) and first depth information captured from the first photographing unit 110 and output segmented data of individual objects. Here, CNN among deep learning algorithms may be applied to more accurately output segmented information. A deep learning algorithm was applied to increase the accuracy of the segmentation information, but image processing algorithms other than the deep learning algorithm may be applied in an environment that does not require a very high level of accuracy.

암 자세 추정기는 이미지 프로세서로부터 출력된 개별 물체들의 윤곽선 정보(99)를 이용하여 개별 물체의 자세 정보를 추정할 수 있다. 개별 물체들의 윤곽선 정보(99)와 물체의 자세 추정 정보는 로봇(10) 좌표계를 기준으로 계산될 수 있다. 즉, 윤곽선 정보(99)는 물체 윤곽선의 3차원 x, y, z 좌표값을 포함하고, 물체의 자세 추정 정보는 물체 윤곽선의 정보와 촬영부에서 계산한 뎁스 정보를 이용하여 로봇(10) 좌표계 기준으로 추정된 물체의 자세를 포함할 수 있다. 물체의 윤곽선 정보(99)로부터 물체의 자세를 추정하는 방법은 해당 물체의 형상에 따라서 다양한 방법이 적용될 수 있다.The arm posture estimator may estimate posture information of an individual object using contour information 99 of the individual objects output from the image processor. The contour information 99 of individual objects and the information on the posture estimation of the object may be calculated based on the coordinate system of the robot 10. That is, the contour information 99 includes the three-dimensional x, y, and z coordinate values of the object contour, and the attitude estimation information of the object is the coordinate system of the robot 10 using information of the object contour and depth information calculated by the photographing unit. It may include the posture of the object estimated as a reference. As a method of estimating the posture of an object from the contour information 99 of the object, various methods may be applied according to the shape of the object.

가령, 빈(bin)(80)에 있는 물체의 형상이 도 3 및 도 4와 같이 원통형 금속인 경우, 암 자세 추정기는 이미지 프로세스로부터 출력받은 윤곽선 정보(99)를 이용하여 윤곽선 정보(99) 내부에 존재하는 3개의 점(제1 점(91), 중앙점(95), 제2 점(92))를 추출하고 3개의 점(dot)에 대한 뎁스 정보를 이용해서 3개 점의 높이를 알 수 있다. 암 자세 추정기는 3개 점의 높이 정보로부터 해당 물체가 어느 방향으로 기울어져 있는지를 추정할 수 있다. 경우에 따라, 암 자세 추정기는 윤곽선 중에서 꼭지점 영역에 해당하는 점들의 뎁스 정보를 이용하여 물체의 자세를 추정할 수도 있다. 또는, 암 자세 추정기는 윤곽선을 형성하는 각 변의 중앙에 있는 점들에 대한 뎁스 정보를 이용하여 물체의 자세를 추정할 수 있다.For example, when the shape of the object in the bin 80 is a cylindrical metal as shown in FIGS. 3 and 4, the arm posture estimator uses the contour information 99 output from the image process to use the contour information 99 Three points (first point (91), center point (95), and second point (92)) are extracted and the height of the three points is known using depth information for the three points. I can. The arm posture estimator can estimate in which direction the object is inclined from height information of three points. In some cases, the arm posture estimator may estimate the posture of the object by using depth information of points corresponding to the vertex area among the outlines. Alternatively, the arm posture estimator may estimate the posture of the object by using depth information about points at the center of each side forming the outline.

물체의 자세(pose) 추정 정보는 물체가 어떤 방향으로 놓여 있는지를 6D 좌표 기준(x, y, z, roll, pitch, yaw)으로 추정한 것을 의미할 수 있다.The pose estimation information of the object may mean that the object is estimated in a direction in which the object is placed in a 6D coordinate reference (x, y, z, roll, pitch, yaw).

암 자세 추정기는 추정한 물체의 자세 정보를 기초로 해당 물체를 피킹하기 위한 암(11)의 자세 정보(xyz 3차원 위치 및 각 방향의 각도)를 추정할 수 있다. 도면에서 예로 든 대상물(90)이 원통형 금속 물체이고, 이펙터(20)에 해당하는 그리퍼(Gripper)가 공기압으로 석션(Suction)하는 방식인 경우, 최적으로 해당 물체를 잡는 암(11)(정확하게는 Gripper)의 자세는 3개 점 중 가운데 있는 점(중앙점(95))을 향해 윤곽선 평면에 Normal(법선) 방향에 겹쳐지게 배치되는 것이 될 수 있다. 본 실시예에 따르면, 그리퍼는 윤곽선 평면에 대해 노멀(Normal)한 방향으로 설정된 3개의 점 중 가운데 점 위치에서 공기압으로 원통형 금속 물체를 석션하고 피킹할 수 있다.The arm posture estimator may estimate posture information (xyz three-dimensional position and angle in each direction) of the arm 11 for picking the object based on the estimated posture information of the object. In the case where the object 90 as an example in the drawing is a cylindrical metal object, and a gripper corresponding to the effector 20 is a method in which the gripper corresponding to the effector 20 suctions with air pressure, an arm 11 that optimally grabs the object (exactly Gripper's posture may be arranged to be overlapped in the normal (normal) direction on the contour plane toward the middle point (central point 95) of the three points. According to the present embodiment, the gripper may suction and pick a cylindrical metal object with air pressure at a center point among three points set in a direction normal to the contour plane.

암 자세 추정기 또는 로봇(10)의 콘트롤러는 이미지 프로세서로부터 세그멘테이션된 정보를 받아서 피킹해야 할 타겟을 선정할 수 있다. 최초의 타겟은 빈 내에 존재하는 물체 중 하나가 임의로 선정될 수 있다. 최초 선정 이후의 타겟은 로봇 암(11)의 이동 거리 등을 고려하여 이전에 선정한 타겟과 인접한 위치의 물체로 선정될 수 있다. 암 자세 추정기 또는 로봇(10)의 콘트롤러는 선정한 피킹 타겟을 향해 이동하도록 로봇(10)의 암(11)을 제어할 수 있다. 즉, 암 자세 추정기 또는 콘트롤러는 로봇 암(11)이 피킹 타겟에 좀 더 가까운 위치로 이동할 수 있도록 로봇 암(11)의 자세 정보(xyz 3차원 위치 정보와 xyz축 각 방향의 각도 정보(pitch, roll, yaw 방향의 각도))를 계산할 수 있다.The arm posture estimator or the controller of the robot 10 may receive segmented information from an image processor and select a target to be picked. One of the objects existing in the bin may be selected as the first target. The target after the initial selection may be selected as an object adjacent to the previously selected target in consideration of the moving distance of the robot arm 11. The arm posture estimator or the controller of the robot 10 may control the arm 11 of the robot 10 to move toward the selected picking target. In other words, the arm posture estimator or controller provides information on the posture of the robot arm 11 (xyz three-dimensional position information and angle information in each direction of the xyz axis (pitch, roll, yaw direction angle)) can be calculated.

암 자세 추정기 또는 로봇(10)의 콘트롤러는 추정된 물체의 자세 정보를 기반으로 처리 순서에 해당하는 피킹 순위를 결정할 수 있다. 암 자세 추정기 또는 콘트롤러는 물체의 자세 정보로부터 빈(bin)(80) 내 어느 영역에 물체들이 많이 쌓여 있는지를 알 수 있다. 예를 들어, 금속성 원통형 물체의 윤곽선 정보(99) 내부에 3개의 점을 추출하고, 암 자세 추정기 또는 콘트롤러는 해당 점의 뎁스(제1 촬영부(110)로부터 해당 물체까지의 거리)가 짧은 물체가 수북하게 쌓인 다른 물체들의 위에 놓인 것으로 판단할 수 있다. 이 경우, 암 자세 추정기 또는 로봇(10)의 콘트롤러는 뎁스가 가장 짧은 물체가 존재하는 영역부터 먼저 피킹하도록 피킹 우선순위를 정할 수 있다. 피킹 우선순위 정하는 방법은 다양한 방식으로 변경 가능하다. The arm posture estimator or the controller of the robot 10 may determine a picking order corresponding to the processing order based on the estimated posture information of the object. The arm posture estimator or controller can know in which area within the bin 80 a lot of objects are accumulated from the posture information of the object. For example, three points are extracted inside the contour information 99 of a metallic cylindrical object, and the arm posture estimator or controller is an object having a short depth (distance from the first photographing unit 110 to the object). It can be determined that is placed on top of other objects piled up. In this case, the arm posture estimator or the controller of the robot 10 may set the picking priority so that the area where the object having the shortest depth exists is first picked. The method of prioritizing picking can be changed in various ways.

암 자세 추정기 또는 로봇(10)의 콘트롤러는 1차로 제공한 로봇 암(11)의 자세 정보(제1 정보)에 따라서 로봇(10)의 암(11)이 이동하면, 암(11)에 부착된 제2 촬영부(120)로 한번 더 대상물(90)을 촬영(2차 촬영)할 수 있다. 암 자세 추정기 또는 콘트롤러는 2차 촬영된 대상물(90)의 이미지에 대해 CNN 알고리즘을 이용해서 피킹해야 할 물체를 세그멘테이션하도록 이미지 프로세서를 제어할 수 있다. 암 자세 추정기 또는 콘트롤러는 2차로 센싱한 물체의 세그멘테이션 정보를 이용하여 선정된 피킹 타겟 물체의 자세 정보로부터 암(11)의 자세 또는 이펙터(20)의 자세(3차원 위치 x,y,z 및 각 축방향의 각도를 포함하는 총 6개 정보)를 한번 더 추정할 수 있다. 여기서, 암 자세 추정기 또는 콘트롤러로부터 1차로 제공되는 로봇 암(11)의 자세 정보(1차 자세 정보)는 피킹해야 할 물체의 자세 정보에 대응하여 제2 촬영부(120)로 한번 더 촬영해야 할 암(11)의 자세 정보(3차원 xyz, 각 축방향의 각도)를 포함할 수 있다. 가령, 1차 자세 정보는 이펙터(20)가 피킹해야 할 물체로부터 대략 30cm 정도 거리가 떨어진 경유 지점에 대한 위치 정보와, 피킹해야 할 물체의 윤곽선 평면에 대해서 법선(normal)인 가상축 k4 방향의 각도 정보(xyz축 각각에 대한 각도정보)를 포함할 수 있다. 물론, 위치 정보 및 각도 정보는 모두 로봇(10) 좌표계를 기준으로 계산될 수 있다.The arm posture estimator or the controller of the robot 10 is attached to the arm 11 when the arm 11 of the robot 10 moves according to the posture information (first information) of the robot arm 11 provided primarily. The second photographing unit 120 may take another photograph of the object 90 (second photographing). The arm posture estimator or controller may control the image processor to segment an object to be picked using a CNN algorithm with respect to the image of the second photographed object 90. The arm posture estimator or controller is the posture of the arm 11 or the posture of the effector 20 from the posture information of the picking target object selected using the segmentation information of the secondly sensed object (three-dimensional position x, y, z and each A total of 6 pieces of information including the axial angle) can be estimated once more. Here, the posture information (primary posture information) of the robot arm 11 provided primarily from the arm posture estimator or controller is to be photographed once more by the second photographing unit 120 in response to the posture information of the object to be picked. It may include posture information of the arm 11 (three-dimensional xyz, angle in each axial direction). For example, the first posture information is the location information of the transit point that is about 30 cm away from the object to be picked by the effector 20, and the virtual axis k4 direction normal to the contour plane of the object to be picked. It may include angle information (angle information for each xyz axis). Of course, both the location information and the angle information may be calculated based on the robot 10 coordinate system.

암 자세 추정기는 암(11)의 자세 정보를 로봇(10)으로부터 주기적으로 제공받거나 요청에 의해 제공받을 수 있다. 따라서, 암 자세 추정기는 암(11)의 자세를 확인할 수 있다.The arm posture estimator may periodically receive posture information of the arm 11 from the robot 10 or may be provided by request. Therefore, the arm posture estimator can check the posture of the arm 11.

2차로 추정된 로봇 암(11)의 자세 정보(2차 자세 정보)는 인터페이스부를 통해 유선/무선으로 로봇(10)에 제공될 수 있다. 로봇(10)은 암 자세 추정기를 통해 제공된 2차 자세 정보에 맞게 암(11)의 자세를 조절할 수 있다. 이에 따라, 로봇 암(11)은 1차 동작 이후 타겟 물체의 자세에 맞게 다시 한번 더 자세를 보정하고, 물체를 정확하게 피킹할 수 있다. 제1 위치 p1에 고정된 제1 촬영부(110)를 통해 촬영한 정보가 주변 상황(조명, 그림자, 타 물체와의 간섭)에 의해 다소 오류가 존재하더라도 암(11)에 부착된 제2 촬영부(120)로 한번 더 촬영하면, 피킹 타겟 물체의 자세가 정확하게 센싱될 수 있다. 로봇(10)의 자세는 정확하게 2차 센싱된 물체의 자세 맞춰 미세 조정/보정/변경될 수 있다. 미세 조정된 이펙터(20)는 물체를 정확하게 피킹할 수 있다.The secondary posture information (second posture information) of the robot arm 11 may be provided to the robot 10 by wire/wireless through an interface unit. The robot 10 may adjust the posture of the arm 11 according to the secondary posture information provided through the arm posture estimator. Accordingly, the robot arm 11 may correct the posture once again according to the posture of the target object after the first operation, and accurately pick the object. The second photographing attached to the arm 11 even though the information photographed through the first photographing unit 110 fixed at the first position p1 has some errors due to surrounding conditions (lighting, shadows, interference with other objects) If the unit 120 takes another picture, the posture of the picking target object can be accurately sensed. The posture of the robot 10 may be finely adjusted/corrected/changed according to the posture of the object that is accurately second sensed. The finely adjusted effector 20 can accurately pick an object.

암 자세 추정기는 계산된 로봇 암(11)의 자세 정보를 인터페이스부를 통해 제어 키트 외부의 로봇(10)에 제공할 수 있다. 로봇(10)의 콘트롤러는 암 자세 추정기로부터 로봇 암(11) 자세 정보를 받아서 암(11)이 해당 위치로 이동하고 해당 자세를 취하도록 모터 등의 암(11) 구동부를 제어할 수 있다.The arm posture estimator may provide the calculated posture information of the robot arm 11 to the robot 10 outside the control kit through an interface unit. The controller of the robot 10 may control the driving unit of the arm 11 such as a motor so that the arm 11 moves to a corresponding position and takes a corresponding position by receiving position information of the robot arm 11 from the arm position estimator.

인터페이스부는 유선 또는 무선 통신이 가능하다. 유선 방식으로 직렬 또는 병렬, 직렬병렬 혼합 등 다양한 방식의 통신 방식이 적용될 수 있고, 무선 방식(wifi 등)도 사용될 수 있다. The interface unit can perform wired or wireless communication. Various types of communication methods such as serial or parallel, serial-parallel mixing, etc. may be applied as a wired method, and wireless methods (such as wifi) may also be used.

도 5는 본 발명의 제어 장치의 동작을 나타낸 개략도이다.5 is a schematic diagram showing the operation of the control device of the present invention.

먼저, 도 5의 (a)와 같이, 설정 영역 L 상에 배치된 대상물(90)의 개수, 위치, 자세 등을 확인하기 위해 로봇(10)은 설정 영역 L에 해당하는 빈(bin)(80) 상에서 도피될 수 있다. 여기서, 로봇(10)의 도피는 제1 촬영부(110)가 설정 영역 L에 해당하는 빈(80) 내의 대상물(90)을 촬영하는데 방해가 되지 않는 위치로 움직이는 것을 의미할 수 있다. 빈(80)에서 로봇(10)이 도피되면, 제1 촬영부(110)는 로봇(10)에 의한 간섭이 배제된 상태에서 설정 영역 L을 촬영할 수 있다.First, as shown in (a) of FIG. 5, in order to check the number, position, posture, etc. of the objects 90 disposed on the setting area L, the robot 10 has a bin 80 corresponding to the setting area L. ) Can be escaped. Here, the escape of the robot 10 may mean that the first photographing unit 110 moves to a position that does not interfere with photographing the object 90 in the bin 80 corresponding to the setting area L. When the robot 10 escapes from the bin 80, the first photographing unit 110 may photograph the setting area L in a state in which interference by the robot 10 is excluded.

도 5는 대상물(90)을 집어내는 피킹 작업용 로봇(10)을 나타내고 있으며, 설정 영역 L에서 집어올린 대상물(90)을 언로딩하는 타겟 영역이 별도로 마련될 수 있다. 도면에는 타겟 영역에 언로딩 통(70)이 배치된다. 빈(80)으로부터 도피된 로봇(10)은 타겟 영역을 이동할 수 있다. 로봇(10)이 타겟 영역으로 이동하면 로봇(10)의 암(11)에 설치된 제2 촬영부(120)는 타겟 영역을 촬영할 수 있다.5 shows a picking robot 10 for picking up the object 90, and a target area for unloading the object 90 picked up from the setting area L may be provided separately. In the drawing, an unloading barrel 70 is disposed in the target area. The robot 10 escaped from the bin 80 may move the target area. When the robot 10 moves to the target area, the second photographing unit 120 installed on the arm 11 of the robot 10 may capture the target area.

추정부(130)는 설정 영역 L을 촬영한 제1 촬영부(110)의 제1 이미지 및 제1 뎁스 정보를 분석하는 한편, 제2 촬영부(120)에 의해 촬영된 타겟 영역을 분석할 수 있다. 타겟 영역의 분석을 통해 추정부(130)는 석션 이펙터(20)에 의해 피킹된 대상물(90)을 내려놓을 자리를 확인할 수 있다.The estimating unit 130 may analyze the first image and first depth information of the first photographing unit 110 photographing the setting region L, and analyze the target region photographed by the second photographing unit 120. have. Through the analysis of the target area, the estimating unit 130 may determine a place to put down the object 90 picked by the suction effector 20.

제1 이미지의 분석을 통해 추정부(130)는 제1 촬영부(110)로부터 가장 가깝게 배치된 대상물(90)을 최초로 선택할 수 있다. 추정부(130)는 선택된 대상물(90)의 표면에 수직하게 연장되는 가상축 k4를 산출하고, 가상축 k4 상의 경유 지점 p4을 설정할 수 있다.Through analysis of the first image, the estimating unit 130 may initially select the object 90 disposed closest to the first photographing unit 110. The estimating unit 130 may calculate a virtual axis k4 extending perpendicular to the surface of the selected object 90 and set a transit point p4 on the virtual axis k4.

추정부(130)는 가상축 k4는 대상물(90)의 자세에 대응되는 정보에 해당할 수 있다. 추정부(130)는 가상축 k4에 대한 정보 및 경유 지점 p4에 대한 정보를 로봇(10)에 제공할 수 있다.In the estimating unit 130, the virtual axis k4 may correspond to information corresponding to the posture of the object 90. The estimation unit 130 may provide information on the virtual axis k4 and information on the transit point p4 to the robot 10.

도 5의 (b)에 도시된 바와 같이, 추정부(130)로부터 제공받는 정보를 이용해 로봇(10)은 경유 지점 pr을 향해 이펙터(20)를 움직일 수 있다. 로봇(10)은 경유 지점 pr에 도달한 이펙터(20)의 동작축 k3가 가상축 k4과 동축 상에 배치되도록 이펙터(20)의 자세, 예를 들어 피치(pitch), 롤(roll), 요(yaw)를 조절할 수 있다. 이펙터(20)의 자세 조절은 이펙터(20)가 초기 위치로부터 경유 지점 pr에 도달하는 구간 동안 수행되거나, 경유 지점 pr에 이펙터(20)가 도달된 이후에 수행될 수 있다.As shown in (b) of FIG. 5, the robot 10 may move the effector 20 toward the point pr by using the information provided from the estimation unit 130. The robot 10 has the posture of the effector 20, for example, pitch, roll, and yaw, so that the motion axis k3 of the effector 20 that has reached the transit point pr is disposed coaxially with the virtual axis k4. (yaw) can be adjusted. The posture adjustment of the effector 20 may be performed during a section in which the effector 20 reaches the transit point pr from the initial position, or may be performed after the effector 20 reaches the transit point pr.

이펙터(20)가 경유 지점 pr에 도달하고 가상축 k4에 대한 이펙터(20)의 자세 정렬이 완료되면, 암(11) 또는 이펙터(20)에 설치된 제2 촬영부(120)는 제1 촬영부(110)가 배치된 제1 위치 p1과 대상물(90) 사이의 제2 위치 p2에 배치될 수 있다.When the effector 20 reaches the passing point pr and the posture alignment of the effector 20 with respect to the virtual axis k4 is completed, the second photographing unit 120 installed on the arm 11 or the effector 20 is a first photographing unit. The 110 may be disposed at the first position p1 and the second position p2 between the object 90.

제2 촬영부(120)는 제2 위치 p2에서 대상물(90)을 촬영하고, 촬영된 제2 이미지 및 제2 뎁스 정보를 추정부(130)에 제공할 수 있다.The second photographing unit 120 may photograph the object 90 at the second location p2 and provide the photographed second image and second depth information to the estimating unit 130.

추정부(130)는 제2 이미지 및 제2 뎁스 정보를 이용해서 제1 촬영부(110)에서 제공된 정보를 토대로 추정된 현재의 가상축 k4 또는 경유 지점 pr을 보정할 수 있다. 추정부(130)는 보정된 가상축 k4에 대한 정보 또는 보정된 경유 지점 pr에 대한 정보를 로봇(10)에 제공할 수 있다. 로봇(10)은 추정부(130)로부터 입수된 각종 보정 정보에 기초해 로봇(10)을 미세 조정할 수 있다. 보다 정확하게는, 대상물(90)을 처리하기 위해 필요한 로봇(10)의 이펙터(20)의 자세(예, 위치 및 각도 등)가 미세 조정될 수 있다.The estimating unit 130 may correct the estimated current virtual axis k4 or the transit point pr based on the information provided by the first photographing unit 110 using the second image and the second depth information. The estimating unit 130 may provide information on the corrected virtual axis k4 or information on the corrected transit point pr to the robot 10. The robot 10 may fine-tune the robot 10 based on various correction information obtained from the estimation unit 130. More precisely, the posture (eg, position and angle) of the effector 20 of the robot 10 required to process the object 90 may be finely adjusted.

도 5의 (c)에 도시된 바와 같이, 미세 조정이 완료되면, 로봇(10)은 이펙터(20)가 보정된 가상축 k4를 그대로 따라가면서 대상물(90)에 도달하도록 이펙터(20)를 이동시킬 수 있다. 본 실시예에 따르면, 석션을 위해 이펙터(20)에 형성된 석션부가 대상물(90)의 일면에 수직하게 접촉될 수 있다. 대상물(90)의 일면에 수직하게 접촉된 석션부는 공기 흡입에 의해 별다른 무리없이 대상물(90)을 흡착할 수 있다.As shown in (c) of FIG. 5, when the fine adjustment is completed, the robot 10 moves the effector 20 so that the effector 20 reaches the object 90 while following the corrected virtual axis k4. I can make it. According to this embodiment, a suction part formed on the effector 20 for suction may be in vertical contact with one surface of the object 90. The suction unit vertically in contact with the one surface of the object 90 can adsorb the object 90 without much difficulty by inhaling air.

도 5의 (d)에 도시된 바와 같이, 대상물(90)에 대한 흡착이 완료되면, 로봇(10)은 대상물(90)을 향해 접근하던 이펙터(20)의 자세를 그대로 유지한 상태에서 중력의 반대 방향을 따라 설정 거리만큼 이펙터(20)를 1차 이동시킨 후, 타겟 영역의 언로딩 통(70)으로 2차 이동시킬 수 있다. 이를 통해, 대상물(90)을 설정 영역 L로부터 들어내는 과정에서 대상물(90)을 지지하던 다른 물체의 변화가 최소화되므로, 흡착될 다음 대상물(90)의 선정 작업이 용이할 수 있다.As shown in (d) of FIG. 5, when adsorption to the object 90 is completed, the robot 10 maintains the posture of the effector 20 approaching the object 90 as it is. After the effector 20 is first moved by a set distance along the opposite direction, it may be secondly moved to the unloading barrel 70 of the target area. Through this, since the change of another object that supported the object 90 in the process of lifting the object 90 from the set area L is minimized, the selection of the next object 90 to be adsorbed can be facilitated.

이펙터(20)가 대상물(90)을 흡착한 상태에서 타겟 영역으로 이동한 도 5의 (e)의 상태는 도 5의 (a)와 유사하게 로봇(10)이 제1 촬영부(110)의 촬영 범위로부터 도피된 것을 의미할 수 있다. 따라서, 이펙터(20)의 언로딩 과정 동안 다음 타겟을 선정하기 위한 제1 촬영부(110)의 촬영이 수행될 수 있다. 그런데, 이펙터(20)가 특정 대상물(90)을 들어내는 과정에서 주변의 다른 대상물(90)에 부딪히고 이로 인해 다른 대상물(90)이 굴러다니면, 제1 촬영부(110)의 촬영은 사실상 무의미하다. 그러나, 본 실시예에 따르면, 이펙터(20)에 흡착된 특정 대상물(90)은 대상물(90)의 자세 변경이 없는 상태(예, 대상물(90)의 자전(rotation)이 배제된 상태)에서, 설정 영역 내 정지하고 있던 원래 상태 그대로 위로 들어올려질 수 있다. 그 결과, 특정 대상물(90)에 접촉하고 있던 다른 대상물(90)의 유동이 원천적으로 배제되고, 제1 촬영부(110)는 신속하게 다음 대상물(90)의 선정을 위한 촬영을 수행할 수 있다. 다른 대상물을 피할 수 있는 설정 높이만큼 특정 대상물(90)이 들어올려진 이후, 로봇은 이펙터(20)의 자세를 다양하게 변화시킬 수 있다. 일 예로, 로봇은 이펙터(20)의 동작축 k3가 중력 방향에 평행하도록 이펙터(20)의 자세를 변화시킬 수 있다. 로봇은 이펙터(20)의 자세를 중력 방향에 평행하게 변화시키면서 타겟 영역으로 대상물(90)을 이송할 수 있다.The effector 20 moves to the target area in the state in which the object 90 is adsorbed, and the robot 10 moves to the target area, similar to that of FIG. 5A. It may mean escape from the shooting range. Accordingly, during the unloading process of the effector 20, the first photographing unit 110 may be photographed to select a next target. However, if the effector 20 collides with another object 90 in the vicinity while picking up a specific object 90 and the other object 90 rolls around, the first photographing unit 110 photographs virtually meaningless. Do. However, according to this embodiment, the specific object 90 adsorbed by the effector 20 is in a state in which there is no change in the posture of the object 90 (eg, a state in which rotation of the object 90 is excluded), It can be lifted up in its original state as it was still in the setting area. As a result, the flow of the other object 90 in contact with the specific object 90 is fundamentally excluded, and the first photographing unit 110 can quickly perform photographing for selecting the next object 90 . After the specific object 90 is lifted by a set height to avoid other objects, the robot can variously change the posture of the effector 20. For example, the robot may change the posture of the effector 20 so that the motion axis k3 of the effector 20 is parallel to the direction of gravity. The robot may transfer the object 90 to the target area while changing the posture of the effector 20 parallel to the direction of gravity.

도 6은 본 발명의 실시예에 따른 제어 방법을 나타낸 흐름도이다. 도 6에 도시된 제어 방법은 도 1 및 도 2에 도시된 제어 장치, 구체적으로 추정부(130)에 의해 수행될 수 있다.6 is a flowchart illustrating a control method according to an embodiment of the present invention. The control method illustrated in FIG. 6 may be performed by the control device illustrated in FIGS. 1 and 2, specifically, the estimating unit 130.

도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제어 방법은 제1 획득 단계(S 510), 제1 추정 단계(S 520), 제1 제공 단계(S 530), 제2 획득 단계(S 540), 제2 추정 단계(S 550), 제2 제공 단계(S 560), 판별 단계(S 570)를 포함할 수 있다.6, the control method according to an embodiment of the present invention includes a first obtaining step (S510), a first estimating step (S520), a first providing step (S530), and a second obtaining step. (S540), a second estimation step (S550), a second providing step (S560), a determination step (S570) may be included.

제1 획득 단계(S 510)에서 추정부(130)는 제1 촬영부(110)에 의해 촬영된 대상물(90)의 제1 이미지 및 제1 거리 정보(제1 뎁스 정보)를 획득할 수 있다.In the first obtaining step (S510), the estimating unit 130 may obtain a first image and first distance information (first depth information) of the object 90 photographed by the first photographing unit 110. .

제1 추정 단계(S 520)에서 추정부(130)는 제1 이미지와 제1 거리 정보를 이용하여 대상물(90)의 윤곽선 정보(99)와 기울기 정보를 1차 추정할 수 있다. 1차 추정은 원거리의 제1 촬영부(110)에서 제공된 정보를 소스로 하므로, 일부 오차가 포함될 수 있다.In the first estimation step (S520), the estimating unit 130 may first estimate the contour information 99 and the slope information of the object 90 by using the first image and the first distance information. Since the first estimation is based on information provided by the first photographing unit 110 at a distance, some errors may be included.

제1 제공 단계(S 530)에서 추정부(130)는 1차 추정된 결과에 따라 대상물(90)을 그랩하는 로봇(10)을 제1 촬영부(110)와 대상물(90) 사이의 경유 지점 pr로 안내하는 제1 정보를 생성할 수 있다. 추정부(130)는 제1 정보에 따라 로봇(10)이 움직이도록, 로봇(10)에 제1 정보를 제공할 수 있다.In the first providing step (S530), the estimating unit 130 transfers the robot 10 that grabs the object 90 according to the first estimated result, to a point between the first photographing unit 110 and the object 90 First information guiding to pr may be generated. The estimating unit 130 may provide first information to the robot 10 so that the robot 10 moves according to the first information.

제2 획득 단계(S 540)에서 추정부(130)는 로봇(10)이 경유 지점에 도달하면 로봇(10)과 함께 움직이는 제2 촬영부(120)로부터 제2 이미지 및 제2 거리 정보(제2 뎁스 정보)를 획득할 수 있다. 제2 이미지 및 제2 거리 정보는 제1 촬영부(110)보다 가까운 곳에서 센싱된 것이므로, 제1 이미지 및 제1 거리 정보 대비 높은 정확도를 가질 수 있다.In the second acquisition step (S540), when the robot 10 reaches the point of transit, the second image and second distance information from the second photographing unit 120 moving together with the robot 10 2 depth information) can be obtained. Since the second image and the second distance information are sensed closer than the first photographing unit 110, they may have higher accuracy than the first image and the first distance information.

제2 추정 단계(S 550)에서 추정부(130)는 제2 이미지와 제2 거리 정보를 이용하여 대상물(90)의 윤곽선 정보(99)와 기울기 정보를 2차 추정할 수 있다. 2차 추정은 상대적으로 높은 정확도를 갖는 제2 이미지와 제2 거리 정보를 소스로 해서 수행되므로, 1차 추정 결과보다 높은 정확도를 가질 수 잇다.In the second estimating step S 550, the estimating unit 130 may secondarily estimate the contour information 99 and the slope information of the object 90 using the second image and the second distance information. Since the second estimation is performed using the second image and second distance information having relatively high accuracy as sources, it may have higher accuracy than the first estimation result.

제2 제공 단계(S 560)에서 추정부(130)는 2차 추정된 결과에 따라 로봇(10)을 경유 지점으로부터 대상물(90)까지 안내하거나 대상물(90)을 그랩하는 로봇(10)의 자세를 보정하는 제2 정보를 생성할 수 있다. 추정부(130)는 제2 정보에 따라 로봇(10)이 움직이도록, 로봇(10)에 제2 정보를 제공할 수 있다.In the second providing step (S560), the estimating unit 130 guides the robot 10 from the point through which the robot 10 is passed to the object 90 or the position of the robot 10 to grab the object 90 according to the second estimated result. Second information for correcting may be generated. The estimation unit 130 may provide second information to the robot 10 so that the robot 10 moves according to the second information.

판별 단계(S 570)에서 추정부(130)는 대상물(90)에 대한 로봇(10)의 그랩 여부를 판별할 수 있다. 그랩 여부의 판별을 위해 추정부(130)는 대상물(90)을 그랩하는 이펙터(20)에 설치된 센서로부터 센싱 데이터를 전달받을 수 있다. 또는, 실질적인 그랩 여부의 판별은 로봇(10) 자체에서 수행되고, 추정부(130)는 로봇(10)으로부터 그랩 여부의 성공 여부에 대한 정보를 입수할 수 있다. 본 명세서에서 그랩 여부의 성공 여부에 대한 정보를 로봇(10)으로부터 입수하는 동작 역시 추정부(130)에 의해 수행되는 그랩 여부의 판별 단계(S 570)에 해당될 수 있다.In the determination step (S570), the estimating unit 130 may determine whether the robot 10 is grasped with respect to the object 90. In order to determine whether to grab or not, the estimating unit 130 may receive sensing data from a sensor installed in the effector 20 that grabs the object 90. Alternatively, the determination of whether or not the actual grab is performed is performed by the robot 10 itself, and the estimation unit 130 may obtain information on whether or not the grab is successful from the robot 10. In the present specification, the operation of obtaining information on whether or not the grab has been successful from the robot 10 may also correspond to the step (S570) of determining whether the grab is performed by the estimating unit 130.

판별 단계에서 대상물(90)에 대한 로봇(10)의 그랩이 실패한 것으로 판별되면(S 570), 추정부(130)는 경유 지점 pr로 로봇(10)을 후퇴시킬 수 있다.In the determination step, if it is determined that the grab of the robot 10 against the object 90 has failed (S570), the estimating unit 130 may retreat the robot 10 to the passing point pr.

로봇(10)이 경유 지점까지 후퇴하면, 추정부(130)는 제2 획득 단계(S 540), 제2 추정 단계(S 550), 제2 제공 단계(S 560)를 순서대로 재실행할 수 있다.When the robot 10 retreats to the point of transit, the estimating unit 130 may re-execute the second obtaining step (S540), the second estimating step (S550), and the second providing step (S560) in order. .

한편, 대상물(90)을 들어올리는 도중에 이펙터(20)로부터 대상물(90)이 자유 낙하하여 어딘가로 튄 경우, 제2 위치에 배치된 제2 촬영부(120)에 의해 대상물(90)이 탐지되지 않을 수 있다.On the other hand, if the object 90 freely falls from the effector 20 while lifting the object 90 and bounces somewhere, the object 90 is not detected by the second photographing unit 120 disposed at the second position. May not.

그랩 실패로 인한, 제2 획득 단계(S 540), 제2 추정 단계(S 550), 제2 제공 단계(S 560)의 재실행 과정 중, 제2 획득 단계(S 540)에서 대상물(90)이 미탐지되면 추가 탐색 작업이 진행될 수 있다.During the re-execution process of the second acquisition step (S540), the second estimation step (S550), and the second provision step (S560) due to the grab failure, the object 90 in the second acquisition step (S540) If it is not detected, additional search operations may proceed.

추가 탐색 작업은 제1 촬영부(110)의 도움을 받아 수행될 수 있다. 추가 탐색 작업이 개시되면, 추정부(130)는 제1 촬영부(110)에 의해 촬영되는 설정 영역 L로부터 로봇(10)을 도피시킬 수 있다.The additional search operation may be performed with the help of the first photographing unit 110. When the additional search operation is started, the estimating unit 130 may escape the robot 10 from the setting area L photographed by the first photographing unit 110.

로봇(10)이 설정 영역 L로부터 도피되면, 추정부(130)는 제1 획득 단계(S 510), 제1 추정 단계(S 520), 제1 제공 단계(S 530), 제2 획득 단계(S 540), 제2 추정 단계(S 550), 제2 제공 단계(S 550)를 순서대로 실행할 수 있다.When the robot 10 escapes from the setting area L, the estimation unit 130 performs a first acquisition step (S510), a first estimation step (S520), a first provision step (S530), and a second acquisition step ( S540), the second estimation step (S550), and the second providing step (S550) may be sequentially executed.

본 발명에 따르면, 제2 촬영부(120)는 제1 촬영부(110)보다 대상물(90)에 가까운 위치에서 대상물(90)을 센싱할 수 있다. 따라서, 제2 촬영부(120)는 현실적으로 제1 촬영부(110)보다 높은 정확도의 센싱 결과를 출력할 수 있다.According to the present invention, the second photographing unit 120 may sense the object 90 at a position closer to the object 90 than the first photographing unit 110. Accordingly, the second photographing unit 120 may realistically output a sensing result with higher accuracy than the first photographing unit 110.

제1 촬영부(110)를 통해 추출한 대상물(90)의 자세(윤곽선, 기울기) 정보와 제2 촬영부(120)를 통해 추출한 동일 대상물(90)의 자세(윤곽선, 물체의 자세 추정) 정보가 서로 상이할 경우, 추정부(130)는 제2 촬영부(120)의 결과를 우선적으로 신뢰할 수 있다. 따라서, 추정부(130)는 2차 센싱한 2차 윤곽선 정보(99), 2차 자세 추정 정보를 기반으로 로봇 암(11)의 자세를 보정(변경)할 수 있다. 그 결과, 본 발명의 제어 장치가 적용된 로봇(10)은 높은 정확도로 타겟을 처리할 수 있다.The posture (contour line, slope) information of the object 90 extracted through the first photographing unit 110 and the posture (contour line, estimating the posture of the object) information of the same object 90 extracted through the second photographing unit 120 If they are different from each other, the estimating unit 130 may preferentially trust the result of the second photographing unit 120. Accordingly, the estimating unit 130 may correct (change) the posture of the robot arm 11 based on the secondly sensed second contour information 99 and the second posture estimation information. As a result, the robot 10 to which the control device of the present invention is applied can process the target with high accuracy.

피킹 작업의 경우, 설정 영역 L에 배치된 빈(bin)(80) 내에 이동시켜야 할 물체(타겟, 대상물(90))가 없어질 때까지 피킹 작업이 반복될 수 있다.In the case of the picking operation, the picking operation may be repeated until an object (target, object 90) to be moved in the bin 80 disposed in the setting area L disappears.

피킹 성공/실패 여부는 이펙터(20) 또는 그리퍼의 형태에 따라서 다양한 방식으로 센싱될 수 있다. 공압으로 석션(suction)하는 방식인 경우 에어 센서(air sensor)를 이펙터(20)에 설치하면, 공압 변화 감지를 통해 대상물(90)의 피킹 여부가 센싱될 수 있다. 다른 예로, 제1 촬영부(110)와 제2 촬영부(120) 중 적어도 어느 하나를 이용해서 이펙터(20)의 단부를 촬영할 수 있다. 그리고, 추정부(130)는 이미지 분석 기법을 통해 이펙터(20)가 물건을 그랩하고 있는지 파악할 수 있다. 예를 들어, 그리퍼의 단부를 촬영할 수 있도록 제2 촬영부(120)를 구성하고, 제2 촬영부(120)에 촬영된 제2 이미지 내에 대상물(90)이 존재하는지 여부를 통해 피킹 성공/실패 여부가 센싱될 수 있다. 피킹 성공/실패 여부를 감지/판단하는 방법은, 전류/저항/전압의 변화, 자기장의 변화, 압력 변화 등 피킹하는 대상, 그리핑(gripping) 방식에 따라서 다양하게 변경될 수 있다.Whether picking succeeds or fails may be sensed in various ways depending on the shape of the effector 20 or the gripper. In the case of a pneumatic suction method, when an air sensor is installed on the effector 20, whether or not the object 90 is picked may be sensed through a change in pneumatic pressure. As another example, the end of the effector 20 may be photographed using at least one of the first photographing unit 110 and the second photographing unit 120. In addition, the estimating unit 130 may determine whether the effector 20 is grabbing an object through an image analysis technique. For example, the second photographing unit 120 is configured so that the end of the gripper can be photographed, and picking success/failure is made based on whether the object 90 exists in the second image photographed by the second photographing unit 120. Whether or not can be sensed. A method of detecting/determining whether or not picking is successful/failed may be variously changed according to a picking target such as a change in current/resistance/voltage, a change in a magnetic field, a change in pressure, and a gripping method.

본 발명의 로봇 제어 장치는 로봇에 일체로 형성될 수 있다. 이 경우, 본 발명은 로봇으로 지칭될 수 있다. 본 발명의 로봇은 대상물을 처리하는 이펙터, 대상물을 향해 이펙터를 움직이는 암(arm), 제어 유니트를 포함할 수 있다. 이때, 제어 유니트는 앞에서 설명된 로봇 제어 장치를 포함할 수 있다.The robot control apparatus of the present invention may be integrally formed with the robot. In this case, the present invention may be referred to as a robot. The robot of the present invention may include an effector that processes an object, an arm that moves the effector toward the object, and a control unit. In this case, the control unit may include the robot control device described above.

도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 제어 장치(100)의 일부 또는 전부 등) 일 수 있다. 도 7의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.7 is a diagram illustrating a computing device according to an embodiment of the present invention. The computing device TN100 of FIG. 7 may be a device described herein (eg, part or all of the control device 100, etc.). In the embodiment of FIG. 7, the computing device TN100 may include at least one processor TN110, a transmission/reception device TN120, and a memory TN130. In addition, the computing device TN100 may further include a storage device TN140, an input interface device TN150, an output interface device TN160, and the like. Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed. The processor TN110 may be configured to implement procedures, functions, and methods described in connection with an embodiment of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may be configured with at least one of a volatile storage medium and a nonvolatile storage medium. For example, the memory TN130 may be composed of at least one of a read only memory (ROM) and a random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.The transmission/reception device TN120 may transmit or receive a wired signal or a wireless signal. The transmission/reception device TN120 may be connected to a network to perform communication.

한편, 전술한 본 발명의 실시예에 따른 다양한 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Meanwhile, the various methods according to the above-described embodiments of the present invention may be implemented in the form of programs that can be read through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, or the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks ( magneto-optical media), and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of the program instruction may include not only machine language wires such as those made by a compiler, but also high-level language wires that can be executed by a computer using an interpreter or the like. These hardware devices may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.As described above, one embodiment of the present invention has been described, but those of ordinary skill in the relevant technical field add, change, delete or add components within the scope not departing from the spirit of the present invention described in the claims. Various modifications and changes can be made to the present invention by means of the like, and it will be said that this is also included within the scope of the present invention.

10...로봇 11...암(arm)
20...이펙터 70...언로딩 통
80...빈(bin) 90...대상물
91...제1 점 92...제2 점
95...중앙점 99...윤곽선 정보
100...제어 장치 110...제1 촬영부
109...구조물 120...제2 촬영부
130...추정부 140...제1 인터페이스부
160...제2 인터페이스부10...robot 11...arm
20...effector 70...unloading barrel
80...bin 90...object
91...first point 92...second point
95...center point 99...contour information
100...control device 110...first imaging unit
109...structure 120...second filming unit
130... Estimation 140... First Interface Unit
160... second interface unit

Claims

A first photographing unit fixedly installed at a first position above the object to be processed by the robot to obtain 3D position information of the object including image and depth information of the object;
A second photographing unit installed on the arm of the robot to be movable to a second position closer to the object than the first position to obtain 3D position information of the object including image and depth information of the object;
Using the three-dimensional position information of the object obtained by the first photographing unit, the arm of the robot generates first information used for first control to take a first posture for gripping the object, and When the first control is performed, a second control for causing the arm of the robot to take a second posture for gripping the object using 3D position information of the object acquired by the second photographing unit Includes; an estimation unit that generates second information to be used,

When defining the same object as the object photographed by the first photographing unit as a target object,
The second photographing unit additionally acquires 3D position information of the target object including image and depth information of the target object at a second position installed on the arm of the robot and closer to the object than the first position,
An effector is provided that is attached to the arm to grip the target object,
The first posture for the effector of the robot arm to grip the target object is defined as a first gripping posture, and the second posture for the effector of the robot arm to grip the target object is second When defined as a holding position,
The estimation unit generates the first information so that the effector of the arm of the robot takes the first gripping position, and the second information so that the effector takes the second gripping position after the effector takes the first gripping position. And create
In order to grip the target object, three-dimensional position information of the target object is sequentially obtained by the first photographing unit and the second photographing unit, and the effector of the arm of the robot to grip the target object The first gripping posture and the second gripping posture are sequentially taken,
The estimating unit generates the second information corresponding to the second gripping posture by correcting the pre-estimated first gripping posture based on the three-dimensional position information of the target object acquired by the second photographing unit,
The effector of the arm of the robot grips the target object in the second gripping position,
The estimating unit determines whether the target object is gripped by the effector,
When it is determined that the gripping of the target object by the effector has failed, the estimating unit retracts the robot to a transit point between the first imaging unit and the object, and the second imaging unit installed on the robot moves to the transit point. Relocated to the second position by the retracted robot,
The second photographing unit re-acquires 3D location information of the target object at the rearranged second location,
When the posture for the effector of the robot retreating to the via point to grip the target object is defined as a third gripping posture,
When the target object is detected by the second photographing unit relocated to the second position, the estimating unit may use the 3D position information of the target object reacquired by the second photographing unit to allow the effector to Generates information for taking the third gripping posture, and the effector attempts to grip the target object again with the third gripping posture,
When the target object is not detected by the second photographing unit relocated to the second position, the estimating unit includes three-dimensional position information of the other object in order to detect an object different from the target object. Escape the robot from a setting area in which the object is photographed and placed by the first photographing unit to obtain a
The transit point at which the robot that failed to grip the target object retreats is a position where the robot covers the target object with respect to the first photographing unit.
Robot control device.

delete

The method of claim 1,
At least one of the first photographing unit and the second photographing unit includes an RGB-D sensor that acquires a color image and depth information of the object,
The estimation unit generates the first information by using the first image and first depth information acquired by the first photographing unit,
The estimation unit generates the second information by using the second image and second depth information acquired by the second photographing unit.
Robot control device.

The method of claim 1,
A detachable part for installing at least one of the first photographing part and the second photographing part to the robot is provided,
The detachable part is detachably formed at an end of the robot on which an end effector for processing the object is formed,
At least one of the first interface unit and the second interface unit is provided,
The first interface unit provides information output from the first photographing unit and the second photographing unit to the estimation unit by wire or wirelessly,
The second interface unit provides at least one of the first information and the second information generated by the estimation unit to the robot by wire or wirelessly.
Robot control device.

delete

The method of claim 1,
The first photographing unit grasps the position of the object necessary for deriving a transit point between the first photographing unit and the object at the first position, or the robot at a transit point between the first photographing unit and the object. It is formed to have a first resolution capable of grasping a target posture corresponding to the posture of the object required for deriving the first posture to be taken by the arm of the first position,
The second photographing unit is formed to have a second resolution capable of grasping the target posture necessary for deriving a second posture required for the arm of the robot to process the object at the second position.
Robot control device.

The method of claim 1,
The first information includes information on a first posture to be taken by the arm of the robot at a position facing the object,
The second information includes information on a second posture that the arm should take in order to process the object,
The second posture corresponds to a corrected posture in which an error included in the first posture is corrected,
At least one of the first posture and the second posture includes at least one of 3D position information, pitch information, roll information, and yaw information based on the robot coordinate system.
Robot control device.

The method of claim 1,
When a virtual axis passing through the center of the object and extending perpendicular to the surface of the object is defined,
According to the first information, the robot moves so that an end effector processing the object reaches a transit point on the virtual axis from an arbitrary position,
The virtual axis is corrected by the second information, and the robot moves the effector to reach the object while following the corrected virtual axis.
Robot control device.

The method of claim 1,
The estimation unit extracts contour information of the object by applying a deep learning algorithm to an image captured by at least one of the first and second photographing units,
Using the extracted contour information to estimate the posture of the object placed in the image
Robot control device.

The method of claim 1,
The first photographing unit and the second photographing unit provide the image and depth information of the object to the estimation unit,
The estimating unit extracts contour information of the object through analysis of the image,
The estimation unit sets a plurality of virtual points spaced apart from each other in the outline information,
The estimating unit analyzes the depth of each of the virtual points based on the first photographing unit or the second photographing unit through analysis of the depth information,
The estimating unit estimates the posture of the object using the analyzed depth of each virtual point,
The estimation unit generates the first information or the second information using the estimated posture of the object.
Robot control device.

The method of claim 1,
The estimation unit estimates the center of the object through analysis of the second image photographed by the second photographing unit,
The estimation unit generates the second information by using virtual line information extending from the center of the object and orthogonal to the surface of the object.
Robot control device.

The method of claim 1,
The first photographing unit provides a first image in which a setting area including a plurality of objects is photographed to the estimation unit,
The estimation unit selects one of the plurality of objects present in the setting area as a target through analysis of the first image, and generates at least one of the first information and the second information based on the target,
When the processing of the robot for the selected target is completed, the estimating unit selects the object disposed in the closest position to the previous target as the next target.
Robot control device.

The method of claim 1,
The first photographing unit provides a first image in which a setting region including a plurality of objects is captured and depth information on the setting region to the estimation unit,
The estimating unit generates at least one of the first information and the second information based on a specific object having the shortest depth for the first photographing unit among a plurality of objects included in the first image,
The object disposed closest to the first photographing unit is processed by the robot
Robot control device.

delete