KR20210069745A - Gripping System of object and method thereof - Google Patents

Gripping System of object and method thereof Download PDF

Info

Publication number
KR20210069745A
KR20210069745A KR1020190158701A KR20190158701A KR20210069745A KR 20210069745 A KR20210069745 A KR 20210069745A KR 1020190158701 A KR1020190158701 A KR 1020190158701A KR 20190158701 A KR20190158701 A KR 20190158701A KR 20210069745 A KR20210069745 A KR 20210069745A
Authority
KR
South Korea
Prior art keywords
gripping
image
calculating
processor
point
Prior art date
Application number
KR1020190158701A
Other languages
Korean (ko)
Other versions
KR102317041B1 (en
Inventor
신동인
전세웅
부이민트렁
김영욱
김동엽
김태근
정병진
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190158701A priority Critical patent/KR102317041B1/en
Publication of KR20210069745A publication Critical patent/KR20210069745A/en
Application granted granted Critical
Publication of KR102317041B1 publication Critical patent/KR102317041B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

The present invention discloses an apparatus and a method for gripping an object, which detect an optimal point of gripping an object to perform more secure and safe gripping. The apparatus is configured to, based on the movable width of a gripping means used for gripping an object or the width of a tip used for gripping, calculate gripping probabilities at various angles of an object calculated through image analysis and then calculate a specific gripping point by adding up the calculated gripping probabilities.

Description

물체 파지 장치 및 방법{Gripping System of object and method thereof}Object gripping device and method

본 발명은 물체 파지에 관한 것으로, 더욱 상세하게는 그리퍼 또는 석션 툴을 이용한 자동 물체 파지에 관한 것이다.The present invention relates to object gripping, and more particularly, to automatic object gripping using a gripper or a suction tool.

그리퍼 또는 석션 등은 물체를 파지하는데 이용될 수 있는 로봇 장치이다. 상술한 로봇 장치는 산업계 등에서 특정 물건을 파지하고, 지정된 장소까지 이동시킬 수 있도록 구성함으로써, 물체의 분류와 적재 등 다양한 목적으로 이용되고 있다. A gripper or suction is a robotic device that can be used to grip an object. The above-described robot device is used for various purposes, such as classification and loading of objects, by being configured to grip a specific object and move it to a designated place in the industry.

한편, 종래 로봇 장치의 경우, 지정된 종류의 물체를 파지하도록 최적화하는 것이 일반적이기 때문에, 다양한 물체들이 모여 있는 환경에서, 각각의 물체들을 파지하여 분류하기 위한 방안이 없는 상태이다. 특히, 그리퍼 형태의 파지점 인식의 경우, 홀이나 오목한 형태를 가지는 일반 물체의 파지점을 인식하지 못하는 경우 자주 발생하는 문제가 있었다.On the other hand, in the case of a conventional robot device, since it is common to optimize to grip an object of a specified type, there is no method for gripping and classifying each object in an environment in which various objects are gathered. In particular, in the case of gripper-type gripping point recognition, there is a problem that occurs frequently when gripping points of general objects having a hole or concave shape are not recognized.

대한민국 등록특허공보 제10-1197125호 (12. 11. 07. 공고)Republic of Korea Patent Publication No. 10-1197125 (December 11. 07. Announcement)

본 발명은 다양한 형태의 물체들이 모여 있는 환경에서도 각 물체의 파지 최적점을 검출하고, 검출된 최적점을 통해 해당 물체를 파지할 수 있도록 하는 물체 파지 장치 및 방법을 제공함에 있다.The present invention provides an object gripping apparatus and method for detecting an optimal point of gripping of each object even in an environment in which various types of objects are gathered, and gripping the object through the detected optimal point.

또한, 본 발명은 물체 파지의 최적점을 검출함으로써 보다 견고하고 안전하게 물체 파지를 수행할 수 있도록 하는 물체 파지 장치 및 방법을 제공함에 있다. Another object of the present invention is to provide an object gripping apparatus and method capable of more robustly and safely gripping an object by detecting an optimal point of gripping the object.

본 발명의 실시 예에 따른 물체 파지 장치는 기판 상에 놓인 물체에 대한 영상을 획득하고, 획득된 영상에 대한 영상 분석을 통하여, 물체의 파지점을 산출하는 제어 장치를 포함하고, 상기 제어 장치는 상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 영상 분석을 통해 산출된 객체의 다양한 각도에서의 파지 확률을 산출한 후, 산출된 파지 확률을 합산하여 특정 파지점을 산출하도록 설정된 것을 특징으로 한다.An object gripping apparatus according to an embodiment of the present invention includes a control device for obtaining an image of an object placed on a substrate and calculating a gripping point of the object through image analysis of the obtained image, the control apparatus comprising: The gripping probability calculated after calculating the gripping probability at various angles of the object calculated through the image analysis based on the movable width of the gripping means used for gripping the object or the width of the tip used for gripping the object It is characterized in that it is set to calculate a specific gripping point by summing the

여기서, 상기 제어 장치는 상기 기판 상에 놓인 물체에 대한 영상을 획득하는 카메라, 상기 카메라가 획득한 영상을 분석하기 위한 프로세서, 상기 분석된 영상의 적어도 일부를 임시 또는 반영구적으로 저장하는 메모리를 포함할 수 있다.Here, the control device may include a camera for acquiring an image of an object placed on the substrate, a processor for analyzing the image acquired by the camera, and a memory for temporarily or semi-permanently storing at least a portion of the analyzed image can

특히, 상기 프로세서는 상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하고, 상기 회전 이미지들 각각에서 객체의 경계선들을 산출하고, 상기 경계선들에 대한 수직 에지 위치들을 산출하고, 상기 수직 에지 위치들에 대한 파지 확률들을 산출하고, 상기 파지 확률들을 합산하여 상기 특정 파지점을 산출하도록 설정될 수 있다.In particular, the processor calculates rotation images obtained by rotating the binary image for the obtained image at various angles, calculates boundary lines of an object from each of the rotation images, calculates vertical edge positions for the boundary lines, It may be configured to calculate gripping probabilities for the vertical edge positions and to calculate the specific gripping point by summing the gripping probabilities.

또한, 상기 물체 파지 장치는 상기 산출된 특정 파지점을 이용하여 상기 물체 파지를 수행하는 로봇 장치를 더 포함할 수 있다. Also, the object gripping device may further include a robot device configured to grip the object using the calculated specific gripping point.

이 경우, 상기 프로세서는 상기 로봇 장치를 이용한 특정 물체의 파지를 제어하고, 파지 실패 시, 상기 이미지 획득 및 영상 분석을 재수행하여 새로운 파지점을 산출하도록 설정될 수 있다.In this case, the processor may be set to control the grip of a specific object using the robot device, and to calculate a new grip point by re-performing the image acquisition and image analysis when gripping fails.

한편, 상기 프로세서는 상기 카메라를 이용하여 상기 기판에 대한 RGB 이미지 및 Depth 이미지를 획득하고, 상기 RGB 이미지 및 상기 Depth 이미지를 기반으로 마스킹된 바이너리 이미지를 획득하도록 설정될 수 있다.Meanwhile, the processor may be configured to acquire an RGB image and a depth image of the substrate using the camera, and to acquire a masked binary image based on the RGB image and the depth image.

본 발명의 실시 예에 따른 물체 파지 방법은 적어도 하나의 물체가 놓이는 기판에 대한 영상을 획득하는 단계, 상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하는 단계, 상기 회전 이미지들 각각에서 객체의 경계선들을 산출하는 단계, 상기 경계선들에 대한 수직 에지 위치들을 산출하는 단계, 상기 수직 에지 위치들에 대한 파지 확률들을 산출하는 단계, 상기 파지 확률들을 합산하여 상기 특정 파지점을 산출하는 단계를 포함하는 것을 특징으로 한다.The method for holding an object according to an embodiment of the present invention includes acquiring an image of a substrate on which at least one object is placed, calculating rotation images obtained by rotating a binary image of the acquired image at various angles, and the rotation image Calculating the boundary lines of the object in each of the boundary lines, calculating vertical edge positions for the boundary lines, calculating gripping probabilities for the vertical edge positions, and calculating the specific gripping point by summing the gripping probabilities It is characterized in that it comprises the step of

특히, 상기 파지 확률들을 산출하는 단계는 상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 파지 확률들을 산출하는 단계를 포함할 수 있다.In particular, calculating the gripping probabilities may include calculating the gripping probabilities based on a movable width of a gripping means used for gripping the object or a width of a tip used for gripping the object.

본 발명에 따른 물체 파지 장치 및 방법에 따르면, 본 발명은 물체 파지에 있어서 보다 안정적인 방식으로 물체 파지를 수행할 수 있다.According to the object gripping apparatus and method according to the present invention, the present invention can perform object gripping in a more stable manner in object gripping.

또한, 본 발명은 다양한 종류와 모양을 가진 물체들에 대해서도 자동으로 물체 파지와 분류를 수행할 수 있다.In addition, the present invention can automatically perform object gripping and classification for objects having various types and shapes.

도 1은 본 발명의 실시 예에 따른 물체 파지 장치의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 물체 파지 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 제어 장치 구성의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 제어 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 그립 위치 산출과 관련한 도면이다.
도 6은 본 발명의 실시 예에 따른 그립 위치 지정과 관련한 도면이다.
도 7은 본 발명의 실시 예에 따른 물체 파지 방법의 한 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 물체 파지와 관련한 파지점 인식을 나타낸 도면이다.1 is a view showing an example of an object gripping device according to an embodiment of the present invention.
2 is a view for explaining an object gripping operation according to an embodiment of the present invention.
3 is a diagram illustrating an example of a configuration of a control device according to an embodiment of the present invention.
4 is a diagram illustrating an example of a configuration of a processor of a control device according to an embodiment of the present invention.
5 is a view related to calculating a grip position according to an embodiment of the present invention.
6 is a view related to grip position designation according to an embodiment of the present invention.
7 is a diagram illustrating an example of a method for holding an object according to an embodiment of the present invention.
8 is a diagram illustrating gripping point recognition related to gripping an object according to an embodiment of the present invention.

하기의 설명에서는 본 발명의 실시 예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.It should be noted that, in the following description, only the parts necessary for understanding the embodiment of the present invention will be described, and the description of other parts will be omitted in the scope not disturbing the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors have appropriate concepts of terms in order to best describe their inventions. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined in Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be variations and variations.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 물체 파지 장치의 한 예를 나타낸 도면이다.1 is a view showing an example of an object gripping device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 물체 파지 시스템(10)은 로봇 장치(200) 및 제어 장치(100)를 포함할 수 있다. 또는, 물체 파지 시스템(10)은 다수의 물체들(400)이 놓이는 기판(300)을 더 포함할 수 있다.Referring to FIG. 1 , an object holding system 10 according to an embodiment of the present invention may include a robot device 200 and a control device 100 . Alternatively, the object holding system 10 may further include a substrate 300 on which a plurality of objects 400 are placed.

기판(300)은 물체들(400)이 놓일 수 있는 일정 면적을 가지는 패널을 포함할 수 있다. 기판(300)은 평평한 면을 가지도록 구성될 수 있다. 기판(300)의 테두리는 타원이나 다각형일 수 있으며, 도시된 도면에서는 사각형의 테두리를 가지는 형태를 예시한 것이다. 기판(300) 상에는 적어도 하나의 물체들(400)이 1겹으로 또는 중첩되어 놓일 수 있다. 기판(300)의 크기는 제한되지 않지만, 필요에 따라, 제어 장치(100)가 운용하는 카메라의 일정 촬영 범위 내에 들어올 수 있는 크기로 구성될 수 있다. 기판(300)은 기본적으로 고정된 형태로 제공될 수 있으며, 필요에 따라 이동되거나 또는 상하 좌우 또는 대각선 방향으로 기울어지거나 회전할 수 있으며, 이와 관련한 구동 모듈이 더 포함될 수 있다. 기판(300)은 가장자리 측벽 또는 가이드 펜스(310)가 배치된 형태를 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 기판(300)은 측벽 또는 가이드 펜스 없는 구조로 제공될 수도 있다.The substrate 300 may include a panel having a predetermined area on which the objects 400 can be placed. The substrate 300 may be configured to have a flat surface. The edge of the substrate 300 may be an ellipse or a polygon, and in the drawing, a shape having a rectangular edge is exemplified. At least one object 400 may be placed on the substrate 300 in one layer or overlapping each other. The size of the substrate 300 is not limited, but if necessary, it may be configured to have a size that can fit within a certain shooting range of a camera operated by the control device 100 . The substrate 300 may be basically provided in a fixed form, and may be moved or tilted or rotated in vertical, horizontal, or diagonal directions as needed, and a related driving module may be further included. The substrate 300 exemplifies a form in which an edge sidewall or a guide fence 310 is disposed, but the present invention is not limited thereto. For example, the substrate 300 may be provided in a structure without sidewalls or guide fences.

물체들(400)은 기판(300) 상에 놓이면, 로봇 장치(200)에 의해 파지되어 분류될 수 있다. 이러한 물체들(400)은 본 발명의 물체 파지 시스템(10)을 운용하는 운영자의 의도에 따라 다양한 종류가 될 수 있다. 예컨대, 물체들(400)은, 두루마리 휴지, 주걱, 포크, 컵 등 다양한 종류가 될 수 있다. 물체들(400)과 관련한 이미지는 이하 도 2에서 설명하기로 한다.When the objects 400 are placed on the substrate 300 , they may be grasped and sorted by the robot device 200 . These objects 400 may be of various types according to the intention of the operator who operates the object holding system 10 of the present invention. For example, the objects 400 may be of various types, such as a roll of tissue paper, a spatula, a fork, and a cup. Images related to the objects 400 will be described below with reference to FIG. 2 .

로봇 장치(200)는 기판(300) 상에 놓이는 물체들(400) 중 적어도 하나를 제어 장치(100) 제어에 따라 파지하고, 제어 장치(100)의 제어에 따라 지정된 장소로 이동시킨 후, 분류할 수 있다. 이러한 로봇 장치(200)는 구동부(210), 적어도 하나의 가동 축(240), 관절(250) 및 그리퍼(220)를 포함할 수 있다. 추가적으로, 로봇 장치(200)는 영상 획득 장치(230)를 더 포함할 수 있다. The robot device 200 holds at least one of the objects 400 placed on the substrate 300 under the control of the control device 100 , moves it to a designated place under the control of the control device 100 , and classifies can do. The robot device 200 may include a driving unit 210 , at least one movable shaft 240 , a joint 250 , and a gripper 220 . Additionally, the robot device 200 may further include an image acquisition device 230 .

구동부(210)는 제어 장치(100)와 전기적으로 연결된다. 구동부(210)는 제어 장치(100)가 전송하는 제어 신호에 따라 힘을 발생시키고, 발생된 힘을 이용하여 가동 축(240) 및 관절(250) 중 적어도 하나를 조작하여 그리퍼(220)의 위치를 변경할 수 있다. 또한, 구동부(210)는 그리퍼(220)를 조작할 수 있는 힘을 발생시켜, 그리퍼(220)의 파지 동작을 제어할 수 있다. The driving unit 210 is electrically connected to the control device 100 . The driving unit 210 generates a force according to a control signal transmitted by the control device 100 and operates at least one of the movable shaft 240 and the joint 250 using the generated force to position the gripper 220 . can be changed. In addition, the driving unit 210 may generate a force capable of manipulating the gripper 220 , thereby controlling the gripping operation of the gripper 220 .

적어도 하나의 가동 축(240)은 구동부(210)에 기능적으로 연결되고, 구동부(210)가 제공하는 힘에 따라, 길이가 변경될 수 있다. 관절(250)은 구동부(210)가 제공하는 힘에 따라 가동 축(240)을 회전시킬 수 있다. 이러한 관절(250)은 가동축들 간에 배치되어, 가동축들의 회전을 지원할 수 있다. The at least one movable shaft 240 is functionally connected to the driving unit 210 , and the length may be changed according to the force provided by the driving unit 210 . The joint 250 may rotate the movable shaft 240 according to the force provided by the driving unit 210 . These joints 250 may be disposed between the movable shafts to support the rotation of the movable shafts.

그리퍼(220)는 가동 축(240)의 끝단에 배치되고, 구동부(210)에서 전달된 힘에 의해 파지 동작을 수행할 수 있다. 도시된 도면에서는 2개의 손가락을 가지는 2지 그리퍼(220)를 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 그리퍼(220)는 3개 이상의 손가락을 가질 수도 있다. The gripper 220 is disposed at the end of the movable shaft 240 , and may perform a gripping operation by the force transmitted from the driving unit 210 . Although the drawing shows the two-finger gripper 220 having two fingers, the present invention is not limited thereto. For example, the gripper 220 may have three or more fingers.

영상 획득 장치(230)는 로봇 장치(200) 일측에 배치된 형태를 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 영상 획득 장치(230)는 로봇 장치(200)로부터 벗어나 기판(300)을 촬영할 수 있는 위치라면 어디라도 배치될 수 있다. 다만, 영상 획득 장치(230)는 그리퍼(220)에 인접되게 배치되어, 물체들(400)을 파지하는 동안 영상을 정확하게 획득할 수 있도록 배치될 수 있다. 영상 획득 장치(230)는 후술하게 될 카메라(130)를 포함할 수 있다.The image acquisition device 230 exemplifies a form disposed on one side of the robot device 200 , but the present invention is not limited thereto. The image acquisition device 230 may be disposed at any location capable of photographing the substrate 300 away from the robot device 200 . However, the image acquisition device 230 may be disposed adjacent to the gripper 220 to accurately acquire an image while gripping the objects 400 . The image acquisition device 230 may include a camera 130 to be described later.

제어 장치(100)는 영상 획득 장치(230)로부터 기판(300) 상에 물체들(400)에 대한 영상을 획득한다. 제어 장치(100)는 획득된 영상을 분석한 후, 각 물체들(400)에 대한 파지점을 검출한다. 제어 장치(100)는 파지점을 기준으로 로봇 장치(200)를 이용하여 파지할 수 있도록 제어한다. The control device 100 acquires an image of the objects 400 on the substrate 300 from the image acquisition device 230 . After analyzing the acquired image, the control device 100 detects a grip point for each of the objects 400 . The control device 100 controls to be gripped using the robot device 200 based on the gripping point.

제어 장치(100)는 물체들(400)의 형상이 볼록, 오목 또는 물체들(400)에 홀이 있는 경우에도 물체의 파지점을 인식할 수 있다. 제어 장치(100)는 물체들(400)에 대한 파지를 위하여, 로봇 장치(200)의 그리퍼(220)의 움직일 수 있는 폭, 그리퍼(220) 팁의 폭 등을 파라미터로 설정하여 파지점과 그리퍼의 파지 방향을 인식할 수 있다.The control device 100 may recognize the gripping point of the object even when the shape of the objects 400 is convex, concave, or there is a hole in the objects 400 . The control device 100 sets the movable width of the gripper 220 of the robot device 200, the width of the tip of the gripper 220, etc. as parameters for gripping the objects 400, thereby setting the gripping point and the gripper can recognize the holding direction of

도 2는 본 발명의 실시 예에 따른 물체 파지 동작을 설명하기 위한 도면이다.2 is a view for explaining an object gripping operation according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시 예에 따른 물체 파지 동작은 201 상태에서와 같이, 기판(300)을 향하는 영상 획득 장치(230)는 기판(300) 상의 물체들(400)을 포함하는 RGB 이미지 또는 Depth 이미지를 획득할 수 있다. Referring to FIG. 2 , in the object gripping operation according to an embodiment of the present invention, as in the state 201 , the image acquisition device 230 facing the substrate 300 is RGB including the objects 400 on the substrate 300 . An image or a depth image can be acquired.

203 상태에서, 물체 파지 시스템(10)은 획득된 이미지에 대한 마스킹을 수행할 수 있다. 마스킹 과정에서, 물체 파지 시스템(10)은 RCNN(Regions-Convolutional Neural Network) 방식을 이용하여 물체들(400)에 대한 객체 검출을 수행할 수 있다. RCNN은 이미지안에 어떤 물체들이 어디에 있는지 찾는 알고리즘이다. 예를 들어, 물체 파지 시스템(10)은 RCNN을 기반으로 하는 Mask-RCNN 어플리케이션을 이용하여 물체들(400)에 대응하는 객체들의 분류 및 객체 검출을 수행할 수 있다.In state 203 , the object holding system 10 may perform masking on the acquired image. During the masking process, the object gripping system 10 may perform object detection on the objects 400 using a Regions-Convolutional Neural Network (RCNN) method. RCNN is an algorithm that finds which objects are located in an image. For example, the object holding system 10 may perform classification and object detection of objects corresponding to the objects 400 using a Mask-RCNN application based on RCNN.

추가적으로, 물체 파지 시스템(10)은 Fast R-CNN, Faster R-CNN 등의 방식을 통한 딥 러닝 또는 머신 러닝 기반의 객체 검출을 수행할 수도 있다. 물체 파지 시스템(10)은 마스킹 동작을 수행하여 물체들(400)에 대해 마스킹된 객체 검출(Detected masks)을 수행할 수 있다. Additionally, the object grasping system 10 may perform deep learning or machine learning-based object detection through a method such as Fast R-CNN or Faster R-CNN. The object holding system 10 may perform a masking operation to perform masked object detection (Detected masks) on the objects 400 .

205 상태에서, 물체 파지 시스템(10)은 마스킹된 객체들을 기반으로 파지 위치 검출(Detected grip-poses)을 수행할 수 있다. 이 과정에서 물체 파지 시스템(10)은 파지 위치 검출기(Grip-pose detector)를 운용할 수 있다. 파지 위치 검출이 완료되면, 물체 파지 시스템(10)은 로봇 장치(200)를 이용하여 물체 파지, 이동, 분류 등의 작업을 수행할 수 있다.In the 205 state, the object gripping system 10 may perform detected grip-poses based on the masked objects. In this process, the object gripping system 10 may operate a grip-pose detector. When the gripping position detection is completed, the object gripping system 10 may perform tasks such as gripping, moving, and classifying the object using the robot device 200 .

도 3은 본 발명의 실시 예에 따른 제어 장치 구성의 한 예를 나타낸 도면이다.3 is a diagram illustrating an example of a configuration of a control device according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 제어 장치(100)는 통신 인터페이스(110)(또는 통신 회로), 입력부(120), 메모리(140), 디스플레이(150) 및 프로세서(160)를 포함할 수 있다. 추가적으로 또는 대체적으로 제어 장치(100)는 카메라(130)(또는 영상 획득 장치(230))를 더 포함할 수도 있다. 또는, 카메라(130)는 제어 장치(100)와 별도의 구성으로 배치되되, 기판(300) 상에 놓이는 물체들(400)을 촬영할 수 있는 각도와 거리에 배치되고, 촬영된 영상을 유선 또는 무선 방식으로 제어 장치(100)에 제공할 수도 있다. Referring to FIG. 3 , the control device 100 according to an embodiment of the present invention includes a communication interface 110 (or a communication circuit), an input unit 120 , a memory 140 , a display 150 , and a processor 160 . may include Additionally or alternatively, the control device 100 may further include a camera 130 (or an image acquisition device 230 ). Alternatively, the camera 130 is disposed in a configuration separate from the control device 100 , is disposed at an angle and a distance capable of photographing the objects 400 placed on the substrate 300 , and transmits the captured image by wire or wirelessly. It may be provided to the control device 100 in this way.

이 경우, 카메라(130)는 물체 파지 시스템(10)의 구성에 포함되되, 제어 장치(100)와는 독립적으로 구성된 후 제어 장치(100)에 촬영 영상을 전송할 수 있도록 배치될 수 있다. In this case, the camera 130 may be included in the configuration of the object holding system 10 , configured independently of the control device 100 , and then disposed to transmit a captured image to the control device 100 .

통신 인터페이스(110)는 주변 장치와 통신 채널을 형성하고, 제어 신호를 전송할 수 있는 통신 회로를 포함할 수 있다. 통신 인터페이스(110)는 예컨대, 로봇 장치(200)와의 무선 또는 유선 통신 연결을 위한 통신 회로, 외부에 카메라(130)가 배치된 경우 해당 카메라(130)와의 유선 또는 무선 연결을 지원하는 통신 회로를 포함할 수 있다. 또한, 통신 인터페이스(110)는 물체 파지 과정에서 발생하는 이벤트(예: 물체 파지 실패 또는 물체 파지 후 이동 중 파지풀림 등)를 지정된 장치(예: 물체 파지 시스템(10)의 운용자 장치)에 전송할 수도 있다.The communication interface 110 may include a communication circuit capable of forming a communication channel with a peripheral device and transmitting a control signal. The communication interface 110 includes, for example, a communication circuit for wireless or wired communication connection with the robot device 200, and a communication circuit supporting wired or wireless connection with the camera 130 when the camera 130 is disposed outside. may include In addition, the communication interface 110 may transmit an event (eg, failure to grip an object or release of grip while moving after gripping an object) that occurs in the object gripping process to a designated device (eg, the operator device of the object gripping system 10). have.

입력부(120)는 제어 장치(100)의 사용자 입력을 수행할 수 있는 구성을 포함할 수 있다. 예를 들어, 입력부(120)는 키패드, 터치키패드, 터치스크린, 키보드, 마우스, 물리 버튼 등의 입력 수단을 포함할 수 있다. 입력부(120)는 본 발명의 물체 파지와 관련한 어플리케이션 실행을 요청하는 입력 및 물체 파지 요청하는 입력을 사용자 입력에 대응하여 생성할 수 있다.The input unit 120 may include a configuration capable of performing a user input of the control device 100 . For example, the input unit 120 may include input means such as a keypad, a touch keypad, a touch screen, a keyboard, a mouse, and a physical button. The input unit 120 may generate an input for requesting execution of an application related to gripping an object of the present invention and an input for requesting to grip an object in response to a user input.

카메라(130)는 프로세서(160)의 제어에 대응하여 기판(300)에 대한 RGB 이미지 및 Depth 이미지를 획득할 수 있다. 이와 관련하여, 카메라(130)는 RGB 카메라 및 Depth 카메라를 포함할 수 있다. Depth 카메라는 기판(300)의 물체들(400)에 대한 깊이를 측정할 수 있는 카메라로서, 적외선 카메라, TOF(time of flight) 카메라 등을 포함할 수 있다.The camera 130 may acquire an RGB image and a depth image of the substrate 300 in response to the control of the processor 160 . In this regard, the camera 130 may include an RGB camera and a depth camera. The depth camera is a camera capable of measuring the depth of the objects 400 of the substrate 300 , and may include an infrared camera, a time of flight (TOF) camera, and the like.

카메라(130)는 제어 장치(100) 구성으로서, 제어 장치(100)를 감싸는 하우징의 일측에 배치될 수도 있으나, 기판(300) 관련 영상 획득을 위하여, 기판(300)을 촬영할 수 있는 특정 위치에 배치될 수 있도록 제어 장치(100)와 물리적으로 분리된 위치에 배치될 수도 있다. 이 경우, 카메라(130)는 통신 인터페이스(110)를 통해 제어 장치(100)와 기능적으로 연결될 수 있다. The camera 130 is a configuration of the control device 100 and may be disposed on one side of a housing surrounding the control device 100 , but in order to obtain an image related to the substrate 300 , it is located at a specific position where the substrate 300 can be photographed. It may be disposed at a location physically separated from the control device 100 so as to be disposed. In this case, the camera 130 may be functionally connected to the control device 100 through the communication interface 110 .

메모리(140)는 제어 장치(100)의 운용과 관련한 데이터 또는 어플리케이션을 저장할 수 있다. 예를 들어, 메모리(140)는 Mask-RCNN 어플리케이션을 저장할 수 있다. 메모리(140)는 카메라(130)가 획득한 적어도 하나의 영상을 임시 또는 반영구적으로 저장할 수 있다. 메모리(140)는 영상 분석 과정에서 획득되는 마스킹 이미지 및 파지점 검출 이미지 등을 저장할 수 있다.The memory 140 may store data or applications related to the operation of the control device 100 . For example, the memory 140 may store the Mask-RCNN application. The memory 140 may temporarily or semi-permanently store at least one image acquired by the camera 130 . The memory 140 may store a masking image and a grasping point detection image obtained during an image analysis process.

디스플레이(150)는 제어 장치(100) 운용과 관련한 적어도 하나의 이미지를 출력할 수 있다. 예컨대, 디스플레이(150)는 카메라(130)를 통해 획득되는 RGB 이미지 및 Depth 이미지를 출력할 수 있다. 또한, 디스플레이(150)는 RGB 이미지 및 Depth 이미지를 기반으로 산출된 마스킹 이미지, 마스킹 이미지로부터 산출된 그립 위치가 적용된 이미지 등을 출력할 수 있다. 추가적으로, 디스플레이(150)는 물체 파지, 이동, 적재 등과 관련한 이미지를 출력할 수 있다. The display 150 may output at least one image related to the operation of the control device 100 . For example, the display 150 may output an RGB image and a depth image obtained through the camera 130 . Also, the display 150 may output a masking image calculated based on the RGB image and the depth image, an image to which a grip position calculated from the masking image is applied, and the like. Additionally, the display 150 may output an image related to holding, moving, or loading an object.

프로세서(160)는 제어 장치(100) 운용과 관련한 적어도 하나의 신호의 전달 및 처리를 수행할 수 있다. 예를 들어, 프로세서(160)는 사용자 입력에 대응하여, 카메라(130)를 활성화하고, 카메라(130)를 이용하여 기판(300)상 RGB 이미지 및 Depth 이미지를 획득하도록 제어할 수 있다. 프로세서(160)는 획득된 이미지들을 기반으로 마스킹 이미지 획득을 수행하고, 획득된 마스킹 이미지로부터 그립 위치를 산출할 수 있다. 프로세서(160)는 산출된 그립 위치를 기반으로 물체들(400)에 대한 파지를 수행하도록 로봇 장치(200)를 제어할 수 있다. 이러한 프로세서(160)는 도 4와 같은 구성을 포함할 수 있다.The processor 160 may transmit and process at least one signal related to the operation of the control device 100 . For example, the processor 160 may activate the camera 130 in response to a user input, and control to acquire an RGB image and a depth image on the substrate 300 using the camera 130 . The processor 160 may acquire a masking image based on the acquired images, and calculate a grip position from the acquired masking image. The processor 160 may control the robot apparatus 200 to grip the objects 400 based on the calculated grip position. Such a processor 160 may include the configuration shown in FIG. 4 .

도 4는 본 발명의 실시 예에 따른 제어 장치의 프로세서 구성의 한 예를 나타낸 도면이다.4 is a diagram illustrating an example of a configuration of a processor of a control device according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 프로세서(160)는 영상 수집부(161), 마스킹부(163), 파지점 인식부(165) 및 파지 제어부(167)를 포함할 수 있다.Referring to FIG. 4 , the processor 160 of the present invention may include an image collecting unit 161 , a masking unit 163 , a gripping point recognition unit 165 , and a gripping controller 167 .

영상 수집부(161)는 카메라(130)를 제어하여 기판(300) 상에 위치한 물체들(400)에 대한 영상을 수집할 수 있다. 이 과정에서, 영상 수집부(161)는 물체들(400)에 대한 RGB 이미지 및 Depth 이미지를 획득할 수 있다. 영상 수집부(161)는 획득된 이미지들을 마스킹부(163)에 전달할 수 있다. 영상 수집부(161)는 기판(300) 상의 물체들(400)에 대한 영상 수집 과정에서 카메라(130)의 초점 조절 및 줌 조절을 수행할 수 있다. 또는, 영상 수집부(161)는 카메라(130)가 로봇 장치(200)에 배치된 경우, 로봇 장치(200)의 위치를 기판(300) 촬영과 관련하여 지정된 위치로 이동시키고, 영상 수집을 제어할 수 있다. 로봇 장치(200)와 별도로 기판(300)을 촬영할 수 있는 카메라(130)가 배치된 경우, 영상 수집부(161)는 로봇 장치(200)가 기판(300) 상이 물체들(400)을 가리지 않도록 이동시킨 후, 기판(300) 상의 물체들(400)에 대한 영상을 수집하도록 제어할 수 있다. The image collection unit 161 may collect images of the objects 400 positioned on the substrate 300 by controlling the camera 130 . In this process, the image collection unit 161 may acquire RGB images and depth images of the objects 400 . The image collection unit 161 may transmit the acquired images to the masking unit 163 . The image collection unit 161 may perform focus adjustment and zoom adjustment of the camera 130 in an image collection process for the objects 400 on the substrate 300 . Alternatively, when the camera 130 is disposed on the robot device 200 , the image collection unit 161 moves the position of the robot device 200 to a position designated in relation to the photographing of the substrate 300 , and controls image collection can do. When the camera 130 capable of photographing the substrate 300 is disposed separately from the robot device 200 , the image collection unit 161 prevents the robot device 200 from covering the objects 400 on the substrate 300 . After moving, it is possible to control to collect images of the objects 400 on the substrate 300 .

마스킹부(163)는 영상 수집부(161)가 전달한 영상을 기반으로 마스킹 이미지를 획득할 수 있다. 예를 들어, 마스킹부(163)는 RGB 이미지와 Depth 이미지를 이용하여 배경과 물체들(400)을 분리하고, 물체들(400) 각각을 일정 구획별로 구분할 수 있다. 마스킹부(163)는 마스킹 이미지를 파지점 인식부(165)에 전달할 수 있다. The masking unit 163 may acquire a masking image based on the image transmitted by the image collecting unit 161 . For example, the masking unit 163 may separate the background and the objects 400 by using the RGB image and the depth image, and may classify each of the objects 400 into predetermined sections. The masking unit 163 may transmit the masking image to the gripping point recognition unit 165 .

파지점 인식부(165)는 마스킹부(163)가 전달한 마스킹 이미지에서 객체의 특정 부위를 파지점으로 결정할 수 있다. 이와 관련하여, 파지점 인식부(165)는 마스킹 이미지 중 특정 객체에 관한 바이너리 이미지를 기반으로, 지정된 각도별로 회전한 회전된 이미지들을 산출하고, 회전된 이미지들 각각에서 객체들의 경계 영역을 추출한 후, 경계 영역 중 특정 방향에 대한 가장자리 위치 검출 후, 파지점 후보들을 산출하고, 산출된 후보들을 조합하여 최적 파지점을 산출할 수 있다. 파지점 인식부(165)는 최적 파지점 산출 과정에서, 로봇 장치(200)의 그리퍼(220)의 움직임 가능 폭, 그리퍼(220) 팁의 확장 가능 폭에 대한 파라메터를 기반으로, 파지점 후보들 산출 및 최적 파지점을 산출할 수 있다. 최적 파지점 산출과 관련하여, 파지점 인식부(165)는 복수의 후보들 중 가장 많이 중첩된 후보 영역을 최적 파지점으로 산출할 수 있다. The gripping point recognition unit 165 may determine a specific portion of the object as the gripping point in the masking image transmitted by the masking unit 163 . In this regard, the gripping point recognition unit 165 calculates rotated images rotated for each specified angle based on a binary image of a specific object among the masking images, and extracts boundary regions of the objects from each of the rotated images. , after detecting the edge position in a specific direction among the boundary regions, it is possible to calculate gripping point candidates and combine the calculated candidates to calculate an optimal gripping point. The gripping point recognition unit 165 calculates gripping point candidates based on the parameters for the movable width of the gripper 220 of the robot device 200 and the extendable width of the tip of the gripper 220 in the process of calculating the optimal gripping point. and an optimal gripping point can be calculated. In relation to calculating the optimal gripping point, the gripping point recognition unit 165 may calculate the most overlapping candidate area among the plurality of candidates as the optimal gripping point.

파지 제어부(167)는 파지점 인식부(165)가 제공한 최적 파지점을 기반으로, 물체에 대한 파지를 제어할 수 있다. 이와 관련하여, 파지 제어부(167)는 로봇 장치(200)의 구동부(210)에 로봇 장치(200)의 이동 거리 및 이동 각도를 제어하고, 지정된 위치에서 물체를 파지할 수 있도록 제어할 수 있다. 파지 제어부(167)는 물체 파지 이후, 지정된 장소로 파지된 물체를 이동시키고, 이동 위치에서 파지 물체를 적재하도록 제어할 수 있다. The grip control unit 167 may control grip of the object based on the optimal grip point provided by the grip point recognition unit 165 . In this regard, the gripping controller 167 may control the movement distance and the movement angle of the robot apparatus 200 to the driving unit 210 of the robot apparatus 200 , and may control to grip the object at a designated position. The gripping controller 167 may control to move the gripped object to a designated place after gripping the object and to load the gripped object at the moving position.

도 5는 본 발명의 실시 예에 따른 그립 위치 산출과 관련한 도면이다.5 is a view related to calculating a grip position according to an embodiment of the present invention.

도 5를 참조하면, 프로세서(160)의 파지점 인식부(165)는 501 상태에서와 같이, 마스킹 이미지 중 특정 물체를 포함하는 일정 영역을 추출할 수 있다. 추출된 물체 포함 일정 영역은 바이너리 이미지로 제공될 수 있다.Referring to FIG. 5 , the gripping point recognition unit 165 of the processor 160 may extract a predetermined area including a specific object from the masking image as in the 501 state. The predetermined region including the extracted object may be provided as a binary image.

파지점 인식부(165)는 502 상태에서와 같이, 마스킹부(163)에서 추출된 물체 binary image를 지정된 각각의 각도(angle)로 회전하는 모듈을 포함할 수 있다. 각도는 제어 장치(100)의 연산 속도에 달라질 수 있으며, 예컨대, 파지점 인식부(165)는 5도 단위, 15도 단위, 30도 단위 등 다양한 각도 단위로 물체의 회전 이미지를 추출할 수 있다. The gripping point recognition unit 165 may include a module that rotates the binary image of the object extracted from the masking unit 163 at each designated angle, as in the state 502 . The angle may vary depending on the operation speed of the control device 100, for example, the gripping point recognition unit 165 may extract the rotation image of the object in various angle units, such as 5 degree units, 15 degree units, 30 degree units. .

파지점 인식부(165)는 503 상태에서와 같이, 물체의 회전 이미지들로부터 객체 경계(boundary)를 추출하는 모듈을 포함할 수 있다. 한편, 상술한 설명에서는 회전 이미지들을 획득 후, 회전된 이미지들에서 각 객체의 경계 영역을 검출하는 것을 예로 하여 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 파지점 인식부(165)는 경계 영역 검출 후, 경계 영역들에 대한 회전된 이미지들을 산출할 수도 있다. The gripping point recognition unit 165 may include a module for extracting an object boundary from rotation images of the object, as in state 503 . Meanwhile, in the above description, after obtaining the rotated images, detecting the boundary region of each object from the rotated images has been described as an example, but the present invention is not limited thereto. For example, the gripping point recognition unit 165 may calculate the rotated images of the boundary regions after detecting the boundary regions.

파지점 인식부(165)는 504 상태에서와 같이 vertical edge 위치를 인식하는 모듈을 포함할 수 있다. 회전된 이미지들에서 각 객체들의 배치 방향이 상이하게 됨으로, 수직 에지 위치는 각각의 회전 이미지들 별로 다르게 산출될 수 있다.The gripping point recognition unit 165 may include a module for recognizing the vertical edge position as in the 504 state. Since the arrangement directions of the objects in the rotated images are different, the vertical edge position may be calculated differently for each of the rotated images.

파지점 인식부(165)는 505 상태에서와 같이, 각 이미지들의 vertical edge 위치를 기반으로 그리퍼 기반 파지 확률을 추출하는 모듈을 포함할 수 있다. 이와 관련하여, 파지점 인식부(165)는 그리퍼(220)에 대한 정보를 수집할 수 있다. 예컨대, 파지점 인식부(165)는 그리퍼(220) 정보 입력을 요청하거나, 로봇 장치(200)로부터 그리퍼(220) 관련 정보를 수집할 수 있다. 파지점 인식부(165)는 그리퍼(220) 관련 정보와 수직 에지 위치들을 기반으로 각 이미지들의 파지 위치 후보들을 산출할 수 있다. The gripping point recognition unit 165 may include a module for extracting a gripper-based gripping probability based on the vertical edge positions of each image, as in the state 505 . In this regard, the gripping point recognition unit 165 may collect information about the gripper 220 . For example, the gripping point recognition unit 165 may request input of gripper 220 information or collect gripper 220 related information from the robot device 200 . The gripping point recognition unit 165 may calculate gripping position candidates of each image based on the gripper 220-related information and vertical edge positions.

파지점 인식부(165)는 506 상태에서와 같이, 산출된 파지 위치 후보들을 기반으로 최적의 파지 위치를 산출할 수 있다. 이와 관련하여, 파지점 인식부(165)는 각각의 이미지들의 그리퍼 파지 확률을 Merge하여 파지 확률이 가장 높은 파지점을 추출하는 모듈을 포함할 수 있다. The gripping point recognition unit 165 may calculate an optimal gripping position based on the calculated gripping position candidates, as in the state 506 . In this regard, the gripping point recognition unit 165 may include a module for merging the gripper gripping probabilities of respective images to extract a gripping point having the highest gripping probability.

도 6은 본 발명의 실시 예에 따른 그립 위치 지정과 관련한 도면이다.6 is a view related to grip position designation according to an embodiment of the present invention.

도 6을 참조하면, 프로세서(160)는 앞서 도 5에서 설명한 바와 같은 방식으로 그립 위치 산출을 수행하고, 산출된 후보군들 중 지정된 기준 값을 넘는 그립 위치 또는 후보군들의 상호 비교를 통한 최적 값의 그립 위치를 지정할 수 있다. 예를 들어, 프로세서(160)는 601 상태에서와 같이, “r”자 형상의 물체들에 대하여, 꺽이는 부분에 인접된 부분 중 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 603 상태에서와 같이, 원형의 물체와 중심부에 형성된 홀 사이의 간격이 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 605 상태에서와 같이 외부 테두리 및 내부 테두리가 불규칙하게 형성된 고리 형태의 물체에 대하여 고리의 폭이 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 607 상태에서와 같이, 원형 테두리를 가지며 중심부의 다양한 형태의 홀을 가진 물체에 대하여, 홀의 일측과 외부 테두리 간의 간격이 지정된 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 609 상태에서와 같이, 화살표 모양의 물체에 대하여, 중심에 가까운 영역 중 지정된 크기의 폭을 가지는 지점을 파지점으로 산출할 수 있다. 프로세서(160)는 611 상태에서와 같이, X자 모양의 물체에 대하여, 중심에 가까운 영역 중 지정된 크기의 폭을 가지는 지점을 파지점으로 산출할 수 있다. 상기 지정된 폭은 그리퍼(220)의 움직임 가능 폭 및 그리퍼(220)의 팁 폭을 기반으로 결정될 수 있다. Referring to FIG. 6 , the processor 160 calculates the grip position in the same manner as described above with reference to FIG. 5 , and obtains a grip position exceeding a specified reference value among the calculated candidate groups or a grip of an optimal value through mutual comparison of the candidate groups. You can specify the location. For example, as in the state 601 , the processor 160 may calculate a point having a specified width among portions adjacent to the bent portion as the gripping point with respect to the “r”-shaped objects. As in the state 603 , the processor 160 may calculate a point having a specified width between the circular object and the hole formed in the center as the gripping point. As in the state 605, the processor 160 may calculate a point having a specified width with respect to the ring-shaped object in which the outer and inner edges are irregularly formed as the gripping point. As in state 607, the processor 160 may calculate, as a gripping point, a point having a specified width between one side of the hole and the outer edge for an object having a circular edge and various types of holes in the center. As in state 609, the processor 160 may calculate a point having a specified width among regions close to the center of the arrow-shaped object as the gripping point. As in the state 611 , the processor 160 may calculate a point having a specified width among regions close to the center of the X-shaped object as the gripping point. The specified width may be determined based on the movable width of the gripper 220 and the tip width of the gripper 220 .

도 7은 본 발명의 실시 예에 따른 물체 파지 방법의 한 예를 나타낸 도면이다.7 is a diagram illustrating an example of a method for holding an object according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 실시 예에 따른 물체 파지 방법과 관련하여, 제어 장치(100)의 프로세서(160)는 이벤트가 발생하면, 701 단계에서, 해당 이벤트가 물체 파지를 요청하는 이벤트인지 확인할 수 있다. 예를 들어, 프로세서(160)는 물체 파지와 관련한 어플리케이션 실행 및 물체 파지를 위한 동작 실행을 요청하는 이벤트 발생인지 확인할 수 있다. Referring to FIG. 7 , in relation to the object gripping method according to an embodiment of the present invention, when an event occurs, the processor 160 of the control device 100 determines whether the event is an event requesting object gripping in step 701 . can be checked For example, the processor 160 may determine whether an event requesting execution of an application related to gripping an object and execution of an operation for gripping an object occurs.

발생된 이벤트가 물체 파지와 관련이 없는 이벤트인 경우, 703 단계에서, 프로세서(160)는 이벤트 종류에 따른 기능을 수행할 수 있다. 예를 들어, 상기 프로세서(160)는 예를 들어, 상기 프로세서(160)는 그리퍼(220) 관련 정보 입력을 위한 동작으로서, 그리퍼(220) 정보 입력 창을 출력할 수 있다.When the generated event is an event not related to object gripping, in step 703 , the processor 160 may perform a function according to the event type. For example, the processor 160 may output the gripper 220 information input window as an operation for inputting information related to the gripper 220 , for example.

물체 파지와 관련한 이벤트가 발생하면, 상기 프로세서(160)는 705 단계에서 영상 수집을 수행할 수 있다. 이와 관련하여, 프로세서(160)는 카메라(130)를 이용하여 기판(300)을 촬영할 수 있다. 카메라(130)가 기판(300)을 향하고 있지 않은 경우, 상기 프로세서(160)는 카메라(130)의 촬영 각도를 제어하여 기판(300)을 향하도록 제어할 수 있다. When an event related to holding an object occurs, the processor 160 may collect an image in step 705 . In this regard, the processor 160 may photograph the substrate 300 using the camera 130 . When the camera 130 does not face the substrate 300 , the processor 160 may control the camera 130 to face the substrate 300 by controlling the shooting angle.

707 단계에서, 프로세서(160)는 획득된 영상을 기반으로 마스킹을 수행할 수 있다. 예를 들어, 프로세서(160)는 획득된 이미지에 대한 바이너리 필터링을 수행하여 객체들을 검출하고, Depth 이미지를 이용하여 배경과 객체를 분리하여 마스킹 이미지를 생성할 수 있다. In operation 707 , the processor 160 may perform masking based on the acquired image. For example, the processor 160 may detect objects by performing binary filtering on the obtained image, and may generate a masking image by separating the background from the object using the depth image.

709 단계에서, 프로세서(160)는 마스킹 이미지를 기반으로 파지점 인식을 수행할 수 있다. 이 동작에서, 프로세서(160)는 기 저장된 그리퍼(220) 동작 정보(예: 그리퍼(220)의 팁 폭 및 그리퍼(220)의 움직임 가능 폭)를 기반으로 파지점 인식을 수행할 수 있다. 이 동작에서, 프로세서(160)는 마스킹 이미지에서의 객체 경계선 추출, 회전, 수직 에지 추출, 후보군들의 파지 확률 합산 등을 수행할 수 있다. In operation 709, the processor 160 may perform gripping point recognition based on the masking image. In this operation, the processor 160 may perform gripping point recognition based on pre-stored gripper 220 operation information (eg, a tip width of the gripper 220 and a movable width of the gripper 220 ). In this operation, the processor 160 may perform object boundary extraction, rotation, vertical edge extraction, and summing of grip probabilities of candidate groups from the masking image.

711 단계에서, 프로세서(160)는 인식된 파지점을 기반으로 물체 파지를 시도할 수 있다. 이와 관련하여, 프로세서(160)는 물체 파지를 위해 그리퍼(220)를 포함한 로봇 장치(200)에 물체의 파지점에 대한 좌표를 제공할 수 있다. In operation 711 , the processor 160 may attempt to grip the object based on the recognized grip point. In this regard, the processor 160 may provide the coordinates for the gripping point of the object to the robot device 200 including the gripper 220 for gripping the object.

713 단계에서, 프로세서(160)는 파지 성공 여부를 확인할 수 있다. 파지 성공 여부 확인을 위하여, 프로세서(160)는 카메라(130)를 이용하여 영상을 촬영하고, 촬영된 영상에서 파지를 목표로한 물체의 변화를 검출할 수 있다. 파지에 실패한 경우, 프로세서(160)는 705 단계이전으로 분기하여 이하 동작을 재수행할 수 있다. 파지에 성공한 경우, 프로세서(160)는 715 단계에서 설정된 동작을 수행할 수 있다. 예컨대, 프로세서(160)는 파지한 물체를 지정된 장소로 이동 후 적재할 수 있다. In step 713 , the processor 160 may check whether the grip is successful. In order to check whether the grip is successful, the processor 160 may take an image using the camera 130 , and detect a change in the object to be gripped from the captured image. If the gripping fails, the processor 160 may branch to before step 705 and re-perform the following operation. If the grip is successful, the processor 160 may perform an operation set in step 715 . For example, the processor 160 may move the gripped object to a designated place and then load it.

다음으로, 717 단계에서, 프로세서(160)는 물체 파지와 관련한 동작 종료를 요청하는 이벤트가 발생하는지 확인할 수 있다. 프로세서(160)는 물체 파지 동작 종료와 관련한 이벤트가 발생하는 경우 물체 파지 동작을 종료할 수 있다. 이 동작에서, 프로세서(160)는 로봇 장치(200)는 지정된 위치로 복귀시키고, 카메라(130) 등의 전원 공급을 차단할 수 있다. 물체 파지와 관련한 동작 종료를 요청하는 이벤트 발생이 없는 경우, 701 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다. Next, in step 717 , the processor 160 may determine whether an event requesting termination of an operation related to gripping an object occurs. The processor 160 may end the object gripping operation when an event related to the end of the object gripping operation occurs. In this operation, the processor 160 may return the robot device 200 to a designated position and cut off the power supply to the camera 130 and the like. If there is no event requesting the end of the operation related to gripping the object, it may branch to before step 701 and perform the following operation again.

도 8은 본 발명의 실시 예에 따른 물체 파지와 관련한 파지점 인식을 나타낸 도면이다.8 is a diagram illustrating gripping point recognition related to gripping an object according to an embodiment of the present invention.

도 8을 참조하면, 각 이미지들에서와 같이, 물체 파지 시스템(10)은 물체들의 파지 방향을 지시선(810)으로 지정할 수 있다. 물체 파지 시스템(10)은 지시선(810)들의 좌표를 추출하고, 추출된 좌표를 로봇 장치(200)에 제공하여 해당 물체에 대한 파지를 수행하도록 제어할 수 있다. Referring to FIG. 8 , as in the respective images, the object gripping system 10 may designate the gripping direction of the objects as a leader line 810 . The object gripping system 10 may extract coordinates of the leader lines 810 and provide the extracted coordinates to the robot device 200 to control the gripping of the corresponding object.

상술한 바와 같이, 본 발명의 실시 예에 따른 물체 파지 시스템(10) 및 물체 파지 방법은 다양한 물체 형상에서도 그리퍼와 석션 등에 적용 가능한 파지점을 인식할 수 있다. 특히, 본 발명은 그리퍼의 움직일 수 있는 폭, 그리퍼의 툴 팁의 폭 등의 추가 파라미터를 이용하여 현재 머니퓰레이터에 장착되어 있는 그리퍼에 적합한 파지점을 추출할 수 있다.As described above, the object gripping system 10 and the object gripping method according to an embodiment of the present invention may recognize a gripping point applicable to a gripper, a suction, and the like even in various object shapes. In particular, the present invention can extract a gripping point suitable for the gripper currently mounted on the manipulator by using additional parameters such as the movable width of the gripper and the width of the tool tip of the gripper.

한편, 본 명세서와 도면에 개시된 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.On the other hand, the embodiments disclosed in the present specification and drawings are merely presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

10: 물체 파지 시스템
100: 제어 장치
200: 로봇 장치
300: 기판
400: 물체들10: object holding system
100: control device
200: robot device
300: substrate
400: objects

Claims (8)

적어도 하나의 물체에 대한 영상을 획득하고, 획득된 영상에 대한 영상 분석을 통하여, 물체의 파지점을 산출하는 제어 장치;를 포함하고,
상기 제어 장치는,
상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 영상 분석을 통해 산출된 객체의 다양한 각도에서의 파지 확률을 산출한 후, 산출된 파지 확률을 합산하여 특정 파지점을 산출하도록 설정된 것을 특징으로 하는 물체 파지 장치.A control device for acquiring an image of at least one object and calculating a gripping point of the object through image analysis of the acquired image;
The control device is
The gripping probability calculated after calculating the gripping probability at various angles of the object calculated through the image analysis based on the movable width of the gripping means used for gripping the object or the width of the tip used for gripping the object An object gripping device, characterized in that it is set to calculate a specific gripping point by summing 제1항에 있어서, 상기 제어 장치는,
상기 기판 상에 놓인 물체에 대한 영상을 획득하는 카메라;
상기 카메라가 획득한 영상을 분석하기 위한 프로세서; 및
상기 분석된 영상의 적어도 일부를 임시 또는 반영구적으로 저장하는 메모리;
를 포함하는 물체 파지 장치.According to claim 1, wherein the control device,
a camera for acquiring an image of an object placed on the substrate;
a processor for analyzing the image acquired by the camera; and
a memory for temporarily or semi-permanently storing at least a portion of the analyzed image;
An object holding device comprising a. 제2항에 있어서, 상기 프로세서는,
상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하고,
상기 회전 이미지들 각각에서 객체의 경계선들을 산출하고,
상기 경계선들에 대한 수직 에지 위치들을 산출하고,
상기 수직 에지 위치들에 대한 파지 확률들을 산출하고,
상기 파지 확률들을 합산하여 상기 특정 파지점을 산출하도록 설정된 것을 특징으로 하는 물체 파지 장치.The method of claim 2, wherein the processor comprises:
Calculating rotation images obtained by rotating the binary image for the obtained image at various angles,
Calculating the boundary lines of the object from each of the rotation images,
calculate vertical edge positions for the boundary lines;
calculate gripping probabilities for the vertical edge positions,
and calculating the specific gripping point by summing the gripping probabilities. 제3항에 있어서,
상기 산출된 특정 파지점을 이용하여 상기 물체 파지를 수행하는 로봇 장치;
를 더 포함하는 것을 특징으로 하는 물체 파지 장치.4. The method of claim 3,
a robot device for gripping the object using the calculated specific gripping point;
Object gripping device, characterized in that it further comprises. 제4항에 있어서, 상기 프로세서는,
상기 로봇 장치를 이용한 특정 물체의 파지를 제어하고, 파지 실패 시, 상기 이미지 획득 및 영상 분석을 재수행하여 새로운 파지점을 산출하도록 설정된 것을 특징으로 하는 물체 파지 장치.5. The method of claim 4, wherein the processor,
and controlling the grip of a specific object using the robot device, and when gripping fails, the image acquisition and image analysis are re-performed to calculate a new gripping point. 제2항에 있어서, 상기 프로세서는,
상기 카메라를 이용하여 상기 기판에 대한 RGB 이미지 및 Depth 이미지를 획득하고, 상기 RGB 이미지 및 상기 Depth 이미지를 기반으로 마스킹된 바이너리 이미지를 획득하도록 설정된 것을 특징으로 하는 물체 파지 장치.The method of claim 2, wherein the processor comprises:
and acquiring an RGB image and a depth image of the substrate using the camera, and acquiring a masked binary image based on the RGB image and the depth image. 적어도 하나의 물체가 놓이는 기판에 대한 영상을 획득하는 단계;
상기 획득된 영상에 대한 바이너리 이미지를 다양한 각도로 회전시킨 회전 이미지들을 산출하는 단계;
상기 회전 이미지들 각각에서 객체의 경계선들을 산출하는 단계;
상기 경계선들에 대한 수직 에지 위치들을 산출하는 단계;
상기 수직 에지 위치들에 대한 파지 확률들을 산출하는 단계; 및
상기 파지 확률들을 합산하여 상기 특정 파지점을 산출하는 단계;
를 포함하는 것을 특징으로 하는 물체 파지 방법.acquiring an image of a substrate on which at least one object is placed;
calculating rotation images obtained by rotating a binary image of the obtained image at various angles;
calculating boundary lines of an object in each of the rotation images;
calculating vertical edge positions for the boundary lines;
calculating grip probabilities for the vertical edge positions; and
calculating the specific gripping point by summing the gripping probabilities;
An object holding method comprising a. 제7항에 있어서, 상기 파지 확률들을 산출하는 단계는,
상기 물체 파지를 위해 사용되는 파지 수단의 이동 가능 폭 또는 파지를 위해 사용되는 팁의 폭을 기반으로, 상기 파지 확률들을 산출하는 단계;
를 포함하는 특징으로 하는 물체 파지 방법.8. The method of claim 7, wherein calculating the holding probabilities comprises:
calculating the gripping probabilities based on the movable width of the gripping means used for gripping the object or the width of the tip used for gripping the object;
An object holding method comprising a.
KR1020190158701A 2019-12-03 2019-12-03 Gripping System of object and method thereof KR102317041B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190158701A KR102317041B1 (en) 2019-12-03 2019-12-03 Gripping System of object and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190158701A KR102317041B1 (en) 2019-12-03 2019-12-03 Gripping System of object and method thereof

Publications (2)

Publication Number Publication Date
KR20210069745A true KR20210069745A (en) 2021-06-14
KR102317041B1 KR102317041B1 (en) 2021-10-26

Family

ID=76417457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190158701A KR102317041B1 (en) 2019-12-03 2019-12-03 Gripping System of object and method thereof

Country Status (1)

Country Link
KR (1) KR102317041B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101197125B1 (en) 2012-03-20 2012-11-07 한국기계연구원 Object picking system and object picking method
KR20130032990A (en) * 2011-09-26 2013-04-03 한국과학기술연구원 Method for detecting grasping points using category recognition and computer readable record medium thereof
KR20180058440A (en) * 2016-11-24 2018-06-01 한국폴리텍7대학 산학협력단 Gripper robot control system for picking of atypical form package
KR20180116288A (en) * 2016-01-25 2018-10-24 지멘스 프로덕트 라이프사이클 매니지먼트 소프트웨어 인크. Methods and systems for predicting hand positions for multi-hand grids of industrial objects
JP2019063984A (en) * 2017-10-02 2019-04-25 キヤノン株式会社 Information processor, method, and robot system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130032990A (en) * 2011-09-26 2013-04-03 한국과학기술연구원 Method for detecting grasping points using category recognition and computer readable record medium thereof
KR101197125B1 (en) 2012-03-20 2012-11-07 한국기계연구원 Object picking system and object picking method
KR20180116288A (en) * 2016-01-25 2018-10-24 지멘스 프로덕트 라이프사이클 매니지먼트 소프트웨어 인크. Methods and systems for predicting hand positions for multi-hand grids of industrial objects
KR20180058440A (en) * 2016-11-24 2018-06-01 한국폴리텍7대학 산학협력단 Gripper robot control system for picking of atypical form package
JP2019063984A (en) * 2017-10-02 2019-04-25 キヤノン株式会社 Information processor, method, and robot system

Also Published As

Publication number Publication date
KR102317041B1 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
JP7340203B2 (en) Robotic system with automatic package scanning and registration mechanism and how it works
JP5806301B2 (en) Method for physical object selection in robotic systems
US10839261B2 (en) Information processing apparatus, information processing method, and storage medium
US9044858B2 (en) Target object gripping apparatus, method for controlling the same and storage medium
US10899001B2 (en) Method for teaching an industrial robot to pick parts
Nerakae et al. Using machine vision for flexible automatic assembly system
US10434652B2 (en) Workpiece picking system
JP6557943B2 (en) Image collation device, image sensor, processing system, and image collation method
CN109384039B (en) Article carrying device
JP2019181622A (en) Hand control device and hand control system
WO2020022302A1 (en) Grasping device
JP2016203293A (en) Picking device and picking method
JP7005388B2 (en) Information processing equipment and sorting system
KR101671148B1 (en) Robot cleaner and method for controlling the same
US11565418B2 (en) Robot system
JP2016147330A (en) Control apparatus based on object recognition
US10562187B2 (en) Robot, robot control device, and robot system
CN115648176A (en) Vision-guided pick-and-place method, mobile robot, and computer-readable storage medium
CN109927058B (en) Gripping device, gripping determination method, and gripping determination program
KR102317041B1 (en) Gripping System of object and method thereof
JP2021000694A (en) Device for teaching robot and robot system
JP2015157343A (en) Robot, robot system, control device, and control method
JP2019098431A (en) Information processing apparatus and sorting system
JP3417503B2 (en) Article position determination method and article position determination device
JP2020040193A (en) Information processing device and picking system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant